JP5256269B2 - データ生成装置、データ生成装置の制御方法、及びプログラム - Google Patents

Description

本発明は、データ生成装置、データ生成装置の制御方法、及びプログラムに関する。

プレイヤをカメラで撮影して得られる画像（撮影画像）を用いたゲームが知られている。例えば、特許文献１には、撮影画像に基づいてプレイヤの動作を解析し、プレイヤが、楽曲に合わせてダンスを踊るキャラクタと同じ動作をすることを目指すゲームが記載されている。特許文献１の技術においては、ゲーム装置がプレイヤの動作を判定する時点を示す情報と、この時点においてプレイヤがすべき動きを特定する情報と、を対応付けてなる基準データに基づいて、プレイヤの動きが評価される。

特許第３８６６４７４号公報

上記のように、プレイヤの動きを評価するために用いられる基準データを生成する場合には、楽曲のテンポだけではなく、各時点においてプレイヤが動かす部位の位置も考慮する必要があるので、基準データの生成には煩雑な作業を要するという問題があった。

本発明は、上記課題に鑑みてなされたものであって、その目的は、プレイヤの動きを評価するゲームに用いられる基準データを効率良く生成することが可能なデータ生成装置、データ生成装置の制御方法、及びプログラムを提供することである。

上記課題を解決するために、本発明に係るデータ生成装置は、楽曲データの再生期間内に設定される基準時点に関する情報と、前記基準時点においてプレイヤの部位があるべき基準位置に関する情報と、を対応付けてなる基準データに基づいて、前記楽曲データの再生期間内に行われるプレイヤの動作を評価するゲームにおいて用いられる前記基準データを生成するためのデータ生成装置であって、前記楽曲データの再生期間内の各時点における前記プレイヤの見本姿勢に関する見本データを記憶する手段から前記見本データを取得する見本データ取得手段と、前記基準データを生成するための設定画面を表示する表示手段と、前記設定画面において、前記楽曲データの再生期間内における時点の指定を受け付ける指定受付手段と、前記指定された時点における前記プレイヤの見本姿勢を案内する見本画像を、前記見本データに基づいて前記設定画面に表示させる表示制御手段と、前記指定された時点と、前記指定された時点の前記プレイヤの見本姿勢における前記部位の位置と、に基づいて前記基準データを生成する基準データ生成手段と、を含むことを特徴とする。

また、本発明に係るデータ生成装置の制御方法は、楽曲データの再生期間内に設定される基準時点に関する情報と、前記基準時点においてプレイヤの部位があるべき基準位置に関する情報と、を対応付けてなる基準データに基づいて、前記楽曲データの再生期間内に行われるプレイヤの動作を評価するゲームにおいて用いられる前記基準データを生成するためのデータ生成装置の制御方法であって、前記楽曲データの再生期間内の各時点における前記プレイヤの見本姿勢に関する見本データを記憶する手段から前記見本データを取得する見本データ取得ステップと、前記基準データを生成するための設定画面を表示する表示ステップと、前記設定画面において、前記楽曲データの再生期間内における時点の指定を受け付ける指定受付ステップと、前記指定された時点における前記プレイヤの見本姿勢を案内する見本画像を、前記見本データに基づいて前記設定画面に表示させる表示制御ステップと、前記指定された時点と、前記指定された時点の前記プレイヤの見本姿勢における前記部位の位置と、に基づいて前記基準データを生成する基準データ生成ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、楽曲データの再生期間内に設定される基準時点に関する情報と、前記基準時点においてプレイヤの部位があるべき基準位置に関する情報と、を対応付けてなる基準データに基づいて、前記楽曲データの再生期間内に行われるプレイヤの動作を評価するゲームにおいて用いられる前記基準データを生成するためのデータ生成装置としてコンピュータを機能させるためのプログラムであって、前記楽曲データの再生期間内の各時点における前記プレイヤの見本姿勢に関する見本データを記憶する手段から前記見本データを取得する見本データ取得手段、前記基準データを生成するための設定画面を表示する表示手段、前記設定画面において、前記楽曲データの再生期間内における時点の指定を受け付ける指定受付手段、前記指定された時点における前記プレイヤの見本姿勢を案内する見本画像を、前記見本データに基づいて前記設定画面に表示させる表示制御手段、前記指定された時点と、前記指定された時点の前記プレイヤの見本姿勢における前記部位の位置と、に基づいて前記基準データを生成する基準データ生成手段、を含むことを特徴とするデータ生成装置として前記コンピュータを機能させる。

また、本発明に係る情報記憶媒体は、上記プログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。

本発明によれば、プレイヤの動きを評価するゲームに用いられる基準データを効率良く生成することが可能になる。

また、本発明の一態様では、前記データ生成装置は、前記楽曲データを再生する手段を含み、前記表示制御手段は、前記楽曲データが再生中の場合、前記設定画面において前記見本画像によって案内される見本姿勢を前記楽曲データの再生と同期するようにして変化させ、前記データ生成装置は、所定の再生停止操作が行われた場合、前記楽曲データの再生を停止する手段を更に含み、前記表示制御手段は、前記楽曲データの再生が停止された場合、前記楽曲データの再生が停止された時点における前記見本画像を前記設定画面に表示させ、前記指定受付手段は、所定の時点指定操作に基づいて、前記楽曲データの再生が停止された時点よりも前の時点、又は、前記楽曲データの再生が停止された時点よりも後の時点を、前記指定された時点として取得する、ことを特徴とする。

また、本発明の一態様では、前記データ生成装置は、前記基準データ生成手段によって前記基準データが生成された後、前記設定画面において所定の設定内容確認操作が行われた場合、前記楽曲データを再生する手段を含み、前記表示制御手段は、前記基準データ生成手段によって前記基準データが生成された後、前記設定内容確認操作が行われた場合、前記楽曲データの再生と同期して、前記設定画面において前記見本画像によって案内される見本姿勢を変化させるとともに、前記楽曲データの再生と同期して、前記基準時点及び前記基準位置を前記基準データに基づいて案内する手段、を更に含むことを特徴とする。

また、本発明の一態様では、前記表示制御手段は、前記楽曲データの再生期間の時間軸を前記設定画面に表示させ、前記指定受付手段は、前記設定画面に表示された前記時間軸に基づいて、前記楽曲データの再生期間内の時点の指定を受け付けることを特徴とする。

また、本発明の一態様では、前記表示制御手段は、前記プレイヤの複数の部位に対応する複数の領域を、前記設定画面に表示された時間軸の方向に延伸するように、かつ、当該時間軸に直交する方向に並列に設定し、前記指定受付手段は、前記設定画面に設定された複数の領域の何れかの位置の指定を受け付け、前記基準データ生成手段は、前記指定された領域の位置に対応する時点と、前記指定された領域の位置に対応する部位の位置と、に基づいて前記基準データを生成する、ことを特徴とする。

また、本発明の一態様では、前記時間軸は、前記楽曲の所定拍毎に前記楽曲データの再生期間を示し、前記指定受付手段は、前記所定拍毎に前記楽曲データの再生期間内における時点の指定を受け付ける、ことを特徴とする。

ゲームをプレイするプレイヤの様子を示す図である。 ゲーム画面の一例を示す図である。 設定画面の一例を示す図である。 ＣＣＤカメラによって生成される撮影画像の一例を示す図である。 赤外線センサによるプレイヤの深度の測定方法を説明するための図である。 赤外線センサによって得られる深度画像の一例を示す図である。 位置検出装置により生成されるプレイヤ位置情報の一例を示す図である。 プレイヤ位置情報によって特定されるプレイヤの位置を示す図である。 位置検出装置のハードウェア構成を示す図である。 ゲーム装置のハードウェア構成を示す図である。 ゲーム装置において実現される機能を示す機能ブロック図である。 ゲーム空間を示す図である。 設定データの一例を示す図である。 判定方法の種別を示す図である。 設定データと設定指示画像との関係を示す図である。 ゲーム装置において実行される処理の一例を示すフロー図である。 変形例（１）における設定画面の一例を示す図である。 変形例（２）における設定画面の一例を示す図である。

［１．実施形態］
以下、本発明の実施形態の一例について図面に基づき詳細に説明する。本発明の実施形態に係るデータ生成装置は、例えば、家庭用ゲーム機（据置型ゲーム機）、携帯ゲーム機、携帯電話機、携帯情報端末（ＰＤＡ）又はパーソナルコンピュータ等によって実現される。ここでは、本発明の実施形態に係るデータ生成装置を家庭用ゲーム機（ゲーム装置）によって実現する場合について説明する。

本実施形態においては、ゲーム装置は、プレイヤの動き（姿勢）を評価するために使用される基準データを生成するために用いられる。また、ゲーム装置は、基準データに基づいてゲームを実行する。

［２．基準データに基づいて実行されるゲーム］
図１は、ゲームをプレイするプレイヤの様子を示す図である。図１に示すように、プレイヤ１００は、例えば、位置検出装置１の前方に位置する。詳細は後述するが、位置検出装置１は、例えば、カメラや赤外線センサ等を含んで構成され、プレイヤ１００の部位に対応する３次元座標を生成する。ゲーム装置２０は、この３次元座標に基づいてゲームを実行する。プレイヤ１００は、例えば、ゲーム画面に表示されたキャラクタのダンス及び楽曲に合わせてダンスをすることを目指す。

図２は、ゲーム画面の一例を示す図である。図２に示すように、ゲーム画面３０には、楽曲に合わせてダンスを踊るキャラクタ３２と、プレイヤの得点を示すスコア３４とが含まれる。キャラクタ３２は、例えば、ダンサーの踊りを撮影した映像にモーションキャプチャリング処理が施されて作成されたデータに基づいて表示される。

例えば、ゲーム装置２０がプレイヤの動作を判定する時間が近づくと、ゲーム画面３０にマーク３６が表示される。プレイヤは、このマーク３６を頼りにゲームをプレイする。別の言い方をすれば、マーク３６は、これからキャラクタ３２が体を動かす位置及びタイミングをプレイヤに案内するための画像である。例えば、キャラクタ３２の手がマーク３６の中心に触れた場合に、プレイヤが同じ動作をしていると、プレイヤは高い評価を得ることになる。

なお、本実施形態においては、ゲーム画面３０に表示されるキャラクタ３２とプレイヤが向き合った状態でゲームをプレイするため、ゲーム画面３０においては、プレイヤがすべきダンスを左右反転させたダンスをキャラクタ３２が踊るように、キャラクタ３２が表示される。例えば、プレイヤから見て右側の手（キャラクタ３２から見て左側の手）をキャラクタ３２が上げた場合にプレイヤが右手を上げると、プレイヤは高い評価を得ることになる。

このように、プレイヤは、キャラクタ３２のダンスと同じようにダンスをすることを目指す。ゲーム装置２０においては、設定者（例えば、プレイヤ又はゲーム制作者）が、キャラクタ３２のダンスのうちプレイヤの動作及び当該動作を判定する時を設定し、基準データを生成する。設定者（以降、設定者がプレイヤである場合を説明する。）は、設定画面において基準データの生成を行う。

図３は、設定画面の一例を示す図である。図３に示すように、設定画面７０は、キャラクタ３２を含む。キャラクタ３２は、モーションデータに基づいて表示される。設定画面７０におけるキャラクタ３２は、ゲーム画面３０（図２）におけるキャラクタ３２と同様の動作をする。

また、設定画面７０には、基準データに設定されている内容を示す設定指示画像７２が表示される。プレイヤは、例えば、設定指示画像７２の表示内容を頼りに基準データの設定及び生成を行う。本実施形態においては、プレイヤがゲームの設定を行う場合、楽曲及びキャラクタ３２のダンスが同期再生される構成になっている。以降、この技術について詳細に説明する。

［３．位置検出装置の動作］
まず、位置検出装置１について説明する。位置検出装置１は、３次元空間におけるプレイヤの位置に関するプレイヤ位置情報を生成する。本実施形態においては、プレイヤの位置情報が、プレイヤ１００の複数の部位の位置に関する情報を含む場合を説明する。プレイヤ１００の部位は、例えば、頭や両腕等である。

図１に示すように、位置検出装置１は、例えば、ＣＣＤカメラ２、赤外線センサ３、複数のマイクロフォンを含むマイク４等を備える。

ＣＣＤカメラ２は、ＣＣＤイメージセンサを備えた公知のカメラである。ＣＣＤカメラ２は、例えば、所定時間毎（例えば１／６０秒毎）にプレイヤ１００を撮影した撮影画像（例えば、ＲＧＢデジタル画像）を生成する。

図４は、ＣＣＤカメラ２によって生成される撮影画像の一例を示す図である。図４に示すように、撮影画像には、例えば、プレイヤ１００が含まれる。撮影画像には、互いに直行するＸｓ軸、Ｙｓ軸が設定される。例えば、撮影画像の左上を、原点Ｏｓ（０，０）とする。また例えば、撮影画像の右下を、座標Ｐｍａｘ（Ｘｍａｘ，Ｙｍａｘ）とする。撮影画像に対応する各画素の位置は、それぞれの画素に割り当てられる２次元座標（Ｘｓ−Ｙｓ座標）によって特定される。

赤外線センサ３は、例えば、赤外線発光素子及び赤外線受光素子（例えば、赤外線ダイオード）から構成される。赤外線センサ３は、赤外線光を照射して得られる反射光を検出する。赤外線センサ３は、この反射光の検出結果に基づいて被写体（例えば、プレイヤ１００）の深度を測定する。

被写体の深度とは、測定基準位置と被写体の位置との距離間隔である。測定基準位置とは、プレイヤ１００の位置の深度（奥行き）を測定する際の基準となる位置である。測定基準位置は、位置検出装置１の位置と関連付けられる所定の位置であればよく、例えば、赤外線センサ３の赤外線受光素子の位置である。赤外線センサ３は、例えば、赤外線を照射してから反射光を受光するまでの飛行時間（ＴＯＦ:Time of Flight）に基づいてプレイヤ１００の深度を測定する。

図５は、赤外線センサ３によるプレイヤ１００の深度の測定方法を説明するための図である。図５に示すように、赤外線センサ３から所定間隔でパルス状の赤外線光が照射される。赤外線センサ３から照射された赤外線光は、赤外線センサ３の発光位置を中心点として球状に広がる。

赤外線センサ３から照射された赤外線光は、例えば、プレイヤ１００の体の表面に当たる。これらの表面に当たった赤外線光は、反射する。反射した赤外線光は、赤外線センサ３の赤外線受光素子により検出される。即ち、赤外線センサ３は、照射した赤外線に対して位相が１８０度反転した反射光を検出する。

例えば、図５に示すように、プレイヤ１００が両手を前方に突き出している場合、突き出された両手は、プレイヤ１００の胴体よりも赤外線センサ３に近い。つまり、プレイヤ１００の両手によって反射される赤外線光の飛行時間は、プレイヤ１００の胴体によって反射される赤外線光の飛行時間よりも短い。

赤外線センサ３が赤外線光を照射してから反射光を検出するまでの時間（つまり、飛行時間）と、赤外線の速度と、を乗算して半分で割った値は、測定基準位置とプレイヤ１００との距離間隔（即ち、深度）に相当する。このような処理を行うことにより、赤外線センサ３は、プレイヤ１００の深度を測定する。

また、赤外線センサ３は、反射した赤外線光から得られる深度差を検出することにより、被写体（プレイヤ１００）の輪郭も検出する。上記のように、赤外線センサ３が赤外線光の反射光を受信することは、この場所に物体が配置されていることを意味する。また、この物体の後方の近い位置に他の物体が配置されていなければ、この物体と、この物体の周囲と、の深度差は大きくなる。例えば、深度差が所定値よりも大きい箇所をつなぎ合わせることによって、プレイヤ１００の輪郭を検出する。

なお、プレイヤ１００の輪郭を検出する方法は、上記の例に限られない。他にも例えば、ＣＣＤカメラ２によって得られる撮影画像の各画素の輝度に基づいて輪郭を検知するようにしてもよい。この場合も、例えば、画素間の輝度差が大きい箇所をつなぎ合わせることによってプレイヤ１００の輪郭を検出することができる。

上記のようにして検出されるプレイヤ１００の深度に関する情報（深度情報）は、例えば、深度画像として表現される。本実施形態においては、深度情報が、グレースケールの深度画像（例えば、２５６ビットのグレースケールの画像データ）として表現される例を挙げて説明する。

図６は、赤外線センサ３によって得られる深度画像の一例を示す図である。図６に示すように、例えば、赤外線センサ３に近い物体は明るく（輝度が高く）、遠い物体は暗く（輝度が低く）表現される。プレイヤ１００の深度は、深度画像の輝度（画素値）に対応する。

例えば、深度画像が２５６ビットのグレースケールの画像データとして表される場合、プレイヤ１００の深度が２センチメートル異なる毎に深度画像の輝度が１ビット異なる。この場合、赤外線センサ３は、被写体の深度を２センチ単位で検出することが可能であることを示す。プレイヤ１００が両手を前方に突き出している場合（図５）、図６に示すように、プレイヤ１００の両手に対応する画素は、胴体に対応する画素よりも明るく（輝度が高く）表現される。

本実施形態においては、赤外線センサ３は、ＣＣＤカメラ２と同様に所定時間毎（例えば１／６０秒毎）に、深度画像を生成する。ＣＣＤカメラ２により得られる撮影画像と、赤外線センサ３により得られる深度画像と、に基づいてプレイヤ１００の部位の位置に関するプレイヤ位置情報が生成される。

例えば、ＣＣＤカメラ２により得られる撮影画像（ＲＧＢデータ）に、深度画像が示す深度情報（Ｄ：Ｄｅｐｔｈ）が合算された合成画像（ＲＧＢＤデータ）が生成される。即ち、合成画像は、各画素ごとに、色情報（ＲＧＢそれぞれの明度）と深度情報とを含む。

合成画像に基づいてプレイヤ位置情報が生成される際には、まず、深度画像に基づいてプレイヤ１００の輪郭に対応する画素が特定される。次いで、合成画像のうち輪郭によって囲まれた画素の色情報（ＲＧＢの明度）が参照される。合成画像の色情報に基づいて、プレイヤ１００の体の各部位に対応する画素が特定される。この特定方法としては、例えば、比較画像（教師画像）との比較によって画像の中から対象物（即ち、プレイヤ１００の体の各部位）を抽出するパターンマッチング法等、公知の手法を適用可能である。

上記のようにして特定された画素の画素値（ＲＧＢＤ値）に基づいて、プレイヤ１００の頭や肩等の３次元座標が算出される。例えば、この画素値に対して所定の行列変換処理が施されることによって、３次元座標が生成される。この行例変換処理は、例えば、３Ｄグラフィックにおけるワールド座標−スクリーン座標の２つの座標系の変換処理と同様の行例演算によって実行される。つまり、画素の色情報を示すＲＧＢ値と奥行きを示すＤ値と、が所定の行列式に代入されることにより、この画素の３次元座標が算出される。

なお、画素値（ＲＧＢＤ値）から画素に対応する３次元座標が算出される方法は、公知の手法を適用可能であり、この算出方法は、上記の例に限られない。他にも例えば、ルックアップテーブルを用いて座標変換が行われるようにしてもよい。

図７は、位置検出装置１により生成されるプレイヤ位置情報の一例を示す図である。図７に示すように、プレイヤ位置情報は、プレイヤ１００の複数の部位の位置に関する複数の情報を含む。プレイヤ位置情報は、例えば、プレイヤ１００の各部位と、３次元座標と、が対応付けられて格納される。

図８は、プレイヤ位置情報によって特定されるプレイヤ１００の位置を示す図である。本実施形態では、例えば、位置検出装置１に対応する所定位置（例えば、測定基準位置）を原点Ｏｐとする。例えば、原点Ｏｐは、赤外線センサ３の測定基準位置に対応する３次元座標である。なお、原点Ｏｐの位置は、プレイヤ１００がいる３次元空間のどこに設定されてもよい。例えば、撮影画像の原点Ｏｓに対応する３次元座標が、原点Ｏｐとして設定されるようにしてもよい。

図８に示すように、本実施形態では、プレイヤ位置情報がプレイヤ１００の複数の部位のうちで少なくとも頭の位置及び腰の位置に関する部位情報を含む場合を説明する。例えば、プレイヤ位置情報は、プレイヤ１００の頭Ｐ１、肩Ｐ２、左上腕Ｐ３、右上腕Ｐ４、左下腕Ｐ５、右下腕Ｐ６、背中Ｐ７、左ももＰ８、右ももＰ９、左すねＰ１０、右すねＰ１１に対応する１１個の３次元座標が含まれる。

なお、プレイヤ位置情報によって示されるプレイヤ１００の体の部位は、プレイヤの体（骨格）のうちで予め定められた部位のものであってよい。例えば、この部位は、先述したパターンマッチング法によって特定可能な体の部位であればどこでもよい。

例えば、所定間隔毎（例えば、１／６０秒毎）に生成されるプレイヤ位置情報は、位置検出装置１からゲーム装置２０に対して送信される。ゲーム装置２０は、プレイヤ位置情報を位置検出装置１から受信し、プレイヤ（以降、プレイヤの「１００」の符号を省略する。）の体の動きを把握してゲームを実行する。

次に、位置検出装置１とゲーム装置２０とのハードウェア構成について説明する。

［４．位置検出装置の構成］
図９は、位置検出装置１のハードウェア構成を示す図である。図９に示すように、位置検出装置１は、制御部１０、記憶部１１、撮影部１２、深度測定部１３、音声入力部１４、通信インタフェース部１５から構成される。位置検出装置１の各構成要素は、バス１６によってデータ送受信可能に接続される。

制御部１０は、記憶部１１に記憶されるオペレーティングシステム、各種プログラムに基づいて位置検出装置１の各部を制御する。

記憶部１１は、オペレーティングシステムや撮影部１２、深度測定部１３を動作させるためのプログラム、各種パラメータを記憶する。また、記憶部１１は、撮影画像及び深度画像に基づいてプレイヤ位置情報を生成するためのプログラムを記憶する。

撮影部１２は、ＣＣＤカメラ２等から構成される。撮影部１２は、例えば、プレイヤの撮影画像を生成する。深度測定部１３は、赤外線センサ３等から構成される。深度測定部１３は、例えば、赤外線センサ３により得られる飛行時間に基づいて深度画像を生成する。制御部１０は、先述のように、所定時間毎（例えば、１／６０秒毎）に、撮影部１２により生成される撮影画像と、深度測定部１３により生成される深度画像と、に基づいて、プレイヤ位置情報を生成する。

音声入力部１４は、マイク４等から構成される。通信インタフェース部１５は、ゲーム装置２０に対してプレイヤ位置情報等の各種データを送信するためのインタフェースである。

［５．ゲーム装置の構成］
図１０は、ゲーム装置２０のハードウェア構成を示す図である。図１０に示すように、ゲーム装置２０は、制御部２１、主記憶部２２、補助記憶部２３、光ディスク再生部２４、通信インタフェース部２５、操作部２６、表示部２７、及び音声出力部２８を含む。ゲーム装置２０の各部はバス２９によって接続されている。

制御部２１は、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）、及びＳＰＵ（Sound Processing Unit）等を含む。制御部２１は、オペレーティングシステムやその他のプログラムに従って各種処理を実行する。

主記憶部２２は、例えば、ＲＡＭ（Random Access Memory）を含む。補助記憶部２３は、例えば、ハードディスク装置（情報記億媒体）を含む。主記憶部２２は、補助記憶部２３又は光ディスク（情報記憶媒体）から読み出されたプログラムやデータを記憶する。また、主記憶部２２は、処理の過程で必要なデータを記憶するワークメモリとしても用いられる。

光ディスク再生部２４は、光ディスクに記憶されたプログラムやデータを読み取る。光ディスクには、例えば、ゲームプログラムが記憶されている。

通信インタフェース部２５は、ゲーム装置２０を通信ネットワークに通信接続するためのインタフェースである。

操作部２６は、プレイヤが操作を行うためのものである。操作部２６は、例えば、十字キーや各種ボタンを含むゲームコントローラ、タッチパネル、マウス、又はキーボード等を含む。表示部２７は、例えば、家庭用テレビ受像機又は液晶表示パネル等である。表示部２７は、例えば、基準データを生成するための設定画面７０を表示する。音声出力部２８は、例えば、スピーカ又はヘッドホン等を含む。

本実施形態においては、ゲームの実行に際して必要なプログラムやデータは、光ディスクを介してゲーム装置２０に供給される場合を説明する。なお、これらのプログラムやデータは、他の情報記憶媒体（例えば、メモリカード）を介してゲーム装置２０に供給されるようにしてもよい。または、プログラムやデータは、通信ネットワークを介して遠隔地からゲーム装置２０に供給されるようにしてもよい。

［６．ゲーム装置で実現される機能］
図１１は、ゲーム装置２０において実現される機能を示す機能ブロック図である。図１１に示すように、ゲーム装置２０では、ゲームデータ記憶部４０、見本データ取得部４２、指定受付部４４、表示制御部４６、基準データ生成部４８が実現される。これらの機能は、制御部２１が、光ディスクから読み出されたプログラムに従って動作することにより、実現される。

［６−１．ゲームデータ記憶部］
ゲームデータ記憶部４０は、主記憶部２２及び補助記憶部２３を主として実現される。ゲームデータ記憶部４０は、ゲームを実行するために必要な情報を記憶する。例えば、ゲームデータ記憶部４０には、以下のようなデータが格納される。
（１）楽曲データ（一般のポピュラー音楽等を所定のデータ形式で保存したデータ）
（２）モーションデータ
（３）基準データ
（４）プレイヤ位置情報を時系列的に格納したデータ
（５）ゲーム状況データ（実行中のゲームの状況（得点や経過時間等）を示すデータ）

なお、上記のデータのうち、楽曲データ、モーションデータ、及び基準データは、予めゲーム作成者によって用意されたデータである。プレイヤ位置情報は、位置検出装置１から取得されるデータであり、ゲーム状況データは、ゲームプログラムによって生成及び更新されるデータである。また、制御部２１は、ゲームデータ記憶部４０に格納された各種データを取得する手段として機能する。

［モーションデータ］
まず、モーションデータについて説明する。モーションデータは、例えば、ダンサーの動きを撮影した映像にモーションキャプチャリング処理を施して生成されるデータに基づいて、ゲーム製作者によって作成される。モーションデータは、例えば、キャラクタ３２の各部位の位置を特定するためのデータである。

本実施形態においては、モーションデータには、楽曲の再生が開始されてからの経過時間（例えば、１／２５６小節毎）と、ゲーム空間におけるキャラクタ３２の各部位（骨格）を示すデータと、が対応付けられて格納される場合を説明する。

即ち、モーションデータには、キャラクタ３２の姿勢を示すデータが時系列的に格納される。ゲーム装置２０は、モーションデータに基づいて、キャラクタ３２を示すオブジェクトをゲーム空間に配置することによって、ゲーム画面３０においてキャラクタ３２がダンスを踊るように表示制御を行うことができる。

図１２は、ゲーム空間を示す図である。図１２に示すように、ゲーム空間６０には、キャラクタ３２を示すキャラクタオブジェクト６２と、仮想カメラ６４（視点）と、が配置される。キャラクタオブジェクト６２は、複数のポリゴンを含んで構成される。例えば、モーションデータに格納されたキャラクタ３２の部位を示すデータに基づいてキャラクタオブジェクト６２が作成される。

キャラクタオブジェクト６２は、プレイヤが取るべき姿勢を案内するように変化する。本実施形態においては、キャラクタ３２が、プレイヤがすべきダンスを左右反転させたダンスを踊る場合を説明する。例えば、プレイヤが右手を上方に位置させるべき場合には、キャラクタオブジェクト６２のうちキャラクタ３２の左手を示すオブジェクトが上方に位置する。即ち、モーションデータには、キャラクタ３２が、プレイヤがすべきダンスを左右反転させたダンスを踊るように、キャラクタ３２の部位の位置が定義されている。

ゲーム画面３０には、ゲーム空間６０を仮想カメラ６４から見た様子を示す画像が表示される。仮想カメラ６４の位置や視線方向を示す情報は、固定値であってもよいし、ゲームプログラムやプレイヤの操作に基づいて変動するようにしてもよい。仮想カメラ６４の位置や視線方向を示す情報は、例えば、ゲーム状況データに格納される。また、モーションデータと楽曲データとは、キャラクタ３２が楽曲に合わせてダンスを踊るように同期再生される。

［基準データ］
次に、基準データについて説明する。基準データは、楽曲データの再生時間内に設定される基準時点に関する情報と、基準時点においてプレイヤの部位があるべき基準位置に関する情報と、を対応付けてなるデータである。基準時点とは、ゲーム装置２０がプレイヤの動作を判定（評価）すべき時点である。基準データに基づいて、楽曲データの再生期間内に行われるプレイヤの動作が評価される。楽曲データの再生期間内とは、楽曲の始点から終点までの期間内のことである。

本実施形態においては、基準データは、判定用位置データと設定データとを含んでいる場合を説明する。判定用位置データは、楽曲の再生が開始されてからの各時点においてプレイヤの各部位があるべき位置を示すデータである。例えば、楽曲の再生が開始されてからの経過時間と、この経過時間においてプレイヤの部位があるべき位置（３次元座標）と、が対応付けられて判定用位置データに格納される。モーションデータと同様に、判定用位置も、ダンサーの動きを撮影した映像にモーションキャプチャリング処理を施して生成されるデータに基づいて、ゲーム製作者によって作成される。判定用位置データは、プレイヤ位置情報が示すプレイヤの部位の位置と比較される。

また、本実施形態においては、判定用位置データが、プレイヤに設定される代表点に基づいた座標系で表現される場合を説明する。例えば、判定用位置データに格納される３次元座標は、代表点を原点とした座標系によって表現される。即ち、判定用位置データに格納されるプレイヤの各部位の位置座標は、プレイヤの各部位があるべき位置と、代表点の位置と、の位置関係を示している。

なお、本実施形態においては、代表点を背中Ｐ７とする。この場合、背中Ｐ７を原点とし、背中Ｐ７からの相対的な位置を示す３次元座標が、判定用位置データに格納される。プレイヤの動作が評価される場合には、ゲーム装置２０は、プレイヤ位置情報を代表点に基づいた座標系で表現する。例えば、判定用位置データは、背中Ｐ７を原点とする座標系で表現されているので、プレイヤ位置情報に含まれる３次元座標も、背中Ｐ７を原点とする座標系で表現する。

なお、本実施形態においては、代表点が背中Ｐ７である場合を説明するが、代表点は、プレイヤ及びキャラクタ３２に設定される点であればよく、背中Ｐ７でなくともよい。例えば、代表点は、頭Ｐ１等であってもよい。

また、本実施形態においては、キャラクタ３２は、プレイヤがすべきダンスの左右反対のダンスを踊るので、判定用位置データが示すプレイヤの頭Ｐ１、肩Ｐ２、左上腕Ｐ３、右上腕Ｐ４、左下腕Ｐ５、右下腕Ｐ６、背中Ｐ７、左ももＰ８、右ももＰ９、左すねＰ１０、右すねＰ１１の位置と、図１２に示すキャラクタ３２の頭Ｑ１、肩Ｑ２、左上腕Ｑ３、右上腕Ｑ４、左下腕Ｑ５、右下腕Ｑ６、背中Ｑ７、左ももＱ８、右ももＱ９、左すねＱ１０、右すねＱ１１の位置と、は一定の関係（左右反対の関係）を保っている。

次に、設定データについて説明する。設定データは、基準時点と、当該基準時点においてゲーム装置２０が判定するプレイヤの部位を特定するためのデータである。本実施形態においては、プレイヤは、設定画面７０において、設定データの内容を設定することによって、基準データを生成する。

図１３は、設定データの一例を示す図である。図１３に示すｔ軸は、時間軸である。ｔ軸は、楽曲の再生が開始されてからの経過時間を示している。例えば、設定データは、所定小節（例えば、１／１６小節）毎に、ゲーム装置２０が判定すべきプレイヤの部位を示している。本実施形態においては、設定データにおいて、頭、左手（例えば、左下腕）、右手（例えば、右下腕）、左足（例えば、左すね）、右足（例えば、右すね）の５つの部位が定義される場合を説明する。

図１３に示すように、１／１６小節の各時点において、ゲーム装置２０がプレイヤのダンスを判定すべきか否かは、「０」〜「７」の数値によって表されている。設定データに格納される「頭」、「左手」、「右手」、「左足」、「右足」の値は、それぞれ、ゲーム装置２０がプレイヤの頭、左手、右手、左足、右足の位置を判定すべきか否かを示している。また、設定データの値の数値によって、ゲーム装置２０がプレイヤの動作を判定する方法の種別が異なる。

図１４は、判定方法の種別を示す図である。図１４に示すように、本実施形態においては、設定データに格納される値によって、ゲーム装置２０がプレイヤの動作を判定する方法の種別が異なる。設定データに格納される値が「０」であることは、ゲーム装置２０がプレイヤの動作を判定すべき時点ではないことを示している。即ち、設定データに格納される全ての部位が「０」である場合は、基準時点ではないことを示している。

設定データに格納される部位の値が「１」〜「７」の何れかである場合、ゲーム装置２０が判定すべきプレイヤの部位があることを示している。以降、この部位を判定対象部位という。即ち、設定データが「１」〜「７」である時間は、基準時点であることを示している。本実施形態においては、図１４に示すように、ゲーム装置２０がプレイヤの動作を判定する方法が、以下の７種類に分類される。
（１）Ｒｉｐｐｌｅ：ゲーム装置２０が、プレイヤがキャラクタ３２と同じ手の動きをしているか否かを判定する。
（２）Ｓｔｅｐ：ゲーム装置２０が、プレイヤがキャラクタ３２と同じ足の動きをしているか否かを判定する。
（３）Ｐｏｓｅ：ゲーム装置２０が、プレイヤが全身を使ってキャラクタ３２と同じポーズをしているか否かを判定する。
（４）Ｌｏｃｋ：ゲーム装置２０が、プレイヤが、一定時間、キャラクタ３２と同じ位置に部位を固定しているか否かを判定する。
（５）Ｓｏｌｉｄ：ゲーム装置２０が、プレイヤが、一定時間、キャラクタ３２と同じように手を振っているか否かを判定する。
（６）Ｓｔｒｅａｍ：ゲーム装置２０が、プレイヤが、一定時間、キャラクタ３２と同じ手の動きをしているか否かを判定する。
（７）Ｇｅｓｔｕｒｅ：ゲーム装置２０が、プレイヤが、一定時間、全身又は一部の部位を使ってキャラクタ３２と同じポーズをしているか否かを判定する。

例えば、設定データの値が「１」、「２」、「４」、「５」、「６」の部位がある場合、ゲーム装置２０は、これらの値になっているプレイヤの部位（頭、左手、右手、左足、右足）の動作を、上記の種別に基づいて判定する。また例えば、設定データの値が「３」、「７」の部位がある場合、ゲーム装置２０は、プレイヤの全身又は一部の部位の動作を、上記種別に基づいて判定する。

なお、本実施形態においては、プレイヤによって上記のような動作が行われる場合を説明するが、ゲーム装置２０の判定方法の種別は、キャラクタ３２のダンスに基づいた動作であればよく、ゲーム装置２０の判定方法の種別は、上記の例に限られない。

［６−２．見本データ取得部］
見本データ取得部４２は、制御部２１を主として実現される。見本データ取得部４２は、楽曲データの再生期間内の各時点におけるプレイヤの見本姿勢に関する見本データを記憶する手段から見本データを取得する。見本姿勢は、プレイヤがすべき動作（姿勢）を示すものであり、例えば、キャラクタ３２の姿勢（ダンス）である。本実施形態においては、見本データ取得部４２は、ゲームデータ記憶部４０に記憶されたモーションデータを取得する。

［６−３．指定受付部］
指定受付部４４は、制御部２１及び操作部２６を主として実現される。指定受付部４４は、設定画面７０において、楽曲データの再生期間内における時点の指定を受け付ける。指定受付部４４は、設定画面７０の表示内容に基づいて、楽曲データの再生期間内における時点（経過時間）の指定をプレイヤから受け付ける。

［６−４．表示制御部］
表示制御部４６は、制御部２１を主として実現される。表示制御部４６は、指定された時点におけるプレイヤの見本姿勢を案内する見本画像（例えば、キャラクタ３２）を、見本データ（例えば、モーションデータ）に基づいて設定画面７０に表示させる。

本実施形態においては、表示制御部４６は、楽曲データが再生中の場合、設定画面７０において見本画像（例えば、キャラクタ３２）によって案内される見本姿勢を楽曲データの再生と同期するようにして変化させる。つまり、表示制御部４６は、モーションデータが示す経過時間と、楽曲データが示す経過時間と、が一致するようにしてモーションデータが示すキャラクタ３２を設定画面７０に表示させる。

表示制御部４６により表示される設定画面７０は、図３に示すように、キャラクタ３２を含む。先述のように、キャラクタ３２は、モーションデータに基づいて表示される。設定画面７０におけるキャラクタ３２は、ゲーム画面３０（図２）におけるキャラクタ３２と同様の動作をする。

また、設定画面７０には、設定データの内容を示す設定指示画像７２が表示される。設定指示画像７２は、プレイヤが設定データの設定を行うためのものである。例えば、現在設定されている設定データの内容に基づいて設定指示画像７２が表示される。

図３に示すように、設定指示画像７２には、設定データに格納される基準時点及び当該基準時点において判定に用いられる部位が対応づけられて表示される。例えば、設定指示画像７２には２軸が設定され、一方の軸（例えば、縦軸）には、楽曲データの再生時間内の時点が関連付けられ、他方の軸（例えば、横軸）には、ゲーム装置２０が判定すべきプレイヤの部位が関連付けられている。

図１５は、設定データと設定指示画像７２との関係を示す図である。図１５に示すように、設定データに基づいて設定指示画像７２の表示内容が決定される。例えば、現在の経過時間を含む所定時間内の設定データに基づいて設定指示画像７２が表示される。設定データに格納される判定方法の種別は、四角や丸等のアイコンによって区別されて設定指示画像７２に表示される。

なお、ＳｔｒｅａｍやＳｏｌｉｄのように一定期間にわたって行われる判定については、図１５に示すように、アイコン同士がつながって表示されるようにしてもよい。また、表示制御部４６は、楽曲データの再生期間の時間軸ｔを設定指示画像７２に表示させる。図１５に示す例では、設定指示画像７２に設定される横軸が、時間軸ｔに対応する。

設定画面７０が表示されると、楽曲データの再生の時間経過に伴い、設定指示画像７２の表示が更新される。例えば、楽曲データの再生の時間経過に伴って設定指示画像７２が時間軸ｔに対応する方向（例えば、左方向）にスクロールする。このように設定指示画像７２が表示されることによって、プレイヤは、実際にゲームをプレイした場合に、現在の経過時間において、どのような種別の判定がなされるかを把握しながら設定作業を行うことができる。

また、本実施形態においては、表示制御部４６は、プレイヤの複数の部位に対応する複数の領域７２ａ〜７２ｅを、設定画面７０に表示された時間軸ｔの方向に延伸するように、かつ、時間軸ｔに直交する方向に並列に設定する。例えば、領域７２ａ〜７２ｅの長手方向は、時間軸ｔの方向となる。複数の領域７２ａ〜７２ｅは、各領域７２ａ〜７２ｅの短手方向に並列に配置される。

例えば、設定指示画像７２に設定される複数の領域７２ａ〜７２ｅのそれぞれは、判定対象部位に対応する。本実施形態においては、判定対象部位が頭、左手、右手、左足、右足の５つであるので、図１５に示すように、これら５つの部位に対応する５つの領域７２ａ〜７２ｅが設定される。

図３に戻り、設定指示画像７２は、基準時点指示画像７４と、基準位置指示画像７６と、を更に含む。プレイヤは、基準時点指示画像７４に基づいて基準時点の設定を行い、基準位置指示画像７６に基づいて基準位置の設定を行う。

基準時点指示画像７４は、設定指示画像７２に表示された時間軸ｔが示す再生期間内の時点をプレイヤが指定するためのものである。基準時点指示画像７４は、プレイヤの操作に基づいて左右に移動する。プレイヤが基準時点指示画像７４を移動させると、プレイヤは、楽曲データの再生期間内の時点を指定及び変更することができる。

即ち、指定受付部４４は、設定画面７０に表示された時間軸ｔに基づいて、楽曲データの再生期間内の時点の指定を受け付ける。本実施形態においては、時間軸ｔは、楽曲の所定拍毎に楽曲データの再生期間を示しているので、指定受付部４４は、楽曲の所定拍毎に楽曲データの再生期間内における時点の指定を受け付ける。

表示制御部４６は、プレイヤによって指定された時点におけるキャラクタ３２の動作を設定画面７０に表示させる。例えば、プレイヤが基準時点指示画像７４を移動させることによって指示した時点と、モーションデータと、に基づいて、この時点におけるキャラクタ３２の動作（姿勢）が設定画面７０に表示される。

また、基準位置指示画像７６は、設定画面７０に設定された複数の領域７２ａ〜７２ｅの何れかの位置を、プレイヤが指定するためのものである。基準位置指示画像７６は、プレイヤの操作に基づいて上下に移動する。プレイヤは、基準位置指示画像７６を移動させることによって判定対象部位を指定し、基準位置を設定することができる。即ち、指定受付部４４は、設定画面７０に設定された複数の領域７２ａ〜７２ｅの何れかの位置の指定を受け付ける。

なお、図３に示すように、設定画面７０においては、ゲーム装置２０の判定方法の種別毎に、基準時点の数が判定方法表示欄７８に表示されるようにしてもよい。判定方法表示欄７８の表示内容は、設定データが示す「１」〜「７」の数値に基づいて決定される。

また、判定方法表示欄７８は、プレイヤが設定すべき判定方法の種別を示すカーソル８０を含む。プレイヤが所定の操作を行うことによって、カーソル８０が上下に移動する。カーソル８０が上下に移動することによって、プレイヤが設定する判定方法の種別を変更することができるようにしている。

［６−５．基準データ生成部］
基準データ生成部４８は、制御部２１を主として実現される。基準データ生成部４８は、設定画面７０において指定された時点と、この指定された時点のプレイヤの見本姿勢における部位の位置と、に基づいて基準データを生成する。例えば、基準データ生成部４８は、指定受付部４４が受け付けた時点に基づいて基準時点を設定し、この時点の見本動作（例えば、キャラクタ３２の動作）に基づいて基準位置を設定する。

また、本実施形態においては、基準データ生成部４８は、設定画面７０において指定された領域７２ａ〜７２ｅの位置に対応する時点と、この指定された領域７２ａ〜７２ｅの位置に対応する部位の位置と、に基づいて前記基準データを生成する場合を説明する。例えば、基準データ生成部４８は、基準位置指示画像７６が示す部位及びカーソル８０が示す判定方法の種別に基づいて、設定データの設定内容を特定することになる。

例えば、図３の状態の場合、プレイヤが所定の設定指示操作を行うと、楽曲データの再生が開始されてから「２と３／４」小節目に、プレイヤの左手にＲｉｐｐｌｅの判定が行われるように、設定データを設定することができる。基準位置は、判定用位置データに格納された「２と３／４」小節目の左下腕Ｐ５の３次元座標となる。

即ち、基準データ生成部４８は、基準時点指示画像７４に基づいて指定される時点と、基準位置指示画像７６に基づいて指定されるキャラクタ３２の部位及びカーソル８０で指定される判定方法の種別と、に基づいて設定データを生成することによって、基準データを生成する。

設定指示操作が行われると、設定指示画像７２及び判定方法表示欄７８の表示内容も更新される。また、プレイヤが設定指示操作を行った場合、基準時点指示画像７４及び基準位置指示画像７６が示す設定指示画像７２内の位置に、設定された判定方法の種別を示すアイコンが表示される。

［７．ゲーム装置において実行される処理］
図１６は、ゲーム装置２０において実行される処理の一例を示すフロー図である。図１６の処理は、例えば、設定画面７０が表示される場合に、制御部２１が、光ディスクから読み出されたプログラムに従って動作することにより実行される。

まず、図１６に示すように、制御部２１は、楽曲データに基づいて楽曲を再生する（Ｓ１０１）。制御部２１は、モーションデータに基づいてキャラクタ３２のダンスを開始させ、設定画面７０を表示させる（Ｓ１０２）。Ｓ１０２においては、モーションデータに基づいてゲーム空間６０にキャラクタオブジェクト６２が配置される。そして、仮想カメラ６４からゲーム空間６０を見た様子を示す画像が、設定画面７０に表示される。なお、Ｓ１０１及びＳ１０２に処理によって、楽曲に合わせてキャラクタ３２がダンス（プレイヤがすべきダンスとは左右反対のダンス）をするように、楽曲データとモーションデータとは同期再生される。

制御部２１は、現在の楽曲の経過時間に基づいて設定画面７０の表示内容を更新し、楽曲データとモーションデータとの同期再生を行う（Ｓ１０３）。Ｓ１０３においては、例えば、経過時間の経過に伴って、キャラクタ３２が楽曲に合わせてダンスを行い、設定指示画像７２が時間軸ｔの方向にスクロールする。

制御部２１は、再生停止操作が行われたか否かを判定する（Ｓ１０４）。Ｓ１０４においては、操作部２６の所定ボタンが押下されたか否かに基づいて、再生停止操作が行われたか否か判定される。

再生停止操作が行われた場合（Ｓ１０４；Ｙ）、制御部２１は、楽曲の再生を停止する（Ｓ１０５）。制御部２１は、モーションデータの同期再生を停止する（Ｓ１０６）。つまり、制御部２１（表示制御部４６）は、楽曲データの再生が停止された場合、楽曲データの再生が停止された時点における見本画像（例えば、キャラクタ３２）を設定画面７０に表示させる。Ｓ１０５において楽曲の再生が停止するので、設定画面７０において、キャラクタ３２のダンスが停止し、設定指示画像７２のスクロールも停止する。

制御部２１は、基準時点指示画像７４の移動指示（時点指定操作）が行われたか否かを判定する（Ｓ１０７）。例えば、操作部２６の十字キーの左右のボタンが押下されたか否かが判定される。

基準時点指示画像７４の移動指示が行われた場合（Ｓ１０７；Ｙ）、制御部２１は、この移動指示に基づいて基準時点指示画像７４を移動させて、楽曲データの経過時間を変更させる（Ｓ１０８）。

Ｓ１０８においては、制御部２１（指定受付部４４）は、所定の時点指定操作に基づいて、楽曲データの再生が停止された時点よりも前の時点、又は、楽曲データの再生が停止された時点よりも後の時点を、指定された時点として取得する。楽曲データの再生が停止された時点とは、再生停止操作が行われた場合の楽曲の経過時間のことである。即ち、Ｓ１０８においては、基準時点指示画像７４の移動に伴って、現在の経過時間が変更される。例えば、基準時点指示画像７４が左に移動した場合、経過時間が戻り、基準時点指示画像７４が右に移動した場合、経過時間が先に進む。

制御部２１は、変更された経過時間に基づいてキャラクタ３２の表示を更新する（Ｓ１０９）。現在の経過時間が変更されると、Ｓ１０９において、モーションデータに基づいてキャラクタ３２の表示が更新される。本実施形態においては、図３及び図１５に示すように、時間軸ｔは、楽曲の所定拍毎に経過時間を示しているので、Ｓ１０９においては、この所定拍毎に指定された経過時間におけるキャラクタ３２の動作が、設定画面７０に表示される。また、後述するＳ１１３において、この所定拍毎に指定された経過時間に基づいて基準時点が設定される。

一方、基準時点指示画像７４の移動指示が行われない場合（Ｓ１０７；Ｎ）、制御部２１は、基準位置指示画像７６の移動指示が行われたか否かを判定する（Ｓ１１０）。例えば、操作部２６の十字キーの上下のボタンが押下されたか否かが判定される。

基準位置指示画像７６の移動指示が行われた場合（Ｓ１１０；Ｙ）、制御部２１は、基準位置指示画像７６を移動させる（Ｓ１１１）。例えば、基準位置指示画像７６は、操作部２６から入力される操作に基づいて上下に移動する。

基準位置指示画像７６の移動指示が行われない場合（Ｓ１１０；Ｎ）、制御部２１は、設定指示操作が行われたか否かを判定する（Ｓ１１２）。設定指示操作が行われた場合（Ｓ１１２；Ｙ）、制御部２１は、基準時点指示画像７４に基づいて基準時点を設定し、基準位置指示画像７６が示す部位に基づいて基準位置を設定する（Ｓ１１３）。即ち、Ｓ１１３においては、設定データの内容が設定されることによって、基準データが生成される。なお、カーソル８０の位置は、適宜、プレイヤが入力する所定の操作によって上下に移動するようにしてもよい。

設定指示操作が行われない場合（Ｓ１１２；Ｎ）、制御部２１は、設定内容確認操作が入力されたか否かを判定する（Ｓ１１４）。設定内容確認操作は、予め定められた操作であればよい。例えば、設定内容確認操作は、操作部２６の所定のボタンが押下されることであってもよい。

設定内容確認操作が入力された場合（Ｓ１１４；Ｙ）、処理はＳ１０３に戻り、モーションデータ及び楽曲データの同期再生が再開される。つまり、制御部２１は、基準データが生成された後、設定画面７０において所定の設定内容確認操作が行われた場合、楽曲データを再生する。

また、楽曲データの再生に同期してモーションデータが再生される。即ち、基準データが生成された後、設定内容確認操作が行われた場合、楽曲データの再生と同期して、設定画面７０において見本画像（例えば、キャラクタ３２）によって案内される見本姿勢が変化する。例えば、楽曲の時間経過に伴い、モーションデータに基づいてキャラクタ３２の表示処理が行われる。

更に、楽曲データの再生と同期して、基準時点及び基準位置が基準データに基づいて案内されるようにしてもよい。例えば、基準時点及び基準位置が、音声又は画像によって案内される。例えば、基準時点が訪れる場合、基準位置を案内する音声が音声出力部２８から出力されるようにしてもよいし、基準位置を案内するマーク３６が設定画面７０に表示されるようにしてもよい。これらの音声データ又は画像データは、予めゲームデータ記憶部４０に記憶されるようにしてもよい。

設定内容確認操作が入力されない場合（Ｓ１１４；Ｎ）、制御部２１は、終了条件を満たすか否かを判定する（Ｓ１１５）。終了条件は、予め定められた条件であればよい。例えば、終了条件は、プレイヤによって基準データの設定を終了する旨の指示が入力されたか否かであってもよい。

終了条件を満たす場合（Ｓ１１５；Ｙ）、処理は終了する。終了条件を満たさない場合（Ｓ１１５；Ｎ）、処理はＳ１０４に戻り、設定画面７０からの基準データの設定が継続される。

以上に説明したゲーム装置２０においては、設定画面７０において、楽曲の再生期間内の時点の指定が行われ、この指定された時点におけるキャラクタ３２の姿勢が表示される。プレイヤは、指定した時点と、この指定した時点のキャラクタ３２の部位の位置と、に基づいて基準データを生成することができる。即ち、プレイヤは、キャラクタ３２の姿勢を確認しながら基準データを生成することができるので、基準データを効率良く生成することができる。

また、楽曲データ及びモーションデータの同期再生中に、再生停止操作が行われた場合に同期再生を停止させて、基準データの生成が行われるので、プレイヤは、基準時点として設定すべき時点を指定しやすくなる。また、設定内容確認操作が行われた場合、生成された基準データに基づいて設定画面７０の表示が行われるので、プレイヤは、自分が設定した基準データの内容の確認を容易に行うことができる。

また、ゲーム装置２０は、設定画面７０において、時間軸ｔを表す画像を表示させるので、プレイヤは、基準時点を指定しやすくなる。プレイヤは、この時間軸ｔに基づいて所定拍毎に経過時間を指定することができるので、楽曲のテンポを考慮に入れながら基準時点の指定を行いやすくなる。また、ゲーム装置２０は、設定画面７０において、キャラクタ３２の部位毎に領域７２ａ〜７２ｅが設定されるので、プレイヤは、基準位置を設定する部位の指定を行いやすくなる。

なお、実施形態においては、設定指示画像７２に基づいて基準データの設定が行われる場合を説明したが、モーションデータ及び楽曲データの同期再生の再生内容に基づいて基準データの設定が行われるようにすればよく、基準データの設定方法は、実施形態の例に限られない。他にも例えば、設定画面７０に表示されたキャラクタ３２の部位をマウス等でクリックすることによって基準時点及び基準位置が指定されるようにしてもよい。

また、再生停止操作が行われて同期再生が停止されると基準データの生成が行われる場合を説明したが、同期再生が行われたまま、基準データの生成作業が行われるようにしてもよい。

また、設定指示画像７２の横軸を時間軸ｔとし、縦軸をキャラクタ３２の部位を指定するための領域７２ａ〜７２ｅとした例を説明したが、設定画面７０に表示される時間軸ｔ及びキャラクタ３２の部位を指定するための領域の例は、これに限られない。例えば、縦軸が時間軸ｔであり、横軸がキャラクタ３２の部位を指定するための領域であってもよい。また、必ずしもこれらが直交している必要はない。

なお、本発明は、以上説明した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

（１）例えば、基準データに基づいて設定画面７０にマーク３６を表示させ、このマーク３６の形状を設定することができるようにしてもよい。

変形例（１）におけるゲームデータ記憶部４０は、基準時点及び基準位置をプレイヤに案内する案内画像（例えば、マーク３６）に関する画像情報を記憶する。例えば、画像情報には、マーク３６に対応する画像データと、マーク３６を表示すべき画面上の位置と、マーク３６を表示すべき期間（以降、案内対象期間という。）と、が対応づけられて格納される。案内対象期間は、例えば、基準時点の所定時間前から基準時点までの期間である。

また、変形例（１）における表示制御部４６は、ゲームデータ記憶部４０から画像情報を取得し、案内対象期間が訪れる場合、案内画像（例えば、マーク３６）を設定画面７０に表示させる。マーク３６は、例えば、キャラクタ３２の判定対象部位の位置に表示される。

例えば、判定方法の種別がＲｉｐｐｌｅ、Ｓｔｅｐ、又はＬｏｃｋである案内対象期間が訪れた場合、プレイヤが動かすべき部位を特定するように、図２に示すような球状のマーク３６が設定画面７０に表示される。なお、判定方法の種別によってマーク３６の形状が異なるようにしてもよい。例えば、判定方法の種別がＳｏｌｉｄ又はＳｔｒｅａｍである場合には、流れるような手の動きを案内するマーク３６が設定画面７０に表示されるようにしてもよい。

図１７は、変形例（１）における設定画面７０の一例を示す図である。例えば、判定方法の種別がＳｏｌｉｄ又はＳｔｒｅａｍである案内対象期間内において再生停止操作が入力された場合、図１７に示すように、設定画面７０にマーク３６が表示される。

プレイヤは、所定の操作（例えば、操作部２６のマウスでマーク３６をクリックする等）を行うことによって、例えば、矢印を模したマーク３６の長さ、曲率、色相、太さ等を指定することができる。また、マーク３６を示すオブジェクトがゲーム空間６０に配置される場合、このオブジェクトのポリゴン面の向き、頂点座標の位置等が指定されるようにしてもよい。

ゲーム装置２０は、設定画面７０に表示された案内画像（例えば、マーク３６）の形状の変更指示を受け付ける。例えば、設定画面７０の表示内容に対するプレイヤの操作に基づいて、マーク３６の形状の変更指示が受け付けられる。また、ゲーム装置２０は、変更指示を受け付けたマーク３６の形状を変更する。プレイヤにより指定されたマーク３６の形状に関する情報は、案内対象期間と対応づけられてゲームデータ記憶部４０に記憶される。

変形例（１）のゲーム装置２０によれば、設定画面７０においてマーク３６の形状を変更することができる。

（２）また例えば、設定画面７０において、基準位置が示す３次元座標が変更されるようにしてもよい。変形例（２）の場合、表示制御部４６は、同期再生において基準時点が訪れるときに、基準位置を示す指標を設定画面７０に表示させる。

図１８は、変形例（２）における設定画面７０の一例を示す図である。図１８に示すように、設定画面７０には、プレイヤの動作を評価するための判定領域８２が表示される。判定領域８２は、例えば、基準位置が示す３次元座標を中心とした所定半径の球である。

判定領域８２は、プレイヤの動作を評価するために用いられる。例えば、ゲームが実行されて基準時点が訪れる場合、プレイヤ位置情報が示すプレイヤの位置と、判定領域８２の位置と、が比較されることによって、プレイヤの動作が評価される。

具体的には、基準時点が訪れる場合、まず、プレイヤ位置情報が示す代表点（例えば、Ｐ８）と、判定用位置データが示す代表点（例えば、背中Ｐ８）と、が一致される。次いで、判定領域８２が設定され、プレイヤの判定対象部位が、判定領域８２内にあるか否かに基づいてプレイヤの動作が評価される。プレイヤの判定対象部位の３次元座標が判定領域８２内にある場合、プレイヤは高い評価を得ることになる。

ゲーム装置２０は、設定画面７０に表示された判定領域８２が示す基準位置の変更指示を受け付ける。例えば、ゲーム装置２０は、判定領域８２の位置変更を示す所定操作が行われた場合、基準位置の変更を受け付ける。ゲーム装置２０は、この変更指示に基づいて基準位置を変更する。例えば、設定画面７０に表示された判定領域８２の中心点８２ａを上下左右に移動させる操作が行われることによって、基準位置が変更される。

変形例（２）においては、例えば、設定画面７０において、基準位置が示す３次元座標を変更することができる。

（３）また例えば、ゲームに難易度が設定されるようにしてもよい。ゲームに難易度が設定される場合、ゲームデータ記憶部４０には、例えば、難易度毎に基準データが記憶される。即ち、この場合、同一のダンス及び楽曲であっても、基準時点の数や、プレイヤの動作の判定方法が異なる。

例えば、難易度が高くなるほど基準時点の数が多くなる。また例えば、難易度が高くなるほど、高い評価を得ることが比較的難しい判定方法（例えば、Ｓｔｒｅａｍ等）が用いられる。また例えば、難易度が高くなるほど複数の部位（例えば、頭、右手、左足）が同時に判定に用いられる。このように、難易度が高くなるほど、プレイヤは、良い評価を得ることが難しくなる。

変形例（３）においては、設定画面７０において、複数の難易度毎に基準データが設定されるようにしてもよい。この場合、設定画面７０には、複数の難易度のそれぞれに対応する複数の設定指示画像７２が所定方向に並列して表示される。設定指示画像７２の構成は、実施形態と同様である。即ち、プレイヤは、設定指示画像７２の基準時点指示画像７４及び基準位置指示画像７６を移動させることによって、各難易度の基準データを生成する。

変形例（３）によれば、プレイヤは、これらの設定指示画像７２を比較しながら基準データの設定を行うことができる。プレイヤが複数の難易度別に基準データを設定する場合、どの程度難しく／易しく設定されているかが分かりづらいが、上記のような設定画面７０によって設定が行われることにより、プレイヤは効率よく基準データを生成することができる。

（４）また、実施形態においては、基準データとして判定用位置データと設定データを含む例を説明したが、基準データは、基準時点と基準位置とが対応付けられたものであればよい。例えば、基準時点と、判定対象部位の３次元座標と、が対応付けられていてもよい。また、モーションデータに判定用位置データが含まれており、モーションデータと基準データとが一体となっていてもよい。

（５）また、本実施形態においては、モーションデータに基づいてゲーム画面３０及び設定画面７０が表示される場合を説明したが、ゲーム画面３０の表示方法は、他の方法であってもよい。例えば、アニメーションデータを用意しておいてゲーム画面３０及び設定画面７０を表示させるようにしてもよい。

（６）また、上記実施形態及び変形例においては、ゲーム装置２０がダンスゲームを実行する場合を説明したが、ゲーム装置２０は、キャラクタ３２の動作及び楽曲に合わせてプレイヤが体を動かすゲームの実行及び当該ゲームの設定を行うようにすればよい。ゲーム装置２０が実行するゲームはダンスゲームに限られず、他にも例えば、キャラクタ３２の動作に合わせてプレイヤが体操を行うゲームが実行されるようにしてもよい。

（７）また、本発明に係るデータ生成装置がゲーム装置に適用される場合を説明したが、本発明に係るデータ生成装置は、基準データに基づいてプレイヤの動作を評価するゲームにおいて用いられる基準データを生成するための装置に適用されるようにすればよい。

１ 位置検出装置、２ ＣＣＤカメラ、３ 赤外線センサ、４ マイク、１０ 制御部、１１ 記憶部、１２ 撮影部、１３ 深度測定部、１４ 音声入力部、１５ 通信インタフェース部、１６，２９ バス、２０ ゲーム装置、２１ 制御部、２２ 主記憶部、２３ 補助記憶部、２４ 光ディスク再生部、２５ 通信インタフェース部、２６ 操作部、２７ 表示部、２８ 音声出力部、３０ ゲーム画面、３２ キャラクタ、３４ スコア、３６ マーク、３８ エフェクト画像、３９ 評価画像、４０ ゲームデータ記憶部、４２ 見本データ取得部、４４ 指定受付部、４６ 表示制御部、４８ 基準データ生成部、６０ ゲーム空間、６２ キャラクタオブジェクト、６４ 仮想カメラ、７０ 設定画面、７２ 設定指示画像、７４ 基準時点指示画像、７６ 基準位置指示画像、７８ 判定方法表示欄、８０ カーソル、８２ 判定領域、１００ プレイヤ。

Claims (8)

1. 楽曲データの再生期間内に設定される基準時点に関する情報と、前記基準時点においてプレイヤの部位があるべき基準位置に関する情報と、を対応付けてなる基準データに基づいて、前記楽曲データの再生期間内に行われるプレイヤの動作を評価するゲームにおいて用いられる前記基準データを生成するためのデータ生成装置であって、
   前記楽曲データの再生期間内の各時点における前記プレイヤの見本姿勢に関する見本データを記憶する手段から前記見本データを取得する見本データ取得手段と、
   前記基準データの内容を設定者が設定するための設定画面を表示する表示手段と、
   前記設定画面において、前記楽曲データの再生期間内における時点の前記設定者による指定を受け付ける指定受付手段と、
   前記設定者により指定された時点における前記プレイヤの見本姿勢を案内する見本画像を、前記見本データに基づいて前記設定画面に表示させる表示制御手段と、
   前記設定者により指定された時点と、前記設定者により指定された時点の前記プレイヤの見本姿勢における前記部位の位置と、に基づいて前記基準データの内容を設定し、前記基準データを生成する基準データ生成手段と、
   を含むことを特徴とするデータ生成装置。
2. 前記データ生成装置は、前記楽曲データを再生する手段を含み、
   前記表示制御手段は、前記楽曲データが再生中の場合、前記設定画面において前記見本画像によって案内される見本姿勢を前記楽曲データの再生と同期するようにして変化させ、
   前記データ生成装置は、所定の再生停止操作が行われた場合、前記楽曲データの再生を停止する手段を更に含み、
   前記表示制御手段は、前記楽曲データの再生が停止された場合、前記楽曲データの再生が停止された時点における前記見本画像を前記設定画面に表示させ、
   前記指定受付手段は、所定の時点指定操作に基づいて、前記楽曲データの再生が停止された時点よりも前の時点、又は、前記楽曲データの再生が停止された時点よりも後の時点を、前記指定された時点として取得する、
   ことを特徴とする請求項１に記載のデータ生成装置。
3. 前記データ生成装置は、
   前記基準データ生成手段によって前記基準データが生成された後、前記設定画面において所定の設定内容確認操作が行われた場合、前記楽曲データを再生する手段を含み、
   前記表示制御手段は、
   前記基準データ生成手段によって前記基準データが生成された後、前記設定内容確認操作が行われた場合、前記楽曲データの再生と同期して、前記設定画面において前記見本画像によって案内される見本姿勢を変化させるとともに、前記楽曲データの再生と同期して、前記基準時点及び前記基準位置を前記基準データに基づいて案内する手段、
   を更に含むことを特徴とする請求項１又は２に記載のデータ生成装置。
4. 前記表示制御手段は、前記楽曲データの再生期間の時間軸を前記設定画面に表示させ、
   前記指定受付手段は、前記設定画面に表示された前記時間軸に基づいて、前記楽曲データの再生期間内の時点の指定を受け付けることを特徴とする請求項１〜３の何れか一項に記載のデータ生成装置。
5. 前記表示制御手段は、前記プレイヤの複数の部位に対応する複数の領域を、前記設定画面に表示された時間軸の方向に延伸するように、かつ、当該時間軸に直交する方向に並列に設定し、
   前記指定受付手段は、前記設定画面に設定された複数の領域の何れかの位置の指定を受け付け、
   前記基準データ生成手段は、前記指定された領域の位置に対応する時点と、前記指定された領域の位置に対応する部位の位置と、に基づいて前記基準データを生成する、
   ことを特徴とする請求項４に記載のデータ生成装置。
6. 前記時間軸は、前記楽曲の所定拍毎に前記楽曲データの再生期間を示し、
   前記指定受付手段は、前記所定拍毎に前記楽曲データの再生期間内における時点の指定を受け付ける、
   ことを特徴とする請求項４又は５に記載のデータ生成装置。
7. 楽曲データの再生期間内に設定される基準時点に関する情報と、前記基準時点においてプレイヤの部位があるべき基準位置に関する情報と、を対応付けてなる基準データに基づいて、前記楽曲データの再生期間内に行われるプレイヤの動作を評価するゲームにおいて用いられる前記基準データを生成するためのデータ生成装置の制御方法であって、
   見本データ取得手段が、前記楽曲データの再生期間内の各時点における前記プレイヤの見本姿勢に関する見本データを記憶する手段から前記見本データを取得する見本データ取得ステップと、
   表示手段が、前記基準データの内容を設定者が設定するための設定画面を表示する表示ステップと、
   指定受付手段が、前記設定画面において、前記楽曲データの再生期間内における時点の前記設定者による指定を受け付ける指定受付ステップと、
   表示制御手段が、前記設定者により指定された時点における前記プレイヤの見本姿勢を案内する見本画像を、前記見本データに基づいて前記設定画面に表示させる表示制御ステップと、
   基準データ生成手段が、前記設定者により指定された時点と、前記設定者により指定された時点の前記プレイヤの見本姿勢における前記部位の位置と、に基づいて前記基準データの内容を設定し、前記基準データを生成する基準データ生成ステップと、
   を含むことを特徴とするデータ生成装置の制御方法。
8. 楽曲データの再生期間内に設定される基準時点に関する情報と、前記基準時点においてプレイヤの部位があるべき基準位置に関する情報と、を対応付けてなる基準データに基づいて、前記楽曲データの再生期間内に行われるプレイヤの動作を評価するゲームにおいて用いられる前記基準データを生成するためのコンピュータを、
   前記楽曲データの再生期間内の各時点における前記プレイヤの見本姿勢に関する見本データを記憶する手段から前記見本データを取得する見本データ取得手段、
   前記基準データの内容を設定者が設定するための設定画面を表示する表示手段、
   前記設定画面において、前記楽曲データの再生期間内における時点の前記設定者による指定を受け付ける指定受付手段、
   前記設定者により指定された時点における前記プレイヤの見本姿勢を案内する見本画像を、前記見本データに基づいて前記設定画面に表示させる表示制御手段、
   前記設定者により指定された時点と、前記設定者により指定された時点の前記プレイヤの見本姿勢における前記部位の位置と、に基づいて前記基準データの内容を設定し、前記基準データを生成する基準データ生成手段、
   として機能させるためのプログラム。

Images