JP4006949B2 - 画像処理システム、画像処理装置及び撮像装置 - Google Patents
画像処理システム、画像処理装置及び撮像装置 Download PDFInfo
- Publication number
- JP4006949B2 JP4006949B2 JP2001039272A JP2001039272A JP4006949B2 JP 4006949 B2 JP4006949 B2 JP 4006949B2 JP 2001039272 A JP2001039272 A JP 2001039272A JP 2001039272 A JP2001039272 A JP 2001039272A JP 4006949 B2 JP4006949 B2 JP 4006949B2
- Authority
- JP
- Japan
- Prior art keywords
- player
- movement
- hand
- image
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6692—Methods for processing data by generating or executing the game program for rendering three dimensional images using special effects, generally involving post-processing, e.g. blooming
Landscapes
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、遊戯者の画像を撮像して、その撮像画像を利用する画像処理システムに関する。
【０００２】
【従来の技術】
ゲームセンタ等に設置されるアーケードゲーム装置や家庭用のビデオゲーム装置には、近年多種多様な興趣溢れるゲームが開発され、娯楽として人気が非常に高いものがある。
【０００３】
従来のゲーム装置に、遊戯者を撮像してその撮像画像を利用したものが知られている。例えば、プリントクラブのように、遊戯者の像を取り込んで背景と組み合わせて印刷して遊戯者に提供するものや、遊戯者の顔画像を取り込んで、それをゲームキャラクタの顔に貼り付けて独自なキャラクタを創出したりするものがある。
【０００４】
また、従来のゲーム装置には、コントローラのような位置指示手段により表示画面上の位置を指示して、その指示位置に表示された色情報に基づいて、ゲームを制御したり、特定の移動体を発生したりするものがある。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のゲーム装置では、遊戯者を撮像しても、その撮像画像の全部又は一部を画像として利用するにとどまっており、その撮像画像から特定の情報を得るものではなかった。
【０００６】
本発明の目的は、遊戯者等の撮像画像から特定の情報を得て、その情報に基づいて画像表示を制御する画像処理システムを提供することにある。
【０００７】
本発明の他の目的は、遊戯者の指示に関連して移動体をスムーズかつユニークに動かすことができる画像処理システムを提供することにある。
【０００８】
本発明の更に他の目的は、遊戯者から操作入力をスムーズに行うことができる画像処理システムを提供することにある。
【０００９】
【課題を解決するための手段】
本発明による画像処理システムは、遊戯者の画像を撮像する撮像手段と、前記撮像手段により撮像した画像データを複数フレーム分記憶する記憶手段と、前記記憶手段に記憶された画像データを表示画面上に順次表示する画像表示手段と、現在表示されている画像データと過去に表示された画像データとを比較して差分を得る差分算出手段とを有し、前記差分算出手段により算出された差分に基づいて、前記表示画面上に表示する移動体の挙動を決定することを特徴とする。
【００１０】
また、本発明による画像処理システムは、遊戯者の画像を撮像する撮像手段と、前記撮像手段により撮像した画像データを複数フレーム分記憶する記憶手段と、前記記憶手段に記憶された画像データを表示画面上に順次表示する画像表示手段と、前記表示画面内の予め定められた領域における、現在表示されている画像データと過去に表示された画像データとを比較して所定の色成分の差分を得る差分算出手段とを有し、前記差分算出手段により算出された所定の色成分の差分が所定値以上であった場合に、前記遊戯者からの所定の操作入力があったと判断することを特徴とする。
【００１１】
【発明の実施の形態】
［第１実施形態］
本発明の第１実施形態によるビデオゲーム装置について図１乃至図４を用いて説明する。図１は本実施形態のビデオゲーム装置の機能を示すブロック図であり、図２は本実施形態のビデオゲーム装置の遊戯方法の第１の具体例を示す説明図であり、図３は本実施形態のビデオゲーム装置の遊戯方法の第２の具体例を示す説明図であり、図４は本実施形態のビデオゲーム装置の遊戯方法の第３の具体例を示す説明図である。
【００１２】
ゲーム装置２００には、図１に示すように、ゲームプログラムの実行やシステム全体を制御するＣＰＵ２０２と、ＣＰＵ２０２が処理を行うのに必要なプログラムやデータを格納するバッファメモリとして利用されるシステムメモリ（ＲＡＭ）２０４とがバスラインにより共通接続され、バスアービタ２１０に接続されている。
【００１３】
更に、ゲームプログラムやデータが格納されたプログラムデータ記憶装置又は記憶媒体２０６として、ゲーム用記録媒体であるＣＤ−ＲＯＭを駆動するＣＤ−ＲＯＭドライブと、ゲーム装置２００を起動するためのプログラムやデータが格納されているＢＯＯＴＲＯＭ２０８とがバスラインを介してバスアービタ２１０に接続されている。
【００１４】
また、バスアービタ２１０を介して、描画ライブラリによって生成された描画コマンドに従ってレンダリングを行うレンダリングプロセッサ２１２と、そのレンダリングプロセッサ２１２により描画された画像信号が記録されるグラフィックメモリ２１４とが接続されている。グラフィックメモリ２１４に記録された画像データは、ビデオＤＡＣ（図示せず）によりデジタル信号からアナログ信号に変換され、ディスプレイモニタ２１６に表示される。
【００１５】
また、バスアービタ２１０を介して、音声データを生成するオーディオプロセッサ２１８と、その生成した音声データを記録するオーディオメモリ２２０とが接続されている。オーディオメモリ２２０に記録された音声データは、オーディオＤＡＣ（図示せず）によりデジタル信号からアナログ信号に変換され、スピーカ２２２から音声出力される。
【００１６】
また、バスアービタ２１０はインターフェースとしての機能も有し、モデム２２４を介して外部の通信回線と接続される。ゲーム装置２００はモデム２２４を介して他のゲーム装置等との通信が可能となる。
【００１７】
また、バスアービタ２１０にはゲーム装置２００を操作するためのコントローラ２２６が接続される。コントローラ２２６には、例えば、メモリカード等により構成されたバックアップメモリ２２８が装着されている。
【００１８】
また、遊戯者の画像や音声を入力するために、バスアービタ２１０には画像を撮影するための電子カメラ２３２が接続され、コントローラ２２６には音声を入力するためのマイク２３０が接続されている。
【００１９】
本実施形態のビデオゲーム装置を用いた遊戯方法の第１の具体例を図２を用いて説明する。
【００２０】
本具体例では、ゲーム装置２００に接続された電子カメラ２３２をディスプレイモニタ２１６上に置き、遊戯者３００は電子カメラ２３２の前に立って後述する様々な指示を行う。電子カメラ２３２により撮像された画像はディスプレイモニタ２１６に表示される。遊戯者３００は自分の撮像画像を見ながら様々な動作を行う。
【００２１】
本具体例では、電子カメラ２３２によりＹＵＶ方式で撮像する。ＹＵＶ方式は、家庭用テレビ等であつかうデータフォーマットであって、輝度（Ｙ）と、赤との色差（Ｕ）と、青との色差（Ｖ）との３つの情報で色を表現する方式である。例えば、Ｙ成分だけで、画像を表示すると白黒画像となる。ＹＵＶ方式で撮像された画像は圧縮されてシステムメモリ２０４に格納される。なお、ディスプレイの種類によってはＲＧＢ信号へ変換が必要である。
【００２２】
遊戯者３００は、ディスプレイ２１６に表示される画像を見ながら電子カメラ２３２に向かって様々な動作を行うので、違和感なく操作できるように、撮像された画像３００′を反転して表示する。すなわち、図２に示すように、遊戯者３００が左手を上げた場合には、ディスプレイ２１６に表示される遊戯者の像３００′では右手が上がるように表示する。
【００２３】
本具体例では、電子カメラ２３２により撮像された画像データは圧縮されてシステムメモリ２０４に順次記憶される。システムメモリ２０４に、現在表示されている画像データに加えて過去に表示された画像データとが記憶される。過去に表示された画像データとしては、例えば、現在表示されている画像データの１フレーム前の画像データであってもよいし、現在表示されている画像データの所定フレーム前の画像データであってもよい。また、過去の画像データは１フレーム分の画像データであってもよいし、２以上のフレーム分の画像データであってもよい。
【００２４】
本具体例では、システムメモリ２０４に記憶された現在の画像データと過去の画像データとの差分を算出し、その差分データに基づいて様々な処理を行う。現在の画像データと過去の画像データについて、ピクセル毎にＹＵＶ方式における各色成分（輝度、赤、青）の差分を算出する。
【００２５】
本具体例では、各色成分の差分データに基づいて移動体の制御を行う。これにより背景等の動かない画像データに影響しないようにする。例えば、人間の手には赤み成分が多いので、遊戯者３００が手を動かすと、その動かした領域のみに大きな赤み成分の差分値が現れ、他の領域での赤み成分の差分値はほぼゼロとなる。
【００２６】
そこで、本実施形態では、赤み成分の差分値が所定値以上になると、例えば、蛙を模した移動体３０２を自動的に発生する。赤み成分の差分値が所定値以上の領域に無数の泡３０３を表示し、発生した移動体３０２は赤み成分の差分値が最大値の部分に追随して移動する。これにより遊戯者が手を動かすと、その領域全体に泡３０３が現れ、移動体３０３の蛙が泡３０３の中を泳ぐように追随して表示される。なお、赤み成分の差分値が所定値以上の領域に泡以外のもの、例えば、ハートマークや炎等を表示して特殊な効果を出すようにしてもよい。
【００２７】
移動体３０２の発生、追随、消滅のアルゴリズムは、後述する本発明の第２実施形態における虫移動描画処理（図１４乃至図２４）のアルゴリズムと基本的に同じである。第２実施形態の虫移動描画処理では画像の色データそのものを用いて虫等の移動体の描画制御を行ったが、本実施形態では色成分の差分データを用いている点が異なる。
【００２８】
移動体３０２を、赤み成分の差分データにより発生し、差分データの最大値のピクセルに追随するように描画すると、人間の手には赤み成分が多いので、遊戯者３００が手を振るとそれに自然に移動体３０２が追随するように表示され、あたかも移動体３０２が遊戯者３００の手を追いかけているように表示される。
【００２９】
本具体例では、図２に示すように、撮像画像の青み成分の差分データにより発生、追随、消滅する他の移動体３０４を表示するようにしている。その他に、差分データにより挙動が決定される他の移動体を表示するようにしてもよい。例えば、現在の画像データと過去の画像データとの各色成分（輝度、赤、青）の差分データの合計値や、最大値、平均値、分布等の状態に基づいて移動体を発生、追随、消滅等の処理を行うようにしてもよい。
【００３０】
また、移動体３０２に対する処理のアルゴリズムに、後述する本発明の第２実施形態における動物移動描画処理（図２７乃至図３６）のアルゴリズムを利用してもよい。画像データの色成分の差分データに対して、このアルゴリズムを適用し、ディスプレイモニタ２１６に移動体等を発生させ、移動体の周囲の差分データに基づいて移動体の絵を切り換えたり、ときどき停止したりしてもよい。
【００３１】
このように本具体例によれば、人間の手の赤み成分を利用しているので、特別な装置を衣服や手に装着する必要がなく、より簡便なキャラクタ入力手段として用いることができ、遊戯者の指示に関連して移動体をスムーズかつユニークに動かすことができる。
【００３２】
また、人間の手の赤み成分を利用する代わりに、特殊な道具を装着してもよい。例えば、手の代わりに先端が赤色の指揮棒を手に持って操作して、本具体例のような効果的な表示をしてもよい。また、右手に赤色の手袋、左手に青色の手袋をつけ、赤み成分により発生する移動体３０２と青み成分により発生する移動体３０４を右手の動きと左手の動きにより自在に操るようにしてもよい。更に、人間の手そのものを用いる方法と、特殊な道具を用いる方法とを適宜組み合わせるようにしてもよい。
【００３３】
本実施形態のビデオゲーム装置を用いた遊戯方法の第２の具体例を図３を用いて説明する。
【００３４】
本具体例も、第１の具体例と同様に、電子カメラ２３２により撮像された画像データは圧縮されてシステムメモリ２０４に順次記憶される。システムメモリ２０４に記憶された現在の画像データと過去の画像データとの差分を算出し、その差分データに基づいて処理を行う。
【００３５】
本具体例では、ディスプレイモニタ２１６上に特定の検出領域３１２を設定し、その特定の検出領域３１２における差分データの値により遊戯者３１０の操作情報を検出する。例えば、遊戯者３１０に赤色の指示棒３１４を持たせ、その指示棒３１４の像３１４′が検出領域３１２内を移動したか否かにより操作情報を検出する。指示棒３１４の像３１４′が検出領域３１２内を移動すると、検出領域３１２内における赤み成分の差分値が所定値以上になる。これにより遊戯者３１０の操作を検出する。
【００３６】
遊戯者３１０は、ディスプレイモニタ２１６に表示された像３１０′、３１４′を見ながら、ゲーム装置２００に所定の操作指示を行いたい場合には、指示棒３１４の像３１４′が検出領域３１２内を横切るように操作すればよい。遊戯者３１０は自由なスタイルで自由に操作を行うことができる。
【００３７】
なお、遊戯者３１０に位置がわかるように検出領域３１２に予め特定の色をつけて他の領域と区別してもよい。遊戯者３１０が検出領域３１２を知って確実に操作することができる。逆に、検出領域３１２に特別な色をつけないようにしてもよい。遊戯者３１０に検出領域３１２の位置を捜すことをゲームに取り入れることができる。
【００３８】
このように本具体例によれば、単に指示棒等の操作手段を移動するだけでよいので、より簡便な操作入力手段として用いることができ、遊戯者から操作入力をスムーズに行うことができる。
【００３９】
本実施形態のビデオゲーム装置を用いた遊戯方法の第３の具体例を図４を用いて説明する。
【００４０】
本具体例も、第１の具体例と同様に、電子カメラ２３２により撮像された画像データは圧縮されてシステムメモリ２０４に順次記憶される。システムメモリ２０４に記憶された現在の画像データと過去の画像データとの差分を算出し、その差分データに基づいて処理を行う。
【００４１】
本具体例では、遊戯者の意図的な操作を検出してゲーム開始に対して起動するものである。遊戯者が電子カメラ２３２の前で手を振ったときに、その手の動きの移動距離を累積して、その累積距離が所定の設定値を超えた場合に入力されたと判断する。この操作入力により、ゲームを開始したり、特定のキャラクタを出現したり、画面を切り換えたり等の様々な制御を行う。
【００４２】
初期画面においては、図４（ａ）に示すように、黒い画面の中に円い窓３２０が表示されている。この窓３２０が手の動きを検出する窓となる。遊戯者が電子カメラ２３２の前に手をかざして動かすと、赤み成分の差分データから手が動いた位置を検出し、その動いた位置に窓３２０を移動する。その結果、図４（ｂ）に示すように、丸い窓３２０内に遊戯者の手３２２が写った状態が表示される。
【００４３】
遊戯者が手３２２を動かすと、図４（ｃ）、（ｄ）に示すように、遊戯者の手３２２の動きに追随して丸い窓３２０が移動する。ゲーム装置２００は円い窓３２０の移動距離を演算して、その移動距離を累積していく。遊戯者による操作の開始時からの累積距離が所定値に達した場合にゲーム開始操作が入力されたと判断し、図２６（ｅ）に示すように、ゲームを開始する。
【００４４】
遊戯者による意図しない動きによりゲーム開始と判断されることを防止するために様々な工夫をしている。例えば、手の動きの速度を考慮して移動距離を累積する。手の動きの速さが所定値以上の場合には移動距離をそのまま累積するが、手の動きが所定値以下の場合には実際の移動距離から所定距離を減算したものを累積する。また、手の動きが検出されてから所定時間が経過しても累積距離がゲーム開始のための所定値に達しない場合には累積距離をリセットする。
【００４５】
上記実施形態では丸い窓３２０の中に遊戯者の手の像３２２を組み込んで表示したが、実際の手の画像を用いることなく模式的なマークにより表示してもよい。すなわち、遊戯者の手の動きが検出されたら、単なる円い窓のマークから円い窓内に手が描かれたマークに移動体の画像を変更するようにしてもよい。なお、遊戯者の手を振る操作をゲーム開始以外の他の操作情報としてもよい。
【００４６】
このように本具体例によれば、遊戯者が電子カメラの前で手を振ることによりゲームを開始する等の操作指示を行うことができ、遊戯者から操作入力をスムーズに行うことができる。
【００４７】
［第２実施形態］
本発明の第２実施形態によるビデオゲーム装置について図５乃至図８を用いて説明する。図５は本実施形態のビデオゲーム装置の外観を示す斜視図であり、図６は本実施形態のビデオゲーム装置のソフトウエアカートリッジであり、図７は本実施形態のビデオゲーム装置のハードウエアを示すブロック図であり、図８は本実施形態のビデオゲーム装置の機能を示すブロック図である。
【００４８】
（ゲーム装置本体）
本実施形態のビデオゲーム装置は、折り畳み式のゲーム装置本体１０に絵本タイプのソフトウエアカートリッジ１２を装着するものである。図５に示すように、ゲーム装置本体１０の底蓋１４から上蓋１６を外して開き、その内側のカートリッジスロット１８にソフトウエアカートリッジ１２を差し込む。
【００４９】
後述するように、本実施形態では、第１実施形態と同様に電子カメラ５５を設けることも可能である。電子カメラ５５は、例えば、図３に示すようにモニタ９０の上に置かれ、ソフトウエアカートリッジ１２のコネクタ（図示せず）に接続される。
【００５０】
ゲーム装置本体１０の底蓋１４内側には、左側に方向ボタン２０と実行ボタン２２が設けられ、中央にお絵描きタブレット２４が設けられ、右側にタッチペンホルダ２６が設けられている。
【００５１】
方向ボタン２０及び実行ボタン２２は、遊戯者が操作するものであって、方向ボタン２０により上下左右の４方向を指示し、実行ボタン２２により実行指示を与える。タッチペンホルダ２６は、タッチペン２８を保持する。タッチペン２８は、お絵描きタブレット２４に触って、絵本ソフトを操作するために用いられる。タッチペン２８の先端にはペンボタン２８ａが設けられている。遊戯者はペンボタン２８ａを押すことにより指示を与える。
【００５２】
お絵描きタブレット２４は、電磁誘導方式によりタッチペン２８が近接している位置を検出する。お絵描きタブレット２４から発せられる電磁信号をタッチペン２８により受信することにより位置を検出する。遊戯者はペンボタン２８ａを押すことにより、その位置に基づいた指示を与える。
【００５３】
ゲーム装置本体１０の上蓋１６内側には、中央に絵本タイプのソフトウエアカートリッジ１２が装着される絵本タブレット３２が設けられている。この絵本タブレット３２は、お絵描きタブレット２４と同様の電磁誘導方式により、タッチペン２８が近接した位置を検出する。
【００５４】
絵本タブレット３２の左側下部には電源をオンオフするためのパワースイッチ３４が設けられている。絵本タブレット３２の右側下部にはソフトウエアカートリッジ１２が差し込まれるカートリッジスロット１８が設けられている。装着されたソフトウエアカートリッジ１２は、リジェクトボタン３６を押すことによりカートリッジスロット１８から取り外すことができる。
【００５５】
絵本タブレット３２内の上部右側にはページセンサ３８が設けられている。ソフトウエアカートリッジ１２の絵本のどのページ４２が開かれているかをページセンサ３８により検出する。絵本の各ページ４２の右上部には切り込みが形成され、ページ順に切り込み幅を広くしている。このようにすることにより、開かれているページに応じて遮蔽するセンサ数が異なり、現在開かれているページを検出することができる。
【００５６】
ソフトウエアカートリッジ１２は、図５に示すように、左縁部の綴じリング４０により複数ページ４２を綴じた絵本のような基本形態をしている。各ページ４２にはゲームプログラムに対応した絵が描かれている。
【００５７】
（ソフトウエアカートリッジ）
ソフトウエアカートリッジ１２を図６を用いて説明する。図６は絵本の各ページ４２が閉じられている状態のソフトウエアカートリッジ１２の平面図である。
【００５８】
ソフトウエアカートリッジ１２は、上部が、絵本を載置する絵本載置部４６となっており、下部が、回路基板４８を内部に収納する基板収納部５０となっている。
【００５９】
絵本載置部４６の左縁部には綴じリング４０が設けられ、絵本の各ページ４２が閉じられている。本実施形態では５頁のページ４２が閉じられており、各ページ４２の右縁部にはインデックスがずらして形成されている。絵本載置部４６の右上部には、絵本タブレット３２のページセンサ３８の位置に対応した６個のセンサ用穴５２が開けられている。
【００６０】
基板収納部５０には内部に回路基板４８が収納されている。回路基板４８には、ゲーム装置本体１０に接続するためのコネクタ４９が形成され、ゲームプログラムを格納したプログラムＲＯＭ５４が搭載されている。
【００６１】
（ハードウエア）
次に、本実施形態のビデオゲーム装置のハードウエアの構成を図７を用いて説明する。
【００６２】
ゲーム装置本体１０について説明する。ＭＰＵ６０はビデオゲーム装置全体を制御する。ＲＡＭ６２はＭＰＵ６０のワーク用メモリである。ビデオディスプレイプロセッサ（ＶＤＰ）６４は背景やキャラクタ等の描画処理を制御する。映像情報はビデオＲＡＭ６６に書き込まれる。ビデオディスプレイプロセッサ６４からの映像信号は映像端子７０からモニタ９０に出力される。
【００６３】
なお、電子カメラ５５を利用する場合には、ビデオプロセッサ（ＶＤＰ）６４は電子カメラ５５で撮像した映像情報を、背景やキャラクタ等のゲーム画像と合成して描画情報を制御する。その映像情報をビデオＲＡＭ６６に書き込み、ビデオプロセッサ（ＶＤＰ）６４により、映像端子７０からモニタ９０に出力する。電子カメラ５５で撮像した映像情報を画像認識することにより操作入力することもできる。
【００６４】
音声合成ＬＳＩ（ＡＤＰＣＭ）７２はキャラクタがしゃべる言葉等のあらゆる音声を合成する。ゲームに応じた音声を合成して発音する。ビデオディスプレイプロセッサ６４からの音声信号と音声合成ＬＳＩ７２からの音声信号を混合して、音声端子７６を介してモニタ９０に出力する。
【００６５】
コントローラ７８は、方向ボタン２０、実行ボタン２２、タッチペン２８、ペンボタン２８ａ、ページセンサ３８の状態を監視して、遊戯者の操作による入力情報をＭＰＵ６０に出力する。
【００６６】
コントローラ７８は、アナログスイッチ８０を介して、絵本タブレット３２、お絵描きタブレット２４の状態を監視して、遊戯者の操作による入力情報をＭＰＵ６０に出力する。
【００６７】
なお、電子カメラ５５を利用する場合は、電子カメラ５５で撮像した操作者の画像情報又は操作者の操作による入力情報をＭＰＵ６０に出力する。
【００６８】
これらＭＰＵ６０、ＲＡＭ６２、ビデオディスプレイプロセッサ６４、音声合成ＬＳＩ７２、コントローラ７８は、アドレスバス８４、データバス８６、コントロールバス８８により接続されている。
【００６９】
ソフトウエアカートリッジ１２では、ゲームプログラムを格納したプログラムＲＯＭ５４が回路基板４８に搭載されている。ソフトウエアカートリッジ１２は、コネクタ４９、８２を介してゲーム装置本体１０と接続され、アドレスバス８４、データデータバス８６、コントロールバス８８がそれぞれ接続される。なお、電源ライン（図示せず）もコネクタ４９、８２を介してソフトウエアカートリッジ１２に接続される。
【００７０】
（機能ブロック図）
次に、本実施形態のビデオゲーム装置の機能を図８のブロック図を用いて説明する。図８は、ゲーム装置本体１０にソフトウエアカートリッジ１２が装着され、全体がビデオゲーム装置として動作している際の機能ブロック図である。
【００７１】
制御部１００はビデオゲーム装置における描画処理及び発音処理を制御する。描画制御部１０２は、タッチペン２８による絵本タブレット３２への近接位置に基づいて、所定の絵を描画するように描画処理部１０４を制御する。描画処理部１０４はバッファメモリ入出力部１１０を介してバッファメモリ１２０に線図を描画する。描画処理部１０４の制御によりバッファメモリ１２０に所定の絵を描画したり、タッチペン２８によるお絵描きタブレット２４への近接位置に応じてバッファメモリ１２０に線図を描画したり、移動体描画部１０６の制御によりバッファメモリ１２０に虫や動物等の移動体の絵を描画したりする。移動体描画部１０６は進路決定部１０７により決定された虫や動物等の移動体の進路方向に従って移動体の絵を描画する。発音処理部１０８は、タッチペン２８によるお絵描きタブレット２４への近接位置と、バッファメモリ１２０の色情報に基づいて、発音処理を行なう。
【００７２】
なお、電子カメラ５５を利用する場合は、描画処理部１０４は、電子カメラ５５による画像データが記憶されているメモリ（図示せず）から画像データに基づいた制御を行う。
【００７３】
バッファメモリ入出力部１１０は、制御部１００からの描画制御に応じて色情報をバッファメモリ１２０に書き込んだり、バッファメモリ１２０から色情報を読み取って制御部１００に出力したりする。
【００７４】
色情報を書き込む場合には、制御部１００からの書込み位置を座標変換部１１２でバッファメモリ１２０のアドレスに変換し、その変換したアドレスに、色情報書込部１１４により制御部１００から指示された色情報を書込む。
【００７５】
色情報を読み取る場合には、制御部１００からの読取り位置を座標変換部１１６でバッファメモリ１２０のアドレスに変換し、その変換したアドレスのバッファメモリ１２０の色情報を色情報読出部１１８により読取り、制御部１００の発音処理部１０８に出力する。
【００７６】
映像情報は、バッファメモリ１２０に格納されている色情報に基づいた画像を、フレーム毎にビデオＲＡＭ６６に書込み、映像端子７０を介してモニタ９０に出力する。
【００７７】
音声情報は、発音処理部１０８から出力された音声信号を、音声端子７６を介してモニタ９０に出力する。
【００７８】
（ビデオゲームの第１具体例）
次に、本実施形態のビデオゲーム装置のビデオゲームの第１の具体例について図９乃至図２４を用いて説明する。
【００７９】
（基本的描画処理）
本具体例の描画処理について図９乃至図１２を用いて説明する。
【００８０】
図９は本具体例の描画処理において用いられるソフトウエアカートリッジ１２の絵の具体例である。図９の絵の各部分にタッチペン２８を近接させると、絵本タブレット３２によりタッチペン２８の近接位置を検出し、更にペンボタン２８ａを押すことにより、近接位置に応じた描画指示を入力する。
【００８１】
なお、電子カメラ５５を利用する場合には、図９と同様な選択画面、例えば、鉛筆領域２１１、消しゴム領域２１２、あみ領域２１３、指揮棒領域２１４、色指定領域２１５等のアイコンを含む選択画面をモニタ９０に表示し、例えば遊戯者の手の移動によってカーソルを動かして上記アイコンを選択する。
【００８２】
図９の左側のページ２００には、キャンパス領域２０１、サンプル絵領域２０２、２０３、２０４が配置されている。タッチペン２８でキャンパス領域２０１に接触すると、自由に絵を描画できるキャンパスがモニタ９０に表示される。タッチペン２８でサンプル絵領域２０２、２０３、２０４に接触すると、予め定められたサンプルの絵がモニタ９０に表示される。
【００８３】
図８の右側のページ２１０には、鉛筆領域２１１、消しゴム領域２１２、あみ領域２１３、指揮棒領域２１４、色指定領域２１５が配置されている。タッチペン２８で鉛筆領域２１１に接触すると、タッチペン２８が鉛筆として機能する。更にタッチペン２８で色指定領域２１５の所望の色領域に接触することにより、その鉛筆の色を指定できる。タッチペン２８で消しゴム領域２１２に接触すると、タッチペン２８が消しゴムとして機能する。タッチペン２８であみ領域２１３に接触すると、タッチペン２８が捕虫あみとして機能する。タッチペン２８で指揮棒領域２１４に接触すると、タッチペン２８が指揮棒として機能する。
【００８４】
図１０のフローチャートを用いて描画処理について説明する。
【００８５】
まず、タッチペン２８によりサンプル絵が選択されたかどうか判断する（ステップＳ１０）。遊戯者がタッチペン２８をいずれかのサンプル絵領域２０２、２０３、２０４に接触すると、描画制御部１０２により描画処理部１０４を制御して、選択されたサンプル絵をモニタ９０に描画する（ステップＳ１１）。図１１にサンプル絵の具体例を示す。グランドピアノの絵が描画されている。
【００８６】
なお、電子カメラ５５を利用する場合には、例えば、赤み成分に反応してカーソルが移動するように設定しておけば、人間の手には赤み成分が多いので、プレイヤが電子カメラ５５に向かって手を移動させることにより、そのプレイヤの思い通りに操作することができる。
【００８７】
また、タッチペン２８で、サンプル領域、鉛筆領域、消しゴム領域、色指定領域に接触して希望の機能を選択し、その選択状態のときに、電子カメラ５５の前で手を移動すると、タブレット２４を使ったペン入力と異なり非接触で操作することができる。
【００８８】
サンプル絵が選択されていない場合には、タッチペン２８によりキャンパスが選択されたかどうか判断する（ステップＳ１２）。遊戯者がタッチペン２８をキャンパス領域２０１に接触すると、描画制御部１０２により描画処理部１０４を制御して、キャンパスをモニタ９０に描画する（ステップＳ１３）。図１１にキャンパス絵の具体例を示す。最初は絵が全く描かれていないキャンパスが描画される。
【００８９】
次に、鉛筆を用いてモニタ９０上に線図を描画する。図１２に示すキャンパス上に線図を描画する場合として説明するが、図１１に示すサンプル絵上にも線図を描画することができる。
【００９０】
なお、電子カメラ５５を利用する場合には、人間の手に多い赤み成分に反応するようにすれば、プレイヤが手を移動することにより線図を描画することもできる。
【００９１】
まず、タッチペン２８により鉛筆と色が選択されたかどうか判断する（ステップＳ１４）。タッチペン２８を鉛筆領域２１１に接触し、色指定領域２１５のいずれかに接触すると、モニタ９０上に指定した色の絵筆２００が表示される。
【００９２】
次に、タッチペン２８がお絵描きタブレット２４上にあるかどうか判断し（ステップＳ１５）、更にペンボタン（図示せず）が押されているかどうか判断する（ステップＳ１６）。遊戯者がタッチペン２８をお絵描きタブレット２４に接触すると、描画処理部１０４から位置信号が座標変換部１１２に出力され、色信号が色情報書込部１１４に出力される。座標変換部１１２は位置信号をバッファメモリ１２０のアドレス信号に変換し、その変換したアドレスに、色情報書込部１１４により色信号で指示された色情報を書込む（ステップＳ１７）。遊戯者がタッチペン２８をお絵描きタブレット２４に接触しながら動かすと、図１２に示すように、モニタ９０上では絵筆５００がタッチペン２８の動きに同期して動いてキャンパス上に選択された色の線図が描画される。
【００９３】
なお、電子カメラ５５を利用する場合には、電子カメラ５５に向かって手を移動することにより、モニタ９０上に表示された指定した色の絵筆を移動させ、モニタ９０上に線図を描画することができる。
【００９４】
タッチペン２８を色指定領域２１５を接触すれば、絵筆５００の色が変更されモニタ９０のキャンパス上に複数の色の線図が描画される。また、タッチペン２８を消しゴム領域２１２に接触して、モニタ９０に消しゴムを表示し、その後、タッチペン２８をお絵描きタブレット２４に接触しながら動かすことにより、モニタ９０のキャンパス上に描画された線図を消すことができる。このようにして、実際のキャンパスに絵を描くように、モニタ９０のキャンパスに絵を自由に描くことができる。
【００９５】
なお、電子カメラ５５を利用する場合には、タッチペン２８で希望領域に接触しての各機能を選択すると、キャンパスに絵を書くように、モニタ９０に絵を自由に描くことができる。ここで、「消しゴム領域」や「色指定領域」などの画面データを予め用意してモニタ９０上に表示し、電子カメラ５５に向かって手を移動してモニタ９０上のカーソルをその領域に移動すれば、希望の機能を選択できる。
【００９６】
さらに、プレイヤが手を電子カメラ５５に向けて移動させれば、その手の移動に沿った軌跡をモニタ９０上に表示でき、モニタ９０のキャンパスに絵を自由に描くことができる。
【００９７】
なお、電子カメラ５５を利用する場合は、タッチペン２８とタブレット２４を使う場合と異なり、非接触で操作入力できるので、不思議な感覚で描画を楽しむことができる。
【００９８】
（発音処理１）
本具体例の発音処理について図１３のフローチャートを用いて説明する。図１１に示すグランドピアノのサンプル絵を用いて発音処理する場合として説明するが、図１２に示すキャンパス上の線図を用いても発音処理することができる。
【００９９】
まず、タッチペン２８により指揮棒が選択されたかどうか判断する（ステップＳ２０）。遊戯者がタッチペン２８を指揮棒領域２１４に接触すると、モニタ９０上に指揮棒５０２が表示される。
【０１００】
次に、タッチペン２８がお絵描きタブレット２４上にあるかどうか判断し（ステップＳ２１）、更にペンボタン２８ａが押されているかどうか判断する（ステップＳ２２）。遊戯者がタッチペン２８をお絵描きタブレット２４に接触すると、発音処理部１０８から位置信号が座標変換部１１６に出力され、バッファメモリ１２０のアドレスに変換される。続いて、色情報読出部１１８により、その変換したアドレスにおけるバッファメモリ１２０の色信号が読み出され、発音処理部１０８に出力される（ステップＳ２３）。
【０１０１】
なお、電子カメラ５５を利用する場合には、赤み成分に反応するようにすれば、制御部１００が電子カメラ５５によって赤み成分（例えば遊戯者の手）を認識させることにより位置信号の入力ができる。電子カメラ５５により位置信号を入力すると、発音処理部１０８から位置信号が座標変換部１１６に出力され、バッファメモリ１２０のアドレスに変換され、色情報読出部により、その変換したアドレスにおけるバッファメモリ１２０の色信号が読み出され、発音処理部１０８に出力されることになる。
【０１０２】
次に、色情報の変化があったか否か判断する（ステップＳ２４）。色情報の変化がなかった場合にはペンボタン２８ａが押された直後か否か判断する（ステップＳ２５）。ペンボタン２８ａが押された直後でなければステップＳ２０に戻る。
【０１０３】
ペンボタン２８ａが押された直後であれば、発音処理部１０８は読み出された色情報が透明又は黒であるか否か判断する（ステップＳ２６）。透明又は黒の場合は音を発生させないためである。なお、黒の場合は光る粉を出して（ステップＳ２７）、ステップＳ２０に戻る。
【０１０４】
なお、電子カメラ５５を利用する場合には、ＭＰＵ６０が電子カメラ５５を介して赤み成分を認識した直後に色情報が透明又は黒であるか否か判断する。
【０１０５】
読み出された色情報が透明又は黒でなければ、発音処理部１０８は、その色情報に応じて発音する音を決定する（ステップＳ２８）。各色情報に応じた音の周波数の倍率を定めた発声周波数表を定めておき、この発声周波数表に基づいて周波数倍率を定める。続いて、発音処理部１０８は、決定された音信号を出力し、音声端子７６を介してモニタ９０に出力し、音を発生する（ステップＳ２９）。
【０１０６】
図１１では指揮棒５０２が黄色の音符５０４上に位置しているので、黄色に対して予め定められている音、例えば、ピアノの音で高さがレの音が発生する。
【０１０７】
このようにして、タッチペン２８をお絵描きタブレット２４上で移動してペンボタン２８ａを押すことにより、指示した色に応じた様々な音を発生することができる。
【０１０８】
また、電子カメラ５５を利用する場合には、遊戯者の例えば手の移動によって指示した色に応じた様々な音を発生することができる。
【０１０９】
更に、図１１に示すように、ピアノの鍵盤を音程にあうような色で描画しておけば、指揮棒５０２によりピアノの鍵盤を指示することにより、簡単な音楽を自在に演奏することも可能である。
【０１１０】
なお、電子カメラ５５を利用する場合には、遊戯者の手の移動に応じて指揮棒５０２が画面上で移動するので、その指揮棒５０２によりピアノの鍵盤を指示することにより、簡単な音楽を自在に演奏することも可能である。また、この場合は、非接触で操作することができるのでより実際の指揮者感覚で演奏することができる。
【０１１１】
（移動体描画処理１）
本具体例における虫を移動する虫移動描画処理について図１４乃至図２４を用いて説明する。
【０１１２】
この虫移動描画処理は、キャンパスの線図に用いられた色に応じて、その色が好きな虫を移動体描画部１０６により自動的に発生させ、その虫を色の線に沿って動かすものである。遊戯者はその虫を捕虫あみにより捕獲する等のゲームを行なうことができる。
【０１１３】
（基本フロー）
図１４は虫移動描画処理の基本フローを示している。
【０１１４】
虫移動描画処理の基本フローは、各種パラメータを初期化する初期化処理（ステップＳ３０）、虫の発生が求められるまで待機する待機処理（ステップＳ３１）、発生した虫が画面内に飛来する飛来処理（ステップＳ３２）、画面内で虫を移動する移動処理（ステップＳ３３）、虫が画面から飛び去る飛去処理（ステップＳ３４）の順となっている。発生する虫の数だけ独立に描画処理される。
【０１１５】
各処理の詳細について順次説明する。
【０１１６】
（初期化処理）
図１５は初期化処理のフローチャートである。
【０１１７】
まず、表示部用の各種パラメータを初期化する（ステップＳ４０）。
【０１１８】
次に、虫が発生する際の画面外の初期位置を乱数により設定する（ステップＳ４１）。この初期位置から虫が飛来する。
【０１１９】
次に、発生した虫が着陸する着陸位置を乱数により設定する（ステップＳ４２）。飛来した虫は最初この位置に着陸する。
【０１２０】
次に、滞在時間タイマを初期化する（ステップＳ４３）。飛来してきた虫は一定時間が経過すると飛び去る。滞在時間タイマは虫が画面内で滞在する時間を計測する。
【０１２１】
次に、移動方向設定タイマを初期化する（ステップＳ４４）。虫は動きながら移動方向を周囲の色情報に基づいて一定の頻度で再設定する。移動方向設定タイマは移動方向を再設定する時間を計測する。
【０１２２】
次に、進行方向揺らぎタイマを初期化する（ステップＳ４５）。虫が自然に動いているように見せるために、一定の頻度で移動方向を少しずつずらす。進行方向揺らぎタイマは移動方向に揺らぎを発生する時間を計測する。
【０１２３】
初期化処理が終了すると、次の待機処理に進む。
【０１２４】
（待機処理）
図１６は待機処理のフローチャートである。
【０１２５】
待機処理では、キャンパスに虫を発生する特定の色が描画されるまで待機し、特定の色が描画されれば、その色にしたがって発生する虫の種類を決定する。例えば、図２４に示すように、赤色の線５０６が描画されていれば、赤色が好きな赤いてんとう虫５０８を発生し、青色の線５１０が描画されていれば青色が好きな虫５１２を発生する。
【０１２６】
まず、キャンパスに色が描画されてから一定時間が経過したか否か判断する（ステップＳ５０）。キャンパスに色が描画されていなかったり、色が描画されても一定時間が経過していなければ、再びステップＳ５０に戻る。
【０１２７】
キャンパスに色が描画されて一定時間が経過すると、続いて、虫が好きな色か否か、すなわち、虫を発生させる色か否か判断する（ステップＳ５１）。虫が好きな色でなければ、再びステップＳ５０に戻る。
【０１２８】
虫が好きな色のひとつであれば、その色に応じた虫の種類を決定する（ステップＳ５２）。例えば、赤であればてんとう虫を選択し、青であれば青色が好きな虫を選択する。
【０１２９】
続いて、決定した虫の種類に基づいて、その虫が嫌いな色を設定する（ステップＳ５３）。例えば、てんとう虫であれば緑を選択し、青色が好きな虫であれば茶色を選択する。
【０１３０】
待機処理が終了すると、次の飛来処理に進む。
【０１３１】
（飛来処理）
図１７は飛来処理のフローチャートである。
【０１３２】
まず、図１５の初期化処理のステップＳ４１で定めた画面外の初期位置から、図１６の待機処理のステップＳ５２で定めた種類の虫を飛ばし（ステップＳ６０）、図１５の初期化処理のステップＳ４２で定めた画面内の着陸位置に向かって飛ばす（ステップＳ６１）。
【０１３３】
続いて、虫が着陸位置に到達したか否か判断する（ステップＳ６２）。着陸位置に到達していなければ、再びステップＳ６１に戻る。着陸位置に到達していれば飛来処理を終了し、次の移動処理に進む。
【０１３４】
（移動処理）
図１８は移動処理のフローチャートであり、図１９は移動処理中の進路決定処理のフローチャートであり、図２０は移動処理中の移動境界チェック処理のフローチャートである。
【０１３５】
まず、図１８に示すように、周囲の色情報にしたがって虫の進路を決定する進路決定処理を行う（ステップＳ７１）。進路決定処理の詳細を図１９を用いて説明する。
【０１３６】
進路決定処理においては、まず、移動方向設定タイマを減じ（ステップＳ９０）、この移動方向設定タイマがゼロになったか否か判断する（ステップＳ９１）。移動方向設定タイマがゼロになっていなければ、現在の進行方向を変更することなく維持して、移動処理を終了する。
【０１３７】
移動方向設定タイマがゼロになっていると、色情報ワークメモリを作成する（ステップＳ９３）。色情報ワークメモリとは、進路決定の際に参照するために、虫の現在位置の周囲の色情報を検出して記憶するものである。虫の現在位置の周囲に、図２２に示すように、１６個の特定方向領域を設定する。これら１６個の特定方向領域は、現在位置を中心として全周囲１６方向の所定距離離れた位置に配置されている。各特定方向領域は、一定ドット数、例えば６ドットの面積である。
【０１３８】
進路決定部１０７は特定方向領域の色情報を読み込む。進路決定部１０７は特定方向領域の各ドットの読取り位置を座標変換部５６に出力し、座標変換部１１６はバッファメモリ１２０のアドレスに変換し、その変換したアドレスのバッファメモリ１２０の色情報を色情報読出部１１８により読取り、進路決定部１０７に出力する。その色情報が、虫が好きな色か否か、嫌いな色か否かを判定し、それぞれカウントする。全ての１６個の特定方向領域について色情報を読み取り、各特定方向領域についての好きな色の数と嫌いな色の数をカウントして、色情報ワークメモリに格納する。
【０１３９】
次に、色情報ワークメモリを参照して、虫の次の進行方向（以下「転回方向」という）を決定する（ステップＳ９４）。現在の進行方向を中心として好きな色が多い方向を転回方向として決定するようにする。例えば、図２３に示すように、現在の進行方向が右上方の方向（１）であるとすると、最初は、進行方向である右上方の方向（１）の特定方向領域を調査し、続いて、進行方向の左隣りの方向（２）の特定方向領域の色情報を調査し、続いて、進行方向の右隣りの方向（３）の特定方向領域の色情報を調査し、続いて、進行方向のさらに左隣りの方向（４）の特定方向領域の色情報を調査し、．．．順次、図２３に丸数字で示した順番に進行方向を中心とする９個の特定方向領域の色情報を調査する。好きな色のドット数と嫌いな色の有無を調査する。
【０１４０】
調査の結果、最も好きな色のドット数が多い方向を転回方向とする。好きな色のドット数が同じであれば、図２３に示した丸数字の少ない方向を転回方向として、現在の進行方向に近い方向を優先する。
【０１４１】
次に、ステップＳ９４で調査した嫌いな色の有無から、調査した特定方向領域中で嫌いな色を含む特定方向領域の数をカウントする（ステップＳ９５）。嫌いな色を含む特定方向領域が１個もなければ、ステップＳ９４で決定した転回方向を維持してステップＳ９７に進む。嫌いな色を含む特定方向領域が１個又は２個であれば、周囲に嫌いな色があると判断し、ステップＳ９４で決定した転回方向を１８０度変更して（ステップＳ９６）ステップＳ９７に進む。嫌いな色を含む特定方向領域が３個以上であれば、周囲に嫌いな色がたくさんあると判断し、虫が飛び去る処理（ステップＳ３４）に進む。
【０１４２】
次に、進行方向揺らぎタイマを減じ（ステップＳ９７）、この進行方向揺らぎタイマがゼロになったか否か判断する（ステップＳ９８）。進行方向揺らぎタイマがゼロになっていなければ、現在の進行方向を変更することなく維持して、進路決定処理を終了する。
【０１４３】
進行方向揺らぎタイマがゼロになっていれば、決定した転回方向に揺らぎを与える（ステップＳ９９）。決定した転回方向と、転回方向から反時計回りに隣りの方向と、転回方向から時計回りに隣の方向という３つの方向から乱数に基づいていずれかの方向を選択し、新たな転回方向とする。
【０１４４】
ステップＳ７１の進路決定処理により、周囲の色情報にしたがって虫の進路を決定すると、続いて、画面の縁で虫の移動を反転させるために移動境界チェック処理を行う（ステップＳ７２）。移動境界チェック処理の詳細を図２０を用いて説明する。
【０１４５】
移動境界チェック処理においては、まず、進路決定処理により決定された転回方向で進んだ場合、左右方向に関して画面からはみ出すか否か判断する（ステップＳ１００）。はみ出すと判断された場合には、進行方向を左右逆にする（ステップＳ１０１）。
【０１４６】
次に、進路決定処理により決定された転回方向で進んだ場合、上下方向に関して画面からはみ出すか否か判断する（ステップＳ１０２）。はみ出すと判断された場合には、進行方向を上下逆にする（ステップＳ１０３）。
【０１４７】
このようにして決定された最終的な転回方向に現在の速度分を加えて、次の新しい座標を決定する（ステップＳ１０４）。このようにして決定された座標位置に虫が移動するように描画処理部１０４が虫を描画する。
【０１４８】
ステップＳ７２の移動境界処理により最終的に次の新しい座標を決定すると、続いて、図１８のステップＳ７３以降の虫取りゲームの処理に進む。
【０１４９】
虫取りゲームの概要について説明する。遊戯者が虫取りゲームを行いたい場合には、タッチペン２８をあみ領域２１３に接触して、図２４に示すように、モニタ９０に虫取り網のカーソル５１４を表示しておく。タッチペン２８をお絵描きタブレット２４に接触してペンボタン２８ａを押しながら動かすことにより、モニタ９０上の虫５０８、５１２を捕まえて虫取り網５１４と一緒に動かすことができる。
【０１５０】
なお、電子カメラを利用する場合には、赤みに反応して網のカーソル５１４が移動するように設定すれば、例えば、遊戯者の手の移動に応じて網のカーソル５１４が画面上で移動するので、モニタ９０上の虫５０８、５１２を捕まえて虫取り網５１４と一緒に動かすことができる。
【０１５１】
これとは別に、画面上に選択ボタン（図示せず）を表示させ、電子カメラ５５に向けて手の移動させることによって、画面上のカーソルを移動させて、そのカーソルをその選択ボタンに重ねると、網のカーソル５１４に変化して表示するように制御してもよい。
【０１５２】
まず、タッチペン２８による画面上のカーソルが虫に触っていて、かつ、ペンボタン２８ａが押されているか否か判断する（ステップＳ７３）。画面上のカーソルが虫に触っていてペンボタン２８ａが押されていると判断されると、そのカーソルが虫取り網か否か判断する（ステップＳ７４）。カーソルが虫取り網ではないと判断されると、次の飛び去り処理（ステップＳ３４）に進む。
【０１５３】
なお、電子カメラを利用する場合には、画面上のカーソルが虫に触っていて、かつカーソルの移動スピードが所定のスピード以上であるときに飛び去り処理に進むようにしてもよい。現在のフレームと過去のフレームとの差から、カーソルの移動に要したフレーム数を求め、そのフレーム数に１／６０秒（１フレームの時間）を乗算してスピードを計算する。
【０１５４】
カーソルが虫取り網であると判断されると、虫取り網から離されたか否か判断する（ステップＳ７５）。離されていると判断されるとステップＳ７７に戻り、上述した処理を繰り返す。虫取り網から離されていない場合には、虫が虫取り網に捕まえられていると判断し、虫取り網の中央の方向に虫が移動するように虫の新たな座標値を決定する（ステップＳ７６）。続いて、再びステップＳ７５に戻り、ステップＳ７５、Ｓ７６の処理を繰り返す。このようにすることにより、虫取り網５１４で虫５０８、５１０を捕まえて一緒に動かすことができる。
【０１５５】
ステップＳ７３で、タッチペン２８による画面上のカーソルが虫に触っていないと判断されると、続いて、画面が全消去されたか否か判断する（ステップＳ７７）。画面が全消去されている場合には、次の飛び去り処理（ステップＳ３４）に進む。
【０１５６】
画面が全消去されていない場合には、色情報ワークメモリを参照して、周囲にその虫が好きな色があるか否か判断する（ステップＳ７８）。周囲に好きな色がある場合には、滞在時間タイマを初期化して（ステップＳ８１）、ステップＳ７７に戻り、上述した処理を繰り返す。
【０１５７】
周囲に好きな色がない場合には、滞在時間タイマを減じ（ステップＳ７９）、この滞在時間タイマがゼロになったか否か判断する（ステップＳ８０）。滞在時間タイマがゼロになっていなければ、ステップＳ７７に戻り、上述した処理を繰り返す。滞在時間タイマがゼロになっていれば、次の飛び去り処理（ステップＳ３４）に進む。
【０１５８】
（飛去処理）
図２１は飛去処理のフローチャートである。
【０１５９】
まず、現在位置から虫を飛ばし（ステップＳ１１０）、画面外の所定の位置にに向かって飛ばす（ステップＳ１１１）。続いて、虫が画面外に出たか否か判断する（ステップＳ１１２）。画面外に出ていなければ、再びステップＳ１１１に戻る。画面外に出ていれば飛去処理を終了し、再び初期化処理（ステップＳ３０）に戻り、上述した処理を繰り返す。
【０１６０】
このように、これら虫の発生及び移動は自動的に行われ、遊戯者による特別の操作を必要としないが、遊戯者はその虫を捕虫あみにより捕獲する等のゲームを行なうことができる。
【０１６１】
上述したような発音処理や移動体描画処理によれば、モニタに単に絵を描画するだけでなく、その絵を利用して音を発生したり、音楽を演奏したり、虫を捕獲したりする等の様々なゲームを行うことができる。
【０１６２】
（ビデオゲームの第２具体例）
次に、本実施形態のビデオゲーム装置のビデオゲームの第２の具体例について図２５乃至図３６を用いて説明する。第１の具体例とは発音処理及び移動体描画処理が異なっている。
【０１６３】
（発音処理２）
本具体例の発音処理について図２５のフローチャートを用いて説明する。図２６に示すグランドピアノのサンプル絵を用いて発音処理する場合として説明する。
【０１６４】
まず、タッチペン２８によりどの種類の指揮棒が選択されたかどうか判断する（ステップＳ１２０）。本具体例では指揮棒として通常のオルガン音を奏でる指揮棒の他に他の動物の音色を発する指揮棒を選択することができる。指揮棒の種類は、図２６に示すように、画面上にツールボックス５２０として表示することができ、遊戯者がタッチペン２８を操作して、ツールボックス５２０内の動物の絵にカーソルを合わせペンボタン２８ａを押して好みの動物を選択する。例えば、ツールボックス５２０内の猫の絵５２２を選択すると、図２６に示すように、先端が猫の絵の指揮棒５２４が表示される。
【０１６５】
なお、電子カメラ５５を利用して選択する場合には、選択可能な複数種類の指揮棒ボタンを画面上に表示し、その中から希望の指揮ボタンに画面上のカーソルを重ねることで選択する。カーソルの移動は、例えば赤みに反応するように画像処理する設定にすれば、電子カメラ５５に向かって遊戯者が手を移動すると、それに応じてカーソルを移動させることで実現できる。
【０１６６】
次に、タッチペン２８がお絵描きタブレット２４上にあるかどうか判断し（ステップＳ１２１）、更にペンボタン２８ａが押されているかどうか判断する（ステップＳ１２２）。遊戯者がタッチペン２８をお絵描きタブレット２４に接触すると、発音処理部１０８から位置信号が座標変換部１１６に出力され、バッファメモリ１２０のアドレスに変換される。続いて、色情報読出部１１８により、その変換したアドレスにおけるバッファメモリ１２０の色信号が読み出され、発音処理部１０８に出力される（ステップＳ１２３）。
【０１６７】
次に、色情報の変化があったか否か判断する（ステップＳ１２４）。色情報の変化がなかった場合にはペンボタン２８ａが押された直後か否か判断する（ステップＳ１２５）。ペンボタン２８ａが押された直後でなければステップＳ１２０に戻る。
【０１６８】
ペンボタン２８ａが押された直後であれば、発音処理部１０８は読み出された色情報が透明又は水又は黒であるか否か判断する（ステップＳ１２６）。透明又は水又は黒の場合は音を発生することなく、ステップＳ１２０に戻る。
【０１６９】
読み出された色情報が透明又は水又は黒でなければ、発音処理部１０８は、その色情報と指揮棒の種類に応じて発音する音を決定する（ステップＳ１２７）。指揮棒の種類に応じた音色（オルガン音、犬の声、猫の声、猿の声、豚の声、象の声）を定めると共に、各色情報に応じた音の周波数の倍率を定めた発声周波数表を定めておき、この音色と発声周波数表に基づいて発生音を定める。例えば、猫を選択した場合には、猫の声で音階を奏でることができる。
【０１７０】
続いて、発音処理部１０８は、決定された音信号を出力し、音声端子７６を介してモニタ９０に出力し、音を発生する（ステップＳ１２８）。
【０１７１】
図２６では猫の指揮棒５２４が黄色の音符５０４上に位置しているので、猫の指揮棒と黄色に対して予め定められている音、例えば、猫の声で高さがレの音が発生する。
【０１７２】
このようにして、タッチペン２８をお絵描きタブレット２４上で移動してペンボタン２８ａを押すことにより、指示した色に応じた様々な音を発生することができる。
【０１７３】
（移動体描画処理１）
本具体例における動物を移動する動物移動描画処理について図２７乃至図３６用いて説明する。
【０１７４】
この動物移動描画処理は、絵本の動物の絵をクリックすることによりキャンパス内に動物を登場させ、その動物を色の線に沿って動かすものである。周囲の色情報により動物の絵が切り替わったり、ときどき休憩したりする。本具体例では、図３４に示すように、かば２２１、ゴリラ２２２、ライオン２３２、鳥２３１、象２３４が絵本に描かれており、これら５種類の動物を登場させることができる。
【０１７５】
（基本フロー）
図２７は動物移動描画処理の基本フローを示している。
【０１７６】
動物移動描画処理の基本フローは、各種パラメータを初期化する初期化処理（ステップＳ１３０）、動物の発生が求められるまで待機する待機処理（ステップＳ１３１）、選択された動物を画面内に登場させる登場処理（ステップＳ１３２）、画面内で動物を移動したり休憩したりする移動処理（ステップＳ１３３）、動物が画面から退場する退場処理（ステップＳ１３４）の順となっている。発生する動物の数だけ独立に描画処理される。
【０１７７】
各処理の詳細について順次説明する。
【０１７８】
（初期化処理）
図２８は初期化処理のフローチャートである。
【０１７９】
まず、表示部用の各種パラメータを初期化する（ステップＳ１４０）。
【０１８０】
次に、動物が登場する際の画面外の初期位置を乱数により設定する（ステップＳ１４１）。この初期位置から動物が登場する。
【０１８１】
次に、登場する動物の種類に応じた好きな色を設定する（ステップＳ１４２）。例えば、カバであれば水色、象であれば草色が好きな色となる。
【０１８２】
次に、移動方向設定タイマを初期化する（ステップＳ１４３）。動物は動きながら移動方向を周囲の色情報に基づいて一定の頻度で再設定する。移動方向設定タイマは移動方向を再設定する時間を計測する。
【０１８３】
次に、進行方向揺らぎタイマを初期化する（ステップＳ１４４）。動物が自然に動いているように見せるために、一定の頻度で移動方向を少しずつずらす。進行方向揺らぎタイマは移動方向に揺らぎを発生する時間を計測する。
【０１８４】
次に、反転抑制タイマを初期化する（ステップＳ１４５）。動物の移動方向が反転した場合、その向きに応じて動物の画像を切り換えるが、動物が自然に動いているように見せるために、移動方向が反転しても直ちに動物の画像を切り換えることなく一定時間画像を反転するのを抑制する。反転抑制タイマは画像の反転を抑制する時間を計測する。
【０１８５】
初期化処理が終了すると、次の待機処理に進む。
【０１８６】
（待機処理）
図２９は待機処理のフローチャートである。
【０１８７】
待機処理では、タッチペン２８により絵本の動物の絵が触れられるまで待機し、触れられた動物を登場させるための準備を行う。
【０１８８】
まず、絵本の動物の絵がタッチペン２８で触れられたか否か判断する（ステップＳ１５０）。タッチペン２８でどこにも触れられていなかったり、触れられても動物の絵の位置でなければ、再びステップＳ１５０に戻る。
【０１８９】
タッチペン２８により動物の絵が触れられていると、絵本タブレット３２の出力から動物の種類を決定する（ステップＳ１５１）。
【０１９０】
なお、電子カメラ５５を利用して選択する場合には、選択可能な動物の絵を画面上に表示し、その中から希望の動物の絵に画面上のカーソルを重ねることで選択する。
【０１９１】
続いて、動物が登場した際のキャンパス内の移動の終了位置を乱数で設定する（ステップＳ１５２）。
【０１９２】
待機処理が終了すると、次の登場処理に進む。
【０１９３】
（登場処理）
図３０は登場処理のフローチャートである。
【０１９４】
まず、図２８の初期化処理のステップＳ１４１で定めた画面外の初期位置から、図２９の待機処理のステップＳ１５１で定めた種類の動物を登場させ（ステップＳ１６０）、図２９の待機処理のステップＳ１５２で定めた画面内の終了位置に向かって移動する（ステップＳ１６１）。
【０１９５】
続いて、動物が終了位置に到達したか否か判断する（ステップＳ１６２）。終了位置に到達していなければ、再びステップＳ１６１に戻る。終了位置に到達していれば登場処理を終了し、次の移動処理に進む。
【０１９６】
（移動処理）
図３１は移動処理のフローチャートであり、図３２は移動処理中の速度設定・動物反転処理のフローチャートである。なお、移動処理中の進路決定処理と移動境界チェック処理の詳細については、第１の具体例と同様であるので説明を省略する。
【０１９７】
まず、図３１に示すように、周囲の色情報にしたがって動物の進路を決定する進路決定処理を行う（ステップＳ１７０）。進路決定処理の詳細は第１の具体例の図１９と同様であるが、第１の具体例と異なるのは、嫌いな色に関する処理を行っていない点である。
【０１９８】
ステップＳ１７０の進路決定処理により、周囲の色情報にしたがって動物の進路を決定すると、続いて、速度設定・動物反転処理を行う（ステップＳ１７１）。速度設定・動物反転処理の詳細について図３２を用いて説明する。
【０１９９】
速度設定・動物判定処理においては、まず、進路決定処理により決定された転回方向から速度を決定し、水平方向及び垂直方向の速度成分を得る（ステップＳ１８１）。動物により移動速度が異なるので、速度変換テーブルから移動速度を読み取り、その移動速度と転回方向から、水平方向及び垂直方向の速度成分を得る。
【０２００】
次に、現在の進行方向は、現在の動物の画像の左右の向きと一致しているか否か判断する（ステップＳ１８２）。各動物の画像として予め左向きの画像と右向きの画像が用意されている。速度の水平成分が左向きであれば動物の左向きの画像を表示し、右向きであれば右向きの画像を表示するようにしている。ステップＳ１８２では、動物の画像の向きが進行方向にあっているか否か判断する。
【０２０１】
現在の進行方向と動物の画像の向きが一致していないと判断されると、反転抑制タイマを減じ（ステップＳ１８３）、この反転抑制タイマがゼロになったか否か判断する（ステップＳ１８４）。反転抑制タイマがゼロになっていれば動物の画像を一致している向きの画像に切り換える（ステップＳ１８５）。
【０２０２】
ステップＳ１８２で現在の進行方向と動物の画像の左右の向きが一致していると判断された場合には、反転抑制タイマを初期化して（ステップＳ１８６）、次の移動境界チェック処理に進む。
【０２０３】
ステップＳ１８４で反転抑制タイマがゼロになっていないと判断された場合には、次の移動境界チェック処理に進む。
【０２０４】
続いて、画面の縁で動物を反転させるために移動境界チェック処理を行う（ステップＳ７２）。移動境界チェック処理の詳細は第１の具体例の図２０と同様であるので、説明を省略する。
【０２０５】
ステップＳ７２の移動境界処理により最終的に次の新しい座標を決定すると、続いて、図３１のステップＳ１７３以降の処理に進む。
【０２０６】
最初に周囲の色情報に基づいて動物の画像を切り換える処理を行う。
【０２０７】
まず、ステップＳ１７０の進路決定処理において作成した色情報ワークメモリを参照し、登場している動物の好きな色が周囲に何ドットあるかカウントし、例えば、４６個以上あるか否か判断する（ステップＳ１７３）。４６個以上であれば動物の画像を切り換える（ステップＳ１７４）。
【０２０８】
例えば、カバの場合、好きな水色５３０に囲まれた場合には水中にあるものと判断し、カバの画像を、図３５に示す歩いているカバの画像５３２から図３６の足が水中に没した泳いでいるカバの画像５３４に切り換える。図３６に示すように、あたかもカバ５３４が水中５３０を泳いでいるかのように見える。他の動物についても好きな色に囲まれた場合に画像を切り換えることにより、リアリティのある画像表示を行うことができる。
【０２０９】
次に、動物が一定時間毎に休憩する処理を行う。一定時間毎に移動を一時休止し、休憩状態の動物の画像を表示する。休憩時間が終了すれば再び移動を開始する。各動物に対して休憩時間タイマを設定しておく。動物により休憩時間タイマの時間が異なる。
【０２１０】
まず、休憩のタイミングか否か判断する（ステップＳ１７５）。休憩のタイミングであれば、休憩状態の動物の画像を表示する（ステップＳ１７６）。休憩のタイミングでなければ、ステップＳ１７８に進む。
【０２１１】
続いて、休憩時間を計測する休憩時間タイマがゼロになった否か判断する（ステップＳ１７７）。休憩時間タイマがゼロであれば、休憩終了の動物の画像を表示する（ステップＳ１８０）。
【０２１２】
次に、動物の画像をクリックすることにより鳴き声を発生させる処理を行う。タッチペン２８を操作して、画面上の動物にカーソルを合わせ、クリックすると、その動物が画像を変化して鳴き声を発生する。
【０２１３】
まず、動物上にカーソルがあってタッチペン２８がクリックされたか否か判断する（ステップＳ１７８）。クリックされた場合には、鳴き声を発生する動物の画像を表示すると共に、鳴き声を発生する（ステップＳ１７９）。
【０２１４】
なお、電子カメラ５５を利用して選択する場合には、選択可能な動物の絵を画面上に表示し、その中から希望の動物の絵に画面上のカーソルを重ね、カーソルを左右に振ることで選択する。
【０２１５】
（退場処理）
図３３は退場処理のフローチャートである。
【０２１６】
まず、絵本の動物の絵がタッチペン２８で触れられたか否か判断する（ステップＳ１９０）。タッチペン２８でどこにも触れられていなかったり、触れられても動物の絵の位置でなければ、再び初期化処理（ステップＳ１３０）に戻り、上述した処理を繰り返す。
【０２１７】
タッチペン２８により動物の絵が触れられていれば、表示されている動物を画面外に退場させる退場処理を行う。その動物の画像を画面外の所定の位置に向かって移動する（ステップＳ１９１）。続いて、動物が画面外に出たか否か判断する（ステップＳ１９２）。画面外に出ていなければ、再びステップＳ１９１に戻る。画面外に出ていれば退場処理を終了し、再び初期化処理（ステップＳ１３０）に戻り、上述した処理を繰り返す。
【０２１８】
このように、遊戯者の指示にしたがって動物を発生させ、描いた絵の色情報にしたがって移動させ、画像を切り換えたり、休憩させたり、鳴き声を鳴かせたりといって種々のゲームを行うことができる。
【０２１９】
なお、電子カメラ５５を利用する場合には、入力手段としてタッチペン２８を用いるか電子カメラ５５を用いるかを選択できるような選択手段又は切換手段を設けるようにする。この選択手段又は切換手段は切換スイッチ等のハードウエアとして設けてもよいし、画面上で選択できるようにするプログラム等のソフトウエアとして設けてもよい
また、電子カメラ５５による操作入力とタッチペン２８による操作入力を共に可能なようにして、双方の入力手段を同時に用いられるようにしてもよい。例えば、子供はタッチペン２８により操作入力し、親は電子カメラ５５を利用して操作入力できるようにする。表示画面上にはそれぞれ独立に操作できるカーソルを表示し、それぞれの操作入力に応じた操作表示、例えば、カーソルで線図を書く入力操作を同じ画面上に表示するようにしてもよい。
【０２２０】
［変形実施形態］
本発明は上記実施形態に限らず種々の変形が可能である。
【０２２１】
例えば、上記実施形態では幼児用ビデオゲーム装置を用いたが、基本的な構成は上記実施形態と同様に構成し、他のゲーム装置に本発明を適用してもよい。
【０２２２】
また、ゲーム装置に限らず、基本的な構成は上記実施形態と同様に構成し、電子的に絵を書く電子タブレットのような電子タブレットに本発明を適用してもよい。
【０２２３】
また、基本的な構成は上記実施形態と同様に構成し、パーソナルコンピュータ等の汎用のコンピュータにおけるゲームプログラムや画像プログラム等の画像処理に本発明を適用してもよい。
【０２２４】
また、基本的な構成は上記実施形態と同様に構成し、音楽に合わせて操作を行う音楽ゲーム等の他のゲームに本発明を適用してもよい。
【０２２５】
【発明の効果】
以上の通り、本発明によれば、画像を撮像する撮像手段と、撮像手段により撮像した画像データを複数フレーム分記憶する記憶手段と、記憶手段に記憶された画像データを表示画面上に順次表示する画像表示手段と、一のフレームの画像データと他のフレームの画像データとを比較して得られる差分データを算出する差分算出手段とを有し、差分算出手段により算出された差分データに基づいて表示画面上に表示する移動体の挙動を決定するようにしたので、遊戯者等の撮像画像から特定の情報を得て、その情報に基づいて画像表示を制御することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態によるビデオゲーム装置の機能を示すブロック図である。
【図２】本発明の第１実施形態によるビデオゲーム装置の遊戯方法の第１の具体例を示す説明図である。
【図３】本発明の第１実施形態によるビデオゲーム装置の遊戯方法の第２の具体例を示す説明図である。
【図４】本発明の第１実施形態によるビデオゲーム装置の遊戯方法の第３の具体例を示す説明図である。
【図５】本発明の第２実施形態によるビデオゲーム装置の外観を示す斜視図である。
【図６】本発明の第２実施形態によるビデオゲーム装置のソフトウエアカートリッジを示す図である。
【図７】本発明の第２実施形態によるビデオゲーム装置のハードウエアの構成を示すブロック図である。
【図８】本発明の第２実施形態によるビデオゲーム装置の機能ブロック図である。
【図９】本発明の第２実施形態におけるビデオゲームの第１の具体例におけるソフトウエアカートリッジの絵本の絵の一例を示す図である。
【図１０】本発明の第２実施形態におけるビデオゲームの第１の具体例における描画処理のフローチャートである。
【図１１】本発明の第２実施形態におけるビデオゲームの第１の具体例におけるサンプル絵の一例を示す図である。
【図１２】本発明の第２実施形態におけるビデオゲームの第１の具体例におけるキャンパスの絵の一例を示す図である。
【図１３】本発明の第２実施形態におけるビデオゲームの第１の具体例における発音処理のフローチャートである。
【図１４】本発明の第２実施形態におけるビデオゲームの第１の具体例における虫移動描画処理のフローチャートである。
【図１５】本発明の第２実施形態におけるビデオゲームの第１の具体例における初期化処理のフローチャートである。
【図１６】本発明の第２実施形態におけるビデオゲームの第１の具体例における待機処理のフローチャートである。
【図１７】本発明の第２実施形態におけるビデオゲームの第１の具体例における飛来処理のフローチャートである。
【図１８】本発明の第２実施形態におけるビデオゲームの第１の具体例における移動処理のフローチャートである。
【図１９】本発明の第２実施形態におけるビデオゲームの第１の具体例における進路決定処理のフローチャートである。
【図２０】本発明の第２実施形態におけるビデオゲームの第１の具体例における移動境界チェック処理のフローチャートである。
【図２１】本発明の第２実施形態におけるビデオゲームの第１の具体例における飛去処理のフローチャートである。
【図２２】本発明の第２実施形態におけるビデオゲームの第１の具体例における進路決定処理の説明図である。
【図２３】本発明の第２実施形態におけるビデオゲームの第１の具体例における進路決定処理の説明図である。
【図２４】本発明の第２実施形態におけるビデオゲームの第１の具体例におけるキャンパスの絵の一例を示す図である。
【図２５】本発明の第２実施形態におけるビデオゲームの第２の具体例における発音処理のフローチャートである。
【図２６】本発明の第２実施形態におけるビデオゲームの第２の具体例におけるサンプル絵の具体例を示す図である。
【図２７】本発明の第２実施形態におけるビデオゲームの第２の具体例における動物移動描画処理のフローチャートである。
【図２８】本発明の第２実施形態におけるビデオゲームの第２の具体例における初期化処理のフローチャートである。
【図２９】本発明の第２実施形態におけるビデオゲームの第２の具体例における待機処理のフローチャートである。
【図３０】本発明の第２実施形態におけるビデオゲームの第２の具体例における登場処理のフローチャートである。
【図３１】本発明の第２実施形態におけるビデオゲームの第２の具体例における移動処理のフローチャートである。
【図３２】本発明の第２実施形態におけるビデオゲームの第２の具体例における速度設定・動物反転処理のフローチャートである。
【図３３】本発明の第２実施形態におけるビデオゲームの第２の具体例における退場処理のフローチャートである。
【図３４】本発明の第２実施形態におけるビデオゲームの第２の具体例におけるソフトウエアカートリッジの絵本の絵の一例を示す図である。
【図３５】本発明の第２実施形態におけるビデオゲームの第２の具体例におけるキャンパスの絵の一例を示す図である。
【図３６】本発明の第２実施形態におけるビデオゲームの第２の具体例におけるキャンパスの絵の一例を示す図である。
【符号の説明】
１０…ゲーム装置本体
１２…ソフトウエアカートリッジ
１４…底蓋
１６…上蓋
１８…カートリッジスロット
２０…方向ボタン
２２…実行ボタン
２４…お絵描きタブレット
２６…タッチペンホルダ
２８…タッチペン
２８ａ…ペンボタン
３２…絵本タブレット
３４…パワースイッチ
３６…リジェクトボタン
３８…ページセンサ
４０…綴じリング
４２…ページ
４６…絵本載置部
４８…回路基板
５０…基板収納部
５２…センサ用穴
５４…プログラムＲＯＭ
５５…電子カメラ
６０…ＭＰＵ
６２…ＲＡＭ
６４…ビデオディスプレイプロセッサ（ＶＤＰ）
６６…ビデオＲＡＭ
７０…映像端子
７２…音声合成ＬＳＩ
７６…音声端子
７８…コントローラ
８０…アナログスイッチ
８４…アドレスバス
８６…データバス
８８…コントロールバス
９０…モニタ
１００…制御部
１０２…描画制御部
１０３…描画処理部
１０６…移動体描画部
１０７…進路決定部
１１０…バッファメモリ入出力部
１１２…座標変換部
１１４…色情報書込部
１１６…座標変換部
１１８…色情報読取部
１２０…バッファメモリ
２００…ゲーム装置
２０２…ＣＰＵ
２０４…システムメモリ
２０６…プログラムデータ記憶装置又は記憶媒体
２０８…ＢＯＯＴＲＯＭ
２１０…バスアービタ
２１２…レンダリングプロセッサ
２１４…グラフィックメモリ
２１６…ディスプレイモニタ
２１８…オーディオプロセッサ
２２０…オーディオメモリ
２２２…スピーカ
２２４…モデム
２２６…コントローラ
２２８…バックアップメモリ
２３０…マイク
２３２…電子カメラ
３００、３１０…遊戯者
３０２、３０４…移動体
３１４…指示棒
【発明の属する技術分野】
本発明は、遊戯者の画像を撮像して、その撮像画像を利用する画像処理システムに関する。
【０００２】
【従来の技術】
ゲームセンタ等に設置されるアーケードゲーム装置や家庭用のビデオゲーム装置には、近年多種多様な興趣溢れるゲームが開発され、娯楽として人気が非常に高いものがある。
【０００３】
従来のゲーム装置に、遊戯者を撮像してその撮像画像を利用したものが知られている。例えば、プリントクラブのように、遊戯者の像を取り込んで背景と組み合わせて印刷して遊戯者に提供するものや、遊戯者の顔画像を取り込んで、それをゲームキャラクタの顔に貼り付けて独自なキャラクタを創出したりするものがある。
【０００４】
また、従来のゲーム装置には、コントローラのような位置指示手段により表示画面上の位置を指示して、その指示位置に表示された色情報に基づいて、ゲームを制御したり、特定の移動体を発生したりするものがある。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のゲーム装置では、遊戯者を撮像しても、その撮像画像の全部又は一部を画像として利用するにとどまっており、その撮像画像から特定の情報を得るものではなかった。
【０００６】
本発明の目的は、遊戯者等の撮像画像から特定の情報を得て、その情報に基づいて画像表示を制御する画像処理システムを提供することにある。
【０００７】
本発明の他の目的は、遊戯者の指示に関連して移動体をスムーズかつユニークに動かすことができる画像処理システムを提供することにある。
【０００８】
本発明の更に他の目的は、遊戯者から操作入力をスムーズに行うことができる画像処理システムを提供することにある。
【０００９】
【課題を解決するための手段】
本発明による画像処理システムは、遊戯者の画像を撮像する撮像手段と、前記撮像手段により撮像した画像データを複数フレーム分記憶する記憶手段と、前記記憶手段に記憶された画像データを表示画面上に順次表示する画像表示手段と、現在表示されている画像データと過去に表示された画像データとを比較して差分を得る差分算出手段とを有し、前記差分算出手段により算出された差分に基づいて、前記表示画面上に表示する移動体の挙動を決定することを特徴とする。
【００１０】
また、本発明による画像処理システムは、遊戯者の画像を撮像する撮像手段と、前記撮像手段により撮像した画像データを複数フレーム分記憶する記憶手段と、前記記憶手段に記憶された画像データを表示画面上に順次表示する画像表示手段と、前記表示画面内の予め定められた領域における、現在表示されている画像データと過去に表示された画像データとを比較して所定の色成分の差分を得る差分算出手段とを有し、前記差分算出手段により算出された所定の色成分の差分が所定値以上であった場合に、前記遊戯者からの所定の操作入力があったと判断することを特徴とする。
【００１１】
【発明の実施の形態】
［第１実施形態］
本発明の第１実施形態によるビデオゲーム装置について図１乃至図４を用いて説明する。図１は本実施形態のビデオゲーム装置の機能を示すブロック図であり、図２は本実施形態のビデオゲーム装置の遊戯方法の第１の具体例を示す説明図であり、図３は本実施形態のビデオゲーム装置の遊戯方法の第２の具体例を示す説明図であり、図４は本実施形態のビデオゲーム装置の遊戯方法の第３の具体例を示す説明図である。
【００１２】
ゲーム装置２００には、図１に示すように、ゲームプログラムの実行やシステム全体を制御するＣＰＵ２０２と、ＣＰＵ２０２が処理を行うのに必要なプログラムやデータを格納するバッファメモリとして利用されるシステムメモリ（ＲＡＭ）２０４とがバスラインにより共通接続され、バスアービタ２１０に接続されている。
【００１３】
更に、ゲームプログラムやデータが格納されたプログラムデータ記憶装置又は記憶媒体２０６として、ゲーム用記録媒体であるＣＤ−ＲＯＭを駆動するＣＤ−ＲＯＭドライブと、ゲーム装置２００を起動するためのプログラムやデータが格納されているＢＯＯＴＲＯＭ２０８とがバスラインを介してバスアービタ２１０に接続されている。
【００１４】
また、バスアービタ２１０を介して、描画ライブラリによって生成された描画コマンドに従ってレンダリングを行うレンダリングプロセッサ２１２と、そのレンダリングプロセッサ２１２により描画された画像信号が記録されるグラフィックメモリ２１４とが接続されている。グラフィックメモリ２１４に記録された画像データは、ビデオＤＡＣ（図示せず）によりデジタル信号からアナログ信号に変換され、ディスプレイモニタ２１６に表示される。
【００１５】
また、バスアービタ２１０を介して、音声データを生成するオーディオプロセッサ２１８と、その生成した音声データを記録するオーディオメモリ２２０とが接続されている。オーディオメモリ２２０に記録された音声データは、オーディオＤＡＣ（図示せず）によりデジタル信号からアナログ信号に変換され、スピーカ２２２から音声出力される。
【００１６】
また、バスアービタ２１０はインターフェースとしての機能も有し、モデム２２４を介して外部の通信回線と接続される。ゲーム装置２００はモデム２２４を介して他のゲーム装置等との通信が可能となる。
【００１７】
また、バスアービタ２１０にはゲーム装置２００を操作するためのコントローラ２２６が接続される。コントローラ２２６には、例えば、メモリカード等により構成されたバックアップメモリ２２８が装着されている。
【００１８】
また、遊戯者の画像や音声を入力するために、バスアービタ２１０には画像を撮影するための電子カメラ２３２が接続され、コントローラ２２６には音声を入力するためのマイク２３０が接続されている。
【００１９】
本実施形態のビデオゲーム装置を用いた遊戯方法の第１の具体例を図２を用いて説明する。
【００２０】
本具体例では、ゲーム装置２００に接続された電子カメラ２３２をディスプレイモニタ２１６上に置き、遊戯者３００は電子カメラ２３２の前に立って後述する様々な指示を行う。電子カメラ２３２により撮像された画像はディスプレイモニタ２１６に表示される。遊戯者３００は自分の撮像画像を見ながら様々な動作を行う。
【００２１】
本具体例では、電子カメラ２３２によりＹＵＶ方式で撮像する。ＹＵＶ方式は、家庭用テレビ等であつかうデータフォーマットであって、輝度（Ｙ）と、赤との色差（Ｕ）と、青との色差（Ｖ）との３つの情報で色を表現する方式である。例えば、Ｙ成分だけで、画像を表示すると白黒画像となる。ＹＵＶ方式で撮像された画像は圧縮されてシステムメモリ２０４に格納される。なお、ディスプレイの種類によってはＲＧＢ信号へ変換が必要である。
【００２２】
遊戯者３００は、ディスプレイ２１６に表示される画像を見ながら電子カメラ２３２に向かって様々な動作を行うので、違和感なく操作できるように、撮像された画像３００′を反転して表示する。すなわち、図２に示すように、遊戯者３００が左手を上げた場合には、ディスプレイ２１６に表示される遊戯者の像３００′では右手が上がるように表示する。
【００２３】
本具体例では、電子カメラ２３２により撮像された画像データは圧縮されてシステムメモリ２０４に順次記憶される。システムメモリ２０４に、現在表示されている画像データに加えて過去に表示された画像データとが記憶される。過去に表示された画像データとしては、例えば、現在表示されている画像データの１フレーム前の画像データであってもよいし、現在表示されている画像データの所定フレーム前の画像データであってもよい。また、過去の画像データは１フレーム分の画像データであってもよいし、２以上のフレーム分の画像データであってもよい。
【００２４】
本具体例では、システムメモリ２０４に記憶された現在の画像データと過去の画像データとの差分を算出し、その差分データに基づいて様々な処理を行う。現在の画像データと過去の画像データについて、ピクセル毎にＹＵＶ方式における各色成分（輝度、赤、青）の差分を算出する。
【００２５】
本具体例では、各色成分の差分データに基づいて移動体の制御を行う。これにより背景等の動かない画像データに影響しないようにする。例えば、人間の手には赤み成分が多いので、遊戯者３００が手を動かすと、その動かした領域のみに大きな赤み成分の差分値が現れ、他の領域での赤み成分の差分値はほぼゼロとなる。
【００２６】
そこで、本実施形態では、赤み成分の差分値が所定値以上になると、例えば、蛙を模した移動体３０２を自動的に発生する。赤み成分の差分値が所定値以上の領域に無数の泡３０３を表示し、発生した移動体３０２は赤み成分の差分値が最大値の部分に追随して移動する。これにより遊戯者が手を動かすと、その領域全体に泡３０３が現れ、移動体３０３の蛙が泡３０３の中を泳ぐように追随して表示される。なお、赤み成分の差分値が所定値以上の領域に泡以外のもの、例えば、ハートマークや炎等を表示して特殊な効果を出すようにしてもよい。
【００２７】
移動体３０２の発生、追随、消滅のアルゴリズムは、後述する本発明の第２実施形態における虫移動描画処理（図１４乃至図２４）のアルゴリズムと基本的に同じである。第２実施形態の虫移動描画処理では画像の色データそのものを用いて虫等の移動体の描画制御を行ったが、本実施形態では色成分の差分データを用いている点が異なる。
【００２８】
移動体３０２を、赤み成分の差分データにより発生し、差分データの最大値のピクセルに追随するように描画すると、人間の手には赤み成分が多いので、遊戯者３００が手を振るとそれに自然に移動体３０２が追随するように表示され、あたかも移動体３０２が遊戯者３００の手を追いかけているように表示される。
【００２９】
本具体例では、図２に示すように、撮像画像の青み成分の差分データにより発生、追随、消滅する他の移動体３０４を表示するようにしている。その他に、差分データにより挙動が決定される他の移動体を表示するようにしてもよい。例えば、現在の画像データと過去の画像データとの各色成分（輝度、赤、青）の差分データの合計値や、最大値、平均値、分布等の状態に基づいて移動体を発生、追随、消滅等の処理を行うようにしてもよい。
【００３０】
また、移動体３０２に対する処理のアルゴリズムに、後述する本発明の第２実施形態における動物移動描画処理（図２７乃至図３６）のアルゴリズムを利用してもよい。画像データの色成分の差分データに対して、このアルゴリズムを適用し、ディスプレイモニタ２１６に移動体等を発生させ、移動体の周囲の差分データに基づいて移動体の絵を切り換えたり、ときどき停止したりしてもよい。
【００３１】
このように本具体例によれば、人間の手の赤み成分を利用しているので、特別な装置を衣服や手に装着する必要がなく、より簡便なキャラクタ入力手段として用いることができ、遊戯者の指示に関連して移動体をスムーズかつユニークに動かすことができる。
【００３２】
また、人間の手の赤み成分を利用する代わりに、特殊な道具を装着してもよい。例えば、手の代わりに先端が赤色の指揮棒を手に持って操作して、本具体例のような効果的な表示をしてもよい。また、右手に赤色の手袋、左手に青色の手袋をつけ、赤み成分により発生する移動体３０２と青み成分により発生する移動体３０４を右手の動きと左手の動きにより自在に操るようにしてもよい。更に、人間の手そのものを用いる方法と、特殊な道具を用いる方法とを適宜組み合わせるようにしてもよい。
【００３３】
本実施形態のビデオゲーム装置を用いた遊戯方法の第２の具体例を図３を用いて説明する。
【００３４】
本具体例も、第１の具体例と同様に、電子カメラ２３２により撮像された画像データは圧縮されてシステムメモリ２０４に順次記憶される。システムメモリ２０４に記憶された現在の画像データと過去の画像データとの差分を算出し、その差分データに基づいて処理を行う。
【００３５】
本具体例では、ディスプレイモニタ２１６上に特定の検出領域３１２を設定し、その特定の検出領域３１２における差分データの値により遊戯者３１０の操作情報を検出する。例えば、遊戯者３１０に赤色の指示棒３１４を持たせ、その指示棒３１４の像３１４′が検出領域３１２内を移動したか否かにより操作情報を検出する。指示棒３１４の像３１４′が検出領域３１２内を移動すると、検出領域３１２内における赤み成分の差分値が所定値以上になる。これにより遊戯者３１０の操作を検出する。
【００３６】
遊戯者３１０は、ディスプレイモニタ２１６に表示された像３１０′、３１４′を見ながら、ゲーム装置２００に所定の操作指示を行いたい場合には、指示棒３１４の像３１４′が検出領域３１２内を横切るように操作すればよい。遊戯者３１０は自由なスタイルで自由に操作を行うことができる。
【００３７】
なお、遊戯者３１０に位置がわかるように検出領域３１２に予め特定の色をつけて他の領域と区別してもよい。遊戯者３１０が検出領域３１２を知って確実に操作することができる。逆に、検出領域３１２に特別な色をつけないようにしてもよい。遊戯者３１０に検出領域３１２の位置を捜すことをゲームに取り入れることができる。
【００３８】
このように本具体例によれば、単に指示棒等の操作手段を移動するだけでよいので、より簡便な操作入力手段として用いることができ、遊戯者から操作入力をスムーズに行うことができる。
【００３９】
本実施形態のビデオゲーム装置を用いた遊戯方法の第３の具体例を図４を用いて説明する。
【００４０】
本具体例も、第１の具体例と同様に、電子カメラ２３２により撮像された画像データは圧縮されてシステムメモリ２０４に順次記憶される。システムメモリ２０４に記憶された現在の画像データと過去の画像データとの差分を算出し、その差分データに基づいて処理を行う。
【００４１】
本具体例では、遊戯者の意図的な操作を検出してゲーム開始に対して起動するものである。遊戯者が電子カメラ２３２の前で手を振ったときに、その手の動きの移動距離を累積して、その累積距離が所定の設定値を超えた場合に入力されたと判断する。この操作入力により、ゲームを開始したり、特定のキャラクタを出現したり、画面を切り換えたり等の様々な制御を行う。
【００４２】
初期画面においては、図４（ａ）に示すように、黒い画面の中に円い窓３２０が表示されている。この窓３２０が手の動きを検出する窓となる。遊戯者が電子カメラ２３２の前に手をかざして動かすと、赤み成分の差分データから手が動いた位置を検出し、その動いた位置に窓３２０を移動する。その結果、図４（ｂ）に示すように、丸い窓３２０内に遊戯者の手３２２が写った状態が表示される。
【００４３】
遊戯者が手３２２を動かすと、図４（ｃ）、（ｄ）に示すように、遊戯者の手３２２の動きに追随して丸い窓３２０が移動する。ゲーム装置２００は円い窓３２０の移動距離を演算して、その移動距離を累積していく。遊戯者による操作の開始時からの累積距離が所定値に達した場合にゲーム開始操作が入力されたと判断し、図２６（ｅ）に示すように、ゲームを開始する。
【００４４】
遊戯者による意図しない動きによりゲーム開始と判断されることを防止するために様々な工夫をしている。例えば、手の動きの速度を考慮して移動距離を累積する。手の動きの速さが所定値以上の場合には移動距離をそのまま累積するが、手の動きが所定値以下の場合には実際の移動距離から所定距離を減算したものを累積する。また、手の動きが検出されてから所定時間が経過しても累積距離がゲーム開始のための所定値に達しない場合には累積距離をリセットする。
【００４５】
上記実施形態では丸い窓３２０の中に遊戯者の手の像３２２を組み込んで表示したが、実際の手の画像を用いることなく模式的なマークにより表示してもよい。すなわち、遊戯者の手の動きが検出されたら、単なる円い窓のマークから円い窓内に手が描かれたマークに移動体の画像を変更するようにしてもよい。なお、遊戯者の手を振る操作をゲーム開始以外の他の操作情報としてもよい。
【００４６】
このように本具体例によれば、遊戯者が電子カメラの前で手を振ることによりゲームを開始する等の操作指示を行うことができ、遊戯者から操作入力をスムーズに行うことができる。
【００４７】
［第２実施形態］
本発明の第２実施形態によるビデオゲーム装置について図５乃至図８を用いて説明する。図５は本実施形態のビデオゲーム装置の外観を示す斜視図であり、図６は本実施形態のビデオゲーム装置のソフトウエアカートリッジであり、図７は本実施形態のビデオゲーム装置のハードウエアを示すブロック図であり、図８は本実施形態のビデオゲーム装置の機能を示すブロック図である。
【００４８】
（ゲーム装置本体）
本実施形態のビデオゲーム装置は、折り畳み式のゲーム装置本体１０に絵本タイプのソフトウエアカートリッジ１２を装着するものである。図５に示すように、ゲーム装置本体１０の底蓋１４から上蓋１６を外して開き、その内側のカートリッジスロット１８にソフトウエアカートリッジ１２を差し込む。
【００４９】
後述するように、本実施形態では、第１実施形態と同様に電子カメラ５５を設けることも可能である。電子カメラ５５は、例えば、図３に示すようにモニタ９０の上に置かれ、ソフトウエアカートリッジ１２のコネクタ（図示せず）に接続される。
【００５０】
ゲーム装置本体１０の底蓋１４内側には、左側に方向ボタン２０と実行ボタン２２が設けられ、中央にお絵描きタブレット２４が設けられ、右側にタッチペンホルダ２６が設けられている。
【００５１】
方向ボタン２０及び実行ボタン２２は、遊戯者が操作するものであって、方向ボタン２０により上下左右の４方向を指示し、実行ボタン２２により実行指示を与える。タッチペンホルダ２６は、タッチペン２８を保持する。タッチペン２８は、お絵描きタブレット２４に触って、絵本ソフトを操作するために用いられる。タッチペン２８の先端にはペンボタン２８ａが設けられている。遊戯者はペンボタン２８ａを押すことにより指示を与える。
【００５２】
お絵描きタブレット２４は、電磁誘導方式によりタッチペン２８が近接している位置を検出する。お絵描きタブレット２４から発せられる電磁信号をタッチペン２８により受信することにより位置を検出する。遊戯者はペンボタン２８ａを押すことにより、その位置に基づいた指示を与える。
【００５３】
ゲーム装置本体１０の上蓋１６内側には、中央に絵本タイプのソフトウエアカートリッジ１２が装着される絵本タブレット３２が設けられている。この絵本タブレット３２は、お絵描きタブレット２４と同様の電磁誘導方式により、タッチペン２８が近接した位置を検出する。
【００５４】
絵本タブレット３２の左側下部には電源をオンオフするためのパワースイッチ３４が設けられている。絵本タブレット３２の右側下部にはソフトウエアカートリッジ１２が差し込まれるカートリッジスロット１８が設けられている。装着されたソフトウエアカートリッジ１２は、リジェクトボタン３６を押すことによりカートリッジスロット１８から取り外すことができる。
【００５５】
絵本タブレット３２内の上部右側にはページセンサ３８が設けられている。ソフトウエアカートリッジ１２の絵本のどのページ４２が開かれているかをページセンサ３８により検出する。絵本の各ページ４２の右上部には切り込みが形成され、ページ順に切り込み幅を広くしている。このようにすることにより、開かれているページに応じて遮蔽するセンサ数が異なり、現在開かれているページを検出することができる。
【００５６】
ソフトウエアカートリッジ１２は、図５に示すように、左縁部の綴じリング４０により複数ページ４２を綴じた絵本のような基本形態をしている。各ページ４２にはゲームプログラムに対応した絵が描かれている。
【００５７】
（ソフトウエアカートリッジ）
ソフトウエアカートリッジ１２を図６を用いて説明する。図６は絵本の各ページ４２が閉じられている状態のソフトウエアカートリッジ１２の平面図である。
【００５８】
ソフトウエアカートリッジ１２は、上部が、絵本を載置する絵本載置部４６となっており、下部が、回路基板４８を内部に収納する基板収納部５０となっている。
【００５９】
絵本載置部４６の左縁部には綴じリング４０が設けられ、絵本の各ページ４２が閉じられている。本実施形態では５頁のページ４２が閉じられており、各ページ４２の右縁部にはインデックスがずらして形成されている。絵本載置部４６の右上部には、絵本タブレット３２のページセンサ３８の位置に対応した６個のセンサ用穴５２が開けられている。
【００６０】
基板収納部５０には内部に回路基板４８が収納されている。回路基板４８には、ゲーム装置本体１０に接続するためのコネクタ４９が形成され、ゲームプログラムを格納したプログラムＲＯＭ５４が搭載されている。
【００６１】
（ハードウエア）
次に、本実施形態のビデオゲーム装置のハードウエアの構成を図７を用いて説明する。
【００６２】
ゲーム装置本体１０について説明する。ＭＰＵ６０はビデオゲーム装置全体を制御する。ＲＡＭ６２はＭＰＵ６０のワーク用メモリである。ビデオディスプレイプロセッサ（ＶＤＰ）６４は背景やキャラクタ等の描画処理を制御する。映像情報はビデオＲＡＭ６６に書き込まれる。ビデオディスプレイプロセッサ６４からの映像信号は映像端子７０からモニタ９０に出力される。
【００６３】
なお、電子カメラ５５を利用する場合には、ビデオプロセッサ（ＶＤＰ）６４は電子カメラ５５で撮像した映像情報を、背景やキャラクタ等のゲーム画像と合成して描画情報を制御する。その映像情報をビデオＲＡＭ６６に書き込み、ビデオプロセッサ（ＶＤＰ）６４により、映像端子７０からモニタ９０に出力する。電子カメラ５５で撮像した映像情報を画像認識することにより操作入力することもできる。
【００６４】
音声合成ＬＳＩ（ＡＤＰＣＭ）７２はキャラクタがしゃべる言葉等のあらゆる音声を合成する。ゲームに応じた音声を合成して発音する。ビデオディスプレイプロセッサ６４からの音声信号と音声合成ＬＳＩ７２からの音声信号を混合して、音声端子７６を介してモニタ９０に出力する。
【００６５】
コントローラ７８は、方向ボタン２０、実行ボタン２２、タッチペン２８、ペンボタン２８ａ、ページセンサ３８の状態を監視して、遊戯者の操作による入力情報をＭＰＵ６０に出力する。
【００６６】
コントローラ７８は、アナログスイッチ８０を介して、絵本タブレット３２、お絵描きタブレット２４の状態を監視して、遊戯者の操作による入力情報をＭＰＵ６０に出力する。
【００６７】
なお、電子カメラ５５を利用する場合は、電子カメラ５５で撮像した操作者の画像情報又は操作者の操作による入力情報をＭＰＵ６０に出力する。
【００６８】
これらＭＰＵ６０、ＲＡＭ６２、ビデオディスプレイプロセッサ６４、音声合成ＬＳＩ７２、コントローラ７８は、アドレスバス８４、データバス８６、コントロールバス８８により接続されている。
【００６９】
ソフトウエアカートリッジ１２では、ゲームプログラムを格納したプログラムＲＯＭ５４が回路基板４８に搭載されている。ソフトウエアカートリッジ１２は、コネクタ４９、８２を介してゲーム装置本体１０と接続され、アドレスバス８４、データデータバス８６、コントロールバス８８がそれぞれ接続される。なお、電源ライン（図示せず）もコネクタ４９、８２を介してソフトウエアカートリッジ１２に接続される。
【００７０】
（機能ブロック図）
次に、本実施形態のビデオゲーム装置の機能を図８のブロック図を用いて説明する。図８は、ゲーム装置本体１０にソフトウエアカートリッジ１２が装着され、全体がビデオゲーム装置として動作している際の機能ブロック図である。
【００７１】
制御部１００はビデオゲーム装置における描画処理及び発音処理を制御する。描画制御部１０２は、タッチペン２８による絵本タブレット３２への近接位置に基づいて、所定の絵を描画するように描画処理部１０４を制御する。描画処理部１０４はバッファメモリ入出力部１１０を介してバッファメモリ１２０に線図を描画する。描画処理部１０４の制御によりバッファメモリ１２０に所定の絵を描画したり、タッチペン２８によるお絵描きタブレット２４への近接位置に応じてバッファメモリ１２０に線図を描画したり、移動体描画部１０６の制御によりバッファメモリ１２０に虫や動物等の移動体の絵を描画したりする。移動体描画部１０６は進路決定部１０７により決定された虫や動物等の移動体の進路方向に従って移動体の絵を描画する。発音処理部１０８は、タッチペン２８によるお絵描きタブレット２４への近接位置と、バッファメモリ１２０の色情報に基づいて、発音処理を行なう。
【００７２】
なお、電子カメラ５５を利用する場合は、描画処理部１０４は、電子カメラ５５による画像データが記憶されているメモリ（図示せず）から画像データに基づいた制御を行う。
【００７３】
バッファメモリ入出力部１１０は、制御部１００からの描画制御に応じて色情報をバッファメモリ１２０に書き込んだり、バッファメモリ１２０から色情報を読み取って制御部１００に出力したりする。
【００７４】
色情報を書き込む場合には、制御部１００からの書込み位置を座標変換部１１２でバッファメモリ１２０のアドレスに変換し、その変換したアドレスに、色情報書込部１１４により制御部１００から指示された色情報を書込む。
【００７５】
色情報を読み取る場合には、制御部１００からの読取り位置を座標変換部１１６でバッファメモリ１２０のアドレスに変換し、その変換したアドレスのバッファメモリ１２０の色情報を色情報読出部１１８により読取り、制御部１００の発音処理部１０８に出力する。
【００７６】
映像情報は、バッファメモリ１２０に格納されている色情報に基づいた画像を、フレーム毎にビデオＲＡＭ６６に書込み、映像端子７０を介してモニタ９０に出力する。
【００７７】
音声情報は、発音処理部１０８から出力された音声信号を、音声端子７６を介してモニタ９０に出力する。
【００７８】
（ビデオゲームの第１具体例）
次に、本実施形態のビデオゲーム装置のビデオゲームの第１の具体例について図９乃至図２４を用いて説明する。
【００７９】
（基本的描画処理）
本具体例の描画処理について図９乃至図１２を用いて説明する。
【００８０】
図９は本具体例の描画処理において用いられるソフトウエアカートリッジ１２の絵の具体例である。図９の絵の各部分にタッチペン２８を近接させると、絵本タブレット３２によりタッチペン２８の近接位置を検出し、更にペンボタン２８ａを押すことにより、近接位置に応じた描画指示を入力する。
【００８１】
なお、電子カメラ５５を利用する場合には、図９と同様な選択画面、例えば、鉛筆領域２１１、消しゴム領域２１２、あみ領域２１３、指揮棒領域２１４、色指定領域２１５等のアイコンを含む選択画面をモニタ９０に表示し、例えば遊戯者の手の移動によってカーソルを動かして上記アイコンを選択する。
【００８２】
図９の左側のページ２００には、キャンパス領域２０１、サンプル絵領域２０２、２０３、２０４が配置されている。タッチペン２８でキャンパス領域２０１に接触すると、自由に絵を描画できるキャンパスがモニタ９０に表示される。タッチペン２８でサンプル絵領域２０２、２０３、２０４に接触すると、予め定められたサンプルの絵がモニタ９０に表示される。
【００８３】
図８の右側のページ２１０には、鉛筆領域２１１、消しゴム領域２１２、あみ領域２１３、指揮棒領域２１４、色指定領域２１５が配置されている。タッチペン２８で鉛筆領域２１１に接触すると、タッチペン２８が鉛筆として機能する。更にタッチペン２８で色指定領域２１５の所望の色領域に接触することにより、その鉛筆の色を指定できる。タッチペン２８で消しゴム領域２１２に接触すると、タッチペン２８が消しゴムとして機能する。タッチペン２８であみ領域２１３に接触すると、タッチペン２８が捕虫あみとして機能する。タッチペン２８で指揮棒領域２１４に接触すると、タッチペン２８が指揮棒として機能する。
【００８４】
図１０のフローチャートを用いて描画処理について説明する。
【００８５】
まず、タッチペン２８によりサンプル絵が選択されたかどうか判断する（ステップＳ１０）。遊戯者がタッチペン２８をいずれかのサンプル絵領域２０２、２０３、２０４に接触すると、描画制御部１０２により描画処理部１０４を制御して、選択されたサンプル絵をモニタ９０に描画する（ステップＳ１１）。図１１にサンプル絵の具体例を示す。グランドピアノの絵が描画されている。
【００８６】
なお、電子カメラ５５を利用する場合には、例えば、赤み成分に反応してカーソルが移動するように設定しておけば、人間の手には赤み成分が多いので、プレイヤが電子カメラ５５に向かって手を移動させることにより、そのプレイヤの思い通りに操作することができる。
【００８７】
また、タッチペン２８で、サンプル領域、鉛筆領域、消しゴム領域、色指定領域に接触して希望の機能を選択し、その選択状態のときに、電子カメラ５５の前で手を移動すると、タブレット２４を使ったペン入力と異なり非接触で操作することができる。
【００８８】
サンプル絵が選択されていない場合には、タッチペン２８によりキャンパスが選択されたかどうか判断する（ステップＳ１２）。遊戯者がタッチペン２８をキャンパス領域２０１に接触すると、描画制御部１０２により描画処理部１０４を制御して、キャンパスをモニタ９０に描画する（ステップＳ１３）。図１１にキャンパス絵の具体例を示す。最初は絵が全く描かれていないキャンパスが描画される。
【００８９】
次に、鉛筆を用いてモニタ９０上に線図を描画する。図１２に示すキャンパス上に線図を描画する場合として説明するが、図１１に示すサンプル絵上にも線図を描画することができる。
【００９０】
なお、電子カメラ５５を利用する場合には、人間の手に多い赤み成分に反応するようにすれば、プレイヤが手を移動することにより線図を描画することもできる。
【００９１】
まず、タッチペン２８により鉛筆と色が選択されたかどうか判断する（ステップＳ１４）。タッチペン２８を鉛筆領域２１１に接触し、色指定領域２１５のいずれかに接触すると、モニタ９０上に指定した色の絵筆２００が表示される。
【００９２】
次に、タッチペン２８がお絵描きタブレット２４上にあるかどうか判断し（ステップＳ１５）、更にペンボタン（図示せず）が押されているかどうか判断する（ステップＳ１６）。遊戯者がタッチペン２８をお絵描きタブレット２４に接触すると、描画処理部１０４から位置信号が座標変換部１１２に出力され、色信号が色情報書込部１１４に出力される。座標変換部１１２は位置信号をバッファメモリ１２０のアドレス信号に変換し、その変換したアドレスに、色情報書込部１１４により色信号で指示された色情報を書込む（ステップＳ１７）。遊戯者がタッチペン２８をお絵描きタブレット２４に接触しながら動かすと、図１２に示すように、モニタ９０上では絵筆５００がタッチペン２８の動きに同期して動いてキャンパス上に選択された色の線図が描画される。
【００９３】
なお、電子カメラ５５を利用する場合には、電子カメラ５５に向かって手を移動することにより、モニタ９０上に表示された指定した色の絵筆を移動させ、モニタ９０上に線図を描画することができる。
【００９４】
タッチペン２８を色指定領域２１５を接触すれば、絵筆５００の色が変更されモニタ９０のキャンパス上に複数の色の線図が描画される。また、タッチペン２８を消しゴム領域２１２に接触して、モニタ９０に消しゴムを表示し、その後、タッチペン２８をお絵描きタブレット２４に接触しながら動かすことにより、モニタ９０のキャンパス上に描画された線図を消すことができる。このようにして、実際のキャンパスに絵を描くように、モニタ９０のキャンパスに絵を自由に描くことができる。
【００９５】
なお、電子カメラ５５を利用する場合には、タッチペン２８で希望領域に接触しての各機能を選択すると、キャンパスに絵を書くように、モニタ９０に絵を自由に描くことができる。ここで、「消しゴム領域」や「色指定領域」などの画面データを予め用意してモニタ９０上に表示し、電子カメラ５５に向かって手を移動してモニタ９０上のカーソルをその領域に移動すれば、希望の機能を選択できる。
【００９６】
さらに、プレイヤが手を電子カメラ５５に向けて移動させれば、その手の移動に沿った軌跡をモニタ９０上に表示でき、モニタ９０のキャンパスに絵を自由に描くことができる。
【００９７】
なお、電子カメラ５５を利用する場合は、タッチペン２８とタブレット２４を使う場合と異なり、非接触で操作入力できるので、不思議な感覚で描画を楽しむことができる。
【００９８】
（発音処理１）
本具体例の発音処理について図１３のフローチャートを用いて説明する。図１１に示すグランドピアノのサンプル絵を用いて発音処理する場合として説明するが、図１２に示すキャンパス上の線図を用いても発音処理することができる。
【００９９】
まず、タッチペン２８により指揮棒が選択されたかどうか判断する（ステップＳ２０）。遊戯者がタッチペン２８を指揮棒領域２１４に接触すると、モニタ９０上に指揮棒５０２が表示される。
【０１００】
次に、タッチペン２８がお絵描きタブレット２４上にあるかどうか判断し（ステップＳ２１）、更にペンボタン２８ａが押されているかどうか判断する（ステップＳ２２）。遊戯者がタッチペン２８をお絵描きタブレット２４に接触すると、発音処理部１０８から位置信号が座標変換部１１６に出力され、バッファメモリ１２０のアドレスに変換される。続いて、色情報読出部１１８により、その変換したアドレスにおけるバッファメモリ１２０の色信号が読み出され、発音処理部１０８に出力される（ステップＳ２３）。
【０１０１】
なお、電子カメラ５５を利用する場合には、赤み成分に反応するようにすれば、制御部１００が電子カメラ５５によって赤み成分（例えば遊戯者の手）を認識させることにより位置信号の入力ができる。電子カメラ５５により位置信号を入力すると、発音処理部１０８から位置信号が座標変換部１１６に出力され、バッファメモリ１２０のアドレスに変換され、色情報読出部により、その変換したアドレスにおけるバッファメモリ１２０の色信号が読み出され、発音処理部１０８に出力されることになる。
【０１０２】
次に、色情報の変化があったか否か判断する（ステップＳ２４）。色情報の変化がなかった場合にはペンボタン２８ａが押された直後か否か判断する（ステップＳ２５）。ペンボタン２８ａが押された直後でなければステップＳ２０に戻る。
【０１０３】
ペンボタン２８ａが押された直後であれば、発音処理部１０８は読み出された色情報が透明又は黒であるか否か判断する（ステップＳ２６）。透明又は黒の場合は音を発生させないためである。なお、黒の場合は光る粉を出して（ステップＳ２７）、ステップＳ２０に戻る。
【０１０４】
なお、電子カメラ５５を利用する場合には、ＭＰＵ６０が電子カメラ５５を介して赤み成分を認識した直後に色情報が透明又は黒であるか否か判断する。
【０１０５】
読み出された色情報が透明又は黒でなければ、発音処理部１０８は、その色情報に応じて発音する音を決定する（ステップＳ２８）。各色情報に応じた音の周波数の倍率を定めた発声周波数表を定めておき、この発声周波数表に基づいて周波数倍率を定める。続いて、発音処理部１０８は、決定された音信号を出力し、音声端子７６を介してモニタ９０に出力し、音を発生する（ステップＳ２９）。
【０１０６】
図１１では指揮棒５０２が黄色の音符５０４上に位置しているので、黄色に対して予め定められている音、例えば、ピアノの音で高さがレの音が発生する。
【０１０７】
このようにして、タッチペン２８をお絵描きタブレット２４上で移動してペンボタン２８ａを押すことにより、指示した色に応じた様々な音を発生することができる。
【０１０８】
また、電子カメラ５５を利用する場合には、遊戯者の例えば手の移動によって指示した色に応じた様々な音を発生することができる。
【０１０９】
更に、図１１に示すように、ピアノの鍵盤を音程にあうような色で描画しておけば、指揮棒５０２によりピアノの鍵盤を指示することにより、簡単な音楽を自在に演奏することも可能である。
【０１１０】
なお、電子カメラ５５を利用する場合には、遊戯者の手の移動に応じて指揮棒５０２が画面上で移動するので、その指揮棒５０２によりピアノの鍵盤を指示することにより、簡単な音楽を自在に演奏することも可能である。また、この場合は、非接触で操作することができるのでより実際の指揮者感覚で演奏することができる。
【０１１１】
（移動体描画処理１）
本具体例における虫を移動する虫移動描画処理について図１４乃至図２４を用いて説明する。
【０１１２】
この虫移動描画処理は、キャンパスの線図に用いられた色に応じて、その色が好きな虫を移動体描画部１０６により自動的に発生させ、その虫を色の線に沿って動かすものである。遊戯者はその虫を捕虫あみにより捕獲する等のゲームを行なうことができる。
【０１１３】
（基本フロー）
図１４は虫移動描画処理の基本フローを示している。
【０１１４】
虫移動描画処理の基本フローは、各種パラメータを初期化する初期化処理（ステップＳ３０）、虫の発生が求められるまで待機する待機処理（ステップＳ３１）、発生した虫が画面内に飛来する飛来処理（ステップＳ３２）、画面内で虫を移動する移動処理（ステップＳ３３）、虫が画面から飛び去る飛去処理（ステップＳ３４）の順となっている。発生する虫の数だけ独立に描画処理される。
【０１１５】
各処理の詳細について順次説明する。
【０１１６】
（初期化処理）
図１５は初期化処理のフローチャートである。
【０１１７】
まず、表示部用の各種パラメータを初期化する（ステップＳ４０）。
【０１１８】
次に、虫が発生する際の画面外の初期位置を乱数により設定する（ステップＳ４１）。この初期位置から虫が飛来する。
【０１１９】
次に、発生した虫が着陸する着陸位置を乱数により設定する（ステップＳ４２）。飛来した虫は最初この位置に着陸する。
【０１２０】
次に、滞在時間タイマを初期化する（ステップＳ４３）。飛来してきた虫は一定時間が経過すると飛び去る。滞在時間タイマは虫が画面内で滞在する時間を計測する。
【０１２１】
次に、移動方向設定タイマを初期化する（ステップＳ４４）。虫は動きながら移動方向を周囲の色情報に基づいて一定の頻度で再設定する。移動方向設定タイマは移動方向を再設定する時間を計測する。
【０１２２】
次に、進行方向揺らぎタイマを初期化する（ステップＳ４５）。虫が自然に動いているように見せるために、一定の頻度で移動方向を少しずつずらす。進行方向揺らぎタイマは移動方向に揺らぎを発生する時間を計測する。
【０１２３】
初期化処理が終了すると、次の待機処理に進む。
【０１２４】
（待機処理）
図１６は待機処理のフローチャートである。
【０１２５】
待機処理では、キャンパスに虫を発生する特定の色が描画されるまで待機し、特定の色が描画されれば、その色にしたがって発生する虫の種類を決定する。例えば、図２４に示すように、赤色の線５０６が描画されていれば、赤色が好きな赤いてんとう虫５０８を発生し、青色の線５１０が描画されていれば青色が好きな虫５１２を発生する。
【０１２６】
まず、キャンパスに色が描画されてから一定時間が経過したか否か判断する（ステップＳ５０）。キャンパスに色が描画されていなかったり、色が描画されても一定時間が経過していなければ、再びステップＳ５０に戻る。
【０１２７】
キャンパスに色が描画されて一定時間が経過すると、続いて、虫が好きな色か否か、すなわち、虫を発生させる色か否か判断する（ステップＳ５１）。虫が好きな色でなければ、再びステップＳ５０に戻る。
【０１２８】
虫が好きな色のひとつであれば、その色に応じた虫の種類を決定する（ステップＳ５２）。例えば、赤であればてんとう虫を選択し、青であれば青色が好きな虫を選択する。
【０１２９】
続いて、決定した虫の種類に基づいて、その虫が嫌いな色を設定する（ステップＳ５３）。例えば、てんとう虫であれば緑を選択し、青色が好きな虫であれば茶色を選択する。
【０１３０】
待機処理が終了すると、次の飛来処理に進む。
【０１３１】
（飛来処理）
図１７は飛来処理のフローチャートである。
【０１３２】
まず、図１５の初期化処理のステップＳ４１で定めた画面外の初期位置から、図１６の待機処理のステップＳ５２で定めた種類の虫を飛ばし（ステップＳ６０）、図１５の初期化処理のステップＳ４２で定めた画面内の着陸位置に向かって飛ばす（ステップＳ６１）。
【０１３３】
続いて、虫が着陸位置に到達したか否か判断する（ステップＳ６２）。着陸位置に到達していなければ、再びステップＳ６１に戻る。着陸位置に到達していれば飛来処理を終了し、次の移動処理に進む。
【０１３４】
（移動処理）
図１８は移動処理のフローチャートであり、図１９は移動処理中の進路決定処理のフローチャートであり、図２０は移動処理中の移動境界チェック処理のフローチャートである。
【０１３５】
まず、図１８に示すように、周囲の色情報にしたがって虫の進路を決定する進路決定処理を行う（ステップＳ７１）。進路決定処理の詳細を図１９を用いて説明する。
【０１３６】
進路決定処理においては、まず、移動方向設定タイマを減じ（ステップＳ９０）、この移動方向設定タイマがゼロになったか否か判断する（ステップＳ９１）。移動方向設定タイマがゼロになっていなければ、現在の進行方向を変更することなく維持して、移動処理を終了する。
【０１３７】
移動方向設定タイマがゼロになっていると、色情報ワークメモリを作成する（ステップＳ９３）。色情報ワークメモリとは、進路決定の際に参照するために、虫の現在位置の周囲の色情報を検出して記憶するものである。虫の現在位置の周囲に、図２２に示すように、１６個の特定方向領域を設定する。これら１６個の特定方向領域は、現在位置を中心として全周囲１６方向の所定距離離れた位置に配置されている。各特定方向領域は、一定ドット数、例えば６ドットの面積である。
【０１３８】
進路決定部１０７は特定方向領域の色情報を読み込む。進路決定部１０７は特定方向領域の各ドットの読取り位置を座標変換部５６に出力し、座標変換部１１６はバッファメモリ１２０のアドレスに変換し、その変換したアドレスのバッファメモリ１２０の色情報を色情報読出部１１８により読取り、進路決定部１０７に出力する。その色情報が、虫が好きな色か否か、嫌いな色か否かを判定し、それぞれカウントする。全ての１６個の特定方向領域について色情報を読み取り、各特定方向領域についての好きな色の数と嫌いな色の数をカウントして、色情報ワークメモリに格納する。
【０１３９】
次に、色情報ワークメモリを参照して、虫の次の進行方向（以下「転回方向」という）を決定する（ステップＳ９４）。現在の進行方向を中心として好きな色が多い方向を転回方向として決定するようにする。例えば、図２３に示すように、現在の進行方向が右上方の方向（１）であるとすると、最初は、進行方向である右上方の方向（１）の特定方向領域を調査し、続いて、進行方向の左隣りの方向（２）の特定方向領域の色情報を調査し、続いて、進行方向の右隣りの方向（３）の特定方向領域の色情報を調査し、続いて、進行方向のさらに左隣りの方向（４）の特定方向領域の色情報を調査し、．．．順次、図２３に丸数字で示した順番に進行方向を中心とする９個の特定方向領域の色情報を調査する。好きな色のドット数と嫌いな色の有無を調査する。
【０１４０】
調査の結果、最も好きな色のドット数が多い方向を転回方向とする。好きな色のドット数が同じであれば、図２３に示した丸数字の少ない方向を転回方向として、現在の進行方向に近い方向を優先する。
【０１４１】
次に、ステップＳ９４で調査した嫌いな色の有無から、調査した特定方向領域中で嫌いな色を含む特定方向領域の数をカウントする（ステップＳ９５）。嫌いな色を含む特定方向領域が１個もなければ、ステップＳ９４で決定した転回方向を維持してステップＳ９７に進む。嫌いな色を含む特定方向領域が１個又は２個であれば、周囲に嫌いな色があると判断し、ステップＳ９４で決定した転回方向を１８０度変更して（ステップＳ９６）ステップＳ９７に進む。嫌いな色を含む特定方向領域が３個以上であれば、周囲に嫌いな色がたくさんあると判断し、虫が飛び去る処理（ステップＳ３４）に進む。
【０１４２】
次に、進行方向揺らぎタイマを減じ（ステップＳ９７）、この進行方向揺らぎタイマがゼロになったか否か判断する（ステップＳ９８）。進行方向揺らぎタイマがゼロになっていなければ、現在の進行方向を変更することなく維持して、進路決定処理を終了する。
【０１４３】
進行方向揺らぎタイマがゼロになっていれば、決定した転回方向に揺らぎを与える（ステップＳ９９）。決定した転回方向と、転回方向から反時計回りに隣りの方向と、転回方向から時計回りに隣の方向という３つの方向から乱数に基づいていずれかの方向を選択し、新たな転回方向とする。
【０１４４】
ステップＳ７１の進路決定処理により、周囲の色情報にしたがって虫の進路を決定すると、続いて、画面の縁で虫の移動を反転させるために移動境界チェック処理を行う（ステップＳ７２）。移動境界チェック処理の詳細を図２０を用いて説明する。
【０１４５】
移動境界チェック処理においては、まず、進路決定処理により決定された転回方向で進んだ場合、左右方向に関して画面からはみ出すか否か判断する（ステップＳ１００）。はみ出すと判断された場合には、進行方向を左右逆にする（ステップＳ１０１）。
【０１４６】
次に、進路決定処理により決定された転回方向で進んだ場合、上下方向に関して画面からはみ出すか否か判断する（ステップＳ１０２）。はみ出すと判断された場合には、進行方向を上下逆にする（ステップＳ１０３）。
【０１４７】
このようにして決定された最終的な転回方向に現在の速度分を加えて、次の新しい座標を決定する（ステップＳ１０４）。このようにして決定された座標位置に虫が移動するように描画処理部１０４が虫を描画する。
【０１４８】
ステップＳ７２の移動境界処理により最終的に次の新しい座標を決定すると、続いて、図１８のステップＳ７３以降の虫取りゲームの処理に進む。
【０１４９】
虫取りゲームの概要について説明する。遊戯者が虫取りゲームを行いたい場合には、タッチペン２８をあみ領域２１３に接触して、図２４に示すように、モニタ９０に虫取り網のカーソル５１４を表示しておく。タッチペン２８をお絵描きタブレット２４に接触してペンボタン２８ａを押しながら動かすことにより、モニタ９０上の虫５０８、５１２を捕まえて虫取り網５１４と一緒に動かすことができる。
【０１５０】
なお、電子カメラを利用する場合には、赤みに反応して網のカーソル５１４が移動するように設定すれば、例えば、遊戯者の手の移動に応じて網のカーソル５１４が画面上で移動するので、モニタ９０上の虫５０８、５１２を捕まえて虫取り網５１４と一緒に動かすことができる。
【０１５１】
これとは別に、画面上に選択ボタン（図示せず）を表示させ、電子カメラ５５に向けて手の移動させることによって、画面上のカーソルを移動させて、そのカーソルをその選択ボタンに重ねると、網のカーソル５１４に変化して表示するように制御してもよい。
【０１５２】
まず、タッチペン２８による画面上のカーソルが虫に触っていて、かつ、ペンボタン２８ａが押されているか否か判断する（ステップＳ７３）。画面上のカーソルが虫に触っていてペンボタン２８ａが押されていると判断されると、そのカーソルが虫取り網か否か判断する（ステップＳ７４）。カーソルが虫取り網ではないと判断されると、次の飛び去り処理（ステップＳ３４）に進む。
【０１５３】
なお、電子カメラを利用する場合には、画面上のカーソルが虫に触っていて、かつカーソルの移動スピードが所定のスピード以上であるときに飛び去り処理に進むようにしてもよい。現在のフレームと過去のフレームとの差から、カーソルの移動に要したフレーム数を求め、そのフレーム数に１／６０秒（１フレームの時間）を乗算してスピードを計算する。
【０１５４】
カーソルが虫取り網であると判断されると、虫取り網から離されたか否か判断する（ステップＳ７５）。離されていると判断されるとステップＳ７７に戻り、上述した処理を繰り返す。虫取り網から離されていない場合には、虫が虫取り網に捕まえられていると判断し、虫取り網の中央の方向に虫が移動するように虫の新たな座標値を決定する（ステップＳ７６）。続いて、再びステップＳ７５に戻り、ステップＳ７５、Ｓ７６の処理を繰り返す。このようにすることにより、虫取り網５１４で虫５０８、５１０を捕まえて一緒に動かすことができる。
【０１５５】
ステップＳ７３で、タッチペン２８による画面上のカーソルが虫に触っていないと判断されると、続いて、画面が全消去されたか否か判断する（ステップＳ７７）。画面が全消去されている場合には、次の飛び去り処理（ステップＳ３４）に進む。
【０１５６】
画面が全消去されていない場合には、色情報ワークメモリを参照して、周囲にその虫が好きな色があるか否か判断する（ステップＳ７８）。周囲に好きな色がある場合には、滞在時間タイマを初期化して（ステップＳ８１）、ステップＳ７７に戻り、上述した処理を繰り返す。
【０１５７】
周囲に好きな色がない場合には、滞在時間タイマを減じ（ステップＳ７９）、この滞在時間タイマがゼロになったか否か判断する（ステップＳ８０）。滞在時間タイマがゼロになっていなければ、ステップＳ７７に戻り、上述した処理を繰り返す。滞在時間タイマがゼロになっていれば、次の飛び去り処理（ステップＳ３４）に進む。
【０１５８】
（飛去処理）
図２１は飛去処理のフローチャートである。
【０１５９】
まず、現在位置から虫を飛ばし（ステップＳ１１０）、画面外の所定の位置にに向かって飛ばす（ステップＳ１１１）。続いて、虫が画面外に出たか否か判断する（ステップＳ１１２）。画面外に出ていなければ、再びステップＳ１１１に戻る。画面外に出ていれば飛去処理を終了し、再び初期化処理（ステップＳ３０）に戻り、上述した処理を繰り返す。
【０１６０】
このように、これら虫の発生及び移動は自動的に行われ、遊戯者による特別の操作を必要としないが、遊戯者はその虫を捕虫あみにより捕獲する等のゲームを行なうことができる。
【０１６１】
上述したような発音処理や移動体描画処理によれば、モニタに単に絵を描画するだけでなく、その絵を利用して音を発生したり、音楽を演奏したり、虫を捕獲したりする等の様々なゲームを行うことができる。
【０１６２】
（ビデオゲームの第２具体例）
次に、本実施形態のビデオゲーム装置のビデオゲームの第２の具体例について図２５乃至図３６を用いて説明する。第１の具体例とは発音処理及び移動体描画処理が異なっている。
【０１６３】
（発音処理２）
本具体例の発音処理について図２５のフローチャートを用いて説明する。図２６に示すグランドピアノのサンプル絵を用いて発音処理する場合として説明する。
【０１６４】
まず、タッチペン２８によりどの種類の指揮棒が選択されたかどうか判断する（ステップＳ１２０）。本具体例では指揮棒として通常のオルガン音を奏でる指揮棒の他に他の動物の音色を発する指揮棒を選択することができる。指揮棒の種類は、図２６に示すように、画面上にツールボックス５２０として表示することができ、遊戯者がタッチペン２８を操作して、ツールボックス５２０内の動物の絵にカーソルを合わせペンボタン２８ａを押して好みの動物を選択する。例えば、ツールボックス５２０内の猫の絵５２２を選択すると、図２６に示すように、先端が猫の絵の指揮棒５２４が表示される。
【０１６５】
なお、電子カメラ５５を利用して選択する場合には、選択可能な複数種類の指揮棒ボタンを画面上に表示し、その中から希望の指揮ボタンに画面上のカーソルを重ねることで選択する。カーソルの移動は、例えば赤みに反応するように画像処理する設定にすれば、電子カメラ５５に向かって遊戯者が手を移動すると、それに応じてカーソルを移動させることで実現できる。
【０１６６】
次に、タッチペン２８がお絵描きタブレット２４上にあるかどうか判断し（ステップＳ１２１）、更にペンボタン２８ａが押されているかどうか判断する（ステップＳ１２２）。遊戯者がタッチペン２８をお絵描きタブレット２４に接触すると、発音処理部１０８から位置信号が座標変換部１１６に出力され、バッファメモリ１２０のアドレスに変換される。続いて、色情報読出部１１８により、その変換したアドレスにおけるバッファメモリ１２０の色信号が読み出され、発音処理部１０８に出力される（ステップＳ１２３）。
【０１６７】
次に、色情報の変化があったか否か判断する（ステップＳ１２４）。色情報の変化がなかった場合にはペンボタン２８ａが押された直後か否か判断する（ステップＳ１２５）。ペンボタン２８ａが押された直後でなければステップＳ１２０に戻る。
【０１６８】
ペンボタン２８ａが押された直後であれば、発音処理部１０８は読み出された色情報が透明又は水又は黒であるか否か判断する（ステップＳ１２６）。透明又は水又は黒の場合は音を発生することなく、ステップＳ１２０に戻る。
【０１６９】
読み出された色情報が透明又は水又は黒でなければ、発音処理部１０８は、その色情報と指揮棒の種類に応じて発音する音を決定する（ステップＳ１２７）。指揮棒の種類に応じた音色（オルガン音、犬の声、猫の声、猿の声、豚の声、象の声）を定めると共に、各色情報に応じた音の周波数の倍率を定めた発声周波数表を定めておき、この音色と発声周波数表に基づいて発生音を定める。例えば、猫を選択した場合には、猫の声で音階を奏でることができる。
【０１７０】
続いて、発音処理部１０８は、決定された音信号を出力し、音声端子７６を介してモニタ９０に出力し、音を発生する（ステップＳ１２８）。
【０１７１】
図２６では猫の指揮棒５２４が黄色の音符５０４上に位置しているので、猫の指揮棒と黄色に対して予め定められている音、例えば、猫の声で高さがレの音が発生する。
【０１７２】
このようにして、タッチペン２８をお絵描きタブレット２４上で移動してペンボタン２８ａを押すことにより、指示した色に応じた様々な音を発生することができる。
【０１７３】
（移動体描画処理１）
本具体例における動物を移動する動物移動描画処理について図２７乃至図３６用いて説明する。
【０１７４】
この動物移動描画処理は、絵本の動物の絵をクリックすることによりキャンパス内に動物を登場させ、その動物を色の線に沿って動かすものである。周囲の色情報により動物の絵が切り替わったり、ときどき休憩したりする。本具体例では、図３４に示すように、かば２２１、ゴリラ２２２、ライオン２３２、鳥２３１、象２３４が絵本に描かれており、これら５種類の動物を登場させることができる。
【０１７５】
（基本フロー）
図２７は動物移動描画処理の基本フローを示している。
【０１７６】
動物移動描画処理の基本フローは、各種パラメータを初期化する初期化処理（ステップＳ１３０）、動物の発生が求められるまで待機する待機処理（ステップＳ１３１）、選択された動物を画面内に登場させる登場処理（ステップＳ１３２）、画面内で動物を移動したり休憩したりする移動処理（ステップＳ１３３）、動物が画面から退場する退場処理（ステップＳ１３４）の順となっている。発生する動物の数だけ独立に描画処理される。
【０１７７】
各処理の詳細について順次説明する。
【０１７８】
（初期化処理）
図２８は初期化処理のフローチャートである。
【０１７９】
まず、表示部用の各種パラメータを初期化する（ステップＳ１４０）。
【０１８０】
次に、動物が登場する際の画面外の初期位置を乱数により設定する（ステップＳ１４１）。この初期位置から動物が登場する。
【０１８１】
次に、登場する動物の種類に応じた好きな色を設定する（ステップＳ１４２）。例えば、カバであれば水色、象であれば草色が好きな色となる。
【０１８２】
次に、移動方向設定タイマを初期化する（ステップＳ１４３）。動物は動きながら移動方向を周囲の色情報に基づいて一定の頻度で再設定する。移動方向設定タイマは移動方向を再設定する時間を計測する。
【０１８３】
次に、進行方向揺らぎタイマを初期化する（ステップＳ１４４）。動物が自然に動いているように見せるために、一定の頻度で移動方向を少しずつずらす。進行方向揺らぎタイマは移動方向に揺らぎを発生する時間を計測する。
【０１８４】
次に、反転抑制タイマを初期化する（ステップＳ１４５）。動物の移動方向が反転した場合、その向きに応じて動物の画像を切り換えるが、動物が自然に動いているように見せるために、移動方向が反転しても直ちに動物の画像を切り換えることなく一定時間画像を反転するのを抑制する。反転抑制タイマは画像の反転を抑制する時間を計測する。
【０１８５】
初期化処理が終了すると、次の待機処理に進む。
【０１８６】
（待機処理）
図２９は待機処理のフローチャートである。
【０１８７】
待機処理では、タッチペン２８により絵本の動物の絵が触れられるまで待機し、触れられた動物を登場させるための準備を行う。
【０１８８】
まず、絵本の動物の絵がタッチペン２８で触れられたか否か判断する（ステップＳ１５０）。タッチペン２８でどこにも触れられていなかったり、触れられても動物の絵の位置でなければ、再びステップＳ１５０に戻る。
【０１８９】
タッチペン２８により動物の絵が触れられていると、絵本タブレット３２の出力から動物の種類を決定する（ステップＳ１５１）。
【０１９０】
なお、電子カメラ５５を利用して選択する場合には、選択可能な動物の絵を画面上に表示し、その中から希望の動物の絵に画面上のカーソルを重ねることで選択する。
【０１９１】
続いて、動物が登場した際のキャンパス内の移動の終了位置を乱数で設定する（ステップＳ１５２）。
【０１９２】
待機処理が終了すると、次の登場処理に進む。
【０１９３】
（登場処理）
図３０は登場処理のフローチャートである。
【０１９４】
まず、図２８の初期化処理のステップＳ１４１で定めた画面外の初期位置から、図２９の待機処理のステップＳ１５１で定めた種類の動物を登場させ（ステップＳ１６０）、図２９の待機処理のステップＳ１５２で定めた画面内の終了位置に向かって移動する（ステップＳ１６１）。
【０１９５】
続いて、動物が終了位置に到達したか否か判断する（ステップＳ１６２）。終了位置に到達していなければ、再びステップＳ１６１に戻る。終了位置に到達していれば登場処理を終了し、次の移動処理に進む。
【０１９６】
（移動処理）
図３１は移動処理のフローチャートであり、図３２は移動処理中の速度設定・動物反転処理のフローチャートである。なお、移動処理中の進路決定処理と移動境界チェック処理の詳細については、第１の具体例と同様であるので説明を省略する。
【０１９７】
まず、図３１に示すように、周囲の色情報にしたがって動物の進路を決定する進路決定処理を行う（ステップＳ１７０）。進路決定処理の詳細は第１の具体例の図１９と同様であるが、第１の具体例と異なるのは、嫌いな色に関する処理を行っていない点である。
【０１９８】
ステップＳ１７０の進路決定処理により、周囲の色情報にしたがって動物の進路を決定すると、続いて、速度設定・動物反転処理を行う（ステップＳ１７１）。速度設定・動物反転処理の詳細について図３２を用いて説明する。
【０１９９】
速度設定・動物判定処理においては、まず、進路決定処理により決定された転回方向から速度を決定し、水平方向及び垂直方向の速度成分を得る（ステップＳ１８１）。動物により移動速度が異なるので、速度変換テーブルから移動速度を読み取り、その移動速度と転回方向から、水平方向及び垂直方向の速度成分を得る。
【０２００】
次に、現在の進行方向は、現在の動物の画像の左右の向きと一致しているか否か判断する（ステップＳ１８２）。各動物の画像として予め左向きの画像と右向きの画像が用意されている。速度の水平成分が左向きであれば動物の左向きの画像を表示し、右向きであれば右向きの画像を表示するようにしている。ステップＳ１８２では、動物の画像の向きが進行方向にあっているか否か判断する。
【０２０１】
現在の進行方向と動物の画像の向きが一致していないと判断されると、反転抑制タイマを減じ（ステップＳ１８３）、この反転抑制タイマがゼロになったか否か判断する（ステップＳ１８４）。反転抑制タイマがゼロになっていれば動物の画像を一致している向きの画像に切り換える（ステップＳ１８５）。
【０２０２】
ステップＳ１８２で現在の進行方向と動物の画像の左右の向きが一致していると判断された場合には、反転抑制タイマを初期化して（ステップＳ１８６）、次の移動境界チェック処理に進む。
【０２０３】
ステップＳ１８４で反転抑制タイマがゼロになっていないと判断された場合には、次の移動境界チェック処理に進む。
【０２０４】
続いて、画面の縁で動物を反転させるために移動境界チェック処理を行う（ステップＳ７２）。移動境界チェック処理の詳細は第１の具体例の図２０と同様であるので、説明を省略する。
【０２０５】
ステップＳ７２の移動境界処理により最終的に次の新しい座標を決定すると、続いて、図３１のステップＳ１７３以降の処理に進む。
【０２０６】
最初に周囲の色情報に基づいて動物の画像を切り換える処理を行う。
【０２０７】
まず、ステップＳ１７０の進路決定処理において作成した色情報ワークメモリを参照し、登場している動物の好きな色が周囲に何ドットあるかカウントし、例えば、４６個以上あるか否か判断する（ステップＳ１７３）。４６個以上であれば動物の画像を切り換える（ステップＳ１７４）。
【０２０８】
例えば、カバの場合、好きな水色５３０に囲まれた場合には水中にあるものと判断し、カバの画像を、図３５に示す歩いているカバの画像５３２から図３６の足が水中に没した泳いでいるカバの画像５３４に切り換える。図３６に示すように、あたかもカバ５３４が水中５３０を泳いでいるかのように見える。他の動物についても好きな色に囲まれた場合に画像を切り換えることにより、リアリティのある画像表示を行うことができる。
【０２０９】
次に、動物が一定時間毎に休憩する処理を行う。一定時間毎に移動を一時休止し、休憩状態の動物の画像を表示する。休憩時間が終了すれば再び移動を開始する。各動物に対して休憩時間タイマを設定しておく。動物により休憩時間タイマの時間が異なる。
【０２１０】
まず、休憩のタイミングか否か判断する（ステップＳ１７５）。休憩のタイミングであれば、休憩状態の動物の画像を表示する（ステップＳ１７６）。休憩のタイミングでなければ、ステップＳ１７８に進む。
【０２１１】
続いて、休憩時間を計測する休憩時間タイマがゼロになった否か判断する（ステップＳ１７７）。休憩時間タイマがゼロであれば、休憩終了の動物の画像を表示する（ステップＳ１８０）。
【０２１２】
次に、動物の画像をクリックすることにより鳴き声を発生させる処理を行う。タッチペン２８を操作して、画面上の動物にカーソルを合わせ、クリックすると、その動物が画像を変化して鳴き声を発生する。
【０２１３】
まず、動物上にカーソルがあってタッチペン２８がクリックされたか否か判断する（ステップＳ１７８）。クリックされた場合には、鳴き声を発生する動物の画像を表示すると共に、鳴き声を発生する（ステップＳ１７９）。
【０２１４】
なお、電子カメラ５５を利用して選択する場合には、選択可能な動物の絵を画面上に表示し、その中から希望の動物の絵に画面上のカーソルを重ね、カーソルを左右に振ることで選択する。
【０２１５】
（退場処理）
図３３は退場処理のフローチャートである。
【０２１６】
まず、絵本の動物の絵がタッチペン２８で触れられたか否か判断する（ステップＳ１９０）。タッチペン２８でどこにも触れられていなかったり、触れられても動物の絵の位置でなければ、再び初期化処理（ステップＳ１３０）に戻り、上述した処理を繰り返す。
【０２１７】
タッチペン２８により動物の絵が触れられていれば、表示されている動物を画面外に退場させる退場処理を行う。その動物の画像を画面外の所定の位置に向かって移動する（ステップＳ１９１）。続いて、動物が画面外に出たか否か判断する（ステップＳ１９２）。画面外に出ていなければ、再びステップＳ１９１に戻る。画面外に出ていれば退場処理を終了し、再び初期化処理（ステップＳ１３０）に戻り、上述した処理を繰り返す。
【０２１８】
このように、遊戯者の指示にしたがって動物を発生させ、描いた絵の色情報にしたがって移動させ、画像を切り換えたり、休憩させたり、鳴き声を鳴かせたりといって種々のゲームを行うことができる。
【０２１９】
なお、電子カメラ５５を利用する場合には、入力手段としてタッチペン２８を用いるか電子カメラ５５を用いるかを選択できるような選択手段又は切換手段を設けるようにする。この選択手段又は切換手段は切換スイッチ等のハードウエアとして設けてもよいし、画面上で選択できるようにするプログラム等のソフトウエアとして設けてもよい
また、電子カメラ５５による操作入力とタッチペン２８による操作入力を共に可能なようにして、双方の入力手段を同時に用いられるようにしてもよい。例えば、子供はタッチペン２８により操作入力し、親は電子カメラ５５を利用して操作入力できるようにする。表示画面上にはそれぞれ独立に操作できるカーソルを表示し、それぞれの操作入力に応じた操作表示、例えば、カーソルで線図を書く入力操作を同じ画面上に表示するようにしてもよい。
【０２２０】
［変形実施形態］
本発明は上記実施形態に限らず種々の変形が可能である。
【０２２１】
例えば、上記実施形態では幼児用ビデオゲーム装置を用いたが、基本的な構成は上記実施形態と同様に構成し、他のゲーム装置に本発明を適用してもよい。
【０２２２】
また、ゲーム装置に限らず、基本的な構成は上記実施形態と同様に構成し、電子的に絵を書く電子タブレットのような電子タブレットに本発明を適用してもよい。
【０２２３】
また、基本的な構成は上記実施形態と同様に構成し、パーソナルコンピュータ等の汎用のコンピュータにおけるゲームプログラムや画像プログラム等の画像処理に本発明を適用してもよい。
【０２２４】
また、基本的な構成は上記実施形態と同様に構成し、音楽に合わせて操作を行う音楽ゲーム等の他のゲームに本発明を適用してもよい。
【０２２５】
【発明の効果】
以上の通り、本発明によれば、画像を撮像する撮像手段と、撮像手段により撮像した画像データを複数フレーム分記憶する記憶手段と、記憶手段に記憶された画像データを表示画面上に順次表示する画像表示手段と、一のフレームの画像データと他のフレームの画像データとを比較して得られる差分データを算出する差分算出手段とを有し、差分算出手段により算出された差分データに基づいて表示画面上に表示する移動体の挙動を決定するようにしたので、遊戯者等の撮像画像から特定の情報を得て、その情報に基づいて画像表示を制御することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態によるビデオゲーム装置の機能を示すブロック図である。
【図２】本発明の第１実施形態によるビデオゲーム装置の遊戯方法の第１の具体例を示す説明図である。
【図３】本発明の第１実施形態によるビデオゲーム装置の遊戯方法の第２の具体例を示す説明図である。
【図４】本発明の第１実施形態によるビデオゲーム装置の遊戯方法の第３の具体例を示す説明図である。
【図５】本発明の第２実施形態によるビデオゲーム装置の外観を示す斜視図である。
【図６】本発明の第２実施形態によるビデオゲーム装置のソフトウエアカートリッジを示す図である。
【図７】本発明の第２実施形態によるビデオゲーム装置のハードウエアの構成を示すブロック図である。
【図８】本発明の第２実施形態によるビデオゲーム装置の機能ブロック図である。
【図９】本発明の第２実施形態におけるビデオゲームの第１の具体例におけるソフトウエアカートリッジの絵本の絵の一例を示す図である。
【図１０】本発明の第２実施形態におけるビデオゲームの第１の具体例における描画処理のフローチャートである。
【図１１】本発明の第２実施形態におけるビデオゲームの第１の具体例におけるサンプル絵の一例を示す図である。
【図１２】本発明の第２実施形態におけるビデオゲームの第１の具体例におけるキャンパスの絵の一例を示す図である。
【図１３】本発明の第２実施形態におけるビデオゲームの第１の具体例における発音処理のフローチャートである。
【図１４】本発明の第２実施形態におけるビデオゲームの第１の具体例における虫移動描画処理のフローチャートである。
【図１５】本発明の第２実施形態におけるビデオゲームの第１の具体例における初期化処理のフローチャートである。
【図１６】本発明の第２実施形態におけるビデオゲームの第１の具体例における待機処理のフローチャートである。
【図１７】本発明の第２実施形態におけるビデオゲームの第１の具体例における飛来処理のフローチャートである。
【図１８】本発明の第２実施形態におけるビデオゲームの第１の具体例における移動処理のフローチャートである。
【図１９】本発明の第２実施形態におけるビデオゲームの第１の具体例における進路決定処理のフローチャートである。
【図２０】本発明の第２実施形態におけるビデオゲームの第１の具体例における移動境界チェック処理のフローチャートである。
【図２１】本発明の第２実施形態におけるビデオゲームの第１の具体例における飛去処理のフローチャートである。
【図２２】本発明の第２実施形態におけるビデオゲームの第１の具体例における進路決定処理の説明図である。
【図２３】本発明の第２実施形態におけるビデオゲームの第１の具体例における進路決定処理の説明図である。
【図２４】本発明の第２実施形態におけるビデオゲームの第１の具体例におけるキャンパスの絵の一例を示す図である。
【図２５】本発明の第２実施形態におけるビデオゲームの第２の具体例における発音処理のフローチャートである。
【図２６】本発明の第２実施形態におけるビデオゲームの第２の具体例におけるサンプル絵の具体例を示す図である。
【図２７】本発明の第２実施形態におけるビデオゲームの第２の具体例における動物移動描画処理のフローチャートである。
【図２８】本発明の第２実施形態におけるビデオゲームの第２の具体例における初期化処理のフローチャートである。
【図２９】本発明の第２実施形態におけるビデオゲームの第２の具体例における待機処理のフローチャートである。
【図３０】本発明の第２実施形態におけるビデオゲームの第２の具体例における登場処理のフローチャートである。
【図３１】本発明の第２実施形態におけるビデオゲームの第２の具体例における移動処理のフローチャートである。
【図３２】本発明の第２実施形態におけるビデオゲームの第２の具体例における速度設定・動物反転処理のフローチャートである。
【図３３】本発明の第２実施形態におけるビデオゲームの第２の具体例における退場処理のフローチャートである。
【図３４】本発明の第２実施形態におけるビデオゲームの第２の具体例におけるソフトウエアカートリッジの絵本の絵の一例を示す図である。
【図３５】本発明の第２実施形態におけるビデオゲームの第２の具体例におけるキャンパスの絵の一例を示す図である。
【図３６】本発明の第２実施形態におけるビデオゲームの第２の具体例におけるキャンパスの絵の一例を示す図である。
【符号の説明】
１０…ゲーム装置本体
１２…ソフトウエアカートリッジ
１４…底蓋
１６…上蓋
１８…カートリッジスロット
２０…方向ボタン
２２…実行ボタン
２４…お絵描きタブレット
２６…タッチペンホルダ
２８…タッチペン
２８ａ…ペンボタン
３２…絵本タブレット
３４…パワースイッチ
３６…リジェクトボタン
３８…ページセンサ
４０…綴じリング
４２…ページ
４６…絵本載置部
４８…回路基板
５０…基板収納部
５２…センサ用穴
５４…プログラムＲＯＭ
５５…電子カメラ
６０…ＭＰＵ
６２…ＲＡＭ
６４…ビデオディスプレイプロセッサ（ＶＤＰ）
６６…ビデオＲＡＭ
７０…映像端子
７２…音声合成ＬＳＩ
７６…音声端子
７８…コントローラ
８０…アナログスイッチ
８４…アドレスバス
８６…データバス
８８…コントロールバス
９０…モニタ
１００…制御部
１０２…描画制御部
１０３…描画処理部
１０６…移動体描画部
１０７…進路決定部
１１０…バッファメモリ入出力部
１１２…座標変換部
１１４…色情報書込部
１１６…座標変換部
１１８…色情報読取部
１２０…バッファメモリ
２００…ゲーム装置
２０２…ＣＰＵ
２０４…システムメモリ
２０６…プログラムデータ記憶装置又は記憶媒体
２０８…ＢＯＯＴＲＯＭ
２１０…バスアービタ
２１２…レンダリングプロセッサ
２１４…グラフィックメモリ
２１６…ディスプレイモニタ
２１８…オーディオプロセッサ
２２０…オーディオメモリ
２２２…スピーカ
２２４…モデム
２２６…コントローラ
２２８…バックアップメモリ
２３０…マイク
２３２…電子カメラ
３００、３１０…遊戯者
３０２、３０４…移動体
３１４…指示棒
Claims (4)
- 遊戯者を撮像する撮像手段と、
前記撮像手段によりフレーム毎に前記遊戯者を撮像した複数の画像データを記憶する記憶手段と、
前記記憶手段に記憶された画像データを表示画面上に順次表示する画像表示手段と、
前記複数の画像データのうち、一のフレームの画像データと他のフレームの画像データとを比較して得られる差分データを算出する差分算出手段と、
前記差分算出手段により算出された前記差分データに基づいて前記遊戯者の手の動きを検出し、前記遊戯者の手の移動距離を累積した累積距離が所定の設定値を超えたときに、前記遊戯者による操作入力と判断してゲームプログラムを起動し、前記画像表示手段により前記表示画面上に前記ゲームの画面を表示させる制御手段とを有し、
前記制御手段は、前記差分算出手段により算出された前記差分データに基づいて前記遊戯者の手の動きの速さを算出し、前記手の動きの速さが所定値以上の場合には前記移動距離をそのまま累積し、前記手の動きの速さが所定値以下の場合には前記移動距離から所定距離を減算したものを累積することを特徴とする画像処理システム。 - 前記制御手段は、前記遊戯者の手の動きが検出されてから所定時間が経過しても前記累積距離が前記所定の設定値を超えない場合には、前記累積距離をリセットすることを特徴とする請求項１記載の画像処理システム。
- 前記表示画面上に特定の検出領域を設定し、前記差分算出手段は、前記特定の検出領域における差分データを算出し、前記制御手段は、前記差分算出手段により算出された前記特定の検出領域の差分データに基づいて前記遊戯者による操作入力を判断することを特徴とする請求項１又は２に記載の画像処理システム。
- 遊戯者を撮像する撮像手段と、
前記撮像手段によりフレーム毎に前記遊戯者を撮像した複数の画像データを記憶する記憶手段と、
前記記憶手段に記憶された画像データを表示画面上に順次表示する画像表示手段と、
前記複数の画像データのうち、一のフレームの画像データと他のフレームの画像データとを比較して得られる差分データを算出する差分算出手段と、
前記差分算出手段により算出された前記差分データのうち、赤み成分の差分データに基づいて前記遊戯者の手の動きを検出すると共に、前記遊戯者の手の動きの速さを算出し、前記手の動きの速さが所定値以上の場合には前記遊戯者の手の移動距離をそのまま累積し、前記手の動きの速さが所定値以下の場合には前記移動距離から所定距離を減算したものを累積し、前記遊戯者の手の移動距離を累積した累積距離が所定の設定値を超えたときに、前記遊戯者による操作入力と判断してゲームプログラムを起動し、前記画像表示手段により前記表示画面上に前記ゲームの画面を表示させる制御手段と
を有することを特徴とする画像処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001039272A JP4006949B2 (ja) | 2000-02-15 | 2001-02-15 | 画像処理システム、画像処理装置及び撮像装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-37282 | 2000-02-15 | ||
| JP2000037282 | 2000-02-15 | ||
| JP2001039272A JP4006949B2 (ja) | 2000-02-15 | 2001-02-15 | 画像処理システム、画像処理装置及び撮像装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001307124A JP2001307124A (ja) | 2001-11-02 |
| JP2001307124A5 JP2001307124A5 (ja) | 2005-04-14 |
| JP4006949B2 true JP4006949B2 (ja) | 2007-11-14 |
Family
ID=26585415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001039272A Expired - Lifetime JP4006949B2 (ja) | 2000-02-15 | 2001-02-15 | 画像処理システム、画像処理装置及び撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4006949B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102270276A (zh) * | 2010-06-11 | 2011-12-07 | 微软公司 | 根据身体移动确定卡路里燃烧 |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4615252B2 (ja) * | 2000-10-06 | 2011-01-19 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
| JP4701411B2 (ja) * | 2003-09-18 | 2011-06-15 | 新世代株式会社 | 音楽ゲーム装置、音楽ゲームシステム、操作物、音楽ゲームプログラム、及び、音楽ゲーム方法 |
| JP4735802B2 (ja) * | 2003-10-23 | 2011-07-27 | 新世代株式会社 | ゲーム装置、ゲームプログラム、及び、ゲーム装置の制御方法 |
| JP3851907B2 (ja) | 2004-02-18 | 2006-11-29 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示システム及びビデオゲームシステム |
| JP3904562B2 (ja) | 2004-02-18 | 2007-04-11 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示システム、記録媒体及びプログラム |
| JP4005061B2 (ja) | 2004-06-30 | 2007-11-07 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、プログラム、および、情報処理装置におけるオブジェクト制御方法 |
| JP4005060B2 (ja) | 2004-06-30 | 2007-11-07 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理システム、プログラムおよびゲームキャラクタ移動制御方法 |
| CN101068605B (zh) * | 2004-12-03 | 2011-07-13 | 新世代株式会社 | 拳击游戏的处理方法，显示控制方法，位置检测方法，光标控制方法，能量消耗计算方法和练习系统 |
| WO2006098255A1 (ja) * | 2005-03-15 | 2006-09-21 | Shunsuke Nakamura | 画像表示方法およびその装置 |
| US7209577B2 (en) | 2005-07-14 | 2007-04-24 | Logitech Europe S.A. | Facial feature-localized and global real-time video morphing |
| GB2438449C (en) | 2006-05-24 | 2018-05-30 | Sony Computer Entertainment Europe Ltd | Control of data processing |
| JP2010142592A (ja) * | 2008-12-22 | 2010-07-01 | Nintendo Co Ltd | ゲームプログラムおよびゲーム装置 |
| JP5446572B2 (ja) * | 2009-08-12 | 2014-03-19 | 学校法人近畿大学 | 画像生成システム、制御プログラム、及び記録媒体 |
| JP5551675B2 (ja) * | 2011-11-30 | 2014-07-16 | 株式会社ソニー・コンピュータエンタテインメント | ゲーム装置および仮想オブジェクト制御方法 |
| JP6208151B2 (ja) | 2012-02-06 | 2017-10-04 | ソニー インタラクティブ エンタテインメント ヨーロッパ リミテッド | 拡張現実のためのブックオブジェクト |
| JP5689103B2 (ja) * | 2012-11-07 | 2015-03-25 | 任天堂株式会社 | ゲームプログラム、ゲームシステム、ゲーム装置、およびゲーム制御方法 |
| JP5979450B2 (ja) * | 2014-07-28 | 2016-08-24 | 株式会社クラス・マイスター | ゲーム装置の制御プログラム |
| JP6799017B2 (ja) * | 2017-12-18 | 2020-12-09 | ガンホー・オンライン・エンターテイメント株式会社 | 端末装置、システム、プログラム及び方法 |
| CN115500740B (zh) * | 2022-11-18 | 2023-04-18 | 科大讯飞股份有限公司 | 清洁机器人及清洁机器人控制方法 |
-
2001
- 2001-02-15 JP JP2001039272A patent/JP4006949B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102270276A (zh) * | 2010-06-11 | 2011-12-07 | 微软公司 | 根据身体移动确定卡路里燃烧 |
| US9384329B2 (en) | 2010-06-11 | 2016-07-05 | Microsoft Technology Licensing, Llc | Caloric burn determination from body movement |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001307124A (ja) | 2001-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4006949B2 (ja) | 画像処理システム、画像処理装置及び撮像装置 | |
| KR100395719B1 (ko) | 화상처리방법및전자장치 | |
| JP4754005B2 (ja) | ゲームプログラムおよびゲーム装置 | |
| CN1933883B (zh) | 游戏装置以及游戏控制方法 | |
| JP5436912B2 (ja) | プログラム、情報記憶媒体及びゲーム装置 | |
| JP5274187B2 (ja) | 画像処理プログラム、情報処理装置、画像処理方法、および画像処理システム | |
| JP5635850B2 (ja) | 情報処理装置、情報処理プログラム、情報処理システムおよび情報処理方法 | |
| JP5600827B2 (ja) | 情報入出力装置 | |
| WO2015025442A1 (ja) | 情報処理装置および情報処理方法 | |
| US20090174656A1 (en) | Electronic image identification and animation system | |
| JP4127561B2 (ja) | ゲーム装置、操作評価方法、および、プログラム | |
| US20100185981A1 (en) | Display controlling program and display controlling apparatus | |
| US20120196681A1 (en) | Game system and game program medium | |
| JP2010142592A (ja) | ゲームプログラムおよびゲーム装置 | |
| JP2012080950A (ja) | ゲーム装置およびゲームシステム | |
| JP2005319191A (ja) | ゲームシステム、プログラム、情報記憶媒体および画像生成方法 | |
| JP4371182B2 (ja) | ゲーム装置、これに使用する入力手段、及び記憶媒体 | |
| JP2972346B2 (ja) | 画像処理方法及び電子装置 | |
| EP1395897B1 (en) | System for presenting interactive content | |
| JPH11339057A (ja) | 画像処理方法及び電子装置 | |
| CN109040721B (zh) | 客制化动态影音场景生成系统 | |
| JP2002210233A (ja) | エンタテインメント装置、記録媒体及びプログラム | |
| JP2025039171A (ja) | プログラム、演奏システム、発音制御方法及び情報処理装置 | |
| US9230293B2 (en) | Display controlling program and display controlling apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040604 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040604 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070307 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070530 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070807 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070820 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4006949 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130907 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130907 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |