JP2001246161A - ジェスチャー認識技術を用いたゲーム装置およびその方法ならびにその方法を実現するプログラムを記憶した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ジェスチャー入力であっても入力操作デバイ
スでコマンド入力した場合と同等のリアルタイム性でゲ
ームを進行させる。 【解決手段】 人体の一部（たとえば手）の動きを撮像
し、そのジェスチャーから二値画像データを得て、その
二値画像データに対するハフ・トランスフォーメーショ
ン（Hough Transformation）２０５で手のオリエンテー
ション情報を検出し、同様の二値画像データからセント
ロイダル・プロファイル抽出（CentroidalProfile Extr
action）２０６で手の指の本数および角度を示すシェイ
プ情報を検出し、これらオリエンテーション情報とシェ
イプ情報との組み合わせに対応する入力コマンドを、あ
らかじめ用意されたコマンドの中から決定（パラメータ
補正（Parameter Adjustment）２０８）する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、たとえばリアルタ
イム・インタラクティブ・エンターテインメント(Real-
time Interactive Entertainment）の分野で利用される
コンピュータ−ヒューマン・インタフェース(Computer-
Human Interface)技術に関し、詳細には、ビデオゲーム
システムのためのジェスチャー認識に関する。

【０００２】

【従来の技術】パーソナルコンピュータや家庭用のビデ
オゲーム機においては、キーパッド等の入力操作デバイ
スを用いてモニタ上のキャラクタ動作やコマンド入力等
を操作することが一般的である。

【０００３】ゲームの種類には、ロールプレイングゲー
ム（ＲＰＧ）、シューティングゲーム、バトルゲームな
どがある。各ゲームには、操作上、ゲームを進行させる
ための各種コマンドが用意されている。入力操作デバイ
スの各キーには、コマンドが割り当てられている。ただ
し、複数のキーを組み合わせてそのキー操作でコマンド
を発生させる場合もある。

【０００４】シューティングゲームやバトルゲームのよ
うに戦闘を主とするゲームにおいては、たとえば攻撃技
とコマンドとの対応付けなどがなされている。ＲＰＧの
ように主人公となるキャラクタがプレイヤに代わって冒
険するようなゲームにおいては、たとえばキャラクタの
様々な行動を指示するためのコマンドが各行動に対応付
けて用意されている。

【０００５】このように、各コマンドとキーとの対応付
けがなされているので、ゲーム中、プレイヤのキー操作
により所望のコマンドを発令することが可能となる。

【０００６】

【発明が解決しようとする課題】ところが、近年、プレ
イヤの人体あるいは手のように人体の一部をＣＣＤカメ
ラで撮像してジェスチャー認識を行うシステムが開発さ
れている。特に、手の形状の変化やその動きからジェス
チャー入力するためのハンドジェスチャー認識は、入力
操作デバイスを必要としないことから、将来ゲーム分野
で期待される技術である。

【０００７】ビデオゲームには、コマンド入力にリアル
タイム性が要求される。このため、入力操作デバイスに
代わってハンドジェスチャー入力を行う場合、入力操作
デバイスを用いてコマンド入力した場合と同等のリアル
タイム性を備えたインタラクティブゲームを進行させる
ことが可能なハンドジェスチャー認識技術が要求されて
いる。

【０００８】すなわち、ゲームはスピーディーに展開さ
れ、ゲーム中のコマンド入力はそのときに発令されなけ
れば意味をなさない。このため、ジェスチャーによるコ
マンド入力の場合には、許容できる範囲内の誤認やジェ
スチャーの制約は認めざるを得ない。

【０００９】さて、ハンドジェスチャー認識の分野にお
いては、たとえば米国特許第５，４５４，０４３号公報
のように、ＣＣＤカメラで手の形状や動きを動的に撮像
し、パターンマッチング処理でハンドジェスチャー認識
を行う手法が開示されている。

【００１０】また、特開平１０−３１５５１号公報に
は、人工網膜チップを利用してハンドジェスチャー認識
を行う手法が開示されている。

【００１１】本発明の目的は、ジェスチャー入力であっ
ても、入力操作デバイスを用いてコマンド入力した場合
と同等のリアルタイム性を備えたインタラクティブゲー
ムを進行させることが可能な、ジェスチャー認識技術を
用いたゲーム装置およびその方法、ならびにその方法を
実現するプログラムを記憶した記録媒体を提供すること
にある。

【００１２】

【課題を解決するための手段】上述した課題を解決する
ため、本発明の第１の態様によれば、入力コマンドに応
答してゲームを進行させるゲーム装置は以下の構成を備
える。すなわち、人体の少なくとも一部の形状が入力対
象であり、当該入力対象の動的なジェスチャーによる入
力ビデオ信号から二値画像データを取得する画像入力手
段と、前記画像入力手段で取得された二値画像データに
基づいて前記入力対象のオリエンテーション情報を検出
するオリエンテーション検出手段と、前記画像入力手段
で取得された二値画像データに基づいて前記入力対象の
シェイプ情報を検出するシェイプ検出手段と、前記オリ
エンテーション検出手段で検出されたオリエンテーショ
ン情報と前記シェイプ検出手段で検出されたシェイプ情
報との組み合わせに応じて、ゲームを進行させるための
入力コマンドを生成するコマンド生成手段と、を備え
る。

【００１３】また、上記第１の態様によれば、前記コマ
ンド生成手段は、入力対象のオリエンテーション情報と
同入力対象のシェイプ情報との組み合わせとゲームを進
行させるためのコマンドとの対応関係を示す情報をあら
かじめ用意しておき、前記あらかじめ用意された情報を
参照して、前記オリエンテーション検出手段で検出され
たオリエンテーション情報と前記シェイプ検出手段で検
出されたシェイプ情報との組み合わせに対応付けられた
コマンドを前記入力コマンドとして決定するようにして
もよい。

【００１４】また、上記第１の態様によれば、入力対象
の動的なジェスチャーを撮像して前記入力ビデオ信号を
得る撮像手段をさらに備えるようにしてもよい。

【００１５】また、上記第１の態様によれば、前記撮像
手段は、あらかじめ用意された、二値画像データ取得の
ためのシートに対向配置され、前記シート上に配置され
る入力対象のジェスチャーを撮像するようにしてもよ
い。

【００１６】また、上記第１の態様によれば、前記コマ
ンド生成手段は、あらかじめ用意した人間特有の動きを
参照して前記組み合わせを補正する処理を含むようにし
てもよい。

【００１７】また、上記第１の態様によれば、前記画像
入力手段は、前記二値画像に対して加重平均を施し、そ
の加重平均から前記オリエンテーション検出手段、前記
シェイプ検出手段でそれぞれ処理するための二値画像デ
ータを得るようにしてもよい。

【００１８】また、上記第１の態様によれば、前記シェ
イプ判定手段は、前記画像入力手段で取得された二値画
像データに基づいてセントロイダル・プロファイル（Ce
ntroidal Profile）を抽出し、当該抽出されたセントロ
イダル・プロファイルのピークから前記入力対象のシェ
イプ情報を検出するようにしてもよい。

【００１９】また、上記第１の態様によれば、前記シェ
イプ検出手段は、前記入力対象が手の場合、指の本数と
指の角度をシェイプ情報として検出するようにしてもよ
い。

【００２０】また、上記第１の態様によれば、前記オリ
エンテーション検出手段は、前記画像入力手段で取得さ
れた二値画像データに対するハフ・トランスフォーメー
ション（Hough Transformation）から前記入力対象のオ
リエンテーション情報を検出するようにしてもよい。

【００２１】本発明の第２の態様によれば、入力コマン
ドに応答してゲームを進行させるジェスチャー認識方法
は以下の構成を備える。すなわち、人体の少なくとも一
部の形状が入力対象であり、当該入力対象の動的なジェ
スチャーによる入力ビデオ信号から二値画像データを取
得する画像入力ステップと、前記画像入力ステップで取
得された二値画像データに基づいて前記入力対象のオリ
エンテーション情報を検出するオリエンテーション検出
ステップと、前記画像入力ステップで取得された二値画
像データに基づいて前記入力対象のシェイプ情報を検出
するシェイプ検出ステップと、前記オリエンテーション
検出ステップで検出されたオリエンテーション情報と前
記シェイプ検出ステップで検出されたシェイプ情報との
組み合わせに応じて、ゲームを進行させるための入力コ
マンドを生成するコマンド生成ステップと、を含む。

【００２２】また、上記第２の態様によれば、前記コマ
ンド生成ステップは、入力対象のオリエンテーション情
報と同入力対象のシェイプ情報との組み合わせとゲーム
を進行させるためのコマンドとの対応関係を示す情報を
あらかじめ用意しておき、前記あらかじめ用意された情
報を参照して、前記オリエンテーション検出ステップで
検出されたオリエンテーション情報と前記シェイプ検出
ステップで検出されたシェイプ情報との組み合わせに対
応付けられたコマンドを前記入力コマンドとして決定す
るようにしてもよい。

【００２３】また、上記第２の態様によれば、入力対象
の動的なジェスチャーを撮像して前記入力ビデオ信号を
得る撮像ステップをさらに備えるようにしてもよい。

【００２４】また、上記第２の態様によれば、前記コマ
ンド生成ステップは、あらかじめ用意した人間特有の動
きを参照して前記組み合わせを補正する処理を含むよう
にしてもよい。

【００２５】また、上記第２の態様によれば、前記画像
入力ステップは、前記二値画像に対して加重平均を施
し、その加重平均から前記オリエンテーション検出ステ
ップ、前記シェイプ検出ステップでそれぞれ処理するた
めの二値画像データを得るようにしてもよい。

【００２６】また、上記第２の態様によれば、前記シェ
イプ判定ステップは、前記画像入力ステップで取得され
た二値画像データに基づいてセントロイダル・プロファ
イル（Centroidal Profile）を抽出し、当該抽出された
セントロイダル・プロファイルのピークから前記入力対
象のシェイプ情報を検出するようにしてもよい。

【００２７】また、上記第２の態様によれば、前記シェ
イプ検出ステップは、前記入力対象が手の場合、指の本
数と指の角度をシェイプ情報として検出するようにして
もよい。

【００２８】また、上記第２の態様によれば、前記オリ
エンテーション検出ステップは、前記画像入力ステップ
で取得された二値画像データに対するハフ・トランスフ
ォーメーション（Hough Transformation）から前記入力
対象のオリエンテーション情報を検出するようにしても
よい。

【００２９】本発明の第３の態様によれば、入力コマン
ドに応答してゲームを進行させる方法をコンピュータに
実行させるプログラムを記録した記録媒体は以下の構成
を備える。すなわち、コンピュータに、人体の少なくと
も一部の形状が入力対象であり、当該入力対象の動的な
ジェスチャーによる入力ビデオ信号から二値画像データ
を取得する画像入力ステップと、前記画像入力ステップ
で取得された二値画像データに基づいて前記入力対象の
オリエンテーション情報を検出するオリエンテーション
検出ステップと、前記画像入力ステップで取得された二
値画像データに基づいて前記入力対象のシェイプ情報を
検出するシェイプ検出ステップと、前記オリエンテーシ
ョン検出ステップで検出されたオリエンテーション情報
と前記シェイプ検出ステップで検出されたシェイプ情報
との組み合わせに応じて、ゲームを進行させるための入
力コマンドを生成するコマンド生成ステップと、を実行
させるものである。

【００３０】また、上記第３の態様によれば、前記コマ
ンド生成ステップは、入力対象のオリエンテーション情
報と同入力対象のシェイプ情報との組み合わせとゲーム
を進行させるためのコマンドとの対応関係を示す情報を
あらかじめ用意しておき、前記あらかじめ用意された情
報を参照して、前記オリエンテーション検出ステップで
検出されたオリエンテーション情報と前記シェイプ検出
ステップで検出されたシェイプ情報との組み合わせに対
応付けられたコマンドを前記入力コマンドとして決定す
るようにしてもよい。

【００３１】また、上記第３の態様によれば、入力対象
の動的なジェスチャーを撮像して前記入力ビデオ信号を
得る撮像ステップをさらに備えるようにしてもよい。

【００３２】また、上記第３の態様によれば、前記コマ
ンド生成ステップは、あらかじめ用意した人間特有の動
きを参照して前記組み合わせを補正する処理を含むよう
にしてもよい。

【００３３】また、上記第３の態様によれば、前記画像
入力ステップは、前記二値画像に対して加重平均を施
し、その加重平均から前記オリエンテーション検出ステ
ップ、前記シェイプ検出ステップでそれぞれ処理するた
めの二値画像データを得るようにしてもよい。

【００３４】また、上記第３の態様によれば、前記シェ
イプ判定ステップは、前記画像入力ステップで取得され
た二値画像データに基づいてセントロイダル・プロファ
イル（Centroidal Profile）を抽出し、当該抽出された
セントロイダル・プロファイルのピークから前記入力対
象のシェイプ情報を検出するようにしてもよい。

【００３５】また、上記第３の態様によれば、前記シェ
イプ検出ステップは、前記入力対象が手の場合、指の本
数と指の角度をシェイプ情報として検出するようにして
もよい。

【００３６】また、上記第３の態様によれば、前記オリ
エンテーション検出ステップは、前記画像入力ステップ
で取得された二値画像データに対するハフ・トランスフ
ォーメーション（Hough Transformation）から前記入力
対象のオリエンテーション情報を検出するようにしても
よい。

【００３７】

【発明の実施の形態】以下、添付図面を参照して本発明
に係る一実施の形態を詳細に説明する。なお、以下に説
明する実施例は、キーパッド、キーボードなどの入力操
作デバイスを用いずに、ハンドジェスチャーによりコマ
ンドを入力してゲームを進行させるゲーム装置およびそ
の方法、ならびにその方法を実現するためのプログラム
を記録した記録媒体に関するものである。

【００３８】まず、構成について説明する。図１は、本
発明の一実施の形態によるシステム構成図であり、図２
は、ゲームプログラムの記録場所を説明する図である。

【００３９】本発明のゲーム装置を備えるゲームシステ
ムは、たとえば図１に示したように、パーソナルコンピ
ュータ１とＣＣＤカメラ６とをケーブル９で接続し、ス
タンド７に取付けられたＣＣＤカメラ６によりマット５
上で行われるハンドジェスチャーを撮像できるようにし
た構成である。

【００４０】パーソナルコンピュータ１は、たとえばラ
ップトップタイプのノートブックであり、液晶のディス
プレイ２とキーボード３とを備えている。パーソナルコ
ンピュータ１本体は、ＣＤ−ＲＯＭ４を着脱自在に構成
される。なお、本実施例では、コンピュータをラップト
ップタイプとしたが、本発明はこれに限定されず、デス
クトップタイプのコンピュータ、ビデオゲーム専用機な
どにも適用可能である。

【００４１】なお、マット５の配置については、ハンド
ジェスチャーを行う際に、ディスプレイ２に対するプレ
イヤの視野を遮らない場所とすることが好ましい。

【００４２】マット５は、たとえば５０×５０ｃｍサイ
ズを有し、ＣＣＤカメラ６で撮像されたビデオ信号から
クロマキーイングするためにブルーバックグラウンドと
なっている。なお、マット５のサイズは、５０×５０ｃ
ｍに限定されず、ハンドジェスチャーの種類や動作範囲
に応じて種々変形可能である。

【００４３】スタンド７の所要の高さに取付けられたＣ
ＣＤカメラ６はその撮像面をマット５に対して対向配置
される。これにより、所要の高さから手８のハンドジェ
スチャーを捉えることができる。なお、このＣＣＤカメ
ラ６の撮像範囲もハンドジェスチャーの種類や動作範囲
に応じて種々変形可能であり、これに追随してスタンド
７に取付ける位置を調整するとよい。

【００４４】なお、スタンド７の配置について、ＣＣＤ
カメラ６の位置を調整する際に、ディスプレイ２に対す
るプレイヤの視野を遮らない場所とすることが好まし
い。

【００４５】ＣＤ−ＲＯＭ４には、図２に示したよう
に、ゲームアルゴリズム（Game Algorithm）がプログラ
ムの形態で記録されている。本実施例では、ＣＤ−ＲＯ
Ｍ４からゲームプログラムを読み出してゲームを実行さ
せることができる。なお、ゲームプログラムはすべてを
メモリにロードしてもよく、メモリ容量の関係から適宜
読み出す形態としてもよい。

【００４６】図３は、本発明のゲーム装置の内部構成例
を示すブロック図である。本発明のゲーム装置は、たと
えば図３に示したように、内部バス１００に、ＣＰＵ１
０２、画像処理（Image Processing）１０３、メモリ１
０６、ディスクドライバ（Disk Driver）１０９、およ
び、各種インタフェース（Ｉ／Ｆ）１０１，１０４，１
０５，１１０を接続させている。

【００４７】ＣＰＵ１０２は、ゲームプログラムなどを
実行する制御ユニットであり、図示せぬＲＯＭ、ＲＡＭ
を備え、これらと協働して処理全体の制御を司る。この
ＣＰＵ１０２は、後述するゲームアルゴリズムに従って
ハンドジェスチャー認識を利用したゲームなどの処理を
制御する。画像処理１０３は、ＣＰＵ１０２により実行
されるゲームの進行で、画像処理部分（ジェスチャー認
識、グラフィック処理など）を支援するユニットであ
る。

【００４８】メモリ１０６は、メイン処理１０７、ジェ
スチャー認識１０８などの処理を含むゲームアルゴリズ
ムなどを記憶可能な媒体である。このメモリ１０６は、
たとえばハードディスクであり、ＣＤ−ＲＯＭ４から読
み出されたプログラムの一部もしくは全部をロードして
利用される。

【００４９】ディスクドライバ１０９は、ＣＰＵ１０２
の制御に従ってＣＤ−ＲＯＭ４を駆動させる。たとえば
ゲームプログラムの一部をメモリ１０６へロードしてゲ
ームを実行する場合には、ゲーム実行時に、ディスクド
ライバ１０９はインタラクティブにＣＤ−ＲＯＭをアク
セスする。一方、ゲームプログラムをすべてメモリ１０
６へロードしてゲームを実行する場合には、ＣＰＵ１０
２はメモリ１０６にロードされたゲームアルゴリズムに
従ってゲームを制御するため、ディスクドライバ１０９
でＣＤ−ＲＯＭ４を駆動させる必要はなくなる。

【００５０】なお、本実施例では、記録媒体の一例とし
てＣＤ−ＲＯＭ４を例に挙げたが、ＤＶＤ（デジタルビ
デオディスク）などの他の媒体でもよいことはいうまで
もない。ディスクドライバ１０９についても、扱われる
記録媒体に応じて構造を替えればよい。

【００５１】Ｉ／Ｆ１０１には、ケーブル９を介してＣ
ＣＤカメラ６が接続されている。ＣＣＤカメラ（CCD Ca
mera）６の撮像で得られたビデオ信号は、ケーブル９を
通じてＩ／Ｆ１０１から取込まれる。この入力ビデオ信
号は、ゲームアルゴリズムに従って画像処理され、ジェ
スチャー認識に利用される。

【００５２】Ｉ／Ｆ１０４には、キーボード（Keyboar
d）３が接続されている。通常のキーボード３から入力
されるキー検出信号がＩ／Ｆ１０４を介してＣＰＵ１０
２へ送られる。なお、本発明では、キーボード３に代わ
ってハンドジェスチャー認識によりゲームを進行させる
ためのコマンドが入力される。

【００５３】Ｉ／Ｆ１０５には、ディスプレイ（Displa
y）２が接続されている。ゲームの進行に応じて変化す
るゲーム画像がＩ／Ｆ１０５を介してディスプレイ２へ
送られ、ゲーム画面が形成される。

【００５４】Ｉ／Ｆ１１０には、通信回線１１１が着脱
自在に接続される。本実施例では、ＣＤ−ＲＯＭ４から
ゲームプログラムを供給するシステムを例に挙げたが、
本発明はこれに限定されず、通信回線１１１を介してゲ
ームプログラムの供給を受けるようにしてもよい。もち
ろん、通信回線１１１に限らず、無線回線を介してゲー
ムプログラムの供給を受けることも可能である。なお、
無線回線を適用する場合には、Ｉ／Ｆ１１０に通信機能
を付加すればよい。

【００５５】また、上述のように、通信回線１１１や無
線回線を利用する場合には、ゲームプログラムの配信以
外に、オンラインでゲームを実現することが可能であ
る。この場合、クライアント−サーバによるゲームシス
テムを構築することが可能である。本パーソナルコンピ
ュータ１がクライアントになれば、クライアント側でジ
ェスチャー認識された結果を図示せぬサーバへ送り、そ
こでコマンドを生成してクライアントへ送り返すように
すればよい。

【００５６】つぎに全体の動作について説明する。図４
は、本発明の動作手順の一例を説明するフローチャート
である。図４に示したフローチャートはゲームアルゴリ
ズムのメイン処理１０７に相当する部分である。このメ
イン処理１０７は、ＣＰＵ１０２により全体の制御が行
われ、個々の処理は図３に示した他のユニットと協働し
て実行される。

【００５７】まず、図１に示したゲームシステムのセッ
ティングが完了すると、所定の手順に従ってゲームアル
ゴリズムの実行が開始され（ステップＳ１１）。つづい
てジェスチャー認識１０８が開始される（ステップＳ１
２）。ジェスチャー認識１０８では、ＣＣＤカメラ６に
よる撮像で得られたビデオ信号が画像処理１０３でクロ
マキーイングおよびその量子化を通じて二値画像データ
に変換される。この二値画像データに基づいてジェスチ
ャー認識が行われる。

【００５８】キーボード、ビデオゲーム機のキーパッド
などの入力操作デバイスの場合には、キー操作からキー
信号が得られ、そのキー信号に基づいて入力コマンドが
判定される。本発明においては、ハンドジェスチャーの
認識結果をキー信号に変換して、通常の入力操作デバイ
スと同様のキー入力を得るものである。

【００５９】したがって、ステップＳ１３では、ステッ
プＳ１２のジェスチャー認識結果からあらかじめ用意さ
れたキー信号が検出されたか否かの判定がなされる。そ
の結果、ステップＳ１３においてキー信号が検出された
場合には（Ｙｅｓルート）、その検出キー信号からあら
かじめ対応付けられたコマンドが入力コマンドとして決
定され、その決定コマンドが生成される（ステップＳ１
４）。つづいてその生成された入力コマンドに基づく処
理が実行される(ステップＳ１５)。

【００６０】一方、ステップＳ１３においてキー信号が
検出されなかった場合には（Ｎｏルート）、プレイヤの
操作がなかったか、あるいは、あらかじめ決められたハ
ンドジェスチャー外のジェスチャーが認識されたことに
なる。その結果、コマンド入力がなかったものとしてス
テップＳ１２のジェスチャー認識が再度実施される。

【００６１】ステップＳ１５のコマンド処理が終了を指
示した場合には（ステップＳ１６：Ｙｅｓルート）、ゲ
ームは終了し、さらにゲームが続行される場合には処理
はステップＳ１２に戻る(ステップＳ１６：Ｎｏルー
ト)。

【００６２】本発明のジェスチャー認識についてさらに
詳述する。この処理はジェスチャー認識１０８（図３参
照）に相当し、フローでは図４のステップＳ１２に相当
する。

【００６３】図５は、本発明のジェスチャー認識手順の
一例を説明するフローチャートである。図５において、
実線の矢印は画像データ（Image Data）の流れを示し、
破線の矢印はパラメータ（Parameter）を示し、一点鎖
線の矢印はサンプル画像（Example Image）を示す。

【００６４】ジェスチャー認識１０８は、たとえば図５
に示したように、クロマキー取得および量子化（Ｃｈｒ
ｏｍａ−Ｋｅｙｉｎｇ ａｎｄ Ｑｕａｎｔｉｚａｔｉ
ｏｎ）２０１、ハンドポジション検出（Ｈａｎｄ Ｐｏ
ｓｉｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ）２０２、クリップ
（Ｃｌｉｐ）２０３、中間フィルタ（ＭｅｄｉａｎＦｉ
ｌｔｅｒ）２０４、ハフ・トランスフォーメーション
（Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）２０
５、セントロイダル・プロファイル抽出（Ｃｅｎｔｒｏ
ｉｄａｌ Ｐｒｏｆｉｌｅ Ｅｘｔｒａｃｔｉｏｎ）２
０６、ピーク検出（Ｐｅａｋ Ｄｅｔｅｃｔｉｏｎ）２
０７、パラメータ調整（Ｐａｒａｍｅｔｅｒ Ａｄｊｕ
ｓｔｍｅｎｔ）２０８、状態遷移管理（Ｓｔａｔｅ Ｔ
ｒａｎｓｉｔｉｏｎ Ｍａｎａｇｅｍｅｎｔ）２０９な
どにより構成される。

【００６５】クロマキー取得および量子化２０１は、Ｃ
ＣＤカメラ６の撮像で得られたビデオ信号（Video Sign
al）をクロマキーイングおよび量子化することにより二
値画像データ３０１を得る。このとき、手の背景はブル
ーバックグラウンドであり、手の二値画像データ３０１
が得られる。

【００６６】ハンドポジション検出２０２は、クロマキ
ー取得および量子化２０１により得られた二値画像デー
タ３０１に基づいてハンドポジションを得て、そのハン
ドポジションをパラメータとして出力する。このとき、
二値画像データ３０１はあらかじめ決められた手順でス
キャンされる。すなわち、プレイヤとＣＣＤカメラ６の
配置から、手は所定の方向から伸びてくることをあらか
じめルール決めしておく。

【００６７】したがって、上記のルールに従えば、矢印
Ｓで示す方向に手が伸びてくることになる。３０２は二
値画像３０１に基づいてハンドポジションを検出する工
程を説明する二値画像データを示し、二値画像データ３
０１と同様のデータである。この二値画像データ３０２
は矢印Ｓに向かって下端から順次水平スキャンされ、ピ
クセルの重量中心から手の位置が検出される。人間の手
の大きさが人により極端に相違しないことに着目すると
ともに、本実施例において手首よりも下側（腕側）のジ
ェスチャーすなわち二値画像データが不要なことから、
ＣＣＤカメラ６で取込まれた画像に対してスキャンすべ
き範囲をスキャンに応じて絞り込む処理が含まれてい
る。

【００６８】たとえば、ハンドスポット画像３０２ａが
検出され、つづいてハンドスポット画像３０２ｂが検出
され、最後にハンドスポット画像３０２ｃが検出され
る。このハンドスポット画像３０２ｃのハンドポジショ
ンはパラメータとしてパラメータ補正２０８に供給され
る。

【００６９】クリップ２０３は、ハンドポジション検出
２０２で最終的に得られたハンドスポット画像３０２ｃ
の二値画像データをクリッピングする。中間フィルタ２
０４は、クリップ２０３でクリッピングされたハンドポ
ジション画像３０２ｃの二値画像データをノイズ除去
し、ハフ・トランスフォーメーション２０５、セントロ
イダル・プロファイル抽出２０６へそれぞれ供給する。

【００７０】ハフ・トランスフォーメーション２０５
は、ノイズ除去された二値画像データ（たとえばハンド
スポット画像３０２ｃ）から直線成分を抽出する。この
場合、ＣＣＤカメラ６によって捕捉された手の直線成分
が抽出され、ハンドオリエンテーション（Ｈａｎｄ Ｏ
ｒｉｅｎｔａｔｉｏｎ）を示すパラメータがパラメータ
補正２０８へ供給される。たとえば４０１で示した直線
成分が取得される。

【００７１】セントロイダル・プロファイル抽出２０６
は、ノイズ除去された二値画像データ（たとえばハンド
スポット３０２ｃ）からセントロイダル・プロファイル
を抽出する。ハンドスポット画像３０２ｃに対応するセ
ントロイダル・プロファイルは３０３のようになる。上
記セントロイダル・プロファイル抽出２０６は、高速検
出アルゴリズムである。

【００７２】このアルゴリズムは、エッジ検出が不要で
あるとともに、特定のジェスチャによるローカルな重心
座標の変動に対してジェスチャ認識結果からフィードバ
ックをかけることになる。なお、重心座標の変動とは、
たとえば、シューティングアクション時、一瞬手がプレ
イヤのボディ側に動いたり、急速なターン時に重心座標
の動きがスムーズな動きとは異なる動きを示すことを指
す。

【００７３】ピーク検出２０７は、セントロイダル・プ
ロファイル抽出２０６で抽出されたセントロイダル・プ
ロファイルの平均値から指の数および指の角度を示す部
分（手のシェイプ（Ｓｈａｐｅ））を検出し、そのシェ
イプをパラメータとしてパラメータ補正２０８へ供給す
る。

【００７４】パラメータ補正２０８は、状態遷移管理２
０９のルールに従ってハンドポジション、ハンドオリエ
ンテーション、シェイプの各パラメータに基づく制御パ
ラメータ（ｃｏｎｔｒｏｌ ｐａｒａｍｅｔｅｒ）を生
成する。この制御パラメータは、入力操作デバイスで入
力されるキー信号と同様の情報である。

【００７５】状態遷移管理２０９は、ＣＣＤカメラ６の
撮像画面に対してあらかじめ人為的に決められたハンド
ジェスチャーのパターンを登録しており、パラメータ補
正２０８に入力されたハンドポジション、ハンドオリエ
ンテーション、シェイプの各パラメータの組み合わせが
どれに該当するかを支援する。

【００７６】つづいて上述したジェスチャー認識の個々
の動作をさらに詳細に説明する。

【００７７】まず、図６（Ａ），（Ｂ），（Ｃ）および
（Ｄ）を参照して、ハンドスポッティングの手順を説明
する。図６（Ａ）〜（Ｄ）には、ハンドスポッティング
されたフレーム画像の状態遷移が示されている。プレイ
ヤは、右手の親指側を上方に向けた状態から（図６
（Ａ））、右手の甲を反らし（同図（Ｂ））、右下方へ
徐々に移行させ（同図（Ｃ）および（Ｄ））ている。

【００７８】ハンドポジションを得る際には、図６
（Ａ）から（Ｄ）のように手のポジションやシェイプの
遷移に対して、手の動きにリアルタイムに追従できるこ
とが必要である。これは、手の重量中心を得ることによ
り実現可能となる。

【００７９】もしこのリアルタイムの追従が遅れるとコ
マンド入力にも遅れが生じる。たとえばキャラクタ間の
戦闘時、敵キャラクタよりも先に攻撃すべき場面で一呼
吸コマンドの発令が遅れると、敵キャラクタに先手を打
たれることになる。あるいは、レースゲームなどでコマ
ンド入力が遅れると、キャラクタのジャンプ、車のハン
ドル操作などをリアルタイムに制御することができなく
なる。以上の意味でもリアルタイムのハンドスポッティ
ングは重要である。

【００８０】つづいて図７（Ａ）および（Ｂ）を参照し
て、セントロイダル・プロファイルの抽出方法を説明す
る。図７（Ａ）には、一例として左手のオリジナルイメ
ージが示されている。ｒは、オリジナルイメージの中心
から手のエッジポイントまでの距離を示している。θ
（ｔｈｅｔａ）は、手の中心から下方への垂線に対して
左周りで得られる中心とエッジポイントを結ぶ線に対す
るベクトルの角度を示している。

【００８１】セントロイダル・プロファイルは、図７
（Ｂ）に示したように、（θ，ｒ）プレーンにおいてエ
ッジの形状の各ポイントをプロットしたものである。こ
れにより、指の本数と各指の向き（指の角度）とを同時
に得ることができる。すなわち、このセントロイダル・
プロファイルでは、あらかじめ用意された指の形状など
をパターン化して記憶しておく必要がなく、直接指の本
数とその角度を検出することができるので、高速処理を
実現することができる。これはコマンド入力にリアルタ
イム性が必要なことから、ハンドジェスチャーを認識す
る上で有利に機能する。

【００８２】さらにこのセントロイダル・プロファイル
では、すでに説明したハンドスポットのクリッピングで
重量中心が常に追従されていることから、ＣＣＤカメラ
６で捕捉可能な画像であればリアルタイムに指の本数と
その角度を取得することが可能である。すなわち、指の
本数とその角度の変化についてもリアルタイムかつ直接
的に検出することが可能である。

【００８３】セントロイダル・プロファイルをそのまま
実行するためには、エッジ・トラッキングが必要とな
る。このエッジ・トラッキングのための所要計算時間
は、入力画像の形状、エッジのノイズ等により、大きく
変動する。また、アルゴリズムの結果は、余分なコード
処理を必要とする多値関数となることもある。そのため
入力画像によっては、エッジ・トラッキングに、かなり
の時間を要する場合がある。

【００８４】ここで、リアルタイム処理を実行するた
め、同じθから複数のｒが発生する場合には、より大き
な値を示すｒの方を採用するという規定を設ける。これ
により、高速化アルゴリズムが可能となる。

【００８５】なお、ｒのピーク値検出に関して、この規
定を設けることによる影響はない。従って、この規定を
設けることにより、エッジ・トラッキング処理の代わり
として、簡単な参照テーブルを用いることも可能とな
る。

【００８６】以下に、この簡略化されたセントロイダル
・プロファイル・アルゴリズムを示す。ここで、変数を
それぞれ、 （Ｘ，Ｙ）： 入力イメージサイズ ｉ_ｘ，ｙ： 入力イメージ（２値） Ｒ_ｘ，ｙ Ｔ_ｘ，ｙ：（予備計算された表） ｒ_ｉ： 出力値 とする。

【００８７】ここで、事前計算として、テーブルＲにつ
いては、要素Ｒ_ｘ，ｙが、点（Ｘ，Ｙ）と、イメージの
中心（Ｘ／２，Ｙ／２）との間の距離を保つように、規
定しておく。

【００８８】一方、テーブルＴについては、Ｔ_ｘ，ｙが
初期ベクトルとイメージの中心（Ｘ／２，Ｙ／２）から
点（Ｘ，Ｙ）までのベクトルとの間に角度を保持するよ
うに規定しておく。

【００８９】そして、各フレームに対して以下に示す手
順に従い計算を実行することにより、高速化が可能とな
る。 １．全てのｉに対してｒ_ｉをゼロにクリア ２．入力されたｉ_ｘ，ｙの各画素（ピクセル）に対し
て：ｉ_ｘ，ｙがゼロでない場合は、ｒ_ｘ，ｙを最大値
（ｒ_Ｔｘ，ｙ、Ｒ_ｘ，ｙ）に置き換える。

【００９０】さらに図８に示したように、ジェスチャー
（入力）に対応するプロファイル（ｐｒｏｆｉｌｅ）に
対してローパスフィルターがかけられ、ノイズが除去さ
れる。さらに、図８のフィルター処理には、後のピーク
検出を簡略化させる手法が盛り込まれている。すなわ
ち、セントロイダル・プロファイルには、手首のデータ
が含まれているが、このデータは不要である。

【００９１】そこで、θのとる範囲に対してウインドウ
が設定される。このウィンドウは、θのとる範囲のう
ち、たとえば、π／４よりも小さく、かつ、７／４πよ
り大きい領域を除去するものである。この除去は、つぎ
のピーク検出に有効に機能する。

【００９２】続いて、フィルターリングされたプロフィ
ールに対してピークが検出される。すなわち、ピーク検
出では、手の大きさによる変化の影響を排除する必要が
ある。そこで、まずｒの平均値が求められ、その平均値
を基準にしてピークの検出が行われる。このピーク検出
により、手のシェイプすなわち、指の本数とその角度が
直接的に求められ、このシェイプはパラメータとして取
得される。

【００９３】一方、手の動きに対してオリエンテーショ
ンの情報が必要となる。このハンドオリエンテーション
もまたシェイプと同様にパラメータとして取得される。
このハンドオリエンテーションには、ハフ・トランスフ
ォーメーションが適用される。このハフ・トランスフォ
ーメーションにより、クリッピングされ、中間フィルタ
ーリング処理された二値画像データに対して直線成分の
抽出が行われ、その直線成分に基づいてハンドオリエン
テーションのパラメータが取得される。

【００９４】このようにして得られたハンドオリエンテ
ーションのパラメータはハンドジェスチャーによるオリ
エンテーションだけを得るために有用である。したがっ
て、どのようなハンドオリエンテーションのなかで、ど
のようなハンドシェイプの遷移があったのかを検出すれ
ば、リアルタイムかつ的確なハンドジェスチャーの認識
を実現することができる。

【００９５】ただし、プレイヤがゲーム画面を見ながら
興奮状態でハンドジェスチャーによるコマンド入力を行
う場合、あらかじめ決められたハンドジェスチャーとは
異なる動きをする場合がある。すなわち、無意識のうち
に一連のハンドジェスチャーには含まれていない動きが
追加される。

【００９６】たとえば、図９（Ａ）に示したように、右
肘を軸にして右手を円弧を描くように中央位置から左方
向へ移動させるハンドジェスチャーのパターンをあらか
じめ決めたとする。ところが、実際には、図９（Ｂ）に
示したように、プレイヤは肘を軸にして回転させること
はなく、手前に引き付ける動作をとることが往々にして
起る。このように、プレイヤ、すなわち人間の反射的、
本能的な動きをデータとして盛り込む必要がある。

【００９７】本実施例では、上述したような俊敏な動き
で起こり得る人間の反射的、本能的な動きは補正情報と
して状態遷移管理２０９に登録されている。パラメータ
補正２０８では、ハンドポジション、ハンドオリエンテ
ーションおよびシェイプの組み合わせに対して状態遷移
管理２０９が補正情報を与え、これにより制御パラメー
タ（キー信号）が生成される。

【００９８】以上の補正をフィードバック処理として位
置付けることができる。図１０には、ハンドポジション
に対するマッピング機能が示されている。プレイヤの体
により近いとき、プレーヤーは広く左右に手を動かすた
めに心地悪く感じる。図１０によれば、Ｘ軸方向を向く
弧は同心円とはならず、手がプレーヤーの体により近づ
くにつれ、弧の半径がより大きくなる傾向に設定されて
いる。一方、Ｙ軸方向を向く弧は、プレイヤーの体から
離れるにつれ、Ｘ軸の正、負の各方向は絶対値を大きく
とる傾向に設定されている。

【００９９】マッピング機能を、キャラクタのヘッディ
ングスピードをコントロールするために使われるハンド
ポジション（x_ｉｎ、y_ｉｎ）のインプット座標とアウト
プット座標（ｘ_ｏｕｔ、y_ｏｕｔ）より説明することが
できる。パラメータＡ，ＢとＲは経験的に決定されるも
のである。入出力の関係は以下の式に示す通りである。 ｘ_ｏｕｔ＝ x_ｉｎ /（ Ａ×y_ｉｎ＋（１−Ａ）） y_ｏｕｔ＝ y_ｉｎ＋（１＋ Ｂ×y_ｉｎ ^２ ）（Ｒ−sqrt
（ Ｒ^２−ｘ_ｉｎ ^２））

【０１００】ハンドジェスチャーのなかで「急なター
ン」，「射撃前の行動」などの動きは通常少数のフレー
ムの中で起こる。これらの動きに共通した特徴は、−ｙ
方向に向けての速い手の動き方である。このような動き
を正確に認識するため、ハンドポジションのｙ座標があ
まりにも速く動くとき、マッピング機能を用いて機能を
落とすことで対処することができる。

【０１０１】以上説明したように、本実施の形態によれ
ば、セントロイダル・プロファイルの高速検出と指の本
数や角度のピーク検出だけによるジェスチャーの直接認
識を行い、とっさの人間特有の動き（反射神経など）を
フィードバックさせることで、ジェスチャー認識の精度
についてある程度の許容をもたせ、入力操作デバイスを
用いてコマンド入力した場合と同等のリアルタイム性を
簡単に確保することが可能である。このようにして、よ
り高いヒューマンインタフェースを実現することが可能
である。

【０１０２】つづいて、図１１を参照して、コマンドと
ハンドジェスチャーとの関係について説明する。コマン
ドの種類には、たとえば図１１に示したように、ゲーム
モード、メニューモード、そして、プレイヤセレクショ
ンモードがある。

【０１０３】ゲームモードは、実際のゲームのなかで使
用されるコマンドで構成される。ゲームモードには、一
例として、7つのコマンドが用意されている。7つのコマ
ンドとは、“チョコボスピード”（Ｃｈｏｃｏｂｏ Ｓ
ｐｅｅｄ）、“チョコボヘディング”（Ｃｈｏｃｏｂｏ
Ｈｅａｄｉｎｇ）、“小弾発射”（Ｓｈｏｏｔ Ｓｍ
ａｌｌ Ｂｕｌｌｅｔ）、“大弾発射”（Ｓｈｏｏｔ
Ｌａｒｇｅ Ｂｕｌｌｅｔ）、“マジッククリスタル発
射”（Ｓｈｏｏｔ Ｍａｇｉｃ Ｃｒｙｓｔａｌ）、
“ジャンプ”（Ｊｕｎｐ） 、そして、“メニュー／ポ
ーズ”（Ｍｅｎｕ／Ｐａｕｓｅ）である。

【０１０４】“チョコボスピード”コマンドとは、Ｙ軸
（プレイヤから見て前後方向）に沿っての絶対位置（Ｃ
ＣＤカメラ6の画面内）でのハンドポジションがスピー
ドをコントロールするコマンドである。ここでは、手を
素早く前方へ突き出し、中央で停止し、その手を後方へ
引き戻すハンドジェスチャーが必要となる。

【０１０５】“チョコボヘディング”コマンドとは、Ｘ
軸（プレイヤから見て左右方向）に沿っての絶対位置
（ＣＣＤカメラ6の画面内）でのハンドポジションがキ
ャラクタ（一例として、キャラクタ名をチョコボ（Ｃｈ
ｏｃｏｂｏ）と称する）の角速度をコントロールするコ
マンドである。オプションとして、ハンドオリエンテー
ションは同じく角速度に影響を与える。

【０１０６】“チョコボスピード”コマンド、“チョコ
ボヘディング”コマンドは、図１２（Ａ）に示したよう
に、前方、後方、左右へのハンドポジションの移動によ
りコマンドが発令される。図１２（Ｂ）に示したよう
に、画面上では、キャラクタ“チョコボ”をあらかじめ
決められたＡ１，Ａ２，Ａ３，Ａ４のいずれかの方向へ
移動させることができる。

【０１０７】“小弾発射”とは、一連の動作によって発
令され、小弾を打ち込むためのコマンドである。その一
連の動作とは、図１３（Ａ）に示した動作で、握りこぶ
しを作り（１）、次いで、画面に向かって一本の指（た
とえば人差し指）を突き出す（２）ようなハンドジェス
チャーが必要となる。ここでは、図１３（Ｂ）に示した
ように、人差し指が“小弾発射”のコマンドを特定す
る。図１３（Ｅ）に示したように、画面上では、キャラ
クタ“チョコボ”から小弾が撃ち放たれることになる。

【０１０８】“大弾発射”とは、一連の動作によって発
令され、大弾を打ち込むためのコマンドである。その一
連の動作とは、握りこぶしを作り、次いで、画面に向か
って二本の指を突き出すハンドジェスチャーが必要とな
る。ここでは、図１３（Ｃ）に示したように、二本の指
が“大弾発射”のコマンドを特定する。

【０１０９】“マジッククリスタル発射”コマンドと
は、一連の動作によって発令され、「魔法のクリスタ
ル」と言う対象を発射するためのコマンドである。その
一連の動作とは、握りこぶしを作り、次いで、手から何
かを落とすように手のひらを広げるハンドジェスチャー
が必要となる。ここでは、図１３（Ｄ）に示したよう
に、手のひらの開きが“マジッククリスタル発射”のコ
マンドを特定する。

【０１１０】“ジャンプ”コマンドとは、一連の動作に
よって発令され、キャラクタをジャンプさせるためのコ
マンドである。その一連の動作とは、図１４（Ａ）に示
したように親指が側面に突き出る状態で握りこぶしをつ
くり、次いで、矢印の方向へ素早く握りこぶしを引き戻
すハンドジェスチャーが必要である。

【０１１１】画面上では、図１４（Ｂ）に示したよう
に、矢印Ｂ１の方向へ降りてきたキャラクタ“チョコ
ボ”はハンドジェスチャーのタイミングで矢印Ｂ１の方
向へジャンプする。

【０１１２】“メニュー／ポーズ”コマンドとは、ゲー
ムをポーズさせ、メニューモード（Ｍｅｎｕ ｍｏｄ
ｅ）へ移行するためのコマンドである。親指、人差し
指、および、小指を突き出してハンドシェイプをつくる
ハンドジェスチャーが必要である。

【０１１３】つづいてメニューモードについて説明す
る。メニューモードには、一例として、2種類のコマン
ドが用意されている。2種類のコマンドとは、“メニュ
ー項目選択”（Ｓｅｌｅｃｔ Ｍｅｎｕ Ｉｔｅｍ）、
および、“キャンセル／ゲームへ戻る”（Ｃａｎｃｅｌ
／Ｒｅｔｕｒｎ ｔｏ Ｇａｍｅ）である。

【０１１４】“メニュー項目選択”コマンドとは、ゲー
ムに関する複数のアイテムから所要のアイテムを選択す
るためのコマンドである。たとえば第1から５番目まで
のメニュー項目を選択するために、プレーヤーが指の本
数を提示するハンドジェスチャーが必要である。

【０１１５】“キャンセル／ゲームへ戻る”コマンドと
は、ゲームのキャンセルまたはゲームに戻るためのコマ
ンドである。メニューモード時に、あたかも「いいえ、
私は中止する」と言う具合に、2度左右に手をスウィン
グするハンドジェスチャーが必要である。

【０１１６】つづいてプレイヤ選択モード（Ｐｌａｙｅ
ｒ ｓｅｌｅｃｔｉｏｎ ｍｏｄｅ）について説明す
る。プレイヤ選択モードには、一例として、2種類のコ
マンドが用意されている。2種類のコマンドとは、“プ
レイヤ交代”（ＣｈａｎｇｅＰｌａｙｅｒ）、および、
“ゲーム開始”（Ｓｔａｒｔ Ｇａｍｅ）である。

【０１１７】“プレイヤ交代”とは、プレイヤをチェン
ジするためのコマンドである。プレイ時に、あたかも
「いいえ、私は中止する」と言う具合に、2度左右に手
を振るハンドジェスチャーが必要である。

【０１１８】“ゲーム開始”とは、ゲームの開始を指示
するためのコマンドである。ゲーム開始前に、親指、人
差し指、および、小指を突き出したハンドシェイプをつ
くるハンドジェスチャーが必要である。

【０１１９】なお、上述した実施例では、図１１に示し
た種類のコマンドを例に挙げて説明したが、本発明はこ
れに限定されず、コマンドはゲームの種別に応じて種々
変形可能である。

【０１２０】また、本発明によるジェスチャー認識手法
は、ネットワークを介してマルチプレイヤで実施するオ
ンラインゲームにも適用可能であることは言うまでもな
い。

【０１２１】

【発明の効果】以上説明したように本発明によれば、ジ
ェスチャー認識の精度についてある程度の許容をもたせ
ることで、入力操作デバイスを用いてコマンド入力した
場合と同等のリアルタイム性が簡単に確保される。これ
により、インタラクティブゲームの進行に必要な高い応
答性を実現することが可能である。また、人間特有の動
き（反射神経など）を考慮することで、より高いヒュー
マンインタフェースを実現することが可能である。

【図面の簡単な説明】

【図１】本発明のゲーム装置の一実施の形態によるシス
テム構成図である。

【図２】ゲームプログラムの記録場所を説明する図であ
る。

【図３】本発明のゲーム装置の内部構成例を示すブロッ
ク図である。

【図４】本発明の動作手順の一例を説明するフローチャ
ートである。

【図５】本発明のジェスチャー認識手順の一例を説明す
るフローチャートである。

【図６】（Ａ），（Ｂ），（Ｃ）および（Ｄ）は、ハン
ドスポッティングの手順を示す図である。

【図７】（Ａ）および（Ｂ）は、セントロイダル・プロ
ファイルの抽出方法を説明する図である。

【図８】ジェスチャーとプロファイルとの関係を説明す
る図である。

【図９】（Ａ）および（Ｂ）は、ハンドジェスチャーの
自然な動き、実際の動きとの違いを説明する図である。

【図１０】マッピングファンクションを説明する図であ
る。

【図１１】コマンドとジェスチャーとの関係を示すテー
ブルの一例を説明する図である。

【図１２】（Ａ）および（Ｂ）は、ハンドジェスチャー
とキャラクター動作との対応関係の一例を説明する図で
ある。

【図１３】（Ａ），（Ｂ）および（Ｃ）は、ハンドジェ
スチャーとキャラクター動作との対応関係の他の例を説
明する図である。

【図１４】（Ａ）および（Ｂ）は、ハンドジェスチャー
とキャラクター動作との対応関係のさらに他の例を説明
する図である。

【符号の説明】

１ パーソナルコンピュータ ２ ディスプレイ ３ キーボード ４ ＣＤ−ＲＯＭ ５ マット ６ カメラ １０３ 画像処理 １０６ メモリ １０７ メイン処理 １０８ ジェスチャー認識 １０９ ディスクドライバ １１１ 通信回線 ２０１ クロマキーイング及び量子化 ２０２ ハンドポジション検出 ２０３ クリップ ２０４ 中間フィルタ ２０５ ハフ・トランスフォーメーション ２０６ セントロイダル・プロファイル抽出 ２０７ ピーク検出 ２０８ パラメータ補正 ２０９ 状態遷移管理

Claims (25)

【特許請求の範囲】
1. 【請求項１】 入力コマンドに応答してゲームを進行さ
   せるゲーム装置において、 人体の少なくとも一部の形状が入力対象であり、当該入
   力対象の動的なジェスチャーによる入力ビデオ信号から
   二値画像データを取得する画像入力手段と、 前記画像入力手段で取得された二値画像データに基づい
   て前記入力対象のオリエンテーション情報を検出するオ
   リエンテーション検出手段と、 前記画像入力手段で取得された二値画像データに基づい
   て前記入力対象のシェイプ情報を検出するシェイプ検出
   手段と、 前記オリエンテーション検出手段で検出されたオリエン
   テーション情報と前記シェイプ検出手段で検出されたシ
   ェイプ情報との組み合わせに応じて、ゲームを進行させ
   るための入力コマンドを生成するコマンド生成手段と、 を備えたゲーム装置。
2. 【請求項２】 前記コマンド生成手段は、入力対象のオ
   リエンテーション情報と同入力対象のシェイプ情報との
   組み合わせとゲームを進行させるためのコマンドとの対
   応関係を示す情報をあらかじめ用意しておき、前記あら
   かじめ用意された情報を参照して、前記オリエンテーシ
   ョン検出手段で検出されたオリエンテーション情報と前
   記シェイプ検出手段で検出されたシェイプ情報との組み
   合わせに対応付けられたコマンドを前記入力コマンドと
   して決定することを特徴とする請求項１記載のゲーム装
   置。
3. 【請求項３】 入力対象の動的なジェスチャーを撮像し
   て前記入力ビデオ信号を得る撮像手段をさらに備えるこ
   とを特徴とする請求項１または２に記載のゲーム装置。
4. 【請求項４】 前記撮像手段は、あらかじめ用意され
   た、二値画像データ取得のためのシートに対向配置さ
   れ、前記シート上に配置される入力対象のジェスチャー
   を撮像することを特徴とする請求項３に記載のゲーム装
   置。
5. 【請求項５】 前記コマンド生成手段は、あらかじめ用
   意した人間特有の動きを参照して前記組み合わせを補正
   する処理を含むことを特徴とする請求項１記載のゲーム
   装置。
6. 【請求項６】 前記画像入力手段は、前記二値画像デー
   タに対して加重平均を施し、その加重平均から前記オリ
   エンテーション検出手段、前記シェイプ検出手段でそれ
   ぞれ処理するための二値画像データを得ることを特徴と
   する請求項１に記載のゲーム装置。
7. 【請求項７】 前記シェイプ判定手段は、前記画像入力
   手段で取得された二値画像データに基づいてセントロイ
   ダル・プロファイル（Centroidal Profile）を抽出し、
   当該抽出されたセントロイダル・プロファイルのピーク
   から前記入力対象のシェイプ情報を検出することを特徴
   とする請求項１、５または６に記載のゲーム装置。
8. 【請求項８】 前記シェイプ検出手段は、前記入力対象
   が手の場合、指の本数と指の角度をシェイプ情報として
   検出することを特徴とする請求項７に記載のゲーム装
   置。
9. 【請求項９】 前記オリエンテーション検出手段は、前
   記画像入力手段で取得された二値画像データに対するハ
   フ・トランスフォーメーション（Hough Transformatio
   n）から前記入力対象のオリエンテーション情報を検出
   することを特徴とする請求項１、５または６に記載のゲ
   ーム装置。
10. 【請求項１０】 入力コマンドに応答してゲームを進行
    させるジェスチャー認識方法であって、 人体の少なくとも一部の形状が入力対象であり、当該入
    力対象の動的なジェスチャーによる入力ビデオ信号から
    二値画像データを取得する画像入力ステップと、 前記画像入力ステップで取得された二値画像データに基
    づいて前記入力対象のオリエンテーション情報を検出す
    るオリエンテーション検出ステップと、 前記画像入力ステップで取得された二値画像データに基
    づいて前記入力対象のシェイプ情報を検出するシェイプ
    検出ステップと、 前記オリエンテーション検出ステップで検出されたオリ
    エンテーション情報と前記シェイプ検出ステップで検出
    されたシェイプ情報との組み合わせに応じて、ゲームを
    進行させるための入力コマンドを生成するコマンド生成
    ステップと、 を含むことを特徴とするジェスチャー認識方法。
11. 【請求項１１】 前記コマンド生成ステップは、入力対
    象のオリエンテーション情報と同入力対象のシェイプ情
    報との組み合わせとゲームを進行させるためのコマンド
    との対応関係を示す情報をあらかじめ用意しておき、前
    記あらかじめ用意された情報を参照して、前記オリエン
    テーション検出ステップで検出されたオリエンテーショ
    ン情報と前記シェイプ検出ステップで検出されたシェイ
    プ情報との組み合わせに対応付けられたコマンドを前記
    入力コマンドとして決定することを特徴とする請求項１
    ０に記載のジェスチャー認識方法。
12. 【請求項１２】 入力対象の動的なジェスチャーを撮像
    して前記入力ビデオ信号を得る撮像ステップをさらに備
    えることを特徴とする請求項１０または１１に記載のジ
    ェスチャー認識方法。
13. 【請求項１３】 前記コマンド生成ステップは、あらか
    じめ用意した人間特有の動きを参照して前記組み合わせ
    を補正する処理を含むことを特徴とする請求項１０に記
    載のジェスチャー認識方法。
14. 【請求項１４】 前記画像入力ステップは、前記二値画
    像に対して加重平均を施し、その加重平均から前記オリ
    エンテーション検出ステップ、前記シェイプ検出ステッ
    プでそれぞれ処理するための二値画像データを得ること
    を特徴とする請求項１０に記載のジェスチャー認識方
    法。
15. 【請求項１５】 前記シェイプ判定ステップは、前記画
    像入力ステップで取得された二値画像データに基づいて
    セントロイダル・プロファイル（CentroidalProfile）
    を抽出し、当該抽出されたセントロイダル・プロファイ
    ルのピークから前記入力対象のシェイプ情報を検出する
    ことを特徴とする請求項１０、１３または１４に記載の
    ジェスチャー認識方法。
16. 【請求項１６】 前記シェイプ検出ステップは、前記入
    力対象が手の場合、指の本数と指の角度をシェイプ情報
    として検出することを特徴とする請求項１５に記載のジ
    ェスチャー認識方法。
17. 【請求項１７】 前記オリエンテーション検出ステップ
    は、前記画像入力ステップで取得された二値画像データ
    に対するハフ・トランスフォーメーション（Hough Tran
    sformation）から前記入力対象のオリエンテーション情
    報を検出することを特徴とする請求項１０、１３または
    １４に記載のジェスチャー認識方法。
18. 【請求項１８】 入力コマンドに応答してゲームを進行
    させる方法をコンピュータに実行させるプログラムを記
    録した記録媒体であって、 コンピュータに、 人体の少なくとも一部の形状が入力対象であり、当該入
    力対象の動的なジェスチャーによる入力ビデオ信号から
    二値画像データを取得する画像入力ステップと、 前記画像入力ステップで取得された二値画像データに基
    づいて前記入力対象のオリエンテーション情報を検出す
    るオリエンテーション検出ステップと、 前記画像入力ステップで取得された二値画像データに基
    づいて前記入力対象のシェイプ情報を検出するシェイプ
    検出ステップと、 前記オリエンテーション検出ステップで検出されたオリ
    エンテーション情報と前記シェイプ検出ステップで検出
    されたシェイプ情報との組み合わせに応じて、ゲームを
    進行させるための入力コマンドを生成するコマンド生成
    ステップと、 を実行させるプログラムを記録したコンピュータ読み取
    り可能な記録媒体。
19. 【請求項１９】 前記コマンド生成ステップは、入力対
    象のオリエンテーション情報と同入力対象のシェイプ情
    報との組み合わせとゲームを進行させるためのコマンド
    との対応関係を示す情報をあらかじめ用意しておき、前
    記あらかじめ用意された情報を参照して、前記オリエン
    テーション検出ステップで検出されたオリエンテーショ
    ン情報と前記シェイプ検出ステップで検出されたシェイ
    プ情報との組み合わせに対応付けられたコマンドを前記
    入力コマンドとして決定することを特徴とする請求項１
    ８に記載の記録媒体。
20. 【請求項２０】 入力対象の動的なジェスチャーを撮像
    して前記入力ビデオ信号を得る撮像ステップをさらに備
    えることを特徴とする請求項１８または１９に記載の記
    録媒体。
21. 【請求項２１】 前記コマンド生成ステップは、あらか
    じめ用意した人間特有の動きを参照して前記組み合わせ
    を補正する処理を含むことを特徴とする請求項１８に記
    載の記録媒体。
22. 【請求項２２】 前記画像入力ステップは、前記二値画
    像に対して加重平均を施し、その加重平均から前記オリ
    エンテーション検出ステップ、前記シェイプ検出ステッ
    プでそれぞれ処理するための二値画像データを得ること
    を特徴とする請求項１８に記載の記録媒体。
23. 【請求項２３】 前記シェイプ判定ステップは、前記画
    像入力ステップで取得された二値画像データに基づいて
    セントロイダル・プロファイル（CentroidalProfile）
    を抽出し、当該抽出されたセントロイダル・プロファイ
    ルのピークから前記入力対象のシェイプ情報を検出する
    請求項１８、２１または２２に記載の記録媒体。
24. 【請求項２４】 前記シェイプ検出ステップは、前記入
    力対象が手の場合、指の本数と指の角度をシェイプ情報
    として検出することを特徴とする請求項２３に記載の記
    録媒体。
25. 【請求項２５】 前記オリエンテーション検出ステップ
    は、前記画像入力ステップで取得された二値画像データ
    に対するハフ・トランスフォーメーション（Hough Tran
    sformation）から前記入力対象のオリエンテーション情
    報を検出することを特徴とする請求項１８、２１または
    ２２に記載の記録媒体。