JP2009020656A - 状態検出システム、インターフェースシステム、健康器具、ゲームシステム、状態検出方法および状態検出プログラム - Google Patents

Abstract

【課題】複数のセンサ値に基づきデバイスに座っている人の体の状態を推定する。
【解決手段】バランスボール１００には、バランスボール１００に座っている人の動きに伴い変化するバランスボール１００の傾きθを検出する加速度センサ２００と、バランスボール１００に座っている人の動きに伴い変化するバランスボール１００に掛かる重心Ｇａ、Ｇｂの位置を検出する圧力センサ２１０、歪みセンサ２２０とがバランスボール１００の表面に着脱可能に取り付けられている。加速度センサ２００のセンサ値から求められた２軸の傾きθ_ｘ、θ_ｙ、圧力センサ２１０のセンサ値から求められた重心Ｇａ、歪みセンサ２２０のセンサ値から求められた重心Ｇｂおよび付加情報Ｇｃに基づき、バランスボール１００に座っている人の体の姿勢、挙動を推定する。
【選択図】図５

Description

本発明は、所定のデバイスに取り付けられたセンサを用いて人やデバイスの状態を推定する状態検出システム、インターフェースシステム、健康器具、ゲームシステム、状態検出方法および状態検出プログラムに関する。

従来から、所定のデバイスに取り付けられたセンサを用いて人やデバイスの体の状態を推定する技術が提案されている（たとえば、非特許文献１，４、特許文献２，３を参照。）。非特許文献１では、多数の圧力センサが配置されたシート上を人が動くことにより発生する足の裏の圧力分布の変化から人の全身の動きを計算しアニメーションに用いるモーションキャプチャタイプのシステムが提案されている。特許文献２では、エクササイズ器具または人体への装着具に加速度センサを取り付けて、加速度成分を検出し、検出値に応じてゲーム機にコントロール信号を送信し、ゲームを遂行する技術が開示されている。特許文献３では、手で握って操作するゲームコントローラを用いて腕や手首の動作をセンシングし、その動作に連動してゲームを遂行する技術が提案されている。非特許文献４では、２つのバランスボールに各人が座り、座姿勢を保ちかつ互いに連動しながら協調してパックマンゲームを楽しむ協調型ゲームが提案されている。

「ＦｏｏｔＳｅｅ：ａｎ Ｉｎｔｅｒａｃｔｉｖｅ Ａｎｉｍａｔｉｏｎ Ｓｙｓｔｅｍ」、ＫａｎｇＫａｎｇ Ｙｉｎ ａｎｄ Ｄｉｎｅｓｈ Ｋ．Ｐａｉ、ＡＣＭ ＳＩＧＧＲＡＰＨ／Ｅｕｒｏｇｒａｐｈｉｃｓ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｏｍｐｕｔｅｒ ＡｎｉｍａｔｉｏｎＪｕｌｙ２６−２７、２００３ Ｓａｎ Ｄｉｅｇｏ、Ｃａｌｉｆｏｒｎｉａ 特開２００６−３４４３６号公報 特開２００７−８３０２４号公報 「Ｃｏｌｌａｂｏｌｌａ」 ［平成１９年６月４日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｃｏｌｌａｂｏｌｌａ．ｃｏｍ／＞

しかしながら、非特許文献１は、多数の圧力センサをセンサパッドに敷き詰め、このパッド上に位置する人間の足の裏の圧力分布を検出し、その結果に基づき人の動きを推定するインタラクティブアニメーションシステムである。よって、このシステムにより推定できる姿勢は立っている姿勢に限定され、任意のデバイスに座っている人の体の状態を適切に推定するのは非常に難しい。また、この技術ではセンサの位置や数を変更させることはできない。

また、特許文献２では、エクセサイズ器具の動作に応じて加速度センサにより検出される加速度や速度だけでは、任意のデバイスに座っている人の上半身および下半身の状態を適切に推定することはほぼ不可能である。

また、特許文献３では、腕や手首の動作に連動してゲームが進行するため、腕や手首の動作に関する入力情報から任意のデバイスに座っている人の上半身や下半身の状態を適切に推定することはできない。

さらに、非特許文献４では、バランスボールの表面ではなく床面にセンサを配置しており、また配置されたセンサは、上下左右の方向を確認するためのスイッチとしてのみ機能する。よって、これらの入力情報から任意のデバイスに座っている人の上半身や下半身の状態を適切に推定することはできない。

上記課題を解決するために、本発明のある態様によれば、デバイスに着脱可能に取り付けられ、前記デバイスに座っている人の動きに伴い変化する前記デバイスの回転を検出する第１のセンサと、前記デバイスに着脱可能に取り付けられ、前記デバイスに座っている人の動きに伴い変化する前記デバイスに作用する力を検出する第２のセンサと、前記第１のセンサにより検出されたデバイスの回転と前記第２のセンサにより検出されたデバイスに作用する力とに基づき前記デバイスに座っている人の状態または前記デバイスの状態の少なくともいずれかを推定する処理装置と、を備えた状態検出システムが提供される。

これによれば、デバイスに第１のセンサおよび第２のセンサを着脱可能に取り付けることにより、これらを用いて検出されたセンサ値に基づきデバイスに座っている人の体の状態やデバイスの状態を推定することができる。

具体的な推定方法としては、前記デバイスが置かれる接地面に対して水平な面内に着脱可能に加速度センサを（第１のセンサの一例として）複数設け、前記処理装置は、Ｘ、Ｙ、Ｚ軸のうち前記複数の加速度センサにより検出されたデバイスの２軸または３軸の回転に基づき前記デバイスに座っている人の下半身の状態を推定するようにしてもよい。

このとき、前記処理装置は、前記デバイスに座っている人の腰の位置が前記デバイスの概ね真上に位置する状態を初期状態として、前記デバイスに座っている人の腰の初期状態の位置からの偏差を前記検出されたデバイスの２軸または３軸の回転に基づき特定することにより、前記偏差から前記人の下半身の状態を推定してもよい。

また、他の具体的な推定方法としては、前記デバイスの座面または底面に着脱可能に圧力センサを（第２のセンサの一例として）複数設け、前記処理装置は、前記複数の圧力センサにより検出されたデバイスに加わる圧力分布から前記デバイスに作用する重心を求め、求められた重心に基づき前記人の上半身の状態を推定してもよい。

または、前記デバイスの座面に着脱可能に歪みセンサを（第２のセンサの一例として）複数設け、前記処理装置は、前記複数の歪みセンサにより検出された前記デバイスの歪み状態から前記デバイスに作用する重心を求め、求められた重心に基づき前記人の上半身の状態を推定するようにしてもよい。

これによれば、加速度センサから２軸以上のデバイスの回転を求め、これにより、主に人の下半身の状態が推定される。また、圧力分布やデバイスの歪み具合からデバイスに作用する重心を求め、これにより、主に人の上半身の状態が推定される。このようにして、少なくとも２種類以上のセンサを組み合わせて使用することにより、重心の移動およびデバイスの回転の変化を同時に検出することにより、デバイスに座っている人の全身の姿勢を精度良く推定することができる。

また、各種センサはデバイスに着脱可能に取り付けられる。よって、人が座った姿勢をある程度保つことができるデバイスであれば、これらのセンサを取り付けるだけで、そのデバイスを用いて人の体の状態を推定することができる。

たとえば、かかる構成のインターフェースシステムをインターフェースとして、人が座姿勢を保つことが可能なバランスボール、いすまたはゆりかごなどの任意のデバイスに装着し、推定された人の体の状態と連動して遂行されるゲームプログラムを用いて、前記デバイスに座して体を動かしながらゲームを遂行するゲームシステムを提供することができる。

前記処理装置は、前記加速度センサを用いて求められたデバイスの回転が所与の第１の閾値より小さい場合、前記デバイスの状態を前記デバイスが移動したと判定してもよい。

前記処理装置は、前記加速度センサを用いて求められたデバイスの回転が所与の第１の閾値より大きく、かつ、前記圧力センサを用いて求められたデバイスの重心が所与の第２の閾値より小さい場合、前記デバイスの状態を前記デバイスに衝撃が加えられたと判定してもよい。

前記処理装置は、前記加速度センサを用いて求められたデバイスの回転が所与の第１の閾値より大きく、かつ、前記第圧力センサを用いて求められたデバイスの重心が所与の第２の閾値以上の場合、前記デバイスの状態を前記デバイスが弾んだと判定してもよい。

これによれば、圧力センサと加速度センサとを組み合わせることにより、デバイスの移動、デバイスの弾み、デバイスへの衝撃という特定の動作を検知することができる。

状態検出システムは、本システムにより検知された前記デバイスに座っている人または前記デバイスの状態を示す信号を任意のアプリケーションを実行するときの入力信号として用いるインターフェースシステムとして利用することができる。たとえば、状態検出システムをインターフェースとしてゲームプログラムを作成する場合、デバイスに座っている人の全身の姿勢に関する情報だけでなく、デバイスの移動、デバイスの弾み、デバイスへの衝撃というデバイスの特定の動作情報も利用してゲームプログラムを作成することができる。この結果、デバイスに座して体を動かすことによりデバイスの動きと自分の動きとの両方に連動して動作するアプリケーションを創作することができる。

前記処理装置は、前記求められたデバイスの回転および前記求められたデバイスの重心に基づき推定された前記人の体の状態が、予め定められた１又は２以上の基準となる人の体の状態のいずれに当てはまるかを判定してもよい。

これによれば、デバイスに座っている人の全身の状態をある程度細かく推定することができるだけでなく、推定された人の体の状態と１又は２の基準となる体の状態とを比べ、体の姿勢についての代表例のうちどれに近いかを判定することによりユーザの大雑把な動きを認識することができる。たとえば、上半身の回転を１度刻みで取得するのではなく、前に傾いているか後ろに傾いているか、だけを取得するようなユーザの大まかな姿勢を推定することができる。この結果、ノイズを軽減し、ユーザの直観により見合った推定を可能にする。これにより、本システムをゲームなど細かな動きが必要なアプリケーションの入力手段だけでなく、大まかな動きが必要なアプリケーションの入力手段としても使用することができる。

たとえば、かかる構成のインターフェースシステムをインターフェースとして任意のデバイスに装着することにより、前記デバイスに座して自己の体を鍛える健康器具を開発することができる。この健康器具では、人の大まかな動きに対してその動作や姿勢が適正であるかが判定されることが好ましい。これにより、姿勢が適正であれば、つぎのステップに進めるとか、得点を得られるとか、ユーザに有る特典を示すことにより遊び感覚で自己の体を鍛え、運動不足を解消することができる。

前記処理装置は、前記デバイスに座する人の体型の予め求められた標準的な体型からの偏差を求め、前記標準的な体型からの偏差に基づき前記デバイスに座する個々の人の体型を加味して前記人の体の状態を推定してもよい。

本システムを快適に使うために、使用前にユーザの体格、デバイスの移動範囲を入力および測定することにより、そのユーザの体格に応じた状態へと本システムを調整する（キャリブレーション）。たとえば、ダイエットや運動を目的として使用する場合は大きく動作しなければ反応しないように本システムを調整する。これにより、大きな身体運動を促し、より高いダイエット効果を得ることができる。一方、たとえば、長時間使用したい場合には、ユーザの負荷を少なくするために、小さな動作で反応するように本システムを調整すればよい。このような調整により、ユーザに対して日常的に全身運動を促すインターフェースを提供することができる。

上記課題を解決するために、本発明の他の態様によれば、デバイスに着脱可能に取り付けられた第１のセンサを用いて前記デバイスに座っている人の動きに伴い変化する前記デバイスの回転を検出し、前記デバイスに着脱可能に取り付けられた第２のセンサを用いて前記デバイスに座っている人の動きに伴い変化する前記デバイスに作用する力を検出し、前記第１のセンサにより検出されたデバイスの回転および前記第２のセンサにより検出されたデバイスに作用する力に基づき前記デバイスに座っている人の体の状態を推定する方法が提供される。

また、上記課題を解決するために、本発明の他の態様によれば、デバイスに着脱可能に取り付けられた第１のセンサを用いて前記デバイスに座っている人の動きに伴い変化する前記デバイスの回転を検出する処理と、前記デバイスに着脱可能に取り付けられた第２のセンサを用いて前記デバイスに座っている人の動きに伴い変化する前記デバイスに作用する力を検出する処理と、前記第１のセンサにより検出されたデバイスの回転および前記第２のセンサにより検出されたデバイスに作用する力に基づき前記デバイスに座っている人の体の状態を推定する処理と、をコンピュータに実行させる状態検出プログラムが提供される。

本発明によれば、複数のセンサを用いてデバイスに座っている人の体の状態を推定することができる。

添付図面を参照しながら、以下に本発明の一実施形態にかかるインターフェースシステムについて説明する。なお、以下の説明及び添付図面において、同一の構成及び機能を有する構成要素については同一符号を付することにより重複説明を省略する。

（インターフェースシステムの全体構成）
まず、本実施形態にかかるインターフェースシステムの全体構成について、図１を参照しながら説明する。インターフェースシステム１０は、バランスボール１００と、バランスボール１００に取り付けられた各種センサ（加速度センサ２００、圧力センサ２１０および歪みセンサ２２０）と、バランスボール１００に取り付けられたマイクロコンピュータ３００と、受信機４００と、パーソナルコンピュータ５００とを有している。インターフェースシステム１０にはディスプレイ（モニタ）５５０が含まれていてもよい。

バランスボール１００は、ユーザＵが座姿勢を保ちながら姿勢を変えることができる物体（ボール）に複数のセンサ類と、制御のためのマイクロコンピュータ３００等を実装した基板とを装着したデバイスの一例である。受信機４００は、デバイス側のマイクロコンピュータ３００から発せられる無線信号を受信し、その信号をコンピュータ５００に伝える。コンピュータ５００（処理装置に相当）は、受信機４００を経由してデバイスから送られてきた信号を処理する。パーソナルコンピュータ５００は状態検知装置（処理装置）の一例であるが、状態検知装置は、パーソナルコンピュータ５００に限られず、後述するデータの信号処理ができればどのような電子機器であってもよい。

加速度センサ２００は、バランスボール１００の表面であってバランスボール１００が置かれた接地面に対して水平な面内に着脱可能に複数取り付けられる。加速度センサ２００は、Ｘ、Ｙ、Ｚ軸のうち２軸または３軸の回転を検知可能なものが用いられる。本実施形態では、バランスボール１００の２軸（Ｘ軸およびＹ軸）の回転が検知される。バランスボール１００の２軸の回転は、主にユーザＵの下半身の状態を推定するとともにバランスボール１００の移動や衝撃を特定するために使われる。加速度センサ２００は、デバイスに着脱可能に取り付けられ、デバイスに座っている人の動きに伴い変化するデバイスの回転を検出する第１のセンサの一例である。第１のセンサの他の例としては、ジャイロセンサが挙げられる。

圧力センサ２１０は、バランスボール１００の座面に着脱可能に複数装着される。圧力センサ２１０は座面にかかる複数点の圧力（バランスボール１００に作用する力、圧力分布）を検知し、検知された圧力分布からバランスボール１００に作用する重心が計算される。バランスボール１００に作用する重心は、主にユーザＵの上半身の状態を推定するとともにバランスボール１００の衝撃と弾みとを区別するために用いられる。圧力センサ２１０は、デバイスに着脱可能に取り付けられ、デバイスに座っている人の動きに伴い変化するデバイスに作用する力を検出する第２のセンサの一例である。

歪みセンサ（曲げセンサ）２２０は、バランスボール１００の座面に着脱可能に複数設けられる。歪みセンサ２２０は、棒状でありその変形（曲げ）具合を検出し、検知されたバランスボール１００の歪み状態からバランスボール１００に作用する重心が計算される。バランスボール１００に作用する重心は、主にユーザＵの上半身の状態を推定するために用いられる。歪みセンサ２２０は、上記第２のセンサの他の一例である。

デバイスに作用する重心を求める場合、デバイスが変形しやすいときには歪みセンサ２２０が有効であり、デバイスが変形しにくいときには圧力センサ２１０が有効である。バランスボール１００の場合には、圧力センサ２１０および歪みセンサ２２０のどちらを用いることもできる。ただし、バランスボール１００には、固いものから軟らかいものまでいろいろあるため、本実施形態では、バランスボール１００の固さによってセンシングの精度が悪化するのを防ぐために両方のセンサを用いてデバイスに作用する重心を求める。

（センサの配置）
図２（Ａ）〜（Ｃ）には、各種センサの配置の一例が３つの角度から示されている。図２（Ａ）はＺ方向（真上）からバランスボール１００を見た図、図２（Ｂ）はＹ方向（側面）からバランスボール１００を見た図、図２（Ｃ）はＸ方向（正面）からバランスボール１００を見た図である。

加速度センサ２００は、正面の略中央とそこから接地面に水平な方向に６０度ずつ移動させた位置に合計３つ装着される。加速度センサ２００は、２軸または３軸の加速度が測定できる位置に配置される。

圧力センサ２１０および歪みセンサ２２０は、ユーザのお尻の位置を中心に設けられ、足が接触する部分にも一部設けられる。圧力センサ２１０は、床面に装着されてもよいが、精度を上げるためには、座面に装着された方がよい。歪みセンサ２２０は、体重移動によりバランスボール１００が最も変形しやすい位置を中心に装着される。

各種センサは、バランスボール１００の中心を通りバランスボール１００を鉛直方向に切断するＸＺ面に対して対称に設けられる。このように複数のセンサを組み合わせることにより、異なる種類の情報が得られ、得られた情報の組み合わせにより少ないセンサ数であっても体の大まかな動きを取得することができる。また、各種センサはすべて着脱可能なため、センサの数やセンサの配置位置およびセンサの種類を柔軟に変更することができる。

なお、図３にコンピュータ５００の内部構成を示したように、コンピュータ５００は、ＲＯＭ５０５、ＨＤＤ５１０、ＲＡＭ５１５、ＣＰＵ５２０、バス５２５、内部インターフェース（内部Ｉ／Ｆ）５３０および外部インターフェース（外部Ｉ／Ｆ）５３５を有している。たとえば、ＲＯＭ５０５には基本プログラムや異常時に起動するプログラム等が記録され、ＲＡＭ５１５にはセンサ値からユーザの姿勢や挙動を推定するために必要な各種プログラムやデータ（たとえば、後述するユーザ用モデルテーブル）が蓄積される。バス５２５は、ＲＯＭ５０５、ＨＤＤ５１０、ＲＡＭ５１５、ＣＰＵ５２０、内部インターフェース５３０および外部インターフェース５３５の各デバイス間で情報をやりとりする経路であり、受信機４００にて受信した各種センサ値は、バス５２５を経由してＲＡＭ５１５に記憶される。内部インターフェース５３０は、キーボード５４０やマウス５４５からデータを入力し、必要な情報をモニタ（ディスプレイ）５５０に表示する。

ＣＰＵ５２０は、上記データを用いてプログラムを実行することによりユーザの姿勢や挙動を推定する。マイクロコンピュータ３００の内部構成は、基本的にコンピュータ５００と同様であるので説明を省略する。

つぎに、インターフェースシステム１０の動作についてマイクロコンピュータ３００の処理（デバイスでの信号処理）、コンピュータ５００の処理（姿勢推定処理）の順に説明する。

（デバイスでの信号処理）
図４を参照しながら、バランスボール１００での信号処理について説明する。処理が開始され（Ｓ４００）、ユーザＵがバランスボール１００に座しながら自己の姿勢を変えてバランスボール１００を操作すると（Ｓ４０５）、各種センサによりバランスボール１００の動きがセンシングされる。つまり、複数の歪みセンサ２２０は、バランスボール１００の変形を計測し（Ｓ４１０）、複数の圧力センサ２１０は、圧力センサ２１０が設けられた複数点の圧力を計測し、複数の加速度センサ２００は、加速度センサ２００が設けられた各点に掛かるバランスボール１００の加速度を計測する（Ｓ４２０）。

マイクロコンピュータ３００は、Ｓ４１０〜Ｓ４２０にて計測された各種センサ値を各センサについて集計し、コンピュータ５００への送信形式に変換し（Ｓ４２５）、その信号を送信した後（Ｓ４３０）、本処理を一端終了する（Ｓ４３５）。本処理は、ユーザＵがバランスボール１００にて座姿勢を保っている間、所定時間（たとえば、数秒）毎に繰り返し実行される。

（姿勢の推定原理）
コンピュータ５００の処理（姿勢推定処理）を説明する前にユーザの姿勢とデバイスの傾き（回転）、ユーザＵの重心との関係を示した図５を参照しながら、人の姿勢の推定原理を説明する。バランスボール１００は、図５（Ａ）に示した座姿勢を基本とする。図５（Ａ）に示した初期状態では、腰Ｗの位置はバランスボール１００の中心Ｏを通る軸Ｚｏ上にある。このとき、バランスボール１００はＸ軸、Ｙ軸、Ｚ軸のいずれの軸方向にも回転しておらず、デバイスの傾き（回転）Ｒは０である。また、この状態では、バランスボール１００に作用する重心Ｇも軸Ｚｏ上にある。図５（Ａ）では、便宜上、デバイスの傾きＲと重心Ｇとをずらして表しているが、実際は初期状態ではいずれも軸Ｚｏ上にあり重なっている。

図５（Ｂ）では、図５（Ａ）の状態に対してユーザＵの上半身が前に傾いていて、下半身は動いていない。この状態は、デバイスの傾きＲと重心Ｇの変化に連動している。すなわち、図５（Ｂ）の状態では、腰Ｗの位置はバランスボール１００の中心Ｏを通るＺ方向の軸Ｚｏ上にある。よって、図５（Ａ）の場合と同様にバランスボール１００は初期状態からまったく回転しておらず、デバイスの傾きＲは０である。このように、デバイスの傾きＲが０の場合、下半身は初期状態から動いていないと推定することができる。一方、図５（Ｂ）の場合の重心Ｇは、軸Ｚｏに対して大きく前方に移動している。これにより、ユーザＵの上半身は初期状態に対する重心Ｇの位置からの変化量（偏差）だけ前方に傾いていると推定することができる。

図５（Ｃ）では、図５（Ｂ）の状態に対してユーザＵの腰Ｗが後方に移動し、さらに上半身も後方に反っている。この場合、腰Ｗの位置は軸Ｚｏに対してθだけ回転している。よって、デバイスの傾きＲからユーザＵの下半身がバランスボール１００の後方にずれたと推定することができる。また、図５（Ｃ）の場合の重心Ｇは、軸Ｚｏに対して後方に移動している。これにより、ユーザＵの上半身は初期状態に対する重心Ｇの位置の変化量だけ後方に傾いていると推定することができる。

さらに、図５（Ｄ）のように図５（Ｃ）の姿勢から上半身だけを前に傾けると、腰Ｗの位置は軸Ｚｏに対してθだけ回転したままであり、重心Ｇの位置だけが軸Ｚｏに対して前方に移動する。これにより、ユーザＵの下半身は図５（Ｃ）の状態と同じであり、ユーザＵの上半身だけが移動して前方に傾いたと推定される。

ユーザＵの腰Ｗの位置は常に初期状態でデバイスの天頂部分に存在し、ユーザＵは、これをなるべく保ちながら全身を動かしてデバイスを操作しようとする。この状態を前提として、加速度センサ２００から求められるデバイスの傾きを腰Ｗの位置の移動と推定することにより、ユーザＵの下半身の状態を推定することができる。一方、圧力センサ２１０から求められた複数点での圧力分布からユーザＵの上半身の状態を推定することができる。これらを組み合わせてユーザＵの全身の状態を推定することができる。

（デバイスの傾きおよび重心の算出方法）
本実施形態にかかるインターフェースシステム１０では、デバイスの傾き（回転θ）はつぎのように算出される。図６（Ａ）（Ｂ）にバランスボール１００の初期状態を示す。図６（Ａ）はバランスボール１００の表面に取り付けられた加速度センサ２００をＸ軸方向（正面）から見た図であり、図６（Ｂ）は加速度センサ２００をＹ軸方向（側面）から見た図である。バランスボール１００と加速度センサ２００との接面に垂直な方向の加速度をａ_ｖ、水平な方向の加速度をａ_ｕとする。なお、重力加速度ｇは、接地面に対して鉛直方向に働いている。

この状態からバランスボール１００を、図６（Ｃ）に示すようにＸ軸を中心にθ_ｘだけ回転させるとともに、図６（Ｄ）に示すようにＹ軸を中心にθ_ｙだけ回転させる。この時の各角度θ_ｘ、θ_ｙと加速度ａ_ｕ、ａ_ｖとの関係は以下の式（１）及び式（２）にて表される。
θ_ｘ＝αsin（ａ_ｕ／ｇ）・・・（１）
θ_ｙ＝αsin（ａ_ｖ／ｇ）・・・（２）
αは所定の固有値である。

つぎに圧力センサ２１０を用いた重心の計算について説明する。実際の重心の計算は、正確な体全体の重心ではなく、大まかな重心の変化を用いれば足りる。重心Ｇの位置（ｘ、ｙ）は、ｎ箇所に設けられた圧力センサ２１０により検出される圧力分布に基づき以下の式（３）および式（４）を用いて算出される。

ここで、ｒ_ｋはバランスボール１００の中心点Ｏからの距離、θ_ｋは中心点Ｏに対する角度、ｆ_ｋは力を示す。

バランスボール１００が変形しにくい場合、圧力センサ２１０を用いて重心Ｇの位置を算出する方法が有効である。しかしながら、バランスボール１００が変形しやすい場合には歪みセンサ２２０を用いる方法が有効である。

歪みセンサ２２０は、図２（Ａ）に示したように、左右で一対となるとともに前後で一対となるように配置され、一対となった歪みセンサ２２０から検出される２つの値から左右の重心および前後の重心を別々に求める。これらを加算した結果の重心を２次元平面上にマッピングする。たとえば、図７（Ａ）に示したように、ユーザＵが左足側に体重をかけると、ユーザＵの右脚部近傍に位置する歪み（曲げ）センサ２００ａおよびユーザＵの左脚部近傍に位置する歪み（曲げ）センサ２００ｂは、図７（Ｂ）に示したようにバランスボール１００の歪みに応じて曲がる。

各センサ対にはＸ軸方向（左右）、Ｙ軸方向（前後）それぞれに重みが設定されており、重心はＸ、Ｙに分けて求める。重みはセンサの位置と反応のしやすさによって決まる。Ｘ軸方向の重みを持ったセンサ対がｎ個、Ｙ軸方向の重みを持ったセンサ対がｍ個、あるセンサ対のＸの値をＸ_ｋ，Ｙの値をＹ_ｋ、Ｘ軸方向に対するセンサの重みをＡ_ｋ、Ｙ軸方向に対するセンサの重みをＢ_ｋとすると、バランスボール１００に作用する重心は、複数の歪みセンサ２００の歪み（曲げ）に基づき式（５）（６）を用いて求められる。

重心をより正確に求めるためには、圧力センサ２１０を用いた複数点での直接的な力の計測、および歪みセンサ２２０を用いた複数面での変形による間接的な力の計測等に基づき、使用するデバイスの種類や材質により複数のセンサ類からの情報を組み合わせて使用して総合的に計算する。

具体的には、重心Ｇは、圧力センサ２１０を用いて計測された重心Ｇａ、歪みセンサ２２０を用いて計測された重心Ｇｂに加え、特定の部位に掛かる力から求められる付加情報Ｇｃを用いて計算される。重心は、圧力センサ２１０および歪みセンサ２２０ともに主にお尻の圧力分布で求められる。これに加え、左右の太股にかかる圧力の割合と総量から足が支える体重と、バランスボール１００が支える体重の割合や重心の位置を推定でき、この付加情報Ｇｃを補助的に重心の計算に加味する。

具体的には、たとえば、圧力センサ２１０を用いて計測された重心Ｇａの重み付けを１、歪みセンサ２２０を用いて計測された重心Ｇｂの重み付けを０．５、付加情報の重み付けを０．１とした場合、重心Ｇは次式（７）を用いて各センサ値から適正に求めることができる。
Ｇ＝（１×Ｇａ＋０．５×Ｇｂ＋０．１×Ｇｃ）×１／１．６・・・（７）
ただし、上記重み付けは一例に過ぎない。

（姿勢推定処理）
つぎに、コンピュータ５００（ＣＰＵ５２０）にて実行されるユーザの姿勢推定処理について、図８の処理フローを参照しながら説明する。

図８のステップＳ８００から姿勢推定処理が開始されると、ＣＰＵ５２０は、定期的に受信機４００から各種センサ値を受信し、加速度センサ２００のセンサ値、すなわち、バランスボール１００にて計測された複数点の加速度に基づきバランスボール１００の傾き（２軸の回転）を演算する（Ｓ８０５）。つぎに、ＣＰＵ５２０は、演算されたバランスボール１００の傾きからユーザＵの腰の位置を特定し（Ｓ８１０）、ユーザＵの腰の位置から主にユーザＵの下半身の状態を推定する。

つぎに、ＣＰＵ５２０は、圧力センサ２１０のセンサ値、すなわち、計測された複数点の力（圧力分布）に基づきバランスボール１００に作用する重心Ｇａを演算し（Ｓ８１５）、歪みセンサ２２０のセンサ値、すなわち、計測されたバランスボール１００の変形具合に基づき重心Ｇｂを演算し（Ｓ８２０）、さらに重心に関する付加情報Ｇｃを求める（Ｓ８２５）。演算した重心Ｇａ，Ｇｂおよび付加情報Ｇｃを式（６）に代入することにより、より正確な重心Ｇが特定される（Ｓ８３０）。特定されたユーザの腰の位置および重心の位置からユーザ用モデルテーブルに予め蓄積されたモデルのうち最も合致したモデルをユーザＵの体の状態として推定し（Ｓ８３５）、本処理を終了する（Ｓ８４０）。

これによれば、人にセンサ類を取り付けたり、コントローラを手に持って操作したりすることなく、バランスボール１００の天頂部分近傍に骨盤を持ってくるように体のバランスを取ることにより、高々２種類のセンサを用いてバランスボール１００上のユーザの体の状態を推定することができる。

（移動、弾み、衝撃処理）
本システム１０では、姿勢の推定に加え、バランスボール１００の２次元平面上の移動やバランスボール１００への衝撃、弾みを特定することができる。バランスボール１００の移動、弾みおよびバランスボール１００への衝撃を特定する処理フローを示した図９を参照しながらこれらの処理について説明する。

図９のステップＳ９００から移動、弾み、衝撃の特定処理が開始されると、ＣＰＵ５２０は、定期的に受信機４００から受信した各種センサ値のうち、まず加速度センサ２００により検出されたバランスボール１００の複数点の加速度に基づき、急激な加速度の変化が生じたか否かを判定する（Ｓ９０５）。具体的には、バランスボール１００上のｎ個の加速度センサ２００から一定時間ｔ_１の間に計測された加速度の総量ｆが閾値Ｆを超えたか否かで急激な加速度の変化があったかが判定される。ｎ＞１の場合、ＣＰＵ５２０は、それぞれの加速度の総量ｆ_ｋ（１≦ｋ≦ｎ）の差から急激な加速度の変化が有った位置を判別する。

ステップＳ９０５にて急激な加速度の変化がなかったと判定された場合、ＣＰＵ５２０は、バランスボール１００が移動したと判断し、移動処理を実行する（Ｓ９１０）。実際の移動処理は、本システム１０を応用するアプリケーションによる。たとえば、バランスボール１００を動かすことにより、ディスプレイ上のバーチャル空間を冒険するアドベンチャーゲームであれば、バランスボール１００の移動距離を算出し、これに応じてディスプレイ上のバーチャル空間を冒険するように処理してもよい。

ステップＳ９０５にて急激な加速度の変化があったと判定された場合、ＣＰＵ５２０は、急激な圧力の変化があったか否かを判定する（Ｓ９１５）。具体的には、バランスボール１００上のｍ個の圧力センサ２１０から一定時間ｔ_２の間に計測された圧力の総量ｐが閾値Ｐを超えたか否かで急激な圧力の変化があったかが判定される。ｍ＞１の場合、ＣＰＵ５２０は、それぞれの圧力の総量ｐ_ｈ（１≦ｈ≦ｍ）の差から急激な圧力の変化が有った位置を判別する。

ステップＳ９０５にて急激な加速度の変化があったと判定され、かつステップＳ９１５にて急激な圧力の変化があったと判定された場合、ＣＰＵ５２０は、バランスボール１００が弾んだと判定し、弾み処理を実行する（Ｓ９２０）。実際の弾み処理は、本システム１０を応用するアプリケーションによるが、たとえば、前記アドベンチャーゲームであれば、バランスボール１００の弾んだ状態によってディスプレイ上のバーチャル空間の障害物を飛び越えるように処理してもよい。

ステップＳ９０５にて急激な加速度の変化があったと判定され、かつステップＳ９１５にて急激な圧力の変化はなかったと判定された場合、ＣＰＵ５２０は、バランスボール１００をたたくなどバランスボール１００に衝撃が加えられたと判定し、衝撃処理を実行する（Ｓ９２５）。たとえば、前記アドベンチャーゲームであれば、バランスボール１００への衝撃回数によってディスプレイ上の別空間にワープするように処理してもよい。ＣＰＵ５２０は、移動処理（Ｓ９１０）、弾み処理（Ｓ９２０）、衝撃処理（Ｓ９２５）のいずれかの処理を終了後、本処理を終了する（Ｓ９３０）。なお、本処理は、所定時間毎に実行される。

ステップＳ９０５、ステップＳ９１５の判定に用いられる閾値Ｆ、Ｐは、どちらも後述するキャリブレーションで決められ、その後に数値を変更することも可能である。実際には、絶対的な閾値を超え、前回までの値と比べて何倍になったかの両方の条件をクリアしたときに急激な変化があったと判定する。ただし、絶対的な閾値は、デバイスにかかる力（体重）であるから、使う人の体重によって大きく変化する。何倍になったかの条件は、たとえば、過去５〜１０回（回数は任意）の測定記録から平均値を算出し、それと比べて今回の測定値が何倍になっているかを判定する。圧力に関しては２倍程度、加速度に関しては１．５倍程度が目安となるが、これに限られない。

（変形例）
以上に説明した実施形態にかかるインターフェースシステム１０は、以下の各種機能を備えることができる。

（補正処理）
たとえば、図１０の処理フローに示したように、本システムのコンピュータ５００により前述したユーザの姿勢推定処理（図８）および移動、弾み、衝撃処理（図９）が実行された後（Ｓ１００５）、補正処理を行い（Ｓ１０１０）、補正後の結果を出力後（Ｓ１０１５）、本処理を終了するようにしてもよい（Ｓ１０２５）。

たとえば、コンピュータ５００は、補正処理において、上記各種センサにより検知された値に基づき推定される前記人の体の状態が、予め定められた１又は２以上の基準となる体の状態のいずれに当てはまるかを判定してもよい。

本システム１０によれば、バランスボール１００に座っている人の全身の状態をある程度細かく推定することができる。その一方で、上記補正処理を実行することにより推定された人の体の状態と１又は２の基準となる体の状態とを比べ、体の姿勢についての代表例のうちどれに近いかを判定することにより、たとえば、上半身の傾きを１度刻みで取得するのではなく、前に傾いているか後ろに傾いているか、だけを取得するようなユーザの大雑把な動きを認識することができる。この結果、ノイズを軽減し、ユーザの直観により見合った推定を可能にする。これにより、本システム１０を細かな動きを要求するゲームなどのアプリケーションだけでなく、大まかな動きに対する入力情報が必要なアプリケーションに対しても使用することができる。

（コマンド化）
また、たとえば、図１０の処理フローに示したように、本システムのコンピュータ５００により前述したユーザの姿勢推定処理（図８）および移動、弾み、衝撃処理（図９）が実行された後（Ｓ１００５）、コマンド化を行い（Ｓ１０２０）、その結果を出力してから（Ｓ１０１５）、本処理を終了するようにしてもよい（Ｓ１０２５）。

コマンド化とは、たとえば、腰を左右に素早く動かす、円を描くように動かす、弾んだ後に上半身を前に傾ける等、ユーザのバランスボール上での動きを、マウスのダブルクリック、特定のプログラムの起動、コンピュータの電源を切る等のコンピュータ上の入力に任意に割り当てることをいう。このように、推定されたユーザの姿勢、推定されたデバイスの挙動、それらの一連の動作をコマンドとして登録し使用することにより、ユーザＵに身体運動を促す健康促進システムとして本システム１０を利用したり、情報の入力手段として本システム１０を利用したりすることができる。

（キャリブレーション）
本システム１０を快適に使うために、図１１の処理フローに示したように、本システム１０の使用前にユーザＵの体格、移動範囲を入力および測定し、各ユーザＵの体格に応じて本システム１０を利用できるように調整してもよい。

具体的には、本システム１０の使用の要求があると、本処理はシステムの使用前に一回だけ処理が開始され（Ｓ１１００）、ＣＰＵ５２０は、初期状態に置かれたバランスボール１００を用いて圧力センサ２１０からのセンサ値に基づき体重を計算し（Ｓ１１０５）、初期状態に置かれたバランスボール１００を用いて歪みセンサ２２０からのセンサ値に基づき体格を計算し（Ｓ１１１０）、バランスボール１００を前後左右に動かすことにより加速度センサ２００からのセンサ値を用いてバランスボール１００の動作範囲を計算し（Ｓ１１１５）、モデルライブラリからユーザに適したテーブル（ユーザ用モデルテーブル）を作成し（Ｓ１１２０）、本処理を終了する（Ｓ１１２５）。

たとえば、ダイエットや運動を目的として本システム１０を使用する場合には、ユーザが大きく動作しなければ本システム１０が反応しないように調整する。これにより、大きな運動を促すことができる。また、本システム１０の長時間使用が予想されるため、使用中の負荷を小さくしたい場合には、小さな動作で本システム１０が反応するように調整すればよい。

（モデルライブラリ）
なお、本システム１０の使用前に、開発者側は、図１２に示した処理フローに従い、コンピュータを用いて事前に実際に本システム１０を使用し、力の分布、デバイスの変形、傾き、衝撃などの値からユーザＵの姿勢、挙動の推測を行う。（Ｓ１２０５）。また、同時に実際のユーザの姿勢、挙動のモーションキャプチャを行い（Ｓ１２１０）、これにより得られた実測値（Ｓ１２１５）とＳ１２０５にて求められた計算値との比較を繰り返す（Ｓ１２２０）。開発者側は、比較により得られたデータとともに、そのときのユーザの身長と体重といった体格を表すデータを入力し（Ｓ１２２５）、ユーザの姿勢、挙動、ユーザの身長、体重、センサ値等をデータベース化して（Ｓ１２３０）、モデルライブラリとして登録しておく（Ｓ１２３５）。

以上に説明したように、本システム１０はユーザインターフェースシステムであり、リアルタイム性が求められるため、処理の負荷を軽減しながら高速に計算を行う必要がある。この要求を満たすために、予めモデルライブラリを制作しておき、モデルライブラリに蓄積されたデータを用いることでユーザの体格にあわせ、センサ値から即座にユーザＵの姿勢、挙動を特定するためのテーブルをキャリブレーション時に作成する。そして、このテーブル（ユーザ用モデルテーブル）をユーザの姿勢の推定に用いることにより、処理の負荷の軽減と高速な計算を実現する。

以上に説明したように、本実施形態にかかるインターフェースシステム１０は、バランスボールに取り付けられた各種センサおよびセンサからの検出信号からバランスボールに座する人の状態およびバランスボール自体の状態を検知する状態検知システムとして機能する。さらに、本実施形態にかかるインターフェースシステム１０は、検知した人の状態やデバイスの状態を示す信号を各種アプリケーションの入力信号として用いることにより、各種アプリケーションのインターフェースとして機能することができる。

たとえば、本システムは、各種センサを用いてユーザＵの姿勢、挙動のモデル化を行い、全身の姿勢や挙動を推定する様々なソフトウエアのユーザインタフェースとして用いることができる。基盤ソフトウエアはライブラリ化されているため、開発者がこのシステムを応用し、ユーザの姿勢、挙動の一部もしくは全部を使用したアプリケーションを自由に作成することができる。

たとえば、図１３（Ａ）に示したように、ユーザＵがバランスボール上で座姿勢を保ちながらバランスを取ったり、図１３（Ｂ）のようにバランスボール１００の上で弾んだり大きく体を動かすことでゲームが進行するアプリケーションを作成することができる。このゲームは他人と連動させて協調してゲームを遂行するようにしてもよい。

また、たとえば、ユーザＵが図１４（Ａ）に示したようにバランスボール１００上で弾んだり、図１４（Ｂ）に示したように回転したり、図１４（Ｃ）に示したようにいろいろなポーズをとることにより、ディスプレイ上に絵や文字を描いたりすることにより、ユーザＵにゲーム感覚で運動を促進させることができる。

そのほかにも、本システム１０は、コンピュータのポインティングデバイス、ゲームコントローラ、マウス、ジョイスティックなどに利用することができる。たとえば、バランスボール１００上で重心を後ろに移動させればカーソルが上に移動し、重心を前に移動させればカーソルが下に移動し、バランスボール１００を２回たたけばクリックするようにリンク付けてバランスボール１００をコンピュータへの入力手段の一つとして使うこともできる。

さらに、本システム１０をアート作品への応用、楽器、モーションキャプチャなどに応用することもできる。たとえば、バランスボール１００上である姿勢を保つことができたら、その姿勢にリンク付けした音がでるようにしてもよい。このようにユーザの動き、姿勢を音に変えたり画像に変えたりすることができる。

上記実施形態において、各部の動作はお互いに関連しており、互いの関連を考慮しながら、一連の動作として置き換えることができる。そして、このように置き換えることにより、状態検出システムの動作の実施形態は、状態検出方法の実施形態として表現することができる。また、状態検出システムの動作は、状態検出システムの機能をコンピュータが理解できるように記載した状態検出プログラムを、コンピュータを用いて実行することにより実現することも可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

たとえば、本発明にかかる状態検知装置は、ユーザインタフェースとして種々のデバイスに装着することによりエンターテインメント（ゲーム）や健康器具として応用することができる。デバイスとしては、バランスボールの他にいすやゆりかごなどを用いることができる。デバイスに装着する際には、センサの種類、センサの数、センサの位置を任意に変更することができ、これにより、処理精度の向上とコストの低減を図ることができる。

本発明の一実施形態にかかるインターフェースシステムの全体構成図である。 センサの配置例を複数の角度から示した図である。 コンピュータの内部構成図である。 デバイス上での信号処理フローを示した図である。 ユーザの姿勢とデバイスの傾きおよび重心との関係を説明するための図である。 加速度センサのセンサ値とデバイスの傾きとの関係を説明するための図である。 ユーザの姿勢とデバイスの変形との関係を説明するための図である。 各種センサのセンサ値からユーザの姿勢を推定する処理フローを示した図である。 各種センサのセンサ値からデバイスの移動、弾み、衝撃を特定する処理フローを示した図である。 ユーザの姿勢、挙動を推定後、補正およびコマンド化を追加した場合の処理フローを示した図である。 キャリブレーションの処理フローを示した図である。 モデルライブラリ作成フローを示した図である。 本実施形態にかかるインターフェースシステムの応用例を示した図である。 本実施形態にかかるインターフェースシステムの他の応用例を示した図である。

符号の説明

１０ インターフェースシステム
１００ バランスボール
２００ 加速度センサ
２１０ 圧力センサ
２２０ 歪みセンサ
３００ マイクロコンピュータ
４００ 受信機
５００ コンピュータ
５２０ ＣＰＵ

Claims (15)

1. デバイスに着脱可能に取り付けられ、前記デバイスに座っている人の動きに伴い変化する前記デバイスの回転を検出する第１のセンサと、
   前記デバイスに着脱可能に取り付けられ、前記デバイスに座っている人の動きに伴い変化する前記デバイスに作用する力を検出する第２のセンサと、
   前記第１のセンサにより検出されたデバイスの回転と前記第２のセンサにより検出されたデバイスに作用する力とに基づき前記デバイスに座っている人の状態または前記デバイスの状態の少なくともいずれかを推定する処理装置と、を備えた状態検出システム。
2. 前記第１のセンサは、前記デバイスが置かれる接地面に対して水平な面内に着脱可能に複数設けられた加速度センサであり、
   前記処理装置は、Ｘ、Ｙ、Ｚ軸のうち前記複数の加速度センサにより検出されたデバイスの２軸または３軸の回転に基づき前記デバイスに座っている人の下半身の状態を推定する請求項１に記載された状態検出システム。
3. 前記処理装置は、前記デバイスに座っている人の腰の位置が前記デバイスの概ね真上に位置する状態を初期状態として、前記デバイスに座っている人の腰の初期状態の位置からの偏差を前記検出されたデバイスの２軸または３軸の回転に基づき特定することにより、前記偏差から前記人の下半身の状態を推定する請求項２に記載された状態検出システム。
4. 前記第２のセンサは、前記デバイスの座面または底面に着脱可能に複数設けられた圧力センサであり、
   前記処理装置は、前記複数の圧力センサにより検出された前記デバイスに加わる圧力分布から前記デバイスに作用する重心を求め、求められた重心に基づき前記人の上半身の状態を推定する請求項１〜３のいずれかに記載された状態検出システム。
5. 前記第２のセンサは、前記デバイスの座面に着脱可能に複数設けられた歪みセンサであり、
   前記処理装置は、前記複数の歪みセンサにより検出された前記デバイスの歪み状態から前記デバイスに作用する重心を求め、求められた重心に基づき前記人の上半身の状態を推定する請求項１〜４のいずれかに記載された状態検出システム。
6. 前記デバイスは、人が前記デバイスにて座姿勢を保つことが可能なバランスボールまたはいすである請求項１〜５のいずれかに記載された状態検出システム。
7. 前記処理装置は、前記加速度センサを用いて求められたデバイスの回転が所与の第１の閾値より小さい場合、前記デバイスの状態を前記デバイスが移動したと判定する請求項２〜６のいずれかに記載された状態検出システム。
8. 前記処理装置は、前記加速度センサを用いて求められたデバイスの回転が所与の第１の閾値より大きく、かつ、前記圧力センサを用いて求められたデバイスの重心が所与の第２の閾値より小さい場合、前記デバイスの状態を前記デバイスに衝撃が加えられたと判定する請求項４または６のいずれかに記載された状態検出システム。
9. 前記処理装置は、前記加速度センサを用いて求められたデバイスの回転が所与の第１の閾値より大きく、かつ、前記第圧力センサを用いて求められたデバイスの重心が所与の第２の閾値以上の場合、前記デバイスの状態を前記デバイスが弾んだと判定する請求項４または６のいずれかに記載された状態検出システム。
10. 前記処理装置は、
    前記デバイスに座する人の体型の予め求められた標準的な体型からの偏差を求め、前記標準的な体型からの偏差に基づき前記デバイスに座する個々の人の体型を加味して前記デバイスに座っている人の状態または前記デバイスの状態の少なくともいずれかを推定する請求項１〜９のいずれかに記載された状態検出システム。
11. 前記請求項１〜１１のいずれかに記載された状態検出システムにより検知された前記デバイスに座っている人の状態または前記デバイスの状態を示す信号を任意のアプリケーションを実行するときの入力信号として用いるインターフェースシステム。
12. 前記請求項１１に記載されたインターフェースシステムを任意のデバイスに装着することにより、前記デバイスに座して自己の体を鍛える健康器具。
13. 前記請求項１１に記載されたインターフェースシステムを任意のデバイスに装着することにより、前記処理装置により推定される人の体の状態または前記デバイスの状態の少なくともいずれかと連動して遂行されるゲームプログラムを用いて、前記デバイスに座して自己の体を動かしながらゲームを遂行するゲームシステム。
14. デバイスに着脱可能に取り付けられた第１のセンサを用いて前記デバイスに座っている人の動きに伴い変化する前記デバイスの回転を検出し、
    前記デバイスに着脱可能に取り付けられた第２のセンサを用いて前記デバイスに座っている人の動きに伴い変化する前記デバイスに作用する力を検出し、
    前記第１のセンサにより検出されたデバイスの回転および前記第２のセンサにより検出されたデバイスに作用する力に基づき前記デバイスに座っている人の体の状態を推定する状態検出方法。
15. デバイスに着脱可能に取り付けられた第１のセンサを用いて前記デバイスに座っている人の動きに伴い変化する前記デバイスの回転を検出する処理と、
    前記デバイスに着脱可能に取り付けられた第２のセンサを用いて前記デバイスに座っている人の動きに伴い変化する前記デバイスに作用する力を検出する処理と、
    前記第１のセンサにより検出されたデバイスの回転および前記第２のセンサにより検出されたデバイスに作用する力に基づき前記デバイスに座っている人の体の状態を推定する処理と、をコンピュータに実行させる状態検出プログラム。

Images