JP5504818B2 - 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム - Google Patents

Description

本発明は、複数のユーザの運動の一致性を示す関連情報を演算する動作関連演算装置、及び動作関連演算方法、プログラムに関する。また動作関連演算装置を用い、各ユーザに対して動作関連情報に基づいた再生を行う動作関連再生システムに関する。

実用新案登録第３０８３６４１号公報 特開２００１−２９３２４６号公報 実用新案登録第３０９８４２２号公報 特開２００７−２９３０４２号公報 特開２００７−２３６７６５号公報 特許第３６８５７３１号公報

上記特許文献１には、ダンスステツプ練習機として、ダンスのリズムの一致を圧力センサによって検知し、ＬＥＤで表示することで、ダンスのステップを一人でも習得することのできる装置が開示されている。
上記特許文献２〜５では、リズムゲーム、音楽ゲーム等として、ユーザの入力タイミングについて評価を行う機器や、入力装置として加速度センサ等を用い、擬似的な楽器演奏を行う装置などが開示されている。
上記特許文献６では、複数ユーザにおける各操作情報間の関連性を判定の対象とする装置が開示されている。この場合、楽器の演奏を対象とし、複数ユーザのスイッチの操作のタイミングを評価する。

例えば複数ユーザでのダンスなどの協調運動の場合、その運動が一致しているかどうかを、運動をおこなっている者が評価することは困難である。今までは第三者がその動きをチェックしたり、あるいはビデオに撮ることで後に評価を行うことが行われていた。

ここで複数ユーザの身体の動きの同調性を評価し、またそれをユーザにフィードバックできるようにすると、ダンス等の練習に有効である。
ダンスなどにおいては、複数人の動きをいかに一致させるかに重きが置かれており、複数人での協調を簡単に評価、フィードバックを受けるシステムは協調動作の早い習得を可能とする。
またそのようなシステムをその他の各種のスポーツ、ゲーム、娯楽に適用することで、技能習熟に適したり、おもしろさの向上に寄与できると考えられる。

従来では、ユーザの動きや運動の評価という点では、上記各特許文献のようにゲーム機等に利用される技術があるが、特許文献１〜５の技術は、複数ユーザの身体の動き、例えばダンス等の動きの同調性を評価するものではない。
また特許文献６のように複数ユーザのスイッチの操作のタイミングを評価するものがあるが、あくまで各操作タイミングを評価するもので、ユーザ同士の身体の動きの同調性を評価するものではない。
即ち、複数人でのダンスを例に挙げれば、各人が他の人と同調してダンスをしているか否かを評価し、しかもその評価結果を各人に認識させるようなシステムは存在しない。

そこで本発明では、複数ユーザの動作、例えば身体の動きのリズム、パターン等について、その同調性を関連情報として判定し、ユーザにフィードバックすることで、技能習熟や楽しみの向上等を実現する装置、システムを提供することを目的とする。

本発明の動作関連演算装置は、複数のユーザのそれぞれに装着された各センサ装置から供給される運動情報を入力する運動情報入力部と、入力された各センサ装置からの運動情報から、複数のユーザの身体部位毎の動きの一致具合あるいはズレ具合として得られる動作の同調性を示す関連情報を演算し、また上記関連情報に基づいて、ユーザに対するフィードバック出力のための制御情報を生成する演算部とを備える。
また、さらに記録部を備え、上記記録部は、上記運動情報入力部に入力された各センサ装置からの運動情報を記録していき、上記演算部は、上記記録部から、所定期間毎の運動情報を読み出して上記関連情報の演算を行う。
また、上記演算部は、各センサ装置からの運動情報から各ユーザの運動についての個別情報（例えば運動リズム、運動テンポ、運動パターン、運動のリズムパターン、又は運動強度）を算出し、個別情報を用いた演算により、上記関連情報を算出する。

また上記演算部は、各ユーザの個別情報から全ユーザの集団としての基本運動情報を判定し、上記基本運動情報と個別情報を用いた演算により、上記関連情報を算出する。
或いは上記演算部は、各ユーザの個別情報を用いた演算により、全ユーザの集団全体としての上記関連情報を算出する。
或いは、上記演算部は、各ユーザの個別情報を、特定ユーザの個別情報と比較することで、上記関連情報を算出する。
或いは、上記演算部は、予め設定したガイダンス運動情報と、各ユーザの個別情報と比較することで、上記関連情報を算出する。

また上記演算部は、個々のユーザのそれぞれに異なるフィードバック出力を行うための上記制御情報を生成する。
或いは上記演算部は、複数のユーザに対して同じフィードバック出力を行うための上記制御情報を生成する。
また上記演算部は、 ユーザに対するフィードバック出力のための制御情報として、ユーザに触覚刺激を与える装置の駆動制御情報を生成する。

本発明の動作関連演算方法は、情報の入出力及び演算処理が可能とされた演算処理装置における動作関連演算方法である。そして複数のユーザのそれぞれに装着された各センサ装置から供給される運動情報を入力するステップと、入力された各センサ装置からの運動情報から各ユーザの運動としての個別情報を算出し、各ユーザの個別情報を特定ユーザの個別情報と比較することで、複数のユーザの身体部位毎の動きの一致具合あるいはズレ具合として得られる動作の同調性を示す関連情報を演算するステップと、上記関連情報に基づいて、ユーザに対するフィードバック出力のための制御情報を生成するステップとを備える。
本発明のプログラムは、上記動作関連演算方法を演算処理装置に実行させるプログラムである。

本発明の動作関連再生システムは、複数のセンサ装置と、上記の動作関連演算装置と、フィードバック装置とを有する動作関連再生システムである。上記各センサ装置のそれぞれは、ユーザの運動情報を検出する検出部と、上記検出部で検出された運動情報を出力する出力部とを備える。上記フィードバック装置は、上記制御情報に基づいて、ユーザに対する再生装置を駆動制御する再生制御部を備えている。

即ち本発明は、複数ユーザの動作を運動情報として検出し、各ユーザについて検出された運動情報から、複数のユーザの動作の同調性を示す関連情報を求める。関連情報とは、関連度或いは相違度として、各ユーザの動作（例えばダンス等の身体動作）が一致しているか否かを表す情報である。
そしてその関連情報に基づいて各ユーザにフィードバックを与える。例えばユーザが触覚で認識できる刺激（振動等）により、ユーザに、動作が「合っている」「合っていない」、或いは、動作がずれている度合い等を知らせることができるようにする。

本発明によれば、複数ユーザの運動のリズム、パターン、強度等に基づいた関連情報に基づいて、ユーザにフィードバックを与えることで、ユーザは動作を行いながら、他のユーザとの関連（同調性）を知ることができる。これによって動作の協調を早く習得することができたり、娯楽としての楽しみを向上させることなどが可能となる。

本発明の実施の形態の動作関連再生システムのブロック図である。 実施の形態の動作関連演算例の説明図である。 実施の形態の動作関連演算例の説明図である。 実施の形態の動作関連演算例の説明図である。 実施の形態の第１の処理例のフローチャートである。 実施の形態の基本運動リズムの設定の説明図である。 実施の形態の運動テンポの一致、不一致の説明図である。 実施の形態の動きパターン、リズムパターンの説明図である。 実施の形態の第２の処理例のフローチャートである。 実施の形態の第３の処理例のフローチャートである。 実施の形態の第４の処理例のフローチャートである。

［１．システム構成］
［２．第１の処理例］
［３．第２の処理例］
［４．第３の処理例］
［５．第４の処理例］
［６．適用例、変形例、プログラム］

［１．システム構成］

図１に実施の形態の動作関連再生システムのブロック図を示す。
この動作関連再生システムは、動作関連演算装置１、複数のセンサ装置２、フィードバック装置３、１又は複数の再生デバイス４、ガイダンス装置５を有する。

各センサ装置２は、検出部２１と運動情報出力部２２を備える。検出部２１は、例えば加速度センサ、圧力センサ、角速度センサ、振動センサなどとされ、ユーザの動き、運動に応じた加速度等の検出を行う。運動情報出力部２２は、検出部２１で検出された信号を運動情報として、リアルタイムで動作関連演算装置１に出力する。

この複数のセンサ装置２は、それぞれが異なるユーザが例えば身体に装着して身につけるものとされたり、或いはユーザが手に持つ装置などとされる。さらには、ユーザがその上に乗って運動するシート状、台状のものとすることも考えられる。
ユーザが身につけるものとする場合は、例えば装着ベルトやテープ等により手首、足首、首、腕、胴体、脚部等の所要位置に装着できる形態が考えられる。また、ヘッドホン型、帽子型のようにして頭部に装着されるものとしてもよい。さらに、ネックレスタイプとして首につるす形態や、クリップで衣服に装着する形態、ポケット等に収納できる形態などでもよい。
いずれの形態にしても、センサ装置２は、ユーザの身体の全体もしくは一部（例えば手、足等）の運動に応じた運動情報を検出できるものであればよい。
もちろん専用のセンサ機器ではなく、ユーザが所持する装置、例えばリモートコントローラに内蔵されるセンサ装置２としての形態なども考えられる。

また、各ユーザが、１つのセンサ装置２を装着するのではなく、例えば各ユーザがそれぞれ右手、左手、右足、左足にセンサ装置２を装置を装着するような例もある。各ユーザのそれぞれに、複数のセンサ装置２を対応させる場合である。

運動情報出力部２２は、検出部２１で検出された加速度や圧力等に応じた信号を運動情報として出力するが、動作関連演算装置１に対して有線出力、無線出力（電波信号、赤外線信号等）のいずれで通信を行うものであってもよい。
さらに、複数のユーザは同じ場所に居るものとする必要はなく、例えば各ユーザが遠隔地にいてもよい。その場合、各センサ装置２は、ネットワーク通信により、動作関連演算装置１に対して運動情報を送信するものとすることもできる。
運動情報出力部２２から動作関連演算装置１への送信データとしての運動情報は、検出部２１の検出値そのものとしてのデータでも良いし、コード化等されたものでもよい。
なお、動作関連演算装置１で各ユーザの運動情報を識別するためには、センサ装置２のＩＤ、或いはユーザＩＤ等を送信データに含めることが適切である。
但し、有線送信の場合、或いは変調周波数等の設定により、ＩＤを用いなくても、動作関連演算装置１側で、各運動情報がどのセンサ装置２から送信されたものであるかを識別することは可能である。

動作関連演算装置１は、運動情報入力部１４，記録部１２，演算部１１，制御情報出力部１３を備える。この動作関連演算装置１は、例えばＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、入出力インターフェース等としてのハードウエア構成上において、上記の運動情報入力部１４，記録部１２，演算部１１，制御情報出力部１３が実現される。従ってこの動作関連演算装置１は、パーソナルコンピュータ等の汎用の演算処理装置で構成することもできる。もちろん専用の装置として構成してもよい。

運動情報入力部１４は、各センサ装置２からの運動情報を有線、無線、又はネットワーク通信により受信する。また通信方式に応じた復調等を行う。
運動情報入力部１４で受信された各センサ装置２からの運動情報は、記録部１２に記録されていく。記録部１２は、ＲＡＭ、ＨＤＤ（Hard Disk Drive）、その他の各種記録媒体と、その記録再生処理系で構成されればよい。
記録部１２は、受信された運動情報を記録していくとともに、演算部１１からの要求に応じて所定期間の各センサ装置２からの運動情報を再生し、演算部１１に転送する。

演算部１１は、後述する第１〜第４の処理例のように、運動情報を用いた演算処理を行う。即ち各センサ装置２からの運動情報から、複数のユーザの身体又は身体の一部の動作の同調性を示す関連情報を演算し、また関連情報に基づいて、ユーザに対するフィードバック出力のための制御情報を生成する。
例えば運動情報が、加速度センサによって検知されたユーザの動きを示す情報である場合、演算部１１は、加速度を使ってスペクトル解析や自己相関の演算を行うことで、加速度のピーク間時間を求める、あるいは加速度の波形のピークから運動（歩行・走行ならば踵着地）のリズム、テンポ、タイミングや振幅値より運動の強度を知ることができる。
また、加速度の生波形のパターンより、運動のパターンを知ることができる。
演算部１１は、加速度センサによって検知された運動テンポ等をもとに、複数のユーザの動作が一致しているか、あらかじめ設定した数百ミリ秒から数秒の範囲内に存在しているかどうかを検知することができる。
このようなユーザの動きの同調性を関連情報として算出する。

なお、後述する具体例では、関連情報として、関連度や相違度という言葉を用いる。関連度と相違度は、ともに複数ユーザの同調性を示す指標であり、相違度＝１／関連度である。
具体的には、例えば加速度センサの運動情報から、数〜数百ミリ秒から数秒ごとの運動テンポ、運動強度、運動部位、運動パターンを推定し、時系列の数フレームごとに複数ユーザ間で関連があるかどうかの判定を行う。関連度、相違度は、運動テンポ、運動強度、部位、パターン、関連する人数、関連しない人数の関数として表現される。

さらに演算部１１は、関連情報に基づいて、ユーザに同調性の状況を認識させるフィードバック再生のための制御信号の生成を行う。
本明細書では、フィードバック再生とは、触覚刺激、映像、音などでユーザにユーザ間の動作の同調性或いはその度合いを提示する再生をいう。

演算部１１が生成したフィードバック再生のための制御情報は、制御情報出力部１３からフィードバック装置３に供給される。

フィードバック装置３は、動作関連演算装置１と一体又は別体に構成される。特にはフィードバック装置３は、再生デバイス４を駆動する装置であり、その必要性から、動作関連演算装置１と別体の装置とされることもある。即ちフィードバック装置３はユーザが存在する位置に設置されるものとしての意味で、動作関連演算装置１とは離れた位置に配置される場合もある。

このフィードバック装置３は、制御情報入力部３ａ、フィードバック再生制御部３ｂを備える。
制御情報入力部３ａは、動作関連演算装置１の制御情報出力部１３からの制御情報を受信し入力する。
制御情報出力部１３と制御情報入力部３ａの間の通信は、有線、無線、ネットワーク通信のいずれであってもよい。もちろん動作関連演算装置１とフィードバック装置３が一体の機器であれば、当該機器の内部的な制御情報の転送として実現すればよい。

フィードバック再生制御部３は、制御情報入力部３ａが受信した制御情報に基づいて、再生デバイス４を駆動制御する。
一例として再生デバイス４は、触覚刺激をユーザに与える装置とする。例えば各ユーザが身体、腕、手首、脚部等に装着する装置とし、ユーザにリズム、振動、圧力等を与えるものとする。なお、このような装置の場合は、再生デバイス４とセンサ装置２を一体の装置とすることも考えられる。
また、再生デバイス４は、映像モニタ装置、オーディオスピーカ装置，ヘッドホン装置などとし、映像や音声でユーザに対する情報提示を行うものでもよい。
つまり再生デバイス４としては、いわゆる据え置き型の装置でもよいし、ユーザが身に着ける装置としてもよい。
また、触覚刺激再生、音声再生、映像再生のいずれであっても、再生デバイス４はユーザの個々に対して再生を行う場合もあれば、１つの再生デバイスでユーザ全体に対して再生を行う場合もある。

ガイダンス装置５は、ユーザに対して動作のガイド出力を行う装置である。ガイダンス装置５は例えばガイダンス制御部５ａとガイダンス再生部５ｂを備える。
ガイダンス制御部５ａは、ガイダンス再生の実行制御を行う。ガイダンス再生はガイダンスとしての情報提示をユーザに対して行う。

このガイダンス装置５はシステム上、必ずしも設けなくても良い。
例えば集団でのダンスの場合、ガイダンス装置５は、ダンスのテンポや音楽、映像などをガイダンス再生部５ｂとしてのオーディオスピーカ装置やモニタ装置により再生するものとする例が考えられる。この場合は、特にシステム構成機器としてはなく、単体のオーディオ装置、映像装置とすればよい。

一方で、システム動作に連係してガイダンス装置５を用いることも考えられる。
例えば再生デバイス４において、フィードバック再生と重畳させてガイダンス再生を行うことも考えられる。
その場合、ガイダンス制御部５ａは、動作関連演算装置１からの制御情報を受信して所定の制御を行ったり、フィードバック再生制御部３ｂに対してガイダンス再生を加味した再生デバイス４の再生駆動を要求処理などを行うことがある。

このような動作関連再生システムでは、各装置の形態、配置、一体／別体の別は多様に考えられるが、いずれにしても複数のユーザの身体の全部又は一部の運動の同調性を関連情報として求め、それに応じてユーザへのフィードバック再生を行うシステムである。当該動作を実現するため、及び各ユーザの居る場所等に応じて、装置構成、装置間の通信形態等は、適宜変更されうるものである。
またどのような運動に用いるか、どのような同調性を判定するかなどのシステム動作の目的に応じて、センサ装置２の構成（検出内容等）やフィードバック再生の形態なども適切に設定されるものである。

また、動作関連演算装置１の演算処理の方式も多様に考えられる。以下、図２、図３，図４に演算処理方式の例を示す。

図２は、各ユーザ（ユーザＡ，Ｂ，Ｃ）が、それぞれ１つのセンサ装置２を装着している場合を示している。この場合に、動作関連演算装置１の演算部１１として、演算Ｍ１，Ｍ２，Ｍ３を行う例である。
演算Ｍ１として、演算部１１は、まず各センサ装置２からの運動情報から、ユーザＡ，Ｂ，Ｃのそれぞれの個別情報演算を行う。個別情報とは、各ユーザの個人の動きの情報を推定した情報である。例えば個人毎の運動リズム、運動テンポ、運動強度、運動パターン運動のリズムパターンを判定する。

次に演算部１１は演算Ｍ２として、関連情報演算を行う。即ち各ユーザ間での同調性として、それぞれのユーザの動き、つまり個別情報演算で求めた動きの情報から、それらの関連度又は相違度を算出する。
最後に演算部１１は演算Ｍ３として、フィードバック制御演算を行う。この演算Ｍ３で、演算Ｍ２で求めた関連情報に応じて、各ユーザへの例えば触覚刺激再生のための制御情報を生成する。この場合、各ユーザに対する個別の制御情報を生成してもよいし、ユーザの集団全体に対する制御情報を生成してもよい。
例えば個別の制御情報としては、基本となる運動リズムに対して、各ユーザの運動リズムのズレ具合をフィードバック再生で表現するための制御情報を、ユーザ毎に生成する。
また集団全体に対する制御情報としては、全員の運動の同調度として、一致具合、或いはズレ具合をフィードバック再生で表現するための制御情報を生成する。

図３は、各ユーザが、それぞれ複数のセンサ装置２を装着している場合である。一例として、一人のユーザが右手、左手、右足、左足にセンサ装置２を装着している。これにより、各センサ装置２は、それぞれ右手の動き、左手の動き、右足の動き、左足の動きとしての運動情報を出力する。

この場合も演算部１１は、演算Ｍ１Ａとしてまず各センサ装置２からの運動情報から個別情報演算を行う。但しこの場合の個別情報演算は、まず、各ユーザが装着しているそれぞれのセンサ装置２からの運動情報から、身体の各部の動きの情報を得る演算となる。
即ちユーザＡについての右手、左手、右足、左足のそれぞれの運動リズム、運動テンポ、運動強度、運動パターン等を判定する。ユーザＢについても同様である。
続いて演算部１１は、演算Ｍ１Ｂとして、各ユーザ単位での個別情報としてのユーザ情報演算を行う。例えばユーザＡについての右手、左手、右足、左足のそれぞれの運動リズム等から、ユーザの全体の運動の情報を算出する。例えば全体の動きのリズムやパターンを得る。
次に演算部１１は演算Ｍ２として、関連情報演算を行う。即ち各ユーザ間での同調性として、それぞれのユーザの動き、つまり個別情報演算Ｍ１Ａ、ユーザ情報演算Ｍ１Ｂで求めた各ユーザの動きの情報から、それらの関連度又は相違度を算出する。
最後に演算部１１は演算Ｍ３として、フィードバック制御演算を行う。この演算Ｍ３で、演算Ｍ２で求めた関連情報に応じて、各ユーザへの例えば触覚刺激再生のための制御情報を生成する。この場合も、各ユーザに対する個別の制御情報を生成してもよいし、ユーザの集団全体に対する制御情報を生成してもよい。

この図３のように、一人のユーザについて複数の部分の動きを運動情報として検出し、これらから一人のユーザの総合的な身体の動きを推定した後、その総合的な身体の動きを複数ユーザ間で比較して関連情報演算を行うことも考えられる。

同じく各ユーザが複数のセンサ装置２を装着する例として図４の演算処理が考えられる。
上記図３の場合と同様、各ユーザが、それぞれ複数のセンサ装置２を装着している。
演算部１１は、演算Ｍ１Ａとしてまず各センサ装置２からの運動情報から個別情報演算を行う。即ち各ユーザが装着しているそれぞれのセンサ装置２からの運動情報から、身体の各部の動きの情報としての運動リズム等を得る演算を行う。

次に演算部１１は、演算Ｍ２Ａとして、各ユーザの身体各部毎に関連情報演算を行う。
即ち各ユーザの右手の運動リズム等の比較を行う。また各ユーザの右足の運動リズム等の比較を行う。また各ユーザの左足の運動リズム等の比較を行う。さらに各ユーザの左手の運動リズム等の比較を行う。
このように身体部位毎に、動きの関連度又は相違度を算出する。
そして演算部１１は演算Ｍ２Ｂとして、各ユーザの総合的な関連情報の演算を行う。つまり、各ユーザの右手、右足、左足、左手のそれぞれの関連度又は相違度の値を用いて、総合的な関連度又は相違度を算出する。
最後に演算部１１は演算Ｍ３として、フィードバック制御演算を行う。この演算Ｍ３で、演算Ｍ２Ｂで求めた総合的な関連情報に応じて、各ユーザへの例えば触覚刺激再生のための制御情報を生成する。この場合も、各ユーザに対する個別の制御情報を生成してもよいし、ユーザの集団全体に対する制御情報を生成してもよい。

この図４のように、一人のユーザについて複数の部分の動きを運動情報として検出し、これらから、各ユーザの身体部分毎で関連情報を演算し、身体各部の関連情報から、複数ユーザ間で関連情報演算を行うことも考えられる。この場合、身体各部毎の関連度又は相違度に重み付けをしたうえで、総合的な関連情報演算を行うこととしてもよい。

以上の各例はあくまでも演算手法の一例にすぎず、他にも多様な例は考えられる。センサ装置の種類、使用するセンサ装置の数、検出内容、装着位置、運動内容、フィードバック再生の目的などに応じて演算手法が選択されればよい。

［２．第１の処理例］

以下、動作関連演算装置１の具体的な処理例を各種説明していく。動作関連再生システムとしては、例えば複数のユーザが集団で体操やダンスを行う場合などにおいて、各ユーザに対してフィードバック再生を行う例を想定する。

図５は動作関連演算装置１の処理を示している。
複数のユーザは例えば図２のようにそれぞれセンサ装置２を装着又は所持してダンス等を行うものとする。センサ装置２は、例えば加速度センサとしての検出部２１を備え、検出した加速度の情報を運動情報として、リアルタイムで運動情報出力部２２から出力している。

図５のステップＦ１０１では、動作関連演算装置１は、運動情報の記録を開始する。即ち動作関連演算装置１の運動情報入力部１４が、各センサ装置２からの運動情報を受信すると、動作関連演算装置１は、その受信した運動情報を記録部１２に記録していく。以降、このような記録処理を継続的に実行する。
なお、各センサ装置２からの運動情報については、どのセンサ装置（どのユーザ）からの運動情報であるかが判別できるように記録する。例えば上述のようにセンサ装置２のＩＤ（識別情報）を各運動情報に対応付けて記録する。

ステップＦ１０２では、演算部１１が記録部１２に記録された各センサ装置２からの運動情報について、一定期間の運動情報を読み出す。一定期間とは、例えば１０秒間、３０秒間、１分間など、或る設定された期間である。
図７には期間ｔ１，ｔ２，ｔ３・・・を示しているが、演算部１１は、まず期間ｔ１としての運動情報を記録部１２から読み出すことになる。

ステップＦ１０３では、演算部１１は、記録部１２から読み出した各センサ装置２からの運動情報を用いて、各センサ装置２のユーザの個別情報演算を行う。ここでは運動リズムの推定を行う例とする。
ユーザが実行しているのが周期的な運動であるならば、運動リズムの推定として、テンポ（例えば１分あたりのビート数：ＢＰＭ）を利用できる。
例えば個別情報演算として、今回対象の期間（ｔ１：例えば１分間）における各ユーザのテンポ（ＢＰＭ）を、加速度センサ等の運動情報から推定する。具体的には加速度センサの１分間の値におけるピークを検出することで、テンポを算出する。ピーク検出は、加速度の値のスペクトル解析や自己相関演算を行うことで可能である。
このような算出を各ユーザ（各センサ装置２からの運動情報）について実行する。

なお、ユーザの動き、体操やダンスの種類、その他の運動形態等によっては、運動リズム（テンポ）ではなく、運動パターンやリズムパターン、運動強度を算出するようにすることも考えられる。
例えば図８（ａ）には、ユーザＡ，Ｂについての加速度センサの値を示している。各ユーザが装着している各センサ装置２には、Ｘ，Ｙ，Ｚ各方向の加速度センサが搭載され、それぞれの方向の加速度センサの値（運動情報）として、図の実線、破線、一点鎖線の波形が得られるとする。この加速度センサの値の生波形のパターンにより運動パターンを知ることができる。

また図８（ｂ）にはユーザＡのリズムを示している。例えばユーザＡが装着しているセンサ装置２からの加速度センサの値のピーク検出により、ユーザＡのリズムパターンを検出することができる。なおリズムパターンとは、リズムとしての単純なテンポではなく、各ビートタイミング間の時間長変化を表すものである。
さらに図示していないが、加速度センサの波形の振幅から、運動強度や、強度のパターンを検出することもできる。

図５のステップＦ１０３では、このようにテンポ（運動リズム）等を各ユーザの個別情報として算出する。
次にステップＦ１０４で演算部１１は、複数ユーザとしての集団内の基本運動リズムを推定する。例えば運動リズムとして各ユーザのテンポを推定した場合、そのテンポの比較基準となるテンポを基本運動リズムとするものである。
この基本運動リズムは、集団内の代表的な運動リズムとする。例えばステップＦ１０３で算出したユーザ個別の運動リズムについて、図６のように分布を判別する。各ユーザ毎に運動リズム（テンポＢＰＭ）が多少異なることで、図６のような分布が得られるが、最も頻度の高いテンポ、つまり最もユーザ数の多いテンポを基本運動リズムとする。
なお、このような頻度（ユーザ数）によらずに、全ユーザのテンポの平均値として基本運動リズムを推定したり、或いは最大頻度のテンポを平均値で補正するなどして基本運動リズムを算出することなども考えられる。
いずれにしても、ここでの基本運動リズムとは、本来、全ユーザがそのテンポに合わせたいとしているテンポ等を推定するものであればよい。

図５のステップＦ１０５では、各ユーザの運動リズムについて、基本運動リズムとの相違度を計算する。相違度は次のように算出できる。
まず、或るユーザについて、運動リズム（テンポＢＰＭ）が基本運動リズム（テンポＢＰＭ）より高ければ、「ｔｅｍｐｏα」をユーザの運動リズム、「ｔｅｍｐｏβ」を基本運動リズムとする。
一方、ユーザの運動リズム（テンポＢＰＭ）が基本運動リズム（テンポＢＰＭ）より低ければ、「ｔｅｍｐｏα」を基本運動リズム、「ｔｅｍｐｏβ」をユーザの運動リズムとする。つまり早い方を「ｔｅｍｐｏα」とする。
そして相違度は、
相違度＝ｔｅｍｐｏα／ｔｅｍｐｏβ−ｉｎｔ（ｔｅｍｐｏα／ｔｅｍｐｏβ）
で求める。「ｉｎｔ」は整数値部分を示す。
例えば或るユーザの運動リズムのテンポ＝６０、基本運動リズムのテンポ＝５６であるとすると、６０／５６−ｉｎｔ（６０／５６）となる。６０／５６＝１．０７とすると、ｉｎｔ（６０／５６）は１．０７の整数部分の「１」となる。
従って相違度＝１．０７−１＝０．０７として求められる。

また例えば他のユーザの運動リズムのテンポ＝４８、基本運動リズムのテンポ＝５６であるとすると、５６／４８−ｉｎｔ（５６／４８）となる。５６／４８＝１．１６とすると、相違度＝１．１６−１＝０．１６として求められる。
また他のユーザの運動リズムが基本運動リズムのテンポ＝５６と一致していると、相違度＝１−１＝０となる。

結局この相違度の値は、基本運動リズムのテンポに対してユーザのテンポのずれが大きいほど、大きい値となる。
演算部１１は、各ユーザの運動リズムについて、このような相違度を求める

ステップＦ１０６で演算部１１は、フィードバック制御情報を生成する。そしてフィードバック制御情報を制御情報出力部１３からフィードバック装置３に送信する。
フィードバック制御情報は、相違度に応じて生成する。
一例として、フィードバック再生は、基本運動リズムをユーザに触覚刺激として伝えるものであるとする。例えば再生デバイス４として、ユーザの皮膚に装着する加圧デバイスやバイブレータ等を想定する。
そしてその再生デバイス４により、基本運動リズムを伝えるものとする。つまり基本運動リズムとしてのテンポで、ユーザに触覚刺激を与える。
ここで、各ユーザ毎に、相違度の値に応じて、触覚刺激の強度を設定する。
つまり演算部１１は、フィードバック制御情報としては、基本運動リズムとしてのテンポの情報と、各ユーザ毎の相違度の値に応じた強度係数を生成し、これらの制御情報をフィードバック装置３に出力する。
強度係数は、相違度の値そのもの、又は相違度の値に所定の係数を乗じたものでもよいし、さらにはそれらに時間値を乗算したものでもよい。例えば相違度の値は運動の過程において変化していくことが予想されるが、所定以上の相違度の値が得られている期間長を係数とすることが考えられる。つまり、動きがずれている期間が長いほど、強度係数が高くなるような例である。

このようなフィードバック制御情報によりフィードバック装置３のフィードバック再生制御部３ｂは、各ユーザが装着している各再生デバイス４に対して、触覚刺激再生の駆動制御を行う。
つまり、全ユーザに対して、基本運動リズムとしてのテンポを触覚に伝えるものであるが、動きのズレが大きいユーザほど、その触覚刺激が大きくなるようにする。つまり基本運動リズムのテンポを強く感じさせるようにする。
なお、このためには当然ながら、各ユーザに対する制御情報と、各ユーザが装着している再生デバイス４の対応がとられている必要がある。フィードバック再生制御部３ｂは、各ユーザ毎の制御情報（相違度に応じた強度係数）に応じて、そのユーザの装着している再生デバイス４の再生強度を設定し、駆動制御することになる。
各ユーザにとっては、自分がユーザ全体に比較してテンポが一致していれば、再生デバイス４により触覚で感じるリズムは小さく感じられ、一方テンポがずれていれば、触覚で感じるリズムが大きく感じられるものとなる。

演算部１１は、ステップＦ１０６の処理の後、ステップＦ１０７からＦ１０２に戻り、同様の処理を継続する。つまりシステム動作継続中は、ステップＦ１０２〜Ｆ１０６を繰り返す。
そして、システム動作終了となったら、ステップＦ１０７からＦ１０８に進み、記録部１２における運動情報の記録処理、及び演算部１１の演算処理とフィードバック制御情報の生成／出力処理を終えて、一連の動作が終了となる。

このような図５の処理で実現されるシステム動作の一例を図７で説明する。
上述したように演算部１１は、期間ｔ１，ｔ２，ｔ３・・・の各期間毎の各ユーザの運動情報を対象として、図５の処理を行う。
図７において縦軸は運動テンポ、横軸は時間としており、破線は或るユーザＡの運動リズム（テンポ）、実線はステップＦ１０４で推定される基本運動リズム（テンポ）を示している。
ユーザＡのテンポが基本運動リズムとほぼ一致している期間を、図中「一致」と示している。ユーザＡのテンポが基本運動リズムとずれている期間は「不一致」としている。
また、ユーザの運動テンポが、基本運動リズムとしてのテンポのｎ倍（例えば２倍）であるときを「倍速一致」としている。
ここでユーザＡにとっては、「一致」又は「倍速一致」としている期間は、触覚刺激再生による基本運動リズムは小さく感じられる。一方、「不一致」の期間は、そのズレ量に応じて（或いはさらにずれている時間長に応じて）基本運動リズムが強調されて感じられるようになる。

ユーザは、触覚で感じる基本運動リズムが強くなったら、自分の動きがずれていると感じ、その基本運動リズムに合うように心がけてダンス等を行う。すると、全体とテンポの合った動きに修正できる。つまり触覚刺激をなるべく感じないような動きを行えばよい。換言すれば、触覚刺激再生は、その刺激の大きさによって、動きがずれているユーザに、ズレ具合に応じた再生強度で正しいテンポを教えるようなフィードバック再生となる。
従って各ユーザは、動作を行いながら、他のユーザとの関連を知ることができ、動作の協調を早く習得することができる。またユーザは関連度を上げることに対して楽しさを感じることができる。

なお、上記例では、
相違度＝ｔｅｍｐｏα／ｔｅｍｐｏβ−ｉｎｔ（ｔｅｍｐｏα／ｔｅｍｐｏβ）としたが、所定の閾値Ｘを設定し、
｜ｔｅｍｐｏα／ｔｅｍｐｏβ−ｉｎｔ（ｔｅｍｐｏα／ｔｅｍｐｏβ）｜＜Ｘ
のときに「合っている」とし、
｜ｔｅｍｐｏα／ｔｅｍｐｏβ−ｉｎｔ（ｔｅｍｐｏα／ｔｅｍｐｏβ）｜≧Ｘ
のときは「合っていない」として、動きの同調度を、２値（合っている／合っていない）のみで表現するようにしてもよい。
その場合のフィードバック再生としては、例えば触覚刺激再生の強度を「合っている」「合っていない」に応じて２段階、もしくはオン／オフに制御することが考えられる。
また、「合っている」ユーザにのみ、特定の触覚刺激を与えるような再生も考えられる。

また、相違度ではなく、関連度（関連度＝１／相違度）で扱うようにしても良い。
関連度は、例えば
ｔｅｍｐｏβ／ｔｅｍｐｏα−ｉｎｔ（ｔｅｍｐｏβ／ｔｅｍｐｏα）
で算出できる。関連度が高いほど、所定の触覚刺激を強く与えるようなフィードバック再生も考えられる。
さらに、図７に示した倍速一致のように、２倍、或いは３倍等のテンポで合わせることは、より困難であることを考慮し、倍速一致の場合は、より関連度が高いものとして扱うようにしてもよい。

またフィードバック再生は、各ユーザ毎に個別に異なる強度で触覚刺激再生をするのではなく、全ユーザに共通の再生を行うこともできる。
例えばステップＦ１０５、Ｆ１０６では、基本運動リズムに対する各ユーザの運動リズムの分布幅に応じて相違度の強度を設定する。
つまり各ユーザの動きがバラバラであるほどフィードバック制御情報の強度係数が高くなるようにする。
すると、全ユーザは、全体としてズレが大きいほど、強く触覚刺激再生を感じることになり、同時に動いている全員の動きの揃い具合を体感できることになる。

なお以上では、相違度、関連度は運動リズムとしてのテンポの値から算出するものとしたが、上記のように運動パターンやリズムパターンを用いることも考えられる。
運動パターンから関連度を得る場合は、例えば加速度センサのｘ方向、ｙ方向、ｚ方向の波形の相互相関係数の最大値に１／ｌａｇを乗算する。ｌａｇは、最大相互相関係数時の時間差である。

２つの離散的な値を持つ不規則変動をｘ（ｔ）、ｙ（ｔ）とすると、その相互相関係数Ｃ_xy（ｒ）は、

で表される。ｒはラグと呼ばれるｙ（ｔ）の時間軸上の平行移動を示すパラメータである。
関連度が高くなるときは、波形が類似しており、時間差が少ないときである。

また、リズムパターンを用いる場合は、図８（ｂ）のようにユーザのリズムと、基本リズムとしてのリズムパターンの比較を行って関連度（又は相違度）を算出できる。
例えば各ビートタイミング（動きのピークタイミング）のズレ量を一定期間で積算するなどの手法で、関連度を得ることができる。
運動強度の場合も同様である。

［３．第２の処理例］

動作関連演算装置１の第２の処理例を図９で説明する。
なお、以下説明する第２〜第４の処理例でも、第１の処理例と同様、複数のユーザは例えば図２のようにそれぞれセンサ装置２を装着又は所持してダンス等を行うものとする。そしてセンサ装置２は、例えば加速度センサとしての検出部２１を備え、検出した加速度の情報を運動情報として、リアルタイムで運動情報出力部２２から出力している。

図９のステップＦ２０１では、動作関連演算装置１は、運動情報の記録を開始する。即ち動作関連演算装置１の運動情報入力部１４が、各センサ装置２からの運動情報を受信すると、動作関連演算装置１は、その受信した運動情報を記録部１２に記録していく。以降、このような記録処理を継続的に実行する。
ステップＦ２０２では、演算部１１が記録部１２に記録された各センサ装置２からの運動情報について、一定期間の運動情報を読み出す。
またステップＦ２０３では、演算部１１は、記録部１２から読み出した各センサ装置２からの運動情報を用いて、各センサ装置２のユーザの個別情報演算を行う。例えば各ユーザの運動リズムとして、運動テンポを判定する。
以上は処理例１のステップＦ１０１〜Ｆ１０３と同様である。

ステップＦ２０４では、演算部１１は各ユーザ相互の相違度を算出する。
例えばユーザＡ，Ｂ，Ｃの３人を例に挙げると、ユーザＡ、Ｂ間、ユーザＢ，Ｃ間、ユーザＣ，Ａ間のそれぞれの相違度を算出する。
例えば相違度は、二人のユーザ間の運動テンポについて、テンポが早い方を「ｔｅｍｐｏα」、遅い方を「ｔｅｍｐｏβ」とすると、
相違度＝ｔｅｍｐｏα／ｔｅｍｐｏβ−ｉｎｔ（ｔｅｍｐｏα／ｔｅｍｐｏβ）
で求める。

各ユーザの組合せにおいて、それぞれの相違度を求めたら、ステップＦ２０５で演算部１１は、集団全体での相違度を算出する。例えば各組合せの相違度の平均値、或いは分布幅を集団全体の相違度とする。

ステップＦ２０６で演算部１１は、フィードバック制御情報を生成する。そしてフィードバック制御情報を制御情報出力部１３からフィードバック装置３に送信する。
フィードバック制御情報は、集団全体の相違度に応じて生成する。
例えば演算部１１は、集団全体の相違度が大きいほど（又は逆に小さいほど）高い再生強度係数とするフィードバック制御情報を生成する。そしてこの制御情報を制御情報出力部１３からフィードバック装置３に出力する。

このようなフィードバック制御情報によりフィードバック装置３のフィードバック再生制御部３ｂは、各ユーザが装着している各再生デバイス４に対して、触覚刺激再生の駆動制御を行う。
すると各ユーザの動きがバラバラであるほど（又は逆に合っているほど）フィードバック再生強度が高くなる。
これによって各ユーザは、触覚刺激再生の強度によって、全体としての動きの同調性の具合を知ることができる。

演算部１１は、ステップＦ２０６の処理の後、ステップＦ２０７からＦ２０２に戻り、同様の処理を継続する。
システム動作終了となったら、ステップＦ２０７からＦ２０８に進み、記録部１２における運動情報の記録処理、及び演算部１１の演算処理とフィードバック制御情報の生成／出力処理を終えて、一連の動作が終了となる。

この第２の処理例は、あくまでユーザの組合せでの相違度から全体の相違度を判定し、全体の相違度に応じたフィードバック再生を行うものである。
もちろん、相違度ではなく関連度で演算を行っても良い。また運動テンポではなく、運動パターン、リズムパターン、運動強度から相違度、関連度を判定しても良い。

［４．第３の処理例］

動作関連演算装置１の第３の処理例を図１０で説明する。
図１０のステップＦ３０１、Ｆ３０２，Ｆ３０３は、上記処理例１のステップＦ１０１、Ｆ１０２、Ｆ１０３と同様であり説明を省略する。

ステップＦ３０４では、演算部１１は、或る特定のユーザの運動リズムの推定を行う。例えば複数のユーザの一人がダンス等の指導者である場合、そのユーザを特定ユーザとする。演算部１１は、特定ユーザが装着しているセンサ装置２からの運動情報から、運動リズムを推定する。
なお、実際には、ステップＦ３０３で全ユーザのそれぞれの個別情報として運動リズム（運動テンポ）を判定しているとすると、ステップＦ３０４では、全ユーザの運動リズムの内で、特定ユーザの運動リズムを選択するという処理となる。

ステップＦ３０５で演算部１１は、特定ユーザの運動リズムと、各ユーザの運動リズムの相違度を算出する。例えばユーザＡが特定ユーザであるとすると、ユーザＡ，Ｂ間、ユーザＡ，Ｃ間、ユーザＡ，Ｄ間・・・というように、他のそれぞれのユーザについて、特定ユーザＡとの間の運動リズムの相違度を算出する。
例えば相違度は、特定ユーザと他のユーザの運動テンポについて、テンポが早い方を「ｔｅｍｐｏα」、遅い方を「ｔｅｍｐｏβ」とすると、
相違度＝ｔｅｍｐｏα／ｔｅｍｐｏβ−ｉｎｔ（ｔｅｍｐｏα／ｔｅｍｐｏβ）
で求める。
この相違度の値は、特定ユーザＡのテンポに対して他の各ユーザのテンポのずれが大きいほど、大きい値となる。

そしてステップＦ３０６で演算部１１は、フィードバック制御情報を生成し、フィードバック制御情報を制御情報出力部１３からフィードバック装置３に送信する。
フィードバック制御情報は、特定ユーザ以外の各ユーザのそれぞれについて、特定ユーザＡとの相違度に応じて生成する。つまり各ユーザ毎に、相違度の値に応じて、触覚刺激の強度を設定する。
演算部１１は、フィードバック制御情報としては、特定ユーザＡの運動リズムとしてのテンポの情報と、各ユーザ毎の相違度の値に応じた強度係数を生成し、これらの制御情報をフィードバック装置３に出力する。
強度係数は、相違度の値そのもの、又は相違度の値に所定の係数を乗じたものである。又はそれらに時間値を乗算したものでもよい。

このようなフィードバック制御情報によりフィードバック装置３のフィードバック再生制御部３ｂは、各ユーザが装着している各再生デバイス４に対して、触覚刺激再生の駆動制御を行う。
つまり、特定ユーザＡ以外の各ユーザに対して、特定ユーザＡの運動リズムとしてのテンポを触覚に伝えるものであるが、特定ユーザＡとの動きのズレが大きいユーザほど、その触覚刺激が大きくなるようにする。つまり特定ユーザＡのテンポを強く感じさせるようにする。
なお、このためには当然ながら、各ユーザに対する制御情報と、各ユーザが装着している再生デバイス４の対応がとられている必要がある。フィードバック再生制御部３ｂは、各ユーザ毎の制御情報（相違度に応じた強度係数）に応じて、そのユーザの装着している再生デバイス４の再生強度を設定し、駆動制御することになる。
各ユーザにとっては、自分が特定ユーザＡ（例えばダンス指導者等）に比較してテンポが一致していれば、再生デバイス４により触覚で感じるリズムは小さく感じられ、一方テンポがずれていれば、触覚で感じるリズムが大きく感じられるものとなる。

演算部１１は、ステップＦ３０６の処理の後、ステップＦ３０７からＦ３０２に戻り、同様の処理を継続する。
システム動作終了となったら、ステップＦ３０７からＦ３０８に進み、記録部１２における運動情報の記録処理、及び演算部１１の演算処理とフィードバック制御情報の生成／出力処理を終えて、一連の動作が終了となる。

以上の第３の処理例により、各ユーザは、触覚で感じる基本運動リズムが強くなったら、自分の動きが特定ユーザ、例えば指導者とずれていると感じ、指導者に合うように心がけてダンス等を行うことができる。従って各ユーザは、動作を行いながら、指導者との一致具合を知ることができ、動作を早く習得することができる。またユーザは動きの関連度を上げることに対して楽しさを感じることができる。
なお、演算処理は相違度ではなく関連度で行っても良い。また運動テンポではなく、運動パターン、リズムパターン、運動強度から相違度、関連度を判定しても良い。

またフィードバック再生は、各ユーザ毎に個別に異なる強度で触覚刺激再生をするのではなく、全ユーザに共通の再生を行うこともできる。
例えばステップＦ３０５、Ｆ３０６では、特定ユーザＡの運動リズムに対する各ユーザの運動リズムの分布幅、或いは各ユーザの相違度の平均値に応じて相違度の強度を設定する。
つまり各ユーザの動きがバラバラであるほどフィードバック制御情報の強度係数が高くなるようにする。
すると、全ユーザは、全体として指導者の動きとのズレが大きいほど、強く触覚刺激再生を感じることになり、指導者に倣って同時に動いている全員の動きの揃い具合を体感できることになる。

［５．第４の処理例］

第４の処理例を図１１で説明する。
この第４の処理例は、ガイダンス装置５からの制御に応じて、フィードバック装置３が、ガイダンスリズムをユーザに触覚刺激で与える例とする。

動作関連演算装置１の処理としてステップＦ４０１で、運動情報の記録を開始する。即ち動作関連演算装置１の運動情報入力部１４が、各センサ装置２からの運動情報を受信すると、動作関連演算装置１は、その受信した運動情報を記録部１２に記録していく。以降、このような記録処理を継続的に実行する。
演算部１１はステップＦ４０２で、ガイダンステンポの触覚再生のための制御情報を生成し、制御情報出力部１３からガイダンス装置５及びフィードバック装置３に出力する。即ち、ガイダンス装置５に対して、所要のガイダンステンポを指示する。またフィードバック装置３に対して、ガイダンステンポの触覚刺激再生の開始を指示する。ガイダンス制御部５ａは、指示に応じて、フィードバック再生制御部３ｂにガイダンステンポを指示する。
これによって、所定のガイダンステンポの触覚刺激が、各再生デバイス４において実行され、各ユーザは、ガイダンステンポを体感できることになる。
なお、もちろんガイダンス再生部５ｂで、音声や映像によるガイダンステンポに応じた再生を同時に行っても良い。

ステップＦ４０３では、演算部１１が記録部１２に記録された各センサ装置２からの運動情報について、一定期間の運動情報を読み出す。
ステップＦ４０４では、演算部１１は、記録部１２から読み出した各センサ装置２からの運動情報を用いて、各センサ装置２のユーザの個別情報演算を行う。例えば運動リズムの推定を行う。以上のステップＦ４０３，Ｆ４０４は上記処理例１のステップＦ１０２，Ｆ１０３と同様である。

次にステップＦ４０５で演算部１１は、各ユーザの運動リズムとしてのテンポについて、ガイダンステンポとの相違度を計算する。
例えば相違度は、ガイダンステンポと、個々のユーザの運動テンポについて、テンポが早い方を「ｔｅｍｐｏα」、遅い方を「ｔｅｍｐｏβ」とすると、
相違度＝ｔｅｍｐｏα／ｔｅｍｐｏβ−ｉｎｔ（ｔｅｍｐｏα／ｔｅｍｐｏβ）
で求める。
この相違度の値は、ガイダンステンポに対してユーザのテンポのずれが大きいほど、大きい値となる。

各ユーザについて、それぞれガイダンステンポに対する相違度を求めたら、ステップＦ４０６で演算部１１は、集団全体での相違度を算出する。例えば各ユーザの相違度の平均値、或いは分布幅を、集団全体の相違度とする。

ステップＦ４０７で演算部１１は、フィードバック制御情報を生成する。そしてフィードバック制御情報を制御情報出力部１３からフィードバック装置３に送信する。
フィードバック制御情報は、集団全体の相違度に応じて生成する。
例えば演算部１１は、集団全体の相違度が大きいほど（又は逆に小さいほど）高い再生強度係数とするフィードバック制御情報を生成する。そしてこの制御情報を制御情報出力部１３からフィードバック装置３に出力する。

このようなフィードバック制御情報によりフィードバック装置３のフィードバック再生制御部３ｂは、各ユーザが装着している各再生デバイス４に対して、触覚刺激再生の駆動制御を行う。
すると各ユーザの動きがガイダンステンポに対してバラバラであるほど（又は逆に合っているほど）フィードバック再生強度が高くなる。
これによって各ユーザは、触覚刺激再生の強度によって、全体としての動きの同調性の具合を知ることができる。

演算部１１は、ステップＦ４０７の処理の後、ステップＦ４０８からＦ４０３に戻り、同様の処理を継続する。
システム動作終了となったら、ステップＦ４０８からＦ４０９に進み、記録部１２における運動情報の記録処理、及び演算部１１の演算処理とフィードバック制御情報の生成／出力処理を終えて、一連の動作が終了となる。

この第４の処理例は、ガイダンステンポをユーザに知覚させながら、ユーザ全体での動きの相違度を判定し、全体の相違度に応じたフィードバック再生を行うものである。
もちろん、相違度ではなく関連度で演算を行っても良い。また運動テンポではなく、運動パターン、リズムパターン、運動強度から相違度、関連度を判定しても良い。

［６．適用例、変形例、プログラム］

以上、実施の形態としての各種の処理例を説明してきた。ここで、各種処理例の適用例や変形例を述べておく。

実施の形態の適用例としては上述したように集団で行う体操やダンスが考えられる。
複数人でダンスを行う際に、従来はある監督者がダンスをする人の動きがそろっているかを観察する、あるいは、ビデオをとって確認を行うということは行われてきた。本例のシステムを利用することにより、ダンスのリズムを演者にリアルタイムあるいは事前に伝えることができ、行った動きが他者のものと協調していたか、フィードバックを受けることができる。
他にもシンクロナイズドスイミング、行進、ライブ会場での人の動き、リズムゲームが考えられる。

フィードバック再生としては、複数ユーザの運動状態の同調性に基づいて発生するものであればよい。
ユーザの運動テンポ、運動強度、運動部位、運動パターンがある一定範囲内で一致、あるいは、テンポの場合にはリズムの裏、倍のリズムになっていた時に、ユーザに所定のフィードバックを与えるなども考えられる。触覚刺激再生の態様としては、加圧デバイスで感じるビートの強弱や、ビートの間隔、或いは振動の強度、振動時間などを、同調性具合によって変化させる。

また、音や音楽でフィードバック再生を行う場合、たとえば、運動パターンが一致していた時には、その次の小節で音を複数重ねて、にぎやかな音を出力するようにしたり、あるいは協調している旨のアナウンスを与えることが可能である。
運動パターンが速いあるいは遅れていた時には、その次の小節で音楽の重なりが生じない、あるいは不協和音あるいは、協調していない旨のアナウンスが流れるようにしてもよい。リズムが倍音、裏になっている場合には、ビート音やリズム音が追加されるというようなことも可能である。
関連度が大きくなればなるほど、和音の重なりの個数や音量が大きくなる。その一方で、関連度が小さいほど、和音の重なりの個数や音量が小さくなる、あるいは、不協和音の重なりの個数や音量が大きくなるといった再生も考えられる。

センサ装置２としては、ユーザが装着又は所持する装置としても良いが、例えばカメラ装置によりユーザの動きを撮像し、画像認識処理により各ユーザの動きを判定するような装置構成も可能である。

また、例えば処理例４でのガイダンスリズム、或いはシステム動作とは独立したガイダンス装置５による再生としては、あらかじめ、テンプレートが存在している時には、触覚刺激を与えることにより、次のリズムや運動の方向を教示するなども考えられる。
また、協調運動が成功した時、なされなかった時の情報を記録しておき、後でユーザの動きを振り返ることができるようにしてもよい。
動作関連演算装置１には、記録部１２にセンサ出力値が時刻情報と共に記録されるようにしておく。このログを元に、時系列の運動パターンおよびフィードバックを再生させることができるようにしてもよい。

また自分と他のユーザの関連度や自分とあらかじめ登録しておいたテンプレートとの動きの違いを振り返ること、あるいは、ログをテンプレートとして使用することもできる。
ユーザは運動のテンプレートを作成することができるようにしてもよい。
身につけたセンサ装置２（例えば加速度センサ）の操作により、あるいは専用のソフトウェアを起動させ、ソフトウェア上でテンプレート再生操作を行うことで、それ以降の運動を記録させることができる。

また、上述の処理例１，２，３，４は、図２のように各ユーザがセンサ装置２を装着する例で述べたが、図３，図４のように各ユーザが複数のセンサ装置２を装着する場合も、同様に適用できる。
例えば図５の処理例１で述べれば、図３の場合の演算Ｍ１Ａ、Ｍ１ＢをステップＦ１０３で実行すればよい。
また図９の処理例２で述べれば、図４の演算Ｍ２Ａ、Ｍ２ＢはステップＦ２０４で実行すればよい。
他の処理例でも、適宜図３，図４の場合の演算を行うことで各ユーザが複数のセンサ装置２を装着する場合にも対応できる。

また実施の形態では、動作関連演算装置１は記録部１２に運動情報を記録していくものとしたが、演算部１１の処理能力によっては、記録動作を介さずに、演算部１１が運動情報入力部１４で受信される運動情報を直接処理していってもよい。

プログラムについて述べる。
本実施の形態のプログラムは、上述した動作関連演算装置１の機能を実現するプログラムである。例えばコンピュータ装置にインストールされ、起動されることで、処理例１，２，３，４等の処理を、コンピュータ装置に実行させるプログラムである。

本実施の形態のプログラムは、パーソナルコンピュータや、専用の動作関連演算装置１等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
当該プログラムによれば、動作関連演算装置１をパーソナルコンピュータ等の情報処理装置を用いて実現でき、上記のシステム動作の広範な提供に適している。

１ 動作関連演算装置、２ センサ装置、３ フィードバック装置、４ 再生デバイス、５ ガイダンス装置、１１ 演算部、１２ 記録部、１３ 制御情報出力部、１４ 運動情報入力部、２１ 検出部、２２ 運動情報出力部

Claims (12)

1. 複数のユーザのそれぞれに装着された各センサ装置から供給される運動情報を入力する運動情報入力部と、
   入力された各センサ装置からの運動情報から各ユーザの運動としての個別情報を算出し、各ユーザの個別情報を特定ユーザの個別情報と比較することで、複数のユーザの身体部位毎の動きの一致具合あるいはズレ具合として得られる動作の同調性を示す関連情報を演算し、また上記関連情報に基づいて、ユーザに対するフィードバック出力のための制御情報を生成する演算部と、
   を備えた動作関連演算装置。
2. さらに記録部を備え、
   上記記録部は、上記運動情報入力部に入力された各センサ装置からの運動情報を記録していき、
   上記演算部は、上記記録部から、所定期間毎の運動情報を読み出して上記関連情報の演算を行う請求項１に記載の動作関連演算装置。
3. 上記個別情報は、運動リズム、運動テンポ、運動パターン、運動のリズムパターン、又は運動強度の情報である請求項１に記載の動作関連演算装置。
4. 上記演算部は、各ユーザの個別情報から全ユーザの集団としての基本運動情報を判定し、
   上記基本運動情報と個別情報を用いた演算により、上記関連情報を算出する請求項１に記載の動作関連演算装置。
5. 上記演算部は、各ユーザの個別情報を用いた演算により、全ユーザの集団全体としての上記関連情報を算出する請求項１に記載の動作関連演算装置。
6. 上記演算部は、予め設定したガイダンス運動情報と、各ユーザの個別情報と比較することで、上記関連情報を算出する請求項１に記載の動作関連演算装置。
7. 上記演算部は、個々のユーザのそれぞれに異なるフィードバック出力を行うための上記制御情報を生成する請求項１に記載の動作関連演算装置。
8. 上記演算部は、同時に動いている全ユーザの動きの揃い具合を算出し、全ユーザに共通のフィードバック出力を行うための上記制御情報を生成する請求項１に記載の動作関連演算装置。
9. 上記演算部は、 ユーザに対するフィードバック出力のための制御情報として、ユーザに触覚刺激を与える装置の駆動制御情報を生成する請求項１に記載の動作関連演算装置。
10. 情報の入出力及び演算処理が可能とされた演算処理装置における動作関連演算方法として、
    複数のユーザのそれぞれに装着された各センサ装置から供給される運動情報を入力するステップと、
    入力された各センサ装置からの運動情報から各ユーザの運動としての個別情報を算出し、各ユーザの個別情報を特定ユーザの個別情報と比較することで、複数のユーザの身体部位毎の動きの一致具合あるいはズレ具合として得られる動作の同調性を示す関連情報を演算するステップと、
    上記関連情報に基づいて、ユーザに対するフィードバック出力のための制御情報を生成するステップと、
    を備えた動作関連演算方法。
11. 複数のユーザのそれぞれに装着された各センサ装置から供給される運動情報を入力するステップと、
    入力された各センサ装置からの運動情報から各ユーザの運動としての個別情報を算出し、各ユーザの個別情報を特定ユーザの個別情報と比較することで、複数のユーザの身体部位毎の動きの一致具合あるいはズレ具合として得られる動作の同調性を示す関連情報を演算するステップと、
    上記関連情報に基づいて、ユーザに対するフィードバック出力のための制御情報を生成するステップと、
    を演算処理装置に実行させるプログラム。
12. 複数のセンサ装置と、動作関連演算装置と、フィードバック装置とを有する動作関連再生システムであって、
    上記各センサ装置のそれぞれは、
    ユーザの運動情報を検出する検出部と、
    上記検出部で検出された運動情報を出力する出力部と、
    を備え、
    上記動作関連演算装置は、
    複数のユーザのそれぞれに装着された上記各センサ装置から供給される運動情報を入力する運動情報入力部と、
    入力された各センサ装置からの運動情報から各ユーザの運動としての個別情報を算出し、各ユーザの個別情報を特定ユーザの個別情報と比較することで、複数のユーザの身体部位毎の動きの一致具合あるいはズレ具合として得られる動作の同調性を示す関連情報を演算し、また上記関連情報に基づいて、ユーザに対するフィードバック出力のための制御情報を生成する演算部と、
    を備え、
    上記フィードバック装置は、
    上記制御情報に基づいて、ユーザに対する再生装置を駆動制御する再生制御部を備えている動作関連再生システム。

Images