JP5402252B2 - 動作評価装置及びプログラム - Google Patents

Description

本発明は、動作評価装置及びプログラムに関する。

近年、鍵盤にＬＥＤを設け、鍵盤を光らせて押鍵を指示する装置が提案されている（例えば、特許文献１、２参照）。また、鍵盤にＬＥＤが設けられた楽器を用いて、ゲームを行ったり動体視力の訓練をしたりする装置が提案されている（例えば、特許文献３参照）。また、近年、図形課題を提示し、脳機能を測定する装置が提案されている（例えば、特許文献４、５参照）。

特開平０６−０６７６５３号公報 特開平１０−２２２１６０号公報 特開２００６−１５８９５５号公報 特開２００６−１５８４２１号公報 特開２００６−１５８９４４号公報

ところで、従来の脳機能の測定方法においては、人がパターンを覚えて提示して、被験者に対して課題提示し、その結果を人が判断していたため、測定結果を数値的に算出することができなかった。また、鍵盤上でのガイドは、提示と同時に鍵盤を弾くように促すものが多く、不慣れな者にとってはガイドに追いついていくのが困難であったため、利用者が楽しく練習することが出来ず、またその測定結果を数値的に算出することもできなかった。
本発明は上述した背景に鑑みてなされたものであり、脳機能の測定や脳機能の活性化を従来と比較して容易に行うことのできる技術を提供することを目的とする。

上記課題を解決するために、本発明は、利用者の動作タイミングを報知するためのタイミングデータを記憶するタイミングデータ記憶手段と、前記タイミングデータ記憶手段に記憶されたタイミングデータに基づいて利用者の動作タイミングを報知する動作タイミング報知手段と、利用者に把持または装着されて移動可能な複数の操作子と、前記操作子に設けられ、該操作子の運動を検出し、該検出結果に基づいて、前記利用者の動作を検出する動作検出手段と、前記動作タイミング報知手段によって前記動作タイミングが報知されてから予め定められた期間において、前記動作検出手段が検出する複数の動作のそれぞれと予め定められた基準データとの比較に基づいて前記利用者の動作を評価するとともに、前記動作検出手段が検出した一の動作と他の動作との比較の結果が予め定められた条件を満たす場合には、その旨を報知する評価手段とを具備することを特徴とする動作評価装置を提供する。

本発明によれば、脳機能の測定や脳機能の活性化を従来と比較して容易に行うことができる。

課題提示システムの構成の一例を示す図である。 操作装置の外観の一例を示す図である。 操作装置のハードウェア構成の一例を示すブロック図である。 課題提示装置のハードウェア構成の一例を示すブロック図である。 対応関係記憶領域に記憶されたデータの内容の一例を示す図である。 課題提示装置の機能的構成の一例を示すブロック図である。 動作評価部が行う処理の流れを示すフローチャートである。 課題提示処理の流れを示すシーケンス図である。 課題提示処理の流れを示すシーケンス図である。 課題提示処理の流れを示すシーケンス図である。 課題提示処理の流れを示すシーケンス図である。 音階名称対応テーブルの内容の一例を示す図である。

＜Ａ：構成＞
図１は、この発明の一実施形態である課題提示システムの構成の一例を示す図である。図において、課題提示装置１は、脳機能の測定や脳機能の活性化のための課題を利用者に対して提示したり、利用者の反応を評価したりする装置である。操作装置２ａ，２ｂ，２ｃはそれぞれ、利用者に装着されて移動可能な装置であり、利用者の動作を検出する装置である。操作装置２ａ，２ｂ，２ｃは、それぞれ異なる利用者によって用いられる。なお、以下の説明では、操作装置２ａ，２ｂ，２ｃを各々区別する必要がない場合には、これらを「操作装置２」と称して説明する。

図２は、操作装置２の外観の一例を示す図である。図示のように、操作装置２の筐体２Ａは略直方体の形状であり、利用者に装着されて（又は把持されて）用いられる。操作装置２の内部構成を、図３を参照して説明する。操作装置２において、制御部２０とセンサ２１と送信部２２とは、バスで接続されており、それらの構成は図２に示す筐体２ａに収められている。

センサ２１は、加速度センサとジャイロセンサとを有している。センサ２１に含まれる加速度センサは、３軸の加速度センサである。すなわち、センサ２１には、互いに直交する３軸方向の加速度を検出する３つのセンサ（以下、各センサをＳｘ、Ｓｙ、Ｓｚと呼ぶ）が含まれており、各センサの軸が図２に示すｘ、ｙ、ｚ軸方向となるように設けられている。この実施形態では、図２に示すように、操作装置２の長手方向をｘ軸、図中上下方向をｚ軸、ｘ軸とｚ軸に直交する方向をｙ軸として定義されている。各センサＳｘ、Ｓｙ、Ｓｚは、各時刻において、図２に示したｘ、ｙ、ｚ軸についての正の向きおよび負の向きの加速度（それぞれａｘ、ａｙ、ａｚと表す）を検出し、その加速度を表す数値データを生成・出力する。以下、該加速度を示す数値データを「加速度データ」と呼び、以下では、具体的にデータの内容を示す場合には、ｘ、ｙ、ｚ軸それぞれの方向の加速度の値を用いて、（ａｘ、ａｙ、ａｚ）のように表す。また、センサ２１に含まれるジャイロセンサは、操作装置２のロール、ピッチ、ヨー角を検出し、検出結果を示すデータを出力する。

制御部２０は、ＣＰＵ（Central Processing Unit）とＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）とを含む。ＣＰＵは、ＲＡＭをワーキングエリアとして、ＲＯＭに格納された制御プログラムを実行する。送信部２２は、上記センサ２１が生成したデータを、所定時間（本実施形態では５ミリ秒）ごとに、電波などの無線信号として課題提示装置１に出力する。

次に、課題提示装置１の構成について図面を参照しつつ説明する。図４は、課題提示装置１のハードウェア構成の一例を示す図である。図において、制御部１１は、ＣＰＵやＲＯＭ、ＲＡＭを備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、バスを介して課題提示装置１の各部を制御する。記憶部１２は、制御部１１によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部１３は、液晶パネル等を備え、制御部１１による制御の下に各種の画像を表示する。操作部１４は、課題提示装置１の利用者が操作可能な各種操作子を有し、操作に応じた信号を出力する。

マイクロホン１５は、近傍の音を収音し、収音した音を表すアナログ信号を出力する収音手段である。音声処理部１６は、マイクロホン１５が出力するアナログ信号をＡ／Ｄ変換してデジタルデータを生成する。また、音声処理部１６は、制御部１１の制御の下、デジタル形式の音声データをＤ／Ａ変換してアナログ信号を生成し、生成した音声信号をスピーカ１７に出力する。スピーカ１７は、音声処理部１６から供給されるアナログ信号に応じた強度で放音する放音手段である。受信部１８は、操作装置２から送信される無線信号を受信し、受信した無線信号が表すデータを制御部１１に出力する。

なお、この実施形態では、マイクロホン１５とスピーカ１７とが課題提示装置１に含まれている場合について説明するが、音声処理部１６に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続するとしても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン１５から音声処理部１６へ入力される音声信号及び音声処理部１６からスピーカ１７へ出力される音声信号がアナログ音声信号である場合について説明するが、デジタル音声データを入出力するようにしても良い。このような場合には、音声処理部１６にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。表示部１３、操作部１４についても同様であり、課題提示装置１に内蔵される構成であってもよく、外付けされる構成であってもよい。

記憶部１２は、図示のように、提示音データ記憶領域１２１と、対応関係記憶領域１２２とを有している。提示音データ記憶領域１２１には、利用者の動作タイミングを提示する音（以下「提示音」という）を表す音データ（以下「提示音データ」）が複数記憶されている。この提示音データは、単音を表すデータであってもよく、また、複数の音が連なって構成されたフレーズを表すデータであってもよい。また、提示音データは、音のリズムのパターンを表すリズムパターンデータであってもよい。この提示音データは、利用者の動作タイミングを報知するためのタイミングデータとして用いられる。この提示音データの一部は、それぞれ異なる音を表す第１、第２の提示音データからなる組を有している。

対応関係記憶領域１２２には、提示音データと利用者の動作態様との対応関係が記憶されている。図５は、対応関係記憶領域１２２に記憶されたデータの内容の一例を示す図である。図５に示す例では、この記憶領域には、「提示音」と「動作」との各項目が互いに関連付けて記憶されている。これらの項目のうち、「提示音」の項目には、提示音データ記憶領域１２１に記憶された提示音データを識別する提示音ＩＤ（伴奏音識別情報）が記憶されている。「動作」の項目には、利用者の動作の内容（動作態様）をあらわすデータ（以下「基準データ」という）が記憶されている。具体的な提示音データと利用者の動作態様との対応関係は、以下のように例示される。例えば、後述の＜Ｂ−１：Ｇｏ／ＮｏＧｏ課題＞において、「形成実験課題」では、提示音１に対応する動作は操作装置２を振り動かす動作であり、「分化実験課題」では、提示音２に対応する動作は操作装置２を振り動かす動作、及び提示音３に対応する動作は何もしない（無動作）であり、「逆転分化実験課題」では、提示音２に対応する動作は何もしない（無動作）、及び提示音３に対応する動作は操作装置２を振り動かす動作である。また、＜Ｂ−２：ブランチング課題＞において、リズムパターンＰ１の提示音に対応する動作はリズムパターンＰ１と同じようにリズムを刻む動作であり、リズムパターンＰ２の提示音に対応する動作はリズムパターンＰ２と同じようにリズムを刻む動作である。さらに、＜Ｂ−３：葛藤課題＞において、リズムパターンＡの提示音に対応する動作はリズムパターンＸを叩く動作であり、リズムパターンＢの提示音に対応する動作はリズムパターンＹを叩く動作である。以上のように、実行される課題に応じて、提示音データの内容と利用者の動作態様の内容、およびその対応関係は、任意に設定される。

次に、課題提示装置１の機能的構成の一例について図面を参照しつつ説明する。図６は、課題提示装置１の機能的構成の一例を示す図である。図において、課題提示制御部１１１，提示音再生部１１２，動作検出部１１３，動作評価部１１４は、制御部１１がＲＯＭ又は記憶部１２に記憶されたコンピュータプログラムを読み出して実行することによって実現される。なお、図中の矢印はデータの流れを概略的に示すものである。

図６において、課題提示制御部１１１は、利用者の操作内容に応じて、課題提示処理を行う。提示音再生部１１２は、提示音データ記憶領域１２１に記憶された提示音データに基づいて提示音を再生する。この提示音再生部１１２は、提示音データ記憶領域１２１に記憶された提示音データに基づいて利用者の動作タイミングを報知する動作タイミング手段として機能する。

動作検出部１１３は、操作装置２から出力される信号に基づいて、利用者の動作を検出する。この実施形態では、動作検出部１１３は、操作装置２のセンサ２１から出力される加速度データに基づいて、利用者が操作装置２を振り動かしたか否かを検出するとともに、利用者が操作装置２を振り動かした場合にその振り動かした時間長を検出する。より具体的には、この実施形態では、動作検出部１１３は、加速度データの値αｘ、αｙ、αｚの全てが予め定められた閾値未満である場合には、利用者が操作装置２を振り動かしていないと判定する一方、それ以外の場合、すなわち加速度データαｘ、αｙ、αｚの値のうちの少なくともいずれか一つが予め定められた閾値以上である場合に、利用者が操作装置２を振り動かしていると判定する。また、動作検出部１１３は、加速度データのαｘ、αｙ、αｚのうちの少なくともいずれか一つが予め定められた閾値以上である時間長を測定する。動作検出部１１３は、検出結果を示すデータを動作評価部１１４に出力する。

また、動作検出部１１３は、利用者の動作が検出された場合（すなわち利用者が操作装置２を振り動かしていると判定した場合）に、音声処理部１６を制御して、予め定められた音（以下「センサ音」という）をスピーカ１７から放音させる。すなわち、この実施形態では、利用者によって操作装置２が振り動かされる度に、スピーカ１７からセンサ音が出力される。

動作評価部１１４は、提示音再生部１１２によって提示音が再生されてから予め定められた期間（以下「評価対象期間」という）において、動作検出部１１３が検出する動作と予め定められた基準データ（対応関係記憶領域１２２に記憶された基準データ）との比較に基づいて利用者の動作を評価し、評価結果を示す評価データを生成する。この実施形態では、動作評価部１１４は、提示音再生部１１２によって提示された提示音に対応する動作を対応関係記憶領域１２２を参照して特定し、特定した動作と検出された動作とを比較し、両者の整合度合いに応じて利用者の動作を評価する。動作評価部１１４は、評価結果を表示部１３に表示する。

また、動作評価部１１４は、複数の操作装置２を用いて脳機能測定を行う場合に、操作装置２のそれぞれから出力された信号を比較し、比較結果に応じて利用者の動作を評価する。具体的には、例えば、課題提示装置１が、或る提示音１が提示された場合は反応１を行う（例えば、右手で突き動作を行った後に左手で突き動作を行う）一方、或る提示音２が提示された場合は反応２を行う（例えば、左手で突き動作を行った後に右手で突き動作を行う）ように利用者に対して教示し、課題提示装置１が、これらの反応１，反応２の一連の動作の正確さを判定するようにしてもよい。

ここで、動作評価部１１４が行う具体的な処理の一例について、図７を参照しつつ説明する。図７は、動作評価部１１４が行う処理の流れの一例を示すフローチャートである。動作評価部１１４は、操作装置２から受信される信号を受信し、受信した信号に基づいてそれぞれの操作装置２の現在の姿勢（ロール、ピッチ、ヨー角）を取得する（ステップＳａ１）。次いで、動作評価部１１４は、取得したセンサ出力値を他の操作装置２のセンサ出力値と比較する（ステップＳａ２）。動作評価部１１４は、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合（例えば、比較する姿勢が一致または対称である場合）には（ステップＳａ３；ＹＥＳ）、その旨を報知する処理を行う（ステップＳａ４）一方、それ以外の場合には（ステップＳａ３；ＮＯ）、そのまま処理を終了する。

ステップＳａ３において動作評価部１１４が行う判定処理の一例としては、例えば、動作評価部１１４が、複数の操作装置２からのセンサ出力値の一致度が予め定められた閾値以上であるか否かを判定するようにしてもよく、また、複数の操作装置２からのセンサ出力値の出力タイミングの差分が予め定められた範囲内であるか否かを判定するようにしてもよい。また、複数の操作装置２の姿勢が垂直方向に対して対称となっているかを判定することによって、比較する姿勢が対称であるかを判定するようにしてもよい。また、ステップＳａ４において行う報知処理の具体的な内容の一例としては、例えば、動作評価部１１４は、比較結果が予め定められた条件を満たしたタイミングにおいて、音声処理部１６を制御して、予め定められた報知音をスピーカ１７から出力するようにしてもよい。

＜Ｂ：動作＞
次に、この実施形態の動作について説明する。利用者は、課題提示装置１の操作部１４を用いて、課題提示処理を行う旨の操作を行う。操作部１４は、操作された内容に応じた操作信号を出力する。制御部１１は、操作部１４から出力される信号に応じて、課題提示処理を開始する。課題提示装置１は、課題として、＜１：Ｇｏ／ＮｏＧｏ課題＞、＜２：ブランチング課題＞、＜３：葛藤課題＞の３種類の課題を提示する。課題提示装置１の制御部１１は、演奏者によって操作された内容に応じて、これらの３種類の課題のなかからいずれかを選択し、選択した課題を演奏者に対して提示する処理を行う。

＜Ｂ−１：Ｇｏ／ＮｏＧｏ課題＞
まず、課題提示装置１が提示する、Ｇｏ／ＮｏＧｏ課題について説明する。この課題では、「形成実験課題」、「分化実験課題」、「逆転分化実験課題」の３つの課題を順番に行う。
まず、「形成実験課題」について、図８を参照しつつ説明する。図８は、形成実験課題の動作の流れを示すシーケンス図である。この動作においては、まず、課題提示装置１が提示音１を提示する（ｓ１）。すなわち、課題提示装置１の制御部１１は、提示音データ記憶領域１２１から予め定められた提示音データを読み出して、音声処理部１６を制御してスピーカ１７から音として出力させる。実験前に利用者は、提示音１が提示されたことを確認すると、操作装置２を振り動かして発音させるように教示される。このため、提示音１が提示されたことを利用者が確認すると、利用者は、操作装置２を振り動かして発音させる（ｓ２）。

利用者によって操作装置２が振り動かされると、センサ２１は、各軸方向の加速度を表す加速度データを逐次生成するとともに、操作装置２の姿勢（ロール、ピッチ、ヨー角）を表すデータを逐次生成する。生成されたデータは、送信部２２を介して無線信号として課題提示装置１に送信される。この実施形態では、センサ２１から出力されるデータは、５ミリ秒ごとにその時点での値が書き込まれ送信される。課題提示装置１の受信部１８は、操作装置２からデータを受信し、制御部１１に出力する。制御部１１は、データを受信し、受信したデータに基づいて利用者の動作を検出する。制御部１１は、検出結果を示すデータをＲＡＭに記憶する。また、制御部１１は、利用者が操作装置２を振り動かしたと判定した場合に、音声処理部１６を制御して予め定められたセンサ音を再生する。すなわち、利用者によって操作装置２が動かされるたびに、その動きに応じてセンサ音が放音される。

また、制御部１１は、複数の操作装置２のそれぞれから出力される信号を比較し、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合に、その旨を報知する処理を行う。この実施形態では、制御部１１は、それぞれの操作装置２の姿勢（ロール、ピッチ、ヨー角）を検出し、検出した姿勢の差分が予め定められた範囲内である場合に、その旨を示す報知音をスピーカ１７から出力する。

課題提示装置１は提示音１の提示処理を５回繰り返して行う（ｓ３，ｓ５，ｓ７，ｓ９）。利用者は、課題提示装置１によって提示音１が提示される度に、操作装置２を振り動かす動作を行う。利用者の動作はセンサ２１によって検出され、逐次課題提示装置１へ送信される（ｓ４，ｓ６，ｓ８，ｓ１０）。

次に、「分化実験課題」について、図９を参照しつつ説明する。図９は、分化実験課題の動作の流れを示すシーケンス図である。この課題においては、課題提示装置１は、提示音２，提示音３の２種類の提示音を提示する（ｓ１１，ｓ１３）。すなわち、課題提示装置１の制御部１１は、提示音データ記憶領域１２１から２種類の異なる提示音データを読み出し、音声処理部１６を制御してスピーカ１７から音として出力させる。提示音２が鳴ったときは、利用者は操作装置２を振り発音させる（ｓ１２，ｓ１５，ｓ１８，ｓ２２，ｓ２５）。一方、提示音３が鳴ったときは、利用者は何も行わないように、実験開始前に教示される。

課題提示装置１は、提示音の提示処理を１０回繰り返して行う（ｓ１１，ｓ１３，ｓ１４，ｓ１６，ｓ１７，ｓ１９，ｓ２０，ｓ２１，ｓ２３，ｓ２４）。すなわち、課題提示装置１の制御部１１は、提示音データ記憶領域１２１から２種類の異なる提示音データ（提示音２の提示音データと提示音３の提示音データ）を読み出し、それらをランダムな順番でスピーカ１７から音として出力させる。利用者は、放音される提示音を聞き分けながら、動作を行うか否かを判断する。課題提示装置１の制御部１１は、操作装置２から出力されるデータに基づいて利用者の動作を検出し、検出結果を示すデータをＲＡＭに記憶する。また、制御部１１は、複数の操作装置２のそれぞれから出力される信号を比較し、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合に、その旨を示す報知音をスピーカ１７から出力する。

次に、「逆転分化実験課題」について図１０を参照しつつ説明する。図１０は逆転分化実験課題の動作の流れを示すシーケンス図である。この課題においては、課題提示装置１は、「分化実験課題」において提示した２種類の提示音を提示する（ｓ３１，ｓ３２）。すなわち、課題提示装置１の制御部１１は、提示音データ記憶領域１２１から２種類の異なる提示音データを読み出し、音声処理部１６を制御してスピーカ１７から音として出力させる。それに対し、利用者は、分化実験のときとは逆の動作を行う。すなわち、提示音２が鳴ったときは利用者は何も行わない一方、提示音３が鳴ったときは、利用者は操作装置２を振り動かして発音させるように、実験開始前に教示される（ｓ３３，ｓ３６，ｓ３９，ｓ４１，ｓ４４）。

課題提示装置１は、提示音の提示処理を１０回繰り返して行う（ｓ３１，ｓ３２，ｓ３４，ｓ３５，ｓ３７，ｓ３８，ｓ４０，ｓ４２，ｓ４３，ｓ４５）。すなわち、課題提示装置１の制御部１１は、提示音データ記憶領域１２１から２種類の異なる提示音データ（提示音２の提示音データと提示音３の提示音データ）を読み出し、それらをランダムな順番でスピーカ１７から音として出力させる。利用者は、放音される提示音を聞き分けながら、動作を行うか否かを判断する。課題提示装置１の制御部１１は、操作装置２から出力されるデータに基づいて利用者の動作を検出し、検出結果を示すデータをＲＡＭに記憶する。また、制御部１１は、複数の操作装置２のそれぞれから出力される信号を比較し、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合に、その旨を示す報知音をスピーカ１７から出力する。

課題の提示処理を終えると、課題提示装置１の制御部１１は、ＲＡＭに記憶されたデータを参照して、検出された動作と対応関係記憶領域１２２に記憶された動作とを比較し、両者の整合度合いに応じて利用者の動作を評価する。制御部１１が行う評価の具体例としては、例えば、両者の整合度合いに応じて、予め定められたアルゴリズムに従って利用者の脳年齢を数値で算出するようにしてもよい。また、他の例として、例えば、制御部１１が、予め定められたアルゴリズムに従って性格分析（おっとり、早とちり、など）を行うようにしてもよい。この実施形態では、制御部１１は、課題提示装置１から放音された提示音のそれぞれに対する利用者の反応の有無を判定する。また、制御部１１は、提示音が出力されてから利用者が反応するまでの時間を測定し、この時間長も参照して評価を行う。

制御部１１が行う評価の具体的な内容としては、例えば、利用者の動作の正／誤反応の割合を評価したり、また、正／誤反応の内容（反応時間長、各課題のどの辺の時間帯で正／誤反応しているか）を評価したり、また、試験時間・時期との関連（午前と午後、季節の影響など）を評価してもよい。また、例えば、正／誤反応の履歴（だんだん正解が増えている／減っている、改善／改悪の傾向）をとり、この履歴に応じて評価を行うようにしてもよい。すなわち、制御部１１が、検出された動作と対応関係記憶領域１２２に記憶された動作とを比較し、該比較結果に基づいて利用者の動作の正誤、正誤の内容、正誤の割合、及び比較結果の履歴の少なくともいずれか一つを特定し、特定結果に応じて評価を行うようにしてもよい。また、例えば、提示音との関連（難易度等）に応じて評価態様を異ならせるようにしてもよい。

また、制御部１１は、分化実験課題の判定結果及び逆転分化実験課題の判定結果から、利用者の動作判断の類型が、「不活発型」、「興奮型」、「抑制型」、「おっとり型」、「活発型」のいずれかの型であるかを判定する。具体的には、制御部１１は、分化実験でＧｏ課題（操作装置２を振り動かす動作を行わなければいけないとき）の間違いがあり、かつ、分化実験でＮｏＧｏ課題（操作装置２を振り動かす動作を行ってはいけないとき）の間違いが３回以上ある場合に、「不活発型」と判定する。また、制御部１１は、分化実験でＧｏ課題の間違いがなく、かつ、分化実験でＮｏＧｏ課題の間違いが３回以上ある場合に、「興奮型」と判定する。また、制御部１１は、分化実験でＧｏ課題の間違いがあり、かつ、分化実験でＮｏＧｏ課題の間違いが２回以下の場合に、「抑制型」と判定する。また、制御部１１は、分化実験でＧｏ課題の間違いがなく、分化実験でＮｏＧｏ課題の間違いが２回以下であり、逆転分化実験でＧｏ課題の間違いがあり、かつ、逆転分化実験でＮｏＧｏ課題の間違いが２回以下の場合に、「おっとり型」と判定する。また、制御部１１は、分化実験、逆転分化実験でともにＧｏ課題の間違いがなく、かつ、分化実験、逆転分化実験でＮｏＧｏ課題の間違いが２回以下である場合に、「活発型」と判定する。

すなわち、制御部１１は、分化実験課題においては、複数の提示音データに基づいて提示音（提示音２，提示音３）を再生するとともに、これら複数の提示音データのうちのいずれかひとつの提示音データ（提示音２を示す提示音データ）を、利用者の動作タイミングを報知するためのタイミングデータとして用いる。すなわち、制御部１１は、分化実験課題においては、提示音２を再生してから予め定められた期間において利用者の動作評価を行う。また、制御部１１は、逆転分化実験課題においては、上述した分化実験課題と同様の提示音（提示音２，提示音３）を再生するとともに、分化実験課題においてタイミングデータとして用いた提示音データ（提示音２を示す提示音データ）以外の提示音データ（提示音データ３）を、利用者の動作タイミングを報知するためのタイミングデータとして用いる。すなわち、制御部１１は、逆転分化実験課題においては、提示音３を再生してから予め定められた期間において利用者の動作評価を行う。次いで、制御部１１は、分化実験課題における評価結果と逆転分化実験課題における評価結果とを比較し、両者の差分に応じて利用者の動作判断の類型（「不活発型」、「興奮型」、「抑制型」、「おっとり型」、「活発型」）を判定する。

制御部１１は、評価結果（判定結果）を表示部１３に表示する等して、評価結果を利用者に報知する。利用者は表示部１３に表示される画面を参照することで自身の脳機能の測定結果を把握することができる。

＜Ｂ−２：ブランチング課題＞
次に、ブランチング課題の提示処理について図１１を参照しつつ説明する。このブランチング課題は短期記憶力の評価と向上を目的としている。この課題においては、まず、課題提示装置１が、提示音としてリズムパターンＰ２を作成し、そのパターンを再生する（ｓ９１）。すなわち、制御部１１は、提示音データ記憶領域１２１から予め定められた提示音データ（リズムパターンデータ）を読み出して、音声処理部１６を制御してスピーカ１７から音として放音させる。

利用者は、課題提示装置１によって提示されるリズムパターンＰ２を記憶して、操作装置２を振り動かして、提示されたリズムパターンＰ２と同じようにリズムを刻む反応をするように教示される。操作装置２は利用者の操作に応じて加速度データを課題提示装置１に出力する（ｓ９２）。なお、このブランチング課題においては、集中して記憶することを利用者に促すために、短音等の単純な提示音ではなく、複数の音で構成されるリズムパターンを採用し、短期記憶力の評価と向上に供した。

次いで、課題提示装置１が提示音としてリズムパターンＰ１を作成し、そのパターンを繰り返し再生し続ける。（ｓ１０１，…，ｓ１０７）。すなわち、制御部１１は、提示音データ記憶領域１２１から予め定められた提示音データ（リズムパターンデータ）を読み出して、音声処理部１６を制御してスピーカ１７から音として放音させる。

利用者は、課題提示装置１によって提示されるリズムパターンＰ１を記憶して、操作装置２を振り動かして提示されたリズムパターンＰ１と同じようにリズムを刻む反応をするように教示される。操作装置２は利用者の操作に応じてデータを課題提示装置１に出力する（ｓ１０２，ｓ１０３，ｓ１０４，ｓ１０５，ｓ１０６，…，ｓ１０８，ｓ１０９，ｓ１１０，ｓ１１１，ｓ１１２）。課題提示装置１によってリズムパターンＰ１が１回提示される度に、利用者が提示されたリズムパターンＰ１と同じリズムパターンＰ１を５回繰り返して行うと成功とする。この組み合わせを３回繰り返す。

なお、図１１に示す例においては、利用者が、ひとつのリズムパターンＰ１に対してその動作を５回繰り返して行うとともに、課題提示装置１がリズムパターンＰ１の提示を３回繰り返して行う場合について例示したが、利用者の動作回数や課題提示装置１のリズムパターンの提示回数はこれに限定されるものではなく、課題提示装置１の設計等に応じて適宜変更可能である。要は、課題提示装置１が、リズムパターンの提示を複数回繰り返して行うとともに、利用者が、提示されたリズムパターンに対して動作を所定回数繰り返して行うようにすればよい。

３回目のリズムパターンＰ１の提示が終了すると、課題提示装置１は、利用者に以前行った別のリズムパターンＰ２を再生させるように指示する（ｓ１１３）。利用者は、課題提示装置１によって提示されるリズムパターンＰ２に従って、操作装置２を振り動かして前記別のリズムパターンＰ２と同じようにリズムを刻む。操作装置２は利用者の操作に応じてデータを課題提示装置１に出力する（ｓ１１４）。以上のように、リズムパターンＰ１が複数回（３回）提示され、この提示期間がリズムパターンＰ２の２回の提示期間の間に設けられることにより、リズムパターンＰ２の短期の記憶の保持能力が判定される。また、課題提示装置１の制御部１１は、複数の操作装置２のそれぞれから出力される信号を比較し、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合に、その旨を示す報知音をスピーカ１７から出力する。

制御部１１は、ＲＡＭに記憶されたデータを参照して、検出された動作と対応関係記憶領域１２２に記憶された動作とを比較し、両者の整合度合いに応じて利用者の動作を評価する。なお、制御部１１が行う評価処理については、上述したＧｏ／ＮｏＧｏ課題において示した処理と同様であり、ここではその詳細な説明を省略する。

＜Ｂ−３：葛藤課題＞
次に、課題提示装置１が提示する葛藤課題について説明する。この課題提示処理においては、リズムパターンＡ，Ｂと、リズムパターンＡ，Ｂに合うようなリズムパターンＸ，Ｙを用いる。リズムパターンＡ，Ｂは音楽的につながるものが好ましい。また、リズムパターンＸ，Ｙは、それぞれ音楽的にリズムパターンＡ，Ｂに合うものが好ましい。

利用者は、課題提示装置１によって、リズムパターンＡが流れたときはリズムパターンＸを叩く一方、リズムパターンＢが流れたときはリズムパターンＹを叩くように教示される。この教示の態様としては、例えば、制御部１１が、リズムパターンＡとリズムパターンＸとをそれぞれ実際に放音しながら、「このリズムパターン（Ａ）が流れたときはこのリズムパターン（Ｘ）を叩いて反応してください」といったメッセージを、実際に放音する音に同期して出力するようにしてもよい。なお、リズムパターンＸとリズムパターンＹは、予め譜面などで利用者に提示しておくようにしてもよい。

制御部１１は、リズムパターンＡとリズムパターンＢとをランダムな順番で再生する。
このリズムパターンは、打楽器の演奏音であってもよく、また、他の楽器の演奏音であってもよい。また、音程を有する演奏音を用いる場合には、フレーズ、和音、伴奏などを用いてもよく、この場合、１〜２小節の長さであることが好ましい。

すなわち、制御部１１は、提示音データ記憶領域１２１から２種類の異なるリズムパターンデータを読み出し、それらをランダムな順番でスピーカ１７から音として出力させる。利用者は、放音されるリズムパターンを聞き分けながら、それぞれのリズムパターンに対応する動作を行う。操作装置２は利用者の操作に応じてデータを出力し、制御部１１は、操作装置２から出力されるデータに基づいて利用者の動作を検出し、検出結果を示すデータをＲＡＭに記憶する。また、課題提示装置１の制御部１１は、複数の操作装置２のそれぞれから出力される信号を比較し、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合に、その旨を示す報知音をスピーカ１７から出力する。

課題の提示を終えると、制御部１１は、ＲＡＭに記憶されたデータを参照して、検出された動作と提示したパターンデータに対応付けて対応関係記憶領域１２２に記憶された動作とを比較し、両者の整合度合いに応じて利用者の動作を評価する。この課題においては、制御部１１は、利用者がリズムパターンに対して反応していたかを評価する。より具体的には、制御部１１は、利用者の反応の有無を評価する。また、制御部１１は、フレーズＸ，Ｙのリズム・音、パターンが合っていたかを評価解析する。制御部１１は、その状況データや、判定結果を保存しておき、更に難易度が選定された場合には、長さ、時間、パターンの難易度がランダムに提示できるようにしてもよい。

以上説明したように本実施形態によれば、音・音楽提示等により、Ｇｏ／ＮｏＧｏ課題、ブランチング課題、葛藤課題を音楽的に楽しみながら行うことができ、認知症の予防や、前頭前野の賦活、いわゆる「キレル」子供たちの予防訓練等、判断指向パターン等を知ることができる。すなわち、本実施形態によれば、利用者の音に対する反応動作をセンシングする操作装置２を用いて、脳機能の活性化や性格分析などを行うことができる。また、本実施形態によれば、音・音楽を用いて課題を提示するため、利用者に精神的な負担を強いることなく、利用者が楽しみながら課題を行うことができる。

更に、本実施形態によれば、ひとりの利用者が複数の操作装置２を装着して課題提示装置１を用いる場合や、複数の利用者がそれぞれ操作装置２を装着して課題提示装置１を用いる場合において、検出される複数の動作を比較することによって利用者の動作を評価するとともに、複数の操作装置２の姿勢等が予め定められた条件を満たす場合（例えば、操作装置２の動きが一致した場合や、操作装置２の動きが対称になった場合、等）に、音や音楽を放音するから、利用者が楽しみながら課題を行うことができる。

また、本実施形態によれば、被験者の反応時間から反射脳年齢等を数値で出すことができ、次回のやる気に繋げることができる。また、利用者の動作を正解率や反応時間で評価することにより、利用者の動作判断の類型の分析（おっとり、早とちりなど）を行うことができる。

＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述の実施形態では、課題提示装置１が提示音を再生することによって、動作を行うべきタイミングや動作を行わないタイミングを演奏者に報知した。動作のタイミングの報知の態様はこれに限らず、例えば、表示装置に映像を表示し、その映像を時系列に変化させることによって、動作のタイミングを報知するようにしてもよい。また、例えば、課題提示装置１が自装置を振動させる機構を備える構成とし、振動の態様を時系列に変化させることによって動作タイミングを報知するようにしてもよい。要は、課題提示装置１の制御部１１が、音、光、映像及び振動の少なくともいずれかひとつを時系列に変化させることによって、動作のタイミングを報知するようにすればよい。

（２）上述の実施形態では、ひとりの利用者が１台の操作装置２を用いて複数人の動作測定を行う場合について説明したが、これに限らず、一人の利用者が複数（２台）の操作装置２を例えば両手に把持（装着）して複数の部位の動作測定を行うようにしてもよい。この場合は、制御部１１は、複数の操作装置２から出力されるデータに基づいて利用者の動作を検出し、検出結果に応じて利用者の動作を評価する。

（３）上述の実施形態において、操作装置２が動かされた軸方向及びその向きに応じて、異なる音を放音するようにしてもよい。この場合は、課題提示装置１の記憶部１２に、図１２に示すような、音階名称対応テーブルを記憶しておく構成とし、課題提示装置１の制御部１１が、このテーブルを参照して、操作装置２が動かされた軸及びその向きに対応する音を放音する。図１２に示す例では、音階名称対応テーブルには、図示のように、操作装置２が動かされた軸方向及びその向きと、音階の名称とが対応付けて記憶されている。同図に示すように、音階名称対応テーブルにおいては、操作装置２が動かされた軸方向（軸ｘ、ｙ、ｚ）および、該軸方向の向き（正または負）の組み合わせに対して音階の名称が１つ対応付けられている。

利用者によって操作装置２が動かされると、センサ２１は、各軸方向の加速度を表す加速度データを逐次生成し、課題提示装置１へ送信する。課題提示装置１は、操作装置２から加速度データを受信する。制御部１１は、音階名称対応テーブルを参照して、受信された加速度データに対応する音階を特定する。制御部１１は、特定した音階の音を放音する。

なお、上述の態様においては、操作装置２が動かされた軸方向及びその向きと音階とを対応付けるようにしたが、操作装置２が動かされた軸方向及びその向きに対応付けるものは音階に限らず、例えば、音色（楽器別の音色やそのバリエーション等）、効果（残響音や定位（パン）等）であってもよく、要は、操作装置２が動かされた軸方向及びその向きと、音の性質（音階、音色、効果を含む）とを対応付けて記憶するようにすればよい。

（４）上述の実施形態では、操作装置２として略直方体の形状の装置を用いたが、操作装置２の形状はこれに限らず、例えば、オーケストラの指揮棒の形状をしたものであってもよく、また、例えば、球形状であってもよい。要は、操作装置２は、利用者に把持または装着されて移動可能であり、複数の軸についての正の向きおよび負の向きの運動を検出するセンサが内蔵されているものであればよい。
また、上述の実施形態において、課題提示装置１は、専用の装置であってもよく、また、例えば、携帯電話端末や、携帯型ゲーム機等であってもよい。

（５）上述の実施形態では、課題提示装置１の制御部１１が、操作装置２のセンサ２１によって利用者の動作が検出される毎に、予め定められたセンサ音をスピーカ１７から出力させるようにした。これに代えて、操作装置２がスピーカを内蔵する構成とし、操作装置２のスピーカからセンサ音を出力するようにしてもよい。この場合は、操作装置２の制御部２０が、センサ２１から出力されるデータに基づいて利用者の動作の有無を検出し、利用者の動作が検出された場合（すなわち利用者が操作装置２を振り動かしていると判定した場合）に、予め定められたセンサ音を内蔵スピーカから放音するようにすればよい。また、操作装置２がスピーカを内蔵するに限らず、操作装置２に外付けスピーカを接続する構成としてもよい。

（６）上述の実施形態では、３軸の加速度センサとジャイロセンサとを用いて利用者の動作を検出するようにしたが、利用者の動作を検出する態様はこれに限らず、例えば、地磁気センサを操作装置２に内蔵する構成とし、地磁気センサによって利用者の動作を検出するようにしてもよい。また、複数種類のセンサを組み合わせて用いてもよい。要は、操作装置２内に設けられ、複数の軸についての運動を検出するものであればよい。

１…課題提示装置、２…操作装置、１１，２０…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…マイクロホン、１６…音声処理部、１７…スピーカ、１８…受信部、２１…センサ、２２…送信部。

Claims (2)

1. 利用者の動作タイミングを報知するためのタイミングデータを記憶するタイミングデータ記憶手段と、
   前記タイミングデータ記憶手段に記憶されたタイミングデータに基づいて利用者の動作タイミングを報知する動作タイミング報知手段と、
   利用者に把持または装着されて移動可能な複数の操作子と、
   前記操作子に設けられ、該操作子の運動を検出し、該検出結果に基づいて、前記利用者の動作を検出する動作検出手段と、
   前記動作タイミング報知手段によって前記動作タイミングが報知されてから予め定められた期間において、前記動作検出手段が検出する複数の動作のそれぞれと予め定められた基準データとの比較に基づいて前記利用者の動作を評価するとともに、前記動作検出手段が検出した一の動作と他の動作との比較の結果が予め定められた条件を満たす場合には、その旨を報知する評価手段と
   を具備することを特徴とする動作評価装置。
2. 利用者の動作タイミングを報知するためのタイミングデータを記憶するタイミングデータ記憶手段を具備するコンピュータに、
   前記タイミングデータ記憶手段に記憶されたタイミングデータに基づいて利用者の動作タイミングを報知するステップと、
   前記利用者に把持または装着されて移動可能な操作子の運動を検出し、検出結果に基づいて前記利用者の動作を検出するステップと、
   前記動作タイミングが報知されてから予め定められた期間において、検出する複数の動作のそれぞれと予め定められた基準データとの比較に基づいて前記利用者の動作を評価するとともに、前記検出された一の動作と他の動作との比較の結果が予め定められた条件を満たす場合には、その旨を報知するステップと
   を実行させるためのプログラム。

Images