JP2011224122A

JP2011224122A - 行動認識装置

Info

Publication number: JP2011224122A
Application number: JP2010096134A
Authority: JP
Inventors: Akihiro Okazaki; 昭広岡崎
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2010-04-19
Filing date: 2010-04-19
Publication date: 2011-11-10

Abstract

【課題】被験体に対する検出手段として加速度センサのみを含む簡単かつ安価な構成で、多種類の複雑な動作を認識できる行動認識装置を提供すること。
【解決手段】被験体９０に取り付けられるべき加速度センサ２を備える。予め、被験体９０がした複数種類の動作又は行動と被験体９０に取り付けられた加速度センサ２の出力との間のそれぞれの対応関係に基づいて、加速度センサ２の出力から被験体９０がした動作又は行動を認識する学習を済ませたニューラルネットワーク５を備える。加速度センサ２の出力に対して統計処理を施して、被験体９０の動きを表す特徴データとして複数種類の統計データを生成する入力処理部を備える。入力処理部が生成した複数種類の統計データが並行してニューラルネットワーク５に入力される。
【選択図】図１

Description

この発明は行動認識装置に関し、より詳しくは、加速度センサを用いて、被験体の動作又は行動を認識する行動認識装置に関する。

ここで、「被験体」とは、代表的には人間を指すが、動物や、機械その他の移動体も含む。

また、「動作」とは、被験体の動きを指す。「行動」とは、意識的なものも含まれる動きや行いを指す。本明細書では、簡単のため、動作と行動とを併せて、適宜「動作」と呼ぶ。

この発明の行動認識装置は、典型的には、歩数計・活動量計、携帯電話、モバイルコンピュータなどに組み込んで用いられ得る。

従来、この種の行動認識装置としては、例えば特許文献１（特開昭６２−１０６７４２号公報）に開示されているように、使用者の動作に応じた振動を検出する加速度センサと、各種動作に対する振動パターンデータを記憶する振動パターンテーブルと、この振動パターンテーブルに記憶された振動パターンデータと上記加速度センサの検出信号とを比較して、使用者の動作を認識する認識手段とを備えたものが知られている。認識される動作としては、立つ、座る、歩く、走る、および静止が挙げられている。

特許文献２（特開平１０−２４０２６号公報）には、３軸の加速度センサに加えてジャイロセンサを備えて、上下運動，水平運動，回転運動の変化を検出し、検出した運動状態の変化とパターン格納部に記憶した行動モデルパターンとから人の行動を特定（認識）するものが開示されている。認識される動作としては、歩く、座る、会議をする、および食事をすることが挙げられている。

特許文献３（特開平１０−１１３３４３号公報）には、被験体の動作又は行動に伴う状態変化を観測する計測手段と、前記観測結果における特徴量を抽出する特徴量抽出手段と、当該認識装置により認識すべき動作又は行動についての特徴量を記憶する記憶手段と、前記観測結果から抽出した特徴量と記憶してある特徴量とから、前記被験体の動作又は行動を認識する認識手段とを備えたものが開示されている。前記計測手段が観測する状態変化としては、加速度，角加速度，速度，角速度，位置，回転、および曲げ角と、被験体の生体情報である脈拍，血圧，体温，血糖値，呼吸，筋電，心電，血流、および脳波とが挙げられている。認識される動作としては、しゃがむ，走る，歩くという基本的な動作から、梯子を登る，階段を下りる，高所での制御盤操作，床面でバルブ操作，突然倒れた，高所から落ちた，静止，のんびり歩く，力強く歩く，非常に静かな走り，標準的に歩く，元気に歩く，元気に走る，患者が倒れた，苦しんでいるなど複雑な動作までが挙げられている。

特開昭６２−１０６７４２号公報特開平１０−２４０２６号公報特開平１０−１１３３４３号公報

特許文献１、２の技術では、装置の構成が比較的簡単であるが、立つ、座る、歩く、走るなどの基本的な動作しか認識できず、多種類の複雑な動作（例えばダンスの中の一動作、武術の型の中の一動作）の認識ができないという問題がある。

一方、特許文献３の技術では、認識される動作の種類が多いが、例えば、被験体から検出する情報として、速度、位置に加えて生体情報も必要とするため、検出手段として加速度センサだけでなく、脈拍，血圧等を測定する手段をも必要とする。このため、装置（システム）の構成が複雑で高コストになるという問題がある。

そこで、この発明の課題は、被験体に対する検出手段として加速度センサのみを含む簡単かつ安価な構成で、多種類の複雑な動作を認識できる行動認識装置を提供することにある。

上記課題を解決するため、この発明の行動認識装置は、
被験体に取り付けられるべき加速度センサと、
予め、上記被験体がした複数種類の動作又は行動と上記被験体に取り付けられた上記加速度センサの出力との間のそれぞれの対応関係に基づいて、上記加速度センサの出力から上記被験体がした動作又は行動を認識する学習を済ませたニューラルネットワークとを備えて、
上記被験体に取り付けられた上記加速度センサの出力から、上記ニューラルネットワークを通して上記被験体がした動作又は行動を認識する行動認識装置において、
上記加速度センサの出力に対して統計処理を施して、上記被験体の動きを表す特徴データとして複数種類の統計データを生成する入力処理部を備え、
上記入力処理部が生成した上記複数種類の統計データが並行して上記ニューラルネットワークに入力されるようになっていることを特徴とする。

この発明の行動認識装置は、予め、上記被験体がした複数種類の動作又は行動と上記被験体に取り付けられた上記加速度センサの出力との間の対応関係に基づいて、上記加速度センサの出力から上記被験体がした動作又は行動を認識する学習を済ませたニューラルネットワークを備えている。そして、上記被験体に取り付けられた上記加速度センサの出力から、上記ニューラルネットワークを通して上記被験体がした動作又は行動を認識するようになっている。このニューラルネットワークには、上記学習により、予め多種類のアルゴリズムを実質的に保持しておくことができる。したがって、この発明の行動認識装置によれば、多種類の複雑な動作を認識できる。

また、この行動認識装置では、入力処理部が、上記加速度センサの出力に対して統計処理を施して、上記被験体の動きを表す特徴データとして複数種類の統計データを生成する。したがって、上記ニューラルネットワークの学習段階で、上記加速度センサの出力から生成された上記複数種類の統計データが並行して上記ニューラルネットワークに入力される。したがって、上記ニューラルネットワークによる学習の精度を高めることができる。また、上記ニューラルネットワークの認識段階で、上記ニューラルネットワークは、上記加速度センサの出力から生成された上記複数種類の統計データを受けて、上記被験体がした動作又は行動を認識する。したがって、上記ニューラルネットワークによる認識の精度を高めることができる。この結果、多種類の複雑な動作認識できる。例えば、立つ、座る、歩く、走るなどの基本的な動作に加えて、上記被験体がダンスの中の一動作をしていること、武術の型の中の一動作をしていること、ラジオ体操の中の一動作をしていることなどを認識できる。

なお、上記ニューラルネットワークの「学習段階」とは、上記ニューラルネットワークが予め上記学習を行う段階を意味する。また、上記ニューラルネットワークの「認識段階」とは、上記被験体がした動作又は行動を実際に認識する段階を意味する。

また、上記行動認識装置は、被験体に対する検出手段として加速度センサのみを備えているので、簡単かつ安価に構成され得る。また、部品数が少なくなるので、信頼性が高まる。また、被験体が特に人である場合は、上記加速度センサ以外のセンサを体の色々なところに取り付ける必要がないので、上記行動認識装置は、面倒がなく、気軽に使用され得る。

一実施形態の行動認識装置では、上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間における上記加速度センサの出力の分散または標準偏差とを含むことを特徴とする。

この一実施形態の行動認識装置では、上記学習段階で、上記ニューラルネットワークによる学習の精度を高めることができる。また、上記認識段階で、上記ニューラルネットワークによる認識の精度を高めることができる。

一実施形態の行動認識装置では、上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間において上記加速度センサの出力が所定値になった回数とを含むことを特徴とする。

ここで、「所定値」とは、例えば０（ゼロ）のような或る値を指す。

一実施形態の行動認識装置では、上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間における上記加速度センサの出力の最大値および最小値、または上記最大値と最小値との間の差とを含むことを特徴とする。

一実施形態の行動認識装置では、上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間における上記加速度センサの出力の分散または標準偏差と、上記期間において上記加速度センサの出力が所定値になった回数と、上記期間における上記加速度センサの出力の最大値および最小値、または上記最大値と最小値との間の差とのうち、少なくとも２つを含むことを特徴とする。

ここで、「少なくとも２つ」とは、全部であっても良い、という意味である。

以上より明らかなように、この発明の行動認識装置によれば、被験体に対する検出手段として加速度センサのみを含む簡単かつ安価な構成で、多種類の複雑な動作を認識できる。また、部品数が少なくなるので、信頼性が高まる。また、被験体が特に人間である場合は、上記加速度センサ以外のセンサを体の色々なところに取り付ける必要がないので、上記行動認識装置は、面倒がなく、気軽に使用され得る。

（Ａ）は、この発明の一実施形態の行動認識装置の外観を正面から見たところを示す図である。（Ｂ）は、上記行動認識装置を右側方から見たところを示す図である。（Ｃ）は、上記行動認識装置を分解状態で右側方から見たところを示す図である。（Ｄ）は、上記行動認識装置に含まれた部品を示す図である。（Ｅ）は、被験体としての人が上記行動認識装置を装着した態様を示す図である。上記行動認識装置に含まれた演算装置のブロック構成を示す図である。上記演算装置に含まれたニューラルネットワークの構成を示す図である。上記行動認識装置による認識結果が携帯電話に送信された態様を示す図である。上記行動認識装置に含まれた加速度センサの出力についての一定期間毎の平均値を例示する図である。上記ニューラルネットワークの出力層の各ニューロンと、上記被験体としての人の動作状態との間の対応を示す図である。（Ａ）は、上記行動認識装置の学習段階の処理フローを示す図である。（Ｂ）は、上記行動認識装置の認識段階の処理フローを示す図である。

以下、この発明の一実施形態の行動認識装置について、図面を参照しながら詳細に説明する。

図１（Ａ）に示すように、この発明の一実施形態の行動認識装置１は、本体ケーシング７と、この本体ケーシング７の前面部７Ａに設けられたＬＣＤ（液晶表示素子）からなるディスプレイ部３とを備えている。

図１（Ｂ）（行動認識装置１を右側方から見たところに相当する）に示すように、本体ケーシング７の後面部７Ｂには、この行動認識装置１を被験体（この例では人）９０に装着するためのクリップ８が設けられている。具体的には、クリップ８は、蝶番９を介して後面部７Ｂに取り付けられており、クリップ８の先端８ａが後面部７Ｂに近づくように、図示しないばねによって付勢されている。これにより、図１（Ｅ）に示すように、行動認識装置１は、被験体９０の腰の横に容易に装着され得る（例えば、被験体９０が着けている図示しないベルトにクリップ８を引っ掛ければ良い。）。

図１（Ｃ）および図１（Ｄ）によって分かるように、ケーシング７の内部には、電子回路基板１０と、この電子回路基板１０へ電力を供給するための充電可能な電池６とが収容されている。

電子回路基板１０には、無線通信装置４と、加速度センサ２と、演算装置５とが搭載されている。

無線通信装置４は、この行動認識装置１の近傍に存在する携帯電話やパーソナルコンピュータ等との間で、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）規格によって無線通信を行う公知の装置である。この無線通信装置４により、この行動認識装置１の認識結果（後述）を上記携帯電話やパーソナルコンピュータ等へ送信することが可能となる。

加速度センサ２は、Ｘ軸・Ｙ軸・Ｚ軸の３軸方向の加速度を、この例では±２Ｇの範囲で検知可能な半導体式の公知のものである。この加速度センサ２は、１０ミリ秒周期でＸ，Ｙ，Ｚ方向の加速度をそれぞれ計測して出力する。加速度センサ２が出力した値は、次に述べる制御部５０に内蔵されたメモリ５４（図２参照）に順次格納され、少なくとも５秒間保持される。

演算装置５は、図２に示すように、この演算装置５全体の動作を制御するＣＰＵ（中央演算処理装置）からなる制御部５０と、加速度センサ２の出力を受けて処理する入力処理部５１と、ニューラルネットワーク５２と、ニューラルネットワーク５２の出力を受けて処理する出力処理部５３と、データを一時的に格納し得るメモリ５４とを備えている。

入力処理部５１は、制御部５０による制御下で、加速度センサ２の出力に対して信号処理を施して、人９０の動きを表す特徴データとして複数種類の統計データを生成する。具体的には、入力処理部５１は、次のような統計データを生成する。

まず、現在の時刻（人９０の動作状態の認識を行う時刻に相当）をｔ１とし、そこから５秒前の時刻をｔ０とする。入力処理部５１は、時刻ｔ０からｔ１までの５秒間にメモリ５４に格納された加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）の平均値をそれぞれ統計データとして算出する。算出された平均値を、それぞれ特徴データＸ１，Ｙ１，Ｚ１とする。

また、入力処理部５１は、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向の出力の標準偏差を統計データとして算出する。算出された標準偏差を、それぞれ特徴データＸ２，Ｙ２，Ｚ２とする。

また、入力処理部５１は、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向それぞれの出力の最大値と最小値とを探索して、上記最大値と最小値との間の差をそれぞれ統計データとして算出する。算出された上記最大値と最小値との間の差を、それぞれ特徴データＸ３，Ｙ３，Ｚ３とする。

また、入力処理部５１は、時刻ｔ０からｔ１までの５秒間において加速度センサ２のＸ，Ｙ，Ｚ方向の出力が０になった回数（以下「ゼロクロス回数」という。）をそれぞれカウントして統計データとして求める。求められたゼロクロス回数を、それぞれＸ４，Ｙ４，Ｚ４とする。

このように、入力処理部５１は、１２種類の統計データである特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成する。入力処理部５１による特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４の生成は、１００ミリ秒周期で行われる。１つの軸方向、例えばＸ軸方向に関して言えば、メモリ５４に格納された５０００個の１種類のデータ（５秒間にわたる加速度センサ２の出力値）から、入力処理部５１によって４種類の特徴データＸ１〜Ｘ４が１００ミリ秒毎に生成される、ということになる。

ニューラルネットワーク５２は、この例では図３に示すように、１２個の入力素子ｉ_１，ｉ_２，…，ｉ_１２を含む入力層５２ｉと、７個の素子ｍ_１，ｍ_２，…，ｍ_７を含む中間層５２ｍと、７個の出力素子ｎ_１，ｎ_２，…，ｎ_７を含む出力層５２ｎとの３層から構成されている。このニューラルネットワーク５２は、この例では逆誤差伝搬法（Back Propagation algorithm）と呼ばれる学習法によって、入力層５２ｉの入力素子ｉ_１，ｉ_２，…，ｉ_１２に入力された入力から、出力層５２ｎの出力素子ｎ_１，ｎ_２，…，ｎ_７に正しい出力が得られるような学習を行えるように構成されている。

具体的には、まず、入力素子ｉ_１，ｉ_２，…，ｉ_１２に対する入力にそれぞれ重み係数ｗ_ｊ１，ｗ_ｊ２，…，ｗ_ｊ１２（ｊ＝１，２，…，７とする。）を乗算し、次のようにそれらの入力と重み係数との積の線形和ｕ_jを求める。

出力素子ｎ_１，ｎ_２，…，ｎ_７の出力を、次のようにその線形和ｕ_jのシグモイド関数ｆ（ｕ_ｊ）であるものとする。
ｆ（ｕ_ｊ）＝１／（１＋ｅｘｐ（−ｕ_ｊ））
次に、入力素子ｉ_１，ｉ_２，…，ｉ_１２に或る入力データセットが入力されたときの出力素子ｎ_１，ｎ_２，…，ｎ_７の出力と、正しい解答を表す教師データとの間の誤差を求める。

出力素子ｎ_１，ｎ_２，…，ｎ_７の出力とその教師データとの間の誤差が解消するように、上記重み係数ｗ_ｊ１，ｗ_ｊ２，…，ｗ_ｊ１２を変更してゆく。誤差の元となった中間層の出力も順次調整してゆく。

このようにして学習を行ってゆくと、或る入力データセットに対して出力層５２ｎの出力素子ｎ_１，ｎ_２，…，ｎ_７のうち、１つの出力素子のみが反応し（値が１になり）、残りの出力素子の値は略０になるようになる。ニューラルネットワーク５２は、このような逆誤差伝搬法による学習を行えるように構成されている。

図２中の出力処理部５３は、制御部５０による制御下で、ニューラルネットワーク５２の出力層５２ｎの出力を受けて、それに応じた判定結果を画像として出力する処理を行う。この判定結果は、行動認識装置１のディスプレイ部３に表示され、さらには通信装置４を介して、行動認識装置１の近傍に存在する携帯電話１０１のディスプレイ部１０３（図４参照）に表示される。

上述の入力処理部５１、ニューラルネットワーク５２、出力処理部５３は、ソフトウェアによって構成されている。

次に、被験体９０がラジオ体操の中の複数種類の動作を行う場合を想定して、図７（Ａ）を参照しながら、行動認識装置１におけるニューラルネットワーク５２の学習段階の処理について説明する。この例では、複数種類の動作とは、「腕を振ってあしをまげのばす運動」、「からだをまわす運動」などの７種類の動作を指す（動作の種類数は、出力素子ｎ_１，ｎ_２，…，ｎ_７の個数に対応している。）。

図７（Ａ）中のステップＳ１に示すように、まず、開発者や試験用のスタッフが被験体９０となって行動認識装置１を装着し、ニューラルネットワーク５２に学習させたい７種類の動作を順次行う。これにより、行動認識装置１の加速度センサ２は、上記７種類の動作に対応する加速度データをそれぞれ実測して取得する。既述のように、加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）が、メモリ５４に格納される。これとともに、入力処理部５１は、既述の１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成する。例えば、被験体９０が「からだをまわす運動」をしている時、Ｘ，Ｙ，Ｚ方向の出力の平均値Ｘ１，Ｙ１，Ｚ１は、図５中のデータ１２，１３，１４のように得られる。

次に、図７（Ａ）中のステップＳ２に示すように、ラジオ体操の各動作において特徴的な部分を抽出する。図５の例では、被験体９０が「からだをまわす運動」をしている時に特徴的なデータを表す期間１５のデータを抽出する。このようにした場合、学習の精度を高めることができ、結果として誤認識の防止につながり、有意義である。なお、図５の例では、平均値Ｘ１，Ｙ１，Ｚ１のみを示しているが、標準偏差Ｘ２，Ｙ２，Ｚ２、最大値と最小値との間の差Ｘ３，Ｙ３，Ｚ３、またはゼロクロス回数Ｘ４，Ｙ４，Ｚ４について、それぞれ特徴的なデータを表す期間があれば、その期間のデータを抽出するのが望ましい。

次に、図７（Ａ）中のステップＳ３に示すように、正しい解答（動作）を表す教師データを作成する。この教師データは、被験体９０が或る動作をした時に、入力処理部５１によって生成された１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４がニューラルネットワーク５２に入力された場合に相当するものとする。

次に、図７（Ａ）中のステップＳ４に示すように、上記教師データを用いて、ニューラルネットワーク５２に、逆誤差伝搬法によって学習を行わせる。すなわち、図３に示したニューラルネットワーク５２の入力素子ｉ_１，ｉ_２，…，ｉ_１２に或る入力データセットとして特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４が入力されたときの出力素子ｎ_１，ｎ_２，…，ｎ_７の出力と、正しい解答を表す教師データとの間の誤差を求める。そして、出力素子ｎ_１，ｎ_２，…，ｎ_７の出力とその教師データとの間の誤差が解消するように、フィードバックを行って、上記重み係数ｗ_ｊ１，ｗ_ｊ２，…，ｗ_ｊ１２を変更して調整してゆく。誤差の元となった中間層の出力も順次調整してゆく。これにより、図７（Ａ）中のステップＳ５，Ｓ６に示すように、被験体９０の動作状態判別のための重み係数ｗ_ｊ１，ｗ_ｊ２，…，ｗ_ｊ１２を得て、ニューラルネットワーク５２にそれらの重み係数を組み込む。このことは、ニューラルネットワーク５２を構成するソフトウェア上では、入力データセットから出力データセットを得るための計算式（アルゴリズム）を確立することと等価である。

このようにして学習を行ってゆくと、或る運動を表す入力データセットに対して、出力層５２ｎの出力素子ｎ_１，ｎ_２，…，ｎ_７のうち、１つの出力素子のみが反応し（値が１になり）、残りの出力素子は反応しない（値が略０になる）ようになる。例えば、図６に示すように、ｎ_１が反応したときは「腕を振ってあしをまげのばす運動」、ｎ_２が反応したときは「からだを横にまげる運動」、ｎ_３が反応したときは「からだをまわす運動」、ｎ_４が反応したときは「停止（何もしていない）」、ｎ_５が反応したときは「両あしでとぶ運動」、ｎ_６が反応したときは「胸をそらす運動」、ｎ_７が反応したときは「腕を上下にのばす運動」という動作状態を表すようになる。

このようにして、学習段階では、被験体９０がした複数種類（この例では７種類）の動作又は行動と被験体９０に取り付けられた加速度センサ２の出力との間のそれぞれの対応関係に基づいて、加速度センサ２の出力から被験体９０がした動作又は行動を認識する学習を済ませる。

次に、図７（Ｂ）を参照しながら、行動認識装置１におけるニューラルネットワーク５２の認識段階の処理について説明する。被験体９０は、行動認識装置１を装着して、ラジオ体操の中の或る動作を行うものとする。

図７（Ｂ）中のステップＳ１１に示すように、まず、行動認識装置１の加速度センサ２は、上記７種類の動作に対応する加速度データをそれぞれ実測して取得する。既述のように、加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）が、メモリ５４に格納される。これとともに、ステップＳ１２に示すように、入力処理部５１は、既述の１２種類の統計データである特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成する。

次に、ステップＳ１３に示すように、ニューラルネットワーク５２の入力素子ｉ_１，ｉ_２，…，ｉ_１２に、上記１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を含む入力データセットが入力される。すると、ステップＳ１４に示すように、ニューラルネットワーク５２の出力素子ｎ_１，ｎ_２，…，ｎ_７に、結果を表すデータが出力される。ステップＳ１５に示すように、その結果から、出力処理部５３は、被験体９０が現在行っている動作が何であるかを判定する。

そして、ステップＳ１６に示すように、出力処理部５３による判定結果をディスプレイ部３に表示する。さらには通信装置４を介して、行動認識装置１の近傍に存在する携帯電話１０１のディスプレイ部１０３（図４参照）に表示する。図４の例では、矢印９１で示すように、被験体９０は「からだをまわす運動」を行っている。これに応じて、携帯電話１０１のディスプレイ部１０３には、「体を回す運動」と表示されている。

この行動認識装置１は、被験体９０が行動認識装置１を装着して動作又は行動を行っている間、ステップＳ１１〜Ｓ１６の処理を１００ｍｓ周期で繰り返す。これにより、被験体９０が行動認識装置１を装着して動作又は行動を行っている間、動作状態の判定を実質的にリアルタイムで常時行う。

これにより、行動認識装置１を使用するユーザは、動作状態の判定結果を外部のシステム（例えば、フィットネスを目的とした携帯電話向けアプリケーションソフトウェアなど）に提供することができる。図４の例では、携帯電話１０１のメモリ（図示せず）に被験体９０の動作状態が記録（ログ）として順次保存される。携帯電話にインストールされたアプリケーションソフトウェアは、その動作状態の記録に基づいて、例えば現在のエクササイズ量、運動開始時から現時点までの消費カロリなどを算出することができる。この例では、携帯電話１０１のディスプレイ部１０３に、現在のエクササイズ量が２．０ＥＸ（ＥＸは任意単位）であり、運動開始時から現時点までの消費カロリが１６０ｋｃａｌであることが表示されている。

また、判定された動作状態に対応した筋肉の使用度合などのデータベースを携帯電話側に持たせることにより、「どのあたりの筋肉が鍛えられたか」というような有意義な情報をユーザに提供することもできる。

なお、行動認識装置１の出力処理部５３がエクササイズ量、消費カロリなどを算出して、行動認識装置１のディスプレイ部３と携帯電話１０１の１０３との両方に表示しても良い。

この実施形態では、加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）から、入力処理部５１によって、既述の１２種類の統計データである特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成した。しかしながら、これに限られるものではない。例えば標準偏差Ｘ２，Ｙ２，Ｚ２に代えて、またはそれに加えて、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向の出力の「分散」を、特徴データとして生成して用いても良い。または、最大値と最小値との間の差Ｘ３，Ｙ３，Ｚ３に代えて、またはそれに加えて、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向の出力の「最大値」および「最小値」を、特徴データとして抽出して用いても良い。要するに、この実施形態で挙げた特徴データのうち、少なくとも２種類の特徴データを用いれば、本発明を実施することができる。当然ながら、この実施形態で挙げた特徴データの全部を用いても良い。

また、この実施形態では、ニューラルネットワーク５２は、３層からなり、１２個の入力素子、７個の出力素子を備えたものとした。しかしながら、これに限られるものではなく、ニューラルネットワーク５２は、さらに多層で、多くの入力素子、出力素子を備えても良い。

また、この実施形態では、学習段階で、ニューラルネットワーク５２にラジオ体操の中の動作を学習させたが、これに限られるものではない。ニューラルネットワーク５２には、例えば、立つ、座る、歩く、走るなどの基本的な動作に加えて、被験体がダンスの中の一動作をしていること、武術の型の中の一動作をしていることなどを学習させても良い。そのようにした場合、実際の認識段階で、立つ、座る、歩く、走るなどの基本的な動作に加えて、被験体がダンスの中の一動作をしていること、武術の型の中の一動作をしていることなども認識できるようになる。

以上より明らかなように、この実施形態の行動認識装置１では、ニューラルネットワーク５２に、上記学習により、予め多種類の高度のアルゴリズムを実質的に保持しておくことができる。特に、学習段階では、加速度センサ２の出力から生成された複数種類の統計データが並行してニューラルネットワーク５２に入力されるので、ニューラルネットワーク５２による学習の精度を高めることができる。また、認識段階では、ニューラルネットワーク５２は、加速度センサ２の出力から生成された複数種類の統計データを受けて、被験体９０がした動作又は行動を認識する。したがって、この行動認識装置１によれば、多種類の複雑な動作を精度良く認識できる。

また、上記行動認識装置１は、被験体９０に対する検出手段として加速度センサ２のみを備えているので、簡単かつ安価に構成され得る。また、部品数が少なくなるので、信頼性が高まる。また、被験体９０が特に人である場合は、加速度センサ２以外のセンサを体の色々なところに取り付ける必要がないので、行動認識装置１は、面倒がなく、気軽に使用され得る。

また、この実施形態では、行動認識装置１は、携帯電話１０１に対して別体として構成されたが、これに限られるものではない。行動認識装置１は、携帯電話１０１や、歩数計・活動量計、モバイルコンピュータなどの電子機器に、一体に組み込んで構成され得る。これにより、ユーザの利便性を高めることができる。

一方、加速度センサ２を本体ケーシング７とは別体に構成して、加速度センサ２（およびそれに付随した無線通信装置）のみが被験体９０に装着されるようにしても良い。この場合、加速度センサ２と本体とは無線通信装置を介して通信する。

なお、上記行動認識装置１が対象とする被験体９０は、冒頭に述べたように、代表的には人間を指すが、動物や、機械その他の移動体も含む。

１行動認識装置
２加速度センサ
３ディスプレイ部
４無線通信装置
５演算装置
６電池
７本体ケーシング
５１入力処理部
５２ニューラルネットワーク
５３出力処理部
１０１携帯電話

Claims

被験体に取り付けられるべき加速度センサと、
予め、上記被験体がした複数種類の動作又は行動と上記被験体に取り付けられた上記加速度センサの出力との間のそれぞれの対応関係に基づいて、上記加速度センサの出力から上記被験体がした動作又は行動を認識する学習を済ませたニューラルネットワークとを備えて、
上記被験体に取り付けられた上記加速度センサの出力から、上記ニューラルネットワークを通して上記被験体がした動作又は行動を認識する行動認識装置において、
上記加速度センサの出力に対して統計処理を施して、上記被験体の動きを表す特徴データとして複数種類の統計データを生成する入力処理部を備え、
上記入力処理部が生成した上記複数種類の統計データが並行して上記ニューラルネットワークに入力されるようになっていることを特徴とする行動認識装置。
請求項１に記載の行動認識装置において、
上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間における上記加速度センサの出力の分散または標準偏差とを含むことを特徴とする行動認識装置。
請求項１に記載の行動認識装置において、
上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間において上記加速度センサの出力が所定値になった回数とを含むことを特徴とする行動認識装置。
請求項１に記載の行動認識装置において、
上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間における上記加速度センサの出力の最大値および最小値、または上記最大値と最小値との間の差とを含むことを特徴とする行動認識装置。
請求項１に記載の行動認識装置において、
上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間における上記加速度センサの出力の分散または標準偏差と、上記期間において上記加速度センサの出力が所定値になった回数と、上記期間における上記加速度センサの出力の最大値および最小値、または上記最大値と最小値との間の差とのうち、少なくとも２つを含むことを特徴とする行動認識装置。