JP6330093B1 - 動作判定プログラム、動作判定装置、動作判定用画像生成プログラム、動作判定用画像生成装置 - Google Patents

Abstract

【課題】ウェアラブルデバイスの装着者の動作を、加速度信号から正確に判定可能な情報を生成する。【解決手段】ウェアラブルデバイスＤからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成部７４１と、出現頻度生成部７４１により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成部７４２と、ウェアラブルデバイスＤの装着者の動作を表すラベルを、これに相当する時間におけるＲＧＢデータに付与するラベル付与部７５と、共通のラベルが付された複数のＲＧＢデータの特徴に基づいて、ＲＧＢデータがラベルに相当する動作か否かを判定する判定部７６と、を有する。【選択図】図４

Description

本発明は、ウェアラブルデバイスの装着者の動作を判定するための動作判定プログラム、動作判定装置、動作判定用画像生成プログラム、動作判定用画像生成装置に関する。

従来から、個人や集団の行動を目的の状態にする等のために、各個人の動作を自動的に判定することが求められている。例えば、加速度センサを備えたウェアラブルデバイスを、各個人が装着し、それぞれの加速度センサから取得される加速度信号の波形を解析して、各個人の動作を判定する技術が提案されている。このような波形の解析の手法としては、波形がどの程度一致するかにより判定する波形マッピング、波形に含まれる周波数成分がどの程度一致するかにより判定する周波数分解などの手法などがある。

特開２００６−２０９４６８号公報

しかしながら、共通の動作であっても、各個人が示す動きについてはばらつきがあり、同じ作業の繰り返しを含む動作であっても、同じ加速度値の変化を示すわけではない。特に、一定の時間間隔を経過する間に示す加速度の値及び方向は、速さの変化、作業を行う順番などによって大きく異なる。

例えば、バーコードをセンサ（以下、バーコードリーダと呼ぶ）で読み取る動作において、バーコードリーダをバーコードに近づける動きは、同じ人間が繰り返し行っても、その都度異なった加速度の波形となり、同じ作業として特定できるほどの類似した波形を示すことはない。さらに、作業の途中で頭を掻くなど、本来の作業とは関係のない異常な動きが入った場合、波形から異常な動きに対応する部分を除去して共通の要素を抽出することはできない。

本発明は、ウェアラブルデバイスの装着者の動作を、加速度信号から正確に判定可能な情報を生成できる動作判定プログラム、動作判定装置、動作判定用画像生成プログラム、動作判定用画像生成装置を提供することにある。

以上のような目的を達成するために、本発明の動作判定プログラムは、コンピュータに、ウェアラブルデバイスからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における前記加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成処理と、前記出現頻度生成処理により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成処理と、前記所定時間間隔における前記ＲＧＢデータに、前記ウェアラブルデバイスの装着者の動作を特定するためのラベルを付与するラベル付与処理と、共通のラベルが付された複数のＲＧＢデータに基づいて、前記ＲＧＢデータに対応する前記ウェアラブルデバイスの装着者の動作を判定する判定処理と、を実行させる。

前記コンピュータに、前記加速度信号を所定のレートでサンプリングしたサンプリング値に基づいて、単位時間当たりのＸ、Ｙ、Ｚ軸方向の加速度値を生成する量子化処理と、前記加速度値に基づいて、少なくとも前記２成分の出現頻度を生成する出現頻度生成処理と、を実行させてもよい。

前記コンピュータに、前記所定時間間隔を設定する設定処理を実行させてもよい。前記設定処理は、外部の検出装置により検出された検出信号に基づいて、前記所定時間間隔を設定してもよい。前記設定処理は、長さの異なる複数の前記所定時間間隔を、階層的に設定してもよい。前記ＲＧＢの色信号のうちの１色の値を、外部の検出装置により検出された検出信号に基づく値としてもよい。

本発明は、上記の各処理の機能を実現する動作判定装置として捉えることもできる。また、本発明は、コンピュータに、上記の出現頻度生成処理及びＲＧＢデータ生成処理を実行させる動作判定用画像生成プログラム、上記の出現頻度生成部及びＲＧＢデータ生成部を有する動作判定用画像生成装置として捉えることもできる。

以上のような本発明によれば、ウェアラブルデバイスの装着者の動作を、加速度信号から正確に判定可能な情報を生成できる。

実施形態における動作判定システムを示す全体構成図 バーコード検品に使用するウェアラブルデバイスとバーコードリーダを示す説明図 実施形態におけるウェアラブルデバイスを示すブロック図 実施形態における動作判定装置を示すブロック図 加速度信号の波形を示すグラフ 加速度値の方向と範囲を示す説明図 出現頻度マップを示す説明図 ＲＧＢデータを示す説明図 バーコード検品をする装着者を示す説明図 バーコード検品の時間間隔を示す説明図 多層の時間間隔を示す説明図 時間間隔の調整を示す説明図 ＲＧＢデータの解像度の変換を示す説明図 ラベル付与の態様を示す説明図 実施形態における動作判定用画像生成処理を示すフローチャート 実施形態における学習処理を示すフローチャート 実施形態における判定処理を示すフローチャート ＲＧＢデータの分類例を示す説明図 時間間隔の区切りをずらした例を示す説明図

［構成］
［概要］
本発明を実施するための形態（以下「本実施形態」と呼ぶ）について、図面を参照して具体的に説明する。なお、本実施形態は、ウェアラブルデバイスの装着者の動作を、加速度信号に基づいて判定する動作判定システムに適用される。

動作とは、装着者の動きによって示される装着者の状態をいう。移動を停止した状態、動きを静止した状態であっても、その前後に移動や動きに相当する動作があることと、加速度信号により検出される動きは存在することから、状態を特定できるため、動作に含まれる。つまり、作業、運動のみならず、停止、静止、休憩、睡眠、姿勢、調子、作業効率、集中度合、疲労度、熟練度等も動作に含まれる。つまり、本実施形態でいう動作には、装着者の状態の概念も含まれ、動作を状態と読み替えることも、動作判定を状態判定と読み替えることもできる。装着とは、装着者の動作を特定できる程度に、装着者の動きに追従できる状態であればよい。このため、装着者に直接接している場合のみならず、装着者との間に衣服や部材が介在していてもよい。

動作を判定するとは、特定の動作であるか否かを示すことをいう。これは、特定の動作である確率を示す場合も含む。また、確率がしきい値を超えた場合に、特定の動作であることを示す場合も含む。

図１に示すように、動作判定システムＳは、ウェアラブルデバイスＤ１〜Ｄｎ（以下、単にウェアラブルデバイスＤとする）、動作判定装置Ｍ、アクセスポイントＰを有する。ウェアラブルデバイスＤは、ネットワークＮを介して相互に又は動作判定装置Ｍとの間で、情報を送受信可能な情報通信端末である。ウェアラブルデバイスＤは、本体ユニットＵと、人体に装着する装着部Ｂを有する。ウェアラブルデバイスＤとしては、例えば、腕時計型の情報通信端末を用いる。この場合、本体ユニットＵは、薄型の筐体内に、後述する処理部を備えたコンピュータを内蔵している。装着部Ｂは、図２に示すように、腕に巻いて止めるバンドである。

動作判定装置Ｍは、ネットワークＮを介して、ウェアラブルデバイスＤと情報の送受信が可能な装置である。動作判定装置Ｍには、各ウェアラブルデバイスＤからの情報が収集され、これに基づいて、装着者の動作を判定する。なお、ウェアラブルデバイスＤからの情報には、外部の装置から入力された情報も含まれる。例えば、図１及び図２に示すように、ウェアラブルデバイスＤに、Ｂｌｕｅｔооｔｈ（登録商標）のような近距離省電力無線で接続されたバーコードリーダＲからの読み取り信号も、ウェアラブルデバイスＤからの情報に含まれる。

アクセスポイントＰは、ネットワークＮとウェアラブルデバイスＤ、管理デバイスＭ１との通信の中継を行う中継装置である。このアクセスポイントＰは、位置情報を発信する発信装置でもある。アクセスポイントＰは、典型的には、ＷｉＦｉの無線ＬＡＮアクセスポイントである。各アクセスポイントＰには、識別情報、設置場所に関する位置情報が登録され、発信されるビーコンには、識別情報及び設置場所に関する情報が含まれる。例えば、設置された施設が、複数のエリアに区分され、各エリアに設置されたアクセスポイントＰに、エリア毎に異なる位置情報が付与されている。

ウェアラブルデバイスＤ、動作判定装置Ｍ、アクセスポイントＰは、主としてプログラムで制御されるコンピュータにより構成される。コンピュータは、ＣＰＵ等のプロセッサ、メモリ等の記憶媒体などにより構成されるが、ハードウェアやプログラムの実現態様は各種変更可能である。

動作判定装置Ｍは、サーバ装置により構成できる。後述する各部の処理に必要な各種の設定、演算式、パラメータ等は、あらかじめ内蔵の若しくはリムーバブルな記憶媒体が記憶している。後述する記憶部は、このような記憶媒体の記憶領域の一部として構成できる。

以下の説明では、各機能をブロックで図示した機能ブロック図を用いる。なお、本発明は、各機能を実行させるコンピュータプログラム、そのようなプログラムを記録したコンピュータ読取可能な記憶媒体としても把握できる。

［ウェアラブルデバイス］
ウェアラブルデバイスＤは、上記のように、動作の主体が身体の一部に装着する装置である。このウェアラブルデバイスＤは、図３に示すように、通信部１、現在位置判定部２、情報入力部３、情報変換部４、情報出力部５、通知情報出力部６を有する。

（通信部）
通信部１は、外部との情報の送受信を行う処理部である。通信部１は、ネットワークＮを介して、動作判定装置Ｍ及び他のウェアラブルデバイスＤとの間で情報を送受信できる。ネットワークＮは、多対１、多対多、１対１のいずれの関係でもよい。たとえば、通信部１は、ＷｉＦｉ等の無線ＬＡＮ、ＷｉＦｉ Ｄｉｒｅｃｔ等によって、管理デバイスＭ１、管理サーバＭ２、ウェアラブルデバイスＤ相互間の接続機能を有する。通信部１は、アクセスポイントＰが発信するビーコンに含まれる位置情報を受信する。この受信処理を、ビーコンスキャンと呼び、ビーコンスキャンを行うタイミングをスキャンタイミングと呼ぶ。なお、上記のように、通信部１は、ウェアラブルデバイスＤは、バーコードリーダＲなどの外部の入力装置からの情報も受信する。

（現在位置判定部）
現在位置判定部２は、通信部１が受信したアクセスポイントＰからの位置情報に基づいて、ウェアラブルデバイスＤが存在する位置、つまりスタッフの位置を判定する処理部である。現在位置判定部２は、信号検出部２１、位置判定部２２を有する。

信号検出部２１は、アクセスポイントＰから受信したビーコンに含まれる位置情報を検出する処理部である。この位置情報は、例えば、各アクセスポイントＰが設置された所定のエリアを識別する情報である。位置判定部２２は、位置情報に基づいて、ウェアラブルデバイスＤの位置を判定する処理部である。つまり、位置判定部２２は、ウェアラブルデバイスＤを装着している所持者の位置を判定する。なお、アクセスポイントＰの位置情報による位置の検出には、種々の手法が適用可能である。複数のエリアのアクセスポイントＰからのビーコンを受信した場合には、電波強度等、他の情報を加味して判定してもよい。

（情報入力部）
情報入力部３は、ウェアラブルデバイスＤの装着者の情報を入力する処理部である。情報入力部３は、加速度センサ３１、地磁気センサ３２、タッチセンサ３３、脈拍センサ３４、温度センサ３５、気圧センサ３６、ジャイロセンサ３７、カメラ３８、マイク３９を有する。

加速度センサ３１は、傾き及び振動を感知して、傾きや振動の程度に応じた電気信号に変換するセンサである。加速度センサ３１は、互いに直交するＸ軸方向、Ｙ軸方向、Ｚ軸方向の３軸方向の加速度を検出できるセンサである。地磁気センサ３２は、磁場の大きさや方向を感知して、方向に応じた電気信号に変換するセンサである。

タッチセンサ３３は、表面への接触を感知するセンサである。このタッチセンサ３３は、所持者との接触を介して情報を入力する手段である。タッチセンサ３３は、例えば、後述する表示部６２に構成されたタッチパネルであり、タップ、スライド等の入力操作を可能とする。タップは、指で表面を短くタッチすることであり、スライドは表面を指で触れながら移動させることである。但し、タップは表面に触れている時間が短い操作、スライドは表面に触れている時間が長い操作を便宜的に示したに過ぎず、フリック、スワイプ等の他の呼び名であってもよい。

脈拍センサ３４は、所持者に接触し、所持者の脈拍を検出するセンサである。この脈拍センサ３４も、所持者との接触を介して情報を入力する手段である。脈拍センサ３４としては、例えば、紫外線の照射と反射により脈拍を検出するセンサを用いることができる。

温度センサ３５は、所持者に接触して、所持者の体温に応じた電気信号に変換するセンサである。この温度センサ３５も、所持者に接触して、情報を入力する手段である。気圧センサ３６は、大気圧の検出するセンサである。例えば、圧電素子を用いた気圧センサを適用することができる。ジャイロセンサー３７は、Ｘ、Ｙ、Ｚの３軸方向の角速度を検出するセンサである。

カメラ３８は、静止画若しくは動画を撮像して、画像データ、動画データとして入力する装置である。マイク３９は、周囲の音声を電気信号に変換する入力装置である。

（情報変換部、情報出力部）
情報変換部４は、情報入力部３により入力された情報を、動作判定装置Ｍの処理に適した形式に変換する処理部である。情報の変換は、加速度センサ３１、地磁気センサ３２、脈拍センサ３４、温度センサ３５、気圧センサ３６、ジャイロセンサ３７からの信号の、加速度、振動、方向、脈拍、体温、角速度等のそれぞれの検出情報に応じたパラメータへの変換を含む。また、情報の変換は、タッチセンサ３３から入力された信号のパルス信号への変換を含む。

また、情報の変換は、カメラ３８により撮像された画像データ、動画データに基いて、所持者の姿勢、瞼の開閉度合い、表情等を示すパラメータへ変換する処理を含む。さらに、情報の変換は、マイク３９により入力された信号を、音の大きさを示すパラメータへ変換する処理を含む。

なお、情報変換部４は、情報入力部３から入力された情報を、全て変換する必要はない。例えば、情報入力部３から入力された情報をそのまま情報出力部５に出力し、これを通信部１が動作判定装置Ｍに送信してもよい。この場合、動作判定装置Ｍが、上記のような情報の変換を行う情報変換部を有する。

情報出力部５は、情報入力部３からの情報を、各ウェアラブルデバイスＤの識別情報及び位置情報とともに出力し、通信部１に送信させる処理部である。この情報出力部５が出力する識別により、これを受信した動作判定装置Ｍを使用する管理者が、各ウェアラブルデバイスＤの所持者の動作、位置、その他の状況を把握できる。

（通知情報出力部）
通知情報出力部６は、動作判定装置Ｍから受信した通知情報を、ユーザが判定可能な態様で出力する処理部である。通知情報出力部６は、振動部６１、表示部６２を有する。振動部６１は、所持者との接触を介して、通知情報を所持者に伝達する手段である。振動部６１は、例えば、モータを駆動源として、振動を発生させるバイブレータを用いることができる。振動部６１は、通知情報に応じて、連続した振動に限らず、パルス信号に応じた間欠した振動を出力することができる。

表示部６２は、例えば、静止画、動画、テキストのように、ユーザが視覚的に判定する画像を表示するディスプレイである。表示部６２は、上記のタッチセンサ３３による入力のための画面インタフェースを表示することができる。

なお、ウェアラブルデバイスＤは、図示はしないが、上記の各部の処理に必要な情報を記憶する記憶部を有する。記憶部が記憶する情報としては、上記の各部において入力、処理、出力される情報等を含む。

［動作判定装置］
動作判定装置Ｍは、上記のように、各ウェアラブルデバイスＤからの情報に基づいて、各ウェアラブルデバイスＤの装着者の動作を判定する装置である。動作判定装置Ｍは、図４に示すように、通信部７１、入力部７２、加速度値生成部７３、画像生成部７４、ラベル付与部７５、判定部７６、通知情報生成部７７、表示部７８を有する。

［通信部］
通信部７１は、ネットワークＮを介して、各ウェアラブルデバイスＤとの間で情報を送受信する処理部である。この通信部７１は、ウェアラブルデバイスＤからの情報及び位置情報を受信する受信部、ウェアラブルデバイスＤへ通知する情報を送信する送信部として機能する。

［入力部］
入力部７２は、動作判定装置Ｍに必要な各種の情報を入力する処理部である。入力部７２としては、タッチパネル、キーボード、マウス等を含む。タッチパネルは、後述する表示部７８に構成されたものも含む。

［加速度値生成部］
加速度値生成部７３は、各ウェアラブルデバイスＤの加速度センサ３１からの加速度信号に基づいて、Ｘ、Ｙ、Ｚ軸方向の加速度値を生成する処理部である。加速度信号は、各ウェアラブルデバイスＤから、通信部７１を介して継続的に受信される。この加速度信号は、図５に示すように、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向に短時間に頻繁に変化する波形となる。加速度値生成部７３は、サンプリング部７３１、量子化部７３２を有する。サンプリング部７３１は、加速度信号を所定のレートでサンプリングすることによりサンプリング値を求める処理部である。

量子化部７３２は、サンプリング部７３１が求めたサンプリング値に基づいて、単位時間当たりのＸ、Ｙ、Ｚ軸方向のそれぞれの加速度値を生成する処理部である。例えば、２Ｈｚでサンプリング値を平均化することにより、単位時間当たりの計測値を求める。つまり、０．５秒間で得られたサンプリング値を加算して回数で割る。これにより毎秒２回の計測値が得られる。計測値は、例えば、図６に示すように、−１２〜１２［ｍ／ｓ^２］の範囲とする。量子化部７３２は、計測値−１２〜１２を３２ステップ（０〜３１）の加速度値に変換する。つまり、計測値をaとすると、加速度値は、（ａ＋１２）／０．７５の整数値から、１を引いた値とする。０．７５は、（１２＋１２）／３２である。計測値ａ＝０の場合には、中央の値である１５になる。Ｘ、Ｙ、Ｚ軸方向の計測値が（０，９．８，０）の場合、加速度値は（１５，２８，１５）となる。

［画像生成部］
画像生成部７４は、動作判定用の画像を生成する処理部である。この画像生成部７４は、動作判定用画像生成装置、動作判定用画像生成プログラムとして捉えることもできる。画像生成部７４は、出現頻度生成部７４１、ＲＧＢデータ生成部７４２、時間間隔設定部７４３を有する。

（出現頻度生成部）
出現頻度生成部７４１は、加速度値に基づいて、所定時間間隔におけるＸＹ成分、ＹＺ成分、ＺＸ成分の出現頻度を生成する処理部である。出現頻度は、各成分が座標に出現した回数である。出現頻度生成部７４１は、カウント部７４１ａ、マップ生成部７４１ｂを有する。カウント部７４１ａは、各成分が座標に出現した回数をカウントする処理部である。カウント部７４１ａは、例えば、加速度値（１５，２８，１５）の場合、ＸＹ成分は座標（１５，２８）に１回、ＹＺ成分は座標（２８，１５）に１回、ＺＹ成分は座標（１５，１５）に１回、それぞれ出現したとカウントする。

マップ生成部７４１ｂは、カウント部７４１ａによりカウントされた出現頻度を、所定の座標上にマッピングする処理部である。例えば、所定時間間隔を１０秒間とすると、１０秒間に２０回、出現頻度がカウントされ、図７に示すような３２×３２の座標上に、ＸＹ成分、ＹＺ成分、ＺＸ成分毎に出現回数が記録されたマップを作成する。つまり、Ｘを横軸、Ｙを縦軸とする３２×３２の座標のマップ、Ｙを横軸、Ｚを縦軸とする３２×３２の座標のマップ、Ｚを横軸、Ｘを縦軸とする３２×３２の座標のマップの各座標毎に、出現回数を記録する。

（ＲＧＢデータ生成部）
ＲＧＢデータ生成部７４２は、出現頻度生成部７４１により記録されたＸＹ成分、ＹＺ成分、ＺＸ成分の出現頻度を、ＲＧＢの色信号のうちの３色の値としたＲＧＢデータを生成する処理部である。ＲＧＢデータ生成部７４２は、まず、ＸＹ成分のマップ、ＹＺ成分のマップ、ＺＹ成分のマップの各座標における出現頻度を、Ｒ、Ｇ、Ｂの各色の輝度を示す０〜２５５の値に正規化する。これにより、図８に示すように、１つの画素（ピクセル）についてのＲ、Ｇ、Ｂの値が決まった３つのＲＧＢの画像データが生成される。さらに、ＲＧＢデータ生成部７４２は、３つの画像データを１枚にまとめたＲＧＢの画像データを生成する。

（時間間隔設定部）
時間間隔設定部７４３は、所定の時間間隔を設定する処理部である。所定の時間間隔は、１枚のＲＧＢデータを生成するために、出現頻度生成部７４１により出現頻度が生成される時間間隔である。この時間間隔の設定により、加速度信号の内容が異なってくるので、生成されるＲＧＢデータが示す意味が異なってくる。時間間隔の設定には、以下のような態様が含まれる。

(1)基本的な時間間隔の設定
ウェアラブルデバイスＤ、動作判定装置Ｍの外部又は内部から得られる情報に基づいて、時間間隔を設定することができる。これは、比較的大まかな時間間隔の設定、概略的な時間間隔の設定となる。例えば、あらかじめ動作判定を行う時間帯を設定しておき、ウェアラブルデバイスＤの時計又は動作判定装置Ｍの時計から得られる時間があらかじめ設定された時間帯の開始時点を、時間間隔の開始時点、あらかじめ設定された時間帯の終了時点を、時間間隔の終了時点としてもよい。

工場などで、作業台毎に、異なる作業を行う場合には、ウェアラブルデバイスＤの現在位置判定部２２が判定したウェアラブルデバイスＤの装着者の位置に基づいて、位置の変化があった時点を時間間隔の区切りの時点、つまり開始時点又は終了時点としてもよい。また、複数のエリアのアクセスポイントＰからのビーコンを受信した場合の電波強度等から、ウェアラブルデバイスＤを装着している所持者の姿勢を判定できる場合には、姿勢の変化があった時点を時間間隔の区切りとしてもよい。

加速度センサ３１からの加速度信号が、あらかじめ設定したしきい値を超えた又はしきい値以下の場合を、時間間隔の区切りとしてもよい。また、加速度センサ３１からの加速度信号に基づいて情報変換部４が演算した歩数を受信できる場合に、装着者が徒歩で移動していて、所定時間内の歩数の変化がしきい値を超えた又はしきい値以下の場合を時間間隔の区切りとしてもよい。また、高低差の大きな場所を移動する場合には、気圧センサ３６からの気圧信号が、あらかじめ設定したしきい値を超えた又はしきい値以下の場合を、時間間隔の区切りとしてもよい。

睡眠中の動作を対象とする場合には、時間帯、加速度センサ３１により推測された姿勢、脈拍センサ３４からの心拍数等の睡眠時の装着者の状態を示す情報をあらかじめ設定しておき、その情報に適合するか否かを時間間隔の区切りとしてもよい。例えば、睡眠の他、移動、デスクワーク、食事などの生活に関する時間間隔の区切りも、この手法で設定できる。

ウェアラブルデバイスＤに外部から情報が入力されたタイミングを、時間間隔の区切りとしてもよい。例えば、図９及び図１０に示すように、箱から商品を取り出す「品出し」、商品に付された２つのバーコードを読み取って一致するかどうかを検査する「検品」、商品を箱に収容する「梱包」を行うバーコード検品の場合、バーコードリーダＲによる読み取り前を品出し作業、バーコードリーダＲによる読み取りデータが、１回目にウェアラブルデバイスＤに入力されたタイミングを検品作業の開始、２回目にウェアラブルデバイスＤに入力されたタイミングを検品作業の終了、その後を梱包作業とすることができる。

時間間隔の区切りとなる情報の入力は、特定の態様には限定されない。例えば、タッチセンサ３３からの情報の入力のタイミングを、時間間隔の区切りとしてもよいし、ネットワークを介したサーバ、クラウド等からの情報の入力のタイミングを、時間間隔の区切りとしてもよい。

なお、このような時間間隔の設定に、ＲＧＢデータを用いることもできる。上記のようなＲＧＢデータのうち、特定の動作を示すＲＧＢデータを、量子化を粗く、つまり解像度を低くしたＲＧＢデータをあらかじめ設定しておく。そして、受信した加速度信号に基づいて生成されたＲＧＢデータを同様の低解像度のＲＧＢデータとする。あらかじめ設定されたＲＧＢデータと生成されたＲＧＢデータとを比較して、つまりＲ、Ｇ、Ｂデータの差分をとり、その差分があらかじめ設定されたしきい値以下の場合に、あらかじめ設定されたＲＧＢデータに対応する動作があったと判定できる。しきい値よりも大きい場合に、あらかじめ設定されたＲＧＢデータに対応する動作ではないと判定できる。

このため、あらかじめ設定されたＲＧＢデータに対応する動作があったと判定できた時点、あらかじめ設定されたＲＧＢデータに対応する動作ではないと判定できた時点を時間間隔の区切りとすることができる。この場合、低解像度であり、単純に差分をとる比較であるため、必ずしも正確な動作判定ではないが、大まかな時間間隔の設定には使用することができる。

なお、上記のような時間間隔の設定は、全体の動作の一部に含まれる特定の動作を判定するために、動作の全体時間の一部の時間とすることもできる。例えば、バーコードリーダによる読み取りのタイミングによって、バーコード検品の動作の一部である検品のみについてＲＧＢデータを生成する時間間隔の設定であってもよい。

(2)階層的な時間間隔の設定
上記のように、基本的な時間間隔の設定を細分化した時間間隔、又は一定の比較的長い時間間隔を短く細分化した一定の時間間隔を設定してもよい。この場合、定期的な繰り返し作業や、同様の作業が複数回行われるような動作の場合には、時間間隔を比較的長く設定することで、動作の特徴を抽出し易くなる。但し、時間間隔を長く設定する場合、特徴を包含するための適切な開始、終了のタイミングの調整が難しい。一方、細かい作業に分割できる動作や、詳細を分析する必要のある動作の場合、時間間隔を比較的短く設定するとよい。但し、時間間隔を短く設定すると、ＲＧＢデータの特徴が安定しない、特徴が包含されないといった可能性があるので、判定の精度が落ちるおそれがある。

このような相反する要請を満たすため、図１１に示すように、長さの異なる時間間隔を階層的に設定することが好ましい。共通のサンプリング値に基づいて、異なる時間間隔で加速度値、出現頻度を求めて、それぞれの時間間隔につき１枚ずつのＲＧＢデータを生成することができる。

最適な時間間隔は、動作の特徴、判定の目的、必要な判定の精度等によって異なる。例えば、ある動作がＡ、Ｂ、Ｃ、Ｄ、Ｅという動きのセットの組み合わせに分解できる場合、時間間隔Ｔ４でＡ〜Ｅのそれぞれにおいて、ＲＧＢデータが得られることが好ましい。このような時間間隔は、動作の種類で決まるとは限らず、個人差も生じる。

最適な時間間隔を求める方法としては、例えば、図１１に示すように、比較的長い時間間隔Ｔ１を、Ｔ２→Ｔ３→Ｔ４という順序で分割しながら、それぞれの時間間隔Ｔ１〜Ｔ４で生成したＲＧＢデータに対して、後述する抽出処理、判定処理を行い、精度がしきい値を下回らない時間間隔を選択する。図１１は、３０分の時間間隔Ｔ１の設定に対して、３００秒の時間間隔Ｔ２、６０秒の時間間隔Ｔ３、１０秒の時間間隔Ｔ４のように、階層化した例である。なお、図中、？は、精度がしきい値を超えないＲＧＢデータに対応する時間間隔であることを示す。

各時間間隔で得られたＲＧＢデータを用いた判定を試行して、どの時間間隔が判定に適しているのかを調べることによって、判定に適した時間間隔を得ることができる。例えば、Ｔ１と比較して、Ｔ２、Ｔ３、Ｔ４はＲＧＢデータ数が多くなることから、精度が高くなる可能性がある。但し、図１２に示すように、各階層の時間間隔は、固定的なものではなく、精度が向上しない場合等に変更することにより調整する。例えば、時間間隔Ｔ４で得られたＲＧＢデータを用いた判定で、しきい値を下回らない精度でＡ〜Ｅの判定ができるように、これに合わせて時間間隔Ｔ１の開始と終了を調整する。

動作の細分化、つまりある上位概念の動作に、複数の下位概念の動作が含まれる場合に動作を分解する例を挙げると、以下のようなものがある。これらの動作は、調子や集中度合、熟練度などによって更に分類することもできる。
・検品作業（商品出し、検品、梱包）
・ホテルの部屋の清掃（掃除機掛け、拭き掃除、シーツ交換）
・テニス（サーブ、レシーブ、移動、打ち返し）
・マラソン（スタート、チェックポイント、中盤、終盤）

ただし、これらの動作の切り替えは、Ａ＝商品出し、Ｂ＝検品、Ｃ＝梱包のように、時間間隔と一致するとは限らない。各動作を分解できる、つまり各動作毎の時間より短い時間間隔の組み合わせに、各動作が対応する関係になることもある。例えば、商品出し→Ａ＋Ｂ＋α、検品→Ｃ−β、梱包→Ｄ＋Ｅ−γという関係になることもある。ここで、α、β、γはそれぞれ異なる時間長であるとする。また、図１１において、動作を特定できない時間間隔が生じていたように、目的とする動作以外の動きや、目的とする２つの動作の境界が、一つのＲＧＢデータに含まれてしまうことによって、動作の判定が難しくなる場合がある。

精度がしきい値を超えないＲＧＢデータが多く出現する場合には、上記の基本的な時間間隔の設定と同様に、ＲＧＢデータの解像度を下げて、生成されたＲＧＢデータ同士の差分値を算出し、差分を距離としてクラスタリングを行うことにより、動作判定に使用するＲＧＢデータと、動作判定に使用しないＲＧＢデータとに分ける。つまり、図１３に示すように、複数のピクセルをまとめてＲ、Ｇ、Ｂの値のそれぞれの平均値を求める。そして、そのまとまりのすべてのピクセルのＲ、Ｇ、Ｂの値を、求めた平均値とする。これにより、当初のＲＧＢデータよりも粗い解像度のＲＧＢデータを生成する。そして、生成されたＲＧＢデータの差分値を算出し、差分値がしきい値以下のＲＧＢデータと、差分値がしきい値を超えるＲＧＢデータとを分類して、差分値がしきい値以下のＲＧＢデータを、特徴を判定しやすいデータとして、動作判定に用いるＲＧＢデータとする。

［ラベル付与部］
ラベル付与部７５は、ウェアラブルデバイスＤの装着者の動作を表すラベルを、これに相当する時間間隔におけるＲＧＢデータに付与する処理部である。ラベルは、動作を特定するための識別情報である。付与されるラベルは、図１４に示すように、１、２、３、Ａ、Ｂ、Ｃ等の、一見して人間が意味内容を把握できない情報である。表示部７８に表示させたり、通知情報とするために、各ラベルに対応する動作の意味を人間が理解できるようにする場合には、各ラベルに動作の名称等を関連付けたテーブルを用意しておけばよい。この名称は、入力部７２から入力することができる。

ラベルは、上記の複数の層の時間間隔に対応して、複数の段階で用意されるものとする。例えば、Ｔ１の層の時間間隔で生成されるＲＧＢデータには、上位概念の動作を特定するための成果のラベルを付与する。Ｔ４の層の時間間隔で生成されるＲＧＢデータには、成果のラベルとともに、上位概念の動作に含まれる下位概念の動作、つまり動作要素を特定するための動作要素のラベルを付与する。なお、ラベルは、固定的なものとする必要はなく、精度が向上しない場合、別のラベルに対応する動作に合致している場合等に、変更することにより調整できる。

［判定部］
判定部７６は、共通のラベルが付与された複数のＲＧＢデータに基づいて、前記ＲＧＢデータに対応する前記ウェアラブルデバイスの装着者の動作を判定する処理部である。動作の判定は、複数のＲＧＢデータの共通の特徴に基づいて行う。この判定部７６としては、例えば、畳み込みニューラルネットワークを用いたディープラーニングツールを用いることができる。加速度の変化の時間的連続性に関して、ＲＧＢデータは空間的な連続性として表すことになるため、畳み込み処理との相性がよい。

判定部７６は、抽出部７６１、識別部７６２を有する。抽出部７６１は、共通のラベルが付与されたＲＧＢデータの共通の特徴を抽出する処理部である。特徴は、各ＲＧＢデータの部分画像を変換して得られる変換画像であり、以下、特徴量と呼ぶ。このような特徴量の抽出は、例えば、所定の大きさのフィルタによって、部分画像の各画素の濃淡を抽出して、変換画像の各画素値を決定していく畳み込みフィルタ、座標上の位置がずれていても同一とみなすプーリング等の処理を繰り返すことによって行うことができる。

識別部７６２は、ＲＧＢデータを、ラベルに相当するＲＧＢデータか否かを識別する処理部である。この識別は、例えば、複数のＲＧＢデータから得られた特徴量をノード（ニューロン）として結合した全結合層から開始して、複数の全結合層を経て、最終の全結合層からラベルに相当するＲＧＢデータである確率、ない確率を出力することによって行う。ラベルに相当するＲＧＢデータである確率が精度であり、ある確率とない確率は、合計で１００％となる。各全結合層の出力は、各全結合層に割り当てられた所定のパラメータと前の全結合層との出力との演算結果である。

上記の処理過程で、ゼロ未満の出力値をゼロに置き換えることによって、抽出された特徴量をより強調させることや、処理量を低減させることができる。また、全結合層同士の接続を一部切断することにより、学習データのみに最適化されてしまう過学習を防ぐこともできる。

［通知情報生成部］
通知情報生成部７７は、動作判定装置Ｍから、ウェアラブルデバイスＤに送信する通知情報を生成する処理部である。通知情報は、ウェアラブルデバイスＤの装着者に通知する情報であり、判定の精度、ラベル、指示情報を含む。判定の精度、ラベルによって、ウェアラブルデバイスＤの装着者は、自らの動作に対して正しい判定がなされているかどうかを判定することができる。指示情報は、ウェアラブルデバイスＤの装着者に、目的の状態となるように、所望の行動を促す情報である。このような通知情報の生成及び送信は、入力部７２からの入力により指示することができる。

［表示部］
表示部７８は、動作判定装置Ｍに必要な各種の情報を表示する処理部である。表示部７８は、例えば、通信部７１が受信した加速度信号、加速度値生成部７３が生成した加速度値、出現頻度生成部７４１が生成した出現頻度及びそのマップ、ＲＧＢデータ生成部７４２が生成したＲＧＢデータ、時間間隔設定部７４３が設定した時間間隔、ラベル付与部７５が付与するラベル、判定部７６による判定結果及び判定精度等を表示する。また、表示部７８は、入力部７２による入力のための画面インタフェースを表示することができる。表示部７８に表示された判定結果、判定精度等を参照した管理者は、入力部７２を用いて、時間間隔、ラベルの変更を行うことによる調整ができる。

なお、図示はしないが、動作判定装置Ｍも、上記の各部の処理に必要な情報を記憶する記憶部を有する。記憶部が記憶する情報としては、加速度信号、加速度データ、出現頻度、出現頻度マップ、ＲＧＢデータ、ラベル、ラベルと名称のテーブル、判定結果、判定精度等が含まれる。また、記憶部が記憶する情報は、あらかじめ設定される情報、しきい値等の各種の設定等を含む。

［処理手順］
以上のような本実施形態の処理の一例を、上記の図面に加えて、図１５〜図１７のフローチャートを参照して説明する。なお、以下のような手順による処理方法も、本発明の一態様である。

（動作判定用画像の生成）
まず、動作判定用のＲＧＢ画像の生成処理の手順を、図１５のフローチャートを参照して説明する。各ウェアラブルデバイスＤからの加速度信号は、通信部７１が受信し、加速度値生成部７３に入力される（ステップ１０１）。加速度値生成部７３のサンプリング部７３１は、入力された加速度信号をサンプリングしたサンプリング値を求め、量子化部７３２は、サンプリング値をＸ、Ｙ、Ｚ軸方向のそれぞれの加速度値に変換する（ステップ１０２）。

出現頻度生成部７４１のカウント部７４１ａは、所定時間間隔におけるＸＹ成分、ＹＺ成分、ＺＹ成分の出現頻度をカウントし、マップ生成部７４１ｂが、ＸＹ成分、ＹＺ成分、ＺＹ成分の各座標上に出現回数が記録されたマップを作成する（ステップ１０３）。

ＲＧＢデータ生成部７４２は、ＸＹ成分のマップ、ＹＺ成分のマップ、ＺＹ成分のマップの各座標における出現頻度を、Ｒ、Ｇ、Ｂの各色の輝度を示す値に正規化することにより、１つの画素についてのＲ、Ｇ、Ｂの値を決めた３つのＲＧＢの画像データとし、さらに３つの画像データを１枚にまとめたＲＧＢデータを生成する（ステップ１０４）。

（学習）
次に、以上のように生成されたＲＧＢデータに基づいて、動作判定を学習する処理の手順を、図１６のフローチャートを参照して説明する。ＲＧＢデータは、多数収集することにより記憶部に蓄積する。例えば、１００〜１００００枚程度収集する。このように収集したＲＧＢデータに対して、ラベル付与部７５が、時間間隔の階層毎に、ラベルを付与する（ステップ２０１）。ラベルの付与は、例えば、入力部７２からの入力に応じて分類した上で行う。このようにラベルが付与されたＲＧＢデータを、学習データと呼ぶ。

判定部７６の抽出部７６１は、学習データに基づいて、共通のラベルが付与されたＲＧＢデータの共通の特徴量を抽出し（ステップ２０２）、識別部７６２がラベルに相当するＲＧＢデータか否かの識別結果を精度によって出力する（ステップ２０３）。この処理を、全ての学習データについて行う（ステップ２０４）。全ての学習データについて識別を行って（ステップ２０４のＹＥＳ）、精度があらかじめ設定されたしきい値以下の場合には（ステップ２０４のＮＯ）、調整が必要であるとして時間間隔等（図１２参照）の調整を行う（ステップ２０６）。

この調整には、ラベルを付け変える、精度がしきい値以下のＲＧＢデータを判定の対象から排除する等の作業も含まれる。調整は、あらかじめ設定された増分又は減分だけ時間間隔を変化させる、精度がしきい値以下のＲＧＢデータを学習データから排除する等を、時間間隔設定部７４３及び判定部７６が自律的に行ってもよいし、入力部７２からの指示入力によって行ってもよい。ラベル付与部７５による自律的なラベル付与は、動作要素のラベルについて行うことが考えられる。

例えば、リアルタイム性を重視して、時間間隔の階層構造のうち、時間間隔が長い上位のＲＧＢデータと、時間間隔が短い下位のＲＧＢデータの精度を比較して、できるだけ下位のＲＧＢデータを用いてもよい。また、時間間隔は精度が高いものだけを選択すべきとは限らない。分割しすぎて時間間隔が短いものは排除して、ある程度の長さを有する時間間隔を最小の時間間隔としてもよい。

このような調整後、学習データによる認識を行い（ステップ２０２、２０３、２０４）、精度がしきい値を超えた場合には（ステップ２０５のＹＥＳ）、学習を終了する。

（動作判定）
以上のような学習後、ウェアラブルデバイスＤからの加速度信号に基づいて、ラベルに相当する動作か否かを判定する判定処理を、図１７のフローチャートを参照して説明する。まず、入力された加速度信号に基づいて、加速度値、出現頻度、ＲＧＢデータを生成する処理は、上記のステップ１０１〜１０４と同様である（ステップ３０１〜３０４）。そして、生成されたＲＧＢデータがラベルに対応する動作か否かが、判定部７５によって判定される（ステップ３０５）。この判定結果も、精度で出力される。このように新たに判定されたＲＧＢデータについても、しきい値を超える精度である場合には、ラベルを追加して、学習データに含める。新たに追加されたＲＧＢデータに基づく学習は、実際の判定処理とは別の時間に行うとよい。

なお、本来的な動作とは関係のない又は必要のない異常な動作が含まれている場合にも、ラベル付けして識別できるようにすることが好ましい。例えば、物を落として拾う、躓く、中断したなどの発生頻度の低い動きについては、ミスをチェックしたいので、その動作にラベルを付けて、異常検知に使うことができる。

以上のことから、ＲＧＢデータは、図１８に示すように分類できる。まず、正常時の動作を判定可能なＲＧＢデータの中に、細かい動作要素の判定が可能なＲＧＢデータが含まれ、動作要素の判定が可能なＲＧＢデータの中に、目的に応じた動作の判定が可能なＲＧＢデータが含まれる。つまり、正常時の動作を認識可能なＲＧＢデータには、動作の判定の対象とならないＲＧＢデータも含まれる。さらに、正常時の動作を判定可能なＲＧＢデータ以外に、上記のように、異常時の動作を判定可能なＲＧＢデータがある。

以上のように、動作が判定された場合に、ウェアラブルデバイスＤに対して、通知情報を出力してもよい。例えば、ＲＧＢデータから、作業者の動作が「疲労」であると判定された場合、又は疲労度を示すラベルが「疲労」とすべきラベルとなった場合に、通知情報生成部７７が生成した指示情報を送信する。指示情報としては、複数種の時間パターンの休憩、食事、別の作業、配置変えを促す情報をあらかじめ設定しておく。これらの指示情報を送信した結果、作業者の動作を動作判定装置Ｍにより判定すると、指示情報によって目的の状態となったか否かを判定できる。例えば、疲労であると判定されなくなった、又は疲労度を示すラベルが「疲労」とすべきラベルでなくなった等により、作業者の状態が改善されたことがわかる。これを複数回行うことにより、作業者の状態の改善に有効な通知情報を判定できる。つまり、目的に対して効果のある通知情報を決定することができ、状態改善に役立てることができる。

また、ウェアラブルデバイスＤの装着者が、マラソンランナーである場合に、練習時に取ったＲＧＢデータとこれに基づく動作判定の結果に基づいて、ペース配分のガイドや正しいフォームのガイドなどを、指示情報として送信する。これにより、より良い成果に繋がるコーチング環境を実現できる。これは、あらゆるスポーツや作業に有効となる。

［作用効果］
（１）本実施形態の動作判定プログラムは、コンピュータに、ウェアラブルデバイスＤからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成処理と、出現頻度処理により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成処理と、所定時間間隔におけるＲＧＢデータに、ウェアラブルデバイスＤの装着者の動作を特定するためのラベルを付与するラベル付与処理と、共通のラベルが付された複数のＲＧＢデータに基づいて、ＲＧＢデータに対応するウェアラブルデバイスＤの装着者の動作を判定する判定処理と、を実行させる。

また、本実施形態の動作判定装置は、ウェアラブルデバイスＤからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成部７４１と、出現頻度生成部７４１により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成部７４２と、ウェアラブルデバイスＤの装着者の動作を表すラベルを、これに相当する時間におけるＲＧＢデータに付与するラベル付与部７５と、共通のラベルが付された複数のＲＧＢデータの特徴に基づいて、ＲＧＢデータがラベルに相当する動作か否かを判定する判定部７６と、を有する。

また、本実施形態の動作判定用画像生成プログラムは、コンピュータに、上記の出現頻度生成処理、ＲＧＢデータ生成処理を実行させる。また、本実施形態の動作判定用画像生成装置は、上記の出現頻度生成部７４１、ＲＧＢデータ生成部７４２を有する。

このように、本実施形態では、所定時間間隔の加速度成分の出現頻度を用いることで、時間軸方向の不安定さの影響を抑えることができる。波形解析の場合、波形や周波数成分の時間軸方向の変化の態様を維持した状態での照合となるので、作業の順番が変化したり、作業の速度や動きの大きさに個人差があると、同一動作の判定が非常に難しい。これは、波形を写像等した場合にも、時間軸方向の変化の態様が含まれることになるので同様である。しかし、本実施形態では、例えば、所定の時間間隔内において、同じ動作に含まれる作業を異なる順番で行っても、出現頻度は同様となる可能性が高いので、同一の動作として判定できる。また、例えば、作業の速度や動きの大きさに個人差があっても、出現頻度は同様の態様を示す可能性が高いので、同一の動作として判定できる。

また、本実施形態では、出現頻度をＲＧＢデータとすることで、画像データによる判定に適したデータを生成できる。但し、畳み込みニューラルネットワークによる認識のための画像データとしては、動作対象を撮像した画像データを用いて動作を認識する方法がある。しかし、撮像した画像データから動作を認識する場合には、動作の時間軸に沿って撮像した大量の画像データを用いる必要があるため、必要な画像データが膨大となり、処理負担が増大する。また、波形解析と同様にあるいはそれ以上に、作業の順番の変化、作業の速度や動きの大きさの個人差が生じるため、認識の精度が向上しないか、向上に必要な画像データが膨大となる。つまり、動作の認識のためには、加速度信号を用いるばかりでなく、画像データを用いることも問題があることが技術常識であったといえる。

これに対して、本発明の発明者は、鋭意検討した結果、上記の技術常識に反して、動作の判定のために加速度信号を用いるが、単なる加速度信号ではなく、そのＸＹ成分、ＹＺ成分、ＺＸ成分の出現頻度に着目するに至った。そして、加速度信号を写像等するのではなく、出現頻度という単純な数値化した情報を各画素の値としたＲＧＢデータを生成することにより、時間軸に沿ったデータ量の増大を抑えて、正確な判定が実現できることを見出した。つまり、従来、着目されていなかった出現頻度を用いることを想起した上に、さらに、それを敢えてＲＧＢデータ化するという発想に至ったのである。

このように生成されたＲＧＢデータは、撮像した画像データ等と比較して、出現頻度がゼロであるためにゼロとなる領域が多くなるので、ＲＧＢデータは実質的な圧縮ファイルとなる。データサイズが軽減されるので、データ蓄積のための記憶容量が少なくて済み、転送速度も高速となる。また、学習の収束に要する計算量も抑えることができる。しかも、ＲＧＢデータは視覚化されるので、人間が見ても、ある程度のパターンが認識できる。このような利点は、仮に加速度値をそのまま画像化したり、加速度値を演算した数値をそのまま画像化しただけでは到底得られない。

（２）本実施形態の動作判定プログラムは、コンピュータに、加速度信号を所定のレートでサンプリングしたサンプリング値に基づいて、単位時間当たりのＸ、Ｙ、Ｚ軸方向の加速度値を生成する量子化処理と、加速度値に基づいて、少なくとも前記２成分の出現頻度を生成する出現頻度生成処理と、を実行させる。

また、本実施形態の動作判定装置は、加速度信号を所定のレートでサンプリングしたサンプリング値に基づいて、単位時間当たりのＸ、Ｙ、Ｚ軸成分の加速度値を生成する量子化部７３２と、加速度値に基づいて、前記２成分の出現頻度を生成する出現頻度生成部７４１と、を有する。

このため、加速度信号を量子化することにより平滑化されるため、微細な高周波成分がカットされ、動きの誤差や、ウェアラブルデバイスＤの装着ずれなどの影響も抑えることができる。さらに、量子化されているため、データが単純化され、演算処理の際の計算量が抑えられる。

（３）本実施形態の動作判定プログラムは、コンピュータに、所定時間間隔を設定する設定処理を実行させる。このため、動作の判定結果に応じて時間間隔を調整することにより、正確な判定が可能となる。

（４）本実施形態の動作判定プログラムは、外部の検出装置により検出された検出信号に基づいて、所定時間間隔を設定する。このため、例えば、バーコード検品のように、動作の区切りと時間間隔の区切りを一致させることが容易となり、正確な判定を実現できる。

（５）本実施形態の動作判定プログラムは、長さの異なる複数の所定時間間隔を、階層的に設定する。このため、多様な時間間隔で判定を試すことにより、正確な動作判定のために最適な時間間隔を設定することができる。

［変形例］
本発明は上記の態様に限定されるものではない。
（１）出現頻度をＲＧＢデータに変換する際に、時間間隔の区切りのタイミングの問題がある。例えば、組み立て作業の工程が、Ａ、Ｂ、Ｃである場合に、Ａの途中からＢの途中、Ｂの最後の動作とＣがというように、一方の動作の区切りのタイミングが他方の動作の区切りのタイミングと一致しない場合がある。この場合、時間間隔の区切りのタイミングが、各階層で一致しているとＲＧＢデータを取得する時間間隔の階層を変えても、動作の区切りのタイミングと時間間隔の区切りのタイミングの相違が一定で変わらないため、精度が上がらない可能性がある。

これに対処するために、図１９に示すように、ＲＧＢデータに変換する時間間隔を、オーバーラップさせてもよい。つまり、階層的に設定された時間間隔は、上位層の時間間隔の区切りと下位層の時間間隔の区切りとが一致している必要はない。時間間隔の区切りをずらすことにより、上位層と下位層の時間間隔をオーバーラップさせることができる。時間間隔の変更による調整の場合と同様に、オーバーラップの加減、つまりずれの量を変更しながら、判定精度を確認し、適切なずれ量を見つける。

これにより、各層の区切りを共通のタイミングとした場合に比べて、時間間隔の区切りと動作の区切りとが一致するＲＧＢデータが生じる可能性や、異なる動作の計測データが含まれないＲＧＢデータが生じる可能性を高めることができる。

また、オーバーラップによって、多様なＲＧＢデータを得ることができるので、精度の高いＲＧＢデータを生じる可能性が高くなり、ディープラーニング等による判定の精度を高めることができる。また、時間間隔を短くする場合と同様に、状況の変化を早期に判定することができる。

（２）学習する際のデータとしては、出現頻度は、ＸＹ成分、ＹＺ成分、ＺＹ成分の３成分が、それぞれＲ、Ｇ、Ｂのいずれかに割り当てられることによって、特徴が抽出できる可能性が高くなる。しかし、ＲＧＢデータへの変換に用いられる出現頻度は、ＸＹ成分、ＹＺ成分、ＺＹ成分のうち、少なくとも２成分であれば、動作の判定はできる。このため、ＸＹ成分、ＹＺ成分のように２成分を、Ｒ、Ｇの２つの値として、他の１つであるＢの値は、動作に関連する別の値としてもよい。つまり、ＲＧＢの色信号のうちの１色の値を、出現頻度とは異なる種類のパラメータ値としてもよい。例えば、加速度値のＺとＸの値の変化量としたり、ジャイロセンサ３７からの角速度の値としてもよい。これにより、出現頻度とは異なる種類のパラメータ値が顕著な特徴を示す動作の場合に、判定精度が高まることになる。

（３）装着者としては、動く物体であればよい。人間の他、動物、車等の移動体、ロボット等であってもよい。但し、本発明は、人間の複雑で多様な動きから動作を判定できるという利点がある。装着部による体への装着は、動作を特定できる加速度信号が得られる程度に装着できればよい。腕の他、手指、頭部、首、胸、腰、足等、体のどの位置に装着してもよい。このため、装着部も、バンド、ベルト、紐、メガネ、耳栓等の他、粘着テープ、両面粘着シート、面ファスナー等でもよい。衣類、帽子類、サポーター、アクセサリー、履物等を装着部としてもよい。本体ユニットが直接肌に触れなくてもよい。つまり、情報の伝達のための接触は、肌に対して直接的なものであっても、装着部の一部が介在する間接的なものであってもよい。

１ 通信部
２ 現在位置判定部
２１ 信号検出部
２２ 位置判定部
３ 情報入力部
３１ 加速度センサ
３２ 地磁気センサ
３３ タッチセンサ
３４ 脈拍センサ
３５ 温度センサ
３６ 気圧センサ
３７ ジャイロセンサ
３８ カメラ
３９ マイク
４ 情報変換部
５ 情報出力部
６ 通知情報出力部
６１ 振動部
６２ 表示部
７１ 通信部
７２ 入力部
７３ 加速度値生成部
７４ 画像生成部
７４１ 出現頻度生成部
７４１ａ カウント部
７４１ｂ マップ生成部
７４２ ＲＧＢデータ生成部
７４３ 時間間隔設定部
７５ ラベル付与部
７６ 判定部
７６１ 抽出部
７６２ 識別部
７７ 通知情報生成部
７８ 表示部
Ｄ ウェアラブルデバイス
Ｐ アクセスポイント
Ｒ バーコードリーダ
Ｍ 動作判定装置
Ｎ ネットワーク
Ｓ 動作判定システム

Claims (10)

1. コンピュータに、
   ウェアラブルデバイスからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における前記加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成処理と、
   前記出現頻度生成処理により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成処理と、
   前記所定時間間隔における前記ＲＧＢデータに、前記ウェアラブルデバイスの装着者の動作を特定するためのラベルを付与するラベル付与処理と、
   共通のラベルが付された複数のＲＧＢデータに基づいて、前記ＲＧＢデータに対応する前記ウェアラブルデバイスの装着者の動作を判定する判定処理と、
   を実行させることを特徴とする動作判定プログラム。
2. 前記コンピュータに、
   前記加速度信号を所定のレートでサンプリングしたサンプリング値に基づいて、単位時間当たりのＸ、Ｙ、Ｚ軸方向の加速度値を生成する量子化処理と、
   前記加速度値に基づいて、少なくとも前記２成分の出現頻度を生成する出現頻度生成処理と、
   を実行させることを特徴とする請求項１記載の動作判定プログラム。
3. 前記コンピュータに、前記所定時間間隔を設定する設定処理を実行させることを特徴とする請求項１又は請求項２記載の動作判定プログラム。
4. 前記設定処理は、外部の検出装置により検出された検出信号に基づいて、前記所定時間間隔を設定することを特徴とする請求項３記載の動作判定プログラム。
5. 前記設定処理は、長さの異なる複数の前記所定時間間隔を、階層的に設定することを特徴とする請求項３又は請求項４記載の動作判定プログラム。
6. 前記ＲＧＢの色信号のうちの１色の値を、前記出現頻度とは異なるパラメータ値とすることを特徴とする請求項１乃至５のいずれかに記載の動作判定プログラム。
7. ウェアラブルデバイスからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における前記加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成部と、
   前記出現頻度生成部により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成部と、
   前記ウェアラブルデバイスの装着者の動作を表すラベルを、これに相当する時間における前記ＲＧＢデータに付与するラベル付与部と、
   共通のラベルが付された複数のＲＧＢデータの特徴に基づいて、各ＲＧＢデータが前記ラベルに相当する動作か否かを判定する判定部と、
   を有することを特徴とする動作判定装置。
8. 前記加速度信号を所定のレートでサンプリングしたサンプリング値に基づいて、単位時間当たりのＸ、Ｙ、Ｚ軸方向の加速度を数値化する量子化部と、
   前記加速度値に基づいて、前記２成分の出現頻度を演算する演算部と、
   を有することを特徴とする請求項７記載の動作判定装置。
9. コンピュータに、
   ウェアラブルデバイスからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における前記加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成処理と、
   前記出現頻度生成部により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成処理と、
   を実行させることを特徴とする動作判定用画像生成プログラム。
10. ウェアラブルデバイスからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における前記加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成部と、
    前記出現頻度生成部により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成部と、
    を有することを特徴とする動作判定用画像生成装置。