JP7342827B2 - ノイズ波形除去装置、モデル訓練装置、ノイズ波形除去方法、モデル訓練方法、及びウェアラブル機器 - Google Patents

Description

本開示は、ノイズ波形除去装置、モデル訓練装置、ノイズ波形除去方法、モデル訓練方法、及びウェアラブル機器に関する。

ランニングやウォーキングなどの運動中のユーザの運動状態を検知するため、加速度センサやジャイロセンサなどの慣性センサが利用される。ユーザは、このような慣性センサを内蔵したスマートフォン、スマートウィッチ、万歩計（登録商標）などのウェアラブル機器などを携行し、当該機器によって取得された運動状態を示す運動波形データに基づき解析された運動状態を確認することができる。

特開２００６－３４４７９号公報

一方、このようなウェアラブル機器を携行する際、ユーザは、ポーチなどの携帯バッグにウェアラブル機器を入れて携行することがある。この場合、ウェアラブル機器は、ユーザの歩行による着地衝撃だけでなく、携帯バッグとの接触、携帯バッグ内の他の携行物との接触などによる非着地衝撃も検知するおそれがある。

この場合、ウェアラブル機器によって検知される運動波形データは、所望データとしての着地衝撃に起因する波形だけでなく、ノイズである非着地衝撃による波形も含むことになり、ウェアラブル機器は、慣性センサにより取得された運動波形データからユーザの運動状態を正しく判定できなくなる。

上記課題に鑑み、本開示は、ノイズを含む運動波形データからノイズを除去するための技術を提供することである。

上記課題を解決するため、本開示の一態様は、ノイズ有り運動波形データを取得する取得部と、訓練済み生成モデルを利用して、前記ノイズ有り運動波形データに基づいてフィルタ寄与率を決定するフィルタ寄与率決定部と、前記決定したフィルタ寄与率と前記ノイズ有り運動波形データとに基づいてノイズ無し運動波形データを生成するノイズ除去部と、を有し、前記ノイズ除去部は、フィルタリングされたノイズ有り運動波形データに前記フィルタ寄与率Ｒを適用することによって第１の中間運動波形データを生成し、前記ノイズ有り運動波形データに（１－Ｒ）を適用することによって第２の中間運動波形データを生成し、前記第１の中間運動波形データと前記第２の中間運動波形データとを合成し、前記ノイズ無し運動波形データを生成するノイズ波形除去装置に関する。

本開示によると、ノイズを含む運動波形データからノイズを除去することができる。

本開示の一実施例によるノイズ波形除去装置及びモデル訓練装置を示す概略図である。 本開示の一実施例によるノイズ有り運動波形及びノイズ無し運動波形を示す図である。 本開示の一実施例によるノイズ波形除去装置のハードウェア構成を示すブロック図である。 本開示の一実施例によるモデル訓練装置のハードウェア構成を示すブロック図である。 本開示の一実施例によるノイズ波形除去処理を示す概略図である。 本開示の一実施例によるノイズ波形除去装置の機能構成を示すブロック図である。 本開示の一実施例によるノイズ波形除去処理を示すフローチャートである。 本開示の一実施例によるモデル訓練装置の機能構成を示すブロック図である。 本開示の一実施例によるモデル訓練処理を示す概略図である。 本開示の他の実施例によるモデル訓練処理を示す概略図である。 本開示の一実施例によるモデル訓練処理を示すフローチャートである。

以下の実施例では、訓練済み生成モデルを利用して、非着地衝撃に起因するノイズを含むノイズ有り運動波形データからノイズを除去したノイズ無し運動波形データを生成するノイズ波形除去装置と、識別モデルを利用して当該生成モデルをＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）に従って訓練するモデル訓練装置とが開示される。
［本開示の概要］
後述される実施例を概略すると、図１に示されるように、ノイズ波形除去装置１００は、非着地衝撃に起因するノイズを含むノイズ有り運動波形データを訓練済み生成モデルに入力し、訓練済み生成モデルからフィルタ寄与率を取得する。ノイズ波形除去装置１００は、フィルタ寄与率に従ってフィルタリングを実行し、ノイズ有り運動波形データからノイズを除去し、ノイズ無し運動波形データを生成する。例えば、運動波形を検知するウェアラブル機器によって、図２（ａ）に示されるようなポーチ衝撃に起因するノイズ有り運動波形データが検出されると、ノイズ波形除去装置１００は、図２（ｂ）に示されるように、訓練済み生成モデルから出力されたフィルタ寄与率に応じてフィルタリングを実行し、当該ノイズを除去したノイズ無し運動波形データを生成する。

当該生成モデルは、モデル訓練装置２００によってＧＡＮに従って訓練される。すなわち、モデル訓練装置２００は、訓練用ノイズ有り運動波形データと訓練用ノイズ無し運動波形データとのペアから構成される訓練データ又は正解データを訓練データデータベース５０から取得し、生成モデルと当該生成モデルに対応する識別モデルとをＧＡＮに従って訓練する。生成モデルは、訓練用ノイズ有り運動波形データからフィルタ寄与率を生成し、モデル訓練装置２００は、出力されたフィルタ寄与率に応じて訓練用ノイズ有り運動波形データにフィルタリングを実行し、擬似ノイズ無し運動波形データを取得する。

識別モデルは、擬似ノイズ無し運動波形データ、訓練用ノイズ有り運動波形データ及び訓練用ノイズ無し運動波形データの何れかを入力データとして取得すると、入力データが生成モデルによって生成された擬似データか、あるいは、訓練データであるか識別し、更に入力データがノイズを含むか否か識別する。モデル訓練装置１００は、ＧＡＮに従って、正しい識別結果を出力するように識別モデルを訓練すると共に、誤った識別結果が出力されるように生成モデルを訓練する。

本開示によると、通常のＧＡＮの学習と異なり、出力波形を直接生成する代わりに、各時刻のローパスフィルタの適用強度を生成する。出力波形そのものの多様性に比べて、ローパスフィルタの適用強度の多様性は低いため、少数の訓練データによって生成モデルを訓練することが可能になる。また、生成モデルの出力をノイズ無し運動波形データでなく、フィルタ寄与率とすることによって、ＧＡＮに固有のモード崩壊（ｍｏｄｅ ｃｏｌｌａｐｓｅ）の問題、すなわち、入力データに関わらず生成モデルが識別モデルを欺く特定のデータを出力するという問題を回避することが可能になる。
［ハードウェア構成］
ここで、ノイズ波形除去装置１００は、例えば、ウェアラブル機器に搭載され、図３に示されるようなハードウェア構成を有してもよい。すなわち、ノイズ波形除去装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、メモリ装置１０２、補助記憶装置１０３、センサ１０４、通信装置１０５及び操作手段１０６を有する。

ノイズ波形除去装置１００における後述される各種機能及び処理を実現するプログラム又は命令を含む各種コンピュータプログラムは、補助記憶装置１０３にインストールされ、メモリ装置１０２は、ノイズ波形除去装置１００の起動指示があった場合に、補助記憶装置１０３からプログラムやデータを読み出して格納する。補助記憶装置１０３及びメモリ装置１０２は、プログラム又は命令を格納する非一時的なコンピュータ可読記憶媒体として実現される。プロセッサとして機能するＣＰＵ１０１は、メモリ装置１０２に格納されたプログラムやプログラムを実行するのに必要なパラメータなどの各種データに従って、センサ１０４から取得したセンサデータに基づきノイズ波形除去装置１００の各種機能及び処理を実行する。センサ１０４は、加速度センサ、ジャイロセンサなどであってもよく、ユーザの移動に関連する各種データを検知する。通信装置１０５は、センサデータをスマートフォン、スマートウォッチなどの他の情報端末に送信する。操作手段１０６は、ノイズ波形除去装置１００を搭載するウェアラブル機器の電源オン／オフのためのスイッチ、電源オン／オフ状態を示すランプ、設定ボタン、表示パネルなどであってもよい。

一方、モデル訓練装置２００は、例えば、パーソナルコンピュータ、サーバなどの計算装置であってもよく、バスＢを介し相互接続されるドライブ装置２０１、補助記憶装置２０２、メモリ装置２０３、ＣＰＵ２０４、インタフェース装置２０５及び通信装置２０６を有する。

モデル訓練装置２００における後述される各種機能及び処理を実現するプログラム又は命令を含む各種コンピュータプログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体２０７によって提供されてもよい。プログラムを記憶した記録媒体２０７がドライブ装置２０１にセットされると、プログラムが記録媒体２０７からドライブ装置２０１を介して補助記憶装置２０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体２０７により行う必要はなく、ネットワークなどを介し何れかの外部装置からダウンロードするようにしてもよい。補助記憶装置２０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータなどを格納する。メモリ装置２０３は、プログラムの起動指示があった場合に、補助記憶装置２０２からプログラムやデータを読み出して格納する。補助記憶装置２０２及びメモリ装置２０３は、プログラム又は命令を格納する非一時的なコンピュータ可読記憶媒体として実現される。プロセッサとして機能するＣＰＵ２０４は、メモリ装置２０３に格納されたプログラムやプログラムを実行するのに必要なパラメータなどの各種データに従って、モデル訓練装置２００の各種機能及び処理を実行する。インタフェース装置２０５は、キーボード、マウスなどの入力装置、ディスプレイなどの出力装置などであり、ユーザとのユーザインタフェースとして用いられる。通信装置２０６は、外部装置と通信するための各種通信処理を実行する。

しかしながら、ノイズ波形除去装置１００及びモデル訓練装置２００は、上述したハードウェア構成に限定されるものでなく、例えば、ノイズ波形除去装置１００及びモデル訓練装置２００による機能及び処理の１つ以上を実現する１つ以上の回路などの他の何れか適切なハードウェア構成により実現されてもよい。
［ノイズ波形除去装置］
次に、図５及び６を参照して、本開示の一実施例によるノイズ波形除去装置１００を説明する。図５は、本開示の一実施例によるノイズ波形除去処理を示す概略図である。

図５に示されるように、ノイズ波形除去装置１００によると、着地衝撃に起因する波形部分と、ウェアラブル機器を入れたポーチとの接触による非着地衝撃に起因する波形部分とを含むノイズ有り運動波形データが慣性センサ（例えば、加速度センサ、ジャイロセンサなど）によって検知されると、ノイズ有り運動波形データは、訓練済み生成モデルに入力されると共に、波形全体にローパスフィルタリングが適用される。本実施例では、フィルタリング手法としてローパスフィルタリングが適用されるが、本開示はこれに限定されず、除去対象のノイズに適した他の何れか適切なタイプのフィルタリングが利用されてもよい。

本開示による生成モデルは、非着地衝撃によるノイズ有り運動波形データのサンプリングデータから、ノイズを除去するために当該時刻においてノイズ有り運動波形データにどの程度ローパスフィルタリングが適用されるべきかを示すローパスフィルタ寄与率を予測する。

ノイズ波形除去装置１００は、ローパスフィルタリングされたノイズ有り運動波形データにローパスフィルタ寄与率Ｒを乗算して第１の中間運動波形データを導出し、更にノイズ有り運動波形データに（１－Ｒ）を乗算して第２の中間運動波形データを導出する。そして、ノイズ波形除去装置１００は、第１の中間運動波形データと第２の中間運動波形データとの和をとり、図示されるようなポーチ衝撃に起因するノイズが除去されたノイズ無し運動波形データを取得する。

図６は、本開示の一実施例によるノイズ波形除去装置１００の機能構成を示すブロック図である。図６に示されるように、ノイズ波形除去装置１００は、測定データ取得部１１０、ローパスフィルタ寄与率決定部１２０及びノイズ除去部１３０を有する。

測定データ取得部１１０は、ノイズ有り運動波形データを取得する。具体的には、測定データ取得部１１０は、ユーザによって携行される慣性センサ（例えば、加速度センサ、ジャイロセンサなど）からユーザの運動波形データ、すなわち、ノイズ有り運動波形データを検知し、ローパスフィルタ寄与率決定部１２０及びノイズ除去部１３０に提供する。例えば、運動波形データは、加速度データ及び／又は角速度データから構成される。

ローパスフィルタ寄与率決定部１２０は、訓練済み生成モデルを利用して、ノイズ有り運動波形データに基づいてローパスフィルタ寄与率を決定する。具体的には、ローパスフィルタ寄与率決定部１２０は、所定のサンプリングレートによって抽出されたノイズ有り運動波形データを訓練済み生成モデルに入力し、当該ノイズ有り運動波形データから非着地衝撃に起因するノイズを除去するのに適用されるローパスフィルタリングのローパスフィルタ寄与率Ｒ（０≦Ｒ≦１）を決定する。

ローパスフィルタ寄与率Ｒは、ローパスフィルタリングの適用の程度又は強さを示す値であり、Ｒが１に近いほど、ノイズ有り運動波形データにより強いローパスフィルタリングが適用され、Ｒが０に近いほど、ノイズ有り運動波形データにより弱いローパスフィルタリングが適用される。例えば、非所望波形としての非着地衝撃に起因した波形部分には、より強いローパスフィルタリングが適用されるように１に近いＲが割り当てられる。他方、所望波形としての着地衝撃に起因した波形部分には、当該波形部分を維持するように０に近いＲが割り当てられる。

ノイズ除去部１３０は、決定したローパスフィルタ寄与率とノイズ有り運動波形データとに基づいてノイズ無し運動波形データを生成する。具体的には、ノイズ除去部１３０は、ローパスフィルタ寄与率決定部１２０によって決定されたローパスフィルタ寄与率に従ってノイズ有り運動波形データに対してローパスフィルタリングを実行し、非着地衝撃に対応する波形部分をより強力にフィルタリングし、着地衝撃に対応する波形部分を維持した擬似ノイズ無し運動波形データを生成する。すなわち、ノイズ除去部１３０によって出力されたノイズ無し運動波形データは、ノイズ有り運動波形データから、ユーザの着地衝撃以外の衝撃に起因して慣性センサによって検出されたノイズを除去した運動波形データに対応しうる。

一実施例では、ノイズ除去部１３０は、ローパスフィルタリングされたノイズ有り運動波形データにローパスフィルタ寄与率Ｒを適用することによって第１の中間運動波形データを生成し、ノイズ有り運動波形データに（１－Ｒ）を適用することによって第２の中間運動波形データを生成し、第１の中間運動波形データと第２の中間運動波形データとを合成し、擬似ノイズ無し運動波形データを生成してもよい。すなわち、図５に示されるように、ノイズ除去部１３０は、測定データ取得部１１０から取得したノイズ有り運動波形データ全体に対してローパスフィルタリングを実行し、図示されるようなローパスフィルタリングされたノイズ有り運動波形データを取得する。そして、ノイズ除去部１３０は、訓練済み生成モデルから取得したローパスフィルタ寄与率Ｒとローパスフィルタリングされたノイズ有り運動波形データとを乗算し、第１の中間運動波形データを取得する。また、ノイズ除去部１３０は、ローパスフィルタリングされていないノイズ有り運動波形データと（１－Ｒ）とを乗算し、第２の中間運動波形データを取得する。そして、ノイズ除去部１３０は、第１の中間運動波形データと第２の中間運動波形データとの和をとり、非着地衝撃に対応する波形部分、すなわち、ノイズをローパスフィルタリングした擬似ノイズ無し運動波形データを取得することができる。なお、本実施例で述べた擬似ノイズ無し運動波形データの取得の方策は上述した方法に限定されるものではなく、例えばローパスフィルタのサイズを変更したり、ローパスフィルタ寄与率Ｒの係数を０≦Ｒ≦１の間以外の範囲に設定したり等して、算出方法を変えたものであってもよい。例えば、ローパスフィルタの寄与率Ｒ´の係数を０＜Ｒ≦１として、ローパスフィルタ寄与率決定部１２０で寄与率Ｒ´を決定し、ノイズ有り運動データと寄与率Ｒ´と全体にローパスフィルタを掛けた場合のローパスフィルタ強度とに基づいて擬似ノイズ無し運動波形データを取得するようにしてもよい。
［ノイズ波形除去処理］
次に、図７を参照して、本開示の一実施例によるノイズ波形除去処理を説明する。当該ノイズ波形除去処理は、上述したノイズ波形除去装置１００によって実現され、例えば、プロセッサがプログラム又は命令を実行することによって実現されてもよい。図７は、本開示の一実施例によるノイズ波形除去処理を示すフローチャートである。

図７に示されるように、ステップＳ１０１において、ノイズ波形除去装置１００は、ノイズ有り運動波形データを取得する。具体的には、ノイズ波形除去装置１００は、ユーザが携行するウェアラブル機器に搭載された加速度センサ、ジャイロセンサなどの慣性センサから運動波形データを取得する。当該運動波形データは、着地衝撃に対応する波形部分だけでなく、慣性センサを搭載したウェアラブル機器と当該ウェアラブル機器を収納したポーチとの接触に起因する非着地衝撃に対応する波形部分とを含みうる。運動波形データは、加速度センサによって検知される空間上の３つの軸に関する運動波形データを含んでもよい。

ステップＳ１０２において、ノイズ波形除去装置１００は、処理対象次元のノイズ有り運動波形データを抽出する。例えば、ノイズ有り運動波形データが空間上の３つの軸の各軸に関する運動波形データから構成される場合、ノイズ波形除去装置１００は、各軸に対して以降のステップＳ１０２～Ｓ１０６を実行してもよい。

ステップＳ１０３において、ノイズ波形除去装置１００は、抽出したノイズ有り運動波形データに対してローパスフィルタリングを適用する。具体的には、ノイズ波形除去装置１００は、ノイズ有り運動波形データの波形全体に対してローパスフィルタリングを実行する。

ステップＳ１０４において、ノイズ波形除去装置１００は、訓練済み生成モデルに基準時刻のノイズ有り運動波形データを入力し、当該基準時刻のローパスフィルタ寄与率Ｒ（０≦Ｒ≦１）を決定する。例えば、Ｒが１に近いほど、当該波形部分に対してより強くローパスフィルタリングが適用され、Ｒが０に近いほど、当該波形部分に対してより弱くローパスフィルタリングが適用される。

ステップＳ１０５において、ノイズ波形除去装置１００は、ローパスフィルタリングされたノイズ有り運動波形データにＲを乗算し、第１の中間運動波形データを取得する。また、ノイズ波形除去装置１００は、ノイズ有り運動波形データに（１－Ｒ）を乗算し、第２の中間運動波形データを取得する。そして、ノイズ波形除去装置１００は、第１の中間運動波形データと第２の中間運動波形データとを合成し、着地衝撃に起因する波形部分が維持され、非着地衝撃に起因する波形部分がフィルタリングされたノイズ無し運動波形データを取得する。

ステップＳ１０６において、ノイズ波形除去装置１００は、処理対象の全ての次元が処理されたか判断する。全ての次元が処理された場合（Ｓ１０６：ＹＥＳ）、当該ノイズ波形除去処理は終了され、未処理の次元がある場合（Ｓ１０６：ＮＯ）、ノイズ波形除去装置１００は、ステップＳ１０２～Ｓ１０６を繰り返す。
［モデル訓練装置］
次に、図８～１０を参照して、本開示の一実施例によるモデル訓練装置２００を説明する。モデル訓練装置２００は、上述したノイズ波形除去装置１００に提供する生成モデルを訓練する。具体的には、モデル訓練装置２００は、ノイズ有り運動波形データからローパスフィルタ寄与率を決定する生成モデルをＧＡＮに従って訓練する。すなわち、モデル訓練装置２００は、生成モデルに対応して、生成モデルからの出力データと訓練データとの何れかを入力データとして取得し、入力データが出力データ又は訓練データの何れであるか識別する識別モデルを準備する。そして、モデル訓練装置２００は、ＧＡＮに従って、正しい識別結果を出力するよう識別モデルを訓練し、識別モデルが誤った識別結果を出力するよう生成モデルを訓練する。本実施例では、フィルタリング手法としてローパスフィルタリングが適用されるが、本開示はこれに限定されず、除去対象のノイズに適した他の何れか適切なタイプのフィルタリングが利用されてもよい。

図８は、本開示の一実施例によるモデル訓練装置２００の機能構成を示すブロック図である。図８に示されるように、モデル訓練装置２００は、訓練データ格納部２１０及びモデル訓練部２２０を有する。

訓練データ格納部２１０は、訓練用ノイズ有り運動波形データと訓練用ノイズ無し運動波形データとを含む訓練データを格納する。当該訓練データは、正解データと呼ばれてもよい。例えば、ユーザがポーチに収容したウェアラブル機器と、ポーチなどに収容することなくユーザに装着されたウェアラブル機器とを一緒に携行してウォーキング、ジョギングなどの運動を行い、２つのウェアラブル機器から同時に運動波形データを収集することによって、前者のウェアラブル機器の慣性センサからは訓練用ノイズ有り運動波形データが取得され、後者のウェアラブル機器の慣性センサからは訓練用ノイズ無し運動波形データが取得されうる。

モデル訓練部２２０は、訓練用ノイズ有り運動波形データに基づいてローパスフィルタ寄与率を決定する生成モデルと、ローパスフィルタ寄与率及び訓練用ノイズ有り運動波形データに基づいて生成された擬似ノイズ無し運動波形データと訓練データとを識別する識別モデルとをＧＡＮに従って訓練する。

具体的には、図９に示されるように、モデル訓練部２２０は、訓練用ノイズ有り運動波形データを訓練対象の生成モデルに入力し、ローパスフィルタ寄与率Ｒを取得する。例えば、生成モデルは、ニューラルネットワークにより実現されてもよい。モデル訓練部２２０は、訓練用ノイズ有り運動波形データの全体に対してローパスフィルタリングを実行し、取得したローパスフィルタ寄与率Ｒとローパスフィルタリングされた訓練用ノイズ有り運動波形データとに基づき、擬似ノイズ無し運動波形データを取得する。例えば、モデル訓練部２２０は、ローパスフィルタリングされた訓練用ノイズ有り運動波形データにローパスフィルタ寄与率Ｒを適用することによって第１の中間運動波形データを生成し、訓練用ノイズ有り運動波形データに（１－Ｒ）を適用することによって第２の中間運動波形データを生成し、第１の中間運動波形データと第２の中間運動波形データとを合成し、擬似ノイズ無し運動波形データを生成してもよい。

そして、モデル訓練部２２０は、生成モデルから出力された擬似ノイズ無し運動波形データ、訓練用ノイズ有り運動波形データ及び訓練用ノイズ無し運動波形データの何れかを入力データとして取得し、入力データが擬似データ（Ｆａｌｓｅ）又は訓練データ（Ｒｅａｌ）であるか識別すると共に、入力データがノイズ有り（Ｎｏｉｓｅ）又はノイズ無し（Ｎｏｒｍａｌ）であるか識別する訓練対象の識別モデルを訓練する。

具体的には、識別モデルが擬似ノイズ無し運動波形データを入力データとして取得した場合、モデル訓練部２２０は、入力データが擬似データ（Ｆａｌｓｅ）であるとの識別結果を出力するよう識別モデルを訓練する。

また、識別モデルが訓練用ノイズ有り運動波形データを入力データとして取得した場合、モデル訓練部２２０は、入力データが訓練データ（Ｒｅａｌ）であって、ノイズ有り（Ｎｏｉｓｅ）であるとの識別結果を出力するよう識別モデルを訓練する。

また、識別モデルが訓練用ノイズ無し運動波形データを入力データとして取得した場合、モデル訓練部２２０は、入力データが訓練データ（Ｒｅａｌ）であって、ノイズ無し（Ｎｏｒｍａｌ）であるとの識別結果を出力するよう識別モデルを訓練する。

なお、実際上は、識別結果はＲｅａｌ／Ｆａｌｓｅ及びＮｏｉｓｅ／Ｎｏｒｍａｌのブール値である必要はなく、確信度を示す実数値であってもよい。

一方、モデル訓練部２２０は、擬似ノイズ無し運動波形データが識別モデルによって訓練データ（Ｒｅａｌ）であって、ノイズ無し（Ｎｏｒｍａｌ）であるとの識別結果を出力するよう生成モデルを訓練する。すなわち、生成モデルは、識別モデルが誤った識別結果を出力するよう訓練される。

例えば、生成モデル及び識別モデルがニューラルネットワークから構成される場合、モデル訓練部２２０は、識別モデルが正しい識別結果を出力するように、誤差逆伝播法に従って識別モデルのパラメータを更新し、識別モデルが誤った識別結果を出力するように、誤差逆伝播法に従って生成モデルのパラメータを更新してもよい。

そして、終了条件を充足するまで、モデル訓練部２２０は、上述したモデル訓練処理を繰り返してもよい。終了条件としては、例えば、準備した全ての訓練データに対してモデル訓練処理を実行したことなどであってもよい。

本実施例によると、通常のＧＡＮの学習と異なり、出力波形を直接生成する代わりに、各時刻のローパスフィルタの適用強度を生成する。出力波形そのものの多様性に比べて、ローパスフィルタの適用強度の多様性は低いため、比較的少ない訓練データによって生成モデルを訓練することが可能になると共に、生成モデルの出力をノイズ無し運動波形データでなく、ローパスフィルタ寄与率とすることによって、ＧＡＮに固有のモード崩壊の問題、すなわち、入力データに関わらず識別モデルを欺く特定のデータを出力し続けるという問題を回避することが可能になる。

一実施例では、モデル訓練部２２０は、識別モデルの識別結果と各時刻のローパスフィルタ寄与率の総和とに基づき生成モデル及び識別モデルを訓練してもよい。具体的には、図１０に示されるように、所定のサンプリンレートによりサンプリングされた訓練用ノイズ有り運動波形データに対して、モデル訓練部２２０は、各サンプルに対応するローパスフィルタ寄与率を取得すると、取得したローパスフィルタ寄与率を合計し、ローパスフィルタ寄与率の総和を算出する。モデル訓練部２２０は、ローパスフィルタ寄与率の総和ＴＲが小さくなるように、生成モデル及び識別モデルを訓練してもよい。本実施例によると、ノイズの影響を受けない波形部分については、ローパスフィルタリングの影響を抑えることが可能になる。
［モデル訓練処理］
次に、図１１を参照して、本開示の一実施例によるモデル訓練処理を説明する。当該モデル訓練処理は、上述したモデル訓練装置２００によって実現され、例えば、プロセッサがプログラム又は命令を実行することによって実現されてもよい。図１１は、本開示の一実施例によるモデル訓練処理を示すフローチャートである。

図１１に示されるように、ステップＳ２０１において、モデル訓練装置２００は、訓練用ノイズ有り運動波形データの波形全体に対してローパスフィルタリングを実行する。

ステップＳ２０２において、モデル訓練装置２００は、訓練対象の生成モデルに訓練用ノイズ有り運動波形データを入力し、ローパスフィルタ寄与率を取得する。

ステップＳ２０３において、モデル訓練装置２００は、訓練用ノイズ有り運動波形データにローパスフィルタ寄与率を乗算し、擬似ノイズ無し運動波形データを生成する。

ステップＳ２０４において、モデル訓練装置２００は、擬似ノイズ無し運動波形データと訓練データとの何れかを入力データとして訓練対象の識別モデルに入力し、入力データが擬似データ又は訓練データであるかの識別結果を取得する。

ステップＳ２０５において、モデル訓練装置２００は、識別モデルが正しい識別結果を出力するよう識別モデルを訓練し、識別モデルが誤った識別結果を出力するよう生成モデルを訓練する。具体的には、生成モデル及び識別モデルがニューラルネットワークにより実現される場合、モデル訓練装置２００は、識別モデルが正しい識別結果を出力するよう識別モデルのパラメータを更新し、識別モデルが誤った識別結果を出力するよう生成モデルのパラメータを更新する。

ステップＳ２０６において、モデル訓練装置２００は、終了条件を充足したか判断する。例えば、終了条件は、所定数の訓練データを処理したことであってもよい。終了条件を充足しない場合（Ｓ２０６：ＮＯ）、モデル訓練装置２００は、次の訓練データに対してステップＳ２０１～Ｓ２０６を繰り返す。他方、終了条件を充足する場合（Ｓ２０６：ＹＥＳ）、モデル訓練装置２００は、当該処理を終了し、取得した生成モデルを訓練済み生成モデルとしてノイズ波形除去装置１００に提供する。

以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［付記］
本開示の一態様では、
ノイズ有り運動波形データを取得する取得部と、
訓練済み生成モデルを利用して、前記ノイズ有り運動波形データに基づいてフィルタ寄与率を決定するフィルタ寄与率決定部と、
前記決定したフィルタ寄与率と前記ノイズ有り運動波形データとに基づいてノイズ無し運動波形データを生成するノイズ除去部と、
を有するノイズ波形除去装置が提供される。

一実施例では、前記ノイズ除去部は、フィルタリングされたノイズ有り運動波形データに前記フィルタ寄与率Ｒを適用することによって第１の中間運動波形データを生成し、前記ノイズ有り運動波形データに（１－Ｒ）を適用することによって第２の中間運動波形データを生成し、前記第１の中間運動波形データと前記第２の中間運動波形データとを合成し、前記ノイズ無し運動波形データを生成してもよい。

一実施例では、前記取得部は、ユーザによって携行される慣性センサから前記ノイズ有り運動波形データを取得してもよい。

一実施例では、前記ノイズ無し運動波形データは、前記ノイズ有り運動波形データから、前記ユーザの着地衝撃以外の衝撃に起因して前記慣性センサによって検出されたノイズを除去した運動波形データに対応してもよい。

本開示の他の態様では、
訓練用ノイズ有り運動波形データと訓練用ノイズ無し運動波形データとを含む訓練データを格納する訓練データ格納部と、
前記訓練用ノイズ有り運動波形データに基づいてフィルタ寄与率を決定する生成モデルと、前記フィルタ寄与率及び前記訓練用ノイズ有り運動波形データに基づいて生成された擬似ノイズ無し運動波形データと前記訓練データとを識別する識別モデルとをＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）に従って訓練するモデル訓練部と、
を有するモデル訓練装置が提供される。

一実施例では、前記モデル訓練部は、フィルタリングされた訓練用ノイズ有り運動波形データに前記フィルタ寄与率Ｒを適用することによって第１の中間運動波形データを生成し、前記訓練用ノイズ有り運動波形データに（１－Ｒ）を適用することによって第２の中間運動波形データを生成し、前記第１の中間運動波形データと前記第２の中間運動波形データとを合成し、前記擬似ノイズ無し運動波形データを生成してもよい。

一実施例では、前記識別モデルは、前記擬似ノイズ無し運動波形データ、前記訓練用ノイズ有り運動波形データ及び前記訓練用ノイズ無し運動波形データの１つを入力データとして取得し、前記入力データが擬似データ又は訓練データであるか、及び、ノイズ有り又はノイズ無しであるか識別してもよい。

一実施例では、前記モデル訓練部は、正しい識別結果を出力するよう前記識別モデルを訓練し、前記識別モデルが誤った識別結果を出力するよう前記生成モデルを訓練してもよい。

一実施例では、前記モデル訓練部は、前記識別モデルの識別結果と各時刻のフィルタ寄与率の総和とに基づき前記生成モデル及び前記識別モデルを訓練してもよい。

本開示の他の態様では、
１つ以上のプロセッサが、ノイズ有り運動波形データを取得するステップと、
前記１つ以上のプロセッサが、訓練済み生成モデルを利用して、前記ノイズ有り運動波形データに基づいてフィルタ寄与率を決定するステップと、
前記１つ以上のプロセッサが、前記決定したフィルタ寄与率と前記ノイズ有り運動波形データとに基づいてノイズ無し運動波形データを生成するステップと、
を有するノイズ波形除去方法が提供される。

本開示の他の態様では、
１つ以上のプロセッサが、訓練用ノイズ有り運動波形データと訓練用ノイズ無し運動波形データとを含む訓練データを格納するステップと、
前記１つ以上のプロセッサが、前記訓練用ノイズ有り運動波形データに基づいてフィルタ寄与率を決定する生成モデルと、前記フィルタ寄与率及び前記訓練用ノイズ有り運動波形データに基づいて生成された擬似ノイズ無し運動波形データと前記訓練データとを識別する識別モデルとをＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）に従って訓練するステップと、
を有するモデル訓練方法が提供される。

本開示の他の態様では、
ノイズ有り運動波形データからフィルタ寄与率を決定する生成モデルであって、
前記生成モデルは、訓練用ノイズ有り運動波形データに基づいてフィルタ寄与率を決定し、前記フィルタ寄与率と前記訓練用ノイズ有り運動波形データとに基づいて生成された擬似ノイズ無し運動波形データと訓練データとを識別する識別モデルを利用したＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）に従って訓練される生成モデルが提供されてもよい。

本開示の他の態様では、
慣性センサと、
上述したノイズ波形除去装置と、
を有するウェアラブル機器が提供されてもよい。

５０ 訓練データデータベース
１００ ノイズ波形除去装置
１１０ 測定データ取得部
１２０ ローパスフィルタ寄与率決定部
１３０ ノイズ除去部
２００ モデル訓練装置
２１０ 訓練データ格納部
２２０ モデル訓練部

Claims (11)

1. ノイズ有り運動波形データを取得する取得部と、
   訓練済み生成モデルを利用して、前記ノイズ有り運動波形データに基づいてフィルタ寄与率を決定するフィルタ寄与率決定部と、
   前記決定したフィルタ寄与率と前記ノイズ有り運動波形データとに基づいてノイズ無し運動波形データを生成するノイズ除去部と、
   を有し、
   前記ノイズ除去部は、フィルタリングされたノイズ有り運動波形データに前記フィルタ寄与率Ｒを適用することによって第１の中間運動波形データを生成し、前記ノイズ有り運動波形データに（１－Ｒ）を適用することによって第２の中間運動波形データを生成し、前記第１の中間運動波形データと前記第２の中間運動波形データとを合成し、前記ノイズ無し運動波形データを生成する、ノイズ波形除去装置。
2. 前記取得部は、ユーザによって携行される慣性センサから前記ノイズ有り運動波形データを取得する、請求項１記載のノイズ波形除去装置。
3. 前記ノイズ無し運動波形データは、前記ノイズ有り運動波形データから、前記ユーザの着地衝撃以外の衝撃に起因して前記慣性センサによって検出されたノイズを除去した運動波形データに対応する、請求項２記載のノイズ波形除去装置。
4. 訓練用ノイズ有り運動波形データと訓練用ノイズ無し運動波形データとを含む訓練データを格納する訓練データ格納部と、
   前記訓練用ノイズ有り運動波形データに基づいてフィルタ寄与率を決定する生成モデルと、前記フィルタ寄与率及び前記訓練用ノイズ有り運動波形データに基づいて生成された擬似ノイズ無し運動波形データと前記訓練データとを識別する識別モデルとをＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）に従って訓練するモデル訓練部と、を有し、
   前記モデル訓練部は、フィルタリングされた訓練用ノイズ有り運動波形データに前記フィルタ寄与率Ｒを適用することによって第１の中間運動波形データを生成し、前記訓練用ノイズ有り運動波形データに（１－Ｒ）を適用することによって第２の中間運動波形データを生成し、前記第１の中間運動波形データと前記第２の中間運動波形データとを合成し、前記擬似ノイズ無し運動波形データを生成する、モデル訓練装置。
5. 訓練用ノイズ有り運動波形データと訓練用ノイズ無し運動波形データとを含む訓練データを格納する訓練データ格納部と、
   前記訓練用ノイズ有り運動波形データに基づいてフィルタ寄与率を決定する生成モデルと、前記フィルタ寄与率及び前記訓練用ノイズ有り運動波形データに基づいて生成された擬似ノイズ無し運動波形データと前記訓練データとを識別する識別モデルとをＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）に従って訓練するモデル訓練部と、を有し、
   前記モデル訓練部は、前記識別モデルの識別結果と各時刻のフィルタ寄与率の総和とに基づき前記生成モデル及び前記識別モデルを訓練する、モデル訓練装置。
6. 前記識別モデルは、前記擬似ノイズ無し運動波形データ、前記訓練用ノイズ有り運動波形データ及び前記訓練用ノイズ無し運動波形データの１つを入力データとして取得し、前記入力データが擬似データ又は訓練データであるか、及び、ノイズ有り又はノイズ無しであるか識別する、請求項４又は５記載のモデル訓練装置。
7. 前記モデル訓練部は、正しい識別結果を出力するよう前記識別モデルを訓練し、前記識別モデルが誤った識別結果を出力するよう前記生成モデルを訓練する、請求項４又は５何れか一項記載のモデル訓練装置。
8. １つ以上のプロセッサが、ノイズ有り運動波形データを取得するステップと、
   前記１つ以上のプロセッサが、訓練済み生成モデルを利用して、前記ノイズ有り運動波形データに基づいてフィルタ寄与率を決定するステップと、
   前記１つ以上のプロセッサが、前記決定したフィルタ寄与率と前記ノイズ有り運動波形データとに基づいてノイズ無し運動波形データを生成するステップと、
   を有し、
   前記１つ以上のプロセッサが、フィルタリングされたノイズ有り運動波形データに前記フィルタ寄与率Ｒを適用することによって第１の中間運動波形データを生成し、前記ノイズ有り運動波形データに（１－Ｒ）を適用することによって第２の中間運動波形データを生成し、前記第１の中間運動波形データと前記第２の中間運動波形データとを合成し、前記ノイズ無し運動波形データを生成する、ノイズ波形除去方法。
9. １つ以上のプロセッサが、訓練用ノイズ有り運動波形データと訓練用ノイズ無し運動波形データとを含む訓練データを格納するステップと、
   前記１つ以上のプロセッサが、前記訓練用ノイズ有り運動波形データに基づいてフィルタ寄与率を決定する生成モデルと、前記フィルタ寄与率及び前記訓練用ノイズ有り運動波形データに基づいて生成された擬似ノイズ無し運動波形データと前記訓練データとを識別する識別モデルとをＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）に従って訓練するステップと、を有し、
   前記１つ以上のプロセッサが、フィルタリングされた訓練用ノイズ有り運動波形データに前記フィルタ寄与率Ｒを適用することによって第１の中間運動波形データを生成し、前記訓練用ノイズ有り運動波形データに（１－Ｒ）を適用することによって第２の中間運動波形データを生成し、前記第１の中間運動波形データと前記第２の中間運動波形データとを合成し、前記擬似ノイズ無し運動波形データを生成する、モデル訓練方法。
10. １つ以上のプロセッサが、訓練用ノイズ有り運動波形データと訓練用ノイズ無し運動波形データとを含む訓練データを格納するステップと、
    前記１つ以上のプロセッサが、前記訓練用ノイズ有り運動波形データに基づいてフィルタ寄与率を決定する生成モデルと、前記フィルタ寄与率及び前記訓練用ノイズ有り運動波形データに基づいて生成された擬似ノイズ無し運動波形データと前記訓練データとを識別する識別モデルとをＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）に従って訓練するステップと、を有し、
    前記１つ以上のプロセッサが、前記識別モデルの識別結果と各時刻のフィルタ寄与率の総和とに基づき前記生成モデル及び前記識別モデルを訓練する、モデル訓練方法。
11. 慣性センサと、
    請求項１乃至３何れか一項記載のノイズ波形除去装置と、
    を有するウェアラブル機器。

Images