JP7499425B1 - 見守り支援システム、装置、方法及びプログラム - Google Patents

Abstract

見守り対象者の居住空間に設けられた１又は複数のセンサにおいて検出された時系列センサ情報を取得する、センサ情報取得部と、前記時系列センサ情報に基づいて特徴量を生成する、特徴量生成部と、所定の因子を用いて前記特徴量に基づいて因子分析を行う、因子分析部と、前記因子分析結果に基づいて、前記因子の時間的変化を特定する、時間変化特定部と、前記時間的変化に基づいて、見守り対象者の状態遷移に関する予測情報を生成する、予測情報生成部と、を備える見守り支援システムが提供される。【選択図】図１１

Description

この発明は、システム、特に、高齢者等の見守りを支援するシステム等に関する。

高齢社会の到来に伴い、高齢者や要介護者等の生活を遠隔地等から見守ることを支援するシステムに関するニーズが増しており、従前より様々な見守り支援システムが提案されている。例えば、特許文献１には、住居空間内に設けられたセンサの検出値を介して見守り対象者の生活状況を見守るシステムが開示されている。

特開２０１６－１７３７３２号公報

ところで、従前の多くのシステム（例えば、特許文献１）では、センサを介して見守り対象者の現在の状態を特定し、当該状態が所定の条件を満たす場合に、見守り者に対して所定の通知を行うというものであった。

しかしながら、このような構成では、何が起きるか見通しが立たないため、見守りを行う者は、常に見守り支援システムを確認可能な状態を維持する必要があり、見守り負担は大きかった。

本発明は、上述の技術的背景に鑑みてなされたものであり、その目的は、見守り者の見守り負担を低減することが可能なシステム等を提供することにある。

上述の技術的課題は、以下の構成を有する見守り支援システム等により解決することができる。

すなわち、本発明に係る見守り支援システムは、見守り対象者の居住空間に設けられた１又は複数のセンサにおいて検出された時系列センサ情報を取得する、センサ情報取得部と、前記時系列センサ情報に基づいて特徴量を生成する、特徴量生成部と、所定の因子を用いて前記特徴量に基づいて因子分析を行う、因子分析部と、前記因子分析結果に基づいて、前記因子の時間的変化を特定する、時間変化特定部と、前記時間的変化に基づいて、見守り対象者の状態遷移に関する予測情報を生成する、予測情報生成部と、を備えている。

このような構成によれば、見守り対象者の居住空間に設けられたセンサにおいて検出された時系列センサ情報から得られる特徴量の背景にある因子の変化から見守り対象者の状態遷移に関する予測情報を生成することができる。見守り者は、この予測情報に基づいて見守り対象者の状態に関して一定の見通しを立てることができるので、見守り負担が軽減される。

本発明によれば、見守り者の見守り負担を軽減することができる。

図１は、見守り支援システムの全体構成図である。 図２は、情報処理装置のハードウェア構成図である。 図３は、サーバ装置のハードウェア構成図である。 図４は、センサ装置をキッチンに配置された冷蔵庫に取り付ける例について示した説明図である。 図５は、センサ装置を寝室に取り付ける例について示した説明図である。 図６は、センサ装置を廊下の手すりに取り付ける例について示した説明図である。 図７は、センサ装置を洋室に置かれた肘掛け椅子に取り付ける例について示した説明図である。 図８は、センサ装置を寝室に取り付ける場合の他の例について示した説明図である。 図９は、センサ装置を部屋の移動に用いる扉に取り付ける例について示した説明図である。 図１０は、学習処理を実行するときのサーバ装置の機能ブロック図である。 図１１は、見守り支援動作を行うときのサーバ装置の機能ブロック図である。 図１２は、センサ装置を対応付ける処理を行う際に情報処理装置に表示される画面の一例である。 図１３は、部屋と見守り対象者の状態との関係性を示す説明図である。 図１４は、学習処理に関するゼネラルフローチャートである。 図１５は、前処理の詳細フローチャート（その１）である。 図１６は、見守り処理に関するゼネラルフローチャートである。 図１７は、前処理の詳細フローチャート（その２）である。 図１８は、活動量の表示例を示す説明図である。 図１９は、活動量に関する他の表示例を示す説明図である。 図２０は、因子分析処理の詳細フローチャートである。 図２１は、因子遷移の組み合わせに関する説明図である。

以下、本発明の好適な実施の形態について添付の図面を参照しつつ詳細に説明する。

（１．第１の実施形態）
第１の実施形態として、本発明を高齢者や要介護者等の見守り支援システム１００に対して適用した例について説明する。なお、本実施形態においては、便宜上、見守り支援システム１００を利用して見守る側の者を見守り者、見守り支援システム１００により見守られる側の者を見守り対象者と称する。

（１．１ 見守り支援システムの構成）
図１は、本実施形態に係る見守り支援システム１００の全体構成図である。同図から明らかな通り、見守り支援システム１００は、複数のセンサ装置１０（センサ装置１（１０－１）、センサ装置２（１０－２）、・・・、センサ装置Ｎ（１０－Ｎ））と、情報処理装置２０と、サーバ装置３０を含み、これらの装置は互いにインターネット等のネットワークを介して接続されている。なお、本ネットワークの構成は例示である。また、サーバ装置３０はクラウド上に実装されてもよい。

センサ装置１０は、後述するように、見守り対象者の居住空間の各部屋に対応して配置されている。センサ装置１０は、見守り対象者をセンシングするためのセンサと、ＲＯＭ、ＲＡＭ等であってプログラムや各種のデータを記憶する記憶部と、ＣＰＵ等の制御部と、外部装置との情報の授受を行うための通信ユニットを含む通信部と、を含む。センサ装置１０のセンサにおいて検出された情報は、ネットワークを介して他の装置、例えば、サーバ装置３０へと送信される。

図２は、本実施形態に係る情報処理装置２０のハードウェア構成図である。同図から明らかな通り、情報処理装置２０は、記憶部２１と、制御部２２と、通信部２３と、操作入力部２５と、オーディオ出力部２６と、表示出力部２７と、Ｉ／Ｏ部２８とを備え、それらは互いにバス等を介して接続されている。

記憶部２１は、ＲＯＭ／ＲＡＭ、ハードディスク、フラッシュメモリ等の記憶部であり、後述の動作を実行する各種のプログラム又はデータを記憶している。制御部２２は、ＣＰＵ等の制御装置であり、プログラムを実行して後述の各種の動作を実現する。通信部２３は、ネットワークを介して外部装置との間の情報の授受を行うための通信ユニットである。操作入力部２５は、マウス、キーボード、タッチパネル等の入力装置を介して検出された入力情報を制御部２２へと提供する。オーディオ出力部２６は、制御部２２による制御に応じて、接続されたスピーカ等の出力装置へと音声出力を行う。表示出力部２７は、制御部２２による制御に応じて、ディスプレイ等の表示出力装置へと画像情報の出力を行う。Ｉ／Ｏ部２８は、外部装置との間において入出力処理を行う。

情報処理装置２０は、センサ装置２０又はサーバ装置３０との間で情報の授受を行う。情報処理装置２０を操作することで、見守り者やシステム導入者は後述の各種の設定処理を行うことができる。また、情報処理装置２０を介して見守り者に対して後述の各種情報の提示を行うことができる。

図３は、本実施形態に係るサーバ装置３０のハードウェア構成図である。同図から明らかな通り、サーバ装置３０は、記憶部３１と、制御部３２と、通信部３３と、操作入力部３５と、オーディオ出力部３６と、表示出力部３７と、Ｉ／Ｏ部３８とを備え、それらは互いにバス等を介して接続されている。

記憶部３１は、ＲＯＭ／ＲＡＭ、ハードディスク、フラッシュメモリ等の記憶部であり、後述の動作を実行する各種のプログラム又はデータを記憶している。制御部３２は、ＣＰＵ、ＧＰＵ等の制御装置であり、プログラムを実行して後述の各種の動作を実現する。通信部３３は、ネットワークを介して外部装置との間の情報の授受を行うための通信ユニットである。操作入力部３５は、マウス、キーボード、タッチパネル等の入力装置を介して検出された入力情報を制御部３２へと提供する。オーディオ出力部３６は、制御部３２による制御に応じて、接続されたスピーカ等の出力装置へと音声出力を行う。表示出力部３７は、制御部３２による制御に応じて、ディスプレイ等の表示出力装置へと画像情報の出力を行う。Ｉ／Ｏ部３８は、外部装置との間において入出力処理を行う。

サーバ装置３０は、センサ装置１０又は情報処理装置２０との間で情報の授受を行い、後述の種々の処理を実行する。

センサ装置１０は、見守り対象者の居住空間内の様々な箇所に取り付けられる。例えば、部屋の床や壁、手すり、家電又は家具等である。

図４は、センサ装置１０をキッチンに配置された冷蔵庫１１に取り付ける例について示した説明図である。同図から明らかな通り、冷蔵庫１１は、上下２段の構成を有し、上段には２つの両開き扉１１１が配置され、下段には引き出し式の格納庫１１３が配置されている。同図（Ａ）は、閉扉時の冷蔵庫の全体構成を示している。同図（Ｂ）は、上段の両開き扉１１１の開閉に関する説明図である。同図（Ｃ）は、下段の格納庫１１３の開閉に関する説明図である。

同図（Ａ）から明らかな通り、両開き扉１１１の各扉には、センサ装置１０のセンサとして加速度センサ１１０が備えられている。また、下段の格納庫１１３にも、センサ装置１０のセンサとして加速度センサ（不図示）が備えられている。

同図（Ｂ）から明らかな通り、両開き扉１１１の各扉には加速度センサ１１０が備えられている。この加速度センサ１１０において得られる時系列信号より、扉の開閉を検出することができる。また、扉の内側に飲料等の容器が格納されると扉が重くなる。同図（Ｂ）の左右の図から明らかな通り、この重量の変化は加速度センサ１１０における検出値の変化として検出することができることから、扉の内側に配置された容器の有無や内容量も間接的に検出される。

同図（Ｃ）から明らかな通り、格納庫１１３は加速度センサ（不図示）を備えており、この加速度センサにおいて得られる時系列信号により、格納庫１１３の開閉を検出することができる。また、格納庫１１３に飲料等の容器が格納されると格納庫１１３の重量が大きくなる。同図（Ｃ）の左右の図から明らかな通り、この重量の変化は加速度センサにおける検出値の変化として検出することができることから、格納庫１１３内の容器の有無や内容量も間接的に検出される。

図５は、センサ装置１０を寝室に取り付ける例について示した説明図である。同図（Ａ）は配置構成例を示す図であり、同図（Ｂ）は集音例に関する説明図である。同図（Ａ）から明らかな通り、寝室のベッド１２２の周辺には、センサ装置１０のセンサとして、左右一対のマイクロホン、すなわち、マイクロホン１２１(Ｌ）とマイクロホン１２１（Ｒ）が配置されている。これらのマイクロホンがベッド１２２に寝ている見守り対象者から発生する音を時系列で収集する。例えば、同図（Ｂ）に示される通り、見守り対象者の呼吸音や咳をその集音により得られた音圧波形から検出することができる。なお、検出にあたっては、ビームフォーミングによる目的エリア（ベッド１２２周辺）の集音や、目的音以外のノイズ除去等の公知の種々の信号処理を行ってもよい。

図６は、センサ装置１０を廊下の手すりに取り付ける例について示した説明図である。同図（Ａ）に示される通り、棒状の手すり１３１には、センサ装置１０のセンサとして、ひずみセンサ１３２が備えられている。このひずみセンサ１３２から得られる時系列信号から手すりに加えられる荷重やねじりモーメント等を検出することができる。これらを検出することにより対象者の状態、例えば、手や足腰が不自由か否か等を検出することができる。

また、複数の手すりに対してそれぞれひずみセンサを設けてもよい。同図（Ｂ）においては、３つの手すり１３１（１３１－１、１３１－２、１３１－３）が連続して配置され、各手すり１３１にはそれぞれひずみセンサ１３２（１３２－１、１３２－２、１３２－３）が取り付けられている。このような複数のセンサを備える構成によれば、各ひずみセンサ１３２で荷重やねじりモーメントが検出可能なばかりでなく、各ひずみセンサ１３２から得られた時系列信号を統合的に解析することで、手すりにつかまりながら移動する見守り対象者の移動速度を算出することもできる。

図７は、センサ装置１０を洋室に置かれた肘掛け椅子に取り付ける例について示した説明図である。同図（Ａ）に示される通り、肘掛け椅子１５の左右の肘掛けには、センサ装置１０のセンサとして一対のひずみセンサ１５１（１５１（Ｌ）、１５１（Ｒ））が取り付けられている。この一対のひずみセンサ１５１において検出される荷重、振動、ひずみ等の時系列信号から種々の情報を検出することができる。

同図（Ｂ）は、一対のひずみセンサ１５１で検出される信号の例である。このような信号から、検出される荷重の大きさやタイミング、左右差等から、見守り対象者の利き手、脚力、姿勢、呼吸等を推定することができる。

同図（Ｃ）は、一対のひずみセンサ１５１において検出される信号の他の例である。このような周期的な信号から見守り対象者の呼吸等の状態を推定することができる。

図８は、センサ装置１０を寝室に取り付ける場合の他の例について示した説明図である。同図の例にあっては、ベッド１６２の４つの足の裏には、センサ装置１０のセンサとしてそれぞれひずみセンサ１６３が配置されている。このひずみセンサ１６３から得られる時系列信号から、例えば、見守り対象者のベッド１６２上での状態を推定することができる。また、ベッド１６２から所定距離離れた位置には、センサ装置１０のセンサとして距離センサ１６１が配置されている。この距離センサ１６１から得られる時系列信号から、例えば、見守り対象者の挙動を検出することができる。

図９は、センサ装置１０を部屋の移動に用いる扉に取り付ける例について示した説明図である。同図から明らかな通り、扉１７１は、ノブを回転させて押し引きすることにより開閉可能に構成され、扉１７１及びノブには加速度センサ１７２、１７３が取り付けられている。この加速度センサ１７２から得られる時系列信号からドアの開閉の有無、開閉速度等を検出することができる。なお、これらを通じて部屋の移動やその部屋で行われる行動の頻度等を算出することもできる。

以上、センサ装置１０のセンサの取り付け例について説明したが、いずれも単なる例示であって、本発明はこのような構成に限定されない。従って、見守り対象者の生活状態を検出するために、どのようなセンサを用いてもよいし、取り付け箇所も様々に変形可能である。

図１０は、後述の学習処理を実行するときのサーバ装置３０の機能ブロック図である。同図から明らかな通り、サーバ装置３０は、センサ装置１０にて検出された時系列のセンサデータをその記憶部３１から読み出して取得する学習用センサデータ取得部３０１を複数備えている。

学習用センサデータ取得部３０１にて取得された時系列センサデータは、センサの種類に応じて、周波数領域へと変換され又はそのまま時間領域のデータとして特徴量生成処理部３０５へと供される。すなわち、学習用センサデータ取得部３０１にて取得された一部の時系列データは、スペクトログラム変換部３０２へと提供されて周波数領域へと変換され、一方、その他の時系列データは時間領域の信号としてそのまま特徴量生成処理部３０５へと供される。

スペクトログラム変換部３０２は、時系列センサデータが入力されると、所定の単位で時系列センタデータをスペクトログラムへと変換して前処理部３０３へと出力する。前処理部３０３は、スペクトログラム変換部３０２から提供された周波数領域信号に対して所定の前処理を施し、前処理後の信号をセンサ毎に特徴量生成処理部３０５へと提供する。

特徴量生成処理部３０５は、周波数領域信号又は時間領域信号に基づいて、センサ毎に最適な特徴量生成処理を行う。本実施形態においては、周波数領域信号の特徴量として、例えば、メル周波数ケプストラム係数を含むＭＦＣＣ特徴量や、ディープラーニング等により生成された所定の学習済モデルの出力等を採用することができる。また、時間領域の特徴量として、例えば、過渡特性（その傾き等を含む）や、ディープラーニング等により生成された所定の学習済モデルの出力等を採用することができる。なお、周波数領域信号として、そのままスペクトログラムを採用してもよい。

特徴量生成処理部３０５の出力、すなわち、生成された各特徴量は、正規化処理部３０６へと提供される。正規化処理部３０６は、各特徴量を得点化する等して正規化する。これにより、各特徴量を同一の特徴量空間において取り扱うことができるようになる。

特徴量生成処理部３０５は、学習処理部３０７へと特徴量を提供する。また、このとき、学習用パラメータ取得部３０８は、学習処理部３０７へと学習に必要な種々のパラメータを提供する。

学習処理部３０７は、提供された各特徴量とパラメータに基づいて学習処理を行う。この学習処理は、例えば、クラスタリングモデルをトレーニングする処理である。本実施形態においては、クラスタリングアルゴリズムとして、例えば、ＤＢＳＣＡＮ（Density-Based Spatial Clustering of Applications with Noise）を採用するものの、他のクラスタリングアルゴリズムを用いてもよい。また、他の分類アルゴリズムを採用してもよい。

学習処理部３０７にて生成された学習済モデルは定義情報提供部３０９へと提供される。定義情報提供部３０９は、所定のアルゴリズム又はユーザからの設定入力に応じて、出力に対する所定の定義処理を行う。この定義処理とは、クラスタリングモデルの出力ノードがどのセンサのアクティビティに対応するかを出力挙動に応じて定義付ける処理である。

記憶処理部３１０は、学習処理部３０７にて生成された学習済モデルと、定義情報提供部３０９にて生成された定義情報を記憶部３１へと記憶する処理を行う。

図１１は、見守り支援動作を行うときのサーバ装置３０の機能ブロック図である。同図から明らかな通り、センサデータ取得部３２１から正規化処理部３２６までの構成（センサデータ取得部３２１、スペクトログラム変換部３２２、前処理部３２３、特徴量生成処理部３２５、正規化処理部３２６）は、学習処理に係る構成（学習用センサデータ取得部３０１、スペクトログラム変換部３０２、前処理部３０３、特徴量生成処理部３０５、正規化処理部３０６）と略同一であるので詳細な説明は省略する。なお、取り扱うデータが学習段階においては学習用センサデータであったのに対し、同図の例にあっては、センサ装置１０にて新たに取得されてサーバ装置３０へと提供されたセンサデータである点において相違する。

正規化処理部３２６において正規化された特徴量は、活動量生成部３２７へと提供される。活動量生成部３２７は、提供された各特徴量に基づいてセンサ毎の活動量（アクティビティ）を算出し、出力処理部３３５へと提供する。出力処理部３３５は、活動量を見守り者に対して提示するための処理を行う。なお、活動量は、クラスタリング処理の結果から算出してもよい。

また、正規化処理部３２６において正規化された特徴量は、クラスタリング処理部３２８へも提供される。クラスタリング処理部３２８は、学習処理により生成された学習済モデルに対して正規化された各特徴量を入力してクラスタリングする処理を行う。このクラスタリング処理結果は、出力処理部３３５へと提供される。出力処理部３３５は、クラスタリング処理の結果を、見守り者に対して提示するための処理を行う。

クラスタリング処理部３２８において生成されたクラスタリング結果は、因子分析処理部３２９へと提供される。因子分析処理部３２９は、クラスタリング処理結果に基づいて所定の因子について因子分析処理を行い、因子分析処理結果として因子負荷量、因子得点及び因子得点の平均値等を算出する。

状態推定部３３１は、因子分析処理の結果に基づいて、見守り対象者の状態を推定し、推定結果を出力処理部３３５へと出力する。出力処理部３３５は、提供された情報を見守り者に対して提示するための処理を行う。

また、状態遷移推定部３３２は、因子分析結果に基づいて、見守り対象者の状態遷移を推定する処理を行い、異常検出部３３３へとその結果を提供する。異常検出部３３３は、状態遷移の程度から異常検出を行い、その結果を出力処理部３３５へと提供する。出力処理部３３５は、状態遷移に関する情報と異常に関する情報を見守り者に対して提示するための処理を行う。

（１．２ 見守り支援システムの動作）
次に、見守り支援システム１００の動作について説明する。見守り支援システム１００を適切に動作させるため、見守り者又は見守り支援システム１００の導入者は、事前に、居住空間へとセンサ装置１０を設置すると共に、見守り支援システム１００上でセンサ装置１０と居住空間の間取りとを対応付ける処理を行う。また、見守り者は、事前に、所定の学習データに基づいて、学習処理を行う。

（１．２．１ 居住空間へのセンサの設置と事前設定）
見守り者等の設定者は、まず、見守り対象者の居住空間に種々のセンサ装置１０を種々の態様で設置する（図４～図９参照）。これにより、見守り対象者の挙動をセンサ装置１０のセンサを通じて取得することができる。

その後、設定者は、情報処理装置２０等を介して、居住空間の部屋や間取りに関する設定を行った後、設置した各センサ装置１０を居住空間の部屋や特定の場所等と対応付ける処理を行う。この処理結果は、サーバ装置３０に記憶される。

図１２は、センサ装置１０を対応付ける処理を行う際に情報処理装置２０に表示される画面の一例である。同図から明らかな通り、玄関ドアにセンサ装置１０を設定した場合、設定者は、画面上の「玄関」を選択して玄関ドアに取り付けたセンサ装置１０の識別情報を紐付ける処理を行う。同様に、洗面化粧台にセンサ装置１０を取り付けた場合、設定者は、画面上の「洗面化粧台」を選択して洗面化粧台に取り付けたセンサ装置１０の識別情報を紐付ける。また、バルコニーにセンサ装置１０を取り付けた場合、設定者は、画面上の「バルコニー」を選択してバルコニーに取り付けたセンサ装置１０の識別情報を紐付ける。

ここで、各部屋には、所定の見守り対象者の状態に関するラベルが付与されている。本実施形態において状態ラベルは清潔、運動、食事の３つの状態に関連するものとされる。なお、これらの状態に加えて、睡眠に関する状態を考慮してもよい。

図１３は、部屋と見守り対象者の状態との関係性を示す説明図である。同図から明らかな通り、「玄関」、「リビング」、「和室」、「廊下」は、それぞれ「外出」、「くつろぎ」、「睡眠」、「移動」を主な目的とする空間であり、いずれも人間の運動性に関する事柄であることから、これらの部屋等には運動状態を表すラベルが付与される。同様に、「ダイニング」、「キッチン」、「トイレ」は、それぞれ「食事」、「調理」、「排泄」を主目的とする空間であり、いずれも食事に関連する事柄であることから、これらの部屋等には食事状態を表すラベルが付与される。また、「洗面化粧台」、「バス（浴室）」、「洋室」、「バルコニー」は、それぞれ「身だしなみ」、「清潔」、「衣類」、「洗濯・栽培」を目的とする空間であり、いずれも人間の清潔性に関する事柄であることから、これらの部屋等には清潔状態を表すラベルが付与される。

このように、各部屋等に見守り対象者の状態に関連するラベルが付与されていることで、各部屋に配置されたセンサ挙動からラベルを介して見守り対象者の状態を推測することができる。なお、提示処理の詳細については後述する。

（１．２．２ 学習処理）
次に、見守り支援システム１００で用いられるクラスタリングモデルの事前学習処理について説明する。

図１４は、サーバ装置３０において行われる学習処理に関するゼネラルフローチャートである。同図から明らかな通り、処理が開始すると、学習用センサデータ取得部３０１は、それぞれ記憶部３１から学習用の時系列センサデータを読み出して取得する処理を行う（Ｓ１１）。学習用の時系列センサデータは、各センサにおいて取得された過去のデータであってもよい。

取得処理の後、スペクトログラム変換部３０２は、一部の学習用センサデータに対してスペクトログラムへの変換処理を行う（Ｓ１２）。これにより、一部の時系列センサデータが周波数領域へと変換される。

スペクトログラム変換処理の後、前処理部３０３は、スペクトログラムへの変換処理が成された信号に対して所定の前処理を行う（Ｓ１３）。

図１５は、前処理の詳細フローチャート（その１）である。同図から明らかな通り、処理が開始すると、前処理部３０３は、スペクトログラムに対して周波数帯域を所定の範囲に限定する処理を行う（Ｓ１３１）。次に、前処理部３０３は、所定の周波数帯域のスペクトログラムを正規化する処理を行う（Ｓ１３２）。前処理部３０３は、この正規化処理がなされたスペクトログラムの所定の周波数とパワーをマスクする処理を行う（Ｓ１３３、Ｓ１３５）。その後、前処理は終了する。

このような前処理を行うことにより、想定範囲の周波数領域信号のみを後述の特徴量生成処理へと供することができる。

図１４に戻り、前処理の後、特徴量生成処理部３０５は、前処理後の周波数領域信号及び、時間領域のセンサデータに基づき、センサ毎に最適な特徴量を生成する処理を行う（Ｓ１５）。特徴量として様々な対象を採用することができる。例えば、マイクロホンから取得されたオーディオ信号であればメル周波数ケプストラム係数を含むＭＦＣＣ特徴量を特徴量としてもよい。また、ディープラーニングにより生成された学習済モデルの予測結果を特徴量としてもよい。さらに、時間領域信号であれば過渡特性の傾き等を特徴量としてもよい。

特徴量生成処理の後、正規化処理部３０６は、各特徴量を得点化する等して正規化する処理を行う（Ｓ１６）。これにより、各特徴量を同一の特徴量空間において取り扱うことができるようになる。

特徴量の正規化処理の後、学習用パラメータ取得部３０８は、記憶部３１から学習に要するパラメータを取得する処理を行う（Ｓ１７）。

このパラメータ取得後、学習処理部３０７は、正規化された特徴量とパラメータに基づいて、所定のモデルを所定のアルゴリズムでトレーニングする学習処理を行う（Ｓ１８）。

この学習処理は、例えば、クラスタリングモデルをトレーニングする処理であってもよい。本実施形態においては、クラスタリングアルゴリズムとして、ＤＢＳＣＡＮ（Density-Based Spatial Clustering of Applications with Noise）を採用するものの、他のクラスタリングアルゴリズムを用いてもよい。また、他の分類アルゴリズムを採用してもよい。なお、学習処理を初期パラメータを変更する等して複数回行い、最も好適な学習済モデルを最終的な学習済モデルとする構成を採用してもよい。

学習処理の後、定義情報提供部３０９は、学習済モデルに対して所定の定義を提供する処理を行う（Ｓ１９）。定義情報提供部３０９は、設定者からの入力に応じて定義情報を提供してもよいし、所定の条件に基づいて自動的に定義情報を提供してもよい。ここで、本実施形態において、定義情報は、クラスタリングモデルの出力ノードがどのセンサのアクティビティに対応するかを定義づける情報である。

定義処理の後、記憶処理部３１０は、学習済モデルを記憶部３１へと記憶する処理を行い（Ｓ２１）、学習処理は終了する。

なお、学習用のデータセットが複数ある場合には、上述の学習処理を繰り返してもよい。

（１．２．３ 見守りシステムの動作）
次に、見守り支援システム１００の動作について説明する。

図１６は、見守り処理を行う際のサーバ装置３０の動作に関するゼネラルフローチャートである。同図から明らかな通り、処理が開始すると、センサデータ取得部３２１は、センサ装置１０において検出され記憶部３１に記憶されたセンサデータをそれぞれ取得する処理を行う（Ｓ３１）。

センサデータの取得処理の後、スペクトログラム変換部３２２は、一部のセンサデータに対してスペクトログラムへの変換処理を行う（Ｓ３２）。これにより、一部の時系列センサデータが周波数領域へと変換される。

このような構成によれば、センサ検出情報を時間領域又は周波数領域の特徴量に変換することができ、多角的な解析を行うことができる。

スペクトログラム変換処理の後、前処理部３２３は、スペクトログラムへの変換処理が成された信号に対して所定の前処理を行う（Ｓ３３）。

図１７は、前処理の詳細フローチャート（その２）である。同図から明らかな通り、処理が開始すると、前処理部３２３は、スペクトログラムに対して周波数帯域を所定の範囲に限定する処理を行う（Ｓ３３１）。次に、前処理部３２３は、所定の周波数帯域のスペクトログラムを正規化する処理を行う（Ｓ３３２）。前処理部３２３は、この正規化処理がなされたスペクトログラムの所定の周波数とパワーをマスクする処理を行う（Ｓ３３３、Ｓ３３５）。その後、前処理は終了する。

このような前処理を行うことにより、想定範囲の周波数領域信号のみを後述の特徴量生成処理へと供することができる。

図１６に戻り、前処理の後、特徴量生成処理部３２５は、前処理後の周波数領域信号及び、時間領域のセンサデータに基づき、センサ毎に最適な特徴量を生成する処理を行う（Ｓ３５）。特徴量として様々な対象を採用することができる。例えば、マイクロホンから取得されたオーディオ信号であればメル周波数ケプストラム係数を含むＭＦＣＣ特徴量を特徴量としてもよい。また、ディープラーニングにより生成された学習済モデルの予測結果を特徴量としてもよい。さらに、時間領域信号であれば過渡特性の傾き等を特徴量としてもよい。

特徴量生成処理の後、正規化処理部３２６は、各特徴量を得点化する等して正規化する処理を行う（Ｓ３６）。これにより、各特徴量を同一の特徴量空間において取り扱うことができるようになる。

特徴量の正規化処理の後、正規化処理された特徴量は、活動量生成部３２７と、クラスタリング処理部３２８へと供される。

活動量生成部３２７は、正規化された特徴量に基づいて、各センサ装置１０の活動量を生成する処理を行う（Ｓ３７）。活動量（又はアクティビティ）とは、各センサにおいてどれだけ頻繁に情報検出がされているかを示す指標であり、本実施形態においては、例えば、正規化された特徴量の単位時間あたりの発生頻度等である。

活動量の生成処理の後、出力処理部３３５は、各センサに関する活動量を出力する処理を行う（Ｓ３８）。ここで、出力処理は、見守り者に対して情報を提示する処理であり、例えば、情報処理装置２０と結合されているディスプレイへと提示する情報を情報処理装置２０へと送信する処理である。この処理の後、処理は終了する。

図１８は、ディスプレイ上への活動量の表示例を示す説明図である。同図（Ａ）は、基本的な表示例であり、同図（Ｂ）はさらに追加的な機能に基づく表示例である。

同図（Ａ）では、例として、２０２２年４月１日の各部屋又はセンサ装置１０におけるセンサ活動量の大きさが、各部屋又はセンサ装置１０に対して配置された円の直径の大きさにより表現されている。同図から明らかな通り、情報処理装置２０のディスプレイに表示される画像は、センサ装置１０が配置される見守り対象者の居住空間の平面図（又は間取り）を含んでいる。上述の通り、各センサ装置１０は、事前設定により各部屋と紐づけられている。そのため、各部屋でのセンサの活動量が円によって表現され、これを通じて見守り対象者の状態を把握することができる。

このような構成によれば、居住空間の間取りに対応してセンサの活動量を提示することを通じて、見守り対象者の状態を推定することができる。

なお、活動量の提示方法はこのような態様に限定されない。従って、様々な態様で提示することができる。例えば、ある日付のセンサ活動量と他の日付のセンサ活動量の差分を提示する等、他の時間区間におけるセンサ活動量との相対的関係性を表示してもよい。

同図（Ｂ）は、センサ活動量の相対的関係性の表示例を示す説明図である。同図の例にあっては、２０２２年４月１日のセンサ活動量を表す円と、２０２２年４月１０日のセンサ活動量を表す円が、平面図上に重畳的に描写されている。

このような構成によれば、各部屋における円の直径の差分等から直ちに活動量の変化を捉えることができ、これにより、より見守り対象者の状態を的確に把握することができる。

また、活動量は必ずしも部屋の間取りと共に表示する必要はない。例えば、他の様々な方法で表示することができる。

図１９は、センサ活動量に関する他の表示例を示す説明図である。同図（Ａ）は、各センサ装置１０におけるセンサ活動量を色付きの３次元の棒グラフで表示する例であり、同図（Ｂ）は、各センサ装置１０におけるセンサ活動量を色付きの円グラフで表示する例であり、同図（Ｃ）は、各センサ装置１０におけるセンサ活動量を魚形状のイラストの大きさ、位置及び色を用いて表示する例である。同図（Ａ）によれば、立体的に各部屋又はセンサ装置１０におけるセンサ活動量を把握することができる。同図（Ｂ）によれば、各部屋又はセンサ装置１０におけるセンサ活動量の相対的な関係性を把握することができる。同図（Ｃ）によれば、エンターテインメント性を以て各部屋又はセンサ装置１０におけるセンサ活動量を把握することができる。

図１６に戻り、クラスタリング処理部３２８は、学習処理により生成した学習済モデルを用いて、正規化された特徴量をクラスタリングする処理を行う（Ｓ３９）。クラスタリングアルゴリズムは本実施形態においてはＤＢＳＣＡＮである。なお、クラスタリングモデルには、上述の通り、定義処理がなされている。そのため、クラスタリング処理結果から、どのセンサ装置１０において情報検出が行われているかを的確に把握することができる。

このような構成によれば、クラスタリングを通じて、センサや環境等によるノイズの影響等を低減することができる。

クラスタリング処理の後、出力処理部３３５は、クラスタリング処理結果を出力する処理を行う（Ｓ４０）。ここで、出力処理は、見守り者に対して情報を提示する処理であり、例えば、情報処理装置２０と結合されているディスプレイへと提示する情報を情報処理装置２０へと送信する処理である。この処理の後、処理は終了する。

なお、クラスタリング処理結果に対して活動量生成処理を行ってもよい。すなわち、クラスタリング処理結果に相当する各出力に対して、単位時間あたりの発生頻度等を算出してもよい。

クラスタリング処理後に戻り、因子分析処理部３２９は、クラスタリング処理結果に対して因子分析処理を行う（Ｓ４１）。

図２０は、因子分析処理の詳細フローチャートである。同図から明らかな通り、処理が開始すると、因子分析処理部３２９は、因子分析に用いるデータ、すなわち、正規化した特徴量のクラスタリング処理結果に対して前処理を実行する（Ｓ４１１）。前処理は、本実施形態においては、クラスタリング処理結果、例えば、各出力ノードの出力を単位時間あたりの検出頻度等の観点で複数の段階に分類して離散値とする処理である。複数の段階は例えば７段階であってもよい。

前処理を行った後、因子分析処理部３２９は、前処理後のクラスタリング処理結果に対して、所定の因子との間でそれぞれ因子負荷量を生成する処理を行う（Ｓ４１２）。ここで、本実施形態において、因子は、見守り対象者の運動性に関する因子である運動因子と、見守り対象者の食事に関する因子である食事因子と、見守り対象者の清潔性に関する因子である清潔因子とを含んでいる。

このような構成によれば、清潔、運動及び食事の観点から見守り対象者の状態を評価することができる。これにより、高齢者等の状態を適切に評価することができる。

なお、因子はこのような３つに限定されず、さらに、睡眠に関する因子である睡眠因子を含んでもよい。

因子負荷量の生成の後、因子分析処理部３２９は、因子負荷量に基づいて因子得点の生成処理を行う（Ｓ４１３）。また、この因子得点の生成処理の後、因子分析処理部３２９は、因子得点の所定時間区間の平均値を算出する処理を行う（Ｓ４１５）。所定時間区間とは、例えば、一日である。この平均値生成処理の後、因子分析処理は終了する。

図１６に戻り、因子分析処理の後、状態推定部３３１は、因子分析結果に基づいて見守り対象者の状態を推定する処理を行う。本実施形態においては、生成した各因子の平均因子得点と以下の評価式を用いて健康状態（Ｈａ）を生成することにより状態推定が行われる。なお、本実施形態において、推定の語は予測等の他の語と置換することができる。

ここで、α、β、γは所定の係数であり、（清潔）は清潔因子の平均因子得点、（運動）は運動因子の平均因子得点、（食事）は食事因子の平均因子得点を表している。Ｃは所定の定数である。

なお、評価式は、このような形式に限定されない。従って、例えば、自然対数ｅを用いて以下のように設定してもよい。

なお、因子数が４つの場合にも同様の手法で健康状態を生成することができる。すなわち、因子が睡眠因子を含んで４つの場合、以下の評価式から健康状態（Ｈ）を評価してもよい。

ただし、δは所定の係数であり、（睡眠）は睡眠因子の平均因子得点である。

なお、この場合も同様に、自然対数ｅを用いて以下のように設定することもできる。

このような構成によれば、時系列のセンサ信号から得られる特徴量の背景にある因子に基づいて健康状態を推定することができる。

状態推定処理の後、出力処理部３３５は、生成した健康状態を出力する処理を行う（Ｓ４３）。ここで、出力処理は、見守り者に対して情報を提示する処理であり、例えば、情報処理装置２０と結合されているディスプレイへと提示する情報を情報処理装置２０へと送信する処理である。この処理の後、処理は終了する。

因子分析処理後、状態遷移推定部３３２は、因子分析処理の結果に基づいて、時間方向の状態遷移を推定する処理を行う（Ｓ４５）。より詳細には、状態遷移推定部３３２は、本実施形態においては、所定の因子の遷移の組み合わせ、すなわち、運動因子の遷移と清潔因子の遷移の組み合わせ、食事因子の遷移と運動因子の遷移の組み合わせ、清潔因子の遷移と食事因子の遷移の組み合わせ、から傾向を特定することで、状態遷移を推定する。なお、本実施形態では、運動因子と清潔因子の組み合わせを快活性と称し、食事因子と運動因子の組み合わせを活動性と称し、清潔因子と食事因子の組み合わせを認知性と称する。

このような構成によれば、多次元的な評価により予測情報を生成することができる。また、清潔、運動及び食事の観点から見守り対象者の状態を評価することができ、高齢者等の状態を適切に評価することができる。

図２１は、因子遷移の組み合わせに関する説明図である。同図（Ａ）は快活性に関する概念図、同図（Ｂ）は活動性に関する概念図、同図（Ｃ）は認知性に関する概念図である。

同図（Ａ）から明らかな通り、運動性と清潔性に関する平均因子得点を時系列で評価することで快活性に関する傾向を把握することができる。このベクトルの傾向により、将来の状態遷移を推定することができる。例えば、運動性と清潔性に関する因子がいずれもが向上しているものと判断される場合、将来的に快活性が向上していく傾向にあることが特定される。

同図（Ｂ）から明らかな通り、食事と運動性に関する平均因子得点を時系列で評価することで活動性に関する傾向を把握することができる。このベクトルの傾向により、将来の状態遷移を推定することができる。例えば、食事と運動性に関する因子がいずれもが向上しているものと判断される場合、将来的に活動性が向上していく傾向にあることが特定される。

同図（Ｃ）から明らかな通り、清潔性と食事に関する平均因子得点を時系列で評価することで認知性に関する傾向を把握することができる。このベクトルの傾向により、将来の状態遷移を推定することができる。例えば、清潔性と食事に関する因子がいずれもが向上しているものと判断される場合、将来的に認知性が向上していく傾向にあることが特定される。

なお、本実施形態においては、２つの因子遷移を組み合わせて状態遷移を予測するものとして説明したが、本発明はそのような構成に限定されない。従って、１つの因子の遷移から状態遷移を予測してもよいし、３つ以上の因子を組み合わせて状態遷移を予測するものとしてもよい。

図１６に戻り、状態遷移推定処理の後、異常検出部３３３は、各因子の変化の程度が所定の閾値を超えるか否かに応じて異常検出処理を行う（Ｓ４６）。例えば、図２１において平均因子得点の遷移を表すベクトルの大きさが所定の閾値を超えるか否かにより異常検出を行ってもよい。なお、以上検出の判定方法については様々手法を用いることができる。要するに遷移ベクトルの変化の程度を捉えることができればよいので、ベクトルの差分や、傾き等から異常検出を行ってもよいし、それらの特徴を総合的に判断して異常検出を行ってもよい。また、快活性、活動性及び認知性のいずれか１つにおいて異常検出された場合に異常と判定してもよいし、３つの要素のうちの２つ以上において異常が見られた場合に異常と判定してもよい。

異常検出処理の後、出力処理部３３５は、状態遷移の推定と異常の有無を出力する処理を行う（Ｓ４７）。ここで、出力処理は、見守り者に対して情報を提示する処理であり、例えば、情報処理装置２０と結合されているディスプレイへと提示する情報を情報処理装置２０へと送信する処理である。この処理の後、処理は終了する。

以上の構成によれば、見守り対象者の居住空間に設けられたセンサにおいて検出された時系列センサ情報から得られる特徴量の背景にある因子の変化から見守り対象者の状態遷移に関する予測情報を生成することができる。見守り者は、この予測情報に基づいて見守り対象者の状態に関して一定の見通しを立てることができるので、見守り負担が軽減される。

（２．変形例）
本発明は、様々に変形して実施することができる。

上述の実施形態においては、見守り者に対して、見守り対象者の状態又は状態遷移の予測情報を提供する構成について説明したが、本発明はそのような構成に限定されない。従って、見守り支援システム１００がさらに見守り対象者の居住空間内に設けられる所定の提示手段を備え、この提示手段を通じて見守り対象者に対して様々な提示、例えば、自身の状態に関する気付きを与える提示又は状態の改善を促す提示を行ってもよい。

より詳細には、サーバ装置３０が上述の状態又は状態遷移の予測情報を生成した後、状態に関する気付きを与えるための情報又は状態の改善を促す情報を生成し、それらの情報を提示手段へと送信し、提示手段を通じて見守り対象者に対して提示を行ってもよい。

提示手段は、見守り対象者の居住空間に設置され見守り対象者の五感に対して所定の刺激を与える手段であり、例えば、スピーカ（聴覚的刺激）、ディスプレイ（視覚的刺激）、LED等の光源（視覚的刺激）、振動ユニット（触覚的刺激）等である。なお、提示手段は、センサ装置１０と一体に設けられてもよい。状態に関する気付きを与えるための情報とは、例えば、見守り対象者の現在状態を示す音（又は機能音）、画像（又は動画像）、発光パターン、振動パターン等の情報である。状態の改善を促す情報とは、例えば、見守り対象者の呈する状態や症状の改善を促す情報であり、例えば、時間感覚が失われている場合には時間感覚を取り戻させたり又は時間に関する気付きを促すための音（又は機能音）、画像（又は動画像）、発光パターン、振動パターン等である。

上述の実施形態において、見守り者への各種の提示は、最終的に情報処理装置２０と結合されるディスプレイにおいてなされるものとして説明したが、本発明はそのような構成に限定されない。視覚的な提示でなく、他の五感に対して提示を行う手段、例えば、情報処理装置２０に備えられたスピーカや振動装置等のデバイスを通じて、音や振動による提示を行ってもよい。

上述の実施形態においては、異常検出を行った場合に、単に見守り者に提示するものとして説明したが、医療機関等のサーバ等の外部の装置に直接又は間接に通知を行うよう構成してもよい。

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。また、上記の実施形態は、矛盾が生じない範囲で適宜組み合わせ可能である。

本発明は、ネットワークシステム等を製造、使用等する産業において利用可能である。

１０ センサ装置
２０ 情報処理装置
３０ サーバ装置
１００ 見守り支援システム

Claims (12)

1. 見守り対象者の居住空間に設けられた複数のセンサにおいて検出された時系列センサ情報を取得する、センサ情報取得部と、
   前記時系列センサ情報に基づいて前記センサ毎に特徴量を生成する、特徴量生成部と、
   前記特徴量に基づいて、前記センサ毎の情報検出頻度を示す検出頻度情報を生成する、検出頻度情報生成部と、
   前記検出頻度情報に対して複数の因子に基づいて因子分析を行い、各前記因子に対する因子負荷量と因子得点を生成する、因子分析部と、
   ２以上の前記因子に係る前記因子得点の時間的変化の組み合わせに基づいて、前記見守り対象者の状態遷移に関する予測情報を生成する、予測情報生成部と、を備える見守り支援システム。
2. 前記特徴量は、時間領域特徴量と周波数領域特徴量を含む、請求項１に記載の見守り支援システム。
3. 前記検出頻度情報生成部は、正規化した前記特徴量に対してクラスタリング処理を行い、前記検出頻度情報を生成する、請求項１に記載の見守り支援システム。
4. 前記因子は、前記見守り対象者の清潔性に関する因子である清潔因子、前記見守り対象者の運動性に関する因子である運動因子、及び、前記見守り対象者の食事に関する因子である食事因子を含む、請求項１に記載の見守り支援システム。
5. 前記因子は、さらに、前記見守り対象者の睡眠に関する因子である睡眠因子を含む、請求項４に記載の見守り支援システム。
6. 前記組み合わせは、前記見守り対象者の清潔性に関する因子である清潔因子と前記見守り対象者の運動性に関する因子である運動因子の組み合わせ、前記運動因子と前記見守り対象者の食事に関する因子である食事因子の組み合わせ、前記食事因子と前記清潔因子の組み合わせを含む、請求項１に記載の見守り支援システム。
7. ２以上の前記因子に係る前記因子得点の時間的変化に基づいて、異常検出を行う、異常検出部をさらに備える、請求項１に記載の見守り支援システム。
8. 各前記因子に基づいて前記見守り対象者の健康状態を推定する、状態推定部をさらに備える、請求項１に記載の見守り支援システム。
9. 前記検出頻度情報を各前記センサに対応する前記居住空間の間取りに対応させて提示する、センサ情報提示部をさらに備える、請求項１に記載の見守り支援システム。
10. 見守り対象者の居住空間に設けられた複数のセンサにおいて検出された時系列センサ情報を取得する、センサ情報取得部と、
    前記時系列センサ情報に基づいて前記センサ毎に特徴量を生成する、特徴量生成部と、
    前記特徴量に基づいて、前記センサ毎の情報検出頻度を示す検出頻度情報を生成する、検出頻度情報生成部と、
    前記検出頻度情報に対して複数の因子に基づいて因子分析を行い、各前記因子に対する因子負荷量と因子得点を生成する、因子分析部と、
    ２以上の前記因子に係る前記因子得点の時間的変化の組み合わせに基づいて、見守り対象者の状態遷移に関する予測情報を生成する、予測情報生成部と、を備える見守り支援装置。
11. 見守り対象者の居住空間に設けられた複数のセンサにおいて検出された時系列センサ情報を取得する、センサ情報取得ステップと、
    前記時系列センサ情報に基づいて前記センサ毎に特徴量を生成する、特徴量生成ステップと、
    前記特徴量に基づいて、前記センサ毎の情報検出頻度を示す検出頻度情報を生成する、検出頻度情報生成ステップと、
    前記検出頻度情報に対して複数の因子に基づいて因子分析を行い、各前記因子に対する因子負荷量と因子得点を生成する、因子分析ステップと、
    ２以上の前記因子に係る前記因子得点の時間的変化の組み合わせに基づいて、見守り対象者の状態遷移に関する予測情報を生成する、予測情報生成ステップと、を備える見守り支援方法。
12. 見守り対象者の居住空間に設けられた複数のセンサにおいて検出された時系列センサ情報を取得する、センサ情報取得ステップと、
    前記時系列センサ情報に基づいて前記センサ毎に特徴量を生成する、特徴量生成ステップと、
    前記特徴量に基づいて、前記センサ毎の情報検出頻度を示す検出頻度情報を生成する、検出頻度情報生成ステップと、
    前記検出頻度情報に対して複数の因子に基づいて因子分析を行い、各前記因子に対する因子負荷量と因子得点を生成する、因子分析ステップと、
    ２以上の前記因子に係る前記因子得点の時間的変化の組み合わせに基づいて、見守り対象者の状態遷移に関する予測情報を生成する、予測情報生成ステップと、を備える見守り支援プログラム。

Images