JP6869417B1 - プログラム、方法、情報処理装置、システム - Google Patents

Abstract

【課題】撮影装置、及びセンサ等を用い、人の動作を、処理負荷を抑えて解析する。【解決手段】プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、被測定者の個人情報を取得するステップと、取得した個人情報に基づいて３次元モデルを作成するステップと、体の一部にモーションセンサが装着された被測定者についての撮影画像が解析されて得られる、被測定者の動作情報を取得するステップと、モーションセンサのセンシング情報を取得するステップと、動作情報及びセンシング情報に基づいて３次元モデルを動かすステップと、３次元モデルの動きを解析するステップと、をプロセッサに実行させるプログラム。【選択図】図５

Description

本開示は、プログラム、方法、情報処理装置、システムに関する。

人の動きをカメラ、及びセンサ等で捉え、捉えた動作を解析する技術が知られている。特許文献１には、動作中の被写体を連続的に撮像した複数の画像から生成された、時系列に応じて前記被写体の動作の変化が識別可能な合成画像と、当該被写体に装着されたモーションセンサから出力される、被写体の動作に対応する時系列で表示されるモーションデータとを対応付けた状態で、合成画像とモーションデータとを表示させる運動評価装置が記載されている。

特開２０１８-００８０１５号公報

しかし、特許文献１の技術では、複数人の動作を解析しようとする場合、複数人分の動画及びセンシングデータ等を装置内に記憶しておかなければならず、大容量のストレージを用意する必要がある。また、同じ人について前と異なる動作を解析しようとする場合、同様の処理を改めて実行しなければならず、処理の負担が重くなってしまう。

そこで、本開示の目的は、撮影装置、及びセンサ等を用い、人の動作を、処理負荷を抑えて解析することである。

一実施形態によると、プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、被測定者の個人情報を取得するステップと、取得した個人情報に基づいて３次元モデルを作成するステップと、体の一部にモーションセンサが装着された被測定者についての撮影画像が解析されて得られる、被測定者の動作情報を取得するステップと、モーションセンサのセンシング情報を取得するステップと、動作情報及びセンシング情報に基づいて３次元モデルを動かすステップと、３次元モデルの動きを記憶手段に記憶させるステップと、記憶させた動きを解析するステップと、をプロセッサに実行させるプログラムが提供される。

本開示によれば、撮影装置、及びセンサ等を用い、人の動作を、処理負荷を抑えて解析することができる。

システム１の全体構成を示す図である。 システム１において、被測定者の体のセンシングなどを行うときの一例を示す図である。 サーバ２０の機能的な構成を示す図である。 サーバ２０が記憶する患者情報データベース２０２１、動作ログ情報データベース２０２２、診療情報データベース２０２３のデータ構造を示す図である。 システム１を構成する機器などの概要を示す図である。 サーバ２０が、取得した被測定者の個人情報に基づいて、３次元モデルを作成する処理を示すフローチャートである。 サーバ２０が、被測定者の動作情報およびモーションセンサのセンシング情報を取得し、取得した情報に基づいて３次元モデルを動かす処理を示すフローチャートである。 サーバ２０が、３次元モデルの動きを記憶手段に記憶させ、記憶させた動きを解析し、解析結果をユーザの端末装置に送信する処理を示すフローチャートである。 被測定者の３次元モデルにおいて、現在の動きと、過去の所定時点の動きとを比較した結果をユーザに提示する画面例を示す図である。 被測定者の３次元モデルの動きと、被測定者と同じ疾病に罹患し、同様の治療を経験した他の患者の３次元モデルの動きとを比較した結果をユーザに提示する画面例を示す図である。 被測定者の３次元モデルの動きと、被測定者と同じ疾病に罹患し、異なる治療を経験した他の患者のうち、経過が良好だった患者の３次元モデルの動きとを比較した結果をユーザに提示する画面例を示す図である。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜概要＞
以下の実施形態では、撮影装置、及びセンサ等を用い、人の動作を、処理負荷を抑えて解析するためのシステム１について説明する。

システム１は、被測定者の個人情報に基づいて３次元モデルを作成する。本実施形態において、個人情報には、例えば、被測定者の身長、体重、体格など、被測定者の身体の情報などが含まれる。システム１は、被測定者の体の一部に装着されたセンサがセンシングしたセンシング情報と、被測定者を撮影装置により撮影して得られる動作情報とから、作成した３次元モデルを動かす。システム１は、３次元モデルを動かしたときの動作ログを解析する。これにより、システム１は、少ない処理の負担、及び少ない通信の付加で、被測定者の動作を解析する。

システム１は、例えば、病院などの医療施設等に設置され得る。例えば、医師などが、患者のリハビリ効果、今後の治療方針などを効率的に管理するため、システム１を導入することがあり得る。また、フィットネスジムなどのスポーツ施設などにおいて、システム１を利用することにより、トレーニング効果の測定、正しい体の動かし方の指導などのサービスをユーザに向けて提供することがあり得る。

＜１ システム全体の構成図＞
図１は、システム１の全体の構成を示す図である。

図１に示すように、システム１は、サーバ２０と、エッジサーバ３０と、撮影装置４０と、センサ５０とを含む。サーバ２０とエッジサーバ３０とは、ネットワーク８０を介して通信接続する。エッジサーバ３０は、撮影装置４０とセンサ５０と接続されている。例えば、撮影装置４０とセンサ５０とは、情報機器間の近距離通信システムで用いられる通信規格に基づく送受信装置である。具体的には、撮影装置４０とセンサ５０とは、例えば、Bluetooth（登録商標）モジュールなど２．４ＧＨｚ帯を使用して、Bluetooth（登録商標）モジュールを搭載した他の情報機器からのビーコン信号を受信する。エッジサーバ３０は、当該近距離通信を利用したビーコン信号に基づき、撮影装置４０とセンサ５０とから送信される情報を取得する。このように、撮影装置４０とセンサ５０とは、取得した被測定者の動きの情報を、ネットワーク８０を介さず、近距離通信によりエッジサーバ３０へ送信する。なお、エッジサーバ３０は、ネットワーク８０を介して撮影装置４０とセンサ５０と通信接続してもよい。

サーバ２０は、各患者の情報を管理する。患者の情報は、例えば、患者の個人情報、３次元モデルの動作ログに関する情報、診療情報等を含む。
サーバ２０は、ユーザから取得した被測定者の個人情報に基づいて、３次元モデルを作成する。サーバ２０は、エッジサーバ３０から取得した情報に基づいて、作成した３次元モデルを動かし、その動きを解析する。図１に示すサーバ２０は、通信ＩＦ２２、入出力ＩＦ２３、メモリ２５、ストレージ２６、及びプロセッサ２９を有する。

通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、および、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ２５は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

本実施形態において、各装置（端末装置、サーバ等）を情報処理装置として把握することもできる。すなわち、各装置の集合体を１つの「情報処理装置」として把握することができ、システム１を複数の装置の集合体として形成してもよい。１つ又は複数のハードウェアに対して本実施形態に係るシステム１を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力及び／又はシステム１に求められる仕様等に鑑みて適宜決定することができる。

エッジサーバ３０は、撮影装置４０、およびセンサ５０から送信される情報を受信し、受信した情報を、サーバ２０に送信する。また、エッジサーバ３０は、サーバ２０から取得した情報を撮影装置４０、およびセンサ５０へ送信する。サーバ２０から取得する情報には、例えば、撮影装置４０、またはセンサ５０の設定を更新するための情報などが含まれる。

撮影装置４０は、受光素子により光を受光して、撮影画像として出力するためのデバイスである。撮影装置４０は、例えば、以下のいずれかのデバイスが想定される。
・可視光カメラ
・赤外線カメラ
・紫外線カメラ
・超音波センサ
・ＲＧＢ−Ｄカメラ
・ＬｉＤＡＲ（Light Detection and Ranging）
ある局面において、撮影装置４０は、被測定者の体の動きなどを撮影し、撮影した動画像を解析することで、動画像から動作情報を抽出してもよい。例えば、撮影装置４０は、学習済みモデルを用い、被測定者の様子を常時撮影した動画像から動作情報を抽出し、エッジサーバ３０へ送信する。

学習済みモデルは、例えば、以下のように作成されてもよい。例えば、被測定者である患者の動きを撮影装置４０で撮影した動画像を取得したのち、取得した動画像を医師などが解析することにより、動画像から動作情報を特定する。例えば、医師などは、撮影した動画像のうち、センサ５０を装着している部分の動きに対し、動作を表すベクトルなどの情報を関連付け、学習用データを作成する。学習済みモデルは、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより作成される。
なお、撮影装置４０は、例えば、被測定者に装着されるセンサ５０を含むように被測定者を撮影し、画像に含まれるセンサ５０をマーカとして被測定者の動作情報を取得してもよい。また、撮影装置４０は、被測定者を撮影した動画をエッジサーバ３０へ送信してもよい。

ある局面において、画像解析は、エッジサーバ３０で実施されてもよい。このとき、学習済みモデルは、例えば、エッジサーバ３０に記憶される。エッジサーバ３０は、撮影装置４０で撮影された動画像を取得する。エッジサーバ３０は、取得した動画像に対し、学習済みモデルを利用した画像解析を実施し、動作情報を取得する。エッジサーバ３０は、取得した動作情報をサーバ２０へ送信する。

センサ５０は、被測定者の体の一部の領域に設置され、設置された被測定者の体の動きに関する情報を検出するモーションセンサである。例えば、センサ５０は、被測定者の体の傾き、動作する速度、動作する方向などの情報を検出する。センサ５０は、例えば、ジャイロセンサ、加速度センサ等により実現される。センサ５０は、検出した各種のセンシング情報を、エッジサーバ３０へ送信する。

図２は、撮影装置４０と、センサ５０との設置例を表す模式図である。
図２において、センサ５０は、例えば、被験者の身体の一部に装着される。図２に示す例では、センサ５０は、膝に複数装着されている。膝における装着部位は、例えば、内側大腿部、前大腿部、外側大腿部、前膝部、内側下腿部、前下腿部、外側下腿部等のうちいずれかである。撮影装置４０は、所定の施設内において、被測定者を撮影可能な位置に設置される。例えば、撮影装置４０は、被測定者の撮影が遮断されづらい、高所に設置されることが望ましい。

＜１．１ サーバ２０の構成＞
図３は、サーバ２０の機能的な構成を示す図である。図３に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。

通信部２０１は、サーバ２０が、エッジサーバ３０等の外部の装置と通信するための処理を行う。

記憶部２０２は、サーバ２０が使用するデータ及びプログラムを記憶する。記憶部２０２は、患者情報データベース２０２１と、動作ログ情報データベース２０２２と、診療情報データベース２０２３等を記憶する。

患者情報データベース２０２１は、システム１によりセンシング等を行う各患者の情報を示す。詳細は後述する。

動作ログ情報データベース２０２２は、サーバ２０がセンサ５０から取得した情報に基づいて３次元モデルを動かしたときの動作ログに関する情報を示す。詳細は後述する。

診療情報データベース２０２３は、患者それぞれの診療結果に関する情報を示す。詳細は後述する。

制御部２０３は、サーバ２０のプロセッサがプログラムに従って処理を行うことにより、各種モジュールとして示す機能を発揮する。

受信制御モジュール２０３１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

送信制御モジュール２０３２は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。

モデル作成モジュール２０３３は、ユーザにより入力された被測定者の個人情報に基づいて、３次元モデルを作成する。３次元モデルは、例えば、各部を自由に動かすことが可能に設けられている。ある局面において、モデル作成モジュール２０３３は、撮影装置４０で撮影された被測定者の画像に基づいて３次元モデルを作成してもよい。つまり、モデル作成モジュール２０３３は、撮影装置４０が撮影した被測定者の動画像を解析し、被測定者の身長、体格などを特定し、特定した情報に基づいて、３次元モデルを作成してもよい。

第１取得モジュール２０３４は、撮影装置４０によって撮影された、被測定者の体の動きに関する動作情報を取得する。

第２取得モジュール２０３５は、センサ５０によってセンシングされた、センシング情報を取得する。

モデル操作モジュール２０３６は、取得した動作情報とセンシング情報とに基づいて、作成した３次元モデルを操作する。

具体的に、例えば、モデル操作モジュール２０３６は、撮影装置４０から取得された動作情報に基づき、センサ５０が装着されている部位の大きな動きを取得する。モデル操作モジュール２０３６は、センサ５０により取得されたセンシング情報に基づき、センサ５０が装着されている部位の細かな動きを取得する。モデル操作モジュール２０３６は、取得した大きな動き、及び細かな動きをそれぞれ３次元モデルに反映させ、３次元モデルの動きを操作する。これにより、モデル操作モジュール２０３６は、センサ５０が装着されている部位について、大きな動きに加えて細かな動きを３次元モデルに反映させることが可能となる。そのため、モデル操作モジュール２０３６は、体の動かし方、筋肉の使い方など、人体の複雑な動きを、３次元モデルを用いて模すことが可能となる。

解析モジュール２０３７は、３次元モデルの動作ログの情報に基づいて、被測定者の動きを解析する。具体的には、例えば、解析モジュール２０３７は、３次元モデルの動作ログから把握される動き、例えば、変位、負荷、速度、加速度等に基づき、対象部位における可動域、対象部位の筋肉量、協調運動の程度、バランス運動の程度等を評価する。

ある局面において、解析モジュール２０３７は、被測定者の現在の動きと、過去の所定時点における動きとを比較し、リハビリの効果などを評価してもよい。これにより、解析モジュール２０３７は、被測定者の過去の動きを基準としてリハビリの効果を分かり易く評価することが可能となる。そのため、被測定者のリハビリに対するモチベーションの向上などが期待できる。

ある局面において、解析モジュール２０３７は、同じ疾病に罹患した他の患者の３次元モデルの動きに基づいて、リハビリの効果などを評価してもよい。具体的には、例えば、解析モジュール２０３７は、被測定者である患者と同じ疾病に罹患した患者のうち、治療効果の高い患者の３次元モデルの動きと、被測定者の３次元モデルの動きとを比較して解析する。別の例として、解析モジュール２０３７は、被測定者である患者と同じ疾病に罹患した患者のうち、異なる治療を実施した患者の３次元モデルの動きと、被測定者の３次元モデルの動きとを比較して解析する。

これにより、患者、または医師などは、同じ疾病に罹患した異なる患者間で結果を比較することで、リハビリの効果の度合い、効果的なリハビリ、治療の進め方などを検討することができる。他にも、患者、または医師などは、同じ疾病に罹患した異なる患者間で、異なる治療法による効果の違い、患者ごとの各治療法への適正等を把握することができる。そのため、患者、医師などは、患者の体質の違いなどに基づいた治療効果の違いを考慮した上で、治療方針などを検討することができる。

ある局面において、解析モジュール２０３７は、解析結果を患者に提示してもよい。このとき、例えば、患者が所有する端末（図示せず）は、解析結果をディスプレイに表示する。これにより、患者は、自身のリハビリの効果を把握することが可能となる。また、他の患者との比較結果が表示される場合には、患者は、他の患者との違いを認識することが可能であるため、リハビリをより効果的に実践することが可能となる。また、解析モジュール２０３７は、作成した３次元モデルの表面に、撮影装置４０で撮影した被測定者の画像を貼り付けることで、３次元モデルの外観により被測定者それぞれを認識可能にしてもよい。

＜２ データ構造＞
図４は、サーバ２０が記憶する患者情報データベース２０２１、動作ログ情報データベース２０２２、診療情報データベース２０２３のデータ構造を示す図である。

図４に示すように、患者情報データベース２０２１は、項目「患者ＩＤ」と、項目「氏名」と、項目「年齢」と、項目「性別」と、項目「住所」と、項目「身長」、項目「体重」等を含む。

項目「患者ＩＤ」は、被測定者である患者それぞれを識別する情報である。

項目「氏名」は、患者それぞれの氏名を示す情報である。例えば、患者ＩＤ「Ｕ００１」の氏名は「Ａ」であることを示す。

項目「年齢」は、患者それぞれの年齢を示す情報である。例えば、患者ＩＤ「Ｕ００１」の年齢は「２０」であることを示す。

項目「性別」は、患者それぞれの性別を示す情報である。例えば、患者ＩＤ「Ｕ００１」の性別は「男」であることを示す。

項目「住所」は、患者それぞれの住所を示す情報である。例えば、患者ＩＤ「Ｕ００１」の住所は「Ａ県Ｂ市」であることを示す。

項目「身長」は、患者それぞれの身長を示す情報である。例えば、患者ＩＤ「Ｕ００１」の身長は「１６６ｃｍ」であることを示す。

項目「体重」は、患者それぞれの体重を示す情報である。例えば、患者ＩＤ「Ｕ００１」の体重は「７０ｋｇ」であることを示す。

図４に示すように、動作ログ情報データベース２０２２は、項目「ログＩＤ」と、項目「患者ＩＤ」と、項目「取得日時」と、項目「位置情報」等を含む。

項目「ログＩＤ」は、動作ログ情報のそれぞれを識別する情報を示す。具体的には、サーバ２０が取得した、撮影装置４０とセンサ５０とが取得した被測定者の動作ログそれぞれを識別する情報を示す。

項目「患者ＩＤ」は、動作ログと関連付けられた患者の情報を示す。例えば、ログＩＤ「Ｌ００１」と関連付けられた患者は「Ｕ００１」であることを示す。

項目「取得日時」は、サーバ２０が動作ログを取得した日時に関する情報を示す。例えば、ログＩＤ「Ｌ００１」の取得日時は「２０／０６／０１ １０：００：００」であることを示す。

項目「位置情報」は、モデル操作モジュール２０３６により操作された３次元モデルの位置に関する情報を示す。具体的には、位置情報は、モデル操作モジュール２０３６が、撮影装置４０により取得される動作情報と、センサ５０により取得されるセンシング情報とに基づいて３次元モデルを操作した動作ログの情報を、３次元モデル上の対応する位置と関連付けて取得される。例えば、ログＩＤ「Ｌ００１」における３次元モデルの位置情報は「位置情報１」であることを示す。３次元モデルの位置を規定する手法は既存のいかなる手法であってもよい。このとき、位置情報は、センサ５０によって取得されたセンシング情報、例えば、体の動きの角速度、加速度などに関する情報などを内部情報として含んでいてもよい。
なお、図４に示す動作ログ情報データベース２０２２では、患者ＩＤ：Ｕ００１の患者についてのデータのみが表示されているが、実際には、複数の患者についてのデータが蓄積されている。

図４において、診療情報データベース２０２３は、項目「患者ＩＤ」と、項目「診療ＩＤ」と、項目「診療日時」と、項目「担当医師」と、項目「疾病」と、項目「診療内容」と、項目「処方薬」と、項目「経過情報」等を含む。

項目「患者ＩＤ」は、患者それぞれを識別する情報を示す。

項目「診療ＩＤ」は、患者ＩＤと紐づけられた、診療情報それぞれを識別する情報を示す。例えば、患者ＩＤ「Ｕ００１」は診療ＩＤ「Ｔ００１」と紐づけられていることを示す。

項目「診療日時」は、患者それぞれが医師による診療を受けた日時に関する情報を示す。

項目「担当医師」は、患者を診療した医師を識別する情報を示す。例えば、診療ＩＤ「Ｔ００１」、診療日時「２０／０６／０１」における担当医師は「Ａ」であることを示す。

項目「疾病」は、患者それぞれが医師による診療を受けた日時において、医師による診断等を受けた疾病に関する情報を示す。例えば、診療ＩＤ「Ｔ００１」について、診療日時「２０／０６／０１」に、担当医師「Ａ」により、疾病「膝関節痛」の診断を受けたことを表す。このとき、サーバ２０は、当該疾病の情報は、診療日時それぞれにおいて異なる疾病の情報を記憶していてもよい。

項目「診療内容」は、患者それぞれが医師による診療を受けた日時において、医師による診療の内容に関する情報を示す。例えば、診療ＩＤ「Ｔ００１」の診療日時「２０／０５／０１」において、診療内容は「手術」であることを示す。このとき、サーバ２０は、診療日時それぞれにおいて異なる診療内容の情報を記憶していてもよい。

項目「処方薬」は、患者それぞれが医師による診療を受けた日時において、医師により処方された薬に関する情報を示す。このとき、処方される薬は、医療用医薬品のみに限定されず、一般用医薬品でもよい。例えば、診療ＩＤ「Ｔ００１」の診療日時「２０／０５／０１」において、処方薬は「鎮痛剤」であることを示す。

項目「経過情報」は、患者それぞれが医師による診療を受けた日時において、治療経過に関する情報を示す。例えば、診療ＩＤ「Ｔ００１」の診療日時「２０／０５／０１」において、経過情報は「次回リハビリ」であることを示す。

＜３ 小括＞
図５は、システム１の概要を示す図である。図５に示す例では、被測定者である患者の体の一部に、センサ５０（例えば、モーションセンサなど）が装着される。
撮影装置４０は、センサ５０を装着した被測定者の動きを撮影する。撮影装置４０は、学習済みモデルを記憶しており、学習済みモデルを用い、撮影した画像から被測定者の動作情報を取得する。撮影装置４０は、取得した動作情報をエッジサーバ３０に送信する。
センサ５０は、被測定者の動作した際のセンシング情報をエッジサーバ３０に送信する。
エッジサーバ３０は、受信した被測定者の動作情報、センシング情報をサーバ２０に送信する。
サーバ２０は、ユーザから取得した個人情報に基づいて、被測定者の３次元モデルを作成する。サーバ２０は、エッジサーバ３０から取得した情報に基づいて、３次元モデルを操作する。サーバ２０は、３次元モデルを操作した動作ログの情報に基づいて、被測定者の動きの情報を解析する。

これにより、サーバ２０は、３次元モデルを用いて被測定者の動作を解析するため、解析結果を取得するためのデータ量を抑えることが可能となる。また、３次元モデルを操作可能なデータを送信すればよいため、データ容量を抑えた通信が可能となる。また、送信するデータ量が少なくてよいため、遠隔地にいる被測定者の動作を、３次元モデルを用いて解析することが可能となる。つまり、医師が患者から離れている場合であっても、医師は、リハビリの効果を認識可能となり、また、今後のリハビリ方針などを指導することが可能となる。

＜４ 動作＞
以下、サーバ２０が被測定者の体の動きをセンシング等するときの一連の処理について説明する。

＜４．１ ３次元モデルの作成＞
図６は、サーバ２０が、取得した被測定者の個人情報に基づいて、３次元モデルを作成する処理を示すフローチャートである。

ステップＳ６０１において、サーバ２０は、被測定者の個人情報を取得する。具体的には、サーバ２０は、例えば、ユーザの端末装置から送信された、被測定者の個人情報などを取得する。個人情報には、例えば、被測定者の身長、体重、体格など、被測定者の身体の情報、年齢、性別などが含まれる。また、個人情報には、筋力測定等により取得される、筋力に関する情報が含まれていてもよい。サーバ２０は、被測定者の個人情報として、撮影装置４０が撮影した動画像を取得してもよい。例えば、サーバ２０は、撮影装置４０が撮影した動画像に基づいて、被測定者の身体の可動域、または、腕、足の長さ等の外見的な特徴に関するデータを取得する。他にも、サーバ２０は、撮影装置４０が撮影した動画像に基づいて、被測定者の身体の情報を点群データとして取得してもよい。

ステップＳ６０２において、サーバ２０は、ユーザから取得した被測定者の個人情報に基づいて、被測定者の３次元モデルを作成する。サーバ２０は、例えば、デフォルトで設けられている３次元モデルを、取得した個人情報に基づいて調整することで、被測定者を模した３次元モデルを作成する。具体的には、サーバ２０は、デフォルトで設けられている３次元モデルのパラメータを、個人情報として取得した、被測定者の性別、年齢、身長、体重、身体の可動域などの情報に基づいて調整することで、３次元モデルを作成する。なお、個人情報が点群データとして取得される場合、サーバ２０は、取得した点群データに基づいて、３次元モデルを作成してもよい。

３次元モデルは、作成後時間が経過すると、患者との齟齬が生じる場合がある。サーバ２０は、例えば、予め設定される期間が経過する度に、３次元モデルを修正する旨の提案を医師、または患者などのユーザへ提示してもよい。提示に応じて患者の個人情報が入力されると、サーバ２０は、入力された個人情報に基づいて３次元モデルを修正する。なお、サーバ２０は、入力された個人情報に基づいて３次元モデルを新たに作成してもよい。

＜４．２ ３次元モデルの操作＞
図７は、サーバ２０が、撮影装置４０により撮影された被測定者の動作情報、およびセンサ５０で検出されるセンシング情報を取得し、取得した情報に基づいて３次元モデルを操作する処理を示すフローチャートである。

ステップＳ７０１において、サーバ２０は、撮影装置４０により撮影される画像に基づいて得られる動作情報と、センサ５０により検出されるセンシング情報とを取得する。具体的には、例えば、撮影装置４０は、被測定者に装着されるセンサ５０を含むように被測定者を撮影する。撮影装置４０は、撮影した画像を、学習済みモデルを用いて解析することで、被測定者の動作情報を取得する。サーバ２０は、撮影装置４０により取得された動作情報を、エッジサーバ３０を介して受信する。

また、サーバ２０は、センサ５０により検出された角速度（ｄｅｇ／ｓ）、加速度（ｍｍ／ｓ２）などについてのセンシング情報を、エッジサーバ３０を介して受信する。

ある局面において、サーバ２０は、撮影装置４０が撮影した動画像を取得してもよい。例えば、サーバ２０は、撮影装置４０が撮影した動画像に、学習済みモデルを利用した画像解析を実施する。サーバ２０は、動画像に画像解析を実施することで、動作情報を取得する。

ステップＳ７０２において、サーバ２０は、３次元モデルを、取得した動作情報及びセンシング情報に基づいて動かす。具体的には、例えば、サーバ２０は、作成した３次元モデルのうち、センサ５０を装着した部位と対応する領域を、ステップＳ７０２において取得した情報に基づいて動かす。具体的には、例えば、サーバ２０は、動作情報に基づいて３次元モデルの対応領域を動かすと共に、センサ５０により取得された角速度、加速度などのセンシング情報に基づいて対応領域の細部を動かす。このとき、サーバ２０は、例えば、被測定者の可動域等のパラメータを反映させて３次元モデルを動かす。

ステップＳ７０３において、サーバ２０は、３次元モデルの動きを記憶手段に記憶させる。例えば、サーバ２０は、取得した３次元モデルの各部位の位置情報を動作ログとして動作ログ情報データベース２０２２に格納する。

撮影装置４０と、センサ５０とを組み合わせて利用することにより、サーバ２０は、撮影装置４０により撮影された動画像のみではわからない体の細部の動きを、３次元モデルに反映させることが可能となる。

＜４．３ 動作ログの解析＞
図８は、サーバ２０が、記憶手段に記憶させた、３次元モデルの動きを解析し、解析結果をユーザの端末装置に送信する処理を示すフローチャートである。

ステップＳ８０１において、サーバ２０は、記憶部２０２に記憶している動作ログ情報データベース２０２２に基づき、３次元モデルの動きを解析する。具体的には、例えば、医師等のユーザは、ＰＣ等の情報処理端末（図示せず）を操作し、患者の動きを解析したい時点を指定し、解析を実施する旨の指示を入力する。

サーバ２０は、解析の指示を受け付けると、動作ログ情報データベース２０２２から、指定された時点を含む所定期間の動作ログを読み出す。サーバ２０は、読み出した動作ログを時系列に沿って３次元モデルに反映させる。サーバ２０は、３次元モデルの動作ログから把握される動き、例えば、変位、負荷、速度、加速度等に基づき、患者の対象部位における可動域、対象部位の筋肉量、協調運動の程度、バランス運動の程度等を評価する。

ある局面において、サーバ２０は、解析において、患者の現在の動きと、過去の所定時点の動きとを比較し、リハビリの効果などを評価する。具体的には、サーバ２０は、例えば、動作ログ情報データベース２０２２から、指定された時点を含む所定期間の動作ログと、指定された時点から予め設定された期間だけ過去に遡った時点を含む所定期間の動作ログとを読み出す。サーバ２０は、読み出した２種類の動作ログを、時系列に沿って、患者についての３次元モデルにそれぞれ反映させる。このとき、サーバ２０は、過去の時点として、指定した時点に最も近い日付を設定してもよいし、医師などのユーザから指定された任意の日付を設定してもよい。

サーバ２０は、それぞれの３次元モデルの動作ログから把握される動きを比較し、患者の対象部位における可動域、対象部位の筋肉量、協調運動の程度、バランス運動の程度等の変化を評価する。

ある局面において、サーバ２０は、同じ疾病に罹患した他の患者の３次元モデルの動きに基づいて、リハビリの効果などを評価する。具体的には、サーバ２０は、例えば、対象の患者と同じ疾病に罹患し、同様の治療を経験した他の患者のうち、経過が良好だった患者を、診療情報データベース２０２３から抽出する。サーバ２０は、例えば、動作ログ情報データベース２０２２から、指定された時点を含む所定期間の動作ログと、抽出した患者の所定期間の動作ログとを読み出す。このとき、サーバ２０は、他の患者について、ユーザにより指定された時点と対応する時点を含む所定期間の動作ログを読み出す。ユーザにより指定された時点と対応する時点とは、例えば、ユーザにより指定された時点において計上される術後の経過期間が同程度の時点を表す。

サーバ２０は、読み出した２種類の動作ログを、時系列に沿って、２つの異なる３次元モデルに反映させる。一方の３次元モデルは、対象となる患者について作成された３次元モデルであり、他方の３次元モデルは、他の患者について作成された３次元モデルである。サーバ２０は、それぞれの３次元モデルの動作ログから把握される動きを比較し、患者の対象部位における可動域、対象部位の筋肉量、協調運動の程度、バランス運動の程度等の違いを評価する。

また、サーバ２０は、例えば、対象の患者と同じ疾病に罹患し、異なる治療を経験した他の患者のうち、経過が良好だった患者を、診療情報データベース２０２３から抽出する。サーバ２０は、例えば、動作ログ情報データベース２０２２から、指定された時点を含む所定期間の動作ログと、抽出した患者の所定期間の動作ログとを読み出す。サーバ２０は、読み出した２種類の動作ログを、時系列に沿って、２つの異なる３次元モデルに反映させる。

サーバ２０は、それぞれの３次元モデルの動作ログから把握される動きを比較し、患者の対象部位における可動域、対象部位の筋肉量、協調運動の程度、バランス運動の程度等の違いを評価する。

なお、サーバ２０による解析処理は、ユーザから入力される解析の指示に応じて実施されるものに限定されない。サーバ２０は、所定のタイミングで解析処理を実施してもよい。所定のタイミングは、リハビリの経過に応じたタイミングであり、例えば、以下である。
・リハビリが終わったタイミング
・リハビリ中に複数の訓練がある場合、少なくとも１つの訓練が終わったタイミング

サーバ２０は、所定のタイミングか否かを、例えば、以下により判断する。
・予め設定されている時刻に到達したこと
・終了したことを表す通知を受信したこと
・最後に動作が発生してから予め設定された期間、動作が発生しないこと

処理を実施すると、サーバ２０は、処理を実施する直前に記憶された動作ログを、動作ログ情報データベース２０２２から読み出す。サーバ２０は、読み出した動作ログを時系列に沿って３次元モデルに反映させ、患者の動作を解析する。これにより、サーバ２０は、リハビリの最中、又はリハビリが実施された直後に、患者の動作について解析を実施することが可能となる。これにより、患者は、自身のリハビリの効果を確認しながらリハビリを継続することができる。また、リハビリの間隔が残っているうちにリハビリの効果を確認することが可能となる。

ステップＳ８０２において、サーバ２０は、解析結果を例えば診療情報データベース２０２３に記憶する。診療情報データベース２０２３に記憶された解析結果は、医師、又は患者などのユーザからの要求に応じ、要求元のユーザへ提示される。これにより、患者、または医師は、患者のリハビリの効果などを確認することができる。

＜５ 画面例＞
図９は、被測定者の３次元モデルにおいて、現在の動きと、過去の所定時点の動きとを比較した結果をユーザに提示する画面例を示す図である。

図９において、結果表示画面９０１は、ユーザの端末装置が、サーバ２０が３次元モデルの動きを解析した結果を提示するための画面を示す。

過去結果画面９０２は、ユーザの端末装置が、サーバ２０が過去の所定時点において、撮影装置４０により撮影された被測定者の動作情報、およびセンサ５０で検出される被測定者のセンシング情報を取得し、取得した情報に基づいて３次元モデルを操作した結果を表示するための画面を示す。

現在結果画面９０３は、ユーザの端末装置が、サーバ２０が現在、例えば、リハビリを実施した最新の日付において、撮影装置４０により撮影された被測定者の動作情報、およびセンサ５０で検出されるセンシング情報を取得し、取得した情報に基づいて３次元モデルを操作した結果を表示するための画面を示す。

解析結果表示画面９０４は、ユーザの端末装置が、サーバ２０が被測定者の過去の所定時点の３次元モデルの動きを解析した結果と、現在の３次元モデルの動きを解析した結果とを比較した結果を表示する画面を示す。例えば、ユーザの端末装置は、過去の所定時点の解析結果と比較して被測定者の体の動きが改善、悪化含めどのように変化したか、などの情報と、今後の治療方針などの情報とを、当該画面に表示してもよい。ある局面において、ユーザの端末装置は、サーバ２０に記憶されている診療情報データベース２０２３を参照した情報を当該画面に表示してもよい。また、ユーザの端末装置は、医師などにより入力された診療内容、治療方針などの情報を当該画面に表示してもよい。

これにより、被測定者、または医師などは、現在のリハビリの解析結果と、直近のリハビリの解析結果の比較だけでなく、リハビリを開始した時の被測定者の解析結果などとも比較することができる。そのため、被測定者、または医師などは、リハビリの効果が大きかった時期、小さかった時期などを確認することができ、治療方針などの検討に反映することができる。

図１０は、被測定者の３次元モデルの動きと、被測定者と同じ疾病に罹患し、同様の治療を経験した他の患者の３次元モデルの動きとを比較した結果をユーザに提示する画面例を示す図である。

図１０において、結果表示画面１００１は、図９における結果表示画面９０１と同様に、ユーザの端末装置が、サーバ２０が３次元モデルの動きを解析した結果を提示するための画面を示す。

被測定者結果表示画面１００２は、ユーザの端末装置が、サーバ２０が所定時点において、撮影装置４０により撮影された被測定者の動作情報、およびセンサ５０で検出される被測定者のセンシング情報を取得し、取得した情報に基づいて３次元モデルを操作した結果を表示するための画面を示す。

他の被測定者結果表示画面１００３は、サーバ２０が所定時点において、撮影装置４０により撮影された、被測定者と同じ疾病に罹患し、同様の治療を経験した他の患者のうち、経過が良好だった患者の動作情報、およびセンサ５０で検出される当該患者のセンシング情報を取得し、取得した情報に基づいて３次元モデルを操作した結果を、ユーザの端末装置が表示するための画面を示す。

比較解析結果表示画面１００４は、サーバ２０が被測定者の３次元モデルの動きと、被測定者と同じ疾病に罹患し、同様の治療を経験した他の患者のうち、経過が良好だった患者の３次元モデルの動きとを比較した結果を、ユーザの端末装置が表示する画面を示す。例えば、ユーザの端末装置は、被測定者に対し、同じ疾病に罹患し、同様の治療を経験した他の患者の解析結果と比較した結果を当該画面に表示することで、可動域、対象部位の筋肉量、協調運動の程度等の変化、推奨する治療法などの情報を被測定者に提示してもよい。

これにより、被測定者は、同じ疾病に罹患した患者の中でも、最もリハビリ効果の出た患者の結果を参照することができ、リハビリへのモチベーションの向上が期待できる。

図１１は、被測定者の３次元モデルの動きと、被測定者と同じ疾病に罹患し、異なる治療を経験した他の患者のうち、経過が良好だった患者の３次元モデルの動きとを比較した結果をユーザに提示する画面例を示す図である。

図１１において、結果表示画面１１０１は、図１０における結果表示画面１００１と同様に、ユーザの端末装置が、サーバ２０が３次元モデルの動きを解析した結果を提示するための画面を示す。

被測定者結果表示画面１１０２は、サーバ２０が所定時点において、撮影装置４０により撮影された被測定者の動作情報、およびセンサ５０で検出される被測定者のセンシング情報を取得し、取得した情報に基づいて３次元モデルを操作した結果を、ユーザの端末装置が表示するための画面を示す。

別治療の被測定者結果表示画面１１０３は、サーバ２０が所定時点において、撮影装置４０により撮影された、被測定者と同じ疾病に罹患し、異なる治療を経験した他の患者のうち、経過が良好だった患者の動作情報、およびセンサ５０で検出される当該患者のセンシング情報を取得し、取得した情報に基づいて３次元モデルを操作した結果を、ユーザの端末装置が表示するための画面を示す。

比較解析結果表示画面１１０４は、サーバ２０が被測定者の３次元モデルを解析した結果と、被測定者と同じ疾病に罹患し、異なる治療を経験した他の患者のうち、経過が良好だった患者の３次元モデルの動きを解析した結果を比較した結果を、ユーザの端末装置が表示する画面を示す。例えば、ユーザの端末装置は、被測定者に対し、同じ疾病に罹患し、異なる治療を経験した他の患者の結果と比較した結果を当該画面に表示することで、可動域、対象部位の筋肉量、協調運動の程度等の変化、推奨する治療法などの情報を被測定者に提示してもよい。

これにより、患者、または医師などは、現在受けている治療法だけでなく、他の治療法の効果も比較検討することができるため、より効果的にリハビリを実施するための治療方針などを検討することができる。

＜６ 変形例＞
上記実施形態では、ユーザに提示される画面で、３次元モデルが表示される場合を説明した。しかしながら、ユーザに提示される画面に、３次元モデルが表示されなくても構わない。サーバ２０は、動きについての情報をグラフ形式で提示してもよい。

＜付記＞
以上の各実施形態で説明した事項を以下に付記する。

（付記１）
プロセッサ２９と、メモリ２５とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサ２９に、被測定者の個人情報を取得するステップ（Ｓ６０１）と、取得した個人情報に基づいて３次元モデルを作成するステップ（Ｓ６０２）と、体の一部にモーションセンサ５０が装着された被測定者についての撮影画像が解析されて得られる、被測定者の動作情報を取得するステップ（Ｓ７０１）と、モーションセンサ５０のセンシング情報を取得するステップ（Ｓ７０１）と、動作情報及びセンシング情報に基づいて３次元モデルを動かすステップ（Ｓ７０２）と、３次元モデルの動きを解析するステップ（Ｓ８０１）と、をプロセッサ２９に実行させるプログラム。

（付記２）
動作情報を取得するステップ（Ｓ７０１）において、体が写っている動画を入力とし、写っている体の動きに関する情報を出力するように学習された学習済みモデルを用いて動作情報を取得する、付記１に記載のプログラム。

（付記３）
モーションセンサ５０は、被測定者の体のうち、測定対象となる領域に１または複数装着される、付記１または２に記載のプログラム。

（付記４）
解析するステップ（Ｓ８０１）において、期間の離れた複数の時点で記憶された、３次元モデルの動きを比較する、付記１から３のいずれかに記載のプログラム。

（付記５）
解析するステップ（Ｓ８０１）において、期間の離れた複数の時点で記憶された動きを比較することでリハビリの効果を評価する、付記４に記載のプログラム。

（付記６）
解析するステップ（Ｓ８０１）において、被測定者の３次元モデルについて記憶されている動きと、被測定者とは異なる他の被測定者の３次元モデルについて記憶されている動きとを比較する、付記１から３のいずれかに記載のプログラム。

（付記７）
解析するステップ（Ｓ８０１）において、被測定者とは異なる被測定者は、被測定者と同じ疾病と診断され、同様の治療を施され、治療の経過が被測定者の治療の経過と比較して良好だった者である、付記６記載のプログラム。

（付記８）
解析するステップ（Ｓ８０１）において、被測定者とは異なる被測定者は、被測定者と同じ疾病と診断され、異なる治療を施された者である、付記６記載のプログラム。

（付記９）
解析するステップ（Ｓ８０１）において、解析対象とする時点に関する指定、および解析を実施する旨の指示を受け付け、指示に応じ、指定された時点に対応する３次元モデルの動きを解析する、付記１から８のいずれかに記載のプログラム。

（付記１０）
解析するステップ（Ｓ８０１）において、リハビリの経過に応じたタイミングで、リハビリにおいて記憶された３次元モデルの動きを解析する、付記１から８のいずれかに記載のプログラム。

（付記１１）
プロセッサ２９と、メモリ２５とを備えるコンピュータが実行する方法であって、プロセッサ２９が、被測定者の個人情報を取得するステップ（Ｓ６０１）と、取得した個人情報に基づいて３次元モデルを作成するステップ（Ｓ６０２）と、体の一部にモーションセンサ５０が装着された被測定者についての撮影画像が解析されて得られる、被測定者の動作情報を取得するステップ（Ｓ７０１）と、モーションセンサ５０のセンシング情報を取得するステップ（Ｓ７０１）と、動作情報及びセンシング情報に基づいて３次元モデルを動かすステップ（Ｓ７０２）と、３次元モデルの動きを解析するステップ（Ｓ８０１）と、を実行する方法。

（付記１２）
制御部２０３を備える情報処理装置２０であって、制御部２０３が、被測定者の個人情報を取得するステップ（Ｓ６０１）と、取得した個人情報に基づいて３次元モデルを作成するステップ（Ｓ６０２）と、体の一部にモーションセンサ５０が装着された被測定者についての撮影画像が解析されて得られる、被測定者の動作情報を取得するステップ（Ｓ７０１）と、モーションセンサ５０のセンシング情報を取得するステップ（Ｓ７０１）と、動作情報及びセンシング情報に基づいて３次元モデルを動かすステップ（Ｓ７０２）と、３次元モデルの動きを解析するステップ（Ｓ８０１）と、を実行する情報処理装置。

（付記１３）
被測定者の個人情報を取得する手段（Ｓ６０１）と、取得した個人情報に基づいて３次元モデルを作成する手段（Ｓ６０２）と、体の一部にモーションセンサ５０が装着された被測定者についての撮影画像が解析されて得られる、被測定者の動作情報を取得する手段（Ｓ７０１）と、モーションセンサ５０のセンシング情報を取得する手段（Ｓ７０１）と、動作情報及びセンシング情報に基づいて３次元モデルを動かす手段（Ｓ７０２）と、３次元モデルの動きを解析する手段（Ｓ８０１）と、を備えるシステム。

２０ サーバ、２２ 通信IF、２３ 入出力IF、２５ メモリ、２６ ストレージ、２９プロセッサ、３０ エッジサーバ、４０ 撮影装置、５０ センサ、８０ ネットワーク、２０１ 通信部、２０２ 制御部、２０３ 通信部、２０２１ 患者情報データベース、２０２２ 動作ログ情報データベース、２０２３ 診療情報データベース。

Claims (14)

1. プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
   被測定者の個人情報を取得するステップと、
   前記取得した個人情報に少なくとも含まれる身体の情報に基づいて、前記被測定者用の３次元モデルを作成するステップと、
   体の一部にモーションセンサが装着された前記被測定者の体が写っている撮影画像を入力とし、写っている体の動きに関する情報を出力するように学習された学習済みモデルを用い、前記被測定者の動作情報を取得するステップと、
   前記モーションセンサのセンシング情報を取得するステップと、
   前記動作情報及び前記センシング情報に基づいて前記３次元モデルを動かすステップと、
   前記３次元モデルの動きを解析するステップと、を前記プロセッサに実行させるプログラム。
2. 前記３次元モデルを動かすステップにおいて、前記動作情報、及び、前記撮影画像に含まれるモーションセンサにより取得される前記センシング情報に基づいて前記３次元モデルを動かす、請求項１記載のプログラム。
3. 前記モーションセンサは、前記被測定者の体の傾き、動作する速度、動作する加速度、動作する方向を検出する、請求項１又は２記載のプログラム。
4. 前記モーションセンサは、前記被測定者の体のうち、測定対象となる部位に１または複数装着される、請求項１から３のいずれかに記載のプログラム。
5. 前記解析するステップにおいて、期間の離れた複数の時点で記憶された、前記３次元モデルの動きを比較する、請求項１から４のいずれかに記載のプログラム。
6. 前記解析するステップにおいて、期間の離れた複数の時点で記憶された動きを比較することでリハビリの効果を評価する、請求項５に記載のプログラム。
7. 前記解析するステップにおいて、前記被測定者の３次元モデルについて記憶されている動きと、前記被測定者とは異なる他の被測定者の３次元モデルについて記憶されている動きとを比較する、請求項１から４のいずれかに記載のプログラム。
8. 前記解析するステップにおいて、前記被測定者とは異なる被測定者は、前記被測定者と同じ疾病と診断され、同様の治療を施され、治療の経過が前記被測定者の治療の経過と比較して良好だった者である、請求項７記載のプログラム。
9. 前記解析するステップにおいて、前記被測定者とは異なる被測定者は、前記被測定者と同じ疾病と診断され、異なる治療を施された者である、請求項７記載のプログラム。
10. 前記解析するステップにおいて、解析対象とする時点に関する指定、および解析を実施する旨の指示を受け付け、前記指示に応じ、前記指定された時点に対応する前記３次元モデルの動きを解析する、請求項１から９のいずれかに記載のプログラム。
11. 前記解析するステップにおいて、リハビリの経過に応じたタイミングで、前記リハビリにおいて記憶された前記３次元モデルの動きを解析する、請求項１から９のいずれかに記載のプログラム。
12. プロセッサと、メモリとを備えるコンピュータに実行する方法であって、前記プロセッサが、
    被測定者の個人情報を取得するステップと、
    前記取得した個人情報に少なくとも含まれる身体の情報に基づいて、前記被測定者用の３次元モデルを作成するステップと、
    体の一部にモーションセンサが装着された前記被測定者の体が写っている撮影画像を入力とし、写っている体の動きに関する情報を出力するように学習された学習済みモデルを用い、についての撮影画像が解析されて得られる、前記被測定者の動作情報を取得するステップと、
    前記モーションセンサのセンシング情報を取得するステップと、
    前記動作情報及び前記センシング情報に基づいて前記３次元モデルを動かすステップと、
    前記３次元モデルの動きを解析するステップと、
    を実行する方法。
13. 制御部を備える情報処理装置であって、前記制御部が、
    被測定者の個人情報を取得するステップと、
    前記取得した個人情報に少なくとも含まれる身体の情報に基づいて、前記被測定者用の３次元モデルを作成するステップと、
    体の一部にモーションセンサが装着された前記被測定者の体が写っている撮影画像を入力とし、写っている体の動きに関する情報を出力するように学習された学習済みモデルを用い、前記被測定者の動作情報を取得するステップと、
    前記モーションセンサのセンシング情報を取得するステップと、
    前記動作情報及び前記センシング情報に基づいて前記３次元モデルを動かすステップと、
    前記３次元モデルの動きを解析するステップと、
    を実行する情報処理装置。
14. 被測定者の個人情報を取得する手段と、
    前記取得した個人情報に少なくとも含まれる身体の情報に基づいて、前記被測定者用の３次元モデルを作成する手段と、
    体の一部にモーションセンサが装着された前記被測定者の体が写っている撮影画像を入力とし、写っている体の動きに関する情報を出力するように学習された学習済みモデルを用い、前記被測定者の動作情報を取得する手段と、
    前記モーションセンサのセンシング情報を取得する手段と、
    前記動作情報及び前記センシング情報に基づいて前記３次元モデルを動かす手段と、
    前記３次元モデルの動きを解析する手段と、
    を備えるシステム。
    

Images