JP7481843B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

介護施設や病院といった施設において、入居者（患者）である高齢者の転倒が発生した場合には、施設スタッフが介助に向かう必要がある。特許文献１には、所定のエリア内で被監視者が転倒などの特定の行動をしたと判定された時に、そのエリア内の人の数が２以上であればスタッフへの通知を行わず、１であれば通知を行うという技術が開示されている。

特開２０１７－１２６３７２号公報

しかしながら、従来の技術では、要介助者ではない非入居者が行う特定の動作を、要介助者である入居者の転倒であると誤って判定してしまうことがある。例えば介護施設の所定エリアで介護スタッフが一人で清掃作業をしているときのしゃがむ動作、又は入居者の家族が一人で荷物を片付けているときに腰をかがめる動作などがこれに該当する。

本発明は、画像中の被写体の動作について監視結果を通知すべきかどうかの判断を行う情報処理装置を提供することを目的とする。

本発明の目的を達成するために、例えば、一実施形態に係る情報処理装置は以下の構成を備える。すなわち、画像中の被写体に対応する複数の関節位置を検出する検出手段と、前記被写体に対応する複数の関節位置のそれぞれの位置変化量に対して前記被写体の姿勢に応じた重みづけをして加算した結果に基づき、前記被写体の活動量を取得する取得手段と、前記取得手段により取得された前記被写体の前記活動量に基づいて、前記被写体についての監視結果を通知すべきかどうかを判断する判断手段と、を備えることを特徴とする。

画像中の被写体の動作について監視結果を通知すべきかどうかの判断を行う情報処理装置を提供する。

実施形態１に係る情報処理装置のハードウェア構成の一例を示す図。 実施形態１に係る解析システムの概略構成の一例を示す図。 実施形態１に係る情報処理装置の機能構成の一例を示す図。 実施形態１に係る活動量計算部の機能構成の一例を示す図。 実施形態１に係る情報処理方法における処理例を示すフローチャート。 実施形態２に係る活動量計算部の機能構成の一例を示す図。 実施形態２に係る活動量計算部の機能説明のための図。 実施形態３に係る距離算出部の機能構成の一例を示す図。 実施形態３に係る距離補正部の機能説明のための図。 実施形態３に係る距離補正部の機能説明のための図。 実施形態４に係る活動量計算部の機能構成の一例を示す図。 実施形態４に係る情報処理方法における処理例を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
図１は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示すブロック図である。本実施形態に係る情報処理装置は、画像中の被写体の活動量を取得し、取得した活動量に基づいてその被写体についての監視結果を通知すべきかどうかを判断する。そのために、情報処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ストレージ１０４、及び通信Ｉ／Ｆ１０５を備える。ＲＯＭ１０２、ＲＡＭ１０３、ストレージ１０４及び通信Ｉ／Ｆ１０５は、内部バス１０６に接続されている。なお、本実施形態においては被写体の活動量とは直近の所定時間内の人体の移動距離を表し、その詳細及び取得方法については図４において後述する。

ＣＰＵ１０１は、情報処理装置１００における動作を統括的に制御する中央演算装置である。ＲＯＭ１０２は、ＣＰＵ１０１が処理を実行するために必要なプログラムや各種初期設定データなどを記憶する不揮発性メモリである。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ及びワークエリアなどとして機能する揮発性メモリであり、プログラム又は画像データなどを一時的に格納する。ＣＰＵ１０１は、処理の実行に際してＲＯＭ１０２から必要なプログラムなどをＲＡＭ１０３にロードし、そのプログラムなどを実行することによって各種の機能動作を実現する。ストレージ１０４は、例えばハードディスク（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの、ＲＡＭ１０３と比較して大容量な記憶デバイスである。ストレージ１０４には、ＣＰＵ１０１により実行される基本ソフトウェア（ＯＳ）、本実施形態に係る活動量算出プログラム、及びその他各種のデータなどが格納される。また、ストレージ１０４は、ネットワークを介して取得された画像データなども記録可能である。

ＣＰＵ１０１は、電源ＯＮなどの起動時に、ＲＯＭ１０２に格納されている起動用プログラムを実行する。この起動用プログラムは、ストレージ１０４に格納されているＯＳを読み出し、ＲＡＭ１０３に展開するためのものである。ＣＰＵ１０１は、ＯＳの起動後、例えば図２に示す操作部１０７などを介してユーザにより活動量算出処理を起動する旨の指示がなされると、ストレージ１０４から活動量算出プログラムを読み出してＲＡＭ１０３に展開する。これにより、ＣＰＵ１０１は、活動量算出処理を実行可能な状態となる。また、ＣＰＵ１０１は、活動量算出処理プログラムの動作に用いられる各種データについてもＲＡＭ１０３上に格納し、読み書きを行う。通信Ｉ／Ｆ１０５は、例えばローカルエリアネットワーク（ＬＡＮ）のインタフェースであり、ネットワークを介してネットワークカメラ又は他のコンピュータなどとの通信を行う。なお、本実施形態に係る活動量算出処理において扱う画像、活動量算出処理を実行するための活動量算出プログラム、及び活動量算出処理において用いるデータは、ネットワークを介して取得されてもよい。

情報処理装置１００は、パーソナルコンピュータ（ＰＣ）やタブレットＰＣなどのように、図１に示す構成を備える１つの装置によって構成されていてもよい。また、図１に示す構成は、別個のハードウェアにより構成されていてもよい。つまり、情報処理装置１００は、複数の装置により構成されていてもよい。

図２は、本実施形態に係る情報処理装置１００を備える解析システム１０００の概略構成の一例を示す図である。解析システム１０００は、情報処理装置１００、カメラ２００、及び記憶装置３００を備える。情報処理装置１００、カメラ２００、及び記憶装置３００は、それぞれネットワーク４００によって相互に通信可能に接続されている。ネットワーク４００は、例えばＬＡＮであってもよい。なお、ネットワーク４００は、情報処理装置１００、カメラ２００、及び記憶装置３００の間の通信を可能にする構成であれば、その通信規格、規模、及び構成は特に限定されない。情報処理装置１００の各構成のネットワーク４００への接続形態は、有線であってもよく、無線であってもよい。また、情報処理装置１００、カメラ２００、及び記憶装置３００の間の接続は、ネットワーク４００による接続には限定されない。情報処理装置１００、カメラ２００、及び記憶装置３００の間の接続は、例えばＵＳＢなどによる接続であってもよい。

情報処理装置１００は、ハードウェア構成として、図１の構成のほかに操作部１０７及び表示部１０８を備えていてもよい。操作部１０７は、例えばキーボード及びマウスなどのポインティングデバイスであり、ユーザによる操作の内容を情報処理装置１００に転送する。表示部１０８は、ユーザが情報処理装置１００を操作する際に閲覧などをするための表示デバイスである。表示部１０８の種類は特に限定されないが、例えば液晶ディスプレイ（ＬＣＤ）などのモニタであってもよい。

カメラ２００は、例えばネットワークカメラであり、撮像範囲内を撮像し、その撮像画像又は映像をネットワーク４００経由で情報処理装置１００に送信する機能を有する撮像装置である。カメラ２００は、例えば撮像領域を変更可能に構成されたＰＴＺカメラ（Ｐａｎ Ｔｉｌｔ Ｚｏｏｍカメラ）であってもよい。カメラ２００がＰＴＺカメラである場合、カメラ２００は、パン角度、チルト角度、及びズーム倍率といった撮像方向及び撮像画角を示す情報を含む撮像パラメータを、ネットワーク４００経由で情報処理装置１００に送信する機能を有していてもよい。

本実施形態においては、カメラ２００が監視カメラである場合について説明が行われるが、カメラ２００は特にこれに限定されるわけではない。例えば、カメラ２００は、デジタルスチルカメラ、デジタルビデオカメラ、カメラ機能を備えたスマートフォン若しくはタブレット端末、工業用カメラ、車載カメラ、又はウェアラブルカメラなどであってもよい。情報処理装置１００は、カメラ２００によって撮像された撮像画像をネットワーク４００経由で入力画像として受信し、受信した入力画像に対して被写体検出処理を行う。

なお、カメラ２００は、撮像画像をネットワーク４００経由で記憶装置３００又は他のコンピュータのストレージデバイスなどに送信してもよい。この場合、情報処理装置１００は、そのように送信された撮像画像を、入力画像としてネットワーク４００経由で受信してもよい。ここで、入力画像は、カメラ２００によって撮像された撮像画像には限定されない。例えば、入力画像は、撮像画像の一部である部分画像であってもよい。また、図２に示す解析システム１０００は一例であり、各デバイスは例えばタブレットＰＣなどのように一体化されていてもよい。つまり、情報処理装置１００がカメラ２００の機能を有していてもよい。

本実施形態に係る情報処理装置１００は、カメラ２００などを介して取得した画像から被写体を検出し、被写体の活動量を取得する。次いで、情報処理装置１００は、取得した活動量に基づいて、被写体についての監視結果を通知すべきかどうかを判定する。説明のため、本実施形態においては被写体が人体であるものとするが、特にこれに限定されるわけではない。さらに、本実施形態に係る情報処理装置１００は、被写体についての監視結果を通知すべきかの判定として、被写体が要介助者であるかどうかを判定するものとするが、特にそのように限定されるわけではない。つまり、本実施形態に係る情報処理装置１００は、被写体の活動量に基づいて、その被写体が要介助者である入居者なのか、非要介助者である非入居者なのか、を判定するものとする。例えば介護施設においては、入居者はゆっくりと移動していることが多いが、スタッフ（非入居者）は長時間静止していることはまれである。つまり、入居者の活動量は小さくなりやすく、スタッフの活動量は大きくなりやすい。したがって、本実施形態に係る情報処理装置１００は、被写体の活動量が所定の閾値よりも大きい場合に、その被写体が非入居者であると判定することができる。

この場合、情報処理装置１００は、被写体の活動量に応じてその被写体が入居者であるとされている場合に、画像から入居者の特定の動作（転倒など）を検出したときに、被写体の監視結果を通知することができる。すなわち、被写体が入居者であると判定されている場合には、例えば特許文献１に記載の技術によって被写体の転倒転落が生じたときにその転倒を検知し、通知を行うことができる。また、被写体が非入居者であると判定されている場合には、その被写体が特定の動作が起こしたときにも転倒検知を行わず、通知を行わない。また、別の実施形態においては、被写体の転倒が検知された際に、被写体が入居者であればその転倒を通知し、被写体が非入居者であればその転倒の通知を省略してもよい。このような処理によれば、被写体の活動量に応じて入居者か非入居者かを判定することにより、その被写体の転倒を検出するかどうかを判断することができる。

図３は、情報処理装置１００の機能構成の一例を示すブロック図である。本実施形態に係る情報処理装置１００は、活動量計算部３０１、及び判定部３０２を備える。情報処理装置１００の各要素の少なくとも一部は、ＣＰＵ１０１がプログラムを実行することによって実現されてもよく、専用のハードウェアとして動作するようにしてもよい。また、そのような専用のハードウェアは、ＣＰＵ１０１の制御に基づいて動作する。

活動量計算部３０１は、画像に対する人体の検出結果から、検出された人体の活動量を取得する。また、判定部３０２は、取得された活動量に基づいて、検出された人体が入居者であるか非入居者であるかを判定する。判定部３０２は、例えば、活動量に対する閾値を設け、取得した活動量がその閾値以上であった場合には検出された人体が入居者の家族又は介護スタッフなどの非入居者であると判定してもよい。また、判定部３０２は、活動量が閾値未満であった場合には検出された人体が入居者であると判定してもよい。活動量に対する閾値は特に限定されない。活動量に対する閾値は、例えばユーザが任意に指定した値であってもよく、入居者の移動速度（歩行速度）の平均値と非入居者の移動速度（歩行速度）の平均値との少なくとも一方を基準として設定される値であってもよい。

図４は、活動量計算部３０１の機能構成の一例を示すブロック図である。本実施形態に係る活動量計算部３０１は、人体検出部４０１、及び距離算出部４０２を備える。活動量計算部３０１の各要素の少なくとも一部は、ＣＰＵ１０１がプログラムを実行することによって実現されてもよく、専用のハードウェアとして動作するようにしてもよい。また、そのような専用のハードウェアは、ＣＰＵ１０１の制御に基づいて動作する。

人体検出部４０１は、画像に対して人体検出を行う。ここで用いられる画像は、例えばストレージ１０４から取得されてもよく、通信Ｉ／Ｆ１０５を介してカメラ２００から取得されてもよく、ネットワーク４００に接続された記憶装置３００から取得されてもよい。また、人体検出部４０１が人体を検出する方法は特に限定されず、例えば画像中の任意の領域の人体特徴量を抽出することにより人体を検出してもよい。ここで抽出される人体特徴量は特に限定されない。本実施形態においては、人体特徴量は、例えば顔の目、鼻、口、若しくはそれらの周辺部分などの形状の特徴量、又は人体の頭部、胴体、若しくは手足など形状の特徴量であってもよい。

距離算出部４０２は、人体の活動量を算出する。ここで活動量として取得される値は特に限定されないが、以下においては説明のため、画像内での所定時間内の人体の移動距離が活動量として取得されるものとする。距離算出部４０２は、例えば以下の式（１）に従って、人体の移動距離として直近の所定時間内（ここではｎフレームとする）の移動距離の総和を算出することができる。人体の移動距離の総和を求めるために用いられるフレーム数ｎは特に限定されず、ここでは２以上の任意の値であるものとする。人体の移動距離は以下の式に従って算出される。

ここで、ｘ及びｙは、画像における人体の検出位置のｘ座標及びｙ座標を示す。距離算出部４０２は、人体検出位置のフレーム間の距離としてΔＬを算出する。ここで距離算出部４０２は、人体検出位置のフレーム間の距離としてユークリッド距離を用いているが、特にこれに限定されるわけではない。例えば、距離算出部４０２は、フレーム間の距離として以下の式（２）で示すようにマンハッタン距離を用いてもよい。
ΔＬ＝｜ｙ（ｉ）－ｙ（ｉ－１）｜＋｜ｘ（ｉ）－ｘ（ｉ－１）｜ （２）

次に、図５を参照して、図３における活動量計算部３０１と判定部３０２による処理の流れの詳細を説明する。図５は、本実施形態に係る情報処理装置１００が行う処理の一例を示すフローチャートである。図５の処理が開始されるタイミングは特に限定されないが、例えば活動量が大きい人体を非入居者と判定する解析システムを起動する旨の指示がユーザによってなされたタイミングで開始されてもよい。以下において、アルファベットＳはフローチャートにおけるステップを意味するものとする。

Ｓ５００１で活動量計算部３０１は、画像を取得する。Ｓ５００２において人体検出部４０１は、取得した画像から人体検出を行う。Ｓ５００３で活動量計算部３０１は、人体検出を行った結果の履歴がｎフレーム（つまり、人体の移動距離の総和を求めるために用いられるフレーム数分）存在するかどうかを判定する。ｎフレーム存在しない場合（Ｓ５００３がＮｏの場合）、処理はＳ５００１へと戻る。ｎフレーム存在する場合（Ｓ５００３がＹｅｓの場合）には、処理はＳ５００４へと進む。

Ｓ５００４で距離算出部４０２は、人体検出位置のｎフレーム分の移動距離の総和を算出する。Ｓ５００５で判定部３０２は、Ｓ５００４で算出した値が、検出された人体が非入居者であると判定される閾値を超えているかどうかを判定する。閾値未満である場合（Ｓ５００５がＮｏである場合）、処理はＳ５００６へと進む。閾値以上である場合（Ｓ５００５がＹｅｓの場合）、処理はＳ５００７へと進む。判定部３０２は、Ｓ５００６では検出された人物が入居者であると決定し、Ｓ５００７では検出された人物がスタッフ又は入居者の家族などの非入居者であると決定する。

図５に示す処理で判定部３０２は、所定時間内における人体のフレームごとの移動距離の総和に基づいて検出された人体に関する判定を行ったが、特にそのように限定されるわけではない。例えば、判定部３０２は、所定時間内における人体の平均移動速度に基づいて、検出された人体に関する判定を行ってもよい。そのような場合、活動量計算部３０１は、不図示の速度算出部を備える。速度算出部は、所定時間内における人体のフレームごとの移動距離の総和と所定時間内のフレーム数（ｎ）との商を、所定時間内における人体の平均移動速度としてもよい。

図５に示す処理においては、Ｓ５００７で検出された人体が介護スタッフなどの非入居者であると決定された場合には、処理は終了する。また、Ｓ５００６で検出された人体が入居者であると決定された場合には、処理はＳ５００１へと戻り、引き続き実行される。このような処理によれば、例えば非入居者がスタッフ間の連絡などで一時的に動きを止めていた場合に、検出されたその非入居者を入居者として誤った判定を行ってしまうことを抑制する効果が得られる。したがって、活動量が大きい人体を非入居者として判定する情報処理装置を得ることができる。また、図５に示すフローチャートの処理は一例であり、その処理順序は要旨の範囲内で変更されてもよい。

［実施形態２］
実施形態２に係る情報処理装置は、活動量が大きい人体を非入居者として判定する解析システムにおいて、活動量を直近の所定時間内の移動量の分散として算出する。ここでは移動量とは被写体の移動に関するパラメータであり、以下においては移動距離又は移動速度を表す。非入居者であるスタッフは、室内で作業を行うにあたって動き回りながら時折作業のために止まることが多いことから、直近の所定時間内の移動距離又は移動速度の分散が入居者よりも大きくなる傾向にあると考えられる。したがって、本実施形態に係る情報処理装置は、被写体の活動量（上述の分散）が所定の閾値よりも大きい場合に、その被写体が非入居者であると判定することができる。実施形態２に係る情報処理装置の機能構成は図３と同様であるため、説明は省略する。

図６は、本実施形態に係る活動量計算部３０１の機能構成の一例を示すブロック図である。実施形態２に係る活動量計算部３０１は、人体検出部４０１、距離算出部４０２、情報記憶部６０１、及び分散計算部６０２を備える。人体検出部４０１及び距離算出部４０２に関しては図４と同様であり、重複する説明は省略する。

情報記憶部６０１は、直近の所定時間内の被写体の移動速度の情報を複数格納する。情報記憶部６０１の機能の詳細について、図７を用いて説明する。図７は、非入居者であるスタッフ７００が入室して作業をするときの移動の軌跡の一例を示す図、及びその作業中の経過時間と直近の所定時間内のスタッフ７００のフレームごとの移動量（移動距離）の総和の値とのグラフを示している。図７の例においてスタッフ７００は、最初にベッド７０１付近で作業を行い、次いでシェルフ７０３付近で作業後、現在の位置に移動した。軌跡７０２はそのようなスタッフ７００の移動の軌跡を示す。グラフ７１０の縦軸は直近の所定時間内のスタッフ７００のフレームごとの移動距離の総和であり、横軸は経過時間を示す。グラフにおける最初の谷７１１はスタッフ７００がベッド７０１で作業をしている時間帯であり、次の谷７１２はスタッフ７００がシェルフ７０３付近で作業をしている時間帯である。グラフ７１０に示される直近の所定時間の移動距離は、距離算出部４０２によって実施形態１と同様に算出される。情報記憶部６０１は、グラフ７１０に示されるような直近の所定時間内の人体のフレームごとの移動距離の総和の推移、又はそのような移動距離の総和の推移から算出される移動速度の推移を格納してもよい。

分散計算部６０２は、情報記憶部６０１に格納される移動距離の総和の推移、又は移動速度の推移から、直近の所定時間内における移動距離の総和の分散又は移動速度の分散を計算する。以下においては簡単のため、特別に説明がない限り、上述の移動距離の総和の分散又は移動速度の分散を指して、単純に分散と称するものとする。本実施形態に係る判定部３０２は、分散計算部６０２が計算した分散と所定の閾値とに基づいて、検出された人体に関する判定を行う。判定部３０２は、分散計算部６０２が計算した分散が所定の閾値以上である場合に検出された人体が非入居者であると判定し、分散が所定の閾値未満である場合に検出された人体が入居者であると判定する。判定部３０２が用いる閾値は特に限定されず、例えばユーザが任意に指定した値であってもよく、入居者若しくは非入居者の直近の所定時間内の移動距離の総和の推移、又は移動速度の推移に基づいて算出される値であってもよい。直近の所定時間として設定される画像のフレーム数は特に限定されない。

このような構成によれば、直近の所定時間内における分散が大きい人体を非入居者として判定する情報処理装置を提供することが可能となる。

［実施形態３］
実施形態１及び２に係る情報処理装置においては、被写体の実際の室内での移動距離と画像内での移動距離との差が大きくなり、移動距離又は移動速度の計算が実際の数値に対して正しく行われないことがある。つまり、計算される活動量が画角などの影響を受けることがある。そのような観点から、実施形態３に係る情報処理装置は、画像から算出される被写体の活動量を補正し、補正された活動量に基づいて、前記被写体についての監視結果を通知すべきかどうかを判断する。そのために、本実施形態に係る情報処理装置は、距離算出部４０２が図８に示される距離取得部８０１及び距離補正部８０２を備えることを除き実施形態１又は２と同様の構成を有するため、重複する説明は省略する。

図８は実施形態３に係る距離算出部４０２の機能構成の一例を示すブロック図である。距離取得部８０１は、検出した被写体の活動量を取得する。ここで、距離取得部８０１は、実施形態１における距離算出部４０２が行う処理と同様に、画像中での人体の検出位置に基づいて人体の移動距離を取得する。距離補正部８０２は、距離取得部８０１が取得した移動距離の値を補正する。

図９は、入居者の居室に配置したカメラが撮像する画像９００と、その居室の平面図（俯瞰図）である９１０との一例を示す図である。画像９００における矢印９０１は画像９００において人体が横方向に動いた例を示し、矢印９０２は画像９００において人体が部屋の奥に向かって動いた例を示す。また、９１０における矢印９１１は矢印９０１に対応し、矢印９１２は矢印９０２に対応している。例えば、画像９００において人体が横方向に動いた場合では９１０における人体の軌跡は矢印９１１を描き、画像９００において人体が部屋の奥に向かって動いた場合では９１０における人体の軌跡は矢印９１２を描く。ここで、矢印９０１と矢印９０２とで始点から終点までの長さは等しいが、矢印９１１と矢印９１２との長さでは矢印９１２の方が長くなる。つまり、撮像画像中での被写体の移動距離は撮像画角及びレンズの歪みなどの影響を受けるため、実空間上での被写体の移動距離と異なる場合がある。したがって、距離補正部８０２は、画像中での被写体の検出位置に応じた移動距離の計算値に対して補正を行う。

距離補正部８０２は、例えば検出された人体の幅、高さ、又は顔などの所定部位の大きさなどに基づいて、移動距離の計算値に対して補正を行ってもよい。ここでは図１０を参照して、検出された人体の幅に基づいて補正を行う方法の一例が説明される。画像１００１は、入居者の居室を撮像したカメラ画像の一例である。枠１００２及び枠１００３は、人体検出を行った結果の表示の例であり、枠１００３は枠１００２の検出結果の次のフレームでの検出結果である。画像１００１においては、枠１００２及び枠１００３の２フレーム分の人体検出結果が重畳表示されている。矢印１００４は、画像中での人体の移動距離を示す。ここで、枠１００２の幅をＷ１とし、枠１００３の幅をＷ２とし、矢印１００４が示す距離をＬとする。距離補正部８０２が移動距離を補正する方法は特に限定されないが、例えば、距離補正部８０２は、以下の式（３）にしたがって補正後の移動距離Ｌ_補正後を算出することができる。
Ｌ_補正後＝Ｌ／｛（Ｗ１＋Ｗ２）／２｝ （３）
式（３）においては、２フレーム間の移動距離に対して、２フレーム分の人体幅の平均値を用いて補正を行う場合の例が示されている。

また例えば、距離補正部８０２は、ホモグラフィ変換した画像中での被写体の座標に基づいて移動距離の算出を行うことにより、補正された被写体の移動距離を算出してもよい。つまり、距離取得部８０１は画像中での被写体の位置を取得する。次いで、距離補正部８０２は画像中での被写体の位置をホモグラフィ変換し、変換された位置に基づいて被写体の活動量を算出する。ホモグラフィ変換とは、射影を行うホモグラフィ行列を用いて平面を別の平面へと射影する変換であるが、公知の技術であるため詳細な説明は省略する。

本実施形態に係る情報処理装置は、画像を平面上にホモグラフィ変換して、つまり画像の見かけ上の人体の位置を床面（例えば俯瞰図）上の人体位置に変換して、床面上での人体のフレームごとの移動距離の総和を算出する。例えば、距離取得部８０１は、画像中での人体検出枠の下端の位置をその人体の足元の位置とみなすことができる。距離補正部８０２は、その足元の座標を床面上の座標に射影することができる。次いで、距離補正部８０２は、射影した足元の座標を人体の検出位置として、実施形態１と同様に人体の移動距離を算出することができる。ここで、距離補正部８０２は、画像中での座標から床面上の座標への射影を、上述のようにホモグラフィ変換を利用することによって行うことができる。ホモグラフィ変換行列は、対応する複数の画像中での点と床面上の点との座標の情報から事前に求めておく。

本実施形態に係る判定部３０２は、Ｓ５００５において、Ｓ５００４で算出される移動距離の代わりに距離補正部が算出した補正後の移動距離を用いることにより、検出された人体に関する判定を行う。このような構成によれば、画像から取得される被写体の活動量を補正し、補正した活動量に基づいて被写体についての監視結果を通知すべきかを判断する情報処理装置を提供することが可能となる。

［実施形態４］
非入居者であるスタッフは、例えばシーツの交換、又は衣類小物の片付けなどのために手足を動かしていることが多い。そのような観点から、実施形態４に係る情報処理装置は、被写体の活動量として、所定時間内の被写体の関節位置のフレームごとの移動距離の総和を取得する。そのために、本実施形態に係る情報処理装置は、活動量計算部３０１が図１１に示される関節検出部１１０１及び変化量算出部１１０２を備えることを除き実施形態１、２又は３と同様の構成を有するため、重複する説明は省略する。

図１１は、実施形態４に係る活動量計算部３０１の機能構成の一例を示すブロック図である。関節検出部１１０１は、画像中の人体の関節位置を検出する。変化量算出部１１０２は、関節検出部１１０１が検出した関節位置に基づいて、関節位置の活動量を算出する。

次いで、図１２を参照して、本実施形態に係る活動量計算部３０１と判定部３０２との処理の流れについて説明する。図１２は、本実施形態に係る情報処理装置が行う処理の一例を示すフローチャートである。図１２の処理が開始されるタイミングは特に限定されないが、例えば活動量が大きい人体を非入居者と判定する解析システムを起動する旨の指示がユーザによってなされたタイミングで開始されてもよい。本実施形態に係る情報処理装置は、Ｓ１２０１～Ｓ１２０５を除いて実施形態１の図５と同様の処理を行うため、重複する説明は省略する。

Ｓ５００１に後続するＳ１２０１で関節検出部１１０１は、画像から人体の姿勢の推定を行う。画像からの姿勢の推定を行う方法は特に限定されず、例えば深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）などによって人体の関節位置を推定できるように学習した識別器を用いて行ってもよい。Ｓ１２０２において関節検出部１１０１は、姿勢推定を行った結果の履歴が関節位置の移動距離の総和を求めるために用いられるフレーム数分（ここではｎフレームとする）存在するかどうかを判定する。ｎフレーム存在しない場合（Ｓ１２０２がＮｏの場合）、処理はＳ５００１へと戻る。ｎフレーム存在する場合（Ｓ１２０２がＹｅｓの場合）には、処理はＳ１２０３へと進む。

Ｓ１２０３で変化量算出部１１０２は、Ｓ１２０１で推定された姿勢に基づいて、被写体の関節位置を取得する。Ｓ１２０４で変化量算出部１１０２は、画像間で対応する関節位置それぞれについて、ｎフレーム分の変化量（移動距離）の総和を算出する。変化量の総和の算出は、式（１）又は式（２）を用いて、実施形態１と同様に行うことができる。また、例えば、非入居者であるスタッフが床の雑巾がけをする場合、肩から先の関節位置が大きく移動することが考えられる。そのような観点から、変化量算出部１１０２は、関節位置それぞれの変化量について補正をかけて（つまり、この場合では肩から先の関節位置の移動の特徴をより大きく重みづけをして）変化量を算出してもよい。変化量算出部１１０２は、関節位置の変化量それぞれに応じた補正係数をかけることにより、変化量に対する補正を行うことができる。

Ｓ１２０５で判定部３０２は、Ｓ１２０４で算出した値が、検出された人体が非入居者であると判断される閾値を超えているかどうかを判定する。閾値未満である場合（Ｓ１２０５がＮｏである場合）、処理はＳ５００６へと進む。閾値以上である場合（Ｓ１２０５がＹｅｓの場合）、処理はＳ５００７へと進む。判定部３０２は、Ｓ５００６では検出された人物が入居者であると決定し、Ｓ５００７では検出された人物がスタッフ又は入居者の家族などの非入居者であると決定する。

このような構成によれば、各関節位置の移動距離に基づいて、その関節位置を有する被写体についての監視結果を通知すべきかどうかを判断することのできる情報処理装置を提供することが可能となる。図１２に示されるフローチャートの処理は一例であり、その順序は発明の要旨の範囲内で変更されてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：情報処理装置、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：ストレージ、１０５：通信Ｉ／Ｆ、１０６：内部バス

Claims (12)

1. 画像中の被写体に対応する複数の関節位置を検出する検出手段と、
   前記被写体に対応する複数の関節位置のそれぞれの位置変化量に対して前記被写体の姿勢に応じた重みづけをして加算した結果に基づき、前記被写体の活動量を取得する取得手段と、
   前記取得手段により取得された前記被写体の前記活動量に基づいて、前記被写体についての監視結果を通知すべきかどうかを判断する判断手段と、
   を備えることを特徴とする、情報処理装置。
2. 前記被写体の活動量は、所定時間内における前記複数の関節位置のそれぞれの位置変化量に対して前記被写体の姿勢に応じた重みづけをして加算することで得られることを特徴とする、請求項１に記載の情報処理装置。
3. 前記被写体の姿勢を推定する推定手段を更に備えることを特徴とする、請求項２に記載の情報処理装置。
4. 前記取得手段は、前記被写体が床の雑巾がけをする姿勢であると推定される場合、前記複数の関節位置のうち肩から先の関節位置の位置変化量が大きくなるように重みづけを行うことを特徴とする、請求項１乃至３の何れか一項に記載の情報処理装置。
5. 前記取得手段は、所定時間内の前記被写体の活動量として、前記画像のフレームごとの前記複数の関節位置の前記重みづけされた位置変化量の総和を取得することを特徴とする、請求項１乃至４の何れか一項に記載の情報処理装置。
6. 前記取得手段は、前記画像をホモグラフィ変換した平面上での座標を用いて前記被写体の活動量を取得することを特徴とする、請求項１乃至５の何れか一項に記載の情報処理装置。
7. 前記判断手段は、前記被写体の活動量と所定の閾値とに応じて、前記被写体についての監視結果を通知すべきかどうかを判断することを特徴とする、請求項１乃至６の何れか一項に記載の情報処理装置。
8. 前記判断手段は、前記活動量に基づいて前記被写体が要介助者であると判定された場合に、前記被写体についての監視結果を通知すべきであると判断することを特徴とする、請求項１乃至７の何れか一項に記載の情報処理装置。
9. 前記監視結果は転倒検知の結果であることを特徴とする、請求項１乃至８の何れか一項に記載の情報処理装置。
10. 前記被写体が転倒したかどうかを判定する判定手段をさらに備え、
    前記判定手段は、前記活動量が所定の閾値以上であれば判定の結果を通知せず、前記活動量が所定の閾値未満であれば判定の結果を通知することを特徴とする、請求項９に記載の情報処理装置。
11. 画像中の被写体に対応する複数の関節位置を検出する検出工程と、
    前記被写体に対応する複数の関節位置のそれぞれの位置変化量に対して前記被写体の姿勢に応じた重みづけをして加算した結果に基づき、前記被写体の活動量を取得する取得工程と、
    前記取得工程により取得された前記被写体の前記活動量に基づいて、前記被写体についての監視結果を通知すべきかどうかを判断する判断工程と、
    を備えることを特徴とする、情報処理方法。
12. コンピュータを、請求項１乃至１０の何れか一項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images