JP2020014738A - 情報処理装置 - Google Patents

Abstract

【課題】介護者が被介護者の種々の状態を迅速かつ的確に認識して対応することができないこと。【解決手段】本発明の情報処理装置は、複数の所定領域毎に、当該所定領域を撮影した距離画像に基づいて当該距離画像内の人物の状態を検出する検出手段と、所定領域毎に、人物の状態の検出結果に基づいて所定領域の予め設定された複数の検出状態のうちのいずれかの検出状態であることを特定する特定手段と、所定領域毎に、特定した検出状態に対応した領域情報を表示装置に表示出力すると共に、複数の所定領域にそれぞれ対応する領域情報をまとめて表示出力する表示出力手段と、を備える。【選択図】図２

Description

本発明は、情報処理装置及び情報処理方法に関する。

近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献１に記載のような、距離画像センサで撮影した画像を用いて、被介護者といった人物を監視する監視システムが多く開発されている。

特許文献１に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人の領域を検出し、人の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人の動作は、所定の高さ位置に対する物体の位置を検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。そして、この監視システムでは、判別した動作が被介護者毎に予め設定された特定の状態である場合に、介護者の待機所に対して報知することとしている。

特開２０１２−０３００４２号公報

しかしながら、上述した特許文献１の技術では、被介護者の特定の動作の場合に介護者に報知するだけであるため、介護者は被介護者の種々の状態を把握することができない、という問題が生じる。また、介護者の待機所では多くの被介護者に対する報知がなされる可能性があるが、上述した技術では、介護者は迅速かつ的確に被介護者に関する報知を認識して対応することができない、という問題も生じる。

このため、本発明の目的は、上述した課題である、介護者が被介護者の種々の状態を迅速かつ的確に認識して対応することができない、ということを解決することができる情報処理装置を提供することにある。

本発明の一形態である情報処理装置は、
複数の所定領域毎に、当該所定領域を撮影した距離画像に基づいて当該距離画像内の人物の状態を検出する検出手段と、
前記所定領域毎に、前記人物の状態の検出結果に基づいて前記所定領域の予め設定された複数の検出状態のうちのいずれかの検出状態であることを特定する特定手段と、
前記所定領域毎に、特定した前記検出状態に対応した領域情報を表示装置に表示出力すると共に、複数の前記所定領域にそれぞれ対応する前記領域情報をまとめて表示出力する表示出力手段と、
を備えた、
という構成をとる。

また、上記情報処理装置では、
前記検出手段は、前記距離画像に基づいて当該距離画像内の前記人物の予め設定された複数の状態を検出し、
前記特定手段は、前記人物の状態に応じた複数の前記検出状態のうちのいずれかの前記検出状態であることを特定する、
という構成をとる。

また、上記情報処理装置では、
前記特定手段は、前記人物の状態に応じた複数の前記検出状態と、前記人物の状態を検出するための機器の状態に応じた複数の前記検出状態と、のうちのいずれかの前記検出状態であることを特定する、
という構成をとる。

また、上記情報処理装置では、
前記検出手段は、前記機器からの信号に基づいて当該機器の状態を検出し、
前記特定手段は、前記機器の状態が予め設定された特定の状態である場合に、当該特定の状態に対応する前記検出状態であることを特定する、
という構成をとる。

また、上記情報処理装置では、
前記検出手段は、前記距離画像に基づいて当該距離画像内の前記人物の状態として当該人物の姿勢を検出し、
前記特定手段は、前記人物の姿勢が予め設定された特定の姿勢である場合に、当該特定の姿勢に対応する前記検出状態であることを特定する、
という構成をとる。

また、上記情報処理装置では、
前記検出手段は、前記距離画像に基づいて当該距離画像内の前記人物の状態として当該人物の位置を検出し、
前記特定手段は、前記人物の位置が予め設定された特定の位置である場合に、当該特定の位置に対応する前記検出状態であることを特定する、
という構成をとる。

また、上記情報処理装置では、
前記表示出力手段は、異なる前記領域情報を異なる色で表示出力する、
という構成をとる。

また、本発明の他の形態である情報処理方法は、
複数の所定領域毎に、当該所定領域を撮影した距離画像に基づいて当該距離画像内の人物の状態を検出し、
前記所定領域毎に、前記人物の状態の検出結果に基づいて前記所定領域の予め設定された複数の検出状態のうちのいずれかの検出状態であることを特定し、
前記所定領域毎に、特定した前記検出状態に対応した領域情報を表示装置に表示出力すると共に、複数の前記所定領域にそれぞれ対応する前記領域情報をまとめて表示出力する、
という構成をとる。

また、本発明の他の形態であるプログラムは、
情報処理装置に、
複数の所定領域毎に、当該所定領域を撮影した距離画像に基づいて当該距離画像内の人物の状態を検出する検出手段と、
前記所定領域毎に、前記人物の状態の検出結果に基づいて前記所定領域の予め設定された複数の検出状態のうちのいずれかの検出状態であることを特定する特定手段と、
前記所定領域毎に、特定した前記検出状態に対応した領域情報を表示装置に表示出力すると共に、複数の前記所定領域にそれぞれ対応する前記領域情報をまとめて表示出力する表示出力手段と、
を実現させる、
という構成をとる。

本発明は、以上のように構成されることにより、介護者が被介護者の種々の状態を迅速かつ的確に認識して対応することができる。

本発明の実施形態１における情報処理システムの構成を示す概略図である。 図１に開示した監視サーバの構成を示すブロック図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバによる部屋情報表示の様子を示す図である。 図１に開示した監視サーバの処理動作を示すフローチャートである。

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図５を参照して説明する。図１乃至図２は、情報処理システムの構成を示す図である。図３乃至図５は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。

本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物Ｐの行動を監視するための情報処理システムである。そして、情報処理システムは、監視サーバ１０と、距離画像カメラＣと、監視端末３０と、を備えて構成されている。

上記距離画像カメラＣ（撮影装置）は、監視対象となる人物Ｐが横たわるベッドＢが配置された領域である部屋Ｒ内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラＣは、医療施設や介護施設、宅内の部屋Ｒの天井に設けられ、部屋Ｒの大部分が画像内に収まる位置に配置されている。なお、距離画像カメラＣは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。また、部屋Ｒに設置されるベッドＢは、布団などのいかなる寝床であってもよい。

距離画像カメラＣは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラＣは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式の撮影装置であってもよい。そして、距離画像カメラＣは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ１０に送信する機能を有する。なお、上記監視サーバ１０の機能については、上記距離画像カメラＣに搭載することもできる。つまり、距離画像カメラＣに搭載された情報処理装置にて監視サーバ１０の機能を実現してもよい。

ここで、本実施形態では、監視対象となる人物Ｐがそれぞれ利用する部屋Ｒが複数あり、各部屋Ｒにそれぞれ距離画像カメラＣが設置されている。そして、各距離画像カメラＣは、撮影した距離画像の情報をはじめとする監視サーバ１０に送信する情報に、設置されている部屋Ｒに対応する識別情報を付して監視サーバ１０に送信する。

上記監視端末３０は、被介護者である人物の介護を行ったり監視する監視者であるユーザＵが操作する情報処理端末である。監視端末３０は、監視者などのユーザＵが在籍する監視ルームなどの場所に設置されており、複数のユーザＵによって操作可能である。そして、監視端末３０は、後述する図４に示すように、監視サーバ１０から送信される各部屋Ｒの状況を表す部屋情報の一覧を表示装置に表示する。このとき、部屋情報には、人物の状態を通知する情報や、機器の状態を通知する情報が含まれており、かかる内容をユーザＵに報知することとなる。なお、監視端末３０は、表示装置に距離画像カメラＣで撮影された距離画像を表示することもできる。

上記監視サーバ１０は、演算装置及び記憶装置を有するサーバ装置（情報処理装置）である。そして、監視サーバ１０は、図２に示すように、演算装置がプログラムを実行することで構築された、機器検出部１１、距離画像取得部１２、検出部１３、特定部１４、出力部１５、を備えている。また、監視サーバ１０は、記憶装置に形成された、基準情報記憶部１６を備えている。以下、各構成について詳述するが、併せて監視サーバ１０の動作も、図５のフローチャートを参照して併せて説明する。

上記機器検出部１１（検出手段）は、人物Ｐの状態を検出するために利用される機器である、距離画像カメラＣ、監視サーバ１０自体、さらには監視サーバ１０に接続された他の機器、の状態を検出する（図５のステップＳ１）。例えば、機器検出部１１は、距離画像カメラＣや監視サーバ１０自体から正常に作動していないことを表す故障信号を受信する状態（あるいは正常信号を受信しない状態）、距離画像カメラＣと接続しているにも関わらず距離画像を正常に取得できない状態、距離画像カメラＣと接続しておらず信号を受信していない状態、などの状態を検出する。このとき、機器検出部１１は、距離画像カメラＣからの信号に含まれる識別情報を検知することで、かかる信号を受信した距離画像カメラＣが設置されている部屋Ｒを判別することができる。なお、機器検出部１１は、ベッドＢに設置された人物Ｐの心拍や呼吸などの生体情報を検出する生体センサ（図示せず）といった人物Ｐの状態を検出するための他の機器の状態を検出してもよい。そして、機器検出部１１は、検出した機器の状態を、人物Ｐの状態の検出結果として特定部１４に通知する。

上記距離画像取得部１２は、上述したように各距離画像カメラＣにて各部屋Ｒ内を撮影した距離画像を、定期的に距離画像カメラＣから取得する（図５のステップＳ３）。そして、取得した距離画像を検出部１３に渡すことで、当該距離画像は後述する検出処理に用いられる。

上記検出部１３（検出手段）は、距離画像を用いて、当該距離画像内の人物Ｐを検出して、当該人物Ｐの状態を検出する（図５のステップＳ４）。このとき、検出部１３は、距離画像に含まれる距離画像カメラＣの識別情報から、いずれの部屋Ｒの距離画像であるかを判別して、かかる距離画像を処理する。

具体的に、検出部１３は、まず、距離画像内における人物Ｐを検出する処理を行う。このとき、検出部１３は、距離画像内に存在する物体を検出し、かかる物体から人物の最頂点と重心位置を検出する。そして、検出部１３は、例えば、距離画像内における個々の塊からなる物体を検出し、検出した物体の質量や、物体間の位置関係や体積比（面積比）などから、人物Ｐを検出する。

続いて、検出部１３は、検出された人物の最頂点と重心位置の追従を行い、距離画像内における人物Ｐの位置や姿勢を検出して、人物Ｐの状態を検出する（図５のステップＳ４）。例えば、検出部１３は、部屋Ｒ内における人物Ｐの位置を検出する。ここで、図３上図に、部屋Ｒの距離画像の一例を示す。この例では、部屋Ｒ内に、ベッドＢとトイレＴとドアＤが設置されており、これら設置物と人物Ｐとの位置関係に応じて当該人物Ｐの位置を検出する。例えば、予め距離画像上におけるベッドＢやトイレＴの位置を設定して基準情報記憶部１６に登録しておき、これらの位置と検出した人物Ｐの位置とに応じて、人物Ｐが「在室してベッド上に位置する」、「在室してトイレに位置する（トイレに入った）」、「在室して居室にいる（ベッドとトイレ以外の位置にいる）」、といった状態を検出する。そして、検出部１３は、かかる検出結果を特定部１４に通知する。

また、検出部１３は、人物Ｐの姿勢も検出する。特に、検出部１３は、人物Ｐの姿勢が検知対象状態として設定された姿勢であることを検出する。検知対象状態とは、例えば、人物ＰがベッドＢに立つ状態、人物ＰがベッドＢから離れてうずくまっている状態、人物ＰがベッドＢから離れて横たわっている状態、などであるが、いかなる人物Ｐの姿勢を検知対象状態として検出してもよい。なお、検出部１３は、上記のような人物Ｐの姿勢を、例えば図３下図に示すように、ベッドＢの高さ位置に対する人物Ｐの最頂点や重心位置に基づいて検出する。そして、検出部１３は、検知対象状態を検出すると、特定部１４に通知する。

なお、検出部１３は、上述した人物Ｐの状態の検出を部屋Ｒごとに行う。このため、検出部１３は、各部屋Ｒの識別情報に、検出した人物Ｐの状態を関連付けて特定部１４に通知する。

上記特定部１４（特定手段）は、上述したように部屋Ｒごとにおける人物Ｐの状態の検出結果、つまり、機器の状態と人物Ｐの状態の通知を受けると、かかる通知に基づいて部屋Ｒごとの検出状態を特定する。このとき、特定する部屋Ｒの検出状態としては、予め複数の検出状態が設定されており、このうちのいずれかの検出状態であるかを特定部１４が特定する。例えば、予め設定された検出状態は、以下のように、人物Ｐの状態に応じた検出状態と、機器の状態に応じた検出状態と、がある。
「人物の状態に応じた検出状態」
・アラート状態（検知）
・在室（ベッド）
・在室（居室）
・在室（トイレ）
・不在
「機器の状態に応じた検出状態」
・機器故障（エラー）
・機器が接続されていない（未接続（正常系））
・機器と接続されているが信号異常（未接続（異常系））

具体的に、特定部１４は、機器検出部１１と検出部１３から通知された機器の状態と人物Ｐの状態に応じて、各部屋Ｒの検出状態を特定する。例えば、特定部１４は、部屋Ｒ内の人物ＰがベッドＢに立っているといった「検知対象状態」の通知を受けた場合には、かかる部屋Ｒの状態を上記「アラート状態（検知）」として特定する。また、特定部１４は、部屋Ｒ内の人物ＰがベッドＢに横たわっているといった状態の通知を受けた場合には、かかる部屋Ｒの状態を上記「在室（ベッド）」として特定する。また、特定部１４は、部屋Ｒ内の人物ＰがベッドＢとトイレＴ以外にいるといった状態の通知を受けた場合には、かかる部屋Ｒの状態を上記「在室（居室）」として特定する。また、特定部１４は、部屋Ｒ内の人物ＰがトイレＴに入っているといった状態の通知を受けた場合には、かかる部屋Ｒの状態を上記「在室（トイレ）」として特定する。また、特定部１４は、部屋Ｒ内の人物Ｐの状態の通知を受けとっていない場合には、かかる部屋Ｒの状態を上記「不在」として特定する。

また、特定部１４は、機器の故障信号を受信したといった機器の状態の通知を受けた場合には、かかる部屋Ｒの状態を上記「機器故障（エラー）」として特定する。また、特定部１４は、距離画像カメラＣと接続しているにも関わらず距離画像を正常に取得できなかったといった機器の状態の通知を受けた場合には、かかる部屋Ｒの状態を上記「機器と接続されているが信号異常（未接続（異常系））」として特定する。また、特定部１４は、距離画像カメラＣと接続しておらず信号を受信していないといった機器の状態の通知を受けた場合には、かかる部屋Ｒの状態を上記「機器が接続されていない（未接続（正常系））」として特定する。

そして、特定部１４は、上述したように特定した各部屋Ｒの検出状態を、出力部１５に通知する。例えば、特定部１４は、部屋Ｒの識別情報に関連付けて、特定した検出状態の情報を出力部に通知する。なお、上述した特定部１４による部屋Ｒの検出状態の特定処理は一例であって、上述した検出状態を特定することに限定されない。また、特定部１４は、他の方法で部屋Ｒの検出状態を特定してもよい。

上記出力部１５（表示出力手段）は、特定部１４から通知された各部屋Ｒの検出状態に対応した部屋情報（領域情報）を、監視端末３０の表示装置に表示するよう出力する。このとき、出力部１５は、図４に示すような表示画面を監視端末３０に表示し、かかる表示画面に複数の部屋Ｒの部屋情報をまとめて表示する。具体的に、出力部１５は、部屋情報として、部屋Ｒの識別情報に対応する部屋番号の表示と共に、当該部屋番号の周囲を、部屋Ｒの検出状態に対応して予め設定された色で表示する。本実施形態では、上述した各検出状態である「エラー」、「検知」、「在室（ベッド）」、「在室（居室）」、「在室（トイレ）」、「不在」、「未接続（正常系）」、「未接続（異常系）」にそれぞれ対応する異なる色で、部屋情報を表示する。

図５の例では、部屋番号「１０１」の部屋Ｐは、検出状態が「在室（居室）」であるため、かかる検出状態に対応する色で部屋情報を表示している。また、部屋番号「１０６」の部屋Ｐは、検出状態が「在室（ベッド）」であるため、かかる検出状態に対応する色で部屋情報を表示している（図５のステップＳ５でＮｏ，ステップＳ６）。また、部屋番号「２０３」は、部屋Ｐの検出状態が「検知」であるため、かかる検出状態に対応する色で部屋情報を表示している（図５のステップＳ５でＹｅｓ，ステップＳ７）。また、部屋番号「３０１」は、部屋Ｐの検出状態が「エラー」であるため、かかる検出状態に対応する色で部屋情報を表示している（図５のステップＳ２でＹｅｓ，ステップＳ８）。なお、図５では、図示する都合上、各部屋Ｐの部屋情報を塗りつぶしパターンで表示しているが、異なる色の塗りつぶしで表示してもよく、それぞれが異なる他の表示形態で表示してもよい。

以上のように、本発明によると、監視端末３０の表示画面には、複数の部屋Ｐの状態がまとめて表示されることとなる。つまり、部屋Ｐごとに、監視に用いる機器の状態（エラー、未接続（正常系）、未接続（異常系））や、人物Ｐの状態（検知、在室（ベッド）、在室（居室）、在室（トイレ）、不在）が、各状態に応じて区別されて表示される。このため、監視者や介護者は、複数の部屋における複数の状況を、一目で把握することができる。例えば、部屋Ｒの人物ＰがベッドＢに立つなどの検知対象状態が検出された場合には、かかる状態に対応する「検知」の色で部屋情報が表示されるため、監視者や介護者は迅速にかかる状況を把握して、かかる部屋Ｒに介護に向かうなど迅速かつ適切な対応を取ることができる。また、部屋Ｒに設置された機器が故障している状態が検出された場合には、かかる状態に対応する「エラー」の色で部屋情報が表示されるため、監視者や介護者は迅速にかかる状況を把握して、修理を依頼するなど迅速かつ適切な対応を取ることができる。

なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

１０ 監視サーバ
１１ 機器検出部
１２ 距離画像取得部
１３ 検出部
１４ 特定部
１５ 出力部
１６ 基準情報記憶部
３０ 監視端末
Ｂ ベッド
Ｃ 距離画像カメラ
Ｐ 人物
Ｕ ユーザ

Claims (8)

1. 複数の所定領域毎に、当該所定領域を撮影した距離画像に基づいて当該距離画像内の人物の状態を検出する検出手段と、
   前記所定領域毎に、前記人物の状態の検出結果に基づいて前記所定領域の予め設定された複数の検出状態のうちのいずれかの検出状態であることを特定する特定手段と、
   前記所定領域毎に、特定した前記検出状態に対応した領域情報を表示装置に表示出力すると共に、複数の前記所定領域にそれぞれ対応する前記領域情報をまとめて表示出力する表示出力手段と、
   を備えた情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記検出手段は、前記距離画像に基づいて当該距離画像内の前記人物の予め設定された複数の状態を検出し、
   前記特定手段は、前記人物の状態に応じた複数の前記検出状態のうちのいずれかの前記検出状態であることを特定する、
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記特定手段は、前記人物の状態に応じた複数の前記検出状態と、前記人物の状態を検出するための機器の状態に応じた複数の前記検出状態と、のうちのいずれかの前記検出状態であることを特定する、
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記検出手段は、前記機器からの信号に基づいて当該機器の状態を検出し、
   前記特定手段は、前記機器の状態が予め設定された特定の状態である場合に、当該特定の状態に対応する前記検出状態であることを特定する、
   情報処理装置。
5. 請求項２乃至４のいずれかに記載の情報処理装置であって、
   前記検出手段は、前記距離画像に基づいて当該距離画像内の前記人物の状態として当該人物の姿勢を検出し、
   前記特定手段は、前記人物の姿勢が予め設定された特定の姿勢である場合に、当該特定の姿勢に対応する前記検出状態であることを特定する、
   情報処理装置。
6. 請求項２乃至５のいずれかに記載の情報処理装置であって、
   前記検出手段は、前記距離画像に基づいて当該距離画像内の前記人物の状態として当該人物の位置を検出し、
   前記特定手段は、前記人物の位置が予め設定された特定の位置である場合に、当該特定の位置に対応する前記検出状態であることを特定する、
   情報処理装置。
7. 請求項１乃至６のいずれかに記載の情報処理装置であって、
   前記表示出力手段は、異なる前記領域情報を異なる色で表示出力する、
   情報処理装置。
8. 複数の所定領域毎に、当該所定領域を撮影した距離画像に基づいて当該距離画像内の人物の状態を検出し、
   前記所定領域毎に、前記人物の状態の検出結果に基づいて前記所定領域の予め設定された複数の検出状態のうちのいずれかの検出状態であることを特定し、
   前記所定領域毎に、特定した前記検出状態に対応した領域情報を表示装置に表示出力すると共に、複数の前記所定領域にそれぞれ対応する前記領域情報をまとめて表示出力する、
   情報処理方法。