JP2023015598A - 制御装置、制御方法、制御プログラム、および情報処理システム - Google Patents

Abstract

【課題】ベッドが傾く等して、ベッドが動いた場合であっても画像による被看介護者の状態検知を適切に行うことができる制御装置、制御方法、制御プログラム、および情報処理システムを提供する。
【解決手段】制御装置は、画像取得部１１１，画像解析部１１２、および制御部１１４を有する。画像取得部１１１は、ベッド９０に設置された撮像部１０３により撮影された画像を取得する。画像解析部１１２は、画像を解析する。制御部１１４は、ベッド９０の動作または状態に基づき、撮像部１０３、または画像解析部１１２を制御する。
【選択図】図４

Description

本発明は、制御装置、制御方法、制御プログラム、および情報処理システムに関する。

介護老人福祉施設や病院等の看介護施設において、入居または入院している被看護者や被介護者（以下、「被看介護者」という）は、看介護施設内で、歩行中に転倒したり、ベッドから転落して怪我したり、生体情報に異常が検出されることがある。そのため、被看介護者がこのような状態になったときに看護師や介護士等（以下、「看介護者」という）がすぐに駆けつけられるようにするために、被看介護者の状態を常時検知するための見守りシステムの開発が進められている。

下記特許文献１には、見守りシステムとして、電動ベッドに設けられたモニタカメラの画像から患者の人体パーツをオブジェクトやパーツとして認識する画像認識ユニットが記載されている。

特開２０１８－１３４２７８号公報

特許文献１の技術では、電動ベッドにカメラを設置することによって、カメラは、電動ベッドや周囲の環境等に位置合わせをする必要がなくなり、看介護者の利便性が向上するという利点がある。一方で、特許文献１の技術では、画像による誤検知が頻発する問題が生じる可能性がある。発明者らが鋭意検討した結果、電動ベッドの駆動に起因して問題が発生しうることがわかった。具体的には、電動ベッドには、床高、背上げ角度、膝上げ角度、足上げ角度、傾き角度を調整する機能があり、カメラが電動ベッドに設置されることで、電動ベッドが傾く等の動きに応じてカメラの向きも変わってしまうことにより、画像による被看介護者の状態検知に問題が生じることが判明した。

本発明はこのような問題を解決するためになされたものである。すなわち、ベッドが傾く等して、ベッドが動いた場合であっても画像による被看介護者の状態検知を適切に行うことができる制御装置、制御方法、制御プログラム、および情報処理システムを提供することを目的とする。

本発明の上記課題は、以下の手段によって解決される。

（１）ベッドに設置された撮像部により撮影された画像を取得する画像取得部と、前記画像を解析する画像解析部と、前記ベッドの動作または状態に基づき、前記撮像部、または前記画像解析部を制御する制御部と、を備えた制御装置。

（２）前記制御部は、前記ベッドの動作または状態に基づき、前記画像を解析する方法を変更するように前記画像解析部を制御する、上記（１）に記載の制御装置。

（３）前記制御部は、前記ベッドの動作または状態に基づき、前記撮像部の向き、または位置を制御する、上記（１）に記載の制御装置。

（４）前記制御部は、前記ベッドの動作または状態に基づき、前記画像取得部よって取得された画像を補正するように前記画像解析部を制御する、上記（１）に記載の制御装置。

（５）前記ベッドの動作または状態を検知するセンサーからの検知結果を受け付ける受付部をさらに有し、前記制御部は、前記検知結果に基づいて、前記ベッドの動作または状態を判定する、上記（１）～（４）のいずれか１つに記載の制御装置。

（６）前記ベッドは、電動ベッドであり、前記制御部は、前記電動ベッドからの信号に基づいて、前記ベッドの動作または状態を判定する、上記（１）～（５）のいずれか１つに記載の制御装置。

（７）前記画像解析部は、前記撮像部により撮影された画像に含まれるオブジェクトを検出し、前記画像の前記ベッドに対応するベッドオブジェクトの上端の位置と、前記画像の人に対応する人オブジェクトの上端の位置とに基づいて、前記人の状態を判定する、上記（１）～（６）のいずれか１つに記載の制御装置。

（８）前記画像解析部は、前記ベッドオブジェクトの上端の位置と、前記人オブジェクトの上端の位置とを比較して、前記人オブジェクトの上端の位置が前記ベッドオブジェクトの上端の位置よりも上方にある場合は、前記人は転倒していないと判定する一方で、下方にある場合は転倒していると判定する、上記（７）に記載の制御装置。

（９）前記画像に含まれる人の状態を判定するための閾値を記憶する記憶部をさらに備え、前記画像解析部は、前記撮像部により撮影された画像に含まれるオブジェクトを検出し、前記画像の人に対応する人オブジェクトの上端の位置と前記閾値との比較結果に基づいて、前記人の状態を判定する、上記（２）に記載の制御装置。

（１０）前記画像解析部は、前記ベッドの動作または状態に基づき、前記閾値を変更する、上記（９）に記載の制御装置。

（１１）前記画像に含まれる人の姿勢を判定するための基準を記憶する記憶部をさらに備え、前記画像解析部は、前記撮像部により撮影された画像に含まれる人に対応する人オブジェクトの骨格および関節点を検知し、検知された骨格および関節点と前記基準とに基づいて、前記人の姿勢と、当該姿勢に対応する、前記人の状態とを判定する、上記（２）に記載の制御装置。

（１２）前記画像解析部は、前記ベッドの動作または状態に基づき、前記基準を変更する、上記（１１）に記載の制御装置。

（１３）前記撮像部は、前記ベッドのマットレス、ヘッドボード、またはフットボードに設置される、上記（１）～（１２）のいずれか１つに記載の制御装置。

（１４）撮像部が設置されたベッドの動作または状態に基づき、前記撮像部を制御する制御ステップと、前記撮像部により前記ベッドを含む撮影対象を撮影する撮影ステップと、前記撮像部により撮影された画像を画像取得部により取得する取得ステップと、前記画像を解析する解析ステップと、を有する、制御方法。

（１５）ベッドに設置された撮像部により前記ベッドを含む撮影対象を撮影する撮影ステップと、前記撮像部により撮影された画像を画像取得部により取得する取得ステップと、前記ベッドの動作または状態に基づき、前記画像を解析する画像解析部を制御する制御ステップと、を有する制御方法。

（１６）上記（１４）または（１５）に記載の制御方法をコンピューターに実行させるための制御プログラム。

（１７）ベッドに設置された撮像部と、上記（１）～（１３）のいずれか１つに記載の制御装置と、を有する、情報処理システム。

本発明によれば、ベッドの動作または状態に基づき、撮像部、または画像解析部を制御するので、ベッドが傾く等して、ベッドが動いた場合であっても画像による被看介護者の状態検知を適切に行うことができる。

第１の実施形態に係る監視システムの全体構成を示す図である。 図１に示す検出装置が設置された、被看介護者のベッドを例示する模式図である。 図１に示す検出装置のハードウェア構成を示すブロック図である。 図３に示す演算制御部の主要な機能を例示するブロック図である。 図１に示すサーバーのハードウェア構成を示すブロック図である。 第１の実施形態における検出装置の制御方法の処理手順を例示するフローチャートである。 通常状態のベッド、および検出装置を側方から視た模式図である。 ベッド、および非転倒状態の被看介護者を含む画像を例示する模式図である。 ベッド、および転倒状態の被看介護者を含む画像を例示する模式図である。 リクライニング状態のベッド、および検出装置を側方から視た模式図である。 ベッド、および非転倒状態の被看介護者を含む画像を例示する模式図である。 ベッド、および転倒状態の被看介護者を含む画像を例示する模式図である。 リクライニング状態のベッド、および検出装置を側方から視た模式図である。 ベッド、および非転倒状態の被看介護者を含む画像を例示する模式図である。 ベッド、および転倒状態の被看介護者を含む画像を例示する模式図である。 第２の実施形態における検出装置の制御方法の処理手順を例示するフローチャートである。 ベッド、および非転倒状態の被看介護者を含む歪補正後の画像を例示する模式図である。 ベッド、および転倒状態の被看介護者を含む歪補正後の画像を例示する模式図である。 第３の実施形態における検出装置の制御方法の処理手順を例示するフローチャートである。 ベッド、および非転倒状態の被看介護者を含む画像を例示する模式図である。 ベッド、および転倒状態の被看介護者を含む画像を例示する模式図である。 ベッドが通常状態であり、被看介護者が非転倒状態である場合における骨格検知を例示する模式図である。 ベッドが通常状態であり、被看介護者が転倒状態である場合における骨格検知を例示する模式図である。 ベッドがリクライニング状態であり、被看介護者が非転倒状態である場合における骨格検知を例示する模式図である。 ベッドがリクライニング状態であり、被看介護者が転倒状態である場合における骨格検知を例示する模式図である。 第５の実施形態における通常状態のベッド、および検出装置を側方から視た模式図である。 フット側のマットレスが傾斜している状態におけるベッド、および検出装置を側方から視た模式図である。 第６の実施形態における通常状態のベッド、および検出装置を側方から視た模式図である。 リクライニング状態のベッドおよび検出装置を側方から視た模式図である。

以下、図面を参照して、本発明の実施形態に係る制御装置、制御方法、制御プログラム、および情報処理システムについて説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

（第１の実施形態）
図１は、第１の実施形態に係る監視システム１の全体構成を示す図である。本実施形態では、監視システム１は、情報処理システムを構成し、看介護施設等で用いられる。監視システム１は、検出装置１０、サーバー２０、複数の携帯端末３０、および無線ＡＰ（アクセスポイント）３１を含む。検出装置１０、サーバー２０、および携帯端末３０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）および無線ＡＰ３１を介して相互に通信可能に接続される。携帯端末３０は、被看介護者８０の看護または介護をする看介護者７０に携帯される。検出装置１０は、単独で、またはサーバー２０の演算制御部２０１（図５を参照）とともに制御装置を構成する。以下、検出装置１０が単独で制御装置を構成する場合について主に説明する。また、被看介護者８０は撮影対象を構成する。以下、撮影対象は被看介護者８０であるものとして説明するが、撮影対象には治験者等も含まれる。

（検出装置１０）
図２は、図１に示す検出装置１０が設置された、被看介護者８０のベッド９０を例示する模式図である。また、図３は、図１に示す検出装置１０のハードウェア構成を例示するブロック図である。

図２に示すように、ベッド９０は、フレーム部９１、ヘッドボード９２、フットボード９３、マットレス９４、およびセンサー部９５を含む。本実施形態では、ベッド９０は、例えば、電動ベッドであり、被看介護者８０がベッド９０に仰臥した場合の背部、膝部、および足部に各々対応するマットレス９４を部分的に傾斜させる第１の駆動装置を備える（不図示）。例えば、被看介護者８０の背部に対応する部分のマットレス９４を傾斜させることにより、傾斜（リクライニング）の状態を作ることができる。第１の駆動装置は、電動ベッドの制御装置（不図示）からの制御信号によって動作が制御される。

さらに、フレーム部９１は、上フレーム９１１、および下フレーム９１２を有し、上フレーム９１１に対して、下フレーム９１２を近接方向、または離間方向に移動させることにより、床面に対するマットレス９４の高さ（床高）を調整できる（図２、図７Ａ等を参照）。また、第１の駆動装置により、上フレーム９１１に対して、下フレーム９１２のヘッド側、およびフット側を各々独立に近接方向、または離間方向に移動させることにより、床面に対して上フレーム９１１を傾斜させることもできる。

センサー部９５は、ベッドの動作または状態を検知するセンサーを有する。センサーは、公知の加速度センサー、傾きセンサー、角度センサー等でありうる。センサーによる検知結果は、演算制御部１０１に送信される。

図３に示すように、検出装置１０は、演算制御部１０１、通信部１０２、およびカメラ１０３を有し、これらはバスにより相互に接続される。検出装置１０は、例えばベッド９０のマットレス９４の上端部に設置され、撮影対象としての被看介護者８０、およびベッド９０を含む領域を監視領域として、監視領域内を撮影する。また、検出装置１０は、演算制御部１０１、通信部１０２、およびカメラ１０３を収容する筐体をＺ軸、およびＹ軸を回転軸として回転移動させる回転駆動部を備え、演算制御部１０１からの指令に応じて、筐体の向きを自在に変えることができる（座標軸の表示については図７Ａを参照）。これにより、演算制御部１０１は、カメラ１０３が撮影する方向を制御できる。また、検出装置１０は、筐体をＸ軸方向、またはＺ軸方向に移動する機構を備えることもできる。

演算制御部１０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。また、演算制御部１０１は、ＨＤＤまたはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を備えうる。演算制御部１０１は、制御プログラムに従って検出装置１０の各部の制御および演算処理を行う。演算制御部１０１の主要な機能については後述する。ＲＡＭには、後述する状態判定用閾値（第１の閾値、第２の閾値）、および姿勢判定用基準（通常状態の基準、リクライニング状態の基準）が記憶される。

通信部１０２は、ＬＡＮを介して、例えば、サーバー２０等と通信するためのインターフェース回路（例えばＬＡＮカード、無線通信回路等）である。

カメラ１０３は、監視領域内を撮影し、撮影画像（画像データ）を出力する。カメラ１０３は、撮像部を構成する。この撮影画像には、静止画および動画が含まれる。動画には、時系列で間欠的に撮影された複数の静止画が含まれうる。カメラ１０３は近赤外線カメラであるが、これに換えて可視光カメラを用いてもよく、これらを併用してもよい。カメラ１０３は、検出装置１０の筐体において、レンズの光軸がベッド９０のフット側に向くように固定されており、筐体の回転、移動に応じて、カメラ１０３も回転、移動する。

図４は、図１に示す演算制御部１０１の主要な機能を例示するブロック図である。演算制御部１０１は、画像取得部１１１、画像解析部１１２、受付部１１３、および制御部１１４として機能する。

画像取得部１１１は、ベッド９０に設置されたカメラ１０３により撮影された画像を取得する。画像解析部１１２は、画像取得部１１１よって取得された画像を解析する。本実施形態では、画像解析部１１２は、画像に基づいて、被看介護者８０が転倒状態であるか、あるいは非転倒状態であるかを判定する。受付部１１３は、センサー部９５のセンサーからの検知結果、およびベッド９０の制御装置からの制御信号を受け付ける。

制御部１１４は、センサー部９５のセンサーの検知結果、および／またはベッド９０の制御装置からの制御信号に基づいて、ベッドの動作または状態を判定し、判定された動作または状態に基づき、カメラ１０３を制御する。ベッド９０の動作には、例えば、マットレス９４の一部を上フレーム９１１に対して傾斜させる動作、床面に対して上フレーム９１１を傾斜させる動作等が含まれる。また、ベッド９０の状態には、例えば、マットレス９４が床面に対して傾斜している状態、および傾斜していない状態等が含まれる。

（サーバー２０）
図５は、サーバー２０のハードウェア構成を示すブロック図である。サーバー２０は、演算制御部２０１、通信部２０２、および記憶部２０３を有し、これらはバスにより相互に接続される。

演算制御部２０１は、ＣＰＵ、ＲＡＭ、およびＲＯＭ等を備える。演算制御部２０１は、プログラムに従ってサーバー２０の各部の制御および演算処理を行う。また、演算制御部２０１は、検出装置１０とともに制御装置を構成し、画像解析部１１２と協働して、画像の解析処理の実行を担うように構成されうる。

通信部２０２は、ＬＡＮを介して、例えば、携帯端末３０等と通信するためのインターフェース回路により構成される。通信部２０２は、検出装置１０から、被看介護者８０の状態の判定結果、および／または撮影画像を受信する。

記憶部２０３は、ＨＤＤまたはＳＳＤにより構成され、各種プログラムおよび各種データを記憶する。

（制御方法）
図６は、第１の実施形態における制御装置の制御方法の処理手順を例示するフローチャートである。同図のフローチャートの処理は、演算制御部１０１のＣＰＵが制御プログラムを実行することにより実現される。図７Ａはマットレス９４が床面に対して水平状態のベッド９０、および検出装置１０を側方から視た模式図であり、図７Ｂはベッド９０、および非転倒状態の被看介護者８０を含む画像を例示する模式図であり、図７Ｃはベッド９０、および転倒状態の被看介護者８０を含む画像を例示する模式図である。また、図８Ａはリクライニング状態のベッド９０、および検出装置１０を側方から視た模式図であり、図８Ｂはベッド９０、および非転倒状態の被看介護者８０を含む画像を例示する模式図であり、図８Ｃはベッド９０、および転倒状態の被看介護者８０を含む画像を例示する模式図である。また、図９Ａはリクライニング状態のベッド９０、および検出装置１０を側方から視た模式図であり、図９Ｂはベッド９０、および非転倒状態の被看介護者８０を含む画像を例示する模式図であり、図９Ｃはベッド９０、および転倒状態の被看介護者８０を含む画像を例示する模式図である。

なお、図７Ａ、図８Ａ、図９Ａにおいて、紙面の左から右へ向かう方向（ベッド９０のヘッド側からフット側へ向かう方向）をＸ軸方向、紙面の手前から奥へ向かう方向（ベッド９０の幅方向）をＹ軸方向、紙面の下から上へ向かう方向（ベッド９０の高さ方向）をＺ軸方向と各々定義している。また、説明を簡略化するため、図７Ｂ、図７Ｃ、図８Ｂ、図８Ｃ、図９Ｂ、図９Ｃにおいて、フットボード９３に対応するオブジェクトについては図示を省略している。

まず、カメラ１０３の向き、または位置を制御し、監視領域を設定する（ステップＳ１０１）。制御部１１４は、ベッド９０の状態に基づき、カメラ１０３の向き、または位置を制御し、監視領域を設定する。例えば、図７Ａに示すように、制御部１１４は、ベッド９０のマットレス９４が床面に対して水平、すなわち傾いていない状態（以下、「通常状態」という）である場合、カメラ１０３のパラメーターを初期値に設定する。本実施形態では、パラメーターは、例えば、パンＰ、チルトＴ、および倍率Ｍ（またはズームＺ）を含む。制御部１１４は、パラメーター（Ｐ，Ｔ，Ｍ）を初期値（Ｐ０，Ｔ０，Ｍ０）に設定する。パラメーターに初期値が設定されたカメラ１０３の状態を初期状態と称する。初期状態におけるパンＰ０、およびチルトＴ０は、カメラ１０３の光軸が、マットレス９４のフット側に向くように設定される。また、初期状態における倍率Ｍ０は、カメラ１０３の監視領域に少なくともマットレス９４のフット側部分が含まれるように設定される。このようにパラメーター設定することにより、カメラ１０３の監視領域が設定される。

あるいは、ベッド９０の状態に基づき、パンＰ、チルトＴ、倍率Ｍを設定する代わりに、カメラ１０３の位置を制御してもよい。例えば、ベッド９０が通常状態である場合、カメラ１０３の位置をＸ軸方向に移動することにより、倍率Ｍの変更に相当する効果を得られる。

次に、カメラ１０３により監視領域内の撮影を開始する（ステップＳ１０２）。カメラ１０３は、パラメーターに基づいて設定された監視領域内の撮影を開始（継続）する。一例として、ベッド９０に寝ていた被看介護者８０がベッド９０から起き上がり、床に降りて歩行しようとする場合を想定する。カメラ１０３は、監視領域内の被看介護者８０およびベッド９０を撮影する。

次に、撮影された画像を取得する（ステップＳ１０３）。画像取得部１１１は、カメラ１０３によって撮影された画像を取得し、画像解析部１１２に送信する。

次に、画像におけるオブジェクトを検出する（ステップＳ１０４）。画像解析部１１２は、画像取得部１１１により取得された画像に含まれるオブジェクトを検出する。例えば、図７Ｂに示すように、画像解析部１１２は、ベッド９０に対応するオブジェクト（以下、「ベッドオブジェクト」という）９４０と、歩行しようとしている被看介護者８０に対応するオブジェクト（以下、「人オブジェクト」という）８００とを検出する。なお。画像中におけるオブジェクトの検出は、公知のアルゴリズムを使用して実現できるので、オブジェクト検出の方法については、詳細な説明を省略する。

次に、被看介護者８０の状態を判定する（ステップＳ１０５）。画像解析部１１２は、検出された人オブジェクト８００の上端の位置に基づいて、被看介護者８０の状態を判定する。より具体的には、ベッドオブジェクト９４０の上端の位置を第１の閾値ＴＨ１として、状態判定用閾値に設定し、人オブジェクト８００の上端の位置Ｂと状態判定用閾値とを比較する。画像解析部１１２は、例えば、図７Ｂに示すように、人オブジェクト８００の上端の位置Ｂが状態判定用閾値よりも大きい場合は、被看介護者８０が非転倒状態であると判定する。一方、画像解析部１１２は、例えば、図７Ｃに示すように、人オブジェクト８００の上端の位置Ｂが状態判定用閾値よりも小さい場合は、被看介護者８０が転倒状態であると判定する。なお、第１の閾値ＴＨ１は、演算制御部１０１のＲＡＭに予め記憶されている値を使用してもよい。

次に、判定結果を出力する（ステップＳ１０６）。演算制御部１０１は、画像解析部１１２による判定結果を出力する。判定結果は、通信部２０２により携帯端末３０へ送信される。

このように、ベッド９０が通常状態、すなわち床面に対して、マットレス９４が傾いていない場合は、カメラ１０３のパラメーターを初期値としたまま監視領域内を撮影し、取得した画像に基づいて、被看介護者８０の状態（転倒／非転倒）を判定できる。

しかし、図８Ａに示すように、ベッド９０がリクライニング状態である場合、図８Ｂ、図８Ｃに示すように、カメラ１０３と、監視領域内のマットレス９４との間の距離が近づくため、人オブジェクト８００，およびベッドオブジェクト９４０の形状が、ベッド９０が通常状態の場合の形状に対して変化する（例えば、大きくなる）。その結果、人オブジェクト８００の上端の位置Ｂと状態判定用閾値との比較が正しく行われないので、被看介護者８０の状態を適切に判定できない可能性がある。

そこで、図９Ａに示すように、カメラ１０３の光軸とマットレス９４のヘッド側の部分とが成す角度が、マットレス９４の傾斜角ａ１に対応する角度となるように、カメラ１０３のパンＰ、およびチルトＴを各々Ｐ１，Ｔ１に変更（制御）することにより、カメラ１０３の光軸をマットレス９４のフット側の部分に対して概ね平行にさせる。また、図９Ｂ、図９Ｃに示すように、撮影した画像のベッド９０の形状が通常状態のベッド９０の形状と同等になるように、カメラ１０３の倍率を適当な値Ｍ１に設定する。パラメーター（Ｐ，Ｔ，Ｍ）をこのように設定し、監視領域内を撮影することにより、撮影された画像に基づいて、被看介護者８０の状態を適切に判定できるようになる。

また、パンＰ、チルトＴ、および倍率Ｍを制御する代わりに、カメラ１０３の位置をＸ軸方向および／またはＺ軸方向に移動するように制御してもよい。

また、ベッド９０の状態（例えば、通常状態、またはリクライニング状態）に基づき、カメラ１０３の向き、または位置を制御する場合について説明したが、ベッド９０の動作（例えば、マットレス９４の移動）に基づき、カメラ１０３の向き、または位置を制御してもよい。マットレス９４の移動は、例えば、マットレス９４に設置されたセンサー部９５の加速度センサー等によって検出できる。

以上で説明した本実施形態の検出装置１０は、ベッド９０の動作または状態に基づき、カメラ１０３を制御するので、ベッド９０が傾く等して、ベッド９０、すなわちカメラ１０３が動いた場合であっても画像による被看介護者の状態検知を適切に行うことができる。

（第２の実施形態）
第１の実施形態では、ベッド９０の動作または状態に基づき、カメラ１０３のパラメーターを制御して設定した監視領域内を撮影し、撮影された画像に基づいて、被看介護者８０の状態を判定する場合について説明した。第２の実施形態では、ベッド９０の動作または状態に基づき、カメラ１０３により撮影された画像の歪（形状）を補正し、補正後の画像に基づいて被看介護者８０の状態を判定する場合について説明する。なお、本明細書における「歪」の補正は、ベッド９０がリクライニング状態の場合における画像を、ベッド９０が通常状態の場合における画像と同等の画像に補正（変換）することを意味し、カメラ１０３の光学系（レンズ）における歪とは関係が無い。以下では、説明の重複を避けるため、第１の実施形態と同一の構成については、詳細な説明を省略する。

図１０は、第２の実施形態における検出装置１０の制御方法の処理手順を例示するフローチャートである。同図のフローチャートの処理は、演算制御部１０１のＣＰＵが制御プログラムを実行することにより実現される。また、図１１はベッド、および非転倒状態の被看介護者を含む歪補正後の画像を例示する模式図である。また、図１２はベッド、および転倒状態の被看介護者を含む歪補正後の画像を例示する模式図である。

図１０に示すように、まず、カメラ１０３により監視領域内の撮影を開始する（ステップＳ２０１）。制御部１１４は、カメラ１０３のパラメーター（Ｐ，Ｔ，Ｍ）に、初期値（Ｐ０，Ｔ０，Ｍ０）を設定する。これにより、カメラ１０３が初期状態となる（図７Ａを参照）。

次に、撮影された画像を取得する（ステップＳ２０２）。画像取得部１１１は、カメラ１０３によって撮影された画像を取得する。上述したように、ベッド９０の状態が通常状態からリクライニング状態に変化した場合、カメラ１０３と、監視領域内のマットレス９４との間の距離が近づくため、人オブジェクト８００、およびベッドオブジェクト９４０の形状は通常状態における形状から変化する（図８Ｂおよび図８Ｃを参照）。

次に、取得された画像の歪を補正する（ステップＳ２０３）。画像解析部１１２は、ベッド９０の状態に基づき、画像取得部１１１によって取得された画像の歪を補正する。画像解析部１１２は、画像取得部１１１によって取得された画像に対して、歪を補正するための所定の演算処理を施すことにより、ベッド９０が通常状態である場合に得られる画像と同等の画像を生成する。例えば、図１１、図１２に示すように、画像解析部１１２は、既存のモーフィング技術等を用いて、画像取得部１１１によって取得された画像の各画素の位置を、ベッド９０が通常状態である場合に得られる画像の位置に変換するとともに、画素間を補間する演算処理を施す。

次に、画像におけるオブジェクトを検出する（ステップＳ２０４）。画像解析部１１２は、歪が補正された画像に含まれるオブジェクトを検出する。

次に、被看介護者８０の状態を判定する（ステップＳ２０５）。歪が補正された画像は、通常状態で撮影された画像と同等であるので、第１の実施形態における被看介護者８０の状態を判定する方法と同じ方法を適用できるので、その詳細な説明を省略する。

次に、判定結果を出力する（ステップＳ２０６）。演算制御部１０１は、画像解析部１１２による判定結果を出力する。判定結果は、通信部２０２により携帯端末３０へ送信される。

このように、図１０に示すフローチャートの処理では、カメラ１０３により監視領域内を撮影し、画像を取得する。そして、ベッド９０の動作または状態に基づき、画像の歪を補正し、歪が補正された画像に基づいて、被看介護者８０の状態を判定し、判定結果を出力する。

以上で説明した本実施形態の検出装置１０は、歪が補正された画像に基づき、被看介護者８０の状態を判定するので、ベッド９０が傾く等して、ベッド９０が動いた場合であっても画像による被看介護者の状態検知を適切に行うことができる。

（第３の実施形態）
第３の実施形態では、ベッド９０の動作または状態に基づき、画像解析方法を変更する場合について説明する。なお、以下では、説明の重複を避けるため、第１の実施形態と同一の構成については、詳細な説明を省略する。

図１３は、第３の実施形態における検出装置１０の制御方法の処理手順を例示するフローチャートである。図１３に示すフローチャートの処理は、演算制御部１０１のＣＰＵが制御プログラムを実行することにより実現される。また、図１４はベッド９０がリクライニング状態であり、被看介護者８０が非転倒状態である場合における状態判定用閾値の変更を例示する模式図であり、図１５はベッド９０がリクライニング状態であり、被看介護者８０が転倒状態である場合における状態判定用閾値の変更を例示する模式図である。

以下、当初、通常状態であったベッド９０がリクライニング状態に変化する場合について想定する。まず、図１３に示すように、カメラ１０３により監視領域内の撮影を開始する（ステップＳ３０１）。当初、ベッド９０は通常状態であり、カメラ１０３のパラメーターは、初期値（Ｐ０，Ｔ０，Ｍ０）に設定される（図７Ａを参照）。

次に、撮影された画像を取得する（ステップＳ３０２）。画像取得部１１１は、カメラ１０３によって撮影された画像を取得する。上述したように、ベッド９０の状態が通常状態からリクライニング状態に変化した場合、カメラ１０３と、監視領域内のマットレス９４との間の距離が近づくため、人オブジェクト８００，およびベッドオブジェクト９４０の形状は通常状態における形状から変化する（図１４および図１５を参照）。

次に、画像におけるオブジェクトを検出する（ステップＳ３０３）。画像解析部１１２は、画像取得部１１１により取得された画像に含まれるオブジェクトを検出する。例えば、図１４、図１５に示すように、画像解析部１１２は、ベッド９０に対応するベッドオブジェクト９４０と、被看介護者８０に対応する人オブジェクト８００とを検出する。

次に、画像解析方法を変更する（ステップＳ３０４）。画像解析部１１２は、ベッド９０の状態が通常状態からリクライニング状態に変化した場合、状態判定用閾値を、第１の閾値ＴＨ１から第２の閾値ＴＨ２に変更する。第１の閾値ＴＨ１は、ベッド９０が通常状態である場合におけるベッドオブジェクト９４０の上端であり、第２の閾値ＴＨ２は、リクライニング状態である場合におけるベッドオブジェクト９４０の上端である。

次に、被看介護者８０の状態を判定する（ステップＳ３０５）。画像解析部１１２は、人オブジェクト８００の上端の位置Ｂと状態判定用閾値とを比較する。画像解析部１１２は、例えば、図１４に示すように、人オブジェクト８００の上端の位置Ｂが態判定用閾値よりも大きい場合は、被看介護者８０が非転倒状態であると判定する。なお、人オブジェクト８００が監視領域の範囲を超えているため、上端の位置Ｂは、便宜上、人オブジェクト８００の画像の上端としている。一方、画像解析部１１２は、例えば、図１５に示すように、人オブジェクト８００の上端の位置Ｂが態判定用閾値よりも小さい場合は、被看介護者８０が転倒状態であると判定する。なお、第２の閾値ＴＨ２は、演算制御部１０１のＲＡＭに予め記憶されている値を使用してもよい。

次に、判定結果を出力する（ステップＳ３０６）。演算制御部１０１は、画像解析部１１２による判定結果を出力する。判定結果は、通信部２０２により携帯端末３０へ送信される。

このように、図１３に示すフローチャートの処理では、カメラ１０３により監視領域内を撮影し、画像を取得する。そして、ベッド９０の動作または状態に基づき、画像解析方法としての、被看介護者８０の状態判定に使用する状態判定用閾値を変更する。そして、変更された状態判定用閾値を使用して被看介護者８０の状態を判定し、判定結果を出力する。

以上で説明した本実施形態の検出装置１０は、変更された状態判定用閾値を使用して被看介護者８０の状態を判定するので、ベッド９０が傾く等して、ベッド９０が動いた場合であっても画像による被看介護者８０の状態判定を適切に行うことができる。

（第４の実施形態）
第３の実施形態では、ベッド９０の動作または状態に基づき、画像解析方法としての、被看介護者８０の状態判定に使用する状態判定用閾値を変更する場合について説明したが、第４の実施形態では、ベッド９０の動作または状態に基づき、画像解析方法としての、被看介護者８０の姿勢判定に使用する姿勢判定用基準を変更する場合について説明する。なお、以下では、説明の重複を避けるため、第１の実施形態と同一の構成については、詳細な説明を省略する。

図１６はベッド９０が通常状態であり、被看介護者８０が非転倒状態である場合における骨格検知を例示する模式図であり、図１７はベッド９０が通常状態であり、被看介護者８０が転倒状態である場合における骨格検知を例示する模式図である。また、図１８はベッド９０がリクライニング状態であり、被看介護者８０が非転倒状態である場合における骨格検知を例示する模式図であり、図１９はベッド９０がリクライニング状態であり、被看介護者８０が転倒状態である場合における骨格検知を例示する模式図である。

被看介護者８０の姿勢判定は、例えば、機械学習を利用した人姿勢推定技術を用いることができる。人姿勢推定技術は、例えば、オープンポーズ（Open Pose(https://arxiv.org/abs/1611.08050)等参照）、ディープポーズ（Deep Pose(https://arxiv.org/abs/1312.4659)等参照）等、２次元の動画像データから人の骨格および関節点の位置を推定して姿勢を認識する技術である。これらの技術では、人を構成する骨格、たとえば、頭、首、肩、腕、腰、足等が認識され、さらにそれらの接続部や端部である関節点の位置情報として、座標値が得られる。

例えば、図１６において、太線は骨格８０１を示し、骨格と骨格を接続する部位および骨格の端（図中丸で囲った部分）は関節点８０２を示す。また、頭部８１０も関節点を含む。なお、図１７～図１９においても、骨格および関節点の表示は同様であるので、説明の記載および符号の図示は省略する。本実施形態において関節点の位置は、人体の解剖学上の関節の位置に概ね一致する。画像解析部１１２は、人と認識されたオブジェクトの各関節点の座標データを取得し、座標データから、認識された人の姿勢等を解析する。

本実施形態における検出装置１０の制御方法の処理手順は、第３の実施形態（図１３のフローチャート）の処理手順におけるステップＳ３０４を除く処理（すなわち、ステップＳ３０１～Ｓ３０３、Ｓ３０５，Ｓ３０６）について同一である。したがって、以下では、本実施形態におけるステップＳ３０１～Ｓ３０３、Ｓ３０５，Ｓ３０６の説明については省略し、ステップＳ３０４の処理のみについて説明する。

画像解析部１１２は、例えば、画像解析方法としての、被看介護者８０の姿勢判定に使用する姿勢判定用基準を変更する。より具体的には、図１６、図１７に示すように、画像解析部１１２は、ベッド９０が通常状態である場合、姿勢判定用基準を通常状態の基準に設定する。通常状態の基準は、姿勢が立位である場合、非転倒と判定し、姿勢が座位である場合、転倒と判定する基準であり、演算制御部１０１のＲＡＭに予め記憶されている。図１６に示す例では、ベッド９０が通常状態であるので、画像解析部１１２は通常状態の基準を使用して、例えば、被看介護者８０の頭、首、肩、腕、腰、および足の関節点の位置に基づいて、被看介護者８０が立位の姿勢であると判定する。この場合、画像解析部１１２は、姿勢が立位であるので、被看介護者８０が非転倒状態であると判定する。また、図１７に示す例では、同様に、画像解析部１１２は、被看介護者８０が座位の姿勢であると判定する。この場合、画像解析部１１２は、姿勢が座位であるので、被看介護者８０が転倒状態であると判定する。

一方、画像解析部１１２は、ベッドが９０の状態が通常状態からリクライニング状態に変化した場合、姿勢判定基準を、通常状態の基準から、リクライニング状態の基準に変更する。リクライニング状態の基準は、被看介護者８０の姿勢が立位と判定された場合に、被看介護者８０が転倒状態であると判定する基準であり、演算制御部１０１のＲＡＭに予め記憶されている。図１８に示す例では、ベッド９０がリクライニング状態であるので、画像解析部１１２はリクライニング状態の基準を使用して、被看介護者８０の姿勢を判定する。画像解析部１１２は、被看介護者８０の頭、および首が監視領域外にあるため、肩、腕、腰、および足の関節点の位置に基づいて、被看介護者８０の姿勢判定を行う。画像解析部１１２は、この場合、立位以外の姿勢であると判定する可能性があるが、いずれの姿勢の場合でも、被看介護者８０が非転倒状態であると判定する。また、図１９に示す例では、ベッド９０がリクライニング状態であるので、画像解析部１１２は、同様に、リクライニング状態の基準を使用して、被看介護者８０の姿勢を判定する。画像解析部１１２は、被看介護者８０の頭、首、肩、腕、腰、および足の関節点の位置が通常状態における立位の姿勢と骨格のバランスに関して類似していることから、被看介護者８０が転倒状態であると判定する。

このように、本実施形態では、ベッド９０の動作または状態に基づき、画像解析方法としての、被看介護者８０の姿勢判定に使用する姿勢判定用基準を変更する。そして、変更された姿勢判定用基準を使用して被看介護者８０の姿勢を判定し、判定結果に基づいて、被看介護者８０の状態を判定する。

以上で説明した本実施形態の検出装置１０は、被看介護者８０の姿勢判定の結果に基づいて、被看介護者８０の状態を判定するので、ベッド９０が傾く等して、ベッド９０が動いた場合であっても画像による被看介護者８０の状態判定を適切に行うことができる。

（第５の実施形態）
第１～第４の実施形態では、マットレス９４に検出装置１０を設置する場合について例示した。第５の実施形態では、検出装置１０をヘッドボード９２に設置する場合について説明する。

図２０は、第５の実施形態における通常状態のベッド９０、および検出装置１０を側方から視た模式図である。また、図２１は、フット側のマットレス９４が傾斜している状態におけるベッド９０および検出装置１０を側方から視た模式図である。

図２０に示すように、検出装置１０は、例えば、ヘッドボード９２に設置され、ベッド９０を含む領域をカメラ１０３の監視領域に設定して、監視領域内を撮影する。ベッド９０が通常状態である場合は、カメラ１０３のパラメーターを初期値に設定して監視領域を撮影し、取得した画像に基づいて、被看介護者８０の状態（転倒／非転倒）を判定できる。

一方、図２１に示すように、例えば、マットレス９４の被看介護者８０の腰部に対応する部分が傾いている場合、カメラ１０３と、監視領域内のマットレス９４との間の距離が近づくため、人オブジェクト８００、およびベッドオブジェクト９４０の形状は通常状態における形状から変化する。その結果、画像解析部１１２は、被看介護者８０の状態を正しく判定できない可能性がある。

そこで、本実施形態では、カメラ１０３のパンＰ、チルトＴを各々Ｐ２，Ｔ２に変更（制御）し、カメラ１０３の光軸をマットレス９４の傾斜角ａ２に対応する角度とすることにより、カメラ１０３の光軸をマットレス９４のフット側の部分と概ね平行にさせる。また、撮影した画像のベッド９０の形状が通常状態のベッド９０の形状と同等になるように、カメラ１０３の倍率を適当な値Ｍ２に設定する。パラメーター（Ｐ，Ｔ，Ｍ）をこのように設定し、監視領域内を撮影することにより、撮影された画像に基づいて、被看介護者８０の状態を適切に判定できるようになる。

（第６の実施形態）
第６の実施形態では、検出装置１０をフットボード９３に設置する場合について説明する。

図２２は、第６の実施形態における通常状態のベッド９０、および検出装置１０を側方から視た模式図である。また、図２３は、リクライニング状態のベッド９０および検出装置１０を側方から視た模式図である。

図２２に示すように、検出装置１０は、例えば、フットボード９３に設置され、ベッド９０を含む領域をカメラ１０３の監視領域に設定して、監視領域内を撮影する。ベッド９０が通常状態である場合は、カメラ１０３のパラメーターを初期値に設定して監視領域を撮影し、取得した画像に基づいて、被看介護者８０の状態（転倒／非転倒）を判定できる。

一方、図２３に示すように、例えば、マットレス９４の被看介護者８０の背部に対応する部分が傾いている場合、カメラ１０３と、監視領域内のマットレス９４との間の距離が近づくため、人オブジェクト８００，およびベッドオブジェクト９４０の形状は通常状態における形状から変化する。その結果、画像解析部１１２は、被看介護者８０の状態を正しく判定できない可能性がある。

そこで、本実施形態では、カメラ１０３のパンＰ、チルトＴを各々Ｐ３，Ｔ３に変更（制御）し、カメラ１０３の光軸をマットレス９４の傾斜角ａ３に対応する角度とすることにより、カメラ１０３の光軸をマットレス９４のヘッド側の部分と概ね平行にさせる。また、撮影した画像のベッド９０の形状が通常状態のベッド９０の形状と同等になるように、カメラ１０３の倍率Ｍを適当な値Ｍ３に設定する。パラメーター（Ｐ，Ｔ，Ｍ）をこのように設定し、監視領域内を撮影することにより、撮影された画像に基づいて、被看介護者８０の状態を適切に判定できるようになる。

以上説明した監視システム１の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変できる。

例えば、上述した第１～第６の実施形態では、検出装置１０をマットレス９４、ヘッドボード９２、またはフットボード９３に設置する場合について説明したが、検出装置１０は、ベッド９０上のマットレス９４、ヘッドボード９２、またはフットボード９３以外の場所に設置されてもよい。また、検出装置１０は、ヘッドボード９２、フットボード９３の上端部に限らず、例えば、ベッド９０の中心に向いている面内に設置することもできる。

また、上述した第１～第６の実施形態では、主に、マットレス９４の傾斜により、ベッド９０の状態が変化する場合について説明したが、上フレーム９１１を傾斜させることにより、ベッド９０の状態が変化する場合についても適用できる。また、床高が変化することにより、ベッド９０の状態が変化する場合についても適用できる。制御部１１４は、カメラ１０３の向きや位置の変化に応じて、カメラ１０３、または画像解析部１１２を制御する。

また、上述した第１～第６の実施形態では、ベッド９０が電動ベッドである場合を例示して説明したが、ベッド９０は、電動に限らず油圧等により、マットレス９４や上フレーム９１１を傾斜させる構成であってもよい。

また、上述したフローチャートにおいては、フローチャートに示したステップ以外のステップを含んでもよく、一部のステップを含まなくてもよい。また、ステップの順序は、上述した実施形態に限定されない。さらに、各ステップは、他のステップと組み合わされて一つのステップとして実行されてもよく、他のステップに含まれて実行されてもよく、複数のステップに分割されて実行されてもよい。

また、上述した実施形態における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその検出部等の装置のソフトウエアに組み込まれてもよい。

１ 監視システム、
１０ 検出装置、
１０１ 演算制御部、
１０２ 通信部、
１０３ カメラ、
１１１ 画像取得部、
１１２ 画像解析部、
１１３ 受付部、
１１４ 制御部、
２０ サーバー、
２０１ 演算制御部、
２０２ 通信部、
２０３ 記憶部、
３０ 携帯端末、
３１ アクセスポイント、
９０ ベッド、
９１ フレーム部、
９１１ 上フレーム、
９１２ 下フレーム、
９２ ヘッドボード、
９３ フットボード、
９４ マットレス、
９５ センサー部。

Claims (17)

1. ベッドに設置された撮像部により撮影された画像を取得する画像取得部と、
   前記画像を解析する画像解析部と、
   前記ベッドの動作または状態に基づき、前記撮像部、または前記画像解析部を制御する制御部と、を備えた制御装置。
2. 前記制御部は、前記ベッドの動作または状態に基づき、前記画像を解析する方法を変更するように前記画像解析部を制御する、請求項１に記載の制御装置。
3. 前記制御部は、前記ベッドの動作または状態に基づき、前記撮像部の向き、または位置を制御する、請求項１に記載の制御装置。
4. 前記制御部は、前記ベッドの動作または状態に基づき、前記画像取得部よって取得された画像を補正するように前記画像解析部を制御する、請求項１に記載の制御装置。
5. 前記ベッドの動作または状態を検知するセンサーからの検知結果を受け付ける受付部をさらに有し、
   前記制御部は、前記検知結果に基づいて、前記ベッドの動作または状態を判定する、請求項１～４のいずれか１項に記載の制御装置。
6. 前記ベッドは、電動ベッドであり、
   前記制御部は、前記電動ベッドからの信号に基づいて、前記ベッドの動作または状態を判定する、請求項１～５のいずれか１項に記載の制御装置。
7. 前記画像解析部は、前記撮像部により撮影された画像に含まれるオブジェクトを検出し、前記画像の前記ベッドに対応するベッドオブジェクトの上端の位置と、前記画像の人に対応する人オブジェクトの上端の位置とに基づいて、前記人の状態を判定する、請求項１～６のいずれか１項に記載の制御装置。
8. 前記画像解析部は、前記ベッドオブジェクトの上端の位置と、前記人オブジェクトの上端の位置とを比較して、前記人オブジェクトの上端の位置が前記ベッドオブジェクトの上端の位置よりも上方にある場合は、前記人は転倒していないと判定する一方で、下方にある場合は転倒していると判定する、請求項７に記載の制御装置。
9. 前記画像に含まれる人の状態を判定するための閾値を記憶する記憶部をさらに備え、
   前記画像解析部は、前記撮像部により撮影された画像に含まれるオブジェクトを検出し、前記画像の人に対応する人オブジェクトの上端の位置と前記閾値との比較結果に基づいて、前記人の状態を判定する、請求項２に記載の制御装置。
10. 前記画像解析部は、前記ベッドの動作または状態に基づき、前記閾値を変更する、請求項９に記載の制御装置。
11. 前記画像に含まれる人の姿勢を判定するための基準を記憶する記憶部をさらに備え、
    前記画像解析部は、前記撮像部により撮影された画像に含まれる人に対応する人オブジェクトの骨格および関節点を検知し、検知された骨格および関節点と前記基準とに基づいて、前記人の姿勢と、当該姿勢に対応する、前記人の状態とを判定する、請求項２に記載の制御装置。
12. 前記画像解析部は、前記ベッドの動作または状態に基づき、前記基準を変更する、請求項１１に記載の制御装置。
13. 前記撮像部は、前記ベッドのマットレス、ヘッドボード、またはフットボードに設置される、請求項１～１２のいずれか１項に記載の制御装置。
14. 撮像部が設置されたベッドの動作または状態に基づき、前記撮像部を制御する制御ステップと、
    前記撮像部により前記ベッドを含む撮影対象を撮影する撮影ステップと、
    前記撮像部により撮影された画像を画像取得部により取得する取得ステップと、
    前記画像を解析する解析ステップと、を有する、制御方法。
15. ベッドに設置された撮像部により前記ベッドを含む撮影対象を撮影する撮影ステップと、
    前記撮像部により撮影された画像を画像取得部により取得する取得ステップと、
    前記ベッドの動作または状態に基づき、前記画像を解析する画像解析部を制御する制御ステップと、を有する制御方法。
16. 請求項１４または１５に記載の制御方法をコンピューターに実行させるための制御プログラム。
17. ベッドに設置された撮像部と、
    請求項１～１３のいずれか１項に記載の制御装置と、
    を有する、情報処理システム。

Images