JP2024160736A - 見守り装置、制御方法、および制御プログラム - Google Patents

Abstract

【課題】撮影部による見守り対象の捕捉精度を向上できる見守り装置を提供する。
【解決手段】人の画像を撮影する撮影部と、人の位置を検知する人感センサーと、人感センサーの検知情報に基づき、撮影部の撮影方向を変更する駆動部と、撮影部により撮影される画像から人を認識する認識部と、認識部により認識される人の特徴に基づいて、認識部により認識される人が追従対象かどうか判定する判定部と、を有し、判定部により追従対象と判定された人を追従するように、撮影部の撮影方向を駆動部に変更させる制御部と、を含む見守り装置。
【選択図】図９

Description

本発明は、見守り装置、制御方法、および制御プログラムに関する。

我が国は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善、および医療水準の向上等により、長寿命化が顕著となっている。このため、出生率の低下と相まって、高齢化率が高い高齢化社会になっている。このような高齢化社会では、病気、怪我、および加齢などにより、介護等の対応を必要とする要介護者等の増加が想定される。

要介護者等は、病院や老人福祉施設などの施設において、歩行中に転倒したり、ベッドから転落して怪我をするおそれがある。そのため、要介護者等の行動等に応じて介護者や看護師等のスタッフがすぐに駆けつけられるようにするためのシステムの開発が進められている。

下記特許文献１には、次の先行技術が開示されている。人の存在を補捉する赤外線アレイセンサ部と、赤外線アレイセンサ部の検知方向を上下左右に変更する駆動機構を含むセンサ装置を備える。駆動機構により一定時間ごとに赤外線アレイセンサ部の検知方向を変えて複数の所定位置における要介護者の検知を行う。そして、複数の所定位置における要介護者の存在補捉時間のうち最も存在補捉時間の長い所定位置に赤外線アレイセンサ部の検知方向を固定して見守りをする。

特開２０２２－１１０６３４号公報

しかし、上記先行技術は、要介護者以外の人が補捉される所定位置にセンサ部の検知方向が固定される可能性がある。このため、要介護者の見守りが長時間なされない状態になる可能性がある。

本発明は、上述の問題を解決するためになされたものである。すなわち、撮影部による見守り対象の補捉精度を向上できる見守り装置、制御方法、および制御プログラムを提供することを目的とする。

本発明の上記課題は、以下の手段によって解決される。

（１）人の画像を撮影する撮影部と、人の位置を検知する人感センサーと、前記人感センサーの検知情報に基づき、前記撮影部の撮影方向を変更する駆動部と、前記撮影部により撮影される前記画像から人を認識する認識部と、前記認識部により認識される人の特徴に基づいて、前記認識部により認識される人が追従対象かどうか判定する判定部と、前記判定部により前記追従対象と判定された人を追従するように、前記撮影部の撮影方向を前記駆動部に変更させる制御部と、を有する見守り装置。

（２）前記判定部は、前記認識部により認識される人の移動速度に基づいて、前記追従対象かどうか判定する、上記（１）に記載の見守り装置。

（３）前記判定部は、前記認識部により認識される人を、顔または装着物の認証により、前記追従対象かどうか判定する、上記（１）に記載の見守り装置。

（４）前記認識部により認識される人の関節点を推定する推定部を有し、前記判定部は、前記推定部により推定される前記関節点に基づいて前記追従対象かどうか判定する、上記（１）に記載の見守り装置。

（５）前記認識部は、前記撮影部により撮影される前記画像から人以外の物体をさらに認識し、前記判定部は、前記認識部により認識される人と、前記認識部により認識される前記物体との相対的位置に基づいて、当該人が前記追従対象かどうか判定する、上記（１）に記載の見守り装置。

（６）前記制御部は、所定の条件を満たしたときに、再度、前記駆動部に、前記撮影部の前記撮影方向を変更させて、前記判定部により前記追従対象と判定された人を追従させる、上記（１）～（５）のいずれかに記載の見守り装置。

（７）前記所定の条件は、前記判定部により前記追従対象と判定された人が前記画像において前記認識部により認識されなくなったこと、前記判定部により前記追従対象と判定された人が前記画像において前記認識部により認識されなくなってから所定時間経過したこと、または、前記判定部により前記追従対象と判定された人が前記画像において前記認識部により認識されなくなった後、前記人感センサーにより人が検知されたことである、上記（６）に記載の見守り装置。

（８）人の画像を撮影する撮影部と、人の位置を検知する人感センサーと、前記撮影部の撮影方向を変更する駆動部と、を有する見守り装置の制御方法であって、前記人感センサーの検知情報に基づき、前記撮影部の撮影方向を変更させるステップ（ａ）と、前記撮影部により撮影される前記画像から人を認識するステップ（ｂ）と、前記ステップ（ｂ）において認識される人の特徴に基づいて、認識される人が追従対象かどうか判定するステップ（ｃ）と、前記ステップ（ｃ）において前記追従対象と判定された人を追従するように、前記撮影部の撮影方向を前記駆動部に変更させるステップ（ｄ）と、を有する制御方法。

（９）前記ステップ（ｃ）においては、前記ステップ（ｂ）において認識される人の移動速度に基づいて、前記追従対象かどうか判定する、上記（８）に記載の制御方法。

（１０）前記ステップ（ｃ）においては、前記ステップ（ｂ）において認識される人を、顔または装着物の認証により、前記追従対象かどうか判定する、上記（８）に記載の制御方法。

（１１）前記ステップ（ｂ）において認識される人の関節点を推定するステップ（ｅ）を有し、前記ステップ（ｃ）においては、前記ステップ（ｅ）において推定される前記関節点に基づいて前記追従対象かどうか判定する、上記（８）に記載の制御方法。

（１２）前記ステップ（ｂ）においては、前記撮影部により撮影される前記画像から人以外の物体をさらに認識し、前記ステップ（ｃ）においては、前記ステップ（ｂ）において認識される人と、前記ステップ（ｂ）において認識される前記物体との相対的位置に基づいて、当該人が前記追従対象かどうか判定する、上記（８）に記載の制御方法。

（１３）所定の条件を満たしたときに、再度、前記駆動部に、前記撮影部の前記撮影方向を変更させて、前記追従対象と判定された人を追従させるステップ（ｆ）を有する、上記（８）に記載の制御方法。

（１４）前記所定の条件は、前記ステップ（ｃ）において前記追従対象と判定された人が前記画像において認識されなくなったこと、前記ステップ（ｃ）において前記追従対象と判定された人が前記画像において認識されなくなってから所定時間経過したこと、または、前記ステップ（ｃ）において前記追従対象と判定された人が前記画像において認識されなくなった後、前記人感センサーにより人が検知されたことである、上記（１３）に記載の制御方法。

（１５）上記（８）～（１４）のいずれかに記載の制御方法をコンピューターに実行させるための制御プログラム。

人感センサーによる人の検知情報に基づき、撮影部の撮影方向を変更する駆動部を備える。そして、撮影部の画像から認識される人の特徴から当該人が追従対象かどうか判定し、追従対象と判定した人を追従するように撮影部の撮影方向を駆動部に変更させる。これにより、撮影部による見守り対象の補捉精度を向上できる。

見守りシステムの概略構成を示す図である。 情報処理装置のハードウェア構成を示すブロック図である。 情報処理装置の概略構成を示す説明図である。 情報処理装置の制御部の機能を示すブロック図である。 距離画像を示す図である。 人矩形を示す図である。 関節点を示す模式図である。 人矩形に基づいて検知された関節点を示す模式図である。 見守りシステムの動作を示すフローチャートである。 顔領域を示す模式図である。 見守りシステムの動作を示すフローチャートである。 見守りシステムの動作を示すフローチャートである。 追従対象と判定された人が撮影画像において認識されなくなった状況を示す説明図である。 追従されていた人が認識されなくなった後、人感センサーにより検知されている別の人が追跡対象と判定された状況を示す説明図である。 追従されていた人が認識されなくなった後、人感センサーにより人が検知されていない状況を示す説明図である。

以下、図面を参照して、本発明の実施形態に係る見守り装置、制御方法、および制御プログラムについて説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

（第１実施形態）
図１は、見守りシステム１０の概略構成を示す図である。

見守りシステム１０は、情報処理装置１００、通信ネットワーク２００、および携帯端末３００を含む。情報処理装置１００は、見守り装置を構成する。情報処理装置１００の一部、または見守りシステム１０の一部または全部が見守り装置を構成してもよい。

情報処理装置１００は、通信ネットワーク２００によりアクセスポイント２１０を介して携帯端末３００と相互に通信可能に接続される。情報処理装置１００は、１つの一体化された装置であり得る。情報処理装置１００は、分離配置される複数の装置であってもよい。なお、通信ネットワーク２００を介して情報処理装置１００および携帯端末３００と相互に通信可能なサーバー（図示せず）を設けてもよい。そして、情報処理装置１００の機能の一部をサーバーが実施するようにしてもよい。また、通信ネットワーク２００を介して情報処理装置１００および携帯端末３００と相互に通信可能な固定端末（図示せず）を設けてもよい。そして、携帯端末３００の一部または全部の機能を固定端末が実施するようにしてもよい。

情報処理装置１００は、対象者５００の各居室の天井または壁の高い位置等にそれぞれ配設され得る。対象者５００は、例えば、介護または看護を必要とする者（人）である。携帯端末３００は、対象者５００の介護または看護をする各スタッフに携帯される。

(情報処理装置１００)
図２は、情報処理装置１００のハードウェア構成を示すブロック図である。情報処理装置１００は、制御部１１０、通信部１２０、記憶部１３０、およびカメラユニット１４０を備え、これらはバスによって、相互に接続されている。

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリにより構成され、プログラムに従って情報処理装置１００の各部の制御および演算処理を行う。制御部１１０の機能の詳細については後述する。

通信部１２０は、通信ネットワーク２００を介して、携帯端末３００等と通信するためのインターフェース回路（例えばＬＡＮカード等）である。

記憶部１３０は各種プログラムおよび各種データを記憶する。記憶部１３０は、例えば、ＳＤＤまたはＨＤＤにより構成される。

カメラユニット１４０は、カメラ１４１、駆動機構１４２、および人感センサー１４３を含む。カメラユニット１４０は、情報処理装置１００と一体化されることで、例えば、対象者５００の居室の天井、または壁の高い位置等に配置される。

カメラ１４１は、２次元の撮影画像７００（図６を参照。以下、単に「撮影画像７００」とも称する）を撮影する。撮影画像７００には動画および静止画が含まれる。撮影画像７００は、複数のフレーム（静止画）で構成される動画であってもよい。カメラ１４１は赤外線カメラであるが、これに換えて可視光カメラを用いてもよく、これらを併用してもよい。以下、説明を簡単にするために、撮影画像７００は、赤外線カメラによる、複数のフレームから構成される動画である場合を例に説明する。

図３は、情報処理装置１００の概略構成を示す説明図である。上述したように、カメラユニット１４０は情報処理装置１００と一体化され得る。駆動機構１４２は、カメラ１４１の撮影方向を変更する。駆動機構１４２は、モーター、ギア、およびカメラ１４１との接合部材を含んで構成され得る。カメラ１４１は、例えば、図３において矢印で示す方向に、所定の軸に対して回動することにより、撮影方向が変更され得る。

人感センサー１４３は、対象者５００を含む人５０（図５等を参照）の位置を検知するためのセンサーである。人感センサー１４３は、例えば、ステレオカメラ、またはＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサーにより構成される。人感センサー１４３は、所定の検知範囲について、画素ごとの深度情報を検知することで距離画像８００（図５を参照。以下、単に「距離画像８００」とも称する）を生成する。深度情報は、物体（例えば、人、床、壁、ベッド、および家具）までの、カメラユニット１４０からの距離の情報である。深度情報は、撮影画像７００に垂直な方向（法線方向）における距離の情報であり得る。距離画像８００は、画素ごとの深度情報である。従って、距離画像８００は、３次元の画像とも言える。距離画像８００は、人感センサー１４３の検知情報を構成する。

人感センサー１４３による深度情報の検知方向および検知範囲は固定とされ得る。人感センサー１４３による深度情報の検知範囲は、カメラ１４１による撮影画像７００の各フレームの撮影範囲より広くされ得る。なお、カメラ１４１の撮影方向が変更させることにより、カメラ１４１による撮影範囲は拡大される。人感センサー１４３の固定の検知範囲に、カメラ１４１による（撮影方向の変更前後の複数の）撮影範囲が包含され得る。なお、距離画像８００においては、模様や色等を含むテクスチャー情報は含まれていない。

なお、人感センサー１４３は、人５０の位置を検知する他の装置により置換され得る。他の装置には、例えばビーコンが含まれる。

制御部１１０の機能について説明する。

図４は、制御部１１０の機能を示すブロック図である。制御部１１０は、位置検知部１１１、駆動部１１２、認識部１１３、推定部１１４、判定部１１５、追従制御部１１６、および行動認識部１１７として機能する。

位置検知部１１１は、人感センサー１４３から距離画像８００を取得し、距離画像８００から人の位置を検知する。

図５は、距離画像８００を示す図である。図５の距離画像８００においては、深度情報（カメラユニット１４０から物体までの距離）が、色のトーンにより示されている。なお、図５に示す距離画像８００は、色の違いにより深度情報が示された距離画像８００をグレー色に変換した画像である。このため、図５に示す距離画像８００は、トーンの濃度が深度情報を正確に反映しているとは限らない。図５の例では、距離画像８００において人５０（人５０の画像）が２つ検知されている。

位置検知部１１１は、時間差分法（フレーム差分法）または背景差分法といった公知の技術により人５０の位置を検知し得る。位置検知部１１１は、距離画像８００から人５０を検知するための学習がされた、ニューラルネットワークの学習済みモデルを用いて、人５０の位置を検知してもよい。

駆動部１１２は、位置検知部１１１により検知された人５０がカメラ１４１の撮影範囲に入るように駆動機構１４２によりカメラ１４１を回動させる。これにより、位置検知部１１１により検知された人５０が撮影画像７００に含まれるようにカメラ１４１の撮影方向が変更される。距離画像８００において複数の人５０が検知される場合、当該複数の人５０が撮影画像７００に含まれるようにカメラ１４１の撮影方向が変更され得る。距離画像８００において複数の人５０が検知される場合は、いずれか１人が撮影画像７００に含まれるようにカメラ１４１の撮影方向が変更されてもよい。距離画像８００と撮影画像７００は互いの各画素が対応付けされるキャリブレーションがなされる。

認識部１１３は、撮影画像７００から人５０を認識（検知）する。撮影画像７００に複数の人５０の画像が含まれている場合は、認識部１１３は、当該複数の人５０すべてを認識し得る。

図６は、撮影画像７００において検知された人矩形７１０を示す図である。認識部１１３は、撮影画像７００に含まれる人５０を、当該人５０を含む領域である人矩形７１０として検知し得る。具体的には、認識部１１３は、撮影画像７００上で物体（オブジェクト）が存在する領域を検知する。そして、認識部１１３は、検知した領域に含まれる物体のカテゴリーを推定することで、人５０を検知する。物体が存在する領域は、撮影画像上で物体が含まれる候補矩形として検知される。検知された候補矩形のうち、物体のカテゴリーが人であると推定された候補矩形を、人矩形７１０として検知することで、人５０を検知する。認識部１１３は、撮影画像７００から人矩形７１０を検知するための辞書（パラメーター）が反映されたニューラルネットワークの学習済みモデルを用い得る。そして、認識部１１３は、当該学習済みモデルにより、撮影画像７００から人矩形７１０を検知し得る。学習済みモデルとして、例えば、公知のモデルであるＲｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ（ＲＰＮ）を用い得る。認識部１１３は、人矩形７１０を、撮影画像７００と、当該人矩形７１０の対向する２つの頂点ｅ１、ｅ２の座標との組合せとして出力し得る。

なお、認識部１１３は、時間差分法（フレーム差分法）または背景差分法といった公知の技術により、撮影画像７００からシルエットとして人５０を検知してもよい。

推定部１１４は、認識部１１３により認識される人５０の関節点７２０を推定する。具体的には、推定部１１４は、人矩形７１０から関節点７２０を推定する。

図７は、関節点７２０を示す模式図である。

図７の例においては、関節点７２０には、頭部の関節点７２０ａ、肩部の関節点７２０ｂ、腰部の関節点７２０ｃ、および体幹を構成する関節点７２０ｄが含まれる。頭部の２つの関節点７２０ａの距離は、人５０の頭部の大きさを反映する。

図８は、人矩形７１０に基づいて検知された関節点７２０を示す模式図である。

図８の例においては、椅子上で座位の姿勢の人５０の関節点７２０が示されている。推定部１１４は、人矩形７１０から関節点７２０を検知するための学習がされた、ニューラルネットワークの学習済みモデルを用いて、関節点７２０を推定してもよい。学習済みモデルとしては、Ｄｅｅｐ Ｐｏｓｅ等の公知のモデルを用い得る。ＤｅｅｐＰｏｓｅについては、公知の文献（Alexander Toshev, et al. “DeepPose: Human Pose Estimation via Deep Neural Networks”, in CVPR, 2014）に詳細が記載されている。

判定部１１５は、認識部１１３により認識される人５０の特徴に基づいて、認識部１１３により認識される人５０がカメラ１４１による追従対象かどうか判定する。追従対象かどうかの判定に用いられる、人５０の特徴は、追従対象かどうか判定可能な、人５０の特徴が広く含まれる。例えば、人５０の特徴には、人５０の移動速度、人５０の顔、人５０の装着物、ならびに、人５０の行動範囲および行動パターンが含まれる。

本実施形態においては、判定部１１５は、関節点７２０の特徴に基づいて、関節点７２０が推定された人５０が追従対象かどうか判定する。追従対象となるのは対象者５００である。従って、判定部１１５は、関節点７２０の特徴に基づいて、人矩形７１０として検知された人５０が対象者５００であるかどうか判定する。

判定部１１５は、認識部１１３により認識される人５０の移動速度に基づいて、認識される人５０が追従対象かどうか判定し得る。具体的には、判定部１１５は、人矩形７１０といて検知された人の中で、人矩形７１０または関節点７２０の移動速度に基づいて、いずれか１人を追従対象として判定する。なお、判定部１１５は、人矩形７１０が１つのみ検知された場合は、検知された人矩形７１０に含まれる人５０を追従対象と判定する。

判定部１１５は、人矩形７１０として検知された人５０の中で移動速度が最も遅い人５０を追従対象と判定する。これは、追従対象である対象者５００は、介護等を必要とすることから、撮影画像７００に含まれるスタッフ等の他の人５０と比較して移動速度が遅いと考えられるからである。移動速度は、時系列で隣接する、撮影画像のフレームからそれぞれ検知された人矩形７１０の中心の移動量を、フレーム間隔（時間）で除算することで算出され得る。移動速度は、時系列で隣接する、撮影画像のフレームからそれぞれ検知された関節点７２０の重心の移動量を、フレーム間隔（時間）で除算することで算出されてもよい。判定部１１５は、移動速度の算出において、時系列で隣接するフレーム相互における人５０の同一性を判断するトラッキングを行い得る。トラッキングでは、例えば、時系列で隣接するフレームからそれぞれ検知される人矩形７１０の重複度合い（または近接度合い）が最も高い人矩形７１０を決定する。そして、決定した人矩形７１０同士を同じ人５０の人矩形７１０と判断する。トラッキングでは、時系列で隣接するフレームからそれぞれ検知される関節点７２０の近接度合いが最も高い関節点７２０を決定する。そして、決定した関節点７２０同士を同じ人５０の関節点７２０と判断する。トラッキングは、トラッキングのジャンルであるＭＴＳＣＴ（Ｍｕｌｔｉ Ｔａｒｇｅｔ ＳｉｎｇｌｅＣａｍｅｒａ Ｔｒａｃｋｉｎｇ）に含まれる公知のトラッキングアルゴリズムであるＤｅｅｐＳＯＲＴを用いて行われてもよい。

判定部１１５は、認識部１１３により認識される人５０の関節点７２０の特徴に基づいて、認識される人５０が追従対象かどうか判定してもよい。具体的には、判定部１１５は、関節点７２０から人５０の姿勢を算出し、算出した姿勢に基づいて、当該関節点７２０に対応する人５０が追従対象かどうか判定し得る。人５０の姿勢は、ニューラルネットワークを用いた公知の機械学習技術を用いて算出（推定）されてもよい。判定部１１５は、例えば、前屈みの姿勢の人５０を追従対象として判定し得る。

判定部１１５は、移動速度および姿勢の両方に基づいて、認識部１１３により認識される人５０が追従対象かどうか判定してもよい。例えば、前屈みの姿勢のまま比較的遅い移動速度で移動する人５０を追従対象と判定してもよい。

追従制御部１１６は、判定部１１５により追従対象と判定された人５０を追従するように、カメラ１４１の撮影方向を駆動機構１４２に変更させる。この際、追従制御部１１６は、追従対象と判定された人５０を追従するために、撮影画像７００のフレームの相互における人５０の同一性を判断するトラッキングが行なわれてもよい。トラッキングを行うことで、撮影画像７００のフレームごとの、判定部１１５による追従対象の判定を不要にできる。トラッキングでは、例えば、時系列で隣接するフレームからそれぞれ検知される人矩形７１０の重複度合い（または近接度合い）が最も高い人矩形７１０を決定する。そして、決定された人矩形７１０同士を同じ人５０の人矩形７１０と判断する。トラッキングには、上述したＤｅｅｐＳＯＲＴを用いてもよい。

行動認識部１１７は、推定部１１４により推定される関節点７２０に基づいて、追従対象と判定された対象者５００の行動を認識する。行動認識部１１７は、例えば、関節点７２０から対象者５００の立位の姿勢が検知された状態から、短時間に臥位の姿勢が検知された場合、「転倒」の行動を認識し得る。対象者５００の行動は、ニューラルネットワークの学習済みモデルを用いて認識されてもよい。当該学習済みモデルは、時系列で隣接する複数の撮影画像からそれぞれ推定される、複数の関節点７２０に基づいて行動が推定されるように学習されたモデルである。対象者５００の行動は、関節点７２０と物体（例えば、ベッド７０）との相対的位置関係を用いて認識されてもよい。例えば、撮影画像７００にベッド７０の外で、かつベッド７０から比較的近い範囲の関節点７２０から臥位の姿勢が検知された場合、「転落」の行動が認識され得る。

なお、制御部１１０は、行動認識部１１７により認識される、対象者５００の行動から、対象者５００に関するイベントを検知し得る。イベントとは、対象者５００に関する状態や状況の変化であって、例えば、起床、離床、転倒、および転落等の介助者等に発報（報知）を行うべき事象である。制御部１１０は、イベントを検知した場合は、イベントの内容を通知するイベント通知を携帯端末３００や、管理者の固定端末（図示せず）等の外部装置へ送信してもよい。

見守りシステム１０の動作について説明する。

図９は、見守りシステム１０の動作を示すフローチャートである。本フローチャートは、情報処理装置１００の制御部１１０によりプログラムに従い実行され得る。

制御部１１０は、人感センサー１４３により距離画像８００を取得する（Ｓ１０１）。

制御部１１０は、距離画像８００から人５０を検知する（Ｓ１０２）。

制御部１１０は、検知した人５０がカメラ１４１の撮影範囲に入るようにカメラ１４１の撮影方向を変更する（Ｓ１０３）。

制御部１１０は、カメラ１４１による撮影画像７００から人５０を検知する（Ｓ１０４）。

制御部１１０は、検知された人５０が１人かどうか判断する（Ｓ１０５）。制御部１１０は、検知された人５０が１人であると判断したときは（Ｓ１０５：ＹＥＳ）、検知された１人の人５０を追従対象と判定する（Ｓ１０７）。

制御部１１０は、検知された人５０が１人ではなく複数人であると判断したときは（Ｓ１０５：ＮＯ）、検知された人５０それぞれの移動速度を算出する。そして、移動速度が一番遅い人５０を（Ｓ１０６：ＹＥＳ）、追従対象と判定する（Ｓ１０７）。制御部１１０は、移動速度が一番遅い人５０でない人５０を（Ｓ１０６：ＮＯ）、追従対象でないと判定する（Ｓ１０７）。

制御部１１０は、追従対象と判定した人５０を追従するように、駆動機構１４２により、カメラ１４１の撮影方向を制御する（Ｓ１０９）。

制御部１１０は、追従対象と判定した人５０の関節点７２０等に基づいて、当該人５０の行動を認識する。

（第２実施形態）
本発明の第２実施形態について説明する。本実施形態が第１実施形態と異なる点は次の点である。第１実施形態においては、人５０の移動速度等に基づいて追従対象かどうか判定する。一方、本実施形態においては、人５０の顔、または人５０の装着物の認証により追従対象かどうか判定する。これ以外の点においては、本実施形態は第１実施形態と同様であるため、重複する説明は省略する。

制御部１１０の機能を、図４を参照して説明する。

認識部１１３は、撮影画像７００から人５０および人５０の顔を認識（検知）する。撮影画像７００に複数の人５０の画像が含まれている場合は、認識部１１３は、当該複数の人５０およびその顔を認識し得る。具体的には、認識部１１３は、撮影画像７００から人矩形７１０を検知する。認識部１１３は、人矩形７１０に含まれる人５０の顔を、当該顔を含む領域である顔領域７１１（図１０を参照）として検知する。具体的には、例えば、認識部１１３は、人矩形７１０から顔領域７１１を検知するための辞書（パラメーター）が反映されたニューラルネットワークの学習済みモデルを用いる。認識部１１３は、当該学習済みモデルにより、人矩形７１０から顔領域７１１を検知し得る。学習済みモデルとして、例えば、公知のモデルであるＲｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ（ＲＰＮ）を用い得る。認識部１１３は、顔領域７１１を、撮影画像７００と、当該顔領域７１１の対向する２つの頂点の座標との組合せとして出力し得る。

図１０は、顔領域７１１を示す模式図である。

図１０の例においては、撮影画像７００に人５０が２人含まれており、それぞれの顔領域７１１が検知されている。図７においては、人矩形７１０が破線の矩形として示されている。

判定部１１５は、認識部１１３により認識される人５０の顔の認証により、追従対象かどうか判定する。判定部１１５は、具体的には、例えば、次のように人５０の顔の認証をする。対象者５００の顔の画像を予め記憶部１３０に記憶させることで登録する。判定部１１５は、公知の顔認証技術を用い得る。判定部１１５は、登録された顔の画像と、顔領域７１１に含まれる顔の画像とを比較する。そして、判定部１１５は、顔領域７１１に含まれる顔の画像と特徴が一致する顔の画像が登録されているか判断する。判定部１１５は、顔領域７１１に含まれる顔の画像と特徴が一致する顔の画像が登録されていると判断したときは、当該顔領域７１１に対応する人５０を追従対象と判定する。具体的には、判定部１１５は、当該顔領域７１１を含む人矩形７１０に対応する人５０を追従対象と判定する。

判定部１１５は、人矩形７１０に含まれる人５０の装着物の認証により、追従対象かどうか判定してもよい。装着物には、服に付与されたマーカー等が含まれる。判定部１１５は、具体的には、例えば、次のように装着物の認証をする。対象者５００が装着する所定の装着物の画像を予め記憶部１３０に記憶させることで登録する。判定部１１５は、ニューラルネットワークを用いた公知の機械学習技術を用い得る。判定部１１５は、登録された装着物の画像と、人矩形７１０に含まれる装着物の画像とを比較する。そして、判定部１１５は、人矩形７１０に含まれる装着物の画像と一致する装着物の画像が登録されているか判断する。判定部１１５は、一致する装着物の画像が登録されていると判断したときは、当該装着物を含む人矩形７１０に対応する人５０を追従対象と判定する。

見守りシステム１０の動作について説明する。

図１１は、見守りシステム１０の動作を示すフローチャートである。本フローチャートは、情報処理装置１００の制御部１１０によりプログラムに従い実行され得る。

図１１のフローチャートのステップＳ２０１～Ｓ２０４は、第１実施形態において説明した、図９のフローチャートのステップＳ１０１～Ｓ１０４と同様である。従って、ステップＳ２０１～Ｓ２０４についての説明は省略する。また、ステップＳ２０９～Ｓ２１０は、第１実施形態において説明した、図９のフローチャートのステップＳ１０９～Ｓ１１０と同様である。従って、ステップＳ２０９～Ｓ２１０についての説明は省略する。

制御部１１０は、撮影画像７００において検知された人５０の顔を認識する（Ｓ２０５）。

制御部１１０は、認識した顔が、登録された顔の画像と合致するかどうか判断することで、認識した顔を認証する（Ｓ２０６）。制御部１１０は、認識した顔が、登録された顔の画像と合致すると判断したときは、当該認識した顔に対応する人５０を追従対象と判定する（Ｓ２０７）。制御部１１０は、認識した顔が、登録された顔の画像のいずれとも合致しないと判断したときは、当該認識した顔に対応する人５０が追従対象でないと判定する（Ｓ２０８）。

（第３実施形態）
本発明の第３実施形態について説明する。本実施形態が第１実施形態と異なる点は次の点である。第１実施形態においては、人５０の移動速度等に基づいて追従対象かどうか判定する。一方、本実施形態においては、撮影画像７００から認識される人５０と物体との相対的位置に基づいて、当該人５０が追従対象かどうか判定する。これ以外の点においては、本実施形態は第１実施形態と同様であるため、重複する説明は省略する。

制御部１１０の機能を、図４を参照して説明する。

認識部１１３は、撮影画像７００から人５０および物体を認識（検知）する。撮影画像７００に複数の人５０および複数の物体の画像が含まれている場合は、認識部１１３は、当該複数の人５０および物体のすべてを認識し得る。物体には、対象者５００が使用する物体が含まれる。具体的には、物体には、例えば、ベッド７０、および車椅子が含まれる。以下、説明を簡単にするために、物体がベッド７０である場合を例に説明する。

認識部１１３は、撮影画像７００に含まれる人５０およびベッド７０を、それぞれ人矩形７１０および物体矩形として検知し得る。具体的には、認識部１１３は、撮影画像７００上で物体（オブジェクト）が存在する領域を検知する。認識部１１３は、検知した領域に含まれる物体のカテゴリーを推定することで、人５０およびベッド７０を検知する。物体が存在する領域は、撮影画像７００上で物体が含まれる候補矩形として検知される。検知された候補矩形のうち、物体のカテゴリーが人５０であると推定された候補矩形を、人矩形７１０として検知することで、人５０を検知する。検知された候補矩形のうち、物体のカテゴリーがベッド７０であると推定された候補矩形を、ベッド領域として検知することで、ベッド７０を検知する。なお、ベッド領域は、撮影画像７００内の所定の領域として予め登録されてもよい。

判定部１１５は、認識部１１３により認識される人５０とベッド７０との相対的位置に基づいて、当該人５０が追従対象かどうか判定する。具体的には、判定部１１５は、人矩形７１０とベッド領域が重なっているときに、人矩形７１０に対応する人５０を追従対象と判定する。これは、ベッド７０上に存在する人５０は対象者５００である可能性が高いからである。人矩形７１０とベッド領域が重なっていることは、ベッド７０上に人５０が存在することを示している。

見守りシステム１０の動作について説明する。

図１２は、見守りシステム１０の動作を示すフローチャートである。本フローチャートは、情報処理装置１００の制御部１１０によりプログラムに従い実行され得る。

図１２のフローチャートのステップＳ３０１～Ｓ３０４は、第１実施形態において説明した、図９のフローチャートのステップＳ１０１～Ｓ１０４と同様である。従って、ステップＳ３０１～Ｓ３０４についての説明は省略する。また、ステップＳ３０９～Ｓ３１０は、第１実施形態において説明した、図９のフローチャートのステップＳ１０９～Ｓ１１０と同様である。従って、ステップＳ３０９～Ｓ３１０についての説明は省略する。

制御部１１０は、撮影画像７００において、人５０およびベッド７０を検知する（Ｓ３０４）。

制御部１１０は、検知された人５０が１人かどうか判断する（Ｓ３０５）。制御部１１０は、検知された人５０が１人であると判断したときは（Ｓ３０５：ＹＥＳ）、検知された１人の人５０を追従対象と判定する（Ｓ３０７）。

制御部１１０は、検知された人５０が１人ではなく複数人であると判断したときは（Ｓ３０５：ＮＯ）、当該人５０がベッド７０上で検知されたかどうか判断する（Ｓ３０６）。制御部１１０は、検知された人５０がベッド７０上で検知されたと判断したときは（Ｓ３０６：ＹＥＳ）、当該５０を追従対象と判定する（Ｓ３０７）。制御部１１０は、検知された人５０がベッド７０上で検知されていないと判断したときは（Ｓ３０６：ＮＯ）、当該５０は追従対象でないと判定する（Ｓ３０８）。

（第４実施形態）
本発明の第４実施形態について説明する。

本実施形態では、追従対象を判定した後、所定の条件を満たしたときに、再度、カメラ１４１の撮影方向を変更させて追従対象の判定をする。所定の条件には、例えば次のものがある。（１）判定部１１５により追従対象と判定された人５０が撮影画像７００において認識部１１３により認識されなくなったこと。（２）判定部１１５により追従対象と判定された人５０が撮影画像７００において認識部１１３により認識されなくなってから所定時間経過したこと。（３）判定部１１５により追従対象と判定された人５０が撮影画像７００において認識部１１３により認識されなくなる。その後、人感センサー１４３により人５０が検知されたこと。

図１３は、判定部１１５により追従対象と判定された人５０が撮影画像７００において認識部１１３により認識されなくなった状況を示す説明図である。図１３において矢印は時間の経過を示している。また、破線によりカメラ１４１の撮影範囲が示されている。

図１３において、対象者５００はベッド７０で臥位の姿勢の状態にある。一方、対象者５００以外の人５０であるスタッフ５０ｓは立位の姿勢で、出口に向かって歩き始めているという行動をしている。

図１３の上段の図は、対象者５００以外の人５０であるスタッフ５０ｓが誤って追従対象と判定された状況を示している。中段の図は、誤って、スタッフ５０ｓを追従するように、カメラ１４１の撮影方向が変更されている状況を示している。画像の乱れや、オクルージョン等が発生することがあるため、追従対象の誤判定が生じる可能性はないとは言えない。下段の図は、対象者５００の居室からスタッフ５０ｓが出た状況を示している。これにより、カメラ１４１の撮影範囲から、カメラ１４１が誤って追従していたスタッフ５０ｓが消える。下段の図に示す状況になると、撮影画像７００から人５０が認識されない状態になる。すなわち、判定部１１５により追従対象と判定された人５０が撮影画像７００において認識部１１３により認識されなくなっている。この状態のままカメラ１４１の撮影方向が変更されないとすると、追従されるべき対象者５００の見守りがされない。

そこで、本実施形態では、次の制御をする。判定部１１５により追従対象と判定された人５０が撮影画像７００において認識部１１３により認識されなくなる。このとき、制御部１１０は、再度、カメラ１４１の撮影方向を変更させて追従対象の判定をする。そして、制御部１１０は、追従対象と判定された人５０をカメラ１４１の撮影方向を変更させることで追従させる。

制御部１１０は、次の制御をしてもよい。判定部１１５により追従対象と判定された人５０が撮影画像７００において認識部１１３により認識されなくなる。その後所定時間経過したときに、制御部１１０は、再度、カメラ１４１の撮影方向を変更させて追従対象の判定をしてもよい。そして、制御部１１０は、追従対象と判定された人５０をカメラ１４１の撮影方向を変更させることで追従させてもよい。所定時間は、追従対象が正しく判定されている時間の割合等の観点から実験等により適当に設定され得る。

制御部１１０は、次の制御をしてもよい。判定部１１５により追従対象と判定された人５０が撮影画像７００において認識部１１３により認識されなくなる。その後、制御部１１０は、人５０が人感センサー１４３により人が検知されたときに、再度、カメラ１４１の撮影方向を変更させて追従対象の判定をし得る。そして、追従対象と判定された人５０をカメラ１４１の撮影方向を変更させることで追従させ得る。

図１４は、追従されていた人５０が認識されなくなった後、人感センサー１４３により検知されている別の人５０が追跡対象と判定された状況を示す説明図である。図１４においては、追従されていた人５０が認識部１１３により認識されなくなる。その後、人感センサー１４３により検知されている別の人５０が、再度、カメラ１４１の撮影方向が変更されて追従対象と判定されている。

図１４の例においては、制御部１１０は、再度、カメラ１４１の撮影方向を変更させて、対象者５００を正しく追従対象と判定している。

図１５は、追従されていた人５０が認識されなくなった後、人感センサー１４３により人５０が検知されていない状況を示す説明図である。図１５においては、追従されていた人５０が認識部１１３により認識されなくなる。その後、人感センサー１４３により人５０が検知されていない。

図１５の例においては、制御部１１０は、人感センサー１４３により人５０が検知されていないため、居室の出入り口の方向にカメラ１４１の撮影方向を固定している。次に居室に入ってくる人５０は追従対象である対象者５００である可能性が高い。従って、追従対象である人５０を速やかに追従できる。

実施形態は、以下の効果を奏する。

人感センサーによる人の検知情報に基づき、撮影部の撮影方向を変更する駆動部を備える。そして、撮影部の画像から認識される人の特徴から当該人が追従対象かどうか判定し、追従対象と判定した人を追従するように撮影部の撮影方向を駆動部に変更させる。これにより、撮影部による見守り対象の補捉精度を向上できる。

また、認識される人の移動速度に基づいて、追従対象かどうか判定する。これにより、簡単かつ効果的に撮影部による見守り対象の補捉精度を向上できる。

また、認識される人を、顔または装着物の認証により、追従対象かどうか判定する。これにより、撮影部による見守り対象の補捉精度をより向上できる。

また、撮影部の画像から認識される人の関節点を推定し、関節点に基づいて追従対象かどうか判定する。これにより、撮影部による見守り対象の補捉精度をより向上できる。

また、撮影部により撮影される画像から物体をさらに認識する。そして、当該画像から認識される人と、認識される物体との相対的位置に基づいて、当該人が前記追従対象かどうか判定する。これにより、より柔軟に、撮影部による見守り対象の補捉精度をより向上できる。

また、所定の条件を満たしたときに、再度、撮影部の撮影方向を変更させて、追従対象と判定された人を追従させる。これにより、追従対象が追従されない状態の発生を抑制できる。

さらに、上記所定の条件を、（１）追従対象と判定された人が画像において認識されなくなったこととする。または、（２）追従対象と判定された人が画像において認識されなくなってから所定時間経過したこととする。または、（３）追従対象と判定された人が画像において認識されなくなった後、人感センサーにより人が検知されたこととする。これにより、簡単かつ効果的に、追従対象が追従されない状態の発生を抑制できる。

以上に説明した、見守り装置、制御方法、および制御プログラムの構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのである。従って、見守り装置、制御方法、および制御プログラムは、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な見守り装置、制御方法、および制御プログラムの構成を排除するものではない。

例えば、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。

また、上述したシステムにおける各種処理を行う手段および方法は、専用のハードウェア回路よっても実現することが可能である。上述したシステムにおける各種処理を行う手段および方法は、プログラムされたコンピューターによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその情報処理装置等の装置のソフトウエアに組み込まれてもよい。

１０ 見守りシステム、
５０ 人、
５０ｓ 介助者、
７０ ベッド、
１００ 情報処理装置、
１１０ 制御部、
１１１ 位置検知部、
１１２ 駆動部、
１１３ 認識部、
１１４ 推定部、
１１５ 判定部、
１１６ 追従制御部、
１１７ 行動認識部、
１２０ 通信部、
１３０ 記憶部、
１４０ カメラユニット、
１４１ カメラ、
１４２ 駆動機構、
１４３ 人感センサー、
２００ 通信ネットワーク、
２１０ アクセスポイント、
３００ 携帯端末、
５００ 対象者、
７００ 撮影画像、
７１０ 人矩形、
７１１ 顔領域、
７２０ 関節点。

Claims (15)

1. 人の画像を撮影する撮影部と、
   人の位置を検知する人感センサーと、
   前記人感センサーの検知情報に基づき、前記撮影部の撮影方向を変更する駆動部と、
   前記撮影部により撮影される前記画像から人を認識する認識部と、
   前記認識部により認識される人の特徴に基づいて、前記認識部により認識される人が追従対象かどうか判定する判定部と、
   前記判定部により前記追従対象と判定された人を追従するように、前記撮影部の撮影方向を前記駆動部に変更させる制御部と、
   を有する見守り装置。
2. 前記判定部は、前記認識部により認識される人の移動速度に基づいて、前記追従対象かどうか判定する、請求項１に記載の見守り装置。
3. 前記判定部は、前記認識部により認識される人を、顔または装着物の認証により、前記追従対象かどうか判定する、請求項１に記載の見守り装置。
4. 前記認識部により認識される人の関節点を推定する推定部を有し、
   前記判定部は、前記推定部により推定される前記関節点に基づいて前記追従対象かどうか判定する、請求項１に記載の見守り装置。
5. 前記認識部は、前記撮影部により撮影される前記画像から人以外の物体をさらに認識し、
   前記判定部は、前記認識部により認識される人と、前記認識部により認識される前記物体との相対的位置に基づいて、当該人が前記追従対象かどうか判定する、請求項１に記載の見守り装置。
6. 前記制御部は、所定の条件を満たしたときに、再度、前記駆動部に、前記撮影部の前記撮影方向を変更させて、前記判定部により前記追従対象と判定された人を追従させる、請求項１～５のいずれか一項に記載の見守り装置。
7. 前記所定の条件は、前記判定部により前記追従対象と判定された人が前記画像において前記認識部により認識されなくなったこと、前記判定部により前記追従対象と判定された人が前記画像において前記認識部により認識されなくなってから所定時間経過したこと、または、前記判定部により前記追従対象と判定された人が前記画像において前記認識部により認識されなくなった後、前記人感センサーにより人が検知されたことである、請求項６に記載の見守り装置。
8. 人の画像を撮影する撮影部と、
   人の位置を検知する人感センサーと、
   前記撮影部の撮影方向を変更する駆動部と、を有する見守り装置の制御方法であって、
   前記人感センサーの検知情報に基づき、前記撮影部の撮影方向を変更させるステップ（ａ）と、
   前記撮影部により撮影される前記画像から人を認識するステップ（ｂ）と、
   前記ステップ（ｂ）において認識される人の特徴に基づいて、認識される人が追従対象かどうか判定するステップ（ｃ）と、
   前記ステップ（ｃ）において前記追従対象と判定された人を追従するように、前記撮影部の撮影方向を前記駆動部に変更させるステップ（ｄ）と、
   を有する制御方法。
9. 前記ステップ（ｃ）においては、前記ステップ（ｂ）において認識される人の移動速度に基づいて、前記追従対象かどうか判定する、請求項８に記載の制御方法。
10. 前記ステップ（ｃ）においては、前記ステップ（ｂ）において認識される人を、顔または装着物の認証により、前記追従対象かどうか判定する、請求項８に記載の制御方法。
11. 前記ステップ（ｂ）において認識される人の関節点を推定するステップ（ｅ）を有し、
    前記ステップ（ｃ）においては、前記ステップ（ｅ）において推定される前記関節点に基づいて前記追従対象かどうか判定する、請求項８に記載の制御方法。
12. 前記ステップ（ｂ）においては、前記撮影部により撮影される前記画像から人以外の物体をさらに認識し、
    前記ステップ（ｃ）においては、前記ステップ（ｂ）において認識される人と、前記ステップ（ｂ）において認識される前記物体との相対的位置に基づいて、当該人が前記追従対象かどうか判定する、請求項８に記載の制御方法。
13. 所定の条件を満たしたときに、再度、前記駆動部に、前記撮影部の前記撮影方向を変更させて、前記追従対象と判定された人を追従させるステップ（ｆ）を有する、請求項８に記載の制御方法。
14. 前記所定の条件は、前記ステップ（ｃ）において前記追従対象と判定された人が前記画像において認識されなくなったこと、前記ステップ（ｃ）において前記追従対象と判定された人が前記画像において認識されなくなってから所定時間経過したこと、または、前記ステップ（ｃ）において前記追従対象と判定された人が前記画像において認識されなくなった後、前記人感センサーにより人が検知されたことである、請求項１３に記載の制御方法。
15. 請求項８～１４のいずれか一項に記載の制御方法をコンピューターに実行させるための制御プログラム。