JP2005056213A - 情報提供システム、情報提供サーバ、情報提供方法 - Google Patents

Abstract

【課題】 一般家庭、託児所、介護施設、病院、オフィス、ホテル及び店舗、等の様々な空間に適用されて、その空間内の状況に関する情報を提供する際に、提供する情報の内容やレベルを適宜変更可能なシステムを実現する。
【解決手段】 空間内を撮像するセンシング手段120 と、空間内の状況を特定する物品／移動体検索・管理手段105 と、撮像した画像データに含まれる移動体及び／又は物品についての情報を認識する画像管理手段104 と、空間内の状況と画像データの加工内容とを対応付けて記憶する表示制御データベース123 を参照して、特定された状況に対応する加工内容に従い、認識された結果を用いて画像データを加工する表示制御手段118 と、加工された画像データを表示する表示部117 と、を備える。
【選択図】 図１

Description

本発明は、所定の空間内の状況に関する情報を提供する情報提供システム、情報提供サーバ、情報提供方法に関する。

例えば特許文献１には、所定の空間（託児所）内の状況に関する情報として、子供の様子を撮像した画像データを提供するシステムが開示されている。

この情報提供（監視）システムは、託児所内の子供を撮像するカメラを制御する撮像制御手段を有していて、ユーザからのリクエストに応じて、撮像制御手段は、そのユーザの子供を撮像するカメラアングルを定め、ズームアップした画像を撮像し、その画像をネットワークを介してユーザに配信するシステムに構成されている。この構成により、配信される画像には我が子のみが含まれて他人の子供は含まれないため、お互いの子供のプライバシーを保護しつつ、ユーザは託児所内の我が子の様子を確認することができる。
特開２００２−２６９２０９号公報

上記特許文献１に開示された情報提供システムは、プライバシーの保護を目的としてカメラアングル及びズームアップを制御することにより、空間内の特定の人を撮像するシステムである。つまり、特許文献１に開示された情報提供システムは、含まれる情報を一つに制限した画像データを撮像するシステムであるため、例えば、他人の子供は画像に含まれない一方で、託児所内全体を様子と我が子の様子との双方を画像に含めるといった対応が不可能である。

本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、一般家庭、託児所、介護施設、病院、オフィス、ホテル及び店舗、等の様々な空間に適用されて、その空間内の状況に関する情報を提供する情報提供システムであって、提供する情報の内容やレベルを適宜変更可能なシステムを実現することにある。

本発明は、所定の空間内を撮像した画像データを空間内の状況に応じて加工するものである。

本発明の情報提供システムは、所定の空間内の状況に関する情報を提供するシステムである。

この情報提供システムは、上記空間内を撮像する撮像手段と、上記撮像手段が撮像した空間内の状況を特定する特定手段と、上記撮像手段が撮像した画像データに含まれる移動体及び／又は物品についての情報を認識する認識手段と、上記空間内の状況と画像データの加工内容とを対応付けて記憶する加工内容管理データベースと、上記加工内容管理データベースを参照して、上記特定手段が特定した状況に対応する加工内容に従い、上記認識手段の認識結果を用いて上記撮像手段が撮像した画像データを加工する加工手段と、上記加工された画像データを表示する表示手段と、を備える。

ここで、移動体とは、人、動物、ロボット、等を含み、空間内において種々の活動を行うものをいう。

この構成によると、撮像手段が空間内を撮像したときには、特定手段はその空間内の状況を特定し、認識手段は画像データに含まれる移動体及び／又は物品についての情報を認識する。

そして、加工手段は、加工内容管理データベースを参照して、上記特定手段によって特定された状況に対応する加工内容に従い、上記認識手段の認識結果を用いて上記撮像手段が撮像した画像データを加工する。こうして、画像データが空間内の状況に応じて加工され、それによって、必要な情報は画像データに含めつつ、不要な情報は画像データから削除する等の加工が可能になる。

こうして加工された画像データは、表示手段によって表示される。ユーザは、表示された画像データによって、空間内の状態を確認することができる。

上記情報提供システムは、ユーザ操作に応じて画像データの表示要求信号を出力する操作手段をさらに備え、上記加工内容管理データベースは、ユーザ情報及び空間内の状況と、画像データの加工内容とを対応付けて記憶し、上記加工手段は、上記表示要求信号を受けて、その表示要求信号の出力に係るユーザの情報を取得し、当該ユーザ情報と特定手段が特定した状況とに対応する加工内容に従って画像データを加工してもよい。

上記加工内容管理データベースは、空間内の状況として、当該空間の属性と、当該空間内に存在する移動体及び／又は物品の属性との組合せを記憶してもよい。

上記情報提供システムは、空間内に存在する移動体及び／又は物品を検出するセンシング手段をさらに備え、上記特定手段は、上記センシング手段の検出結果に基づいて、空間内の状況を特定し、上記認識手段は、撮像手段が撮像した画像データ及び／又は上記センシング手段の検出結果に基づいて画像データに含まれる移動体及び／又は物品についての情報を認識してもよい。

上記認識手段は、移動体及び／又は物品についての情報を複数の情報レベル毎に認識し、上記加工内容管理データベースは、空間内の状況と、その状況に応じて選択された情報レベルの認識結果が加工後の画像データに含まれるよう設定された加工内容とを対応付けて記憶してもよい。

ここで、情報レベルとは、画像データに含まれる大量の情報を、個別に分けたものである。例えば画像データに移動体が含まれるときには、１）移動体の存在の有無、２）移動体が何（誰）であるか（移動体の属性）、３）移動体の位置、４）移動体の顔の位置、５）移動体の輪郭形状、６）移動体が何をしているか（移動体の動作）、等が、情報レベルの例示として挙げられる。

上記情報提供システムは、上記撮像手段が撮像した画像データと認識手段が認識した認識結果とを対応付けて蓄積する画像管理データベースをさらに備え、上記加工手段は、上記画像管理データベースに蓄積されている画像データを、上記画像管理データベースに蓄積されている認識結果を用いて加工してもよい。

本発明の情報提供サーバは、所定の空間内の状況に関する情報を提供するサーバである。

この情報提供サーバは、撮像手段が撮像した空間内の状況を特定する特定手段と、上記撮像手段が撮像した画像データに含まれる移動体及び／又は物品についての情報の認識を行う認識手段と、上記空間内の状況と画像データの加工内容とを対応付けて記憶する加工内容管理データベースを参照して、上記特定手段が特定した状況に対応する加工内容に従い、上記認識手段の認識結果を用いて上記撮像手段が撮像した画像データを加工する加工手段と、上記加工された画像データを出力する出力手段と、を備える。

本発明の情報提供方法は、所定の空間内の状況に関する情報を提供する方法である。

この情報提供方法は、上記空間内を撮像する撮像ステップと、上記撮像ステップで撮像した空間内の状況を特定する特定ステップと、上記撮像ステップで撮像した画像データに含まれる移動体及び／又は物品についての情報を認識する認識ステップと、上記特定ステップで特定した状況に対応して設定された加工内容に従い、上記認識ステップの認識結果を用いて上記撮像ステップで撮像した画像データを加工する加工ステップと、上記加工ステップで加工した画像データを表示する表示ステップと、を含む。

本発明の情報提供システム、情報提供サーバ、情報提供方法によれば、撮像した画像データを空間内の状況に応じて加工することによって提供する情報の内容やレベルが変更可能になり、それによって必要な情報を画像データに含めつつ、不要な情報は画像データから削除するといった、柔軟な対応を実現することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。本発明に係る情報提供システム（監視システム）は、所定の空間において物品及び人（移動体）の管理をする物品／移動体管理システムに含まれるシステムである。この監視システムは、物品／移動体管理システムで用いられる撮像手段（センシング手段）を利用して、空間内の監視を行う。尚、所定の空間は、一般家庭、託児所、介護施設、オフィス、ホテル、店舗及び病院等の、人が活動を行う空間（生活空間）であり、本実施の形態では、一般家庭を対象空間とする。また、一般家庭における部屋一つ一つを空間として、その各空間（部屋）を環境と呼ぶ。

上記物品／移動体管理システムは、図１に示すように、環境管理サーバ101 （以下、単にサーバと省略することもある）、作業ロボット102 （以下、単にロボットと省略することもある）、及び操作端末103 の大きく分けて３つのサブシステムから構成される。これら３つのサブシステム101 〜103 は、無線又は有線のネットワークを介して接続されていて、このネットワークを介して情報のやり取りを行うように構成される。

３つのサブシステム101 〜103 はそれぞれ、制御手段110 ，115 ，119 と送受信手段109 とを備える。各サブシステム101 〜103 の送受信手段109 は処理が同じであるため、同じ符号を付すことにする。

ここで、物品とは、人や作業ロボット102 によって取り扱われるものをいう。また、人及び作業ロボット102 は物品の取り扱いを行うものであり、以下、これら総称して移動体と呼ぶ。さらに、物品の取り扱いを行っている移動体を、物品取扱主体と呼ぶ。

−センシング手段の構成−
物品／移動体管理システムは、各環境内の状況を把握するセンシング手段120 を備えており、このセンシング手段120 は、１番目のサブシステムである環境管理サーバ101 に接続される。

上記センシング手段120 は、各環境の出入口の状況を検出する出入口センシング手段121 と、各環境内の状況を検出する環境内センシング手段122 とから構成される。

（出入口センシング手段）
上記出入口センシング手段121 は、環境に対して物品及び移動体が出入したことを検出するものである。出入口センシング手段121 は、環境毎に設置される。

この出入口センシング手段121 としては、電子タグとリーダライタとからなるものを採用することができる。

電子タグとはデータを蓄えるＩＣとデータを無線で送受信するアンテナとから構成されるデバイスであり、リーダライタとは電子タグに書き込まれた情報を読みとったり、電子タグに情報を書き込んだりすることのできる装置である。

この電子タグとリーダライタとからなる出入口センシング手段121 は、例えば図２に示すように、環境と外部との出入口である窓５１及びドア５２の開口部それぞれに、ゲート型のリーダライタ（ＲＦアンテナ）４１，４２を配設して構成される。

また、この出入口を通過する全ての物品には、予め上記電子タグが付される。この電子タグには、その物品に関するデータ、例えば物品の種類、形状、重さ、その物品の画像、製造年月日等のデータを埋め込むのがよい。

さらに、この出入口を通過する移動体にも、予め電子タグが付される。人に付す電子タグは、その人が常時携帯するもの（例えば腕時計や指輪等）に埋め込んでもよい。移動体に付す電子タグには、その移動体に関するデータ、例えば人の名前や生年月日等の情報を書き込むのがよい。

出入口センシング手段121 をこのように構成することによって、物品や移動体がこの窓５１やドア５２を通過するときには、その出入口に設置されたリーダライタ４１，４２が、物品や移動体に取り付けられた電子タグからの情報を読み取ることになる。こうして、電子タグからの情報を読み取ることによって、出入口センシング手段121 は、物品及び移動体が出入口を通過したことを検出することができる。

また、上記リーダライタを出入口に対して二重に設置すれば、出入口センシング手段121 は、物品及び移動体が環境内に入ったのか、環境内から出たのかを区別して検出することができる。

つまり、図示は省略するが、第１のリーダライタを環境外である、窓５１やドア５２の開口部の外側に設置する一方で、第２リーダライタを環境内である、窓５１やドア５２の開口部の内側に設置するのである。この構成によって、環境の外側に設置された第１リーダライタが電子タグからの情報を検出した後に、内側に設置された第２リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品又は移動体は、外部から環境内に入ったと特定することができる。逆に、環境の内側に設置された第２リーダライタが電子タグからの情報を検出した後に、外側に設置された第１リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品又は移動体は、環境内から外部に出たと特定することができる。

尚、図２では、窓５１やドア５２の開口部の上下左右を囲むようにリーダライタ４１，４２を設置しているが、これは電子タグの向きに依存せず高精度の検出を行なうためであり、リーダライタ４１，４２は、窓５１やドア５２の上下位置のみ、左右位置のみ、又はその中央位置に設置してもよい。

尚、出入口センシング手段121 は、電子タグとリーダライタとからなるものに限らず、その他の構成のものを採用してもよい。

（環境内センシング手段）
上記環境内センシング手段122 は、環境内に存在する物品や設備（家具等を含む）、及び人やロボット102 の位置と状態とを常時検出するものであり、環境毎に設置される。環境内センシング手段122 は、ここでは画像センサを用いたものに構成される。つまり、この環境内センシング手段122 は、部屋の天井や壁等に固定されて環境内の様子を撮像するカメラを備えており、このカメラが撮像したカメラ画像によって、環境内の物品及び移動体の検出が行われる。

ここで、物品及び移動体を検出する方法について説明する。カメラ画像を用いて環境内の物品や移動体を検出する一般的な方法の一つに、背景差分法があり、環境内センシング手段122 としては、その背景差分法を利用することができる。この背景差分法とは、背景としてのモデル画像を予め用意しておき、現在のカメラ画像と上記モデル画像との差分を取ることによって、対象物を検出する方法である。環境内センシング手段122 は、環境内に存在する物品や移動体を検出するため、モデル画像としては、環境の状況変動が少ない場合は、その環境内に物品・移動体が存在していないときに撮像した画像を用いればよい。尚、環境の状況変動が激しい場合は、所定の時間間隔を空けて撮影された複数の画像を平均して得られた画像を、モデル画像として用いればよい。

具体的に、背景差分法による物品及び移動体の検出方法について、図３を参照しながら説明する。ここで、図３（ａ）はモデル画像の例を示す図であり、図３（ｂ）はある時点でカメラが撮影した画像（入力画像）を示す図であり、図３（ｃ）は、入力画像からモデル画像を差し引くことによって得られた背景差分画像の例を示す図である。図３（ｃ）から分かるように、背景差分画像では、入力画像とモデル画像との差のある部分が浮き出てくる（同図の網掛けの領域参照（差分領域））。このため、その浮き出た部分のみをそれぞれ取り出すことで環境内に存在する物品又は移動体を検出することができる。さらに、その画像を画像処理することによって、その物品又は移動体が何であるかを特定する（この処理は、後述する物品／移動体検索・管理手段105 が行う）。このように、背景差分法を用いることによって、環境内の物品及び移動体の状況を検出することが可能になる。さらに、環境内に２つのカメラを設けるようにすれば、ステレオ視による三次元計測技術を用いて物品の形状及び姿勢の情報を取得することも可能になる。

上述した電子タグ及びリーダライタを用いれば、電子タグに埋め込まれた情報によって物品及び移動体の特定が容易に行い得ることから、環境内センシング手段122 は、画像センサと電子タグとの双方を用いるものとすることも可能である。つまり、上述した背景差分法によって、環境内の物品及び移動体の位置を特定し、さらに電子タグを使ってその物品及び移動体を特定するというハイブリッド処理を行うのである。具体的な処理として、以下の２つの例を挙げることができる。

一つの例は、環境内の天井や壁等にカメラを設置し、作業ロボット102 にはリーダライタを取り付けて環境内センシング手段122 を構成する。また、各物品及び移動体には電子タグを取り付けておく。そして、上記カメラ画像を用いた背景差分法によって、環境内の物品又は移動体の位置を特定する。次に、位置特定した物品又は移動体の近傍に上記ロボット102 を移動させて、そのロボット102 に取り付けたリーダライタによって、その物品又は移動体に取り付けられた電子タグから情報を読みとり、その物品又は移動体を特定する。

もう一つの例は、環境内の天井や壁等にカメラを設置し、その環境内に複数個のリーダライタを略均等に設置して環境内センシング手段122 を構成する。このリーダライタは、電子タグのデータ読みとりに関して指向性を有しかつ、その読み取り方向が可変であるものとする。そして、上記カメラ画像を用いた背景差分法によって、環境内の物品又は移動体の位置を特定する。次に、位置特定した物品又は移動体に対し最も近い位置に設置されたリーダライタを選択すると共に、そのリーダライタの読みとり方向をその物品又は移動体に向ける。こうして、その物品又は移動体に取り付けられた電子タグから情報を読み取り、その物品又は移動体を特定する。

上記センシング手段120 は、以上のようにして物品又は移動体を検出したときには、その検出結果を、サーバ101 の物品／移動体検索・管理手段105 に送信する。

−環境管理サーバの構成−
環境管理サーバ101 は、図１に示すように、上記各出入口センシング手段121 及び環境内センシング手段122 によって把握した状況のうち、環境内に存在する物品と移動体との状況を管理する物品／移動体検索・管理手段105 及びその物品及び移動体のデータを蓄積する物品／移動体データベース160 と、上記物品及び移動体以外の環境全体の状況を管理する環境マップ管理手段107 及びその環境全体のデータを蓄積する環境マップ108 と、カメラの撮像した画像データ等を蓄積する画像管理データベース106 及び画像管理データベース106 に蓄積するデータの管理をする画像管理手段104 と、物品／移動体データベース160 のデータや環境マップ108 のデータの問い合わせ（信号）を外部から受信したり、その応答信号を外部に発信したり、また、ロボット102 に対する制御コマンドを送信したりする送受信手段109 と、これらの手段104 ，105 ，107 ，109 をコントロールする制御手段110 とからなる。

この環境管理サーバ101 としては汎用コンピュータを用いることが可能である。この場合は、後述する各処理を実行する制御プログラムをコンピュータが読み込むことによって、そのコンピュータを環境管理サーバ101 として用いることが可能になる。

（物品／移動体検索・管理手段）
物品／移動体検索・管理手段105 は、センシング手段120 によって検出された各物品及び移動体の情報を、物品／移動体データベース（ＤＢ）160 に蓄積するものである。

また、物品／移動体検索・管理手段105 は、センシング手段120 の検出結果に基づいて、物品及び移動体の特定し、それらの特定結果を上記物品／移動体ＤＢ160 に蓄積する。こうして、物品及び移動体の特定をすることによって、環境内の状況を特定する。

さらに、上記物品／移動体検索・管理手段105 は、制御手段110 から物品／移動体ＤＢ160 に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を物品／移動体ＤＢ160 から取り出し、その情報を制御手段110 に送ることも行う。

上記物品／移動体検索・管理手段105 は、図４に示すように、それぞれセンシング手段120 の検出結果を受けて、物品を特定する物品特定手段３２及び移動体を特定する移動体特定手段３３と、を備える。

上記物品特定手段３２は、上記センシング手段120 によって検出された物品が何であるかを特定し、その物品の情報を物品／移動体ＤＢ160 に蓄積するものである。この物品特定手段３２は、上述したように、センシング手段120 が電子タグとリーダライタを用いたものであるときには、その電子タグからの情報に基づいて物品の特定をする。また、センシング手段120 がカメラ画像を用いたものであるときには、そのカメラ画像に基づいて物品の認識処理を行い、その物品の特定を行う。

上記移動体特定手段３３は、上記センシング手段120 によって検出された移動体が誰であるかを特定し、その移動体の情報を物品／移動体ＤＢ160 に蓄積するものである。

この移動体特定手段３３は、上述したように、センシング手段120 が電子タグとリーダライタを用いたものであるときには、その電子タグからの情報に基づいて移動体の特定をする。

また、センシング手段120 がカメラ画像を用いたものであるときには、そのカメラ画像に基づいて移動体の認証処理を行い、その移動体の特定を行う。具体的には、カメラに移動体が存在する領域を撮像させ、その撮像した画像に対して顔認証処理を行い、その認証処理によって移動体を特定する。ここで、環境内センシング手段122 として用いるカメラは、環境内の全体を撮像するカメラであるため、通常、広域を撮影する広角カメラである。この広角カメラの撮像画像は解像度が比較的低く、顔認証処理を行なうには解像度が足りない場合がある。そこで、背景差分法に用いるカメラとは別に、顔認証処理用のカメラとして狭角の高分解能カメラを、環境内に設置又はロボット102 に設置してもよい。この場合、移動体特定手段３３は、狭角カメラに移動体が存在する領域を撮像させ、その撮像した画像に対して顔認証処理を行う。こうすることにより、移動体特定手段３３は物品取扱主体を精度よく特定することができる。尚、移動体特定手段３３における移動体の特定方法は、顔認証処理に限らず、例えば虹彩認証等のその他の認証処理によって行ってもよい。

また、物品／移動体検索・管理手段105 は、物品が移動体によって取り扱われていることを検出し、この場合は、物品とそれを取り扱う移動体（物品取扱主体）とをそれぞれ特定する。

（物品／移動体データベース）
環境管理サーバ101 の物品／移動体ＤＢ160 は、物品及び移動体の情報を蓄積するＤＢであり、例えば図５，図６に示すように構成される。つまり、この物品／移動体ＤＢ160 は、物品を扱う物品データベース６１（図５）と、移動体を扱う移動体データベース６２（図６）とからなる。後述するように、物品／移動体ＤＢ160 に蓄積される情報は、環境内の状況を特定する際にも利用される。

物品ＤＢ６１は、物品データ611 、物品履歴データ612 、物品属性データ613 の３種類のデータをそれぞれ蓄積するサブデータベースからなる。各サブデータベースに蓄積されるデータ内容は以下の通りである。

１）物品データ611 ：個々の物品を区別するためのＩＤ、物品履歴データへのポインタ、物品の属性が記載された物品属性データへのポインタ、が蓄積される。ここで、複数の物品について、その種類が同じであっても物理的に別の存在であれば、それらはそれぞれ別の物品として扱うため異なるＩＤが割り当てられると共に、異なる物品属性データへのポインタを持つ。一方、種類が同じ物品は同じ物品属性を持つため、異なるＩＤが割り当てられていても、同じ物品属性データへのポインタを持つ。これにより、データベースの容量を節約する。

２）物品履歴データ612 ：環境内において物品が取り扱われた履歴を格納するもので、取り扱われた時刻（取り扱い日時）、取扱内容、物品取扱主体、取扱い後の位置、の４項目からなる。この内、取扱内容は、新規、移動等と表される。また、位置データの表し方としては種々の表現が考えられるが、ここでは、図５に示すように、６つのパラメータで位置を表現することとする。つまり、最初の３つのパラメータ（x1 ,y1 ,z1）は物品の位置（重心位置等を用いる）を表し、後の３つのパラメータ（α1 ,β1 ,γ1 ）は、物品の向きを表す。物品の位置及び姿勢は、センシング手段120 又は作業ロボット102 のセンサ111 によって取得する。また、物品履歴データにおける物品取扱主体は、上記移動体特定手段３３によって特定された移動体である。物品履歴データでは、「取扱後の位置」における最新のデータが、物品の現在位置の情報となる。

３）物品属性データ613 ：物品が有する物理的な属性情報を格納するもので、属性情報の例としては、図５に示すように、物品の重さ、形状モデル・サイズが挙げられる。こうした属性情報は、物品に取り付けられた電子タグから取得してデータベースに格納してもよいし、ユーザが手動で入力した情報をデータベースに格納してもよい。

移動体ＤＢ６２は、図６に示すように、移動体データ621 、移動体履歴データ622 、及び移動体属性データ（図示省略）の３種類のデータをそれぞれ蓄積するサブデータベースからなり、各サブデータベースに蓄積されるデータ内容は以下の通りである。

１）移動体データ621 ：個々の移動体を区別するためのＩＤ、移動体履歴データへのポインタが蓄積される。移動体データ621 に格納される移動体は、ユーザが手動で予め登録するようにすればよい。

２）移動体履歴データ622 ：移動体の、ある時刻における位置と、その時刻における状態との３項目からなる。ここで、移動体は、物品とは異なり空間内に占める体積が大きく、ロボット102 が環境内を移動するときの障害物となる。このため、移動体の位置はできるだけ現実に則した表現が好ましい。ここでは、床面上で移動体が占めるおおよその領域を円で表すこととする。すなわち、円の中心位置のＸＹ座標（x4 ,y4）と円の半径（r1）で移動体の位置を表す。これは、ロボット102 が障害物を避けつつ経路作成が可能となる一方で、移動体の位置を必要最小限の情報で表すためである。尚、移動体が占める領域は、さらに厳密な表現をしてもよい。例えば移動体の床面上で占める領域の輪郭を近似する複数個の線分ベクトルを使って、移動体の位置を表現してもよい。

また、移動体履歴データにおける移動体の状態とは、その移動体が人であれば、「座る」「立つ」「寝る」「歩く」等の一般的な人の動作を表し、移動体がロボット102 であれば、「把持」「解放」等のロボット102 が物品に対して行う動作を表す。例えば移動体の状態となり得る状態候補を予め複数用意しておき、センシング手段120 による検出結果等に基づいて移動体の状態がどの状態候補に当てはまるかを判断すればよい。尚、ロボット102 に関する移動体履歴データでは、その動作だけでなく、作業対象の物品ＩＤと併せて「物品ＩＤ：動作内容」として格納する。具体的には、「kan-small-0001：把持」となる。

３）移動体属性データ：移動体が有する共有の属性情報を蓄積するものであり、移動体属性データとしては、移動体の重さや形状等の物理属性が挙げられる。この移動体属性データは、センシング手段120 （電子タグとリーダライタ）によって取得することが可能である。また、手動でこれらの情報を入力してもよい。

この物品／移動体ＤＢ160 へのアクセスは、物品／移動体検索・管理手段105 にのみ許可されており、これにより、同じ物品又は移動体データに対する書き込みと読み出しとが同時に行われないようにする。

次に、センシング手段120 によって検出された物品や、人及びロボット102 等の移動体の情報が、物品／移動体検索・管理手段105 によって、どのように物品／移動体ＤＢ160 に格納されるか、また、その物品／移動体ＤＢ160 のデータがどのように更新されていくかについて、図５〜７を参照しながら具体的に説明する。

図７は、一般家庭における、ある部屋（環境）内を示す俯瞰図であって、２つの缶ジュース２１，２２が、この部屋に対して出入すると共に、これらの缶ジュース２１，２２が環境内を移動される様子を示す図である。

同図において、各缶ジュース２１，２２の移動は矢線によって示され、これらの矢線に付されているt1,t2,t5,t6,の文字は、矢線に従って缶ジュースが移動された時刻を示す。時刻は、t1〜t6の順で進んだものとする。

尚、部屋の出入口（ドア）には、図示は省略するが、出入口センシング手段121 としてリーダライタが設置されていて、物品及び移動体の移入と移出とを区別して検出すると共に、部屋内には、環境内センシング手段122 としてカメラ及びリーダライタが設置されていて、環境内における物品及び移動体の移動を検出するものとする。

また、各缶ジュース２１，２２並びに部屋を出入する人及びロボット102 にはそれぞれ電子タグが付されているとする。この各缶ジュース２１，２２の物品属性データは、電子タグに埋め込まれている情報をリーダライタが読み取ることによって得ることとする。移動体ＤＢ６２の移動体データ621 には各移動体の情報が登録されているものとし、移動体履歴データ622 は既に初期化されているものとする。また、物品ＤＢ６１の物品データ611 には、何も記録されていない空の状況であるとする。

先ず、移動体ＤＢ６２の移動体データ621 に登録されているお父さん（図示省略）が、缶ジュース２１を持ってドアから部屋内に入ってくる。このとき、ドアに設けられた出入口センシング手段121 は、お父さんと、缶ジュース２１とが、部屋内に移入したことを検出する。

その検出結果は、センシング手段120 から物品／移動体検索・管理手段105 に送られ、それを受けた物品／移動体検索・管理手段105 は、缶ジュースとお父さんとを特定する。そして、その缶ジュース２１に[kan-small-0001]というＩＤを割り当て、物品属性データ613 へのポインタと対応付けて物品データ611 に格納する（図５参照）。これと共に、物品／移動体検索・管理手段105 は、その缶ジュース２１の物品属性データ613を格納する。さらに、物品／移動体検索・管理手段105 は、その缶ジュースの移動履歴を物品履歴データ612 に格納するための「位置履歴リスト１」を作成する。

一方で、センシング手段120 により検出したお父さんの移動体履歴データ622 を更新するために、物品／移動体検索・管理手段105 は、移動体データ621 におけるＩＤ「お父さん」の位置履歴を参照して、「位置履歴リスト３」を呼び出す（図６参照）。

時刻t1に、お父さんがテーブル近傍の位置P4（x4 ,y4）に座り、持っていた缶ジュース２１をそのテーブル上のP1（x1,y1,z1）に置く。そのことを環境内センシング手段122 が検出すると、物品／移動体検索・管理手段105 は、物品履歴データ612 の位置履歴リスト１の内容をセットする（図５参照）。具体的には、
時刻：t1
取扱内容：新規
物品取扱主体：お父さん
取扱後の位置：P1（x1,y1,z1,α1 ,β1 ,γ1 ）
をセットする。ここで、取扱内容が「新規」となっているのは、それまで環境内に存在していなかった物品が、新たに外部から持ち込まれたことを意味する。

また、物品／移動体検索・管理手段105 は、移動体履歴データ622 の位置履歴リスト３の内容をセットする（図６参照）。具体的には、
時刻：t1
位置：(x4 ,y4 ,r1)
状態：座る
をセットする。

時刻t2に、移動体ＤＢ６２の移動体データ621 に登録されている別の移動体である息子（図示省略）が、P1（x1,y1,z1）に置かれた上記の缶ジュース２１を床の上であるP2（x2,y2,z2）に移動させる。そのことを環境内センシング手段122 が検出すると、その検出結果を受けて物品／移動体検索・管理手段105 は、物品履歴データ612 の位置履歴リスト１の新たな内容をセットする（図５参照）。具体的には、
時刻：t2
取扱内容：移動
物品取扱主体：息子
取扱後の位置：P2（x2,y2,z2,α2 ,β2 ,γ2）
をセットする。ここで、取扱内容が「移動」となっているのは、すでに物品履歴データ612 に登録されている物品が、環境内で移動されたためである。尚、時刻t2で息子の位置が変わるため、物品／移動体検索・管理手段105 は環境内センシング手段122 の検出結果を受けて、息子の移動体履歴データ622 （位置履歴リスト４）の内容をセットするが、ここではその図示を省略する。

時刻t3に、お父さんが部屋の外に出る。そのことを環境内センシング手段122 が検出すると、物品／移動体検索・管理手段105 は、移動体履歴データ622 の位置履歴リスト３の新たな内容をセットする（図６参照）。具体的には、
時刻：t3
位置：−
状態：外出
をセットする。ここで、位置が「−」となっているのは、環境外に出たことで、環境内センシング手段122 がお父さんを検出することができなくなったためである。尚、位置情報としては、外出する際に通過したドアの位置情報を設定してもよい。

また、その部屋の外に出る際にお父さんが操作端末103 を操作して、ロボット102 に缶ジュース２１をP1（x1,y1,z1）に移動させる内容の作業命令を入力する。サーバ101 を介してその作業命令を受けたロボット102 は、缶ジュースの位置P2（x2, y2）まで移動し、時刻t4にその缶ジュースを把持する。このことを環境内センシング手段122 が検出すれば、物品／移動体検索・管理手段105 は、ロボット102 の移動体履歴データ622 （位置履歴リスト５）の内容をセットする（図６参照）。具体的には、
時刻：t4
位置：(x2 ,y2 ,r2)
状態：[kan-small-0001]：把持
をセットする。尚、ロボット102 の動作は、環境内センシング手段122 が検出してもよいが、サーバ101 が、ロボット102 からの動作情報を受信することによって、ロボット102 の動作を検出してもよい。

時刻t5に、上記ロボット102 が缶ジュース２１を把持した状態で、P4（x4 ,y4）に移動し、テーブルの上P1 （x1,y1,z1）で把持した缶ジュース２１を解放する。環境内センシング手段122 がそのことを検出すれば、物品／移動体検索・管理手段105 は、移動体履歴データ622 の位置履歴リスト５の新たな内容をセットする（図６参照）。具体的には、
時刻：t5
位置：(x4 ,y4 ,r2)
状態：[kan-small-0001]：解放
をセットする。

また、物品／移動体検索・管理手段105 は、物品履歴データ612 の位置履歴リスト１の新たな内容をセットする（図５参照）。具体的には、
時刻：t5
取扱内容：移動
物品取扱主体：ロボット
取扱後の位置：P1（x1,y1,z1,α1 ,β1 ,γ1 ）
その後、移動体ＤＢ６２の移動体データ621 に登録されているさらに別の移動体であるお母さんが、新たな缶ジュース２２を持ってドアから部屋に入ってくる。出入口センシング手段121 が、お母さんと新たな缶ジュース２２とが部屋内に移入したことを検出すると、物品／移動体検索・管理手段105 は、その新たな缶ジュース２２に[kan-small-0002]というＩＤを割り当て、物品属性データ613 へのポインタと対応付けて物品データ611 に格納する。この新たな缶ジュース２２の物品属性データ613 は、上記の缶ジュース２１と同じである。また、その新たな缶ジュース２２の移動履歴を物品履歴データ612 に格納するための「位置履歴リスト２」を作成する（図５参照）。

時刻t6に、お母さんが新たな缶ジュース２２を床の上であるP3（x3,y3,z3）に置く。そのことを環境内センシング手段122 が検出すると、物品／移動体検索・管理手段105 は、物品履歴データ612 の位置履歴リスト２の内容をセットする（図５参照）。具体的には、
時刻：t6
取扱内容：新規
物品取扱主体：お母さん
取扱後の位置：P3（x3,y3,z3,α3 ,β3 ,γ3 ）
をセットする。尚、図６では、お母さんの移動体データ及び移動体履歴は省略している。

以上のようにして、物品／移動体検索・管理手段105 は、物品／移動体ＤＢ160 に物品や移動体の情報を格納・更新する。ここでは、データベースの更新を、物品／移動体ＤＢ160 に登録されている各物品や移動体の位置が変更される毎に行う例を示したが、データベースの更新タイミングはこれに限るものではなく、適宜設定すればよい。

（環境マップ管理手段・環境マップ）
環境マップ管理手段107 は、センシング手段120 からの情報に基づいて環境マップ108 を作成すると共に、その作成した環境マップ108 の管理を行うものである。この環境マップ108 は、ロボット102 が環境内を移動する際に利用するものである。ロボット102 は、後述するように、この環境マップ108 をサーバ101 から取得して移動経路計画を立てる。

また、上記環境マップ管理手段107 は、制御手段110 から環境マップ108 に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を制御手段110 に送ることも行う。

環境マップ108 は、例えば環境の実状況が、図８（ａ）に示される場合に、その実状況を立体モデルで簡略化したもの（図８（ｂ））を環境マップ108 としてもよい。また、図８（ｃ）に示すように、さらに平面モデルで簡略化したものを環境マップ108 としてもよい。さらに、図８（ａ）に示される環境の実状況をそのまま立体モデル化したものを、環境マップ108 としてもよい。すなわち環境マップ108 は、そのマップの用途や、そのマップ作成にかけることのできる時間（手間）に応じて作成すればよい。例えば、立体モデルからなる環境マップを極めて短時間で作成する必要があるときは、環境内に存在する立体物を、その立体物を覆う最小の直方体でモデル化すればよい。図８（ｂ）に示す環境マップ108 はその例であり、テーブル及び本棚をそれぞれ直方体でモデル化し、ゴミ箱を略円柱でモデル化している。平面モデルからなる環境マップも同様であり、図８（ｃ）に示す作業マップ108 では、テーブル及び本棚を平面に正射影した矩形領域（斜線を付した領域）でそれぞれモデル化し、ゴミ箱を円領域（斜線を付した領域）でモデル化している。また、この平面モデルからなるマップ108 では、上記２つの矩形領域及び円領域をロボット102 が移動不可能な領域に設定する。

（画像管理データベース・画像管理手段）
画像管理データベース106 は、センシング手段120 を構成するカメラが、環境内を撮像した画像データを蓄積して管理するデータベースである。この画像管理ＤＢ106 は、図９に示すように構成されていて、画像データ７１、認識結果データ７２の２種類のデータをそれぞれ蓄積するサブデータベースからなる。各サブデータベースに蓄積されるデータ内容は以下の通りである。

１）画像データ７１：カメラが環境内を撮像した画像が、時刻を管理するタイムコードと対応付けられて蓄積される。この画像データ７１には、カメラが撮像した全ての時刻の画像を保存する必要はなく、例えば、一定時間毎に画像を保存する、イベントの発生時にのみ画像を保存する、特定の時刻は画像を保存しない、等の保存条件を適宜設定することによって必要な時間帯の画像のみを保存すればよい。画像の保存条件は、画像管理手段104 が設定する。また、画像データ７１に蓄積した画像は、所定の条件に従って削除される。削除条件は、保存後一定時間が経過したときに削除する、特定のイベントに関連する画像を削除する、等と設定すればよい。画像の削除条件も、画像管理手段104 が設定する。また、この画像データ７１は、本システムに含まれるカメラ毎に、画像が保存しており画像管理手段104 は、画像を保存するカメラと、画像を保存しないカメラとをそれぞれ設定する。画像データ７１には各カメラが撮像する範囲の情報が保存されていて（図例では、カメラ１が寝室、カメラ２がリビングを撮像する）、画像管理手段104 は、その情報に基づいて、画像データ７１に画像を保存するカメラと保存しないカメラとをそれぞれ設定する。

２）認識結果データ７２：画像データ７１に保存されている画像から得られる情報を認識した結果が保存される。この認識結果データ７２は、タイムコード毎でかつカメラ毎に認識結果を保存する。認識結果は、認識レベル（情報レベル）毎に保存される。この認識レベルとは、画像に含まれる情報のレベルに対応して環境内の状況及びその環境内を撮像した画像に含まれる移動体及び／又は物品についての情報を認識した結果を意味する。情報レベルとしては、例えば、１）環境内に移動体又は物品が存在するか否かの情報、２）画像データに含まれる移動体又は物品の、画像中における位置及び実空間における位置の情報、３）画像データに含まれる移動体又は物品の属性の情報、４）移動体又は物品の姿勢の情報、５）画像において物品及び移動体が占める領域を囲む矩形領域の情報、６）画像における物品及び移動体の輪郭の情報、７）画像における移動体の顔の領域の情報、８）移動体が移動したときの、その移動経路の情報、９）移動体の視線方向の情報、１０）移動体が所持している物品の情報、１１）画像において移動速度が最も速い領域の情報、１２）画像においてサイズが最も大きい領域の情報、等を例示することができる。図例では、「認識レベル１」は（移動体又は物品の）実空間での位置を認識した結果、「認識レベル２」は、検出した物体（物品及び移動体）の属性を認識した結果となっている。この認識レベルを利用して、後述するように表示制御が行われる。

画像管理手段104 は、後述するように、上記の認識処理を行うと共に、その結果をＤＢに保存する。また、この画像管理手段104 は、どのカメラが撮像した画像データに対して認識した認識結果を保存するか、の設定をしたり、その認識の際にどの情報レベルの認識を行うか、の設定をしたりする。

（制御手段）
環境管理サーバ101 における制御手段110 はサーバ全体を制御する部分であり、主な制御内容としては以下のものがある。

１）送受信手段109 が、サーバ内にある各種データに関する問い合わせ受信したときに、その問い合わせ内容を判断し、その判断結果に応じて物品／移動体検索・管理手段105 、環境マップ管理手段107 にデータの参照要求を出す。

２）上記要求に対して物品／移動体検索・管理手段105 、環境マップ管理手段107 から送られてきた結果を、送受信手段109 を介して問い合わせ元に送る。

３）操作端末103 から送受信手段109 を介して送信されたロボット102 の作業内容メッセージを解釈し、そのロボット102 に動作を実行させるためのロボット制御コマンド列を生成して上記ロボット102 に送信する。尚、ロボット制御コマンド列については、後述する。

４）必要に応じて、一定時間毎に、物品／移動体ＤＢ160 で管理している物品の一部又は全部の状況、環境マップ108 の状況を、送受信手段109 を通じてロボット102 やユーザ（操作端末103 ）にブロードキャストする。

−作業ロボットの構成−
２番目のサブシステムである作業ロボット102 は、ユーザによって指定された作業命令に従って物品の取扱い作業を行うものである。

図１に示すように、ロボット102 はその基本構成として、ロボット102 の近辺の障害物等を検知する障害物センサ111 、物品を把持する把持手段112 、環境マップ108 を使って移動計画を立てる移動計画作成手段113 、上記ロボット102 自体を移動させる移動手段114 、環境管理サーバ101 や操作端末103 との間で種々のデータの送受信を行う送受信手段109 、これらのセンサ111 及び各手段109 ，112 〜114をコントロールする制御手段115 とからなる。

図１０は、本システムにおけるロボット102 の構造の一例を示した模式図であり、このロボット102 は、移動計画作成手段113 や制御手段115 等を収容する略箱型の本体部１０を備える。以下、図１０における紙面右側を前側、左側を後側、紙面奥側を左側、紙面手前側を右側と呼ぶ。

把持手段112 は、多関節アーム12a とそのアーム12a の先端に配設されたハンド12b とから構成され、上記本体部１０の上面に取り付けられる。上記アーム12a 及びハンド12b は、モータ制御によるアクチュエータを用いたものとしてもよいし、その他のアクチュエータ、例えば人工筋肉によるアクチュエータを用いたものでもよい。

移動手段114 は車輪１４によって構成されており、この車輪１４は、上記本体部１０の左右両側にそれぞれ２つ取り付けられる（図例では、左側の車輪の図示を省略する）。ここでは、移動手段114 を車輪１４で構成したが、移動手段114 の構成は、そのロボットが使用される環境に応じて最適な構成を選択すればよい。例えば環境の床面の起伏が激しい場合は、移動手段114 をクローラ型や多足歩行型に構成することが好ましい。

障害物センサ111 は、本システムでは、超音波センサ11a 、視覚センサとしてのステレオカメラ11b 、及び衝突センサ11c から構成される。

上記超音波センサ11a は、超音波を発してその反射波を受信するまでの時間を測定することにより当該センサ11a から障害物までの距離を計算するもので、近距離の障害物を、それに衝突する前に検知するためのものである。この超音波センサは、本体部の各側面（前面、後面、左右側面）に、３つずつ取り付けられる。

上記ステレオカメラ11b は、ロボット102 の周囲の状況を画像として入力し、その画像の認識等の処理を行うことで、障害物の有無の判断や把持対象物品のより正確な情報を得るためのものである。このステレオカメラ11b は、本体部１０の前部に取り付けられる。

上記衝突センサ11c は、ロボット102 に所定の衝撃力が加わったことを検知するセンサである。例えば障害物がロボット102 に衝突してきたことや、ロボット102 自体が移動中に障害物に衝突したことを、この衝突センサ11c で検知する。この衝突センサ11c は、本体部の前面と後面とのそれぞれに取り付けられる。

移動計画作成手段113 は、ロボット102 に物品の移動作業やその他の作業に伴う移動が指定されたときに、そのロボット102 の現在位置から指定された位置（目的位置）までの移動経路を、環境マップ108 を使って作成するものである。この際、現在位置から目的位置までの移動経路上に障害物があってはならないが、環境マップ108 には、上述したように、ロボットが移動不可領域（例えば図８（ｃ）の斜線を付した領域）が設定される。このため、この移動不可領域以外の領域で移動経路を作成すれば、障害物を回避した移動経路が作成される。例えば図８（ｃ）の平面モデルを用いた環境マップ108 を用いてロボットをＡ１地点からＡ２地点まで移動させる際には、ロボット102 の大きさを考慮して移動不可領域を回避するルート（図８（ｃ）に矢線参照）が作成される。こうした移動経路の作成に当たっては、最も一般的な方法であるダイクストラ法を使ってもよいし、環境が複雑であれば、ダイクストラ法を改良した経路探索アルゴリズムを用いてもよい。

作業ロボット102 の制御手段115 は、主に環境管理サーバ101 から送受信手段109 を介して送られてきたロボット制御コマンド列を解釈し、そのロボット制御コマンドを順に実行するものである。

ここで、ロボット制御コマンドとは、物品の把持や、ロボット102 自体の移動の制御を行うためのコマンドであって、本実施の形態ではロボット102 の現在位置から座標で指定された位置まで移動するコマンドである「移動」、物品ＩＤで指定された物品を、ハンド12b によって把持するコマンドである「把持」、ハンド12b を解放するコマンドである「解放」の３種類が設定される。尚、ロボット制御コマンドはこの３種類に限らず、必要に応じて増やしてもよい。

−操作端末の構成−
３番目のサブシステムである操作端末103 は、本システムにおけるユーザインタフェースであり、主にロボット102 に対する物品の取扱い作業を指示するためにユーザが操作する端末である。また、この操作端末103 は、ユーザの要求に応じてカメラが撮像した画像を表示する。これによりユーザは、各環境内の様子を確認することができる。

操作端末103 はその基本構成として、図１に示すように、ロボット102 の作業内容を指定するための操作画面、カメラが撮像した画像を表示する監視画面を表示する、例えばＣＲＴや液晶ディスプレイからなる表示部117 、上記操作画面上での入力を行うための、例えばポインティングデバイスやキーボードからなる入力部116 、上記表示部117 に表示される監視画面を作成する表示制御手段118 、及びその表示制御のためのデータを蓄積する表示制御データベース123 、上記入力部116 にて入力されたロボット102 の作業内容等を環境管理サーバ101 に送る送受信手段109 、これらの各手段109 ，116 〜118 をコントロールする制御手段119 からなる。

この操作端末103 としては、例えば汎用ＰＣを用いることも可能である。この場合、制御プログラムをＰＣが読み込むことによって、そのＰＣを操作端末103 として用いることが可能になる。

ユーザは、この操作端末103 を用いてロボット102 の作業内容を指定したり、後述するように、環境内の状況を確認したりする。また、ユーザは、物品／移動体の管理として、この操作端末103 を用いて、物品／移動体管理ＤＢ160 に蓄積される物品や移動体の情報を入力したり、サーバ101 に対して、物品の現在位置の検索を要求したりすることも行う。物品の現在位置の検索結果は、サーバ101 から送られて操作端末103 の表示部117 に表示される。

上記表示制御ＤＢ123 には、上述したように、監視画面を作成するためのデータが保存される。この表示制御ＤＢ123 は、図１１に示すように構成されていて、状況データ８１、アクセス権データ８２、表示制御データ８３の３種類のデータをそれぞれ蓄積するサブデータベースからなる。各サブデータベースに蓄積されるデータ内容は以下の通りである。

１）状況データ８１：画像データの加工に係る環境内の状況内容を保存していて、各状況内容は状況ＩＤと対応付けられる。また、状況ＩＤに対応付けられて「説明」が設けられているが、この「説明」は状況内容を説明するものであって、省略することが可能である。

ここで、状況内容は、移動体、移動体の動作、物品、場所（環境の属性）、時間、気候、及びこれらの組合せによって表現される。移動体としては、「父」「子供」「男性」「訪問者」「ペット」が例示され、移動体の動作としては、「就寝」「食事」「物を運搬」「タンスを覗く」「不在」、が例示され、物品としては、「布団」「缶ジュース」が例示され、場所としては、「寝室」「風呂」「食卓」「テレビの前」が例示され、時間としては、「９時〜１０時」「水曜日」「休日」が例示され、気候としては、「雨」「２０度以上」が例示される。これらを組合せことで、図１１に示すように、就寝の状況を表す状況内容として、「人；大人、場所；寝室、物品；布団」が設定される。これらの各状況は、センシング手段120 の検出結果、物品／移動体ＤＢ160 に蓄積されている情報、画像データの認識結果、から取得される。

２）アクセス権データ８２：本システムにアクセスするユーザ（本システムを利用するユーザ）が、アクセス権毎に分類（アクセスユーザ）されて保存される。各アクセスユーザにはアクセスＩＤが付加される。アクセスユーザは、個人でもよい（図例では、父、母）し、同じ属性を有する個人を含むグループとしてもよい（図例では、子供。この他にも大人、男性、女性）。

３）表示制御データ８３：表示ＩＤと対応付けられて、画像の加工内容及び加工条件が保存される。後述するように、表示制御手段118 は、加工条件が成立したときには、それに対応する加工内容に従って画像データを加工して監視画面を作成する。

上記加工条件には、上記状況ＩＤとアクセスＩＤとが記述される。また、加工内容には、ユーザから要求された画像に施す加工の具体的な内容が記述される。加工内容としては、例えば、１）画像における移動体の顔の領域を認識した結果を用いて、その顔の領域にモザイク処理を施す、２）移動体の属性を認識した結果と、画像における移動体の位置を認識した結果とを用いて、画像におけるユーザの家族をマスクする処理（家族以外の人が画像に含まれる処理）、３）画像において移動体が占める領域を囲む矩形領域を認識した結果とを用いて、画像に含まれる人物をアイコンに置換する処理、４）移動体が所持している物品を認識した結果を用いて、画像において人が持っている物体をマスクする処理、５）実空間における移動体の位置を認識した結果を用いて、移動体の位置を示すマップを作成する処理、６）環境内に存在する移動体の属性を認識した結果を用いて、環境内にいる移動体が誰であるかの情報（テキスト情報）のみを含む画面を作成する（画面全体をマスクする）処理、等が例示される。図例では、表示ＩＤ：0002の加工内容として、人物をアイコンで置換する処理が記述されている。

−情報提供処理−
次に、上記構成の情報提供システムにおける情報提供処理について説明する。この情報提供処理は、カメラ画像とそのカメラ画像の認識結果とをデータベースに蓄積する画像認識処理と、環境内の状況とアクセスユーザとに応じて加工した画像をユーザに提示する画像提示処理とを含む。

（画像認識処理）
図１２は、画像認識処理のフローチャートを示していて、先ず、ステップＳ1301では、全てのカメラ（センシング手段120 ）が撮像した画像を入力する。そして、ステップＳ1302で、画像管理手段104 は、予め設定した保存条件に従って、画像管理ＤＢ106 の画像データ７１に、カメラ画像をタイムコードを付加して保存する。保存条件は、上述したように、一定時間毎に画像を保存する、イベントの発生時にのみ画像を保存する、特定の時刻は画像を保存しない、等が設定され、この保存条件を満たすか否かを判定するために、上記画像管理手段104 は、必要に応じて物品／移動体ＤＢ160 に記憶されている情報を利用する。

ステップＳ1303で、画像管理手段104 は、ステップＳ1302で保存した各画像に対する認識処理を行う。この認識の際には、物品／移動体ＤＢ106 に記憶されている情報を適宜利用すると共に、必要に応じてセンシング手段104 によるセンシングを実行する。

そして、ステップＳ1304で、画像管理手段104 は、予め設定した認識結果を保存するカメラの条件及び認識レベルの条件に従って、認識した結果を、画像管理ＤＢ106 の認識結果データ７２に、認識レベル毎に保存する。尚、ステップＳ1303及びステップＳ1304の処理は、画像データ７１に保存されている全てのカメラ画像に対しかつ、認識結果データ７２に登録されている全ての認識レベルについて実行する。こうして、画像管理ＤＢ106 には、カメラが撮像した画像データと、その画像データの認識結果とが対応付けられて蓄積される。

（画像提示処理）
図１３は、画像提示処理のフローチャートを示していて、先ずステップＳ1401で、ユーザが、操作端末103 を介してシステムに対し、カメラ画像の閲覧を要求する。このときユーザは、少なくとも閲覧したい環境（部屋）を指定する。また、閲覧したい移動体、移動体の動作、時刻、気候等の条件をさらに指定してもよい。

続くステップＳ1402で、表示制御手段118 は、システムにアクセスしたユーザを識別する。これは、操作端末103 での操作に先立って、ＩＤ及びパスワードによるユーザ認証を行ってもよいし、センシング手段120 の検出結果に基づいて、操作端末103 を操作しているユーザを特定してもよい（物品／移動体ＤＢ160 には、センシング手段120 の検出結果に基づいて特定した操作端末103 を操作するユーザの情報が蓄積されている）。

そして、ステップＳ1403では、画像管理ＤＢ106 から閲覧要求に係る環境を撮像したカメラ画像を抽出すると共に、その抽出したカメラ画像に対応する環境内の状況を確認する。これは、画像管理ＤＢ106 に蓄積されている情報、及び物品／移動体ＤＢ160 に蓄積されている情報、また、必要に応じてセンシング手段120 によって新たに検出した情報に基づいて確認する。

ステップＳ1404で、表示制御手段118 は、上記ステップＳ1402 で取得したユーザ情報に基づいてアクセスＩＤを特定すると共に、上記ステップＳ1403 で確認した状況に基づいて状況内容（状況ＩＤ）を特定する。具体的には、表示制御ＤＢ123 のアクセス権データ８２を検索して、ステップＳ1402で識別したユーザ（アクセスユーザ）に対応するアクセスＩＤを抽出する。また、表示制御ＤＢ123 の状況データ８１を検索して、ステップＳ1403で確認した状況に対応する状況ＩＤを抽出する。

こうして、アクセスＩＤ及び状況ＩＤを抽出すれば、表示制御ＤＢ123 の表示制御データ８３を参照することにより、そのアクセスＩＤと状況ＩＤとの組合せに対応する表示ＩＤを抽出する。

ステップＳ1405で、表示制御手段は、上記ステップＳ1404で抽出した表示ＩＤに対応する加工内容に従って、認識結果を利用して画像の加工を行い、その加工した画像から構成される監視画面を表示部117 に表示させる。

次に、具体例を挙げながら上記の画像認識処理及び画像提示処理について説明する。図１４は、具体例に係る画像管理ＤＢ106 及び表示制御ＤＢ123 の構成を示している。

先ず、上述したように、センシング手段120 を構成するカメラが撮像した画像が入力されれば、画像管理手段104 は、設定されている保存条件に従ってカメラ画像を画像管理ＤＢ106 に保存する。ここでは、「１秒間隔で全カメラの画像を保存」という保存条件が設定されているものとし、これにより、カメラ１及びカメラ２のそれぞれが撮像した画像が、タイムコードと対応付けられて画像管理ＤＢ106 の画像データ７１に蓄積される（図１４参照）。この内、カメラ２は、リビング内を撮像するカメラであり、このカメラ２の、タイムコード0000003の画像として、同図に示す画像が蓄積される。尚、タイムコード0000003は、食後の時間帯に対応するものとする。

また、カメラ画像の蓄積と同時に、センシング手段120 による物品及び移動体の検出結果に基づいて、カメラによって撮像された環境内における物品及び移動体の情報が、物品／移動体ＤＢ160 に蓄積される。

画像管理手段104 は、画像データ７１に蓄積されている画像について認識処理を行う。ここでは、認識結果データ７２に、認識レベル１「画像中における移動体の矩形領域」と認識レベル２「移動体の属性」とが設定されているため、上記画像管理手段104 はこれら認識レベル１，２に係る認識処理を行う。認識レベル１の「画像中における移動体の矩形領域」は、背景差分画像における差分領域に外接する矩形を算出することによって得られる。この外接矩形は、その矩形の対角の２点の座標「（Ｘ１，Ｙ１）−（Ｘ２，Ｙ２）」で表すことができる（図１４参照）。また、認識レベル２の「移動体の属性」は、物品／移動体ＤＢ160 に記憶されている情報によって得られる。こうして、カメラ２の、タイムコード0000003の認識結果として、認識レベル１「（Ｘ１，Ｙ１）−（Ｘ２，Ｙ２）」が、認識レベル２「父」がそれぞれ認識結果データ７２に保存される。

この状態において、子供が「リビングの様子が知りたい」として、操作端末103 を介してシステムに対しリビング内を撮像したカメラ画像の閲覧を要求したとする。

表示制御手段118 は、物品／移動体ＤＢ160 を参照して、アクセスしたユーザの識別を行う。これにより、アクセスユーザが「子供」であることが特定される。

次に、表示制御手段118 は、ユーザがリビング内を撮像したカメラ画像を指定していることから、画像データ７１に保存されているカメラ２の画像を抽出する。この画像に対応するリビング内の状況を、画像管理ＤＢ106 及び物品／移動体ＤＢ160 の情報に基づいて確認する。画像管理ＤＢ106 の認識結果データ７２における認識レベル２には、「父」と認識されているため、リビングに父が存在している状況であることが確認される。また、タイムコード0000003は、食後の時間帯に対応することから、画像データ７１に保存された、タイムコード0000003の、カメラ２の画像に対応する状況は、「父」「リビング」「食後」である。

そして、表示制御手段118 は、識別したユーザに基づいてアクセスＩＤを特定する。アクセスユーザは「子供」であるため、アクセスＩＤは、000003である。また、画像に対応する状況に基づいて状況ＩＤを特定する。タイムコード0000003の、カメラ２の画像に対応する状況は、「父」「リビング」「食後」であるため、状況ＩＤは、0002である。

こうして、アクセスＩＤと状況ＩＤとをそれぞれ特定すれば、表示制御手段118 は、アクセスＩＤと状況ＩＤとの組合せに対応する表示ＩＤを、表示制御ＤＢ123 の表示制御データ８３から抽出する。ここでは、状況ＩＤ：0002、アクセスＩＤ000003であるため、表示ＩＤ：0002が抽出される。

こうして抽出した表示ＩＤに対応する加工内容に従って、タイムコード0000003の、カメラ２の画像を加工する。ここでは、加工内容として、「人物をアイコンに置換する」ことが設定されているため、認識結果データ７２における認識レベル１「画像中の矩形領域」のデータを利用して、その矩形領域にアイコンを貼り付ける処理をする。こうして、図１５に示す画像が作成され、これが、操作端末103 の表示部117 に表示される。この画像の加工においては、認識レベル２の情報を用いて、アイコンにその人の属性（ここでは「父」）を表示してもよい。

このように、本発明の情報提供システムは、所定の空間内の状況に関する情報を提供するシステムであって、上記空間内を撮像する撮像手段（センシング手段120 ）と、上記撮像手段が撮像した空間内の状況を特定する特定手段（物品／移動体検索管理手段105 及び表示制御手段118 ）と、上記撮像手段が撮像した画像データに含まれる移動体及び／又は物品についての情報を認識する認識手段（画像管理手段104 ）と、上記空間内の状況と画像データの加工内容とを対応付けて記憶する加工内容管理データベース（表示制御データベース123 ）と、上記加工内容管理データベースを参照して、上記特定手段が特定した状況に対応する加工内容に従い、上記認識手段の認識結果を用いて上記撮像手段が撮像した画像データを加工する加工手段（表示制御手段118 ）と、上記加工された画像データを表示する表示手段（操作端末103 ）と、を備える。

この構成により、撮像した画像データを空間内の状況に応じて加工することによって提供する情報の内容やレベルが変更可能になる。それによって必要な情報を画像データに含めつつ、不要な情報は画像データから削除することができ、空間内の状況に関する情報を提供する際に、その状況に応じた柔軟な対応が実現する。

また、上記情報提供システムは、ユーザ操作に応じて画像データの表示要求信号を出力する操作手段（操作端末103 ）をさらに備え、加工内容管理データベースは、ユーザ情報及び空間内の状況と、画像データの加工内容とを対応付けて記憶し、加工手段は、上記表示要求信号を受けて、その表示要求信号の出力に係るユーザの情報を取得し、当該ユーザ情報と特定手段が特定した状況とに対応する加工内容に従って画像データを加工する。これにより、画像データを閲覧するユーザと空間内の状況との組合せにおいて、そのユーザに対して適切な情報を提供することができる。

上記加工内容管理データベースは、空間内の状況として、当該空間の属性と、当該空間内に存在する移動体及び／又は物品の属性との組合せを記憶する。

空間内の状況を、空間の属性と移動体及び／又は物品の属性との組合せで特定するため、より適切な情報を提供することが可能になる。例えば、一般家庭であれば、空間の属性が浴室であるときには、画像データの加工によって浴室に存在する移動体の情報を削除し、空間の属性がリビングであるときには、画像データの加工によってリビングに存在する移動体の情報を含めることが実現する。

上記情報提供システムは、空間内に存在する移動体及び／又は物品を検出するセンシング手段120 をさらに備え、特定手段は、上記センシング手段の検出結果に基づいて、空間内の状況を特定し、認識手段は、撮像手段が撮像した画像データ及び／又は上記センシング手段の検出結果に基づいて画像データに含まれる移動体及び／又は物品についての情報を認識する。

この構成により、特定手段は、空間内の状況を的確に特定することができ、認識手段は、画像データに含まれる移動体及び／又は物品についての情報を的確に認識することができる。

上記認識手段は、移動体及び／又は物品についての情報を複数の情報レベル毎に認識し、加工内容管理データベースは、空間内の状況と、その状況に応じて選択された情報レベルの認識結果が加工後の画像データに含まれるよう設定された加工内容とを対応付けて記憶する。

こうすることで、画像データに含める情報（情報レベル）を、よりきめ細かく変更することが可能になり、必要な情報を画像データに含めつつ、不要な情報を画像データから削除することが適切に行い得る。

上記情報提供システムは、撮像手段が撮像した画像データと認識手段が認識した認識結果とを対応付けて蓄積する画像管理データベース106 をさらに備え、加工手段は、上記画像管理データベースに蓄積されている画像データを、上記画像管理データベースに蓄積されている認識結果を用いて加工する。

こうすることで、撮像手段が撮像した画像データは、画像管理データベースに蓄積されるため、必要に応じて加工前の画像データを閲覧することが可能になる。

（他の実施形態）
尚、上記実施の形態では、情報提供システムを、環境管理サーバ101 、ロボット102 、操作端末103 の３つのサブシステムからなり、それらサブシステム101 〜103 が無線又は有線等のネットワークを介して互いに情報をやりとりするような構成とした。しかし、情報提供システムはこの構成に限らず、例えば操作端末103 が環境管理サーバ101 に一体となった構成でもよい。つまり、入力部116 、表示部117 、表示制御手段118 及び表示制御データベース123 が、環境管理サーバ101 に含まれる構成としてもよい。またロボット102 は省略してもよい。

また、上記実施の形態では、画像データとその認識結果とを画像管理データベース106 に蓄積し、表示制御手段118 は、画像管理データベース106 に蓄積されている画像データを認識結果を用いて加工しているが、画像管理データベース106 を省略して、センシング手段120 が撮像した画像データを逐次加工して、その加工した画像を表示するシステムとしてもよい。

さらに、上記実施の形態では、本システムを一般家庭に適用させたが、この他にも託児所、介護施設、病院、オフィス、ホテル及び店舗、等の様々な空間に適用することが可能であり、これらに空間の監視に利用することができる。また、本実施の形態では、主に移動体のプライバシー保護を目的としていたが、本システムは、例えば情報セキュリティの確保を目的とすることができる。具体的には、空間内を撮像した画像データに機密文書が含まれているときには、その画像データにおける機密文書の領域にマスク処理を施すことにより、情報漏えいを防止することができる。これは、例えばオフィス等に適用することが可能である。

以上説明したように、本発明は、画像データを、空間内の状況に応じて加工することで、提供する情報の内容やレベルを容易に変更することができ、一般家庭、託児所、介護施設、病院、オフィス、ホテル及び店舗、等の様々な空間内の状況に関する情報を提供するシステムについて有用である。

本実施形態に係る情報提供システムの全体構成の一例を示すブロック図である。 ゲート型のリーダライタを環境内のドアや窓に配置した例を示す図である。 背景差分法の原理を示す説明図である。 物品／移動体検索・管理手段の構成を示すブロック図である。 物品データベースの構成とその記載内容例を示す図である。 移動体データベースの構成とその記載内容例を示す図である。 環境内で物品が移動する一例を説明する説明図である。 環境の実状況と、それに対応する環境マップとを例示する図である。 画像管理データベースの構成とその記載内容例とを示す図である。 作業ロボットの構成の一例を示す概略図である。 表示制御データベースの構成とその記載内容例とを示す図である。 画像認識処理のフローチャートである。 画像提供処理のフローチャートである。 具体例に係る画像管理データベース及び表示制御データベースの記載内容を示す図である。 加工された画像データの一例である。

符号の説明

101 環境管理サーバ（情報提供サーバ）
103 操作端末（表示手段、操作手段）
104 画像管理手段（認識手段）
105 物品／移動体検索管理手段（特定手段）
106 画像管理データベース
110 制御手段
116 入力部
117 表示部
118 表示制御手段（特定手段、加工手段）
120 センシング手段
123 表示制御データベース（加工内容管理データベース）
160 物品／移動体データベース

Claims (8)

1. 所定の空間内の状況に関する情報を提供する情報提供システムであって、
   上記空間内を撮像する撮像手段と、
   上記撮像手段が撮像した空間内の状況を特定する特定手段と、
   上記撮像手段が撮像した画像データに含まれる移動体及び／又は物品についての情報を認識する認識手段と、
   上記空間内の状況と画像データの加工内容とを対応付けて記憶する加工内容管理データベースと、
   上記加工内容管理データベースを参照して、上記特定手段が特定した状況に対応する加工内容に従い、上記認識手段の認識結果を用いて上記撮像手段が撮像した画像データを加工する加工手段と、
   上記加工された画像データを表示する表示手段と、を備える情報提供システム。
2. 請求項１に記載の情報提供システムにおいて、
   ユーザ操作に応じて画像データの表示要求信号を出力する操作手段をさらに備え、
   加工内容管理データベースは、ユーザ情報及び空間内の状況と、画像データの加工内容とを対応付けて記憶し、
   加工手段は、上記表示要求信号を受けて、その表示要求信号の出力に係るユーザの情報を取得し、当該ユーザ情報と特定手段が特定した状況とに対応する加工内容に従って画像データを加工する情報提供システム。
3. 請求項１に記載の情報提供システムにおいて、
   加工内容管理データベースは、空間内の状況として、当該空間の属性と、当該空間内に存在する移動体及び／又は物品の属性との組合せを記憶する情報提供システム。
4. 請求項１に記載の情報提供システムにおいて、
   空間内に存在する移動体及び／又は物品を検出するセンシング手段をさらに備え、
   特定手段は、上記センシング手段の検出結果に基づいて、空間内の状況を特定し、
   認識手段は、撮像手段が撮像した画像データ及び／又は上記センシング手段の検出結果に基づいて画像データに含まれる移動体及び／又は物品についての情報を認識する情報提供システム。
5. 請求項１に記載の情報提供システムにおいて、
   認識手段は、移動体及び／又は物品についての情報を複数の情報レベル毎に認識し、
   加工内容管理データベースは、空間内の状況と、その状況に応じて選択された情報レベルの認識結果が加工後の画像データに含まれるよう設定された加工内容とを対応付けて記憶する情報提供システム。
6. 請求項１に記載の情報提供システムにおいて、
   撮像手段が撮像した画像データと認識手段が認識した認識結果とを対応付けて蓄積する画像管理データベースをさらに備え、
   加工手段は、上記画像管理データベースに蓄積されている画像データを、上記画像管理データベースに蓄積されている認識結果を用いて加工する情報提供システム。
7. 所定の空間内の状況に関する情報を提供する情報提供サーバであって、
   撮像手段が撮像した空間内の状況を特定する特定手段と、
   上記撮像手段が撮像した画像データに含まれる移動体及び／又は物品についての情報の認識を行う認識手段と、
   上記空間内の状況と画像データの加工内容とを対応付けて記憶する加工内容管理データベースを参照して、上記特定手段が特定した状況に対応する加工内容に従い、上記認識手段の認識結果を用いて上記撮像手段が撮像した画像データを加工する加工手段と、
   上記加工された画像データを出力する出力手段と、を備える情報提供サーバ。
8. 所定の空間内の状況に関する情報を提供する情報提供方法であって、
   上記空間内を撮像する撮像ステップと、
   上記撮像ステップで撮像した空間内の状況を特定する特定ステップと、
   上記撮像ステップで撮像した画像データに含まれる移動体及び／又は物品についての情報を認識する認識ステップと、
   上記特定ステップで特定した状況に対応して設定された加工内容に従い、上記認識ステップの認識結果を用いて上記撮像ステップで撮像した画像データを加工する加工ステップと、
   上記加工ステップで加工した画像データを表示する表示ステップと、を含む情報提供方法。

Images