JP5180733B2 - 移動物体追跡装置 - Google Patents

Description

本発明は、撮像部により撮像された画像を用いて移動物体を追跡する移動物体追跡装置に関し、特に複数の撮像部により撮像された画像を用いて移動物体を追跡する移動物体追跡装置に関する。

複数の移動物体が存在する監視空間にて、移動物体の追跡を行う場合、追跡中の移動物体が他の移動物体等と交錯して遮蔽され、いわゆるオクルージョンが発生するという問題がある。このオクルージョンが起こると、見かけ上で物体像の分岐や併合が生じるので、物体像を追跡していくことが非常に困難となる。

このオクルージョンの問題を複数のカメラを用いて解決する構成が提案されている。従来提案されている構成には、複数のカメラのそれぞれと移動物体との位置関係に基づいて、オクルージョンが生じにくいカメラを選択し、当該カメラにより撮像した画像を選択的に用いて移動物体の追跡を行うものがある。

下記特許文献１には、複数のカメラのうち、追跡対象の移動物体及び他の移動物体それぞれに対するカメラからの視線がなす角度が、大きいものを当該追跡対象の担当として選択する技術が提案されている。
特開２００１−０９４９７５号公報

しかしながら、移動物体の隠蔽状態や運動が急変し、追跡に好適なカメラや監視画像の切り換え処理が間に合わない場合が起こり得る。従来は、追跡対象に対応付けられるカメラ又は監視画像は一意に設定され、そのため、上述のような急な状況の変化等により移動物体の位置の予測精度が低下したりオクルージョンが発生してカメラ等の選択が不適切となると移動物体を見失いやすいという問題があった。また、一度見失うと回復することが困難であり追跡を継続できなくなるという問題があった。

本発明は、上記問題を解決するためになされたものであり、移動物体の位置の予測精度が低下したりオクルージョンが発生した場合でも、精度の高い追跡を継続することができる移動物体追跡装置を提供することを目的とする。

本発明に係る移動物体追跡装置は、複数の撮像部それぞれがお互いに異なる視点から監視空間を撮影した時系列の監視画像に基づいて、前記監視空間内の１又は複数の移動物体を追跡する追跡部と、前記移動物体毎に画像特徴及び過去の位置情報を記憶する記憶部とを備えたものであって、前記追跡部が、前記移動物体毎の少なくとも過去の前記位置情報から現時刻における複数の予測位置を求める位置予測手段と、前記移動物体毎に、前記撮像部の一つを特定した特定撮像部と一つの前記予測位置とを対応付けて仮説とする仮説設定手段と、前記仮説毎に、当該仮説の特定撮像部が撮影した現時刻の前記監視画像における当該仮説の前記予測位置での画像特徴を抽出し、当該画像特徴と前記記憶部に記憶された当該移動物体の前記画像特徴とを比較し、当該仮説の尤度を算出する尤度算出手段と、所定値を超える前記尤度が得られた前記複数の仮説に基づいて、現時刻における当該移動物体の現在位置を求める物体位置判定手段と、を有する。

他の本発明に係る移動物体追跡装置においては、前記記憶部が、前記撮像部それぞれの撮像範囲を記憶し、前記仮説設定手段は、前記複数の撮像部のうち現時刻における前記予測位置を前記撮像範囲に含む監視可能撮像部を求め、当該監視可能撮像部を前記特定撮像部として、前記仮説を設定する。

別の本発明に係る移動物体追跡装置においては、前記仮説設定手段が、前記監視可能撮像部のうちに直前時刻の前記特定撮像部に含まれていない新規特定撮像部が存在する前記移動物体に対して、少なくとも前記新規特定撮像部を用いた前記仮説を設定する。

さらに別の本発明に係る移動物体追跡装置においては、現時刻にて設定される前記仮説が、前記新規特定撮像部を用いて設定される新規仮説を除き、直前時刻にて設定された複数の前記仮説それぞれの前記予測位置を更新して設定される更新仮説であり、前記仮説設定手段が、前記新規仮説を設定する場合には、前記更新仮説のうち直前時刻での前記尤度が低い順に、前記新規仮説の設定個数に相当する個数を削除する。

さらに別の本発明に係る移動物体追跡装置においては、前記仮説設定手段が、前記移動物体それぞれについて、現時刻における前記仮説の前記特定撮像部別の設定個数に関する比率を、直前時刻における前記仮説の前記尤度に関する前記特定撮像部別の累積値に応じて設定する。この移動物体追跡装置において、前記仮説設定手段は、前記移動物体それぞれについての前記仮説のうち所定割合の設定個数分に関してのみ、前記累積値に応じて前記特定撮像部別の前記設定個数の比率を設定する構成とすることができる。

さらに別の本発明に係る移動物体追跡装置においては、前記尤度算出手段が、前記仮説毎の前記画像特徴に関する比較について、当該仮説にて組み合わされている前記特定撮像部と前記予測位置との距離に応じた信頼度を算出する信頼度算出手段を有し、前記信頼度を加味して前記尤度を算出する。

本発明によれば、各時刻において、移動物体と撮像部との組み合わせは、予め一意には選択されておらず、当該組み合わせは複数の撮像部について設定される。そして、各時刻にて、それら複数種類の組み合わせ（仮説）の中から、各移動物体の追跡に適したものを選択して追跡を行う。よって、いずれかの仮説が表す状態にて、移動物体の位置の予測精度が低下したりオクルージョンが発生した場合でも、精度の高い追跡を継続することができる。

また、仮説にて移動物体に対応付けられる撮像部を、当該移動物体を撮像範囲に含む監視可能撮像部に限定することで、追跡精度の向上を図ることができる。

また、累積尤度に応じて、移動物体の追跡に適した仮説の密度を高くすることで追跡精度の向上が図られる。一方、累積尤度に応じた仮説の設定に際して、移動物体の追跡に適しているとはされなかった撮像部に係る仮説もある程度、残存させることで、仮説の多様性を確保し、隠蔽状態や運動の急変への耐性を維持することができる。

また、移動物体に近い撮像部ほど移動物体の画像特徴を鮮明に捉えることができ、追跡に適している。これを考慮して尤度を算出することで、追跡精度の向上を図ることができる。

以下、本発明の実施の形態（以下実施形態という）である移動物体追跡装置１について、図面に基づいて説明する。移動物体追跡装置１は、例えば、ビルのエントランスや金融機関のＡＴＭコーナー等の監視空間において移動物体である人を追跡することにより長時間滞留する不審人物を検出する。

図１は、実施形態に係る移動物体追跡装置１の概略のブロック構成図である。移動物体追跡装置１は、撮像部２、操作部３、記憶部４、制御部５及び出力部６を含んで構成される。

撮像部２は、監視カメラであり、監視空間に複数台が設置される。なお、図面や説明を簡潔とするため、本実施形態は撮像部２が３台の場合を示しているが、移動物体追跡装置１における撮像部２の台数は任意の複数台とすることができる。各撮像部２は当該監視空間を所定の時間間隔にて撮像して画像を順次、制御部５へ出力する。以下、撮像部２の撮像タイミングを時刻と称する。複数の撮像部２のうち、少なくとも隣り合う２台の撮像部２は互いに有効撮像範囲の一部を共有できる距離間隔で設置され、共有する有効撮像範囲内において同一の移動物体を互いに異なる視点から同時に撮像する。

ここで、撮像部の視野の縁部においては移動物体の像が十分な解像度で得られない。また、撮像部の視野には、壁や柱等の建築物、什器等の設備といった障害物で遮られて死角が生じている場合がある。有効撮像範囲は、これらの点を考慮した撮像範囲である。すなわち、有効撮像範囲は、撮像部２の画角等から定まる視野ではなく、撮像部２の視野内であって追跡処理に有効な画像情報が得られる範囲であり、視野縁部や死角を除いた範囲である。

図２は、本装置における撮像部２の配置を示す模式図である。図２に示す配置では、複数の撮像部２-1〜２-3それぞれが監視空間である建物の天井部に、それぞれの光軸７０-1〜７０-3を鉛直下方へ向けて設置される。光軸７０を鉛直下方へ向けて撮像部２を設置するのは、光軸７０を傾けた場合に比べ画像上で移動物体間の隠蔽（オクルージョン）が生じにくいためである。

撮像部２は、隣り合う撮像部２-1，２-2それぞれの有効撮像範囲７１-1，７１-2が一部重複し、隣り合う撮像部２-2，２-3それぞれの有効撮像範囲７１-2，７１-3が一部重複するように設置される。ちなみに、図２では、有効撮像範囲７１-3が障害物７２により変形している様子が示されている。

なお、監視空間は、Ｘ，Ｙ，Ｚ軸からなる右手直交座標系で表し、床面に平行にＸ軸、Ｙ軸が設定され、鉛直上方がＺ軸の正方向に設定される。

操作部３は、管理者が制御部５に対して各種設定を行うための入力手段であり、例えば、タッチパネルディスプレイ等のユーザインターフェース装置である。

記憶部４は、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶装置であり、制御部５に接続される。記憶部４は、制御部５で使用されるプログラムやデータを記憶する。これに記憶されるデータには、各種データには、物体情報４０、カメラパラメータ４２が含まれる。

物体情報４０は、監視空間内に検出された移動物体毎の情報であり、物体モデル４００、テンプレート４０２、移動軌跡４０４及び仮説４０６を含む。

物体モデル４００は、移動物体毎の形状を近似した３次元形状を記述したデータである。追跡対象とする移動物体が立位の人である本実施形態では、物体モデル４００は、立位の人を頭部、胴部及び脚部の３つの部分で捉え、各部分の立体形状を、鉛直軸を回転軸とする回転楕円体で近似し、これらを上から順に鉛直方向に整列した３次元形状に設定する。回転楕円体で近似される各部分の中心間の距離の比率及び各部分の短軸半径の比率、各部の長軸半径の比率は全移動物体に共通とする。基準面から頭部中心までの高さｈ、胴部の最大幅ｗ（胴部短軸直径）は移動物体毎に設定する。また、脚部下端が床面又は地表面等の基準面（Ｚ＝０）に接地するという拘束条件を与える。なお、撮像部２との位置関係から、頭部は他の構成部分に隠蔽されにくく、監視画像に良好に現れることから、頭部中心を物体モデル４００の座標の基準点としている。物体モデル４００は、より単純化して、例えば、１つの回転楕円体で近似してもよい。

テンプレート４０２は、各移動物体を特徴付ける画像特徴の情報であり、移動物体毎、及び移動物体を撮影する撮像部２毎に記憶される。移動物体の追跡処理において、前後する時刻の監視画像からそれぞれ抽出された移動物体の像を同定するために用いられる。画像特徴量は、追跡処理の過程で移動物体の画像を分析することにより得られる。例えば、本実施形態では画像特徴量として色ヒストグラムを用いる。しかし、画像特徴量は、色ヒストグラムに限られず、輝度ヒストグラム、エッジ強度のヒストグラム、エッジ方向のヒストグラム、テクスチャ、又はこれらのうち複数を組み合わせるなど種々の画像特徴を採用することができる。また、物体モデル４００の構成部分毎の画像特徴量をテンプレート４０２とすることができる。

移動軌跡４０４は、移動物体毎の位置（物体位置）の履歴を表す情報である。物体位置は頭部中心の座標とする。

仮説４０６は、移動物体それぞれについて、現時刻における予測位置といずれか１つの撮像部（特定撮像部）との組み合わせを表した情報であり、追跡処理にて移動物体の同定の判定対象とされる１つの状態（仮説）を表す。予測位置は、各時刻において移動物体の存在が予測される位置であり、各移動物体について１又は複数設定される。ここでは各移動物体の予測位置の数をＮで表す。移動物体の追跡精度を確保する上では、Ｎは多いほどよいが、追跡処理を行う時刻間での処理量には限りがあるため、例えば、数百程度に設定される。本実施形態では、仮説４０６は、複数の予測位置それぞれに対応して設定され、Ｎ個の仮説４０６が設定される。また、Ｎ個の仮説４０６には、それを構成する特定撮像部が異なるものが設定される。

第ｉ番（１≦ｉ≦Ｎ）の仮説ｈ_ｉは、３次元座標である予測位置Ｐ_ｉ(ｘ_ｉ，ｙ_ｉ，ｚ_ｉ)と撮像部２の識別符号を表す変数ｃ_ｉとからなる４次元ベクトル（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ，ｃ_ｉ）で表される。

仮説ｈ_ｉは、「追跡中の移動物体は座標Ｐ_ｉに存在し、撮像部ｃ_ｉにより撮像された画像を用いて追跡するのが好適である」ことを意味する。Ｎ個の仮説それぞれについて、尤もらしさを表す指標値である尤度が算出され、それらの中で最も尤もらしい仮説が物体位置の判定に用いられる。

なお、過去の仮説に基づき現時刻の仮説を設定するために記憶部４には過去複数の時刻（例えば５時刻）の仮説が記憶される。

カメラパラメータ４２は、撮像部２が監視空間を透視投影した監視画像を撮影する際の投影条件に関する情報を含む。例えば、実際の監視空間における撮像部２の設置位置及び撮像方向といった外部パラメータ、撮像部２の焦点距離、画角、レンズ歪みその他のレンズ特性や、撮像素子の画素数といった内部パラメータを含む。実際に計測するなどして得られたこれらのパラメータが、移動物体追跡装置１の使用に際して予め操作部３から入力され、記憶部４に格納される。

カメラパラメータ４２は、監視空間に仮想的に置かれた物体モデル４００を任意の撮像部２の撮像面に投影する処理に用いられる。図３は、当該投影を説明する模式図である。例えば、公知のピンホールカメラモデル等のカメラモデルにカメラパラメータ４２を適用して、監視空間の各位置を撮像部２の撮像面７６に投影するための座標変換式を得ることができる。図３は、ＸＹＺ座標系で定義される仮想空間７５に物体モデル４００を配置し、物体モデル４００を上記座標変換式により撮像部２の撮像面７６に投影する様子を示しており、物体モデル４００は撮像面７６-1〜７６-3上の２次元の投影像７７-1〜７７-3に変換される。

有効撮像範囲４４は、撮像部２それぞれの有効撮像範囲を表す情報であり、追跡処理に先立って操作部３から入力され、記憶部４に記憶される。

制御部５は、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、撮像部２、記憶部４及び出力部６と接続される。制御部５は、記憶部４からプログラムを読み出して実行し、追跡手段５０、異常判定手段５２等として機能する。そして、撮像部２から入力される監視画像を画像処理して物体の追跡、不審者の検出等を行い、不審者を検出すると異常信号を出力部６へ出力する。

追跡手段５０は、撮像部２により撮像された画像から各時刻における移動物体毎の物体位置を追跡する。追跡手段５０は、物体像抽出手段５００、仮説設定手段５０２、尤度算出手段５０４、物体位置判定手段５０６、物体情報更新手段５０８を含んでなる。

物体像抽出手段５００は、撮像部２により撮影された監視画像から移動物体の物体像を抽出し、抽出された物体像の情報を物体情報更新手段５０８へ出力する。具体的には、物体像抽出手段５００は、監視空間に移動物体が存在しないときに各撮像部２により撮像された画像を背景画像に設定し、記憶部４に格納する。そして、物体像抽出手段５００は、各撮像部２から監視画像を入力されると、当該監視画像と、対応する撮像部２の背景画像との差分処理を行い、背景画像に存在しない像を撮像部２毎に検出し、検出した像のうち所定値以上の大きさを有する像を物体像として抽出する。ここで、所定値はノイズによる像を除去するための閾値であり、予め設定される。

仮説設定手段５０２は、移動物体のそれぞれについて、各時刻において移動物体の存在が予測されるＮ個の予測位置のそれぞれに撮像部２のいずれか１つを所定基準に従い関連付けて、予測位置と撮像部２を組み合わせたＮ個の仮説を設定する。時刻ｔにおける第ｉ番の予測位置Ｐ_ｉ，ｔは過去の物体位置又は過去の予測位置に基づき、次の３つの方法のいずれかにより設定することができる。

〔第１方法〕
一時刻前の物体位置Ｑ_ｔ−１を中心に予測位置Ｐ_ｉ，ｔを分布させる方法であり、次式で表される。
Ｐ_ｉ，ｔ＝Ｑ_ｔ−１＋Δ0 ………（１）

Δ０は、平均値を０、分散値をσ0とする３次元正規分布に従う確率にてランダムに生成される拡散量である。σ0のｘ成分及びｙ成分には、一時刻に移動物体が移動し得る範囲を考慮して後述するσ1のｘ成分及びｙ成分より大きな値が設定される。σ0のｚ成分には移動物体の上下動を考慮した小さめの値が設定される。

この方法では、Ｑ_ｔ−１を中心とし、Ｑ_ｔ−１に近いほど密に分布したＰ_ｉ，ｔが設定される。

〔第２方法〕
現在の物体位置を予測した予測値ｑ_ｔを中心に予測位置Ｐ_ｉ，ｔを分布させる方法であり、次式で表される。
Ｐ_ｉ，ｔ＝ｑ_ｔ＋Δ1 ………（２）

予測値ｑ_ｔは、移動軌跡４０４として記憶されている過去の複数の物体位置に等速運動モデル等の運動モデル、又はカルマンフィルタ等の予測フィルタを適用することで算出できる。例えば、等速運動モデルを適用した場合、過去の複数の物体位置を平均演算して一時刻前の移動物体の速度Ｖ_ｔ−１を算出し、次式に示すように、一時刻前の物体位置Ｑ_ｔ−１に速度Ｖ_ｔ−１を加算して予測値ｑ_ｔを算出することができる。
ｑ_ｔ＝Ｑ_ｔ−１＋Ｖ_ｔ−１ ………（３）

Δ１は、平均値を０、分散値をσ1とする３次元正規分布に従う確率にてランダムに生成される拡散量である。σ1には予測値ｑ_ｔの算出誤差を考慮した値が設定される。

この方法では、ｑ_ｔを中心とし、ｑ_ｔに近いほど密に分布したＰ_ｉ，ｔが設定される。

〔第３方法〕
過去の予測位置から現在の予測位置を予測する方法である。仮説４０６として記憶されている過去の複数の予測位置に上記運動モデル、又は上記予測フィルタを適用して予測値ｑ_ｉ，ｔを算出し、次式に示すように、予測値ｑ_ｉ，ｔに拡散量Δ2を加算することで算出される。
Ｐ_ｉ，ｔ＝ｑ_ｉ，ｔ＋Δ2 ………（４）

等速運動モデルを適用した場合、過去の複数の予測位置を平均演算して一時刻前の予測位置の速度Ｖ_{ｉ，ｔ−１}を算出し、一時刻前の予測位置Ｐ_{ｉ，ｔ−１}に速度Ｖ_{ｉ，ｔ−１}を加算して予測値ｑ_ｉ，ｔを算出することができる。
ｑ_ｉ，ｔ＝Ｐ_{ｉ，ｔ−１}＋Ｖ_{ｉ，ｔ−１} ………（５）

拡散量Δ2は平均値を０、分散値をσ2とする３次元正規分布に従う確率にてランダムに生成される。拡散量Δ2はＰ_{ｉ，ｔ−１}とＰ_{ｊ，ｔ−１}とが同一であってもＰ_ｉ，ｔとＰ_ｊ，ｔとが同一となることを避けるために設定されている。σ2の各成分には上述したσ1の対応する成分より小さい値が設定される。

以上、予測位置の設定について３種類の方法を説明した。次に仮説４０６における撮像部２の設定について述べる。撮像部２の中にはその有効撮像範囲内に処理対象の移動物体を含まず、当該移動物体の追跡に関して無意味な撮像部２が存在し得る。有限個の仮説４０６の中に無意味な仮説が含まれれば意味のある仮説の密度が低下し、追跡精度が低下する。また無駄な処理が発生する。

そこで、記憶部４に設定された有効撮像範囲４４に基づいて、移動物体の予測位置Ｐ_ｉ，ｔと各撮像部２の有効撮像範囲とを比較して当該予測位置Ｐ_ｉ，ｔを自身の有効撮像範囲に含む撮像部２、すなわち現時刻において当該移動物体を観測可能な撮像部２（監視可能撮像部）を求める。そして、監視可能撮像部のいずれか１つを特定撮像部として当該予測位置Ｐ_ｉ，ｔに関連付けて、仮説４０６を設定する。

すなわち、予測位置Ｐ_ｉ，ｔの分布範囲と各有効撮像範囲４４とを比較して、分布範囲と重複する有効撮像範囲４４を全て列挙する。そして、列挙された有効撮像範囲４４に対応する撮像部２の中から予測位置Ｐ_ｉ，ｔと関連付ける撮像部ｃ_ｉ，ｔを選出する。

なお、撮像部ｃ_ｉ，ｔの選出に際しては、予測位置Ｐ_ｉ，ｔと各撮像部２の有効撮像範囲４４とを直接比較してもよい。また、上述した現在の物体位置の予測値ｑ_ｔを中心とする予め設定された大きさの円を分布範囲とみなして、当該円の範囲と各有効撮像範囲４４とを比較してもよい。

これにより、移動物体のそれぞれに対し現に当該移動物体を観測可能な撮像部ｃ_ｉが組み込まれた仮説ｈ_ｉが設定されるので、追跡精度の向上を図ることができ、また無駄な処理を省くことができる。

ここで、設定できる仮説の数は有限であることから、当該移動物体の追跡に適した撮像部２が組み込まれた仮説の密度を高く維持することが望ましい。そこで、移動物体それぞれについて、直前時刻に設定されているＮ個の仮説４０６の尤度を算出する。そして、移動物体それぞれについて、現時刻における仮説の特定撮像部別の設定個数に関する比率を、直前時刻における仮説の尤度に関する特定撮像部別の累積値（累積尤度）に応じて設定する。すなわち、現時刻における特定撮像部別の当該仮説の設定個数が、直前時刻の仮説についての特定撮像部別の累積尤度に比例するように、現時刻の仮説についての特定撮像部が設定される。これにより、各移動物体について、高い尤度が算出された撮像部２が組み込まれた仮説４０６が増加する（増幅される）ので、追跡の精度を高く維持できる。

図４は、この累積尤度に応じた特定撮像部の変更についての説明図である。図４（ａ）に基づいて、当該変更処理を説明する。まず、処理対象の移動物体に設定されている全仮説ｈ_１〜ｈ_Ｎに対して算出された尤度Ｌ_１〜Ｌ_Ｎを順次累積し、Ｌ_１〜Ｌ_ｋ（１≦ｋ≦Ｎ）の累積値ＳＬ_ｋをこれらの尤度の総和、すなわちＳＬ_Ｎで除して境界値ｂ_ｋを設定する。境界値ｂ_Ｎは１となる。なお、境界値ｂ_０は０であるとする。

次に、変更対象の各仮説ｈ_ｉに対して（０，１］の範囲で一様性乱数を生成し、当該乱数を（ｂ_ｊ−１，ｂ_ｊ］に含むこととなるインデックスｊを検索する。これにより、仮説ｈ_ｉに対し尤度に比例した確率で抽選を行い、仮説ｈ_ｊが当選したことになる。この抽選結果に基づいて、変更対象の仮説ｈ_ｉの撮像部を表す変数ｃ_ｉの値を、当選した仮説ｈ_ｊの撮像部を表す変数ｃ_ｊに設定されている値で変更する。

なお、変更後の撮像部２の決定は図４（ｂ）に示すように、尤度Ｌ_１〜Ｌ_Ｎを、対応する仮説に組み込まれた撮像部２毎に順次累積して撮像部２毎の境界値を設定し、撮像部２を直接抽選することによっても同様に行うことができる。図４（ｂ）の例では、変更対象の仮説ｈ_ｉに関する処理で発生させた乱数が（ｂ_１，ｂ_２］の範囲であり、これに対応してｈ_ｉの現時刻におけるｃ_ｉは撮像部２-2を示す値に更新される。

なお、このとき追跡に適した撮像部２に一斉に更新すると、隠蔽状態の変化や予期せぬ運動の変化などにより移動物体を見失い、以降のリカバーが困難となる。そこで、移動物体毎に設定されている複数の仮説４０６のうち一定の割合Ｒの仮説に対しては上記更新を行わず、一時刻前に設定された撮像部２との関連付けを維持する。具体的には、仮説ｈ_１〜ｈ_Ｎのそれぞれに対して（０，１］の範囲で一様性乱数を生成し、生成された乱数が（０，Ｒ］の範囲ならば、直前時刻の特定撮像部の設定を維持し、乱数が（Ｒ，１］の範囲ならば、変更対象の仮説に設定し、上述の特定撮像部の更新処理を施す。これにより、割合Ｒの仮説に慣性が付与され、追跡に適しているとされなかった撮像部２が組み込まれた仮説が適度に残る。そのため、隠蔽状態や運動の変化があっても追跡を継続することが容易となる。例えば、Ｒは（０，０．５）の範囲で予め設定することができる。

以上では、直前時刻において組み込まれていた撮像部２に基づいて現時刻において組み込むべき撮像部２を決定する処理を説明した。

しかし、移動物体と撮像部２との位置関係は物体の移動に伴い時々刻々と変化する。この変化への対応として、移動物体それぞれについて、直前時刻にて設定されている仮説４０６を参照し、当該移動物体の現時刻での監視可能撮像部の中に、直前時刻の仮説のいずれとも関連付けられていない未関連の撮像部２が含まれる移動物体を検出する。そして、検出された移動物体に対しては、未関連の撮像部２（新規特定撮像部）との関連付けを含んだ仮説を追加する。

なお、未関連の撮像部２が複数存在する場合は、それぞれの撮像部２を特定撮像部として含んだ仮説を等分に追加する。これにより、移動物体の移動に合わせて現に観測可能な撮像部ｃ_ｉが組み込まれた仮説ｈ_ｉが追加設定されるので、精度の高い追跡を継続することができる。追加する仮説の予測位置は、上述の第２方法である（２）式により設定することができる。

ここで、単に仮説を追加するだけでは負荷が増大して処理遅延又は処理不能の原因となるため、既に設定されている仮説の一部との入れ替えにより追加を行う。ただし、このとき、入れ替え対象を無作為に選ぶと、隠蔽が少ないとか距離が近いなど追跡に適した撮像部２が組み込まれた仮説が不用意に減少して追跡精度の低下を招く。そこで、未関連の撮像部２の存在が検出された移動物体について、直前時刻の予測位置から現時刻の予測位置を求めて設定されるＮ個の仮説のうち、尤度算出手段５０４により算出された尤度が低い順にＭ（＞０）個を削除する。そして、削除した数と同じＭ個だけ、未関連の撮像部２との関連付けを含んだ仮説を追加する。このように尤度が低い仮説４０６を優先的に淘汰して追加を行うことで追跡精度の低下と負荷の増大とを防ぐことができる。

削除されずに残った（Ｎ−Ｍ）個の仮説の予測位置は上述の第３方法である（４）式により設定することができる。また、これらの仮説に組み込む撮像部２は上述した特定撮像部の更新処理（増幅及び慣性付与）により設定できる。

尤度算出手段５０４は、移動物体の予測位置と撮像部２との組み合わせを入力されると、入力された撮像部２により撮像された画像の当該予測位置における画像特徴と当該移動物体のテンプレート４０２と比較して尤度を算出し、算出された尤度を出力する。仮説設定手段５０２により設定された仮説が尤度算出手段５０４に入力された場合には、当該仮説の尤度が算出され、算出された尤度は当該仮説の評価尺度となる。なお、仮説設定手段５０２により設定される仮説は、予測位置と撮像部２とが１対１に関連付けられているため、仮説毎の尤度は１つの撮像部２により撮像された画像情報から算出される。そのため、各尤度には隠蔽状態や移動物体との距離が異なる複数の撮像部２についての比較結果が混じり合わず、先鋭な尤度が得られるので、当該尤度により物体位置の判定を精度よく行なうことができる。

図５は尤度算出処理の説明図である。図５を用いて、尤度算出の具体的な処理について説明する。まず、監視空間を模した仮想空間７５において、予測位置Ｐ_ｉに物体モデル４００を配置し、配置した物体モデル４００を撮像部ｃ_ｉの撮像面７６に投影して観測領域７７を算出する（図５（ａ））。観測領域７７は、予測位置Ｐ_ｉに移動物体が存在するならば撮像部ｃ_ｉによる監視画像において当該移動物体が視認可能に投影される領域である。

次に、実際に撮像部ｃ_ｉにより撮影された監視画像から、観測領域７７に対応する部分の画像特徴を抽出する。続いて、抽出された画像特徴と、テンプレート４０２として記憶されている移動物体の画像特徴との類似度ｕ_ｉを算出し、類似度ｕ_ｉに応じた尤度Ｌ_ｉを算出する。移動物体の予測位置Ｐ_ｉが真の物体位置であれば、観測領域７７における画像情報は当該移動物体に関するもののみとなり、高い尤度Ｌ_ｉが算出される。一方、予測位置Ｐ_ｉが真の物体位置からずれるほど、その観測領域７７には背景や他の移動物体に関する画像情報が含まれて、尤度Ｌ_ｉは低下する。

ここで、処理対象の移動物体について抽出できる画像特徴の質又は量は当該移動物体の位置又は他の移動物体との位置関係によって異なり、画像特徴の比較結果の信頼性は抽出された画像特徴の質又は量により変動する。そこで、尤度算出手段５０４は予測位置に応じて類似度ｕ_ｉの信頼度を算出する信頼度算出手段５０４ａを備え、算出された信頼度が高いほど高い尤度Ｌ_ｉを算出する。これにより、質又は量の面で優れた画像特徴を撮像する撮像部２が組み込まれた仮説ｈ_ｉの尤度Ｌ_ｉがより高く算出されるので、当該仮説が物体位置の判定に用いられやすくなり、ひいては追跡精度の向上につながる。

撮像部２から予測位置までの距離が近くなるほど移動物体の像は大きく、解像度は高いため類似度ｕ_ｉの信頼性は高くなる。逆に距離が遠いほど像は小さく、解像度は低いため類似度ｕ_ｉの信頼性は低くなる。そこで、信頼度算出手段５０４ａは、仮説４０６にて予測位置Ｐ_ｉに関連付けられた撮像部ｃ_ｉから当該予測位置までの距離ｄ_ｉを算出し、距離ｄ_ｉが短いほど高い信頼度ｇ(ｄ_ｉ)を算出することができる。すなわち、この場合、信頼度ｇ(ｄ_ｉ)は距離ｄ_ｉの減少関数によって算出することができる。次式は当該減少関数の一例であり、α_１、β_１はα_１＞０，β_１≧０なる定数である。
ｇ_１(ｄ_ｉ)＝−α_１・ｄ_ｉ＋β_１ ………（６）

複数の移動物体が存在する監視空間では、他の移動物体に隠蔽されることにより処理対象の移動物体の一部が観測できない場合がある。そこで、信頼度算出手段５０４ａは、撮像部ｃ_ｉと予測位置Ｐ_ｉとの位置関係に基づいて、当該撮像部ｃ_ｉによる監視画像において処理対象の移動物体のそれぞれが他の移動物体により隠蔽される度合いである隠蔽度ｅ_ｉを算出し、隠蔽度ｅ_ｉが低いほど高い信頼度ｇ_１(ｅ_ｉ)を算出する。まず、仮想空間７５において、他の移動物体のうち処理対象の予測位置より撮像部ｃ_ｉに近い移動物体の物体位置に物体モデルを配置し、配置した物体モデルを撮像部ｃ_ｉの撮像面７６に投影して、処理対象の移動物体を隠蔽し得る他の移動物体の領域７８（以下、隠蔽領域）を算出する。次に、処理対象の移動物体の観測領域７７から隠蔽領域７８を除去して、補正された観測領域７９を算出する（図５（ｂ））。他の移動物体が複数該当する場合は各移動物体についての隠蔽領域７８を全て除去する。続いて、観測領域７７の面積Ｓ1、及び補正された観測領域７９の面積Ｓ2を計測し、次式により隠蔽度ｅ_ｉを求める。面積Ｓ1，Ｓ2は、それぞれの領域内の画素数を計数して求めることができる。
ｅ_ｉ＝｜Ｓ1−Ｓ2｜／Ｓ1 ………（７）

信頼度ｇ_２(ｅ_ｉ)は隠蔽度ｅ_ｉの減少関数によって算出することができる。次式は当該減少関数の一例であり、α_２、β_２はα_２＞０，β_２≧０なる定数である。
ｇ_２(ｅ_ｉ)＝−α_２・ｅ_ｉ＋β_２ ………（８）

さらにテンプレート４０２を作成したときの隠蔽度（ｅ_Ｔとする）を画像特徴とともにテンプレート４０２として記憶させておき、隠蔽度ｅ_Ｔの影響を考慮して、信頼度ｇ_２(ｅ_ｉ)を次の（９）式又は（１０）式に基づいて算出することもできる。
ｇ_２(ｅ_ｉ)＝−α_２・max(ｅ_ｉ，ｅ_Ｔ)＋β_２ ………（９）
ｇ_２(ｅ_ｉ)＝−α_２・｜ｅ_ｉ−ｅ_Ｔ｜＋β_２ ………（１０）

以上の信頼度を加味した尤度Ｌ_ｉは次式で表される。
Ｌ_ｉ＝ｇ_１(ｄ_ｉ)・ｇ_２(ｅ_ｉ)・ｕ_ｉ ………（１１）

物体位置判定手段５０６は、仮説ｈ_ｉと当該仮説について算出された尤度Ｌ_ｉとの組を入力されると、所定基準を満たす尤度Ｌ_ｉが得られた予測位置Ｐ_ｉに基づいて、現時刻における移動物体の物体位置を算出する。具体的には、各移動物体について最大の尤度を選出するとともに当該尤度を予め設定された閾値と比較し、最大の尤度が閾値以上であれば当該尤度と組をなしている予測位置を物体位置と判定する。最大尤度が上記閾値未満である移動物体については物体位置なしと判定する。なお、閾値以上の尤度を複数選出し、又は尤度の高い順に上位所定個数の尤度を選出し、選出された尤度と組をなしている予測位置の平均値を物体位置と判定することもできる。このとき、尤度を重みとする重み付き平均値を算出してもよい。

物体情報更新手段５０８は、追跡中の物体について、移動軌跡４０４やテンプレート４０２を更新する処理を行うと共に、新規移動物体の存在を判定し、当該新規移動物体について物体情報４０を登録する処理、及び消失物体についての処理を行う。以下、追跡中の物体についての処理、新規物体についての処理、及び消失物体についての処理を順次、説明する。

〔追跡中の物体〕
物体位置判定手段５０６により物体位置が判定された移動物体について、当該移動物体の移動軌跡４０４に、当該判定された物体位置を追加記憶させ、当該移動物体のテンプレート４０２を現時刻の画像特徴により更新する。更新に用いる画像特徴は、仮想空間において当該物体位置に物体モデル４００を配置し、更新対象の移動物体に設定されている仮説に含まれている全ての撮像部２の撮像面へ物体モデル４００を投影して観測領域を算出し、各撮像部２により撮像された画像の観測領域における画像情報から抽出する。更新は、抽出された画像特徴を、記憶されている画像特徴と置き換えてもよいし、抽出された画像特徴と記憶されている画像特徴とを重み付け平均してもよい。

〔新規物体〕
物体位置判定手段５０６により物体位置が判定された全ての移動物体の物体モデル４００を仮想空間に配置し、全ての撮像部２の撮像面へ物体モデル４００を投影して観測領域を算出する。算出された観測領域を物体像抽出手段５００にて抽出された物体像から除去して、残余の物体像が移動物体（人）として有効な面積を有していれば、残余の物体像に新規移動物体が存在すると判定する。

当該物体像内に物体位置の候補を複数設定する。また標準的な移動物体の高さ及び幅を基準にして設定される所定範囲内で、物体モデル４００の高さ及び幅の候補を複数設定する。候補として設定した高さ及び幅を有する物体モデルを、候補として設定した物体位置に配置して全ての撮像部２の撮像面へ投影する。そして、投影像と物体像との形状を比較し、最も形状が一致する物体位置と、高さ及び幅とを探索的に決定する。また、当該探索により決定された投影像と重なる物体像の領域から画像特徴を抽出する。

こうして得た物体位置、画像特徴、高さ及び幅を新規移動物体の移動軌跡４０４の初期値、テンプレート４０２、物体モデル４００のパラメータとして記憶部４に登録する。

〔消失物体〕
物体位置判定手段５０６により物体位置なしと判定された場合、当該移動物体の物体情報４０を削除する。

異常判定手段５２は、記憶部４に記憶されている移動軌跡４０４を分析し、長時間滞留している移動物体（不審者）が存在すれば、異常と判定して出力部６へ異常信号を出力する。具体的には、滞留時間を、追跡中の移動物体の移動軌跡４０４に時刻毎に追加される物体位置の数に基づいて判断し、その数が所定時間（例えば、１０分間）以上に相当する移動軌跡４０４があれば異常と判定する。

出力部６は、センタ装置等の外部装置と通信線により接続され、外部装置へ異常信号を送信する通信回路を備える。

次に、移動物体追跡装置１の動作について説明する。図６は、移動物体追跡装置１の動作の概略のフロー図である。

監視空間が無人であることを確認した管理者が電源を投入すると各部、各手段が動作を始め、制御部５は、記憶部４にカメラパラメータ４２及び有効撮像範囲４４が記憶されているか否かを確認し（Ｓ１０）、記憶されていなければ操作部３からこれらのパラメータの入力を受け付け、入力されたパラメータを記憶部４に記憶させる（Ｓ１５）。

その後、撮像部２から画像が入力されるたびにＳ２０〜Ｓ８５の一連の処理が繰り返される。

まず、制御部５が撮像部２のそれぞれが新たに撮像した画像（現時刻の画像）を取得すると（Ｓ２０）、制御部５の物体像抽出手段５００は背景画像が記憶部４に記憶されているか否かを確認する（Ｓ２５）。起動直後であって背景画像が記憶されていなければ（Ｓ２５にてＮＯ）、制御部５の物体像抽出手段５００は、現時刻の各画像を背景画像として記憶部４に記憶させて背景画像を初期化する（Ｓ３０）。初期化後、処理はＳ２０へ戻される。

一方、背景画像が記憶されていれば（Ｓ２５にてＹＥＳ）、制御部５の物体像抽出手段５００は現時刻の各画像を対応する背景画像と比較して移動物体の物体像を抽出する（Ｓ３５）。

物体像が抽出された移動物体に対して、制御部５の仮説設定手段５０２により移動物体毎にその予測位置を含む仮説が設定され（Ｓ４０）、また、仮説が検証されて移動物体毎の位置が判定される（Ｓ４５）。仮説検証処理Ｓ４５では、制御部５の尤度算出手段５０４により各移動物体に設定された仮説の尤度が算出され、制御部５の物体位置判定手段５０６により、基準を満たす尤度が算出された仮説に含まれる予測位置に基づき物体位置が判定される。ちなみにいずれの仮説も基準を満たさなかった移動物体については物体位置なしと判定される。仮説設定処理Ｓ４０及び仮説検証処理Ｓ４５の詳細は後述する。

仮説が設定され検証されると、制御部５の物体情報更新手段５０８は、Ｓ４５にて物体位置が判定された移動物体、すなわち追跡継続中の移動物体について、移動軌跡４０４に物体位置を追記し、次時刻に備え現時刻の画像情報を用いてテンプレート４０２を更新する（Ｓ５０）。また、制御部５の物体情報更新手段５０８は、仮説検証処理Ｓ４５にて物体位置なしが判定された移動物体すなわち監視空間から消失した移動物体の物体情報４０を記憶部４から削除する（Ｓ５０）。さらに、制御部５の物体情報更新手段５０８は、処理Ｓ３５にて抽出された物体像と仮説検証処理Ｓ４５にて判定された物体位置との整合性を確認して新規物体の検出を行い（Ｓ５５）、新規物体が検出されると（Ｓ６０にてＹＥＳ）、現時刻の各画像の情報に基づいて当該新規物体の物体情報４０を登録する（Ｓ６５）。

一方、制御部５の物体像抽出手段５００は次時刻に備えて背景画像の更新を行う（Ｓ７０）。すなわち、処理Ｓ３５にて物体像が抽出されなかった現画像を用いて記憶部４の背景画像を更新する。更新は現画像による置き換えでもよいし、両画像の荷重平均画像による置き換えでもよい。また、物体像が抽出されなかった領域を部分的に更新してもよい。

こうして追跡が進捗すると、制御部５の異常判定手段５２は、更新された移動軌跡４０４を分析して不審者を検出し（Ｓ７５）、不審者が検出されれば（Ｓ８０にてＹＥＳ）出力部６へ異常信号を出力する（Ｓ８５）。異常信号が入力された出力部６は該信号をセンタ装置へ送信する。異常信号を受信したセンタ装置は監視員に異常を報知し、表示を見た監視員は不審者の排除などの対処を行う。

以上の処理が終了すると、制御部５は処理を再び処理Ｓ２０へ戻す。

図７は、仮説設定処理Ｓ４０の概略のフロー図である。図７を参照して制御部５の仮説設定手段５０２による仮説設定処理（Ｓ４０）を説明する。

仮説設定手段５０２は、各移動物体を順次、処理対象に設定して（Ｓ４００）、追跡中の全ての移動物体に関して、以下の一連の処理を繰り返す（Ｓ４１２）。

まず、仮説設定手段５０２は、処理対象の移動物体が新規物体であるか否かを確認する（Ｓ４０１）。当該移動物体の移動軌跡４０４に含まれる物体位置がただ１つであれば新規物体と判定され（Ｓ４０１にてＹＥＳ）、仮説設定手段５０２は以下に述べる仮説の初期化（Ｓ４０２）を行う。まず、仮説設定手段５０２は、（１）式により移動軌跡４０４に含まれている一時刻前の物体位置Ｑ_ｔ−１の周辺にＮ個の予測位置Ｐ_ｉ，ｔを設定し、予測位置Ｐ_ｉ，ｔと有効撮像範囲４４とを比較して、予測位置Ｐ_ｉ，ｔの分布範囲を観測可能である撮像部２を特定する。次に、仮説設定手段５０２は、特定された撮像部２と物体位置Ｑ_ｔ−１との距離を算出し、また、処理対象の移動物体及び他の移動物体の物体モデル４００をそれぞれの一時刻前の物体位置に配置して射影することで処理対象の移動物体の隠蔽度を算出し、例えば、（１１）式で表される、距離と隠蔽度との関数である尤度を、特定された撮像部２毎に算出する。続いて、仮説設定手段５０２は、算出された尤度を用い、例えば、図４（ｂ）を参照して説明したような撮像部２の抽選に基づいて、撮像部２を予測位置Ｐ_ｉ，ｔと関連付けてＮ個の仮説を設定する。こうして、仮説の初期化が完了すると、処理はＳ４１２へ進む。

一方、新規物体でない場合（Ｓ４０１にてＮＯ）、処理はＳ４０３へ進み、予測位置の増幅処理（Ｓ４０３）が行われる。すなわち、仮説設定手段５０２は、一時刻前の仮説ｈ_{１，ｔ−１}〜ｈ_{Ｎ，ｔ−１}に対して算出された尤度を用い、図４（ａ）を参照して説明した仮説の抽選を行って、当選した仮説ｈ_{ｊ，ｔ−１}に組み込まれていた予測位置Ｐ_{ｊ，ｔ−１}を仮説ｈ_{ｉ，ｔ−１}に複製する。ちなみに、この複製処理では、撮像部の変数ｃ_{ｊ，ｔ−１}及び尤度Ｌ_ｔは複製されないことに留意する。複数回当選した仮説に組み込まれていた予測位置は増幅され、一度も当選しなかった仮説に組み込まれていた予測位置は淘汰される。

続いて、仮説設定手段５０２は、Ｓ４０３の処理を経た予測位置Ｐ_{ｉ，ｔ−１}に（４）式及び（５）式を適用して、現時刻の予測位置Ｐ_ｉ，ｔを算出して、当該予測位置を現時刻の仮説ｈ_ｉ，ｔに書き込む（Ｓ４０４）。これにより予測位置は更新されたが、この段階では未だ撮像部ｃ_ｉ，ｔは関連付けられていない。

続いて、仮説設定手段５０２は、更新処理Ｓ４０４にて算出された予測位置Ｐ_ｉ，ｔを有効撮像範囲４４と比較して現時刻の移動物体を観測可能な撮像部２を特定し（Ｓ４０５）、一時刻前の仮説ｈ_{１，ｔ−１}〜ｈ_{Ｎ，ｔ−１}を参照して特定された撮像部２の中からいずれの仮説にも組み込まれていない撮像部２を検出し（Ｓ４０６）、検出結果を確認する（Ｓ４０７）。

未関連の撮像部２が検出されなかった場合（Ｓ４０７にてＮＯ）、処理はＳ４０８へ進み、撮像部に対する慣性の付与と変更とが行われる。まず、仮説設定手段５０２は、仮説ｈ_１，ｔ〜ｈ_Ｎ，ｔの中からＲ×Ｎ個の仮説をランダムに選び、選ばれた仮説ｈ_ｉ，ｔの撮像部ｃ_ｉ，ｔとして、それぞれに対応する一時刻前の仮説ｈ_{ｉ，ｔ−１}に組み込まれていた撮像部ｃ_{ｉ，ｔ−１}を設定することで慣性を付与する（Ｓ４０８）。次に、仮説設定手段５０２は、処理Ｓ４０８にて選ばれなかった仮説ｈ_ｉ，ｔの撮像部ｃ_ｉ，ｔを一時刻前の仮説ｈ_{１，ｔ−１}〜ｈ_{Ｎ，ｔ−１}に対して算出された尤度の撮像部２毎の和に応じた確率にて抽選して設定する（Ｓ４０９）。

一方、未関連の撮像部２が検出された場合（Ｓ４０７にてＹＥＳ）、処理はＳ４１０へ進み、仮説の淘汰と追加が行われる。まず、仮説設定手段５０２は、一時刻前の仮説ｈ_{１，ｔ−１}〜ｈ_{Ｎ，ｔ−１}に対して算出された尤度を参照して、尤度が低い順にＭ個の仮説を削除することで低尤度の仮説を淘汰する（Ｓ４１０）。また、削除されずに残った（Ｎ−Ｍ）個の仮説ｈ_ｉ，ｔの撮像部ｃ_ｉ，ｔを処理Ｓ４０８及びＳ４０９と同様の処理（慣性付与及び増幅）により設定する。次に、仮説設定手段５０２は、淘汰処理Ｓ４１０にて削除され欠番となっている仮説の予測位置Ｐ_ｉ，ｔを（２）式によりＭ個設定し、これらの予測位置に処理Ｓ４０６にて検出された未関連の撮像部２を関連付けてＭ個の仮説を設定する（Ｓ４１１）。このとき、未関連の撮像部２が複数台（ｍ＞１）検出されている場合は、Ｍ個のうちＭ／ｍ個ずつの仮説に順に、検出された撮像部２のそれぞれを関連付ける。

以上の処理を終えると（Ｓ４１２にてＹＥＳ）、追跡中の全ての移動物体について現時刻の仮説の設定が完了する。その後、制御部５は処理を図６のＳ４５へ戻す。

図８は、仮説検証処理Ｓ４５の概略のフロー図である。図８を参照して制御部５の仮説設定手段５０２による仮説検証処理（Ｓ４５）を説明する。

仮説の検証は追跡中の各移動物体について行われるが、近接する移動物体間では予測位置が重なって分布するため、制御部５の尤度算出手段５０４は観測領域の算出精度向上を図るべく、撮像部２を順次、処理対象に設定し、全ての撮像部２に関して繰り返すループ処理（Ｓ４５０〜Ｓ４６０）の中で、予測位置と撮像部２との距離順に順次仮説を処理するループ（Ｓ４５３〜Ｓ４５９）を設定する。すなわち、撮像部２に関してのループ処理の中で、制御部５の尤度算出手段５０４は処理対象の撮像部２が組み込まれている仮説を全て抽出して（Ｓ４５１）、処理対象の撮像部２とこれらの仮説に組み込まれている予測位置との距離をそれぞれ算出し（Ｓ４５２）、算出された距離の昇順で仮説を順次、処理対象に設定して（Ｓ４５３）、設定された全ての仮説に関して繰り返すループ処理を行う。

仮説に関するループ処理の中で、制御部５の尤度算出手段５０４はまず観測領域を算出する（Ｓ４５４）。すなわち処理対象の仮説に組み込まれている予測位置に物体モデル４００を配置して処理対象の撮像部２の撮像面に射影することで全体領域を算出し、既にＳ４５８の処理により物体位置が判定されている移動物体があれば当該物体位置に物体モデル４００を配置して処理対象の撮像部２の撮像面に射影することで隠蔽領域を算出し、これらの領域から観測領域を算出する。

続いて、制御部５の尤度算出手段５０４は処理対象の撮像部２により撮像された画像から観測領域内の画像特徴を抽出する（Ｓ４５５）。さらに上記全体領域と観測領域とを用いて隠蔽度を算出する（Ｓ４５６）。また、処理対象の仮説が設定されている移動物体について、処理対象の撮像部２に対応付けて記憶されているテンプレート４０２と抽出された画像特徴とを比較して類似度を算出する。そして、当該類似度、処理Ｓ４５６にて算出された隠蔽度、及び処理Ｓ４５２にて算出された距離を用いて尤度を算出する（Ｓ４５７）。

続く処理Ｓ４５８にて、制御部５の物体位置判定手段５０６は、移動物体毎に、既に尤度が算出されている仮説を用いて、当該移動物体の物体位置を判定する。なお、各移動物体に対して設定されたＮ個の仮説全てについて尤度が算出されるまでは暫定的な判定結果となることに留意する。

以上の処理を全ての撮像部２について終えると（Ｓ４６０にてＹＥＳ）、全ての移動物体に対して物体位置の最終的な判定が完了した状態となる。その後、制御部５は処理を図６のＳ５０へ戻す。

図９、図１０は仮説設定処理Ｓ４０を説明する模式図である。

図９（ａ）は、有効撮像範囲７１及び仮説４０６の分布の一例を、監視空間を真上から見た平面図で表している。破線の円は仮説４０６の分布範囲を表しており、当該円内の点がそれぞれ仮説４０６に関連付けられた予測位置を表す。図中の（ｔ−５）〜ｔは時刻を表し、時刻（ｔ−５）は注目している移動物体が新規出現した時刻である。時刻（ｔ−５）において拡散量Δ0により広範囲に分布していた仮説４０６は、時刻が進むにつれＳ４０３の処理により適正範囲に収束する。ちなみに、時刻（ｔ−５）においては当該時刻の分布範囲は有効撮像範囲７１-1だけに存在し、これに対応して、時刻（ｔ−５）の仮説４０６には、撮像部２-1だけが組み込まれる

図９（ｂ）は、予測位置の更新処理Ｓ４０４の一部分の例を示す模式的な平面図であり、仮説ｈ_１，ｈ_２それぞれの時刻（ｔ−１）から時刻ｔへの更新を示している。○印は予測位置を表しており、当該○の中心が予測位置に対応する。また○印の中に示した数字「１」や「２」は、仮説４０６において当該予測位置と関連付けられている撮像部ｃ_ｉの識別符号であり、「１」を包含した○印で表す仮説ｈ_{１，ｔ−１}は、撮像部２-1が組み込まれており、「２」を包含した○印で表す仮説ｈ_{２，ｔ−１}は、撮像部２-2が組み込まれている。一方、数字を包含しない○印は、撮像部ｃ_ｉが未だ組み込まれていないことを表している。

図９（ｂ）に示す予測位置の更新は、（４）式及び（５）式に基づく上述の第３方法によるものである。

図９（ｃ）は、撮像部に対する慣性付与の処理Ｓ４０８の一例を示す模式図である。この例は時刻（ｔ−１）の仮説４０６に基づいて、時刻ｔの仮説４０６を設定する場合を示しており、時刻ｔの仮説群は、処理Ｓ４０８直後の状態を表しており、一部の仮説だけが、Ｓ４０８により撮像部ｃ_ｉが決定された状態である。ちなみに、ここに示す例は、Ｎ＝２０，Ｒ＝０．３の場合であり、２０個の仮説のうち、６個の仮説について「慣性」が付与され、時刻（ｔ−１）と同一の撮像部ｃ_ｉが組み込まれる。

ここで、図９（ａ）に示すように予測位置Ｐ_ｉ，ｔは撮像部２-1の有効撮像範囲７１-1から外れた領域にも設定されるが、「慣性」により当該領域にも撮像部２-1が組み込まれた仮説が適度に残る。これにより、注目している移動物体と撮像部２-2との間（図９（ａ）の△の位置）に他の移動物体が現れ、撮像部２-2の監視画像において注目移動物体が隠蔽されて撮像部２-1の方が追跡に好適となる場合や、注目移動物体がＵターンして撮像部２-1の方が追跡に好適となる変化が生じる場合など、状況変化があっても精度の高い追跡を継続できる。

図９（ｄ）は、高尤度撮像部の増幅処理Ｓ４０９の一例を示す模式図であり、図９（ｃ）に示した慣性付与後、さらに増幅処理Ｓ４０９を行った結果を示している。時刻（ｔ−１）では撮像部２-2との距離が近く、撮像部２-2が組み込まれた仮説の尤度が全体的に高い。この結果を受け、撮像部２-2が組み込まれた仮説が増幅され、支配的となる。急激な状況変化がなければこの増幅により追跡の精度が高く維持される。

図１０（ａ）は、有効撮像範囲７１及び仮説４０６の分布の他の例を、監視空間を真上から見た平面図で表している。この例は、時刻（ｔ−１）から時刻ｔへの変化にて、予測位置Ｐ_ｉ，ｔが撮像部２-3の有効撮像範囲７１-3へ進入した場合を示している。

図１０（ｂ）は、低尤度撮像部の淘汰処理Ｓ４１０の一例を示す模式図である。この例は、図１０（ａ）の時刻（ｔ−１）から時刻ｔへの時刻変化にて、Ｍ＝８とした場合であり、仮説ｈ_ｉ，ｔの設定に際し、時刻（ｔ−１）で尤度の低かった８個の仮説に対応するものが削除されている。

図１０（ｃ）は未関連撮像部を含む仮説の追加処理Ｓ４１１の一例を示す模式図である。この例は、図１０（ｂ）に示した淘汰処理Ｓ４１０後、追加処理Ｓ４１１を行った結果を示している。時刻ｔでは、処理Ｓ４０５にて撮像部２-2と撮像部２-3が観測可能な撮像部２として特定される。一方、時刻（ｔ−１）の仮説に組み込まれていた撮像部２は撮像部２-1と撮像部２-2であり、処理Ｓ４０６にて撮像部２-3が未関連の撮像部２として検出される。これに対応して、処理Ｓ４１１により、撮像部２-3が組み込まれた８個の仮説が追加される。注目移動物体は未だ撮像部２-2に近いが、注目移動物体と撮像部２-2との間に他の移動物体が現れるなどの急激な状況変化があっても撮像部２-3が組み込まれた仮説が追加されたので精度の高い追跡を継続できる。

なお、上述の実施形態では、予測位置と撮像部２とを１対１の組にして予測位置と同数の仮説を設定した。別の実施形態では、一つ一つの予測位置に対して、互いに異なる複数の撮像部２を組み合わせ、予測位置と撮像部２とが１対１で組み合わされた、（予測位置の数）×（撮像部２の数）個の仮説を網羅的に設定する。

また、上述の実施形態では、一時刻前に組み込まれていた撮像部２に基づき現時刻に組み込む撮像部２を決定することを基礎とし、未関連の撮像部２が検出されたときに当該撮像部２を組み合わせた仮説を追加した。別の実施形態では、一時刻前に組み込まれていた撮像部２とは関係なく、各時刻において移動物体を観測可能な撮像部２を仮説に組み込む。このような組み込み方は、観測可能な撮像部２が毎時刻変わるような高速の移動物体を追跡する際に有効である。

また、上述の実施形態では、低い尤度が算出されたＭ個の仮説を削除したときに、慣性付与（Ｓ４０８）及び増幅（Ｓ４０９）を行うことで、残りの（Ｎ−Ｍ）個の仮説に組み込む撮像部２を設定した（Ｓ４１０）。別の実施形態では、これら（Ｎ−Ｍ））個の仮説に対し、各仮説と対応する一時刻前の仮説に組み込まれていた撮像部２を組み込む。既に低尤度の仮説は淘汰されており、高尤度の仮説が優先的に残る。そのため、この実施形態によっても追跡の精度を高く維持できる。

本発明の実施形態に係る移動物体追跡装置の概略のブロック構成図である。 監視空間における撮像部の配置を示す模式図である。 監視空間に仮想的に置かれた物体モデルを任意の撮像部の撮像面に投影する処理を説明する模式図である。 累積尤度に応じた特定撮像部の変更についての説明図である。 尤度算出処理の説明図である。 本発明の実施形態に係る移動物体追跡装置の動作の概略のフロー図である。 仮説設定処理の概略のフロー図である。 仮説検証処理の概略のフロー図である。 仮説設定処理を説明する模式図である。 仮説設定処理を説明する模式図である。

符号の説明

１ 移動物体追跡装置、２ 撮像部、３ 操作部、４ 記憶部、５ 制御部、６ 出力部、４０ 物体情報、４２ カメラパラメータ、４４ 有効撮像範囲、５０ 追跡手段、５２ 異常判定手段、４００ 物体モデル、４０２ テンプレート、４０４ 移動軌跡、４０６ 仮説、５００ 物体像抽出手段、５０２ 仮説設定手段、５０４ 尤度算出手段、５０４ａ 信頼度算出手段、５０６ 物体位置判定手段、５０８ 物体情報更新手段。

Claims (7)

1. 複数の撮像部それぞれがお互いに異なる視点から監視空間を撮影した時系列の監視画像に基づいて、前記監視空間内の１又は複数の移動物体を追跡する追跡部と、前記移動物体毎に画像特徴及び過去の位置情報を記憶する記憶部とを備えた移動物体追跡装置であって、
   前記追跡部は、
   前記移動物体毎の少なくとも過去の前記位置情報から現時刻における複数の予測位置を求める位置予測手段と、
   前記撮像部の一つを特定した特定撮像部と一つの前記予測位置とを対応付けて仮説とし、前記移動物体毎に前記特定撮像部が互いに異なるものを含む複数の前記仮説を設定する仮説設定手段と、
   前記移動物体毎の仮説毎に、当該仮説の特定撮像部が撮影した現時刻の前記監視画像における当該仮説の前記予測位置での画像特徴を抽出し、当該画像特徴と前記記憶部に記憶された当該移動物体の前記画像特徴とを比較し、当該仮説の尤度を算出する尤度算出手段と、
   所定値を超える前記尤度が得られた前記移動物体毎の仮説に基づいて、現時刻における当該移動物体の現在位置を求める物体位置判定手段と、
   を有することを特徴とする移動物体追跡装置。
2. 請求項１に記載の移動物体追跡装置において、
   前記記憶部は、前記撮像部それぞれの撮像範囲を記憶し、
   前記仮説設定手段は、前記複数の撮像部のうち現時刻における前記予測位置を前記撮像範囲に含む監視可能撮像部を求め、当該監視可能撮像部を前記特定撮像部として、前記仮説を設定すること、
   を特徴とする移動物体追跡装置。
3. 請求項２に記載の移動物体追跡装置において、
   前記仮説設定手段は、前記監視可能撮像部のうちに直前時刻の前記特定撮像部に含まれていない新規特定撮像部が存在する前記移動物体に対して、少なくとも前記新規特定撮像部を用いた前記仮説を設定すること、
   を特徴とする移動物体追跡装置。
4. 請求項３に記載の移動物体追跡装置において、
   現時刻にて設定される前記仮説は、前記新規特定撮像部を用いて設定される新規仮説を除き、直前時刻にて設定された複数の前記仮説それぞれの前記予測位置を更新して設定される更新仮説であり、
   前記仮説設定手段は、前記新規仮説を設定する場合には、前記更新仮説のうち直前時刻での前記尤度が低い順に、前記新規仮説の設定個数に相当する個数を削除すること、
   を特徴とする移動物体追跡装置。
5. 請求項２から請求項４のいずれか１つに記載の移動物体追跡装置において、
   前記仮説設定手段は、前記移動物体それぞれについて、現時刻における前記仮説の前記特定撮像部別の設定個数に関する比率を、直前時刻における前記仮説の前記尤度に関する前記特定撮像部別の累積値に応じて設定すること、
   を特徴とする移動物体追跡装置。
6. 請求項５に記載の移動物体追跡装置において、
   前記仮説設定手段は、前記移動物体それぞれについての前記仮説のうち所定割合の設定個数分に関してのみ、前記累積値に応じて前記特定撮像部別の前記設定個数の比率を設定すること、
   を特徴とする移動物体追跡装置。
7. 請求項１から請求項６のいずれか１つに記載の移動物体追跡装置において、
   前記尤度算出手段は、
   前記仮説毎の前記画像特徴に関する比較について、当該仮説にて組み合わされている前記特定撮像部と前記予測位置との距離に応じた信頼度を算出する信頼度算出手段を有し、
   前記信頼度を加味して前記尤度を算出すること、
   を特徴とする移動物体追跡装置。

Images