JP5203319B2 - 置き去り監視装置 - Google Patents

Description

本発明は、監視空間が撮像された画像から当該監視空間に置き去られた不審物及び当該不審物の置き去り主を検知する置き去り監視装置に関する。

駅や空港等における防犯を目的とした監視業務のひとつに不審物の置き去り監視がある。置き去りを監視する場合、不審物を迅速に発見して確認・撤去することも重要な業務となるが、その置き去り主を特定することも重要な業務となる。一般に、不審物が認識されたときには置き去り主はその場を去っているため、監視カメラにより撮像された過去画像から置き去り時点の画像を探し出すことになる。この作業を人手で行うと監視効率は大幅に低下する。

特許文献１に記載された画像監視システムにおいては、入力画像と背景画像の差から人物像を検出するとともに人物像から分離した荷物像を検出し、当該荷物像が長時間静止し続けていることが判定されると当該荷物像と分離元の人物像を対応付けて記録あるいはモニタ出力することにより監視コストの低減を図ることが記載されている。

特開平１−２４５３９５号公報

しかしながら、駅や空港等の監視空間においては一般に不特定多数の人々が行き交い、画像上では不審物の像と人物の像の重なりや人物同士の像の重なりが頻繁に生じる。従来技術においては、このような重なりが生じると不審物と置き去り主の対応関係を誤って判定してしまう問題があった。

例えば、不審物とは無関係な人物が停止している場合に、その背後或いは手前で不審物の置き去りが行なわれると、不審物の像と停止中の人物の像が重なって撮像される。その後、停止していた人物が動き出すと当該人物から不審物が分離したと誤判定される。
また例えば、不審物の置き去りが行なわれたときに不審物とは無関係な人物が置き去り主とすれ違うと、置き去り主及び不審物の像とすれ違った人物の像が重なって撮像され、すれ違った人物から不審物が分離したと誤判定される場合がある。

このように不審物と置き去り主の対応関係が誤判定されると、結局人手により過去の画像を遡らなければならず監視効率が大幅に低下してしまうこととなる。あるいは不審物と置き去り主の対応関係の判定に基づき選択的に画像を記録する場合は、誤判定により置き去り主の画像が失われてしまうこととなる。

本発明は、上記問題を鑑みてなされたものであり、物体間で交錯が生じても不審物の置き去り主を特定可能な情報を確実に出力して、効率的な置き去り監視を可能とする置き去り監視装置を提供することを目的とする。

本発明にかかる置き去り監視装置は、不審物及び当該不審物の置き去り主を検知する置き去り監視装置であって、監視空間を所定時間おきに撮像して監視画像を順次出力する撮像部と、記憶部と、各時刻の監視画像から物体像を検出して前後する時刻に検出された物体像の同定を行い、同定された物体ごとに物体像を当該物体像の検出領域及び当該物体像の検出時刻と対応付けて記憶部に記憶させる物体追跡手段と、予め設定された静止判定時間を超えて検出領域が変位していない物体を不審物として検知する不審物検知手段と、不審物が最初に検出された検出時刻直前を終点とする所定期間において検出領域が不審物の検出領域と重なる全ての物体を置き去り主の候補物体として検知する置き去り主検知手段と、候補物体の物体像を記憶部から選択して出力する事案情報出力手段と、を備えたことを特徴とする。

かかる構成によれば、置き去り主以外の無関係物体が不審物の周辺に存在しても真の置き去り主を確実に含んだ情報を出力できるので、監視効率を向上させることができる。

また、本発明の好適な態様においては、所定期間は、前記終点から過去方向に不審物の検出領域に重なる検出領域が連続して検出されている期間である。
かかる構成によれば、確実に不審物とは無関係な物体を除いて絞り込まれた候補物体の情報を提供できるので、監視効率を向上させることができる。

また、本発明の好適な態様においては、置き去り主検知手段は、候補物体の物体像を不審物の物体像と照合して一致度を算出し、最大の一致度が算出された候補物体を検知する。
かかる構成によれば、置き去り主を一意に特定できるので、監視効率をさらに向上させることができる。

また、本発明の好適な態様においては、置き去り主検知手段は、候補物体の物体像のうち当該物体像と対応付けられた検出領域が不審物の検出領域と重なる物体像を除外して照合を行なう。
かかる構成によれば、単に不審物の周辺を通過しただけの無関係物体が置き去り主に特定される誤りを防止できる。

また、本発明の好適な態様においては、物体追跡手段は、ひとつの物体像に対して２以上の物体を同定することを許容し、置き去り主検知手段は、候補物体の物体像のうち２以上の物体と同定された物体像を除外して照合を行なう。
かかる構成によれば、２以上の物体が一体化している物体像と照合してしまうことにより置き去り主を一意に特定できなくなる不具合を防止できる。

また、本発明の好適な態様においては、不審物検知手段は、各物体が最初に検出された検出時刻からの変位を計測する。

移動物体は視野外から視野内へ移動して出現するが、不審物は移動物体から分離して当初から静止状態で検出される。そのため上記構成により物体像が検出され始めた時刻から静止し続けている物体を検知することで、一時的に停止した移動物体が不審物として誤検知されなくなり、置き去り主の検知は正しく検知された不審物に関して行われる。そのため、不審物及び置き去り主の検知精度が向上する。

本発明によれば、物体間で交錯が生じても不審物の置き去り主を特定可能な情報を確実に出力できるので、置き去りの監視効率を向上させることができる。

本実施の形態に係る置き去り監視装置の機能ブロック図である。 置き去り監視装置により撮像又は生成される画像情報を例示した図である。 置き去り監視装置により撮像又は生成される画像情報を例示した図である。 物体像履歴の一部として生成される存在履歴画像を例示する図である。 置き去り監視装置による処理のメイン・フローチャートを示す図である。 置き去り検知処理のフローチャートを示す図である。 置き去り検知処理のフローチャートの一部を示す図である。 物体像履歴を模式的に示した図である。

本発明の好適な実施形態の一例として、不特定多数の人が行き交う駅等の待合室において不審物の置き去りを監視する置き去り監視装置について説明する。

［置き去り監視装置１の構成］
図１〜図３を参照して、置き去り監視装置１の構成を説明する。図１は置き去り監視装置１の機能ブロック図、図２及び図３は置き去り監視装置１により撮像又は生成される画像を例示した図である。

置き去り監視装置１は、撮像部２、記憶部３、表示部５及び記録装置６が制御部４に接続されて構成される。

撮像部２は所謂監視カメラである。撮像部２は、監視空間を所定時間間隔にて撮像した監視画像を順次、制御部４へ出力する。以下、上記時間間隔で刻まれる時間単位を時刻と称する。

記憶部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置である。記憶部３は、各種プログラムや各種データを記憶し、制御部４との間でこれらの情報を入出力する。各種データには、背景画像３０、物体像履歴３１及び事案情報３２が含まれる。

背景画像３０は、監視空間の背景の像のみが含まれ、危険物や忘れ物等の不審物の像及び通行者等の移動物体の像が含まれていない画像である。背景画像３０は、置き去り検知処理に先立って生成され、記憶される。

物体像履歴３１は、各時刻において監視画像から検出された物体の画像（物体像）を、当該物体像の検出領域及び当該物体像の検出時刻と対応付けて物体ごとに履歴化した情報である。物体とは背景構成物以外の物体であり、不審物や移動物体である。

図８は、後述する図２の監視画像１０１，１０２，…から検出された情報に基づき生成される物体像履歴３１の要部を模式的に示した図である。
図８の各行はひとつのデータセットを表しており、物体像履歴３１は１以上のデータセットを含んでなる。各データセットは検出時刻、物体ＩＤ、物体像、検出領域等からなる。検出時刻は新たな監視画像が撮像されるたびに増加するインデックス番号で表される。物体ＩＤは各物体を一意に識別する符号又は数字で表される。物体像は監視画像から切り出され、当該物体を視認可能な多値画像である。検出領域は物体像内外で画素値を異ならせた２値画像と監視画像に対する２値画像の相対位置を表す座標データからなる情報である。

別の実施形態において物体像履歴３１は、各時刻の監視画像と、当該時刻の検出領域と、各検出領域に対応する物体ＩＤ等のデータセットが検出時刻順に記憶された時系列データである。物体像は検出領域と監視画像の組から特定できるので図８を参照して説明した例と等価である。

また、後述する物体追跡において都度の演算を行なわないで済むように、各物体の最新の物体像から抽出された色ヒストグラムなどの特徴量を当該物体の参照特徴量として物体像履歴３１の一部に含め、物体像の重心位置を物体ごとに履歴化した移動軌跡を物体像履歴３１の一部に含めて記憶する。

制御部４は、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置である。制御部４は、背景画像生成手段４０、物体追跡手段４１、不審物検知手段４２、置き去り主検知手段４３、事案情報出力手段４４等の動作を記述したプログラムを記憶部３から読み出して実行することにより各手段として機能する。制御部４は、撮像部２からの監視画像を処理して不審物及び当該不審物の置き去り主を検知し、検知した物体の情報を表示部５及び記録装置６に出力する。また制御部４は、不図示の時計手段を備え、時計手段から現在の日時を取得することができる。

背景画像生成手段４０は、監視空間に不審物及び移動物体が存在しないときに撮像された監視画像の全体を背景画像３０として記憶部３に記憶させる。また、背景画像生成手段４０は、背景画像３０を監視空間の照明変動等に適応させるために、監視画像のうち物体像が検出されなかった部分を背景画像３０に合成することで背景画像３０を更新する。合成は重み付け平均処理又は置換処理により行われる。

物体追跡手段４１は、各時刻の監視画像から物体像を検出して前後する時刻に検出された物体像の同定を行い、同定された物体ごとに物体ＩＤを付与して、物体像、当該物体像ごとの検出領域、当該物体像ごとの検出時刻及び物体ＩＤを対応付けたデータセット群を物体像履歴３１として記憶部３に記憶させる。

物体像の検出は監視画像と背景画像３０の比較により行われる。具体的には、物体像は背景差分処理により検出される。すなわち物体追跡手段４１は、監視画像と背景画像３０の対応する画素ごとに画素値の差の絶対値が予め設定された差分閾値以上である画素を抽出し、近接して抽出された画素を変化領域としてまとめ、監視画像中の変化領域に対応する部分を物体像として検出する。また、各物体像が検出された監視画像が撮像された時刻が当該物体像の検出時刻、変化領域の外形が当該物体像の検出領域とされる。検出領域は変化領域の外形に代えて、変化領域の外接矩形としてもよい。

別の実施形態において物体像は背景相関処理により検出される。この場合、物体追跡手段４１は、監視画像の各画素と当該画素に対応する背景画像３０の画素との相関値を求めて、相関値が予め設定された相関閾値未満の画素のうち互いに近接する画素を上記変化領域としてまとめる。

物体像の同定は、現時刻において検出された物体像と物体像履歴３１の比較により行われる。以下、現時刻において検出された物体像を現物体像とも称する。物体追跡手段４１は、現物体像のそれぞれを分析して特徴量および重心位置を算出するとともに履歴中の移動軌跡から現時刻における各物体の予測位置を求め、現物体像と履歴中の物体の全組み合わせに対して現時刻の特徴量と履歴中の参照特徴量との類似度（特徴類似度）及び現時刻の重心位置と予測位置との類似度（位置類似度）を重み付け加算した総合類似度を算出し、総合類似度と予め設定された同定閾値との比較に基づき尤もらしい組み合わせを同一物体と判定する。
すなわち履歴中の各物体について最大の総合類似度を選出して同定閾値と比較し、同定閾値を超えていれば当該総合類似度が算出された組み合わせを決定する。２以上の物体が画像上で重なって一体化した物体像に関しては、ひとつの物体像に対して２以上の物体を同定することが許容される。視野外に消失した物体や、新たに視野内に出現した物体の物体像は同定が得られないことから判別できる。
予測位置は移動軌跡に等速直線モデルまたはカルマンフィルタ等を適用することで算出できる。総合類似度は予め設定された０＜α＜１なる定数αを用いて｛α×特徴類似度＋（１−α）×位置類似度｝と算出できる。

図２の画像１０１〜１０４、図３の画像１０５〜１０８は時刻（ｔ−Ｔｓ−５）〜現時刻ｔまでに撮像された監視画像の例である。この間、監視画像には人物ａ，ｂ，ｃ，ｅと箱ｄが撮像された。
図２の画像２０１〜２０４、図３の画像２０５〜２０８は、対応する各時刻の監視画像から検出された検出領域を示す画像である。

人物ａは、時刻（ｔ−Ｔｓ−５）に画像中央付近を通り、時刻（ｔ−Ｔｓ−４）〜（ｔ−Ｔｓ−１）の間に画像右下に停止して人物ｂと会話を交わし、時刻（ｔ−Ｔｓ）に再び移動を始め、以降は視野外に消えた。時刻（ｔ−Ｔｓ−５）〜（ｔ−Ｔｓ）の監視画像１０１〜１０６からは人物ａに関する検出領域２１０，２２０，２３０，２４０，２５０，２６０が検出され、これらに対応する物体像１１０，１２０，１３０，１４０，１５０，１６０が順次物体Ａ（物体ＩＤ「Ａ」を付与された物体）として同定され、物体像履歴３１に記憶されている。

人物ｂは、時刻（ｔ−Ｔｓ−５）に画像左下に出現した後、画像右側に向かって移動し、時刻（ｔ−Ｔｓ−３）〜（ｔ−Ｔｓ−１）の間に画像中央付近に停止して人物ａと会話を交わし、時刻（ｔ−Ｔｓ）に再び移動を始め、以降は視野外に消えた。時刻（ｔ−Ｔｓ−５）〜（ｔ−Ｔｓ）の監視画像１０１〜１０６からは人物ｂに関する検出領域２１１，２２１，２３１，２４１，２５１，２６１が検出され、これらに対応する物体像１１１，１２１，１３１，１４１，１５１，１６１が順次物体Ｂとして同定され、物体像履歴３１に記憶されている。但し、時刻（ｔ−Ｔｓ−２）において人物ｂとｃがすれ違ったため、監視画像１０４から検出された検出領域２４１は人物ｂとｃが一体化したものとなり、検出領域２４１と対応する物体像１４１は物体Ｃとしても同定される。

人物ｃは、時刻（ｔ−Ｔｓ−４）に画像右上に箱ｄを携えて出現した後、画像左側に向かって移動し、時刻（ｔ−Ｔｓ−２）に箱ｄを画像中央付近に放置し、そのまま画像左側に向かって移動を続け、時刻（ｔ−Ｔｓ）には視野外へと消えた。人物ｃは箱ｄの置き去り主である。時刻（ｔ−Ｔｓ−４）〜（ｔ−Ｔｓ−１）の監視画像１０２〜１０５からは人物ｃに関する検出領域２２２，２３２，２４１，２５２が検出され、これらに対応する物体像１２２，１３２，１４１，１５２が順次物体Ｃとして同定され、物体像履歴３１に記憶されている。尚、上述したように物体像１４１は物体Ｂとしても同定されている。

箱ｄは、時刻（ｔ−Ｔｓ−４）に人物ｃに携えられて出現し、時刻（ｔ−Ｔｓ−２）に画像中央付近に放置された。箱ｄの像は、時刻（ｔ−Ｔｓ−４）〜（ｔ−Ｔｓ−１）の間は人物ｃ又は人物ｂの像と一体化していたため、ひとつの独立した物体像として検出されなかった。箱ｄの像は、その後の時刻（ｔ−Ｔｓ）において初めて独立した物体像として検出された。時刻（ｔ−Ｔｓ）以降の監視画像１０６〜１０８から検出された検出領域２６３，２７３，２８３に対応する物体像１６３，１７３，１８３は順次物体Ｄとして同定され、物体像履歴３１に記憶されている。但し、時刻（ｔ−Ｔｓ＋ｎ）において箱ｄの向こう側を人物ｅが横切ったため、監視画像１０７から検出された検出領域２７３は人物ｅと箱ｄが一体化したものとなり、検出領域２７３と対応する物体像１７３は物体Ｅとしても同定されている。

人物ｅは、箱ｄが放置された後の時刻（ｔ−Ｔｓ＋ｎ）に画像中央付近を通過し、視野外へと消えた。時刻（ｔ−Ｔｓ＋ｎ）の監視画像１０７からは人物ｅに関する検出領域２７３が検出され、これに対応する物体像１７３が物体Ｅとして同定され、物体像履歴３１に記憶される。尚、上述したように物体像１７３は物体Ｄとしても同定されている。

不審物検知手段４２は、各物体について記憶されている物体像履歴３１を解析して各物体の変位を計測し、予め設定された静止判定時間Ｔｓを超えて検出領域が変位していない物体を不審物として検知し、検知された不審物の物体ＩＤを置き去り主検知手段４３に出力する。
具体的には不審物検知手段４２は、Ｔｓ以上の時間に亘り検出された各物体の移動軌跡から移動距離を算出して静止判定距離Ｔｄと比較し、移動距離がＴｄ未満である物体を不審物として検知する。Ｔｄには物体像の検出誤差を考慮した０に近い値が予め設定される。
別の実施形態において不審物検知手段４２は、Ｔｓ以上の時間に亘り検出された各物体の検出領域を重ね合わせてはみ出し面積の割合を静止判定割合Ｔｒと比較し、はみ出し面積の割合がＴｒ未満である物体を不審物として検知する。Ｔｒには物体像の検出誤差を考慮した０に近い値が予め設定される。
尚、不審物の検知漏れを防ぐために、２以上の物体と同定されたときの検出領域の情報は変位の計測から除くのがよい。

ここで、停止中の移動物体が不審物と誤検知されれば当該誤検知に基づく置き去り主検知処理自体がエラーとなる。移動物体が停止する時間よりも十分に長い静止判定時間Ｔｓを設定することで誤検知を防止することも可能であるが、不審物及び置き去り主を迅速に検知するためにはＴｓをできる限り短く設定することが望ましい。

そこで不審物検知手段４２は、各物体が最初に検出された検出時刻からの変位を計測する。具体的には不審物検知手段４２は、各物体の移動軌跡の１データ目からの移動距離を算出する。はみ出し面積から変位を計測する別の実施形態において不審物検知手段４２は、各物体の最古の検出領域から順に重ね合わせを行なう。
不審物の物体像が検出され始めるのは置き去り主から分離して以降であるため、不審物は当初から静止状態で観測される。一方、移動物体は視野外から視野内に現れるため、当初は移動状態で観測される。この違いにより、静止判定時間Ｔｓを比較的短い時間に設定しつつも移動物体と不審物を区別することが可能となるのである。Ｔｓは１０秒〜１分程度の時間に設定できる。このように各物体が最初に検出された検出時刻からの変位を計測することで不審物を迅速且つ高精度に検知できる。

図２及び図３の例において人物ａは時刻（ｔ−Ｔｓ−４）〜（ｔ−Ｔｓ−１）に停止しているが時刻（ｔ−Ｔｓ−４）までは移動していたため不審物として誤検知されない。同様に人物ｂも時刻（ｔ−Ｔｓ−３）〜（ｔ−Ｔｓ−１）に停止しているが時刻（ｔ−Ｔｓ−３）までは移動していたため不審物として誤検知されない。
一方、箱ｄは時刻（ｔ−Ｔｓ）に物体Ｄとして物体像が検出され始めて以降は静止したままであったため時刻ｔにおいて不審物として正しく検知される。

置き去り主検知手段４３は、不審物検知手段４２により不審物が検知されると、物体像履歴３１を解析して、当該不審物の最古の検出時刻の直前時刻を終点とする期間において検出領域が不審物の検出領域と重なる全ての物体を置き去り主の候補物体として検知し、検知された物体の物体ＩＤを含めた置き去り主情報を事案情報出力手段４４に出力する。
物体像履歴３１に記憶されている不審物の最古の検出時刻は当該不審物の物体像が最初に検出された時刻を意味する。以下、この時刻を不審物出現時刻とも称する。また、以下では不審物の検出領域を不審物検出領域とも称し、上記期間を検知対象期間とも称する。
置き去り主が他の移動物体と交錯すると、不審物はあたかも交錯した移動物体から分離したような状況となることがある。そうなると不審物出現時刻の直前に不審物検出領域と重なる領域に撮像されている像は交錯した移動物体の像となる。しかし、置き去り主は少なくとも不審物出現時刻の直前までに不審物検出領域と重なる領域に撮像されているため、不審物出現時刻の直前時刻より過去の複数時刻をも検知対象とすることで置き去り主を漏らさず検知できる。
よって置き去り主以外の無関係物体が不審物の周辺にいても真の置き去り主を確実に含んだ候補物体を検知できる。

ここで、検知対象期間の長さとして十分に長い時間を予め設定しておくことも可能であるが、余分に長いと不審物検出領域を通過しただけの物体が無駄に候補物体に加わる。候補物体が無駄に増えると、監視効率が低下したり、後述する照合における誤照合の可能性を高めてしまう。そのため検知対象期間は意味のある範囲で最小限の長さとすることが望ましい。

そこで、検知対象期間は、不審物出現時刻の直前から過去方向に不審物検出領域に重なる検出領域が連続して検出されている期間とする。検知対象期間の長さは状況に応じて変動することになる。不審物検出領域に重なる検出領域はどの物体の検出領域であっても構わない。
連続検出が途切れた時刻より過去において不審物は未だ置き去られていないはずであるから、上記連続検出期間を検知対象期間とすることで、検知対象期間は真の置き去り主を確実に候補物体に含めることのできる最小限の長さとなる。よって、監視効率の低下が防止され、誤照合が生じる可能性を低減することができる。

図２及び図３の例を用いて候補物体の検知を具体的に説明する。この例においては、不審物検知手段４２は時刻ｔに不審物Ｄを検知し、不審物出現時刻は時刻（ｔ−Ｔｓ）、不審物検出領域は検出領域２６３となる。

置き去り主検知手段４３は、検知対象期間の終端を時刻（ｔ−Ｔｓ−１）とし、時刻（ｔ−Ｔｓ−１）から時間を遡って各時刻の検出領域と不審物検出領域の重ね合わせを行なう。時刻（ｔ−Ｔｓ−１）では物体Ｂの検出領域２５１、時刻（ｔ−Ｔｓ−２）では物体Ｂ及びＣの検出領域２４１、時刻（ｔ−Ｔｓ−３）では物体Ｂの検出領域２３１が不審物検出領域と重なる。時刻（ｔ−Ｔｓ−４）では不審物検出領域と重なる検出領域がないため、置き去り主検知手段４３は遡りを止め、検知対象期間の始端時刻を時刻（ｔ−Ｔｓ−３）とする。
そして置き去り主検知手段４３は、検知対象期間（ｔ−Ｔｓ−３）〜（ｔ−Ｔｓ−１）の間に検出領域が不審物検出領域と重なった物体Ｂ及びＣを候補物体として検知する。

不審物Ｄの像はあたかも物体Ｂの像から分離したようにも見えるが、実際には不審物Ｄの像は物体Ｂの背後で物体Ｃから分離している。このように画像上で物体間の重なりが生じていても、置き去り主検知手段４３は、真の置き去り主である物体Ｃを取りこぼすこと無く候補物体として検知できる。つまり、置き去り主検知手段４３は、検知対象期間内に不審物検出領域にて物体像が抽出された「全ての」物体を置き去り主の候補物体として検知するので、置き去り主以外の無関係物体が不審物の周辺にいたとしても真の置き去り主を確実に含んだ候補物体を検知できるのである。
尚、図２及び図３では物体Ｂ，Ｃの２物体が連続検出される例を示したが、３以上の物体が連続検出されたとしても、同様の処理により置き去り主検知手段４３は真の置き去り主を検知し損ねることはない。

また、検知対象期間の終端時刻が時刻（ｔ−Ｔｓ−１）に制限されることにより不審物Ｄ（箱ｄ）自身、及び不審物Ｄとは無関係な物体Ｅ（人物ｅ）が候補物体から適切に除外されている。
また、検知対象期間の始端時刻が時刻（ｔ−Ｔｓ−３）に制限されることにより不審物検出領域を通過しただけで不審物Ｄとは無関係な物体Ａ（人物ａ）が候補物体から適切に除外されている。

上記では置き去り主検知手段４３が物体像履歴３１を順次遡って候補物体を検知する例を説明したが、置き去り主検知手段４３は以下に説明する存在履歴画像を物体像履歴３１の一部として逐次生成することによっても同様に候補物体を検知できる。
存在履歴画像は監視画像と同じ大きさの画像であり、静止物体が存在している画素位置と当該画素位置に存在していた物体の物体ＩＤの履歴情報を表す画像である。置き去り主検知手段４３は現時刻に検出された検出領域に一時刻前に生成された存在履歴画像を重ね合わせて履歴が書き込まれた画素と重なる検出領域と重ならない検出領域を選別し、重なる検出領域内の画素値を重なり元の履歴と当該検出領域の物体ＩＤをマージした履歴とし、重ならない検出領域内の画素値を当該検出領域の物体ＩＤで初期化した新たな存在履歴画像を逐次生成する。初期画像は全画素について履歴なし（物体ＩＤなし）とする。過去の存在履歴画像は少なくともＴｓ時間の間だけ記憶しておく。
置き去り主検知手段４３は、不審物出現時刻において生成された存在履歴画像において不審物の物体ＩＤを有する画素に保持されている物体ＩＤを候補物体の物体ＩＤとして検知する。

図４は、図２及び図３の例において生成される存在履歴画像３０１〜３０８を示している。
時刻（ｔ−Ｔｓ−４）においては図２の検出領域２２０，２２１，２２２と一時刻前の存在履歴画像３０１が重ね合わされるが、重なる検出領域は無く、検出領域２２０，２２１，２２２内の画素値を各検出領域に対応する物体ＩＤ「Ａ」，「Ｂ」，「Ｃ」とする存在履歴画像３０２が生成される。
時刻（ｔ−Ｔｓ−３）においては図２の検出領域２３０，２３１，２３２と一時刻前の存在履歴画像３０２が重ね合わされ、存在履歴画像３０３が生成される。検出領域２３０については重なりが認識されるが、履歴と検出領域２３０が同一ＩＤ「Ａ」であるためマージされた履歴「Ａ」が検出領域２３０内の画素値に設定される。検出領域２３１，２３２については重なりが認識されず、検出領域２３１，２３２内の画素値は各領域に対応する物体ＩＤ「Ｂ」，「Ｃ」で初期化される。
同様に、時刻（ｔ−Ｔｓ−２）において存在履歴画像３０４が生成され、時刻（ｔ−Ｔｓ−１）において存在履歴画像３０５が生成される。
時刻（ｔ−Ｔｓ）においては図３の検出領域２６０，２６１，２６３と一時刻前の存在履歴画像３０５が重ね合わされ、存在履歴画像３０６が生成される。不審物Ｄの検出領域２６３については重なりが認識され、履歴「Ｂ，Ｃ」と検出領域２６３の物体ＩＤ「Ｄ」がマージされた履歴「Ｂ，Ｃ，Ｄ」が検出領域２６３内の画素値に設定される。検出領域２６０，２６１については重なりが認識されず、検出領域２６０，２６１内の画素値は各検出領域に対応する物体ＩＤ「Ａ」，「Ｂ」で初期化される。
同様に、時刻（ｔ−Ｔｓ＋ｎ）において存在履歴画像３０７が生成され、時刻ｔにおいて存在履歴画像３０８が生成される。時刻（ｔ−Ｔｓ）以降は不審物Ｄが静止し続けているため、不審物検出領域にて検出された物体の物体ＩＤが存在履歴画像に継承されていく。
不審物Ｄが検知されたとき、置き去り主検知手段４３は不審物出現時刻（ｔ−Ｔｓ）に生成された存在履歴画像３０６において不審物の物体ＩＤ「Ｄ」を有する画素に保持されている物体ＩＤ「Ｂ」と「Ｃ」を候補物体の物体ＩＤとして検知する。

さらに、置き去り主検知手段４３は、不審物の物体像を各候補物体の物体像と照合して候補物体ごとに一致度を算出し、最大の一致度が算出された候補物体の物体ＩＤに絞り込んだ置き去り主情報を出力してもよい。上記照合は候補物体の物体像中の一部領域を照合領域に順次設定しながらの探索的な照合である。
不審物を携えた置き去り主の物体像は不審物の物体像と部分一致するため高い一致度が算出される。そのため、置き去り主を一意に特定でき、監視効率をさらに向上させることができる。

ここで、候補物体の物体像のうち不審物検出領域において検出された物体像は不審物と無関係物体とが同時に含まれている可能性がある。このような物体像を照合対象に含めると無関係物体に対して高い一致度が算出されてしまう。
そこで、置き去り主検知手段４３は、候補物体の物体像のうち当該物体像と対応付けられた検出領域が不審物検出領域と重なる物体像を除外して照合を行なう。
これにより、無関係物体に対して高い一致度が算出される誤りを防止でき、監視効率の低下を防ぐことができる。

また、候補物体の物体像のうち他の移動物体の像と一体的に検出された物体像に対して算出された一致度はいずれの物体に対するものか不明となる。
そこで、置き去り主検知手段４３は、候補物体の物体像のうち複数の物体と同定された物体像を除外して照合を行なうことで、不確定な一致度を排除する。

図２及び図３の例を用いて、物体像の照合を具体的に説明する。
置き去り主検知手段４３は物体Ｂの物体像１２１，１１１を不審物Ｄの物体像１６３と照合する。物体Ｂの物体像のうち不審物Ｄの検出領域にて検出された物体像１５1，１４１，１３１が照合対象から除外されていることに注意されたい。このうち物体像１４１は複数の物体と同定されたという観点からも照合対象から除外される条件を満たしている。物体像１２１，１１１はいずれも箱ｄの像を含んでいないため、物体Ｂについては低い一致度が算出される。
置き去り主検知手段４３は物体Ｃの物体像１５２，１３２，１２２も不審物Ｄの物体像１６３と照合する。物体Ｃの物体像のうち不審物Ｄの検出領域にて検出された物体像１４１が照合対象から除外されていることに注意されたい。物体像１４１は複数の物体と同定されたという観点からも照合対象から除外される条件を満たしている。物体像１３２，１２２が箱ｄの像を含んでいるため、物体Ｃについては高い一致度が算出される。

また不審物として検知された物体が、実は忘れ物や一時置きされたものであり、置き去り主により回収されることが日常的に起こる。これらの物体に係る事案が異常事案に混ざると真の異常事案が埋もれてしまい監視効率を低下させたり、記憶部３や記録装置６の容量を圧迫する。
そこで置き去り主検知手段４３は、物体像履歴３１を参照して既検知不審物の移動を検出するとともに移動が検出されたときに当該既検知不審物と最も近い位置にて検出された物体を持ち去り主として特定し、持ち去り主が当該既検知不審物の置き去り主と同一であった場合に当該既検知不審物の物体ＩＤを含めた取下信号を事案情報出力手段４４に出力して、事案の取り下げを要求する。

事案情報出力手段４４は、置き去り主検知手段４３から不審物及び置き去り主の物体ＩＤが入力されると、物体像履歴３１の中から当該不審物及び置き去り主に係る物体像を読み出して、読み出した物体像群に事案ＩＤ及び事案発生日時を付与した事案情報３２を生成し、生成した事案情報３２を表示部５に表示するとともに、同情報を記憶部３に短期記憶させ、同情報を記録装置６に長期記録させる。
また、事案情報出力手段４４は、置き去り主検知手段４３から取下信号が入力されたときに当該取下信号により特定される事案情報３２の表示を取りやめ、同情報を記憶部３から削除する。

表示部５は、事案情報３２等を表示する液晶ディスプレイ等の表示装置などである。表示部５は、制御部４から事案情報３２等が入力されると、これらの情報を視認可能に表示して監視員に伝達する。

記録装置６は、ハードディスクレコーダー或いはＤＶＤレコーダー等であり、制御部４から事案情報３２が入力されると、当該事案情報３２をハードディスク等の磁気記録媒体或いはＤＶＤ等の光記憶媒体に長期記録する。
不審物が危険物であったなら記録された事案情報３２は不審者検挙のための証拠となり、不審物が忘れ物であったなら記録された事案情報３２は忘れ物を正当な所有者に返却するための証拠となる。

［置き去り監視装置１の動作］
以下、図５を参照して、置き去り監視装置１の動作を説明する。

監視空間が無人であることを確認した管理者が装置に電源を投入すると、各部、各手段は初期化されて動作を始める（Ｓ１）。背景画像生成手段４０は、初期化中の監視画像を背景画像３０として記憶部３に記憶させる。また、物体追跡手段４１は物体像履歴３１をクリアする。

初期化の後は、撮像部２から制御部４へ新たな監視画像が入力されるたびにＳ２〜Ｓ７の処理が繰り返される。

新たな監視画像が入力されると（Ｓ２）、制御部４の物体追跡手段４１は、当該監視画像を背景画像３０と比較して現物体像を検出し（Ｓ３）、現物体像と物体像履歴３１との同定を行なって各物体を追跡し（Ｓ４）、現時刻における追跡結果を基に物体像履歴３１を更新する（Ｓ５）。

ステップＳ５における物体像履歴更新処理を詳説する。

物体追跡手段４１は同定が得られた現物体像、当該物体像の検出領域及び検出時刻等に同定された物体像履歴３１と同じ物体ＩＤを対応付けて記憶部３に追記する。また物体追跡手段４１は同定時に算出した現物体像の特徴量で当該物体の参照特徴量を置換し、現物体像の重心位置を算出して当該物体の移動軌跡に追記する。同定が得られた物体は追跡対象として扱われる。

起動直後は物体像履歴３１が空のためいずれの現物体像も同定は得られない。視野外から視野内へ移動してきたばかりの移動物体に係る現物体像も同定は得られない。また、移動物体の像から分離したばかりの不審物に係る現物体像も同定は得られない。
物体追跡手段４１は、いずれの物体像履歴３１とも同定されなかったこれらの現物体像、検出領域及び検出時刻等に新たな物体ＩＤを付与し、新規物体の情報としての物体像履歴３１に追記する。また物体追跡手段４１は現物体像の特徴量（参照特徴量となる）、現物体像の重心位置（移動軌跡の１データ目となる）のそれぞれにも上記新たな物体ＩＤを対応付けて物体像履歴３１に追記する。この新規物体は新たに追跡対象に加わったことになる。

視野内から視野外へと移動した移動物体の物体像履歴３１は、いずれの現物体像とも同定されない。物体追跡手段４１は、このような物体像履歴３１に消失フラグを立てる（消失フラグに１をセットする）。消失フラグが立っている物体は追跡対象外として扱われる。

続いて制御部４は置き去り検知処理を行う（Ｓ６）。図６を参照して置き去り検知処理を詳細に説明する。

置き去り主検知手段４３は、現物体像の検出領域と一時刻前の存在履歴画像を演算して存在履歴画像を更新する（Ｓ６０）。

存在履歴画像が更新されると制御部４は、追跡対象となっている物体を順次注目物体に設定してステップＳ６１〜Ｓ７６のループ処理を実行する。

ループ処理において制御部４は、まず注目物体が前時刻までに既に不審物として検知された既検知不審物であるか否かを判定する（Ｓ６２）。既検知不審物であった場合の処理は後述する。

一方、既検知不審物でなかった場合、制御部４の不審物検知手段４２は注目物体が不審物であるか否かを判定する（Ｓ６２にてＮＯ→Ｓ６３）。すなわち不審物検知手段４２は、注目物体の移動軌跡を構成する位置情報のうち前後する位置情報間の距離を順次累積して総移動距離を算出し、総移動距離を静止判定距離Ｔｄと比較する。不審物検知手段４２は、総移動距離がＴｄ未満であれば注目物体を不審物として検知し、注目物体の物体像履歴３１に不審物フラグを立てる（不審物フラグに１をセットする）。不審物フラグが立っている物体は次時刻以降、既検知不審物として扱われる。
但し、移動軌跡を構成する位置情報の個数が未だ静止判定時間Ｔｓ相当の個数に満たない場合、判定は次時刻以降に持ち越され、現時刻においては便宜的に不審物でないとされる。

上述したステップＳ６３において不審物検知手段４２は静止のみを条件として不審物を検知した。別の実施形態において不審物検知手段４２は、注目物体が新規出現した時刻の前後の一定時間Ｔ１に別の移動物体がその近傍に存在しているという追加条件をも満たす場合に注目物体を不審物として検知する。このようにすることで、窓から差し込む光等により突然出現したノイズの像を不審物と検知する誤りを防止することができる。

また、さらに別の実施形態において不審物検知手段４２は、注目物体が新規出現した時刻から静止判定時間Ｔｓが経過するまでの期間に注目物体の近傍に移動物体がいない時間があるという追加条件をも満たす場合に注目物体を不審物として検知する。このようにすることで、足元に置いただけの荷物等をいちいち不審物として検知することを防止でき、監視効率を向上させることができる。

また、さらに別の実施形態において不審物検知手段４２は、上記２つの追加条件をも満たす場合に注目物体を不審物として検知する。

注目物体が不審物と判定されなかった場合（Ｓ６３にてＮＯ）、当該注目物体に関する現時刻の処理は終わり、次の追跡物体に関する処理へと進められる。

一方、注目物体が不審物と判定された場合（Ｓ６３にてＹＥＳ）、不審物検知手段４２は注目物体の物体ＩＤを制御部４の置き去り主検知手段４３に通知し、通知を受けた置き去り主検知手段４３はステップＳ６４以降の置き去り主検知処理を行う。

まず、置き去り主検知手段４３は、現時刻より静止判定時間Ｔｓだけ過去に生成され記憶されている存在履歴画像を参照して注目物体の物体ＩＤを有する画素を検索し、同画素に保持されている注目物体以外の物体ＩＤを置き去り主の候補物体の物体ＩＤとして特定する（Ｓ６４）。これにより、不審物出現時刻の直前時刻を終点とし不審物検出領域と重なる検出領域の検出時刻が終点まで連続している期間において、検出領域が不審物検出領域と重なる全ての物体が置き去り主の候補物体として検知される。

候補物体の物体ＩＤを特定した置き去り主検知手段４３は、物体像履歴３１において当該物体ＩＤと対応付けて記憶されている物体像（候補物体の物体像）を順次読み出して注目物体像に設定し、ステップＳ６５〜Ｓ６９の物体像ループ処理を実行する。

物体像ループ処理において置き去り主検知手段４３は、注目物体像と対応付けられている検出領域を不審物検出領域と重ね合わせて重なりの有無を判定し（Ｓ６６）、注目物体像と対応付けられている検出領域及び検出時刻のセットと同一のセットが他に記憶されているか否かを確認する（Ｓ６７）。重なりがなければ注目物体像は不審物検出領域にて検出されたものでないと判定され（Ｓ６６にてＮＯ）、さらに同一のセットが他に記憶されていなければ注目物体像は単一の物体として同定されたものと確認され（Ｓ６７にてＹＥＳ）、置き去り主検知手段４３は注目物体像を不審物像と照合する（Ｓ６８）。照合の結果、一致度が算出され、置き去り主検知手段４３は一致度を注目物体像の物体ＩＤと対応付けて記憶部３に一次記憶させる。

一方、重なりがあれば注目物体像は不審物検出領域にて検出されたものであると判定されて、照合は行なわれない（Ｓ６６にてＹＥＳ→Ｓ６９）。また、同一のセットが他に記憶されていれば注目物体像は２以上の物体として同定されたものとされ、照合は行なわれない（Ｓ６７にてＮＯ→Ｓ６９）。

ステップＳ６８の照合について詳説する。置き去り主検知手段４３は、不審物検知手段４２から通知された物体ＩＤ及び現時刻から静止判定時間Ｔｓだけ過去の時刻をキーにして物体像履歴３１を検索することで不審物像を取得する。不審物像を取得した置き去り主検知手段４３は、不審物像と同形同大の照合領域を注目物体像に順次設定しては不審物像と照合領域内の注目物体像の類似度を算出する処理を繰り返す。照合領域の設定は１画素ずつずらしながら行なわれる。類似度は対応する画素間の相関値を平均することで算出される。こうして複数の照合領域に対して得られた類似度のうちの最大値が不審物像と注目物体像の一致度として算出される。

物体像ループ処理を終えると、置き去り主検知手段４３は一次記憶された一致度の中から最大値を検索し、当該最大値と対応付けられている物体ＩＤを置き去り主の物体ＩＤと特定する（Ｓ７０）。置き去り主を特定した置き去り主検知手段４３は、不審物と置き去り主の物体ＩＤを事案情報出力手段４４に通知する。

通知を受けた事案情報出力手段４４は、事案情報３２の生成と出力を行なう（Ｓ７１）。事案情報出力手段４４は、物体像履歴３１の中から不審物の物体ＩＤと対応付けられている物体像及び置き去り主の物体ＩＤと対応付けられている物体像を選択的に読み出し、時計手段から現在日時を取得し、新規の事案ＩＤを生成し、読み出した物体像と現在日時と事案ＩＤからなる事案情報３２を生成する。そして、事案情報出力手段４４は、生成した事案情報３２を記憶部３に記憶させるとともに、表示部５に出力する。

表示部５は事案情報３２を表示し、表示された事案情報３２を見た監視員は不審物と置き去り主を確認し、必要に応じて不審物の回収や置き去り主への事情確認等を行う。
また、事案情報出力手段４４は、定期的に物体像履歴３１と記憶部３の事案情報３２を比較して、事案情報３２における置き去り主が追跡物体ではなくなっていれば当該事案情報３２を記録装置６に移動させる。

図７を参照し、ステップＳ６２において注目物体が既検知不審物と判定された場合の処理を説明する。

置き去り主検知手段４３は、物体像履歴３１の移動軌跡を参照して既検知不審物に位置変動が生じたか否かを確認する（Ｓ７２）。位置変動が確認されると、置き去り主検知手段４３は、再び物体像履歴３１の移動軌跡を参照して、一時刻前の既検知不審物の位置と他の各物体の位置の距離を算出して最も距離の短い物体を特定し、特定された物体が既検知不審物を移動させた持ち去り主であると判定する（Ｓ７３）。

持ち去り主が特定されると、置き去り主検知手段４３は、既検知不審物の物体ＩＤをキーにして事案情報３２から当該既検知不審物の置き去り主を検索し、検索された置き去り主が持ち去り主と同一か確認する（Ｓ７４）。

既検知不審物の持ち去り主が置き去り主であったなら、異常は発生していなかったとして当該既検知不審物に係る事案情報３２を記憶部３から削除し、表示部５における表示を取りやめる（Ｓ７４にてＹＥＳ→Ｓ７５）。

一方、既検知不審物の持ち去り主が置き去り主と異なっていたのであれば、さらなる持ち去り異常が発生したとして物体像履歴３１の中から持ち去り主の物体像を選択的に読み出し、時計手段から現在日時を取得し、読み出した事案情報３２に持ち去り主の物体像と現在日時とを加える（Ｓ７４にてＮＯ→Ｓ７６）。

事案情報出力手段４４は、追記した事案情報３２を記憶部３に上書き記憶させるとともに、表示部５に出力する。表示部５は事案情報３２を表示し、表示された事案情報３２を見た監視員は不審物と置き去り主、持ち去り主を確認し、必要に応じて持ち去り主への事情確認等を行う。
また、事案情報出力手段４４は、定期的に物体像履歴３１と記憶部３の事案情報３２を比較して、事案情報３２における持ち去り主が追跡物体ではなくなっていれば当該事案情報３２を記録装置６に移動させる。

＜変形例＞
上記実施形態において、置き去り主検知手段４３は不審物の物体像との間で最大の一致度が算出されたひとつの物体に特定した置き去り主情報を出力し、事案情報出力手段４４は特定された置き去り主の物体像を出力した。
別の実施形態において、置き去り主検知手段４３は照合を行なわずに全候補物体を含めた置き去り主情報を出力し、事案情報出力手段４４は全候補物体の物体像を出力する。こうすることで携帯時の露出が期待できず照合一致が得にくい小さめの不審物をも監視対象としたい場合にも、効率の良い監視を行うことができる。

また別の実施形態において、置き去り主検知手段４３は一致度の大きい候補物体ほど高い優先順位を付与して候補物体の物体ＩＤと各候補物体の優先順位を含めた置き去り主情報を出力し、事案情報出力手段４４は優先順位に従った並びで候補物体の物体像を出力する。こうすることによっても携帯時の露出が期待できず照合一致が得にくい小さめの不審物をも監視対象としたい場合にも、効率の良い監視を行うことができる。

また別の実施形態において、置き去り主検知手段４３は最大の一致度を予め設定された確定閾値と比較して、最大の一致度が確定閾値を超えていればひとつの物体に特定して置き去り情報を出力し、最大の一致度が確定閾値を超えていなければ優先順位を付与して優先順位を含めた置き去り情報を出力する。こうすることによっても小さめの不審物をも監視対象としたい場合に効率の良い監視を行うことができる。

また上記実施形態においては、人による置き去りを監視する例を示したが、車両による道路上への置き去りを監視することも可能である。

１・・・置き去り監視装置
２・・・撮像部
３・・・記憶部
４・・・制御部
５・・・表示部
６・・・記録装置
３０・・・背景画像
３１・・・物体像履歴
３２・・・事案情報
４０・・・背景画像生成手段
４１・・・物体追跡手段
４２・・・不審物検知手段
４３・・・置き去り主検知手段
４４・・・事案情報出力手段

Claims (6)

1. 不審物及び当該不審物の置き去り主を検知する置き去り監視装置であって、
   監視空間を所定時間おきに撮像して監視画像を順次出力する撮像部と、
   記憶部と、
   各時刻の前記監視画像から物体像を検出して前後する時刻に検出された前記物体像の同定を行い、同定された物体ごとに前記物体像を当該物体像の検出領域及び当該物体像の検出時刻と対応付けて前記記憶部に記憶させる物体追跡手段と、
   予め設定された静止判定時間を超えて前記検出領域が変位していない物体を不審物として検知する不審物検知手段と、
   前記不審物が最初に検出された前記検出時刻直前を終点とする所定期間において前記検出領域が前記不審物の前記検出領域と重なる全ての物体を置き去り主の候補物体として検知する置き去り主検知手段と、
   前記候補物体の物体像を前記記憶部から選択して出力する事案情報出力手段と、
   を備えたことを特徴とする置き去り監視装置。
2. 前記所定期間は、前記終点から過去方向に前記不審物の検出領域に重なる前記検出領域が連続して検出されている期間である請求項１に記載の置き去り監視装置。
3. 前記置き去り主検知手段は、前記候補物体の物体像を前記不審物の物体像と照合して一致度を算出し、最大の一致度が算出された候補物体を検知する請求項１又は２に記載の置き去り監視装置。
4. 前記置き去り主検知手段は、前記候補物体の物体像のうち当該物体像と対応付けられた前記検出領域が前記不審物の検出領域と重なる物体像を除外して前記照合を行なう請求項３に記載の置き去り監視装置。
5. 前記物体追跡手段は、ひとつの物体像に対して２以上の物体を前記同定することを許容し、
   前記置き去り主検知手段は、前記候補物体の物体像のうち２以上の物体と同定された物体像を除外して前記照合を行なう請求項３又は４に記載の置き去り監視装置。
6. 前記不審物検知手段は、前記各物体が最初に検出された前記検出時刻からの前記変位を計測する請求項１〜請求項５の何れか１つに記載の置き去り監視装置。