JP2013228956A - 蝟集監視装置および蝟集監視プログラム - Google Patents

Abstract

【課題】単眼カメラの監視画像から蝟集状態を適確に検出可能な監視システムを構築できる。
【解決手段】蝟集検知処理部１５５は、追跡終了情報蓄積処理部１５４から追跡終了情報を取得すると、取得した追跡終了情報に含まれる終了位置の情報が示す位置を基準に、追跡終了位置検索範囲の領域内に、当該領域内を終了位置とした追跡終了情報が上記取得情報保持手段に保持されているか否かを判断し、追跡終了位置検索範囲の領域内を終了位置とした追跡終了情報が保持されていないとき、当該取得された追跡終了情報に新規なラベル番号を付与し、追跡終了位置検索範囲の領域内を終了位置とした追跡終了情報が保持されているとき、当該取得された追跡終了情報に上記保持された追跡終了情報に付与されているラベル番号と同じラベル番号を付与する。同じラベル番号をもつ追跡終了情報が蝟集検知判定数に達したとき、蝟集が発生した旨を表示部１６に表示する。
【選択図】図１

Description

本発明は、単眼カメラ（１台のカメラ）で撮影した画像を処理対象とした蝟集監視装置および蝟集監視プログラムに関する。

監視カメラで撮影した画像の解析処理技術において、従来では、人間の挙動を認識し不正行動を監視する監視システム（特許文献１参照）、人のかたまりを認識してラベル付けを行い監視範囲をモニタ画面によらずに確認可能にした監視システム（特許文献２参照）、入力画像のデータから侵入物体の個数を検出する監視システム（特許文献３参照）等、種々の画像解析技術を用いた装置およびシステムが開発されている。

これら監視カメラによる定常的な動態監視において、人や車などの動物体の動態監視の中で、動物体が特定の場所に一時に集まる蝟集状態若しくは集結状態を監視し報知するシステムが要求された。

特開２００６−２４４１４０号公報 特開２００３−１０１９３３号公報 特開平０７−１２９７７９号公報

本発明は上記実情に鑑みなされたもので、動物体が特定の場所に一時に集まる蝟集状態若しくは集結状態を監視し報知する機能を備えた蝟集監視装置および蝟集監視プログラムを提供することを目的とする。

本発明の実施形態は、単眼カメラで撮影した時系列の複数の監視画像から変化画素を含む矩形の領域を抽出し追跡して、追跡した矩形の領域の位置および大きさの情報をもとに追跡対象にある矩形の領域が監視対象にあるオブジェクトであるか否かを判定する画像処理手段と、前記画像処理手段が監視対象にあると判定したオブジェクトについて、追跡軌跡に変化がない状態を認識して当該位置情報を追跡軌跡の終了位置情報とし一定時間保持して、保持した追跡軌跡の終了位置情報をもとに監視対象にあるオブジェクトの蝟集状態を判定する蝟集判定処理手段と、を具備した蝟集監視装置を特徴とする。

また、本発明の実施形態は、単眼カメラを用いた蝟集監視装置としてコンピュータを機能させるための蝟集監視プログラムであって、前記単眼カメラで撮影した時系列の複数の監視画像から変化画素を含む矩形の領域を抽出し追跡して、追跡した矩形の領域の位置および大きさの情報をもとに追跡対象にある矩形の領域が監視対象にあるオブジェクトであるか否かを判定する画像処理機能と、前記画像処理手段が監視対象にあると判定したオブジェクトについて、追跡軌跡に変化がない状態を認識して当該位置情報を追跡軌跡の終了位置とし一定時間保持して、保持した追跡軌跡の終了位置情報をもとに監視対象にあるオブジェクトの蝟集状態を判定する蝟集判定処理機能とを具備し、前記蝟集判定処理機能は、前記処理対象にある前記オブジェクトについて、当該オブジェクトにおける追跡軌跡の終了位置および終了時点の各情報を追跡終了情報として取得する追跡終了情報取得機能と、前記追跡終了情報取得機能が取得した前記追跡終了情報を取得時から一定時間保持する取得情報保持機能と、前記追跡終了情報が取得される度に、取得した追跡終了情報に含まれる終了位置の情報が示す位置を基準にした一定範囲の領域内に、当該領域内を終了位置とした追跡終了情報が前記取得情報保持機能に保持されているか否かを判断し、前記一定範囲の領域内を終了位置とした追跡終了情報が保持されていないとき、当該取得された追跡終了情報に新規なラベル番号を付与し、前記一定範囲の領域内を終了位置とした追跡終了情報が保持されているとき、当該取得された追跡終了情報に前記保持された追跡終了情報に付与されているラベル番号と同じラベル番号を付与するラベリング処理機能と、前記同じラベル番号を付与するラベリング処理が実行される都度、前記取得情報保持手段に保持された、同じラベル番号をもつ追跡終了情報が一定数に達したか否かを判断し、一定数に達したとき、前記同じラベル番号を付与するラベリング処理が実行された終了位置の情報を蝟集場所を示す情報として外部に出力する蝟集検出機能と、を具備したことを特徴とする。

単眼カメラの監視画像から場所を特定した蝟集状態を適確に検出可能な監視システムを構築できる。

本発明の実施形態に係る蝟集監視装置の構成を示すブロック図。 上記実施形態の処理の概要を示すフローチャート。 上記実施形態に係る蝟集監視装置の処理手順を示すフローチャート。 上記実施形態に係る蝟集監視装置の処理手順を示すフローチャート。 図４に示すオブジェクト登録処理（Ｓ１６）の処理手順を示すフローチャート。 図５に示す追跡軌跡の終了位置判定処理（１６ａ）の処理手順を示すフローチャート。 上記実施形態の蝟集処理動作を説明するための状態遷移図。 上記実施形態の蝟集処理動作を説明するための状態遷移図。 上記実施形態の蝟集処理動作を説明するための状態遷移図。 上記実施形態の蝟集処理動作を説明するための状態遷移図。 上記実施形態の蝟集処理動作を説明するための状態遷移図。 上記実施形態の蝟集処理動作を説明するための状態遷移図。 上記実施形態の蝟集処理動作を説明するための状態遷移図。

本発明の実施形態は、単眼カメラ（１台のカメラ）で撮影した画像を処理対象として動物体が特定の場所に一時に集まる集合および集結状態を含む蝟集状態を監視する蝟集監視装置および蝟集監視プログラムを提供する。

本発明の実施形態は、道路や広場等を監視しているカメラ１台の映像にて、人や車両など監視対象にある動物体を追跡対象オブジェクトとして検出し、画像上で追跡して、追跡終了となるオブジェクトの位置を一定時間蓄積し、一定数以上の複数のオブジェクトが一時に特定の場所に集まる蝟集発生状態を検知して、外部に、蝟集の発生、若しくは蝟集の発生と発生場所を通知する機能を実現している。その際、定常的に流れのある道路等を監視している場合は、画角周囲の道路端を監視対象エリアから除外するためのエリア設定を行い、通常の通行が検知されることを排除する。

以下図面を参照して本発明の実施形態を説明する。
本発明の実施形態にかかる蝟集監視装置の構成を図１に示す。なお、この実施形態では、カメラから取り込んだ１フレーム分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。

本発明の実施形態に係る蝟集監視装置は、図１に示すように、カメラ１１と、キャプチャ部１２と、画像処理記憶部１３と、画像処理部１５と、表示部１６とを具備して構成される。

カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。

キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１５の処理対象画像（入力画像）として取り込み、画像処理記憶部１３内の画像バッファ１４に保持する処理機能をもつ。この画像バッファ１４に取り込む画面上の入力画像は、ここでは原画像とするが、エッジ画像であってもよい。

画像処理記憶部１３は、画像処理部１５の処理に供される、キャプチャ部１２が取り込んだ入力画像および処理中の各画像を含む各種データを記憶する。この画像処理記憶部１３には、画像処理部１５の制御の下に、キャプチャ部１２が取り込んだフレーム単位の画像のうち、今回取り込んだ一画面分の画像（現在画像）と、前回取り込んだ一画面分の画像（過去画像）をそれぞれ処理対象画像として保持する画像バッファ１３１を構成する領域が確保されるとともに、画像処理部１５の処理に用いられる画像領域が確保される。さらに画像処理記憶部１３には、画像処理部１５の処理に供される各種のパラメータおよび制御データを記憶する記憶領域、確定および未確定オブジェクトの登録並びに追跡処理に於いて生成若しくは取得される各種情報の記憶領域等も確保される。

この実施形態では、蝟集検知処理に用いるパラメータとして、追跡終了位置と見做す揺らぎの移動範囲を追跡終了位置収束範囲［ｓ］として設定する収束範囲設定パラメータ（ｓ）、監視対象にあるオブジェクトが追跡終了位置と見做す収束範囲［ｓ］にあるか否かを判定するための判定対象フレーム数を履歴フレーム数［α］として設定する履歴フレーム数設定パラメータ（α）、追跡終了情報を登録後、自動削除するまでの経過時間を追跡終了情報登録時間［Ｔｘ］として設定する追跡終了情報登録時間設定パラメータ（Ｔｘ）、追跡終了位置を基準にした一定の範囲に他のオブジェクトが追跡終了位置として登録されているか否かを判定するための、追跡終了位置を基準にした一定の範囲を追跡終了位置検索範囲［ｍ］として設定する追跡終了位置検索範囲設定パラメータ（ｍ）、蝟集と見做すオブジェクト数（同じラベル番号の個体数ｋ）を蝟集検知判定数［ｋ］として設定する蝟集検知判定数設定パラメータ（ｋ）、蝟集の判定対象としないエリアを蝟集検知判定対象除外エリア［ｐ］として設定する検知判定除外エリア設定パラメータ（ｐ）、領域追跡処理およびオブジェクト推定処理のための各種パラメータ、画像の領域（地上面）を実距離に変換するための各種パラメータ等がそれぞれ予め設定され用意される。

画像処理部１５は、変化領域抽出処理部１５１と、追跡処理部１５２と、オブジェクト推定処理部１５３と、追跡終了情報蓄積処理部１５４と、蝟集検知処理部１５５とを具備して構成される。この実施形態では、同一出願人の発明による特許第４４２７０５２号明細書（参考文献１）と特許第４６９１５７０号明細書（参考文献２）と特許第４８３９３３０号明細書（参考文献３）の各技術を用いて、上記変化領域抽出処理部１５１および追跡処理部１５２を参考文献１の技術により実現し、オブジェクト推定処理部１５３および追跡終了情報蓄積処理部１５４における追跡処理対象にある確定オブジェクトの履歴蓄積処理を参考文献２，３の技術により実現している。

変化領域抽出処理部１５１は、画像処理記憶部１３の画像バッファ１３１に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この差分二値化画像から、変化画素を含む矩形の領域を抽出する。追跡処理部１５２は、変化領域抽出処理部１５１で抽出した矩形の領域を処理対象に、当該矩形の領域を、監視画像のフレームが更新される都度、追跡する。

オブジェクト推定処理部１５３は、後述する参照テーブルを用いて、追跡処理部１５２において追跡している矩形の領域（矩形領域）が、指定された監視対象にあるオブジェクト（例えば人、車等）であることを推定する。

追跡終了情報蓄積処理部１５４は、オブジェクト推定処理部１５３が推定したオブジェクト（確定オブジェクト）の追跡終了を判定し、その追跡終了位置情報を追跡終了時点の時間情報とともに追跡終了情報として、追跡終了位置登録時間Ｔｘに従い一定時間保持し蓄積する。

上記した画像処理部１５の各構成要素のうち、変化領域抽出処理部１５１は、前処理部、差分処理部、二値化処理部、ノイズ除去フィルタ、領域化処理部等を処理機能部を有して、カメラ１１から所定の周期で取り込んだ画面上の現在画像（今回取り込んだ画面上の画像）と過去画像（前回取り込んだ画面上の画像）とを差分処理して、変化した画素を含む矩形の領域を抽出し、さらに今回取り込んだ現在画像と前回取り込んだ過去画像とを差分処理して二値化した差分二値化画像を生成する。

追跡処理部１５２は、変化領域抽出処理部１５１が抽出した領域のうち、新たに抽出した領域を、追跡処理の対象となる新規オブジェクトとして登録し、登録されたオブジェクトを未確定オブジェクトとして、領域が抽出される都度、今回抽出した領域の位置および大きさを示す情報と前回抽出した領域の位置および大きさを示す情報とをもとに上記未確定オブジェクトを追跡する。さらに所定時間継続して追跡した未確定オブジェクトについて、当該オブジェクトを確定オブジェクトとして、領域が抽出される都度、当該抽出した領域の位置および大きさを示す情報と、上記未確定オブジェクトの追跡時における時系列の位置情報に基づく最小自乗近似により求める予測方向に従い追跡の都度更新される予測領域の位置および大きさを示す情報と移動速度情報をもとに上記確定オブジェクトを追跡する。

オブジェクト推定処理部１５３は、監視画像を対象に、奥行き方向に拡がる距離を違えた複数の地点毎に、大きさを違えた矩形の領域を定義した参照テーブルを具備し、この参照テーブルを用いて、追跡処理部１５２で追跡しているオブジェクト（矩形の領域）が、指定された監視対象にある動物体のオブジェクト（例えば、人、車等）であることを推定する。オブジェクト推定処理部１５３は、上記参照テーブルを作成するパラメータ算出部を有する。パラメータ算出部は、カメラ１１により撮影された監視画像から異なる３地点以上のオブジェクトを取得し、さらにそのオブジェクトの矩形領域の接地位置、矩形の幅、および矩形の高さを含む３箇所以上のオブジェクト情報を取得して、取得したオブジェクト情報をもとに、画像上の接地位置に対する矩形幅の線形近似式および画像上の接地位置に対する矩形高さの線形近似式を算出して上記オブジェクトのパラメータを取得し、当該パラメータに従うオブジェクトサイズの画面上のｙ座標について、幅と高さを定義した参照テーブルを作成する。この参照テーブルを用いて、追跡オブジェクトについて、抽出した矩形領域の接地位置を基準に、オブジェクトのサイズ（幅と高さ）を取得し、取得したオブジェクトのサイズ（幅と高さ）抽出した矩形領域のサイズ（幅と高さ）とを比較して、抽出した矩形領域のサイズがオブジェクトサイズの許容範囲内にあれば、抽出対象であると推定する。

追跡終了情報蓄積処理部１５４と蝟集検知処理部１５５はそれぞれ蝟集判定処理手段を実現する。

このうち、追跡終了情報蓄積処理部１５４は、オブジェクト推定処理部１５３が推定したオブジェクト（確定オブジェクト）の追跡終了を判定した終了位置および終了時点の各情報を追跡終了情報として取得する追跡終了情報取得手段と、追跡終了情報取得手段が取得した追跡終了位置情報を追跡終了時点から一定時間保持する取得情報保持手段とを具備する。

追跡終了情報取得手段は、オブジェクトの追跡軌跡に変化がない状態（移動範囲が設定した揺らぎの範囲内にある状態）を認識してオブジェクトの移動終了を判定し、その終了位置および終了時点の各情報を追跡終了情報として取得するもので、この実施形態では、上記画像処理記憶部１３に登録された、監視対象にあるオブジェクトの履歴フレーム数を指定する履歴フレーム数設定パラメータ（α）と、追跡終了位置と見做す位置のゆらぎの移動範囲を収束範囲として指定する収束範囲設定パラメータ（ｓ）とを用いてオブジェクトの追跡終了位置を判定する。この判定処理では、監視対象にあるオブジェクトについて、当該オブジェクトの追跡履歴が上記履歴フレーム数設定パラメータ（α）で指定された履歴フレーム数［α］を超えているか否かを判断し、超えているとき、現在フレームと、現在フレームから履歴フレーム数設定パラメータ（α）で指定された履歴フレーム数［α］を差し引いた過去フレームとについて、上記オブジェクトの位置の揺らぎが収束範囲設定パラメータ（ｓ）で指定された範囲に収束される移動範囲であるか否かを判断し、上記収束範囲設定パラメータ（ｓ）で指定された移動範囲に収束されると判断したとき、監視対象にあるオブジェクトについて、追跡軌跡に変化がない状態にあることを認識し、その終了位置および終了時点の各情報を追跡終了情報として取得する（図５、図６参照）。

取得情報保持手段は、上記追跡終了情報取得手段が取得した追跡終了情報を、追跡終了情報登録時間設定パラメータ（Ｔｘ）に従う一定時間（Ｔｘ時間）、画像処理記憶部１３に設けた追跡終了情報保持領域に保持し蓄積して、Ｔｘ時間経過後、画像処理記憶部１３から削除する。

蝟集検知処理部１５５は、追跡終了情報蓄積処理部１５４において上記追跡終了情報が取得される度に、取得した追跡終了情報に含まれる終了位置の情報が示す位置を基準にした一定範囲の領域内に、当該領域内を終了位置とした追跡終了情報が上記取得情報保持手段に保持されているか否かを判断し、上記一定範囲の領域内を終了位置とした追跡終了情報が保持されていないとき、当該取得された追跡終了情報に新規なラベル番号を付与し、上記一定範囲の領域内を終了位置とした追跡終了情報が保持されているとき、当該取得された追跡終了情報に上記保持された追跡終了情報に付与されているラベル番号と同じラベル番号を付与するラベリング処理手段と、上記同じラベル番号を付与するラベリング処理が実行される都度、上記取得情報保持手段に保持された、同じラベル番号をもつ追跡終了情報が一定数に達したか否かを判断し、一定数に達したとき、上記同じラベル番号を付与するラベリング処理が実行された終了位置の情報を蝟集場所を示す情報として表示部１６に表示し、必要に応じ発報処理部を介して外部に出力する蝟集検出手段とを具備する。

このラベリング処理では、追跡終了位置を基点に近傍ラベルを検索するための、追跡終了位置を基準とした一定の近傍範囲を指定する追跡終了位置検索範囲設定パラメータ（ｍ）と、蝟集と見做すオブジェクト数（同じラベル番号の個体数ｎ）を設定する蝟集検知判定数設定パラメータ（ｋ）と、蝟集の判定対象としないエリア（監視対象外エリア）を設定する検知判定除外エリア設定パラメータ（ｐ）とを用いて上記したラベリングの処理が実施される。蝟集検知処理部１５５は、追跡終了情報蓄積処理部１５４から追跡終了情報を取得すると、取得した追跡終了情報に含まれる終了位置の情報が示す位置を基準に、追跡終了位置検索範囲設定パラメータ（ｍ）により設定された追跡終了位置検索範囲［ｍ］の領域内に、当該領域内を終了位置とした追跡終了情報が上記取得情報保持手段に保持されているか否かを判断し、追跡終了位置検索範囲［ｍ］の領域内を終了位置とした追跡終了情報が保持されていないとき、当該取得された追跡終了情報に新規なラベル番号を付与し、追跡終了位置検索範囲［ｍ］の領域内を終了位置とした追跡終了情報が保持されているとき、当該取得された追跡終了情報に上記保持された追跡終了情報に付与されているラベル番号と同じラベル番号を付与する。そして同じラベル番号をもつ追跡終了情報が蝟集検知判定数設定パラメータ（ｋ）に設定された蝟集検知判定数［ｋ］に達したか否かを判断し、蝟集検知判定数［ｋ］に達したとき、蝟集が発生したと判定し、蝟集が発生した旨を蝟集場所とともに表示部１６に表示し、さらに必要に応じ発報処理部１７を介して外部に出力する。

追跡終了位置が検知判定除外エリア設定パラメータ（ｐ）により設定された蝟集検知判定対象除外エリア［ｐ］である場合、当該蝟集検知判定対象除外エリア［ｐ］を追跡終了位置とした追跡終了情報を蝟集処理の対象から外す。例えば定常的に流れのある道路、広場等を監視している場合、検知判定除外エリア設定パラメータ（ｐ）により監視画像の画角周囲の道路端を蝟集検知判定対象除外エリア［ｐ］に設定することにより、通常の流れによるオブジェクトを監視対象から除外して、任意の画角範囲内を監視対象とした蝟集検知が可能となる。

この蝟集検知処理部１５５の具体的な処理例については図７乃至図１３に示す状態遷移図を参照して後述する。

なお、追跡終了位置収束範囲［ｓ］を設定する収束範囲設定パラメータ（ｓ）および追跡終了位置検索範囲［ｍ］を設定する追跡終了位置検索範囲設定パラメータ（ｍ）は、それぞれ、監視画像上で画素単位（ドットまたはピクセル）で座標入力する設定手段、若しくは実距離（例えば半径ｉメートル等の数値指定）で設定する設定手段のいずれであってもよい。実距離で指定する場合は、監視画像の画面上の奥行きを実距離に変換する処理機能として、例えば参考文献３に記載のオブジェクト位置推定処理機能を適用することができる。参考文献３では、単眼カメラの監視範囲のうち、地平面上の監視範囲を示す画面上の４頂点の情報と、上記単眼カメラで撮影した３枚以上のサンプル画像中のサンプル対象物についての画面情報および実測情報とをもとに、上記画面上の奥行き方向の画素に対する実距離を指数近似式により求め、オブジェクトの接地位置からの奥行き方向画素位置から、上記画面上の奥行き方向の各画素を、上記地上面上での奥行き方向の上記実距離に対応した実距離テーブルを作成する実距離テーブル取得手段と、上記画素単位の実距離テーブルの情報と、上記監視範囲を示す画面上の４頂点の情報と、上記３枚以上のサンプル画像中の上記サンプル対象物についての画面情報および実測情報とをもとに、上記画面上の上記オブジェクトの接地位置からの横方向の画素に対する実距離の重みを線形近似式により求め、上記画面上の横方向の各画素を、上記地平面上での奥行き方向の各距離毎に、上記地平面上の監視範囲を基準とした座標系における横方向実座標に対応付けた横方向重みテーブルを作成する横方向重みテーブル取得手段と、上記画素単位の実距離テーブルの情報と、上記監視範囲を示す画面上の４頂点の情報と、上記３枚以上のサンプル画像中の上記サンプル対象物についての画面情報および実測情報とをもとに、上記画面上の上記オブジェクトの接地位置からの縦方向の画素に対する実距離の重みを線形近似式により求め、上記画面上の縦方向の各画素位置について、これに対応する奥行き方向実距離において、１画素が有する実高さ幅を格納する縦方向重みテーブルを作成する縦方向重みテーブル取得手段と、上記各取得手段により作成された上記画素単位の実距離テーブル、上記画面上の横方向重みテーブル、および上記画面上の縦方向重みテーブルを参照テーブルとして保持し、少なくとも上記画素単位の実距離テーブルを用いて、上記単眼カメラで撮影した上記オブジェクトの実在位置を認識する画像処理技術を提供している。

ここで、図２乃至図６に示すフローチャートと図７乃至図１３に示す状態遷移図を参照して、この実施形態における蝟集監視処理動作を説明する。

図２は蝟集監視処理の概要を示すフローチャートである。単眼カメラ（１台のカメラ）の画像処理において、画像を取り込む毎に（ステップＳ１）、過去画像と現在画像との差から画像中の変化画素領域を矩形の領域として抽出し（ステップＳ２）、時系列に得られた抽出領域の情報から現在の領域の対応付けを行い、領域の移動を追跡する（ステップＳ３）。追跡している領域が蝟集監視の対象となるオブジェクト（例えば人）であるか否かを判断し（ステップＳ４）、蝟集監視の対象となるオブジェクトであるとき、当該オブジェクトが他のオブジェクトとともに特定の場所に一時に所定数以上集まり留まっているか否かを判断して（ステップＳ５）、蝟集の発生を判定する（ステップＳ６）。

この蝟集検知処理により、例えば往来の激しい通行路、広場等において、正常な走行の妨げとなる蝟集状態や、傷害、事故等による異常発生などを検知し報知することが可能となる。

上記した蝟集検知処理のより詳細な処理手順を図３乃至図６に示している。

画像処理部１５において、変化領域抽出処理部１５１は、画像処理記憶部１３の画像バッファ１３１に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この差分二値化画像から、変化画素を含む矩形の領域を抽出する（図３ステップＳ１１）。

追跡処理部１５２は、変化領域抽出処理部１５１で抽出した矩形の領域を処理対象に、当該矩形の領域を、監視画像のフレームが更新される都度、追跡し、追跡した矩形の領域を画像バッファ１３１に蓄積する（図３ステップＳ１２）。

オブジェクト推定処理部１５３は、時系列に抽出した領域の領域情報をもとに前回抽出した矩形の領域を拡大した予測領域を一時的に生成し、当該予測領域に、今回抽出した矩形の領域が交差するとき、今回抽出した矩形の領域を未確定オブジェクトとして追跡する（図３ステップＳ１３）。また未確定オブジェクトの追跡に伴う時系列の位置情報をもとに最小自乗（二乗）近似により求めた予測領域情報および移動速度情報と、抽出した領域の領域情報とをもとに、未確定オブジェクトを確定オブジェクトとして確定オブジェクトを追跡する（図３ステップＳ１４）。さらにオブジェクト推定処理部１５３は、上記した参照テーブルを用いて、追跡処理部１５２において追跡している矩形の領域（矩形領域）が、指定された監視対象にあるオブジェクト（例えば人、車両等）であるか否かを判定する（図３ステップＳ１５）。

追跡終了情報蓄積処理部１５４は、オブジェクト推定処理部１５３が監視対象であると判定したオブジェクト（確定オブジェクト）について、当該オブジェクトの追跡位置に変化が無い状態（一定位置に留まった状態）を認識し、その追跡終了位置における追跡終了位置情報を追跡終了時点の時間情報とともに追跡終了情報として、追跡終了情報登録時間設定パラメータ（Ｔｘ）で設定された追跡終了情報登録時間［Ｔｘ］に従い一定時間（Ｔｘ時間）保持し蓄積して、Ｔｘ時間が経過すると破棄する（図４ステップＳ１６、図５ステップＳ１６ａ〜Ｓ１６ｄ）。

上記した追跡終了位置の判定は、監視対象にあるオブジェクトについて、当該オブジェクトの追跡履歴が上記履歴フレーム数設定パラメータ（α）で指定された履歴フレーム数［α］を超えているか否かを判断し（図６ステップＳ１６１）、超えているとき（図６ステップＳ１６１ Ｙｅｓ）、現在フレームと、現在フレームから履歴フレーム数設定パラメータ（α）で指定された履歴フレーム数［α］を差し引いた過去フレームとについて、上記オブジェクトの位置の揺らぎが収束範囲設定パラメータ（ｓ）で指定された範囲に収束される移動範囲であるか否かを判断し（図６ステップＳ１６２）、上記収束範囲設定パラメータ（ｓ）で指定された移動範囲に収束されると判断したとき（図６ステップＳ１６２ Ｙｅｓ）、監視対象にあるオブジェクトについて、追跡軌跡に変化がない状態にあることを認識し、その終了位置および終了時点の各情報を追跡終了情報として取得する（図５ステップＳ１６ａ Ｙｅｓ）。すなわち、現在フレームのオブジェクト位置をｎ（ｘ・ｙ）、履歴フレーム数［α］を差し引いた過去フレームのオブジェクト位置をα（ｘ・ｙ）とすると、ｎ（ｘ・ｙ）−α（ｘ・ｙ）が追跡終了位置収束範囲［ｓ］内であるとき、当該オブジェクトが移動を止めたものと判定し、当該オブジェクトの追跡終了情報を取得する。

さらに、取得した追跡終了情報について、その終了位置が検知判定除外エリア設定パラメータ（ｐ）で指定された蝟集検知判定対象除外エリア［ｐ］であるか否かを判断し（図５ステップＳ１６ｂ）、蝟集検知判定対象除外エリア［ｐ］内であるとき（図５ステップＳ１６ｂ Ｎｏ）、その追跡終了情報を破棄し、蝟集検知対象（蝟集検知候補）から削除する（図５ステップＳ１６ｄ）。また、蝟集検知判定対象除外エリア［ｐ］外であるとき（図５ステップＳ１６ｂ Ｙｅｓ）、その追跡終了情報を画像処理記憶部１３に設けた追跡終了情報保持領域に保持し、追跡終了情報登録時間設定パラメータ（Ｔｘ）に設定された追跡終了情報登録時間［Ｔｘ］の経過後、画像処理記憶部１３から削除する（図５ステップＳ１６ｃ）。

蝟集検知処理部１５５は、追跡終了情報蓄積処理部１５４において追跡終了情報が取得される度に、当該追跡終了情報のラベル付けを実施する。蝟集検知処理部１５５は、追跡終了情報蓄積処理部１５４から追跡終了情報を取得すると、取得した追跡終了情報に含まれる終了位置の情報が示す位置を基準に、追跡終了位置検索範囲設定パラメータ（ｍ）により設定された追跡終了位置検索範囲［ｍ］の領域内に、当該領域内を終了位置とした追跡終了情報が上記取得情報保持手段に保持されているか否かを判断し（図４ステップＳ１７）、追跡終了位置検索範囲［ｍ］の領域内を終了位置とした追跡終了情報が保持されていないとき（図４ステップＳ１７ Ｙｅｓ）、当該取得された追跡終了情報に新規なラベル番号を付与し（図４ステップＳ１９ａ）、追跡終了位置検索範囲［ｍ］の領域内を終了位置とした追跡終了情報が保持されているとき（図４ステップＳ１７ Ｎｏ）、当該取得された追跡終了情報に上記保持された追跡終了情報に付与されているラベル番号と同じラベル番号を付与する（図４ステップＳ１９ｂ）。

そして同じラベル番号をもつ追跡終了情報が蝟集検知判定数設定パラメータ（ｋ）に設定された蝟集検知判定数［ｋ］に達したか否かを判断し（図４ステップＳ２０）、蝟集検知判定数［ｋ］に達したとき（図４ステップＳ２０ Ｙｅｓ）、蝟集が発生したと判定して、蝟集が発生した旨を蝟集場所とともに表示部１６に表示し、さらに必要に応じ発報処理部１７を介して外部に報知する（図４ステップＳ２１）。

上記した追跡オブジェクト（確定オブジェクト）の追跡終了位置から蝟集検知を行う具体例を図７乃至図１３に示している。ここでは歩行者用通行路の監視映像におけるオブジェクト（歩行者）の蝟集検知例を時刻Ｔ１〜Ｔ７の時系列順に図７乃至図１３に例示している。この時刻Ｔ１〜Ｔ７はそれぞれ追跡終了情報登録時間［Ｔｘ］内であるものとする。また、蝟集検知判定数［ｋ］として蝟集検知判定数設定パラメータ（ｋ）により「５」が設定されているものとする。

図７に示す時刻Ｔ１では、カメラ１１で撮影した監視映像の左下から右上（左手前から右奥）に走行し、右上の画角端を追跡終了位置とするオブジェクト（新規オブジェクト）の追跡終了情報が［時刻Ｔ１、終了位置座標（Ｘ１・Ｙ１）、ラベル１］として登録される。ここでは、追跡終了位置検索範囲［ｍ］内を終了位置とする他のオブジェクトが存在しないため、新規オブジェクトとして新規にラベル番号１が付与されたラベル１が発行される。

図８に示す時刻Ｔ２では、監視映像の左下から右上方向に走行し、左中程を追跡終了位置とするオブジェクトの追跡終了情報が［時刻Ｔ２、終了位置座標（Ｘ２・Ｙ２）、ラベル２］として登録される。ここでも追跡終了位置検索範囲［ｍ］内を終了位置とする他のオブジェクトが存在しないため、新規オブジェクトとしてラベル２が発行される。

図９に示す時刻Ｔ３では、監視映像の左下から右上方向に走行し、右側の画角端を追跡終了位置とするオブジェクトの追跡終了情報が［時刻Ｔ３、終了位置座標（Ｘ３・Ｙ３）、ラベル３］として登録される。ここでも追跡終了位置検索範囲［ｍ］内を終了位置とする他のオブジェクトが存在しないため、新規オブジェクトとしてラベル３が発行される。

図１０に示す時刻Ｔ４では、監視映像の左下から右上方向に走行し、左中程を追跡終了位置とするオブジェクトの追跡終了情報が［時刻Ｔ４、終了位置座標（Ｘ４・Ｙ４）、ラベル２］として登録される。ここでは追跡終了位置検索範囲［ｍ］内に他のオブジェクト（ラベル２）が存在するため、このオブジェクトと同一のラベル番号をもつラベル２が発行される。さらに追跡終了位置検索範囲［ｍ］内に他のオブジェクト（ラベル２）が存在するため、当該ラベル（ラベル２）のラベル数が蝟集検知判定数［ｋ］に達したか否かが判断される（図４ステップＳ２０参照）。ここでは蝟集検知判定数［ｋ］（＝５）に達していないため、蝟集の発生は判定されない（図４ステップＳ２０ Ｎｏ参照）。

図１１に示す時刻Ｔ５では、監視映像の左下から右上方向に走行し、左中程を追跡終了位置とするオブジェクトの追跡終了情報が［時刻Ｔ５、終了位置座標（Ｘ５・Ｙ５）、ラベル２］として登録される。ここでも追跡終了位置検索範囲［ｍ］内に他のオブジェクト（ラベル２）が存在するため、このオブジェクトと同一のラベル番号をもつラベル２が発行される。さらに追跡終了位置検索範囲［ｍ］内に他のオブジェクト（ラベル２）が存在するため、当該ラベル（ラベル２）のラベル数が蝟集検知判定数［ｋ］に達したか否かが判断される。ここでもまだ蝟集検知判定数［ｋ］（＝５）に達していないため、蝟集の発生は判定されない。

図１２に示す時刻Ｔ６では、監視映像の左下から右上方向に走行し、左中程を追跡終了位置とするオブジェクトの追跡終了情報が［時刻Ｔ６、終了位置座標（Ｘ６・Ｙ６）、ラベル２］として登録される。ここでは追跡終了位置検索範囲［ｍ］内に他のオブジェクト（ラベル２）が存在するため、このオブジェクトと同一のラベル番号をもつラベル２が発行される。さらに追跡終了位置検索範囲［ｍ］内に他のオブジェクト（ラベル２）が存在するため、当該ラベル（ラベル２）のラベル数が蝟集検知判定数［ｋ］に達したか否かが判断される。ここでもまだ蝟集検知判定数［ｋ］（＝５）に達していないため、蝟集の発生は判定されない。

図１３に示す時刻Ｔ７では、監視映像の左下から右上方向に走行し、左中程を追跡終了位置とするオブジェクトの追跡終了情報が［時刻Ｔ７、終了位置座標（Ｘ７・Ｙ７）、ラベル２］として登録される。ここでは追跡終了位置検索範囲［ｍ］内に他のオブジェクト（ラベル２）が存在するため、このオブジェクトと同一のラベル番号をもつラベル２が発行される。さらに追跡終了位置検索範囲［ｍ］内に他のオブジェクト（ラベル２）が存在するため、当該ラベル（ラベル２）のラベル数が蝟集検知判定数［ｋ］に達したか否かが判断される。ここでは、蝟集検知判定数［ｋ］（＝５）に達したことから、蝟集が発生したと判定され、蝟集が発生した旨が蝟集場所とともに表示部１６に表示され、当該蝟集の発生が発報処理部１７を介して外部に報知連絡される（図４ステップＳ２０ Ｙｅｓ〜Ｓ２１参照）。

上記した図７乃至図１３に示す蝟集検知処理の例では、蝟集の判定対象としないエリア（監視対象外エリア）を検知判定除外エリア設定パラメータ（ｐ）で設定していない場合であったが、検知判定除外エリア設定パラメータ（ｐ）により、例えば監視画像の画角の上端を蝟集検知判定対象除外エリア［ｐ］として設定しておくことにより、ラベル１のオブジェクトの追跡終了情報が破棄され、蝟集検知対象から削除される。また、例えば監視画像の画角の上端と右端を蝟集検知判定対象除外エリア［ｐ］として設定しておくことにより、ラベル１のオブジェクトの追跡終了情報とラベル３のオブジェクトの追跡終了情報がそれぞれ破棄され、蝟集検知対象から削除される。

このように、監視映像の所望のエリアを検知判定除外エリア設定パラメータ（ｐ）により蝟集検知判定対象除外エリア［ｐ］として設定しておくことにより、例えば定常的に流れのある道路、広場等を監視している場合に、通常の流れによるオブジェクトを監視対象から除外することができる。これにより単眼カメラ１１の監視映像から、場所を特定した蝟集状態を適確に効率よく検知可能な監視システムを構築できる。

１１…カメラ、１２…キャプチャ部、１３…画像処理記憶部、１５…画像処理部、１６…表示部、１７…発報処理部、１５１…変化領域抽出処理部、１５２…追跡処理部、１５３…オブジェクト推定処理部、１５４…追跡終了情報蓄積処理部、１５５…蝟集検知処理部。

Claims (10)

1. 単眼カメラで撮影した時系列の複数の監視画像から変化画素を含む矩形の領域を抽出し追跡して、追跡した矩形の領域の位置および大きさの情報をもとに追跡対象にある矩形の領域が監視対象にあるオブジェクトであるか否かを判定する画像処理手段と、
   前記画像処理手段が監視対象にあると判定したオブジェクトについて、追跡軌跡に変化がない状態を認識して当該位置情報を追跡軌跡の終了位置情報とし一定時間保持して、保持した追跡軌跡の終了位置情報をもとに監視対象にあるオブジェクトの蝟集状態を判定する蝟集判定処理手段と、
   を具備したことを特徴とする蝟集監視装置。
2. 前記蝟集判定処理手段は、
   前記処理対象にある前記オブジェクトについて、当該オブジェクトにおける追跡軌跡の終了位置および終了時点の各情報を追跡終了情報として取得する追跡終了情報取得手段と、
   前記追跡終了情報取得手段が取得した前記追跡終了情報を取得時から一定時間保持する取得情報保持手段と、
   前記追跡終了情報が取得される度に、取得した追跡終了情報に含まれる終了位置の情報が示す位置を基準にした一定範囲の領域内に、当該領域内を終了位置とした追跡終了情報が前記取得情報保持手段に保持されているか否かを判断し、前記一定範囲の領域内を終了位置とした追跡終了情報が保持されていないとき、当該取得された追跡終了情報に新規なラベル番号を付与し、前記一定範囲の領域内を終了位置とした追跡終了情報が保持されているとき、当該取得された追跡終了情報に前記保持された追跡終了情報に付与されているラベル番号と同じラベル番号を付与するラベリング処理手段と、
   前記同じラベル番号を付与するラベリング処理が実行される都度、前記取得情報保持手段に保持された、同じラベル番号をもつ追跡終了情報が一定数に達したか否かを判断し、一定数に達したとき、前記同じラベル番号を付与するラベリング処理が実行された終了位置の情報を蝟集場所を示す情報として外部に出力する蝟集検出手段と、
   を具備したことを特徴とする請求項１に記載の蝟集監視装置。
3. 前記監視画像から前記蝟集判定処理手段の処理対象領域を定める監視外エリアを事前に設定し登録する監視外領域設定手段をさらに具備し、
   前記蝟集判定処理手段は、前記監視画像における前記監視外領域設定手段により設定された領域を除く領域を監視範囲として前記オブジェクトの蝟集判定処理を実行することを特徴とする請求項１に記載の蝟集監視装置。
4. 前記蝟集判定処理手段は、前記監視画像の画角の周囲端を含んで、前記追跡軌跡の終了位置を判定することを特徴とする請求項１に記載の蝟集監視装置。
5. 前記蝟集判定処理手段は、前記監視画像の画角範囲内において、前記追跡軌跡の終了位置を判定することを特徴とする請求項１に記載の蝟集監視装置。
6. 前記蝟集判定処理手段は、前記監視画像の位置座標をもとに蝟集場所を特定することを特徴とする請求項１に記載の蝟集監視装置。
7. 前記蝟集判定処理手段は、前記監視画像から前記オブジェクトの世界座標上における実在位置を認識する監視画像の実距離処理手段を具備し、前記監視画像の実距離処理手段が認識した前記オブジェクトの実在位置をもとに蝟集場所を特定することを特徴とする請求項１に記載の蝟集監視装置。
8. 前記蝟集判定処理手段は、前記監視対象にあるオブジェクトの履歴フレーム数を指定するパラメータ（α）と、追跡終了位置と見做す位置のゆらぎの移動範囲を収束範囲として指定するパラメータ（ｓ）とを具備し、
   前記監視対象にあるオブジェクトについて、当該オブジェクトの追跡履歴が前記パラメータ（α）で指定されたフレーム数を超えているか否かを判断し、超えているとき、現在フレームと、現在フレームから前記パラメータ（α）で指定されたフレーム数を差し引いた過去フレームとについて、前記オブジェクトの位置の揺らぎが前記パラメータ（ｓ）で指定された範囲に収束される移動範囲であるか否かを判断し、前記パラメータ（ｓ）で指定された移動範囲に収束されると判断したとき、前記画像処理手段が監視対象にあると判定したオブジェクトについて、追跡軌跡に変化がない状態にあることを認識する処理手段を具備することを特徴とする請求項１に記載の蝟集監視装置。
9. 単眼カメラを用いた蝟集監視装置としてコンピュータを機能させるための蝟集監視プログラムであって、
   前記単眼カメラで撮影した時系列の複数の監視画像から変化画素を含む矩形の領域を抽出し追跡して、追跡した矩形の領域の位置および大きさの情報をもとに追跡対象にある矩形の領域が監視対象にあるオブジェクトであるか否かを判定する画像処理機能と、前記画像処理手段が監視対象にあると判定したオブジェクトについて、追跡軌跡に変化がない状態を認識して当該位置情報を追跡軌跡の終了位置とし一定時間保持して、保持した追跡軌跡の終了位置情報をもとに監視対象にあるオブジェクトの蝟集状態を判定する蝟集判定処理機能とを具備し、
   前記蝟集判定処理機能は、
   前記処理対象にある前記オブジェクトについて、当該オブジェクトにおける追跡軌跡の終了位置および終了時点の各情報を追跡終了情報として取得する追跡終了情報取得機能と、
   前記追跡終了情報取得機能が取得した前記追跡終了情報を取得時から一定時間保持する取得情報保持機能と、
   前記追跡終了情報が取得される度に、取得した追跡終了情報に含まれる終了位置の情報が示す位置を基準にした一定範囲の領域内に、当該領域内を終了位置とした追跡終了情報が前記取得情報保持機能に保持されているか否かを判断し、前記一定範囲の領域内を終了位置とした追跡終了情報が保持されていないとき、当該取得された追跡終了情報に新規なラベル番号を付与し、前記一定範囲の領域内を終了位置とした追跡終了情報が保持されているとき、当該取得された追跡終了情報に前記保持された追跡終了情報に付与されているラベル番号と同じラベル番号を付与するラベリング処理機能と、
   前記同じラベル番号を付与するラベリング処理が実行される都度、前記取得情報保持手段に保持された、同じラベル番号をもつ追跡終了情報が一定数に達したか否かを判断し、一定数に達したとき、前記同じラベル番号を付与するラベリング処理が実行された終了位置の情報を蝟集場所を示す情報として外部に出力する蝟集検出機能と、
   を具備したことを特徴とする蝟集監視プログラム。
10. 前記蝟集判定処理機能は、前記監視対象にあるオブジェクトの履歴フレーム数を指定するパラメータ（α）と、追跡終了位置と見做す位置のゆらぎの移動範囲を収束範囲として指定するパラメータ（ｓ）とを具備し、
    前記監視対象にあるオブジェクトについて、当該オブジェクトの追跡履歴が前記パラメータ（α）で指定されたフレーム数を超えているか否かを判断し、超えているとき、現在フレームと、現在フレームから前記パラメータ（α）で指定されたフレーム数を差し引いた過去フレームとについて、前記オブジェクトの位置の揺らぎが前記パラメータ（ｓ）で指定された範囲に収束される移動範囲であるか否かを判断し、前記パラメータ（ｓ）で指定された移動範囲に収束されると判断したとき、前記画像処理手段が監視対象にあると判定したオブジェクトについて、追跡軌跡に変化がない状態にあることを認識する請求項９に記載の蝟集監視プログラム。

Images