JP5106302B2

JP5106302B2 - 移動物体追跡装置

Info

Publication number: JP5106302B2
Application number: JP2008198913A
Authority: JP
Inventors: 陽介森下; 賢二池田
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2008-07-31
Filing date: 2008-07-31
Publication date: 2012-12-26
Anticipated expiration: 2028-07-31
Also published as: JP2010039580A

Description

本発明は、画像処理において順次撮影される画像中の移動物体を追跡する移動物体追跡装置に関する。特に、カメラ付きインターホンなどのように、撮影される画像の中で複数の移動物体が頻繁に交差するためこれらの交差した複数の移動物体が一体化した一つの変化領域として抽出され、個々の移動物体として追跡し続けることが困難になると想定される状況における移動物体追跡装置に好適である。

例えば、移動物体追跡装置を実装したカメラ付きインターホンは、玄関のドアの横に設置され、移動物体追跡装置に接続されたカメラによって玄関前の監視領域を一定の時間間隔で連続的に撮影する。こうして撮影された画像中の移動物体を移動物体追跡装置が画像追跡することによって、玄関前にストーカーなどの不審人物がいないかを監視することができる。しかし、玄関前が道路や駐車場などの公共の場所に面している場合など、多数の人や車、自転車などが行き交い、撮影された画像中で複数の移動物体が頻繁に交差する場合がある。これらの交差した複数の移動物体は、画像の中で一体化した一つの変化領域として検出されてしまうため、個々の移動物体の位置が不明瞭になり、その後、個々の移動物体として正確に追跡し続けることが困難になるという問題がある。

このような問題に対し、特許文献１では、撮影された画像中の移動物体を画像追跡している際に複数の移動物体が交差した場合、各移動物体のテンプレート画像を用いてテンプレートマッチングを行うことによって、交差した複数の移動物体の個々の位置を求めている。これによって、一体化した一つの変化領域を移動物体毎の領域に分割し、分割した個々の領域について個々の移動物体のテンプレートを更新することによって、複数の移動物体が画面の中で交差している間も追跡を継続する手法が示されている。

特開２００４−０１３６１４号明細書

しかしながら、特許文献１に開示された発明では、複数の移動物体が交差する場合、テンプレートマッチングによって分割した領域をそのまま用いてテンプレートを更新するため、後ろ側に存在する移動物体の一部が前側に存在する移動物体によって隠れ、当該部分が欠けたテンプレートが生成されてしまう。したがって、更新されたテンプレートは、次フレームにおいて移動物体を追跡するためのテンプレートとしての質が劣化し、画像追跡の精度が著しく低下する。また、複数の移動物体が交差する場合、後ろ側に存在する移動物体の一部が前側に存在する移動物体によって隠れていることを考慮して正確なテンプレートの更新を実行しようとすると、非常に複雑な画像処理が必要となり、特にハードウェア資源が限られている動作環境において実現することは困難になる。

例えば、侵入者検知を目的とする画像監視装置よりも簡易なハードウェア構成での実現が求められるカメラ付インターホンなどにおいて、フレームレートを高くすることは現実的に困難である。例えば、１秒２フレーム程度しか画像を取得し処理することができない場合、車などの移動速度が速い物体に関して、前時刻でのフレームにおいては画面内に一部または全部が映っていなかったが、現時刻のフレームにおいて他の移動物体と交差することも頻繁に起きる。このような場合、特許文献１に開示された発明は、前時刻のフレームにおける移動物体の全体像に基づいてテンプレートを分割するため、適切な追跡は不可能となる。

したがって、本発明の一つの目的は、上記問題点を解決することを課題とし、複数の移動物体が交差した場合にも正確に画像追跡できる移動物体追跡装置を提供することである。また、本発明の他の目的は、画像処理の負担が少ない移動物体追跡装置を提供することである。

上記課題を解決するため、本発明に係る移動物体追跡装置は、画像を順次取得する画像入力部と、移動物体ごとに追跡に使用する画像依存情報及び非画像依存情報を含む移動物体情報と、移動物体が含まれていない基準画像とを記憶する記憶部と、入力画像を順次画像処理して移動物体を画像上にて追跡する追跡処理部を具備する移動物体追跡装置であって、追跡処理部は、基準画像と入力画像とを差分処理して変化領域を抽出する変化領域抽出手段と、入力画像における変化領域から特徴情報を抽出する特徴抽出手段と、変化領域の特徴情報と移動物体情報とを用いて変化領域と移動物体情報との対応付けを行う対応付け手段と、対応付け手段にて一つの変化領域に対し複数の移動物体情報が対応付く交差の有無を判定する交差判定手段と、移動物体ごとに、入力画像における変化領域から画像に依存した画像依存情報と画像に依存しない非画像依存情報とを抽出する移動物体情報抽出手段と、交差判定手段にて交差ありと判定した変化領域に対応する移動物体情報については、少なくとも移動物体情報抽出手段にて抽出した非画像依存情報を用いて記憶部に記憶している非画像依存情報を更新し、交差判定手段にて交差なしと判定した変化領域に対応する移動物体情報については、移動物体情報抽出手段にて抽出した画像依存情報及び非画像依存情報の両方を用いて記憶部に記憶している画像依存情報及び非画像依存情報の両方を更新する移動物体情報更新手段と、を具備することを特徴とする。

本発明に係る移動物体追跡装置において、記憶部の画像依存情報には、移動物体情報のうち過去の移動物体情報が対応付いた領域の画像をテンプレートとして含んでおり、更に、追跡処理部は、交差判定手段にて交差ありと判定した変化領域に対して、対応付いた移動物体情報のテンプレートを用いてテンプレートマッチング処理を行うテンプレートマッチング処理手段と、テンプレートマッチング処理手段にてマッチングが取れた領域のうち最下位置ある領域を最前景であると判定する最前景判定手段と、を具備し、移動物体情報更新手段は、交差ありと判定した変化領域のうち、最前景であると判定された領域に対応する移動物体情報については、抽出した画像依存情報及び非画像依存情報の両方を用いて記憶部に記憶している画像依存情報及び非画像依存情報の両方を更新し、最前景でないと判定された領域に対応する移動物体情報については、抽出した非画像依存情報を用いて記憶部に記憶している非画像依存情報のみを更新してもよい。

本発明に係る移動物体追跡装置において、記憶部に記憶されている非画像依存情報には、移動物体情報のうち過去に移動物体情報が対応付いた領域を含み、移動物体情報抽出手段は、テンプレートマッチング処理にてマッチングが取れた領域であって、一時刻前における当該移動物体に対応する領域が画像端に接している領域について、マッチングが取れた領域を移動方向と平行に当該変化領域の範囲内で拡張してもよい。

本発明に係る移動物体追跡装置において、対応付け手段は、記憶部に記憶している移動物体情報及び特徴情報から一時刻前の移動物体と現時刻の変化領域との類似度を示した対応表を生成し、当該対応表における類似度の総和が最大になるように変化領域と移動物体情報とを対応付けてもよい。

本発明に依れば、順次撮影される画像において同時に複数の移動物体を追跡する際、他の移動物体の背後に位置すると判定された移動物体については、移動物体に関する情報の一部についてのみ更新を行う。これによって、他の移動物体の背後に位置する移動物体に関して、手前に位置する移動物体に隠れて画像に映らない部分があるため精度が劣化する情報まで強制的に更新されることはない。したがって、移動物体に関する情報の質の劣化による画像追跡の精度の低下を防ぐことができる。このため、複数の移動物体が交差する状況下においても、各移動物体を精度良く追跡することができる。

本発明の好適な実施形態として、本発明に係る移動物体追跡装置を、カメラ付インターホンに実装した場合の一実施例に基づいて説明する。

図１（ａ）は、本発明の一実施形態である移動物体追跡装置が実装されたカメラ付インターホンの設置例を示す図である。図１（ａ）の例で示すように、カメラ付インターホン２は、玄関ドア６の脇等の壁面７に設置されている。図１（ｂ）に示すように、このカメラ付インターホン２に内蔵されたカメラは、光軸３１を概略水平方向に向けて設置されており、玄関前の監視領域を連続的に撮影する。このカメラに接続された移動物体追跡装置は、カメラが連続的に撮影する画像を順次受け取りながら画像中の移動物体を追跡することによって、カメラの画角内に長時間滞留する不審人物などを検知する。

図２は、本発明の一実施形態である移動物体追跡装置１０が実装されたカメラ付インターホンの構成を示すブロック図である。図２に示すように、本発明の一実施形態に係る移動物体追跡装置１０は、画像取得部１１０と、追跡処理部１３０と、記憶部１４０と、滞留判定部１５０と、人判定部１６０と、警報部１７０と、を有し、撮像装置２０に接続されている。

カメラ付インターホンに搭載されたカメラなどの撮像装置２０は、所定の監視領域を所定の時間間隔で撮影し、撮影された画像を順次追跡処理部１３０に送る。以下、この所定時間で刻まれる時間の単位を時刻と称する。撮像装置２０としては、例えば、ＣＣＤ素子又はＣ−ＭＯＳ素子等の撮像素子、光学系部品、Ａ／Ｄ変換器等を含んで構成される内蔵カメラまたは外部カメラなどの公知のものを用いることができる。また、撮像装置２０の解像度は、追跡対象などの具体的な用途に応じて、その解像度を選ぶことができ、例えばＮＴＳＣ規格、ＳＤＴＶ規格またはＨＤＴＶ規格を用いることができる。また、画像の撮像に用いる波長帯としては、可視光波長または赤外線波長などを、追跡対象などの具体的な用途に応じて選択されることが好ましい。

画像取得部１１０は、撮像装置２０から順次送られる画像信号を受け取るためのインターフェースであり、撮像装置２０からＳＣＳＩ、ＵＳＢ、ＬＡＮ、専用ケーブル、配線などの有線又は無線を介して画像を受信する。画像取得部１１０は、撮像装置２０から受信した画像を移動物体追跡装置１０の各部へ送る。

記憶部１４０は、各種プログラム及び各種データを記憶することができ、例えばＲＡＭまたはＲＯＭ、ＥＰＲＯＭなどの半導体メモリ、ハードディスクなどの磁気記録媒体、ＣＤ−ＲＯＭ、ＤＶＤ−Ｒ／Ｗなどの光記録媒体などを用いて構成することができる。記憶部１４０は、画像取得部１１０、追跡処理部１３０、滞留判定部１５０、人判定部１６０及び警報部１７０と接続されており、各部からの要求に応じて各種プログラムや各種データなどを読み書きする。記憶部１４０は、移動物体情報１４１と、基準画像１４４と、不審者検知画像１４５と、を記憶する。

移動物体情報１４１は、追跡中の移動物体ごとに記憶される単位時刻毎に取得された過去の移動物体に関する情報であり、移動物体の画像に依存する画像依存情報１４２と、移動物体の画像に依存しない非画像依存情報１４３と、を含む。

画像依存情報１４２は、例えば、移動物体の特徴情報やテンプレートを含み、移動物体の領域の入力画像に基づいて抽出される情報である。特徴情報とは、移動物体の特徴を表す情報であり、本実施例では、例えば、移動物体の画像の色ヒストグラムや面積などが含まれるが、画素値の平均や標準偏差、エッジ情報、テクスチャ情報などの他の特徴情報を含んでもよい。色ヒストグラムは、物体像内の色分布を表す特徴情報であり、例えば、変化領域内の各ピクセルの輝度値などの画素値を所定幅のビンごとに累積し、各累積値を全ピクセル数で割って正規化することによって計算される。本実施例において使用されるテンプレートは、一時刻前の入力画像において検出された移動物体のテンプレート画像であり、追跡中の移動物体が現時刻の入力画像のどこに位置するかを特定するためのテンプレートマッチングにおいて使用される。したがって、このテンプレートマッチングのためのテンプレートとして使用できるものであれば、多様な特徴ベクトル、固有ベクトルなどのいかなる形式のテンプレートでもよい。

非画像依存情報１４３は、例えば、一時刻前の入力画像における移動物体の領域、過去の予め定めた数（例えば５時刻分）の移動量、移動物体が画面中に現れてから経過した時間（以後存在時間と呼称する）などの移動物体の領域の入力画像に依存しない情報である。ここで、移動物体の領域とは、移動物体が入力画像において占める範囲であり、一般に、その形状と大きさと位置とによって表すことができる。本実施例では、領域として外接矩形を用いており、外接矩形の大きさ及び位置によって領域を特定することができるが、例えば、重心位置等を利用してもよい。

基準画像１４４は、変化領域を抽出するとき比較対象の基準となる画像であり、例えば、監視領域に移動物体が存在しないときの背景画像を前以って撮影しておき、記憶部１４０に記憶しておく。

不審者検知画像１４５は、画像における移動物体を追跡した結果、画面内に一定の時間以上居続ける移動物体を検知した際、この不審者と思われる移動物体の画像を記憶したものである。

追跡処理部１３０は、画像取得部１１０から順次受け取った画像を処理して画像中の移動物体を追跡する。追跡処理部１３０は、滞留判定部１５０、人判定部１６０及び警報部１７０と同様に、記憶部１４０に記憶された処理手順を記述したプログラムを読み出して、ＣＰＵ、ＤＳＰ、ＭＣＵ、ＡＳＩＣ、ＡＳＳＰ等の処理装置で実行する。追跡処理部１３０は、画像取得部１１０、記憶部１４０、滞留判定部１５０、人判定部１６０及び警報部１７０と接続されている。

図２に示すように、追跡処理部１３０は、変化領域抽出手段１３１と、特徴抽出手段１３２と、対応付け手段１３３と、交差判定手段１３４と、階層型テンプレートマッチング手段１３５と、最前景判定手段１３６と、移動物体情報抽出手段１３７と、移動物体情報更新手段１３８と、を備える。

変化領域抽出手段１３１は、予め記憶部１４０に記憶しておいた移動物体が存在しない基準画像１４４と、撮像装置２０が撮影し画像取得部１１０を介して受け取った画像（以下、入力画像という）と、の差分処理を行い、入力画像中の変化領域を抽出する。

特徴抽出手段１３２は、変化領域抽出手段１３１で抽出されたそれぞれの変化領域について、変化領域の入力画像から特徴情報を抽出し、対応付け手段１３３に渡す。

対応付け手段１３３は、特徴抽出手段１３２が抽出した各変化領域の特徴情報と記憶部１４０に記憶された各移動物体の移動物体情報１４１とに基づいて、変化領域抽出手段１３１が抽出した各変化領域と当該変化領域に存在する最も可能性の高い移動物体とを対応付ける。

交差判定手段１３４は、対応付け手段１３３によっていずれの変化領域にも対応付けられなかった移動物体を、既に他の移動物体が対応付けられた変化領域に重ねて対応付くかを調べることで、変化領域において複数の移動物体が交差しているか否かを判定する。

階層型テンプレートマッチング手段１３５は、交差判定手段１３４による判定の結果、複数の交差する移動物体が対応付けられた変化領域において、テンプレート画像を用いたテンプレートマッチングによって、各移動物体の領域を検出する。階層型テンプレートマッチング手段１３５の詳細に関しては、後述する。

最前景判定手段１３６は、階層型テンプレートマッチング手段１３５にて検出された移動物体の領域の位置に基づいて、各変化領域において交差する複数の移動物体のうち最前景に位置する移動物体であるか、又は他の移動物体の背後に位置する移動物体であるかを判定する。

移動物体情報抽出手段１３７は、階層型テンプレートマッチング手段１３５にて検出された移動物体の領域に関する情報から画像に依存しない非画像依存情報１４３を抽出し、移動物体の領域の入力画像から画像に依存する画像依存情報１４２を抽出する。

移動物体情報更新手段１３８は、移動物体が他の移動物体と交差しているか否かに応じて、移動物体情報抽出手段１３７が抽出した画像依存情報１４２及び非画像依存情報１４３を用いて、記憶部１４０に記憶された移動物体の移動物体情報１４１を更新する。交差判定手段１３４によって変化領域に移動物体が一つしか存在しないと判定された場合、移動物体情報更新手段１３８は、移動物体情報１４１を全て更新する。また、交差判定手段１３４によって複数の移動物体が交差していると判定された場合、移動物体が最前景判定手段１３６によって最前景に位置すると判定されれば、移動物体情報１４１を全て更新する。しかし、移動物体が他の移動物体の背後にあると判定された場合は、移動物体情報１４１のうち非画像依存情報１４３のみを更新する。

滞留判定部１５０は、移動物体毎に記憶部１４０に記憶されている存在時間を調べ、予め定めた時間（例えば１分間）より長く画像中に存在していれば、それが人間か否かを調べるために当該移動物体の領域の情報を人判定部１６０に送る。

人判定部１６０は、滞留判定部１５０から送られた予め定めた時間より長く画面内に存在している移動物体が人間であるか否かを判定し、人間であると判定した揚合は警報部１７０にその結果を送る。また、その時の画像を不審者検知画像１４５として記憶部１４０に記憶してもよい。

警報部１７０は、人判定部１６０から結果を受け取ると、ＬＥＤなどの警報ランプや警報ブザーなどによって、不審者を検知したことを利用者に知らせる。予め記憶されたメッセージをスピーカーなどを介して音声として流したりディスプレイ上に表示したりしてもよい。また、記憶部１４０に記憶された不審者検知画像１４５は、ディスプレイやプリンタなどの出力装置（図示せず）を介して出力することもできる。

［発明の動作］
図７は、本発明の一実施形態である移動物体追跡装置１０の動作フローを示すフローチャートである。図７を参照しながら、移動物体追跡装置１０の各部の動作の詳細に関して説明する。

ステップＳ１００において、移動物体追跡装置１０は、撮像装置２０によって監視領域を撮像装置２０の画角内に移動物体が存在しない状況で予め撮影した背景画像を基準画像１４４として記憶部１４０に記憶したり、追跡対象の移動物体に関する移動物体情報１４１を初期状態にしたりするなどの移動物体の追跡処理のための初期化を行う。

ステップＳ２００において、移動物体追跡装置１０は、予め規定された時間間隔で撮像装置２０が撮影した画像を画像取得部１１０を介して受け取り、追跡処理部１３０へ渡す。こうして、移動物体追跡装置１０は、撮像装置２０から一定時間間隔で順次入力画像が送られる毎に、追跡処理部１３０によるステップＳ３００〜Ｓ１４００の処理を繰り返す。

ステップＳ３００において、追跡処理部１３０は、変化領域抽出手段１３１によって、撮像装置２０から新たに受け取った入力画像と記憶部１４０に記憶されている基準画像１４４との差分処理を行い、入力画像中の変化領域を抽出する。

変化領域抽出手段１３１は、撮像装置２０が撮像し画像取得部１１０を介して受け取った入力画像と予め取得して記憶部１４０に記憶しておいた基準画像１４４とを比較し、差異のある領域を変化領域として抽出し、その結果を特徴抽出手段１３２に渡す。例えば、変化領域抽出手段１３１は、入力画像と基準画像１４４との対応する画素の画素値について差分処理を行い、一定以上の差分値がある画素群について２値化、ラベリングなどの方法を実行する。こうして、入力画像において基準画像１４４と異なる変化領域、すなわち、移動物体が存在すると推定される領域が抽出される。尚、画素値間の差分を求める方法については、公知の様々な方法を用いることができるため詳細についての説明は省略する。

ステップＳ４００において、追跡処理部１３０は、特徴抽出手段１３２によって、抽出された変化領域の入力画像において画像処理を行い、特徴情報を算出する。

特徴抽出手段１３２は、変化領域抽出手段１３１で抽出された変化領域について塊毎にグループ分けを行い、各グループにラベル（以後グループをラベルと呼称する）を付け、ラベル毎にその領域の入力画像から特徴情報を抽出する。

ステップＳ５００において、追跡処理部１３０は、対応付け手段１３３によって、記憶部１４０に記憶されている移動物体の移動物体情報１４１と特徴抽出手段１３２にて抽出された変化領域の特徴情報とに基づいて、移動物体と変化領域との対応付けを行う。

対応付け手段１３３は、記憶部１４０に記憶されている一時刻前の入力画像で検出された追跡対象の移動物体に関する移動物体情報１４１と特徴抽出手段１３２が現時刻の入力画像の各変化領域から抽出した特徴情報とから算出した類似度に基づいて、一時刻前に検出された移動物体のそれぞれが現時刻の入力画像のどの変化領域に存在する可能性が最も高いかを対応付ける。

図３は、一時刻前の入力画像における移動物体と現時刻の入力画像における変化領域との１対１対応付けの例を示す図である。図を参照しながら、本実施例における対応付け手段１３３による対応付けの例について説明する。

図３は、図３（ａ）の一時刻前の入力画像において離れていた車両８０１と人間８０２とが図３（ｂ）の現時刻の入力画像において交差する例を示す。図３（ｃ）に示すように、前時刻の入力画像では、変化領域８０５、８０６、８０７が抽出され、図３（ｅ）に示すように、それぞれの変化領域に識別子ＩＤ１、ＩＤ２、ＩＤ３を付与する。これに対して、図３（ｄ）に示されるように、現時刻の入力画像では、車両８０１と人間８０２が交差して一体化した一つの変化領域８０８として抽出され、人間８０３は、単独の変化領域８０９として、車両８０４は単独の変化領域８１０として抽出される。図３（ｆ）に示すように、これらの抽出された変化領域に、それぞれ、識別子ＩＤＡ、ＩＤＢ、ＩＤＣを付与する。本実施例では、画像の左上端を原点として横方向にＸ軸を縦方向にＹ軸を設定して領域を特定する。図３の例において、対応付け手段１３３は、個々の変化領域ＩＤＡ、ＩＤＢ及びＩＤＣに対して、それぞれ、最も「対応度」の高い一時刻前の移動物体８０２、８０３及び新規移動物体８０４を対応付け、当該変化領域に存在する移動物体とする。どの変化領域にも対応付けられなかった一時刻前の移動物体８０１は、一時的にロスト状態（追跡不能状態）と判定する。

ここで「対応度」とは一時刻前の移動物体と現時刻の変化領域とがどのくらい特徴が一致しているかを表す指標であり、一時刻前の移動物体の移動物体情報１４１と現時刻の変化領域の領域及び特徴情報との類似度に基づいて求められる。本実施例では、対応度の算出に当たって、移動物体の予測位置と現時刻の変化領域との重なり具合（位置類似度）、前時刻の移動物体の色ヒストグラムと現時刻の変化領域の色ヒストグラムとの類似度（色ヒストグラム類似度）、及び前時刻の移動物体の面積と現時刻の変化領域の面積との比（面積類似度）を、それぞれ、全く同じである場合は1.0、何らかの共通点がある場合は1.0以下の正数、全く共通点がない場合は0となるように正規化して求め、次のように計算しているが、これに制限されず、多様な周知の方法を用いることができる。

ここで、各類似度の重み付けｗ_p、ｗ_h、ｗ_aは、３種類の類似度の総和が１となるように予め定めた正数である。尚、各類似度の算出方法としては、多様な周知の方法を使用することができるので詳細な説明は省略する。

移動物体の予測位置は、記憶部１４０に記憶されている非画像依存情報１４３である一時刻前の移動物体の領域と、同じく非画像依存情報１４３である過去の移動量から予測した予測移動速度とに基づいて計算される。本実施例では、前時刻と現時刻との間は各移動測物体が等速運動を行っていると仮定し、前時刻の移動物体の領域の位置に予測移動速度を加算した位置を現時刻における移動物体の予測位置として採用している。予測移動速度は、記憶部１４０に記憶されている過去の移動量を１次ＡＲモデルによる予測法やカルマンフィルタ等の多様な予測方法を使って予測することができる。

本実施例では、移動物体の予測位置及び現時刻の変化領域の位置、色ヒストグラム及び面積を使用して対応度を算出する方法を例示したが、他の特徴情報を使って対応度を定義してもよい。また、合成の際に相加平均、相乗平均など様々な方法で計算することができる。

対応付け手段１３３は、前時刻の移動物体と現時刻の変化領域との間の対応度が求まったら新規出現の度合いとロストの度合いとを以下の手順で決定する。
（ｉ）前時刻の各移動物体の識別子を各行に対応させ、現時刻の各変化領域の識別子を各列に対応させて対応度を行列状に並べた対応度表を作成する。
（ｉｉ）現時刻の各変化領域に対応する対応度表の列毎に対応度の最大値を求め、その最大値を1.0から減じた値をその変化領域に移動物体が新規出現した度合いとし、各変化領域に対する新規出現の度合いを示す一行を対応度表に追加する。
（ｉｉｉ）前時刻の各移動物体に対応する対応度表の行毎に対応度の最大値を求め、その最大値を1.0から減じた値をその移動物体が現時刻の入力画像中から消えたロストの度合いとし、各移動物体に対するロストの度合いを示す一列を対応度表に追加する。

図３（ｈ）は、このようにして作成された対応度表の一例を示す。対応付け手段１３３は、この対応度表から、ロストを表す列を例外として必ず一列につき一つのみ、新規出現を表す行を例外として必ず一行につき一つのみの対応度を選びながら、それらの対応度の総和が最大となるように前時刻の移動物体と現時刻の変化領域との対応付けを行う。この際、新規出現を表す一行及びロストを表す一列からは、複数の対応度を選んでもよい。すなわち、追跡対象の移動物体のうちのいくつかを変化領域のうちのいくつかに１対１で対応付け、変化領域に対応付けられなかった移動物体はロスト状態であり、移動物体に対応付けられなかった変化領域には、移動物体が新規出現したと判定する。対応度表に基づいて対応度の和が最大になる対応付けの組み合わせを求めるのに、例えば、ハンガリー法などの最適化手法を利用することができる。尚、ハンガリー法の詳細については、例えば、定道宏著、「経営科学」、オーム社、１９８９年に記載されている。

図３（ｈ）の対応度表においては、円で囲まれた対応度が選択される。したがって、図３の例では、変化領域ＩＤＡとＩＤ２（人間）、変化領域ＩＤＢとＩＤ３（人間）が対応付き、ＩＤ１（車両）は一旦ロストと判定される（但し後述の交差判定手段１３４でその判定は修正される）。変化領域ＩＤＣは、新規移動物体が出現したと判定される。

ステップＳ６００において、追跡処理部１３０は、交差判定手段１３４によって、対応付け手段１３３によってロストと判定された移動物体のうち、他の移動物体と交差して一体化した変化領域に存在する可能性のある移動物体を当該変化領域に対応付ける。

交差判定手段１３４は、対応付け手段１３３によってロストと判定された各移動物体の予測位置の外接矩形が、現時刻の各変化領域の外接矩形と重なっているか否かを調べる。交差判定手段１３４は、一旦ロストと判定された移動物体の外接矩形と重なっている変化領域の外接矩形が存在した場合は、移動物体が他の移動物体と交差した状態で一体化した変化領域として抽出されていると判定する。そして、移動物体を当該変化領域に存在する移動物体として対応付ける。こうして、交差判定手段１３４は、ロストと判定された移動物体と変化領域との対応関係を構築する。尚、一つの移動物体が複数の変化領域と重なっている場合、交差判定手段１３４は、最も重なりが大きい変化領域にこの移動物体を対応付ける。

図３を参照しながら、交差判定手段１３４の処理を説明する。図３（ｆ）中の破線で示した外接矩形の領域は、前時刻の移動物体ＩＤ１、ＩＤ２及びＩＤ３の現時刻における予測位置を表す。分かりやすくするため、図３（ｆ）の矩形情報のみを取り出したものを図３（ｇ）に示す。ここで、実線で示した矩形ＲＡ、ＲＢ及びＲＣは、それぞれ、現時刻の変化領域の外接矩形ＩＤＡ、ＩＤＢ及びＩＤＣを表し、破線で示した矩形Ｒ１、Ｒ２及びＲ３は、それぞれ、移動物体ＩＤ１、ＩＤ２及びＩＤ３の現時刻における予測位置の外接矩形を表す。図３の例において、交差判定手段１３４は、移動物体ＩＤ１が一旦ロストと判定されたが、その予測位置の外接矩形Ｒ１が、既に移動物体ＩＤ２と対応付けられている変化領域ＩＤＡの外接矩形ＲＡと重なっているため、移動物体ＩＤ１も移動物体ＩＤ２と共にＩＤＡに対応付ける。

ステップＳ７００において、追跡処理部１３０は、交差判定手段１３４によって複数の交差する移動物体が存在すると判定された各変化領域に関して（ステップＳ７５０のＹｅｓ）、階層型テンプレートマッチング手段１３５によってその変化領域に存在する移動物体の領域を特定する。

ステップＳ８００において、階層型テンプレートマッチング手段１３５は、交差判定手段１３４が各変化領域に存在すると判定した複数の交差する移動物体の領域を、移動物体毎にテンプレートマッチングによって抽出し、抽出した領域を現時刻の入力画像における移動物体の領域とし、必要があれば抽出した領域の修正を行う。尚、階層型テンプレートマッチング手段１３５の詳細に関しては、後述する。

ステップＳ９００において、追跡処理部１３０は、移動物体情報抽出手段１３７によって、階層型テンプレートマッチング手段１３５が特定した移動物体の領域とその領域の入力画像に基づいて、移動物体情報を抽出する。

移動物体情報抽出手段１３７は、階層型テンプレートマッチング手段１３５が特定した移動物体の領域に基づいて、移動物体の領域や移動量などの非画像依存情報を抽出する。また、移動物体情報抽出手段１３７は、移動物体の領域の入力画像から、移動物体の画像の色ヒストグラム、面積などの特徴情報を含む画像依存情報を抽出する。尚、移動物体が変化領域において他の交差する移動物体の背後に位置する場合は、画像依存情報の精度が劣化する可能性があるので、画像依存情報は抽出しなくてもよい。

ステップＳ１０００において、追跡処理部１３０は、移動物体情報更新手段１３８によって、移動物体情報抽出手段１３７が抽出した移動物体情報に基づいて移動物体情報１４１を更新する。

移動物体情報更新手段１３８は、交差判定手段１３４の処理結果に基づいて移動物体が他の移動物体と交差しているか否かを判定し、他の移動物体が交差している場合は、最前景判定手段１３６によって当該移動物体が最前景に位置するか否かを判定し、その結果に従って記憶部１４０に記憶されている移動物体の移動物体情報１４１の全て又は一部を更新する。

最前景判定手段１３６は、変化領域において複数の移動物体が交差している場合、階層型テンプレートマッチング手段１３５によって抽出された各移動物体の領域の下端が最も下に位置する移動物体を最前景に位置すると判定する。

図１及び図５を参照しながら、本実施形態における移動物体の前後関係の判定方法について説明する。図１（ａ）に示すように、本実施例では、本発明に係る移動物体追跡装置を玄関脇のカメラ付インターホンに適用した場合を想定している。カメラ付インターホンは、通常、人間の手が届く範囲の高さに設置され、搭載されるカメラは、地面とほぼ平行な方向すなわち概略水平方向に向けられる。

図１（ｂ）に示す例では、移動物体である人間３と車両４が、カメラが撮影する光軸方向３１とほぼ平行な概略水平平面の地面上３０にカメラからみて前後に並んでおり、人間３の方が車両４よりカメラに近い位置にいる。したがって、カメラが撮影した画像の中では、人間３が手前に、車両４が人間３の背後に映る。車両４の一部は、人間３と交差してその背後に映るため、人間３の陰に隠れて見えない。この場合、カメラ側から見て手前に位置する人間の下端と撮影可能な範囲の下端との間の距離３６の撮影可能な範囲全体３４に対する比の方が、後側に位置する車両の下端と撮影可能な範囲の下端との間の距離３７の撮影可能な範囲全体３５に対する比より小さいため、撮影された画像において手前にいる人間の下端の方が後側にある車両の下端より下に位置する。したがって、本実施例だけでなく多くの場合において、撮影された物体の前後関係を判定するのにこの方法を適用することができる。

図５は、本発明の一実施形態である移動物体追跡装置１０における前後関係判定処理を示す図である。ここでは、図３（ｂ）の場合に前後判定を行った場合の例が示されている。図５（ａ）は変化領域抽出手段１３１によって抽出された変化領域１００１を表し、図５（ｂ）は、図４（ａ）のテンプレート画像Ｔ１及びＴ２を用いてテンプレートマッチングを行った結果抽出された領域の外接矩形１００２及び１００３を表す。人間のマッチング位置の矩形１００３の下端の方が車両のマッチング位置の矩形１００２の下端より下に位置するため、人間の方が車両よりも前面に位置すると判定する。こうして、このマッチング位置に配置されるテンプレート画像Ｔ２と変化領域とが重なる部分を現時刻での人間の領域として抽出する。残る車両の位置は、５（ａ）の元々の変化領域図１００１から人間の領域を取り除いた領域１００４（図５（ｃ））に対して再度テンプレートマッチングを実施して決定する。

移動物体情報更新手段１３８は、移動物体が変化領域に一つしか存在しない場合、移動物体情報１４１の全てを更新する。また、移動物体が変化領域において他の移動物体と交差している場合、移動物体が最前景に位置すれば、移動物体情報１４１の全てを更新する。しかし、移動物体が他の移動物体の背後に位置する場合は、移動物体情報１４１のうちの非画像依存情報１４３のみを更新し、画像依存情報１４２は更新しない。

このように、移動物体情報更新手段１３８は、変化領域において他の移動物体と交差し他の移動物体の背後に位置する移動物体に対して、例えば、色ヒストグラム及び面積などの特徴情報やテンプレート画像などの画像データに依存する画像依存情報１４２を敢えて更新しない。これらの画像依存情報１４２に関しては、前時刻の値をそのまま引き継いで次時刻の入力画像における移動物体の追跡処理で使用する。こうすることによって、背後の移動物体の画像の一部が前の移動物体によって隠れてしまうため、背後の移動物体の領域全体の画像に基づいて画像依存情報１４２を更新するとかえって精度が劣化してしまうのを防止する。こうして、このような情報の更新の精度を上げるため前面の移動物体によって隠れた領域を解析したりフレームレートを高くしたりするなどの複雑で高度な処理をしなくとも、移動物体の画像追跡に十分な精度の情報を維持することができる。

しかし、移動物体情報更新手段１３８は、例えば、移動物体の領域や移動量などの画像データに依存しない非画像依存情報１４３に関しては、背後の移動物体についても更新を行う。移動物体の一部が前面の移動物体に隠れた場合、背後の移動物体の領域全体に基づいてこれらの情報を更新しても情報の精度にあまり影響を与えないからである。このような非画像依存情報１４３は、次時刻の入力画像における移動物体の追跡処理における判定基準として有用である。

一方、移動物体情報更新手段１３８は、移動物体が変化領域に一つしか存在しない場合、又は他の移動物体と交差するが最前景に位置する場合、非画像依存情報１４３だけでなく、色ヒストグラム及び面積などの特徴情報やテンプレート画像などを含む画像依存情報１４２も更新する。この場合、移動物体はその一部が他の移動物体の陰に隠れることがなく移動物体の領域全体の画像が全て得られるため、正しい画像依存情報１４２が抽出されるからである。

図４は、本発明の一実施形態である移動物体追跡装置１０におけるテンプレート画像の更新の例を示す図である。図３及び図４を参照しながら、移動物体が交差している場合のテンプレート画像１４２の更新について説明する。

図３（ａ）に示すように、車両８０１及び人問８０２が離れて画像に映っている場合、それぞれのテンプレート画像は、図４（ａ）のＴ１及びＴ２となる。次時刻において、図３（ｂ）に示すように、車両８０１及び人間８０２は、画像中で交差している。この場合、移動物体情報更新手段１３８は、人間８０２が他の移動物体の車両８０１と交差しているが最前景に位置するため、人間８０２のテンプレート画像を図４（ｂ）のＴ２’で示すように更新する。一方、車両８０１は、その一部が人間８０２の背面に隠れて全体が見えないため、移動物体情報更新手段１３８は、車両８０１のテンプレート画像の更新は行わず、前時刻のテンプレート画像Ｔ１をそのまま用いる。したがって、車両８０１のテンプレート画像の精度の劣化を防ぐことができる。

ステップＳ１００５において、追跡処理部１３０は、追跡が成功した移動物体に対して記憶部１４０に記憶されている追跡成功回数を１回増やす。逆に追跡に失敗して見失った場合は、追跡成功回数を０にリセットする。移動物体が画面外に出たと判定された場合、追跡処理部１３０は、この移動物体に関する移動物体情報１４１を記憶部１４０から消去する。

ステップＳ１１００において、移動物体追跡装置１０は、追跡処理部１３０が追跡に成功した移動物体について、滞留判定部１５０によって、予め定めた時間より長く画像中に存在しているか否かを判定する。

滞留判定部１５０は、例えば、移動物体の追跡成功回数が予め定めた回数よりも多いか否かを判定することによって、当該移動物体が予め定めた時間より長く画像中に存在し続けているか否かを判定する。また、滞留判定部１５０は、現時刻に取得された入力画像中に存在する移動物体について存在時間を更新し、この存在時間を記憶部１４０に記憶しておき、移動物体が長時間存在しているか否かの判定に使用してもよい。

移動物体が予め定めた時間より長く画像中に存在している場合（ステップＳ１１００でＹｅｓの場合）、ステップＳ１２００において、移動物体追跡装置１０は、人判定部１６０によってこの移動物体が人であるか否かを判定する。

人判定部１６０は、滞留判定部１５０によって予め定めた時間より長く画面内に存在すると判定された移動物体が人間であるか否かを判定し、人間であると判定した揚合は警報部１７０にその結果を出力する（Ｓ１３００）。そして、その移動物体の画像を不審者検知画像１４５として記憶部１４０に記憶する。また、例えば、不審者が滞留した時間帯など他の情報も一緒に記憶部１４０に記憶してもよい。さらに、例えば、室内に設置されたインターホンの親機において利用者がスイッチボタンやタッチパネルなどの入力装置を介してこれらの情報の表示を要求したとき、ディスプレイなどの出力装置を介して記憶部１４０に記憶された情報を表示してもよい。

人判定部１６０において移動物体が人間であるか否かを判定する方法には、周知の様々な方法を使用することが可能である。例えば、P. Viola、M. Jones & D. Snow、「動作パターン及び外観パターンによる歩行者の検出（Detecting Pedestrians Using Patterns of Motion and Appearance）」、IEEE International Conference on Computer Vision, pp.734, 0ct, 2003に記載されているように、予め撮影した様々な外観の人間の画像を使用してAdaBoostによって学習したHaar-Like特徴に基づくカスケード型識別器によって実現できる。

移動物体が人間であると判定されたる場合（ステップＳ１２００でＹｅｓの場合）、ステップＳ１３００において、移動物体追跡装置１０は、警報部１７０によって、ユーザーに光や音等で警告し、記憶部１４０に記憶されている不審者検知画像１４５を外部の機器、例えば室内に設置されるインターホン親機のモニターなどに表示する。

図８は、本発明の一実施形態である移動物体追跡装置１０における階層型テンプレートマッチング手段１３５の動作フローを示すフローチャートである。図８を参照しながら、階層型テンプレートマッチング手段１３５の動作の詳細について説明する。

階層型テンプレートマッチング手段１３５は、処理対象の変化領域に存在すると対応付けられた各移動物体について、ステップＳ８０１〜８０６の処理を繰り返す。

ステップＳ８０１において、階層型テンプレートマッチング手段１３５は、交差判定手段１３４によって処理対象の変化領域に対応付けられた各移動物体について、それぞれのテンプレート画像を用いてテンプレートマッチングを行い、変化領域中で最も一致する位置を抽出する。テンプレートマッチングの指標としては、変化領域とテンプレート画像の対応する画素間の画素値に対する正規化相関、差分絶対値和及び差分二乗和などの様々な指標を利用することができる。

ステップＳ８０３において、階層型テンプレートマッチング手段１３５は、テンプレートマッチングによって抽出された各移動物体の位置に基づいて前後関係を判定し、最前景に位置する移動物体を特定する。本実施例では、前述の最前景判定手段１３６と同様に、移動物体の領域の下端が下の方に位置する移動物体を前側に位置すると判定する。ここで、ステップＳ８０１〜８０６の初回のループにおいて最前景と判定された移動物体を記憶部１４０に記憶しておき、最前景判定手段１３６の判定に利用してもよい。

ステップＳ８０５において、階層型テンプレートマッチング手段１３５は、マッチング位置に配置した最前景に位置する移動物体のテンプレート画像と変化領域とが重なる部分を移動物体の現時刻の入力画像における新たな領域とし、当該領域を変化領域から取り除く。

階層型テンプレートマッチング手段１３５は、最前景に位置しない残りの移動物体について、ステップＳ８０１からステップＳ８０６までの一連の処理を繰り返し、最前景の移動物体から順に変化領域に存在する移動物体の個数分繰り返すことによって、各移動物体の領域が抽出される。

ステップＳ８０７において、階層型テンプレートマッチング手段１３５は、変化領域に存在する全ての移動物体の領域を特定した後、どの移動物体にも対応付かなかった残りの変化領域の割合が予め定めた割合以上か否かを判定する。予め定めた割合以下であった場合（ステップＳ８０７でＮｏの場合）、残りの領域は、距離的に最も近い移動物体に対応付けられる。

逆に予め定めた割合以上の変化領域が残った場合（ステップＳ８０７でＹｅｓの場合）、階層型テンプレートマッチング手段１３５は、前時刻の移動物体の中で画面端に接しているものが存在するか否かを検証する（ステップＳ８０８）。前時刻で画面端に接する移動物体が存在しない場合（ステップＳ８０８でＮｏの場合）、階層型テンプレートマッチング手段１３５は、残りの変化領域を全て新規出現の移動物体として対応付ける（ステップＳ８１１）。

ステップＳ８０８において、階層型テンプレートマッチング手段１３５は、変化領域の中から時刻の経過によって形状が変化する可能性のある移動物体を特定し、その特定された移動物体の領域を修正する。例えば、階層型テンプレートマッチング手段１３５は、変化領域に対応する移動物体のうちで前時刻の取得画像において画面端に接しているものが存在するか否かを判定する。画面端に接しているものが存在する場合（ステップＳ８０８でＹｅｓの場合）、階層型テンプレートマッチング手段１３５は、当該移動物体のマッチング結果を移動方向に平行な方向に変化領域内で拡張する（ステップＳ８０９）。尚、前時刻で複数の移動物体が画面端に接している場合は、前面の物体から順に領域を拡張する。こうして、階層型テンプレートマッチング手段１３５は、前時刻において移動物体全体が画面内に映っていなかったために対応付かなかったと思われる移動物体の領域を残った変化領域から対応付けることができる。

このように、前時刻で画面端に接している移動物体が画面内に進入してくる方向に移動している場合、現時刻では前時刻で画面外にあった部分まで撮影されていると考えられるため、前時刻で見えなかった部分は見えていた部分に対して移動方向と逆の方向に続いていると考える。こうして、階層型テンプレートマッチング手段１３５は、当該移動物体のテンプレートマッチング後の領域を移動方向の逆の方向に拡張して領域の修正を行う。尚、本実施例では、カメラ付インターホンのように撮像装置２０は略水平方向に向くように設置されていると想定している。したがって、移動方向を水平方向と限定してもさほど問題はない。

図６は、前時刻の入力画像において画面端に接する移動物体が存在する場合の領域修正の例を示す図である。図６を参照しながら、前時刻において画面端に接している移動物体が現時刻で他の移動物体と交差する場合の移動物体領域の修正処理について説明する。

図６（ａ）に示すように、前時刻において車両９０１の画像は画面左端に接しており一部分しか見えず、人間９０２は全身が見えており、図６（ｃ）に示すように、現時刻において車両９０１と人間９０２とが交差して重なっている例について考える。前時刻における変化領域は、図６（ｂ）に示す通りであり、それぞれＩＤ４、ＩＤ５という識別子が与えられている。また、図６（ｄ）に示すように、現時刻では、交差によって車両９０１と人間９０２が一体化されて一つの変化領域ＩＤ６として抽出される。したがって、テンプレートマッチングによって各移動物体の領域を特定し、特定された領域を変化領域から抽出する必要がある。しかしながら、前時刻において移動物体は交差状態ではないため、図６（ａ）の車両９０１及び人間９０２のテンプレート画像は、それぞれ、図６（ｅ）のＴ４及び図６（ｆ）のＴ５に示す通りである。このように、前時刻の入力画像において車両９０１は一部しか映っておらず、車両９０１のテンプレート画像として、図６（ｅ）のＴ４が記憶されている。したがって、このテンプレート画像Ｔ４を用いたテンプレートマッチングの結果、図６（ｇ）に示すように、人間９０２はＩＤ５’に、車両９０１はＩＤ４’に対応付けられ、ＩＤ６’が残ってしまう。しかしながら、車両が前時刻で画面左端に接しており、画面右方向に移動しているため、車両の領域ＩＤ４’を左右方向に拡張することによって最終的にはＩＤ６’が車両の領域に含まれる。

以上の処理を行った後、まだ変化領域が予め定めた閾値以上残っている場合（ステップＳ８１０でＹｅｓの場合）、階層型テンプレートマッチング手段１３５は、ステップＳ８１１において残った領域を新規出現の移動物体の領域として対応付ける。

この新規出現の移動物体に関して、階層型テンプレートマッチング手段１３５は、特定された領域やその領域の入力画像に基づいて新規移動物体の移動物体情報を抽出して記憶部１４０に記憶する。尚、変化領域の残りが予め定めた割合以下であった場合、階層型テンプレートマッチング手段１３５は、距離（例えばマハラノビス距離等）的に最も近い移動物体にこの変化領域の残りを対応付ける。

本発明によれば、画像中の複数の移動物体を追跡する際、交差する複数の移動物体を撮影するカメラに対する前後位置を判断して、後ろ側に位置する移動物体については、テンプレート画像のように画像に依存する情報の更新を敢えて行わない。したがって、複数の移動物体が画像中で交差する際、後ろ側に位置する移動物体のテンプレート画像が、前側に位置する移動物体に隠れて見えない部分があるにもかかわらず強制的に更新されるため、テンプレートとしての質が劣化してしまうことに起因する画像追跡の精度の低下を防ぐことができる。このため、複数の移動物体が頻繁に交差する状況においても、各移動物体を精度良く追跡することができる。したがって、例えば、カメラ付きインターホンなどのハードウェア資源が限られた動作環境に適用した場合でも、インターホンの前に長時間居続ける不審者（ストーカーなど）を的確に検出することができる。

また、入力画像における位置関係に基づいて、すなわち、入力画像において移動物体の下端が下に位置する方が前に位置すると判定することによって、移動物体の前後関係の判定が簡単に行われる。特に、カメラを概略水平方向に向けざるを得ないカメラ付きインターホンに本発明を適用することで、玄関前に長時間居続ける不審者（ストーカー）を精度良く検出できる。さらに、前時刻に取得されたフレームにおいては画面端に映ったため画面内に一部または全部が映っていなかった移動物体が現時刻のフレームにおいて他の移動物体と交差する場合についても、その領域を更新することによって、より正確な画像追跡が行われる。また、現入力画像における各変化領域に対して最前景に位置する可能性の最も高い移動物体を対応付けることによって、交差判定などの処理が容易になる。

上記のように、すべての移動物体に対して更新する非画像依存情報と他の移動物体の背後に位置する移動物体に対して更新を行わない画像依存情報とに関しては、本実施例に制限される必要はない。追跡対象の移動物体の特性、撮影する撮像装置の性能、撮影場所の状況、画像処理の動作環境などに応じて更新の精度を考慮し、他の移動物体の背後に位置する移動物体に対して更新を行わない情報を適切に選定することができる。他の移動物体の背後に位置する移動物体に関する情報について全く更新を行わない場合もある。

本実施例では、本発明のカメラ付きインターホンなどのハードウェア資源が制限された環境においても交差する各移動物体を精度良く追跡することができるという利点を説明するため、カメラ付きインターホンにおける例について説明したが、本発明は本実施例に限定されない。他の限られたハードウェア資源を有する環境においても有効である。また、追跡する移動物体の特性、画像の撮影条件、その他の状況に応じて、豊富なハードウェア資源を有する高性能の画像処理環境においても、本発明が同様の効果をもたらす場合がある。

本発明の一実施形態である移動物体追跡装置が実装されたカメラ付インターホンの設置例を示す図である。本発明の一実施形態である移動物体追跡装置が実装されたカメラ付インターホンの構成を示すブロック図である。一時刻前の入力画像における移動物体と現時刻の入力画像における変化領域との１対１対応付けの例を示す図である。本発明の一実施形態である移動物体追跡装置におけるテンプレート画像の更新の例を示す図である。本発明の一実施形態である移動物体追跡装置における前後関係判定処理を示す図である。前時刻の入力画像において画面端に接する移動物体が存在する場合の領域修正の例を示す図である。本発明の一実施形態である移動物体追跡装置の動作フローを示すフローチャートである。本発明の一実施形態である移動物体追跡装置における階層型テンプレートマッチングの動作フローを示すフローチャートである。

符号の説明

１０移動物体追跡装置
２０撮像装置
１１０画像取得部
１３０追跡処理部
１３１変化領域抽出手段
１３２特徴抽出手段
１３３対応付け手段
１３４交差判定手段
１３５階層型テンプレートマッチング手段
１３６最前景判定手段
１３７移動物体情報抽出手段
１３８移動物体情報更新手段
１４０記憶部
１４１移動物体情報
１４２画像依存情報
１４３非画像依存情報
１４４基準画像
１４５不審者検知画像
１５０滞留判定部
１６０人判定部
１７０警報部

Claims

画像を順次取得する画像入力部と、移動物体ごとに追跡に使用する画像依存情報及び非画像依存情報を含む移動物体情報と、移動物体が含まれていない基準画像とを記憶する記憶部と、前記入力画像を順次画像処理して移動物体を画像上にて追跡する追跡処理部を具備する移動物体追跡装置であって、
前記追跡処理部は、
前記基準画像と前記入力画像とを差分処理して変化領域を抽出する変化領域抽出手段と、
前記入力画像における前記変化領域から特徴情報を抽出する特徴抽出手段と、
前記変化領域の特徴情報と前記移動物体情報とを用いて前記変化領域と移動物体情報との対応付けを行う対応付け手段と、
前記対応付け手段にて一つの変化領域に対し複数の移動物体情報が対応付く交差の有無を判定する交差判定手段と、
移動物体ごとに、前記入力画像における変化領域から画像に依存した画像依存情報と画像に依存しない非画像依存情報とを抽出する移動物体情報抽出手段と、
前記交差判定手段にて交差ありと判定した前記変化領域に対応する複数の移動物体情報のうち、最前景に位置すると判定した移動物体情報については前記移動物体情報抽出手段にて抽出した前記画像依存情報及び非画像依存情報の両方を更新し、前記最前景に位置しないと判定された移動物体情報については前記移動物体情報抽出手段にて抽出した前記非画像依存情報のみを更新し、
前記交差判定手段にて交差なしと判定した前記変化領域に対応する移動物体情報については、前記移動物体情報抽出手段にて抽出した前記画像依存情報及び前記非画像依存情報の両方を更新する移動物体情報更新手段と、
を具備することを特徴とした移動物体追跡装置。
前記記憶部の画像依存情報には、前記移動物体情報のうち過去の移動物体情報が対応付いた領域の画像をテンプレートとして含んでおり、
更に、
前記追跡処理部は、前記交差判定手段にて交差ありと判定した変化領域に対して、対応付いた移動物体情報の前記テンプレートを用いてテンプレートマッチング処理を行うテンプレートマッチング処理手段と、
前記テンプレートマッチング処理手段にてマッチングがとれた領域のうち最下位置にある領域を最前景に位置すると判定する最前景判定手段と、を具備する請求項１に記載の移動物体追跡装置。
前記記憶部に記憶されている非画像依存情報には、前記移動物体情報のうち過去に移動物体情報が対応付いた領域を含み、
前記移動物体情報抽出手段は、前記テンプレートマッチング処理にてマッチングが取れた領域であって、一時刻前における当該移動物体に対応する領域が画像端に接している領域について、前記マッチングが取れた領域を移動方向と平行に当該変化領域の範囲内で拡張する請求項２に記載の移動物体追跡装置。
前記対応付け手段は、前記記憶部に記憶している移動物体情報及び前記特徴情報から一時刻前の移動物体と現時刻の変化領域との類似度に基づく対応度を示した対応度表を生成し、当該対応度表における対応度の総和が最大になるように変化領域と移動物体情報とを対応付ける請求項１乃至請求項３に記載の移動物体追跡装置。