JP2008176504A - 物体検出装置及びその方法 - Google Patents

Abstract

【課題】比較的安いコストで安定した物体の検出、追跡を行うことができる物体検出装置を提供する。
【解決手段】物体検出装置１０は、カメラ部１２、変化領域検出部１４、交差領域検出部１６、対象追跡部１８、対象判定部２０、背景更新部２２で構成され、背景差分法と視体積交差法、及び、パタン学習によるマッチングや前時刻の対象の画像をテンプレートとしたマッチングの出力結果を相互に交換して、初期位置から移動した物体を対象と見なす。
【選択図】 図１

Description

本発明は、複数のカメラを用いて、人物や車両などの移動物体を検出、追跡する物体検出装置及びその方法に関する。

従来、カメラを用いて観測シーン内に入ってきた物体を検出、追跡する技術が提案されている。そのうち、古典的かつ計算コストの安い方法として現在でも広く用いられているのが、２台以上のカメラで画像を撮影し、背景差分法で得られた物体のシルエットを視体積交差法などで投影空間中に投影して、シルエットの交差領域から物体の位置を求める方法である。例えば、非特許文献１では、定常的な輝度変動に対して頑健な背景差分によって得られたシルエットからImage-based Visual Hullを用いて動物体の位置推定を行っている。

また、シルエットの視体積から物体の検出、追跡を行う方法として特許文献１が提案されている。この方法では、シルエットの両端を結ぶ線が成す視角を求め、各物体は必ず視角の辺に接触しているものと仮定して、視角の辺に接触が可能な物体の組み合わせを仮説として、前時刻に予測された物体情報から各仮説における事後確率を求め、現時刻の物体情報を予測することにより、オクルージョンに頑健な物体追跡を実現している。

一方、検出する物体の特徴が予め判明している場合、予め用意した物体の形状モデルやパタン学習、前時刻の物体の画像などを元にマッチングを行い、物体を検出する方法も広く用いられている。

しかし背景差分法では背景が変化したり、太陽が陰るなど大きな照明変動が起こった場合、これらの変動を検出・追跡物体の物体として誤検出してしまう問題がある。また特許文献１のように過去の物体情報と現在の観測結果から現在の物体情報を予測する方法では、一旦予測を誤って誤差が生じると、それ以後の予測に誤差が累積して追跡精度が低下する可能性がある。

モデルマッチングやパタンマッチングでは、画面全体でマッチングを行うと計算コストが増大するため、背景差分法で変化のあった領域のみ探索したり、段階的に解像度を低下させた階層画像で順次探索を行うなど、計算コストを低減する処理が必要となる。
石川智也，山澤一誠，横矢直和，「複数の全方位動画像からの自由視点画像生成」，画像の認識・理解シンポジウム（MIRU2005） 特開２００４−２２０２９２公報

上記のように、背景差分法と視体積交差法による検出は、計算コストは安いが背景の変動に脆弱であるという問題点がある。

一方、パタン学習によるマッチングは、物体の特徴を検出するため背景変動の影響を受けにくいが計算コストが高いという問題点がある。

そこで、本発明は、上記問題点に鑑み、比較的安いコストで安定した物体の検出、追跡を行うことができる物体検出装置及びその方法を提供することを目的とする。

本発明は、動画像が撮影可能で、共通視野を有する複数のカメラでそれぞれ撮影した背景領域を記憶する背景記憶手段と、検出したい目的の物体の物体領域を含む前時刻の物体情報を記憶する物体情報記憶手段と、前記カメラ毎に撮影したそれぞれの現時刻の画像について、前記背景領域以外の現時刻の変化領域を検出する変化領域検出手段と、前記現時刻の変化領域のそれぞれを投影空間中に投影して視体積を求めて、前記物体が存在する可能性がある交差領域を検出する交差領域検出手段と、前記交差領域と前記前時刻の物体情報から、現時刻の物体情報を推定して現時刻の物体の位置候補を求める物体追跡手段と、前記現時刻の物体の位置候補が、前記物体の初期位置から所定の距離以上移動した場合は、前記現時刻の物体領域を前記物体に関するものと判定し、前記所定の距離以上移動しない場合は、前記現時刻の物体領域を背景領域の誤検出と判定する物体判定手段と、前記目的の物体として判定された場合に、前記現時刻の物体情報を、前記物体情報記憶手段に記憶している現時刻の物体情報に代えて更新する物体情報更新手段と、前記現時刻の物体領域以外の領域を新たな背景領域として、前記背景記憶手段に記憶している背景領域に代えて更新する背景更新手段と、を有する物体検出装置である。

本発明によれば、比較的安い計算コストで安定した物体の検出、追跡が行える。

以下、本発明の一実施形態の物体検出装置１０について図１〜図１０に基づいて説明する。

（１）物体検出装置１０の構成
図１は、物体検出装置１０のブロック図であり、カメラ部１２、変化領域検出部１４、候補領域検出部１６、対象追跡部１８、対象判定部２０、背景更新部２２で構成される。なお、各部１２〜２２の機能は、コンピュータに格納されたプログラムによっても実現できる。

（１−１）カメラ部１２
カメラ部１２は、ＮＴＳＣカメラ、ＩＥＥＥ１３９４カメラ、ＵＳＢカメラなど、動画像が撮影できる複数台のカメラによって構成される。

各カメラ間の撮影タイミングがずれていると、ずれた時間の間に物体が移動してしまい、候補領域検出部１６で求められる候補領域の位置に誤差が生じる。このため各カメラはそれぞれ互いに同期して動作させる。

また、カメラの台数は２台以上で共通の視野を撮影できれば良いが、カメラが２台の場合は図２のようにシーン中に２つの物体が存在したときに虚像が生じることがある。一方、カメラが３台で共通の視野を撮影できる場合も図３のように虚像が生じる場合があるが、投影空間中で２本の直線は容易に交差するのに対し、３本の直線が１点で交わる可能性は低く、虚像が生じる可能性も低い。同様にカメラ台数が増えれば虚像が発生する可能性は低下するため、カメラの台数は３台以上の、できる限り多い台数であることが望ましい。以下の説明では、３台のカメラを使用した場合について説明する。

（１−２）変化領域検出部１４
変化領域検出部１４は、撮影された画像と、背景更新部２０のメモリに記憶されている背景情報との背景差分により観測範囲内に進入した物体を、カメラ毎に検出する。

背景差分の閾値は任意の方法で定めてよいが、観測範囲内で輝度変動が発生する場合を考えると、閾値が動的に変動する方法が望ましい。また、背景更新は対象判定部２０の出力結果を元に行う。

（１−３）候補領域検出部１６
候補領域検出部１６は、図４に示すように、変化領域検出部１４で検出された各カメラで撮影した画像から得られたシルエットをもとに視体積交差法によってシルエットの交差領域を求め、この交差領域を物体が存在する可能性のある候補領域とする。

（１−４）対象追跡部１８
対象追跡部１８は、候補領域検出部１６で検出された現時刻の交差領域と、前時刻に求めた物体情報から、現時刻の物体情報を求める。

物体情報としては、下記の３種類が考えられる。

物体情報の第１の種類としては、ある時刻における投影空間中での物体の位置と、速度と、画像上の物体領域である。

物体情報の第２の種類としては、ある時刻における投影空間中での物体の位置と、速度と、仮想スクリーン上の物体領域である。

物体情報の第３の種類としては、ある時刻における投影空間中での物体の位置と、速度と、画像上の物体領域と、仮想スクリーン上の物体領域である。

なお、対象判定部２０によって検出、追跡物体ではないと判定された交差領域については現時刻の物体情報を求めないことで処理を軽減する。すなわち、対象判定部２０によって検出、追跡物体と判定された交差領域に関する現時刻の物体情報を対象追跡部１８内のメモリに記憶し、次時刻の物体情報とする。

（１−４−１）投影空間への投影
対象追跡部１８では、図５に示すように現時刻の交差領域を画像上に再投影する。

または、対象追跡部１８では、図６に示すように現時刻の交差領域を仮想スクリーン上に再投影する。なお、仮想スクリーンは、カメラ毎に存在し、物体の位置にあって、カメラに正対し、かつ、基準平面（例えば、床平面）に垂直な前記投影空間中の面である。

（１−４−２）現時刻の物体領域のテンプレートマッチングによる検出
図７に示すように、前時刻の物体領域をテンプレートとして、投影した画像上もしくは仮想スクリーン上でテンプレートマッチングを行い、現時刻の物体領域を求める。

画像上でテンプレートマッチングを行う場合、物体が遠くにある場合と近くにある場合で画像上での物体の大きさや移動量が異なるため、物体とカメラ間の距離に応じてテンプレートのサイズを更新したり、探索範囲を動的に変更する必要がある。この探索範囲は、前時刻における物体情報に含まれる前時刻の物体位置と速度に基づいて決定する。

また、仮想スクリーン上でテンプレートマッチングを行う場合、仮想スクリーンは物体の位置の投影空間中に仮想的に作られるため、物体とカメラ間の距離を考慮する必要が無く物体の大きさも一定であるため、テンプレートのサイズや探索範囲といったスケールを変更する必要がなく、より安定に物体を検出することができる。

（１−４−３）現時刻の物体領域のパタン認識による検出
物体の特徴が予め得られる場合、この特徴をパタンとして学習してパタンマッチングを前記テンプレートマッチングの代わりに行って、または、両方同時に行って、現時刻の物体領域を求めてもよい。

このパタンマッチングの場合も同様に仮想スクリーン上でマッチングを行えば、スケールの問題が無視できる。

（１−５）対象判定部２０
対象判定部２０は、対象追跡部１８で求められた物体の位置と初期検出位置を比較し、一定以上移動した物体を実際の物体として判定する。なお、対象判定部２０には、物体の初期検出位置を予め記憶させておく。

（１−６）背景更新部２２
背景更新部２２は、対象判定部２０で物体であると判定された物体領域については、の背景更新は行わない。そのため、静止した物体が背景に溶け込み検出されなくなることを防ぐ。

また、物体ではないと判定された領域を背景領域として、メモリに記憶された背景情報と入れ替えて更新し、背景の誤検出を防ぐ。

（２）物体検出装置１０の処理方法
以下、本実施形態の物体検出装置１０の処理方法として、コンビニエンスストアなどの小規模店舗において、店内の人物を検出、追跡する場合について説明する。図８は本実施形態における処理のフローチャートである。

図９は、店舗にカメラを設置した場合の見取り図である。本実施形態では双曲面ミラーや魚眼レンズを用いた全方位カメラと呼ばれる３６０度の視野をもつカメラを３台設置するものとする。全方位カメラは解像度が低いため、顔照合など細かい特徴量が必要な場合には不向きだが、少ない台数で広い視野を観測することができるため、本実施形態のような物体の検出、追跡用途に適している。

各カメラは十分な共通視野が得られるよう設置する。また各カメラ同士を結ぶ直線上に人物が存在すると、図１０に示すように、交差領域検出部１６で視体積を求める際に交差する領域が大きくなり、人物の位置を正確に求められなくなる。また、コンビニエンスストアでは人物は通路沿いに移動するので、カメラ同士を結ぶ直線が必ず通路と交わるようにカメラを配置する。

ステップ１において、３台のカメラで同期を取って店内をそれぞれ撮影する。

ステップ２、３において、カメラ毎に背景差分処理を行って、変化領域検出部１４で店内の人物を検出する。

コンビニエンスストアは一般的に道に面した壁がガラス張りになっており外光の影響を受けやすいので、前記の通り閾値が動的に変化する背景差分法を用いる。このとき閾値の調整は、やや過検出気味になるよう調整し、人物領域の一部あるいは全部が検出されないことが、ないようにする。対象追跡部１８で大きく検出漏れを起こすと、交差領域検出部１６で視体積交差法を行う際に投影空間中で交差する領域が少ない、あるいは全く無いという状態となり、それ以降の処理がうまくいかなくなる。特にコンビニエンスストアでは商品棚などの遮蔽物によって人物の下半身が見えなくなる場合があるので、カメラに映っている上半身を確実に検出しなければならない。

一方、過検出された人物ではない領域は、視体積交差法で投影空間中の交差領域を求める際に他の画像のシルエットと対応がとれなかったり、更に後段の対象追跡部１８のマッチングでふるい落とされるため検出精度にほとんど影響を及ぼさない。ただしあまりに閾値設定を厳しくして過検出が増えすぎると、その分視体積交差法の投影やマッチングの計算コストが増大する。

ステップ４〜７において、交差領域検出部１６では、対象追跡部１８でカメラ毎に検出された人物領域のシルエットをもとに視体積交差法を行って、人物が存在する可能性のある交差領域を求める。

前述の通りコンビニエンスストアでは商品棚によって人物の下半身が遮蔽されている場合があるため、交差領域は必ずしも人物を内包しているとは限らない。このような場合には人物の形状モデルを仮定し、得られた交差領域に人物モデルを当てはめて新たに交差領域としてもよい。人物モデルは必ずしも人間と同じ形状をしている必要は無く、円柱形や直方体でもよい。

このように人物モデルを当てはめて交差領域を拡張した場合、物体の人物が足まで映っているカメラでは、人物領域を欠損なく得ることができ、後段のテンプレートマッチングの精度向上が期待できる。逆に下半身が遮蔽されて映っているカメラでは、物体の人物の下半身を遮蔽する棚を人物領域としてしまうため、テンプレートマッチングを行う際に人物を検出できなくなる可能性がある。このような場合は交差領域を再投影した像と各画像のシルエットとの論理積を取って遮蔽物の領域を削り落とせばよい。仮想スクリーン上に再投影する場合はシルエットも仮想スクリーン上に投影する。

ステップ８〜１１において、対象追跡部１８では、交差領域検出部１６で得られた交差領域を画像もしくは仮想スクリーンに再投影し、最投影先でマッチングを取って人物領域を求める。前述のように人物モデルを導入している場合は、マッチングをとる前に対象追跡部１８で得られたシルエットと交差領域の論理積を取る。

このとき前述の通り人物の下半身は遮蔽されていることがある。また同様に前述の通り全方位カメラを用いると、顔などの細かい特徴量を画像から得ることができない。そこで本実施形態のような場合で対象追跡部１８でパタン学習を行って物体を検出する際には、特徴量に人物の頭部や肩の形状のいずれか一方、または両方を用いることが考えられる。特に頭部は、人物がかがんだ場合などでも一番最後までカメラに映っているので、頭部のパタンを検出することによって人物を見落とす可能性を低減できる。

ステップ１２において、対象判定部２０では、初期検出位置から移動した領域を検出物体である人物領域として出力する。

本実施形態のようなコンビニエンスストアの場合、入り口から入店した人物は、最初しばらくは検出されず、入り口から少し移動した時点で検出される。このとき入り口付近に存在する人物が全て検出できなくなるわけではなく、一度検出された人物が入り口付近に移動しても、その人物は検出され続ける。

対象判定部２０の出力は、背景更新部２２に入力される。例えば入店した人物が商品を持って移動した場合、それまで存在した商品が無くなって背景が変化するため、商品が移動された直後しばらくは商品棚が対象追跡部１８で検出されるようになる。しかし商品が移動されて生じるシルエットは時間がたってもその場から移動しないため人物と判定されず、後段の背景更新部２２で徐々に背景更新され、しばらくたつとそのまま背景となる。

一方、入店した人物が雑誌コーナーで立ち読みをする場合、その人物は長時間にわたって同じ場所に静止するが、入店から雑誌コーナーに移動するまでに対象判定部２０によって人物と判定されて検出、追跡され続けているため、背景更新されず背景に溶け込むことはない。

ステップ１３において、背景更新部２２では、対象判定部２０の出力を元に背景更新を行う。前述の通り、商品の移動などによる背景の変動は徐々に背景に溶け込む一方、一度検出された人物が静止しても人物領域は背景更新されず、人物が背景に溶け込むことはない。

以上のように、コンビニエンスストア内に入店した人物を検出、追跡することができる。

なお、本発明は上記実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

本発明の一実施形態の物体検出装置のブロック図である。 ２台のカメラにおいて、虚像が生じる場合の説明図である。 ３台のカメラにおいて、虚像が生じる場合の説明図である。 視体積交差法によってシルエットの交差領域を求めた場合の説明図である。 現時刻の交差領域を画像上に再投影した説明図である。 現時刻の交差領域を仮想スクリーン上に再投影した説明図である。 テンプレートマッチングを行い、現時刻の物体領域を求めるた場合の説明図である。 物体検出装置における処理のフローチャートである。 店舗にカメラを設置した場合の見取り図である 交差領域検出部で視体積を求める際に交差する領域が大きくなり、人物の位置を正確に求められなくなる場合の説明図である。

符号の説明

１０ 物体検出装置
１２ カメラ部
１４ 変化領域検出部
１６ 交差領域検出部
１８ 物体追跡部
２０ 物体判定部
２２ 背景更新部

Claims (9)

1. 動画像が撮影可能で、共通視野を有する複数のカメラでそれぞれ撮影した背景領域を記憶する背景記憶手段と、
   検出したい目的の物体の物体領域を含む前時刻の物体情報を記憶する物体情報記憶手段と、
   前記カメラ毎に撮影したそれぞれの現時刻の画像について、前記背景領域以外の現時刻の変化領域を検出する変化領域検出手段と、
   前記現時刻の変化領域のそれぞれを投影空間中に投影して視体積を求めて、前記物体が存在する可能性がある交差領域を検出する交差領域検出手段と、
   前記交差領域と前記前時刻の物体情報から、現時刻の物体情報を推定して現時刻の物体の位置候補を求める物体追跡手段と、
   前記現時刻の物体の位置候補が、前記物体の初期位置から所定の距離以上移動した場合は、前記現時刻の物体領域を前記物体に関するものと判定し、前記所定の距離以上移動しない場合は、前記現時刻の物体領域を背景領域の誤検出と判定する物体判定手段と、
   前記目的の物体として判定された場合に、前記現時刻の物体情報を、前記物体情報記憶手段に記憶している現時刻の物体情報に代えて更新する物体情報更新手段と、
   前記現時刻の物体領域以外の領域を新たな背景領域として、前記背景記憶手段に記憶している背景領域に代えて更新する背景更新手段と、
   を有する物体検出装置。
2. 前記物体情報は、前記投影空間中の前記物体の位置と、速度と、前記画像上における物体領域を含む、
   請求項１記載の物体検出装置。
3. 前記物体情報は、前記投影空間中の前記物体の位置と、速度と、前記物体の位置にあって前記カメラに正対し、かつ、基準平面に垂直な前記投影空間中の仮想スクリーン上における物体領域を含む、
   請求項１記載の物体検出装置。
4. 前記物体追跡手段は、
   前記カメラ毎に前記交差領域を前記画像上に再投影して再投影領域を求め、前記画像上における前記前時刻の物体領域をテンプレートとして前記再投影領域の近傍で前記物体領域を前記前時刻の物体の位置と速度に基づいて探索して、前記画像上の前記現時刻の物体領域を推定する物体領域推定手段と、
   前記現時刻の物体領域を前記投影空間中に再投影して視体積を計算し、前記現時刻の前記物体の位置候補とする位置候補決定手段と、
   を有する請求項２記載の物体検出装置。
5. 前記物体追跡手段は、
   前記カメラ毎に前記交差領域を前記仮想スクリーン上に再投影して再投影領域を求め、前記仮想スクリーン上における前記前時刻の物体領域をテンプレートとして前記再投影領域の近傍で前記物体領域を前記前時刻の物体の位置と速度に基づいて探索して、前記仮想スクリーン上での前記現時刻の物体領域を推定する物体領域推定手段と、
   前記現時刻の物体領域を前記投影空間中に再投影して視体積を計算し、前記現時刻の前記物体の位置候補とする位置候補決定手段と、
   を有する請求項３記載の物体検出装置。
6. 前記物体追跡手段は、
   前記カメラ毎に前記交差領域を前記画像上に再投影して再投影領域を求め、前記再投影領域の近傍でパタン認識による物体検出を前記前時刻の物体の位置と速度に基づく探索範囲で行い、前記画像上の前記現時刻の物体領域を推定する物体領域推定手段と、
   前記再投影領域中の前記現時刻の物体領域を前記投影空間中に再投影して視体積を計算し、前記現時刻の物体の位置候補とする位置候補決定手段と、
   を有する請求項２記載の物体検出装置。
7. 前記物体追跡手段は、
   前記カメラ毎に前記交差領域を前記仮想スクリーン上に再投影して再投影領域を求め、前記再投影領域の近傍でパタン認識による物体検出を前記前時刻の物体の位置と速度に基づく探索範囲で行い、前記仮想スクリーン上の前記現時刻の物体領域を推定する物体領域推定手段と、
   前記再投影領域中の前記現時刻の物体領域を前記投影空間中に再投影して視体積を計算し、前記現時刻の前記物体の位置候補とする位置候補決定手段と、
   を有する請求項３記載の物体検出装置。
8. 動画像が撮影可能で、共通視野を有する複数のカメラでそれぞれ撮影した背景領域を記憶する背景記憶ステップと、
   検出したい目的の物体の物体領域を含む前時刻の物体情報を記憶する物体情報記憶ステップと、
   前記カメラ毎に撮影したそれぞれの現時刻の画像について、前記背景領域以外の現時刻の変化領域を検出する変化領域検出ステップと、
   前記現時刻の変化領域のそれぞれを投影空間中に投影して視体積を求めて、前記物体が存在する可能性がある交差領域を検出する交差領域検出ステップと、
   前記交差領域と前記前時刻の物体情報から、現時刻の物体情報を推定して現時刻の物体の位置候補を求める物体追跡ステップと、
   前記現時刻の物体の位置候補が、前記物体の初期位置から所定の距離以上移動した場合は、前記現時刻の物体領域を前記物体に関するものと判定し、前記所定の距離以上移動しない場合は、前記現時刻の物体領域を背景領域の誤検出と判定する物体判定ステップと、
   前記目的の物体として判定された場合に、前記現時刻の物体情報を、前記物体情報記憶ステップで記憶している現時刻の物体情報に代えて更新する物体情報更新ステップと、
   前記現時刻の物体領域以外の領域を新たな背景領域として、前記背景記憶ステップで記憶している背景領域に代えて更新する背景更新ステップと、
   を有する物体検出方法。
9. 動画像が撮影可能で、共通視野を有する複数のカメラでそれぞれ撮影した背景領域を記憶する背景記憶機能と、
   検出したい目的の物体の物体領域を含む前時刻の物体情報を記憶する物体情報記憶機能と、
   前記カメラ毎に撮影したそれぞれの現時刻の画像について、前記背景領域以外の現時刻の変化領域を検出する変化領域検出機能と、
   前記現時刻の変化領域のそれぞれを投影空間中に投影して視体積を求めて、前記物体が存在する可能性がある交差領域を検出する交差領域検出機能と、
   前記交差領域と前記前時刻の物体情報から、現時刻の物体情報を推定して現時刻の物体の位置候補を求める物体追跡機能と、
   前記現時刻の物体の位置候補が、前記物体の初期位置から所定の距離以上移動した場合は、前記現時刻の物体領域を前記物体に関するものと判定し、前記所定の距離以上移動しない場合は、前記現時刻の物体領域を背景領域の誤検出と判定する物体判定機能と、
   前記目的の物体として判定された場合に、前記現時刻の物体情報を、前記物体情報記憶機能で記憶している現時刻の物体情報に代えて更新する物体情報更新機能と、
   前記現時刻の物体領域以外の領域を新たな背景領域として、前記背景記憶機能で記憶している背景領域に代えて更新する背景更新機能と、
   をコンピュータによって実現する物体検出プログラム。