JP2009027393A - 映像検索システムおよび人物検索方法 - Google Patents

Abstract

【課題】
カメラ設置状況が異なるため多様な特徴を持つ画像の中から、同一人物の異なる特徴量を取得し、精度の高い人物検索システムを提供すること。
【解決手段】
１台以上のカメラなどの撮像機器から信号を取得する映像取得部と、映像取得部より取得した入力画像を保持する画像データ部を有する映像監視システムにおいて、入力画像から人物特徴，時間，カメラを指定する条件指定部と、画像データ部に保持した入力画像群から条件指定部で指定した条件に合致する画像を画像認識により検索する画像検索部と、画像検索部の結果を表示する結果表示部を有し、条件指定部にて指定する人物特徴をユーザ指定または人物追跡の方法により複数選択し、条件指定部の検索条件に加える手段を備える。
【選択図】図１

Description

本発明は、カメラなどの撮像装置から取得する映像から画像データや記録する機能を有する、いわゆる映像記録装置や画像認識による侵入者検知などの機能を実現する映像監視システムに係わる。

カメラから取得した映像から画像認識により監視エリアに現れる人や車両などの移動物体を検知する機能を有する映像監視システムは、検出結果を利用することで移動物体の出現した映像のみ記録する機能や、表示装置に警告アイコンの提示する機能を有し、またブザー等を鳴らして監視員の注意を促すことができるため、従来は常時確認作業が必要であった監視業務の負担低減に役立つ。また、前述の映像監視システムでは、窃盗などの不正行為が発生した場合、記録した映像を事後の犯罪立証に役立てることも可能である。

近年、犯罪の多様化，犯罪検挙数の増加などにより量販店や金融機関、ビル・オフィス等での防犯意識が高まり、映像監視システムの導入が進んでいる。映像記録装置も大容量化し、ＩＰカメラなどの普及により様々な場所にカメラが設置されることで、カメラ台数も増加している。先に述べたように犯罪者を監視員の目視作業により記録映像から洗い出すことは非常に困難であり、監視業務を支援する機能への要望が高まっている。

監視業務支援を目的として、犯罪者などの特定の人物を画像認識技術によって記録した画像データから洗い出す手段は、例えば特許文献１として知られている。特許文献１では検索条件を設定するための画像を指定し、その画像内に存在するオブジェクトまたはそれに類するキーワードを検索キーとして（特許文献１では主に顔領域）、検索キーと類似性の高い画像を画像データから取得し、提示する機能が示されている。

特開２００２−１８３２０５号公報

監視エリアに設置されたカメラから取得する映像は、画角，照明条件，人物の向きや姿勢など様々な状況が発生しうる。その場合、画像データの空間特徴，画像の色特徴、また姿勢が変化することによって物体の形状情報が同一の人物の場合でも多様に変化する。このため、特許文献１のように指定画像から取得した人物特徴では、ある特定条件の場合の人物特徴に限定されるため、これを検索キーとして画像内から特定人物を洗い出そうとした場合、同一の人物でありながら見逃してしまう失報が発生することが考えられる。

これらの問題に対処するため、照明条件や向き姿勢の影響の少ないロバストな人物特徴を用いて検索する必要である。しかしながら、ロバストな特徴量であっても、人物の非剛体性や見えの多様さから失報を低減することは非常に困難であると考えられる。

本発明の目的は以上の問題を解決するもので、人物検索システムにおいて、人物検索の精度を向上させることにある。

上記の課題を解決するために、本発明における映像検索システムは、検索対象物体の特徴を含む検索条件を指定する条件指定部と、前記画像データ部に保持した前記入力画像群から前記条件指定部で指定した条件に合致する画像を検索する画像検索部と、前記画像検索部の検索結果を表示する結果表示部と、前記結果表示部に表示された画像から前記検索対象物体の画像をユーザが選択できる画像選択手段と、前記画像選択手段により選択された画像を用いて前記条件指定部の前記検索対象物体の特徴を更新する手段と、を備えたものである。

また、本発明は、検索対象の人物特徴または検索の時間または撮像機器を指定する条件指定部と、前記画像データ部に保持した前記入力画像群から前記条件指定部で指定した条件に合致する画像を検索する画像検索部と、前記画像検索部の検索結果を表示する結果表示部とを有し、ユーザが検索対象の人物の画像を選択できる方法で前記結果表示部に表示し、ユーザにより選択された検索対象の人物の画像により前記条件指定部により指定された検索対象の前記人物特徴を更新する人物検索方法により、上記課題を解決するものである。

本発明によれば、同一物体でありながら見かけの違う画像に対しても、人物検索することが可能となる。そのため、映像検索システムの検索精度を向上させることが実現できる。

以下に、本発明の一実施形態について図面を参照しながら説明する。図１は人物検索機能を映像監視システムに適用した場合の構成であり、ハードウェアとしてはＣＰＵを備えた電子計算機システムにより構成され、夫々の機能を実行するようになっている。映像は監視対象エリアに設置された１台もしくは複数台のＴＶカメラなどの撮像装置１００より得られた信号を映像として取得する映像取得部１０１、映像取得部１０１からハードディスクドライブ等の記録媒体に画像データ群として記録している画像データ部１０２、画像データ部１０２から画像を選択して指定画像から人物特徴を取得することや、検索時間や検索対象となるカメラを検索条件として指定する条件指定部１０３、条件指定部１０３で指定された条件に基づく画像データ部１０２の画像と指定画像との類似度を算出する画像検索部１０４、画像検索部１０４の結果をモニタ等に出力する結果表示部１０５で構成される。

映像取得部１０１においては、画像データが記録されている映像記録装置などから入力された映像信号から１次元配列もしくは２次元配列の画像データとして取得してもよい。この画像データにおいては、ノイズやフリッカなどの影響を低減するために、前処理として平滑化フィルタや輪郭強調フィルタ、濃度変換などの処理を施してもよい。また、用途に応じてＲＧＢカラーやモノクロなどのデータ形式を選択してもよい。さらには、処理コスト低減のために、所定の大きさで画像データに縮小処理を施してもよい。条件指定部１０３および結果表示部１０５はグラフィカルユーザインターフェースなどを介してユーザが条件指定もしくは結果の確認を行う。

次に、条件指定部１０３の詳細について図２を用いて説明する。条件指定部１０３では画像から人物の領域を指定し人物特徴を取得する人物指定手段２００、指定された人物を同一カメラ内で追跡する人物追跡手段２０１、追跡した人物の画像データから特徴抽出を行う特徴抽出手段２０２、上述の処理により取得した人物特徴を保持する人物特徴保持手段２０３、検索時間や検索対象のカメラの指定などを行う検索条件指定手段２０４、人物画像を提示しユーザに正解を判断させる候補提示手段２０５により構成される。

人物指定手段２００は図３の（ａ）に示すようなメニュー画面を用いる。画像データ部１０２に記録された画像内のうち、例えば犯罪者と思われる人物の映っている画像を、カメラ指定３００と時間指定３０２を調整して表示させ、画像出力３０１から人物領域をマウス等より指定する。ここでは、予め取得している人物画像を直接指定することも可能である。また、検索条件指定手段２０４は図３の（ｂ）に示すようなメニュー画面において、検索の対象とする時刻を検索時間指定３０３にて、さらに検索対象とするカメラを対象カメラ指定３０４にて設定する。対象カメラ指定３０４はカメラ設置図と連動した仕様とすることがユーザにとって望ましい。

人物指定手段２００で指定された画像に対して人物追跡手段２０１では、指定した画像の取得時刻前後に取得された画像データ内で指定人物を追跡する。これは、１枚の画像から、後述する特徴抽出を行った場合に、人物検索に適した特徴量が取得できないことに対処するためである。検索対象の人物の特徴抽出をあるカメラの単一の画像に依存した場合には、他のカメラでのこの人物の見え方は異なるため、検索精度の低下が考えられる。同一のカメラにより取得された画像であっても画像の取得時刻が異なれば、例えば人物正面から人物側面へと見かけが変化し、それに伴い特徴量も変化する。そこで、この人物の複数の特徴量を取得するために人物追跡手段２０１を導入している。人物追跡手段２０１による人物追跡は、人物指定手段２００で取得した指定画像前後の時刻のフレーム間の画像照合や重心追跡などにより求めることが可能である。

人物追跡手段２０１により、各々のフレームにて人物の領域が指定できる。これらの画像特徴を統合する特徴抽出を特徴抽出手段２０２にて実行する。図４に示すように、例えば人物特徴をＲＧＢ値のヒストグラムとした場合を例に説明する。追跡した結果がＮ個あった場合、夫々の追跡結果に対して特徴抽出を行うと（ａ）特徴ヒストグラムＨ₁から（ｂ）特徴ヒストグラムＨ_NまでＮ個生成される。次に各々のヒストグラムの類似を、例えばヒストグラムインターセクションにより算出する。

Ｋはヒストグラムの量子化数であり、ｉはヒストグラムの１つの要素である。

所定の閾値より類似性の低いヒストグラム、すなわち見かけの違う人物特徴を取得した場合、画像認識の間違いが発生している場合もある。そこで、図５に示すようにユーザに候補画像を候補提示手段２０５で提示し、同一人物であるか否かの判断をユーザにより決定させることで間違った特徴量を取得してしまうことを回避できる。ユーザは候補画像５００のうち正解を選択し、追加ボタン５０１を押下することで、画像特徴が追加される。ユーザの識別を介すことにより画像認識で判断しきれない部分を補うことが可能である。

類似性の高いヒストグラムのペアは統合することで、同一の特徴ヒストグラムが存在した場合の冗長な検索処理となることを回避する。これにより、同一カメラ内において、同一人物の見かけの異なる特徴を複数取得することができ、人物検索の失報を抑制することが可能となる。他の特徴量として図４（ｃ）に示すように、人物の大きさや顔が取得できれば顔データなどを組み合わせることが可能である。また、人物の形状データ，輝度情報，歩容状態など様々な特徴量を選択することができる。以上の処理により取得した指定人物特徴データ４００は人物特徴保持手段２０３にて保持する。

次に画像検索部１０４の詳細について図６を用いて説明する。画像検索部１０４は、画像データ部１０２の画像から、条件指定部１０３にて指定した検索条件に基づいて、特定人物の洗い出しを行う部分である。画像検索部１０４は、画像データ部１０２に記録した画像から人物領域を抽出する人物領域抽出手段６００、人物領域抽出手段６００より取得した人物画像から人物特徴を抽出する特徴抽出手段６０１、特徴抽出手段６０１と条件指定部１０３にて予め取得した人物特徴を比較する類似度算出手段６０２、結果表示部１０５に表示された類似度の高い画像が特定人物かどうかの正否をユーザに判断させ、ユーザが正解と判断した画像の人物特徴を人物特徴保持手段２０３に保持された人物特徴に追加もしくは統合により更新する人物特徴追加手段６０３により構成される。ここで、人物の特徴の統合による更新は、例えば特徴抽出手段２０２で述べた方法で行ってもよい。

以下に画像検索部１０４の動作について詳細に説明する。

まず、検索条件指定手段２０４にて指定した対象とするカメラや検索対象時間に基づいて検索対象を限定し、画像データ部１０２より画像を取得する。次に人物領域抽出手段６００にて、人物領域を抽出する。人物領域の抽出は画像認識で良く用いられる背景差分法、フレーム差分法や、人物データの学習によって予め作成した人物識別器を介すことで、人物の存在する領域を特定し、人物領域を画像データとして取得する。

この人物領域抽出手段６００による処理は、画像データ部１０２内の検索条件指定手段２０４により指定された画像データにおいて、条件指定部１０３で指定した画像と時間的に近い画像データから順に検索する。これは、指定された時間全体に対して検索を行う前に、検索途中で検索結果を提示し、ユーザに正解を選択させることで、前述の条件指定部１０３と同様に人物特徴を拡充し、検索精度を向上することを可能とするためである。この詳細は後述する。

次に、人物領域抽出手段６００で取得した人物の画像データから特徴抽出手段６０１にてその人物特徴量を抽出する。この処理は条件指定部１０３内の特徴抽出手段２０２と同様の処理とする。すなわち、ＲＧＢ値などの特徴ヒストグラムや顔画像をその画像から取得する。次にその特徴量と人物特徴保持手段２０３で保持した特定人物の人物特徴との比較処理を行い、抽出した人物が指定した人物と同一であるかを表す類似度を、人物特徴データの比較により類似度算出手段６０２にて実行する。特徴量の比較は色ヒストグラム，勾配ベクトルヒストグラム，顔照合，画像照合などあるがいずれかまたは複数の比較方法を用いてよい。

次に結果表示部１０５の処理について図７を用いて説明する。算出した類似度に基づき特定人物の存在する画像を表示する方法は以下に示す形態の画面構成などが例として挙げられる。図７（ａ）はカメラと時刻その映像をサムネイル形式で類似度順に表示する方法である。フレーム番号の近い画像の場合同様の画像が多く存在し、上位に同じ画像が配列されることが考えられるため、一定時間内で最も類似度の高い画像を代表画像７００として画像情報７０１と表示すると良い。

さらに、ユーザが指定した人物と同一の場合は、ユーザの判断により人物特徴を拡充することができる。条件指定部１０３で指定した時間を、いくつかの期間やカメラ毎に分けるなどして、類似度計算の途中結果を提示しユーザに正解を指定させる。この処理を繰り返し検索条件に当てはまる画像データを全て検索し終えた場合に検索処理を終了とする。このようなユーザ対話型の処理を施すことで、画像認識のあいまいさを人物の判断にゆだねることができ、失報を低減した人物検索システムを実現することが可能となる。

また、ユーザが検索結果表示部において、正しく検索対象の人物を抽出した画像をユーザに選択させ、選択された画像の人物の特徴を抽出し、人物特徴追加手段６０３により抽出した人物特徴を人物特徴保持手段２０３に追加または統合により更新することで、検索対象である人物の特徴は、あらゆる撮影条件でその人物を抽出することができるものとなるため、検索精度を向上させることができる。

また、図７（ｂ）ではカメラと時刻およびカメラ間移動を表現できる表示方法の例である。これも図７（ａ）の例と同様に類似した画像群の中からもっとも類似度の高い画像を所定の時間間隔の中での代表画像７０２として表示する。これにより人物の移動経路と時刻の関係をユーザが把握することが可能となる。次に図７（ｃ）ではカメラ設置位置と映像の関係を把握するようにしたもので、指定人物が存在する場合にカメラ設置情報７０４とその指定人物の画像のポップアップ表示７０３とを同一画面上に表示する。また画像スクロール７０５で画像を順送りや逆送りし確認できる方法が考えられる。これらの結果表示方法をユーザの使用方法によって選択できる。

本発明は結果表示部１０５により不正解となった画像をユーザが選択することで、その画像に映っている人物を特定人物と異なるものとして、検索結果でその人物が存在した場合に類似度を低く調整することで誤報が抑制される機能も実現できる。

また、条件指定部１０３にて指定した人物が、あるカメラに存在した場合、同一時刻内のほかのカメラには存在しないという自明の条件を利用して、他のカメラ内に存在する人物を特定人物と異なるという条件を付加して検索を実行することで、前述と同様に誤報を抑制できる機能も実現できる。

さらに、カメラ設置情報を付加することで、例えば１階のカメラに移った人物が瞬時に他の階のカメラに存在することは不可能なため、カメラ設置情報から存在確率の低いカメラの類似度を低く調整する等を行うことで、検索の誤報の抑制が可能である。また、ユーザが結果表示部１０５で誤って不正解となっている人物を正解とした場合に、上述のカメラ設置情報から存在確率の低い箇所の画像を指定した場合に、ユーザに判断ミスをアラームできる機能も実現することが可能である。

本発明の実施例は映像監視システムについて言及したが、それに限らずＴＶ映像，ビデオ映像、など様々な映像の人物検索にも利用することが可能である。

さらに、本発明の実施例では、人物の検索システムについて詳細に説明したが、本願の検索システムは言うまでもなく人物の検索に限定されるものではなく、例えば、立体駐車上における自動車や動物など、移動物体であれば適応可能である。

本発明によれば、画像認識による人物追跡やユーザの指定による対話型インターフェースにより、人物特徴を複数保持することができ、同一人物でありながら見かけの違いにより失報となりうる画像に対しても、高精度に人物検索することが可能となる。そのため、監視員の業務支援を可能とし、効率的な映像検索システムが実現できる。

本発明における一実施例の全体構成を示した図である。 本発明における条件指定部の詳細を説明した図である。 本発明における条件指定部のユーザインターフェースの例を示した図である。 本発明における人物特徴の特徴例を示した図である。 本発明における類似人物選択を実現するユーザインターフェースを示した図である。 本発明における画像検索部の詳細を説明した図である。 本発明における結果表示部の実施例について説明した図である。

符号の説明

１００ 撮像装置
１０１ 映像取得部
１０２ 画像データ部
１０３ 条件指定部
１０４ 画像検索部
１０５ 結果表示部
２００ 人物指定手段
２０１ 人物追跡手段
２０２，６０１ 特徴抽出手段
２０３ 人物特徴保持手段
２０４ 検索条件指定手段
２０５ 候補提示手段
３００ カメラ指定
３０１ 画像出力
３０２ 時間指定
３０３ 検索時間指定
３０４ 対象カメラ指定
４００ 指定人物特徴データ
５００ 候補画像
５０１ 追加ボタン
６００ 人物領域抽出手段
６０２ 類似度算出手段
６０３ 人物特徴追加手段
７００，７０２ 代表画像
７０１ 画像情報
７０３ ポップアップ表示
７０４ カメラ設置情報
７０５ 画像スクロール

Claims (10)

1. １台以上の撮像機器から信号を取得する映像取得部と、
   前記映像取得部より取得した入力画像を保持する画像データ部とを有する映像検索システムにおいて、
   検索対象物体の特徴を含む検索条件を指定する条件指定部と、
   前記画像データ部に保持した前記入力画像群から前記条件指定部で指定した条件に合致する画像を検索する画像検索部と、
   前記画像検索部の検索結果を表示する結果表示部と、
   前記結果表示部に表示された画像から前記検索対象物体の画像をユーザが選択できる画像選択手段と、
   前記画像選択手段により選択された画像を用いて前記条件指定部の前記検索対象物体の特徴を更新する手段と、
   を備えたことを特徴とする映像検索システム。
2. 前記条件指定部は、ユーザが検索対象物体を指定できる検索対象指定手段と、
   指定された前記検索対象物体の前後の画像内から抽出した複数の前記検索対象物体の特徴を保持する物体特徴保持手段と、を備える請求項１に記載の映像検索システム。
3. 前記画像検索部は、物体を抽出する物体抽出手段と、前記物体抽出手段により抽出された物体の特徴を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された物体の特徴と前記条件指定部の検索対象物体の特徴の類似度を算出する類似度算出手段と、を有することを特徴とする、請求項１または２に記載の映像検索システム。
4. 前記画像選択手段は、検索対象の人物と判断されない画像から前記人物特徴を取得し検索結果の修正する手段を有することを特徴とする請求項１乃至請求項３のいずれかに記載の映像検索システム。
5. 前記条件指定部の検索条件は、カメラの設置位置情報を含み、
   前記画像選択手段は、前記カメラ設置位置情報から検索対象物体の存在確率を判断し、ユーザが誤った画像を選択した場合にユーザに注意喚起する手段を有する、請求項１乃至請求項４のいずれかに記載の映像検索システム。
6. １台以上の撮像機器から信号を取得する映像取得部と、
   前記映像取得部より取得した入力画像を保持する画像データ部とを有する人物検索方法において、
   検索対象の人物特徴または検索の時間または撮像機器を指定する条件指定部と、
   前記画像データ部に保持した前記入力画像群から前記条件指定部で指定した条件に合致する画像を検索する画像検索部と、
   前記画像検索部の検索結果を表示する結果表示部とを有し、ユーザが検索対象の人物の画像を選択できる方法で前記結果表示部に表示し、ユーザにより選択された検索対象の人物の画像により前記条件指定部により指定された検索対象の前記人物特徴を更新することを特徴とする人物検索方法。
7. 前記条件指定部は、ユーザによって指定された前記検索対象の人物画像の前後の画像内から前記人物特徴を抽出し、複数の前記人物特徴を保持することを特徴とする請求項６に記載の人物検索方法。
8. 前記画像検索部は、人物を抽出し、前記人物の特徴を抽出し、前記人物の特徴と前記条件指定部により指定された検索対象の前記人物特徴との類似度を算出することを特徴とする請求項６または７に記載の人物検索方法。
9. 前記検索条件を更新する際に、検索対象の人物と判断されない画像から前記人物特徴を取得し、検索結果の修正する手段を有することを特徴とする請求項６乃至請求項８のいずれかに記載の人物検索方法。
10. 前記検索条件を更新する際に、カメラ設置位置情報から検索対象の人物の存在確率を判断し、ユーザが誤った画像を選択した場合にユーザに注意喚起する手段を有することを特徴とする請求項６乃至請求項９のいずれかに記載の人物検索方法。

Images