JP2015076687A

JP2015076687A - 監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体

Info

Publication number: JP2015076687A
Application number: JP2013210759A
Authority: JP
Inventors: 芳人門田; Yoshito Monta; みずき古田; Mizuki Furuta; 田中　清明; Kiyoaki Tanaka; 清明田中
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2013-10-08
Filing date: 2013-10-08
Publication date: 2015-04-20
Anticipated expiration: 2033-10-08
Also published as: EP2860662A2; US20150098632A1; EP2860662A3; JP5500303B1; CN104519316A; US9424464B2; CN104519316B

Abstract

【課題】登録者リストに大量の人物が登録されている状況においても、店舗内等における監視を効率よく行うことができる監視システムを提供する。
【解決手段】登録者リストと、登録者リストの部分集合である監視対象リストを記憶しておき、第１撮像装置で撮像された画像に写った人物は登録者リストと照合し、他の撮像装置で撮像された画像に写った人物は監視対象リストと照合を行うことで、照合処理における処理負荷を低減し、処理時間の増大を防ぐ。
【選択図】図１

Description

本発明は、監視対象領域内を撮像した画像を用いて監視対象領域内を監視する監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体に関する。

近年、顔認識技術を用いた監視システムの普及が進んでいる。特許文献１に記載の技術はその一例である。このような監視システムにおいては、予め監視の対象となる者の顔特徴量を記憶部に記憶しておき、監視カメラから入力された入力画像中から顔領域を検出、顔領域ごとに特徴量を抽出し、抽出された特徴量を記憶部に記憶されている顔特徴量と比較、照合することで監視の対象となる者の検知を行う。

また、複数の撮像装置を用いて監視システムを構成することで、単に１つの場所で監視を行うだけでなく、複数の場所について、いつどの場所に監視の対象となる者が存在したかを検知することができ、監視の対象となる者の動線の分析を行うこともできるようになる。

このようなシステムは、予め監視の対象となる者の顔特徴量を顔特徴量リストとして記憶部に記憶しておくことで、監視員の目視に頼ることなく、自動で監視業務を行うことができるといった利点があるため、不審人物の監視のみならず、店舗等における優良顧客の動向分析等にも用いられている。

しかしながら、このようなシステムにおいては、監視の対象となる者が増加するにつれ、照合の対象となる顔特徴量の量が増大し、照合処理に要する負荷、処理時間が増大してしまうため、この課題に対応することが実用上重要である。

特開２００７−１５８４２１号公報

本発明はこのような課題に対してなされたものであって、監視の対象となりうる者が多数存在した場合においても、効率よく照合処理を行うことを目的とする。

上記目的を達成するために、本発明では、監視の対象となりうる者のうち、実際に監視対象となる者に限定して監視を行う構成を採用する。

具体的には、本発明に係る監視システムは、１または複数の第１撮像装置と、１または複数の第２撮像装置と、前記第１撮像装置および前記第２撮像装置によって撮像された画像を入力画像として取り込む画像取得部と、前記入力画像から人物の顔の特徴量を抽出する顔特徴量抽出部と、人物の顔の特徴量のリストである顔特徴量リストを記憶することに用いられる記憶部と、顔特徴量リスト内の顔特徴量と、前記顔特徴量抽出部によって抽出された顔特徴量を比較することにより、入力画像に写っている者が顔特徴量リスト内の人物と同一人物であるかどうか判断する照合部と、を含み、前記記憶部は、第１の顔特徴量リストと第２の顔特徴量リストとを記憶することに用いられ、前記第２の顔特徴量リスト
は、前記第１の顔特徴量リストの部分集合もしくは空集合であり、前記照合部は、前記入力画像が、前記第１撮像装置によって撮影された画像である場合には、当該入力画像に写っている者の顔特徴量を前記第１の顔特徴量リスト内の各特徴量と照合し、前記入力画像が、前記第２撮像装置によって撮影された画像である場合には、当該入力画像に写っている者の顔特徴量を前記第２の顔特徴量リスト内の各特徴量と照合することを特徴とする。

本発明に係る監視システムは、第１の顔特徴量リストと、第１の顔特徴量リストの部分集合もしくは空集合である第２の顔特徴量リストの２種類の顔特徴量リストを含み、第２撮像装置によって撮像された画像に写っている人物は第２の顔特徴量リストと照合される（すなわち、第１の顔特徴量リストに登録されている特徴量の数より少ない数の特徴量と照合が行われる）。これにより、第２撮像装置で撮像された画像に写っている人物について、照合処理における処理負荷を低減し、照合に要する時間を短縮することができる。

第２の顔特徴量リストについては、様々な作成方法が考えられる。例えば、本発明に係る監視システムは、監視対象者情報入出力部をさらに含み、前記監視対象者情報入出力部は、前記入力画像が前記第１撮像装置によって撮影された画像であり、当該入力画像に写っている者の顔特徴量と前記第１の顔特徴量リスト内の各特徴量との照合の結果、当該入力画像に写っている者が前記第１の顔特徴量リスト内の人物と同一人物であると判断された場合には、当該第１の顔特徴量リスト内の人物の顔特徴量を前記第２の顔特徴量リストに登録する構成としてもよい。あるいは、本発明に係る監視システムは、監視対象者情報入出力部をさらに含み、前記監視対象者情報入出力部は、前記入力画像が前記第１撮像装置によって撮影された画像であり、当該入力画像に写っている者の顔特徴量と前記第１の顔特徴量リスト内の各特徴量との照合の結果、当該入力画像に写っている者が前記第１の顔特徴量リスト内の人物と同一人物であると判断され、かつ、当該第１の顔特徴量リスト内の人物と同一人物が入力画像に含まれていると判断された回数が所定回数以上である場合には、当該顔特徴量を前記第２の顔特徴量リストに登録する構成としてもよい。このように構成することで、特定の場所を通過したり、特定の条件を満たしたりした者の顔特徴量だけが第１の顔特徴量リストから第２の顔特徴量リストに登録され、本当に監視が必要な者だけが含まれた第２の顔特徴量リストが動的に作成できる。

また、本発明に係る監視システムは、１または複数の第３撮像装置をさらに備え、前記照合部は、前記入力画像が、前記第３撮像装置によって撮影された画像である場合には、当該入力画像に写っている者の顔特徴量を前記第２の顔特徴量リスト内の各特徴量と照合し、前記監視対象者情報入出力部は、当該入力画像に写っている者の顔特徴量と前記第２の顔特徴量リスト内の各特徴量との照合の結果、当該入力画像に写っている者が前記第２の顔特徴量リスト内の人物と同一人物であると判断された場合には、当該第２の顔特徴量リスト内の人物の顔特徴量を前記第２の顔特徴量リストから削除する構成としてもよい。あるいは、前記監視対象者情報入出力部は、予め定められた時刻に、前記第２の顔特徴量リスト内の全顔特徴量を削除する構成としてもよい。このように構成することで、監視の必要がなくなった者の顔特徴量を第２の顔特徴量リストから削除することができ、第２の顔特徴量リストのデータ数の増大を防ぎ、照合に要する時間の増大を防ぐことができる。

また、本発明は、第１の顔特徴量リストと、前記第１の顔特徴量リストの部分集合または空集合である第２の顔特徴量リストを含み、監視対象領域を、該監視対象領域の一部を撮像するように設置された撮像装置によって撮像された画像を用いて監視する監視システムにおける監視方法であって、撮像装置によって撮像された画像を入力画像として取り込む工程と、前記入力画像から人物の顔の特徴量を抽出する工程と、前記入力画像が、所定の条件を満たす撮像装置によって撮像された画像である場合には、当該入力画像から抽出された顔特徴量を前記第１の顔特徴量リスト内の各特徴量と照合し、前記入力画像が、所定の条件を満たす撮像装置以外の撮像装置によって撮像された画像である場合には、当該
入力画像に写っている者の顔特徴量を前記第２の顔特徴量リスト内の各特徴量と照合する工程を含む監視方法として捉えることもできる。

また、このように捉えた場合、前記第２の顔特徴量リストを、前記第１の顔特徴量リストの部分集合として作成する工程をさらに含む監視方法、特に、前記第２の顔特徴量リストを、前記第１の顔特徴量リストの部分集合として作成する工程において、前記入力画像が、所定の条件を満たす撮像装置によって撮像された画像である場合であって、かつ、当該入力画像から抽出された顔特徴量を前記第１の顔特徴量リスト内の各特徴量と照合した結果、当該入力画像に写っている者が前記第１の顔特徴量リスト内の人物と同一人物であると判断された場合に、当該第１の顔特徴量リスト内の人物の顔特徴量を前記第２の顔特徴量リストに登録することによって、前記第２の顔特徴量リストを、前記第１の顔特徴量リストの部分集合として作成する監視方法も、本発明の範疇に含まれる。

あるいは、本発明は、第１の顔特徴量リストと、前記第１の顔特徴量リストの部分集合または空集合である第２の顔特徴量リストを利用可能に構成されているコンピュータに、撮像装置によって撮像された画像を入力画像として取り込むステップと、前記入力画像から人物の顔の特徴量を抽出するステップと、前記入力画像が、所定の条件を満たす撮像装置によって撮像された画像である場合には、当該入力画像から抽出された顔特徴量を前記第１の顔特徴量リスト内の各特徴量と照合し、前記入力画像が、所定の条件を満たす撮像装置以外の撮像装置によって撮像された画像である場合には、当該入力画像に写っている者の顔特徴量を、前記第２の顔特徴量リスト内の各特徴量と照合するステップを実行させるプログラム、あるいは、第１の顔特徴量リストと、前記第１の顔特徴量リストの部分集合または空集合である第２の顔特徴量リストを利用可能に構成されているコンピュータに、顔特徴量抽出装置によって抽出された顔特徴量を取り込むステップと、前記顔特徴量抽出装置が、所定の条件を満たす撮像装置に接続されている場合には、前記顔特徴量を前記第１の顔特徴量リスト内の各特徴量と照合し、前記顔特徴量抽出装置が、所定の条件を満たす撮像装置以外の撮像装置に接続されている場合には、前記顔特徴量を、前記第２の顔特徴量リスト内の各特徴量と照合するステップを実行させるプログラムとして捉えることもできる。

さらに、本発明は、上記のプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、監視の対象となりうる者が多数存在した場合においても、実際に監視対象となる者に限定して照合処理を行うため、照合処理における処理負荷が低減される。

本発明の第１実施形態に係る監視システムの機能構成を模式的に示す図。監視システムを汎用コンピュータで実現する場合のハードウェア構成を示す図。第１実施形態の監視システムにおける処理の流れを示すフローチャート。第１実施形態における監視結果リストのデータ構造を模式的に示す図。本発明の第２実施形態に係る監視システムの機能構成を模式的に示す図。第２実施形態の端末における処理の流れを示すフローチャート。第２実施形態の監視装置における処理の流れを示すフローチャート。本発明の第３実施形態に係る監視システムの機能構成を模式的に示す図。第３実施形態の監視システムにおける処理の流れを示すフローチャート。第３実施形態における監視結果リストのデータ構造を模式的に示す図。登録者リスト、監視対象リストのデータ構造の例を示す図。登録者リスト、監視対象リストの別のデータ構造の例を示す図。

以下、図面を参照しながら本発明の好適な実施の形態について説明する。

＜第１実施形態＞
（システム構成）
図１は、本発明の第１実施形態に係る監視システムの機能構成を模式的に示す図である。監視システム１は、店舗や空港等の施設内に設置された監視カメラを用いて、施設内に不審者が立ち入っているか、また不審者が施設内のどこにいるかを監視し、必要に応じて管理者に警告するシステムである。本実施形態では、入口と出口がそれぞれ１つである店舗に監視システム１を導入した例を用いて説明する。

監視システム１は、複数のカメラ２と、監視装置１０と、記憶装置２０と、警報装置３０、表示装置４０を含んで構成される。

カメラ２は、デジタルビデオカメラやデジタルスチルカメラで構成される。本実施形態では、監視装置１０に、カメラ２が５台接続されているものとする。また、それぞれのカメラのＩＤをＣ１〜Ｃ５として区別し、カメラＣ１は入口、カメラＣ５は出口、カメラＣ２〜Ｃ４は店舗内のそれぞれ異なる売場に設置されているものとする。

監視装置１０は、例えば汎用のパーソナルコンピュータを用いて構成することができる。汎用のパーソナルコンピュータを用いた場合の監視装置１０のハードウェア構成図は、概略、図２に示す通りであり、ＣＰＵ（中央演算処理装置）４１、ＲＯＭ（Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）４２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）４３
、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）４４、各種入力装置等がバスを介して接続されている構成である。この場合、表示装置４０はモニタ４７で兼用してもよい。

監視装置１０は、図１に示す通り、画像取得部１１、顔検出部１２、特徴量抽出部１３、照合部１４、入出力部１５の各機能要素を備えている。監視装置１０を、汎用のパーソナルコンピュータを用いて実現した場合、図１に示す各機能要素は、ＣＰＵ４１が監視システムアプリケーションプログラムを実行し、ＲＯＭ４２、ＲＡＭ４３などを適宜制御することで実現される。ただし、これらの機能要素の全部又は一部を専用のチップ（ロジック回路）で構成しても構わない。また、一つのコンピュータではなく、複数のコンピュータの組み合わせ又はクラウドコンピューティングにより監視装置１０ないし監視システム１を構成することもできる。

画像取得部１１は、カメラからカメラのＩＤとともにそのカメラで撮像された画像を取り込む機能を実現する。

顔検出部１２は、画像取得部１１が取り込んだ画像（入力画像）から顔を検出する機能を実現する。画像から顔を検出する方法には、テンプレートマッチングによる方法、輝度の勾配情報を用いる方法等、様々な方法が提案されているが、いずれの方法を用いても構わない。

特徴量抽出部１３は、顔検出部１２によって検出されたそれぞれの顔について、それぞれの顔を特徴付ける特徴量を算出する機能を実現する。特徴量とは、撮影画像に含まれる人物の顔において、顔全体や、目、鼻、口と認められる部位の情報を定量化したものである。特徴量の例としては、輝度情報、周波数特性情報、上記各部位の形状、位置、大きさ
等を数値化した情報などが挙げられる。

照合部１４は、特徴量抽出部１３によって算出された特徴量と、後述する登録者リスト２１または監視対象リスト２２に登録されている対象者の顔の特徴量を比較することにより、入力画像に写っている人物とリストに登録されている人物が同じ人物であるかどうか評価する機能を実現する。

入出力部１５は、後述する記憶装置２０に記憶されている各リストと通信を行い、各リストからの情報の読み出しや、各リストへの情報の書き込みを行うとともに、各リストから読み出した情報を照合部１４に送る機能を実現する。

記憶装置２０は、ファイルサーバ、ＮＡＳ（ＮｅｔｗｏｒｋＡｔｔａｃｈｅｄＳｔｏｒａｇｅ）といった形で実現してもよいし、監視装置１０が汎用コンピュータで実現される場合は内蔵のＨＤＤ４４を記憶装置２０として用いても構わない。また、記憶装置２０は単一のＨＤＤ等による構成に限定されるものではなく、複数のＨＤＤ等を用いて記憶装置２０を構成することも可能である。

記憶装置２０内には、登録者リスト２１、監視対象リスト２２、監視結果リスト２３の３つのリストが実現されている。

登録者リスト２１は、監視の対象となりうる者の顔の特徴量を格納したリストである。本実施形態では、不審者や過去にトラブルを起こした者の顔の特徴量が登録者ＩＤとともに登録者リスト２１に格納されているものとする。

監視対象リスト２２は、監視中のある時点において、店舗内に存在すると考えられる登録者の顔の特徴量を格納したリストであり、初期状態では監視対象リスト２２は空の状態である。監視開始後、入口に設置されているカメラＣ１で撮像された登録者のデータ（顔特徴量）が登録者リスト２１から監視対象リスト２２にコピー（登録）され、また、当該登録者が出口に設置されているカメラＣ５で撮像された場合には当該登録者のデータが監視対象リスト２２から削除される。監視対象リスト２２へのデータの登録・削除の詳細については後述する。

登録者リスト２１、監視対象リスト２２は、図１１（ａ）（ｂ）に示すように本実施形態では異なる２つのリストとして説明を行うが、例えば、図１２に示すように１つのリストとして実現し、リスト内の全データを登録者リスト２１、監視対象フラグが付されたデータを監視対象リスト２２として、仮想的に実現することもできる。

監視結果リスト２３は、店舗内監視の結果を格納するリストである。結果の記録の仕方は任意であるが、例えば図４に示すような形で、照合処理を実施した日時とともに、照合の結果検出された者のＩＤ、カメラＩＤ、ならびにカメラＩＤから推測される対象者の場所または行動を記録することができる。

警報装置３０は、例えば回転灯、警笛等によって構成され、警備員等に光や音を用いて店舗内に何らかの事態が起こったことを報知する装置である。本実施形態では、警報装置３０は、警笛によって構成されているものとする。

表示装置４０は、例えば液晶モニタ等によって構成され、警備員等が店内監視の結果を確認する際に用いられる。表示装置４０に表示する内容としては、カメラＣ１〜Ｃ５から取り込まれた画像を順次表示してもよいし、警備員等によって指定された監視対象者の動線を表示してもよいし、監視結果リスト２３の内容を表示してもよい。

（監視処理）
以下、監視システム１における監視処理について、図３のフローチャートを参照して説明する。

監視が開始されると、まずカメラ参照用の変数ｉが初期化される（ステップＳ３０１）。続いて、カメラＣｉが入口に設置されているカメラかどうかの判定が行われる（ステップＳ３０２）。カメラＣｉが入口に設置されているカメラであるとき（ステップＳ３０２：ＹＥＳ）、画像取得部１１がカメラＣｉから画像を取り込む（ステップＳ３０３）。

取り込まれた画像は顔検出部１２に送られ、顔検出部１２で顔検出処理が行われる（ステップＳ３０４）。顔の検出には、前述したように、既存のいかなる方法を用いても構わない。

取り込まれた画像から顔が検出されない場合（ステップＳ３０５：ＮＯ）、以降の顔照合処理はスキップされ、カメラ参照用の変数ｉが次の値に更新される（ステップＳ３１０〜Ｓ３１２）。一方、取り込まれた画像から顔が検出された場合（ステップＳ３０５：ＹＥＳ）、続いて、検出された顔のそれぞれについて特徴量の抽出が行われる（ステップＳ３０６）。

続いて、抽出された特徴量を用いて、登録者リスト２１との照合処理が行われる（ステップＳ３０７）。すなわち、検出されたそれぞれの顔が、登録者リスト２１に登録されているいずれかの人物であるかどうか判定される。

この照合処理において、検出された顔のいずれかが登録者リスト２１に登録されているいずれかの登録者であると判定された場合、当該登録者の顔特徴量が登録者リスト２１から監視対象リスト２２にコピー（登録）される（ステップＳ３０８）。また、監視結果リスト２３に、当該登録者が入口を通過した旨の記録が行われる（ステップＳ３０９）。ステップＳ３０９の実行時には、必要に応じて警報装置３０を鳴動させる、表示装置４０に何らかの表示を行うなど、施設の管理者への報知を行ってもよい。

入力画像から抽出されたすべての顔について照合処理が行われたならば、変数ｉのインクリメントおよび、ｉがカメラ数を超えた場合には初期化が行われ（ステップＳ３１０〜ステップＳ３１２）、ステップＳ３０２に戻る。

一方、カメラＣｉが入口に設置されているカメラでない場合（ステップＳ３０２：ＮＯ）、まず監視対象リスト２２に登録されている人物が存在するかどうかが調べられ（ステップＳ３２０）、監視対象リスト２２に登録されている人物が存在しない場合（ステップＳ３２０：ＮＯ）、以降の処理はスキップされる。監視対象リスト２２に登録されている人物がいない場合とは、すなわち監視対象となる人物が店内に存在しないと考えられるためである。

監視対象リスト２２に登録されている人物が存在する場合（ステップＳ３２０：ＹＥＳ）、カメラＣｉから画像が取り込まれ（ステップＳ３２１）、顔検出が行われ（ステップＳ３２２）、顔が検出された場合（ステップＳ３２３：ＹＥＳ）、それぞれの顔の顔特徴量が抽出される（ステップＳ３２４）。このステップＳ３２１〜ステップＳ３２４の処理は前述したステップＳ３０３〜ステップＳ３０６の処理と同一であるので詳細な説明は省略する。

続いて、抽出された特徴量を用いて、監視対象リスト２２との照合処理が行われる（ス
テップＳ３２５）。すなわち、検出されたそれぞれの顔が、監視対象リスト２２に登録されているいずれかの監視対象者であるかどうか判定される。

この照合処理において、検出された顔のいずれかが監視対象リスト２２に登録されているいずれかの監視対象者であると判定された場合、カメラＣｉが出口に設置されているカメラかどうかの判定が行われ（ステップＳ３２６）、出口に設置されているカメラでない場合（ステップＳ３２６：ＮＯ）は監視結果リスト２３に当該監視対象者がカメラＣｉによって撮像された旨の情報の記録が行われる（ステップＳ３２８）。また、カメラＣｉが出口に設置されているカメラである場合（ステップＳ３２６：ＹＥＳ）には、当該監視対象者が出口に設置されているカメラによって撮像された、すなわち店舗から退出したと考えられるため、当該監視対象者の顔特徴量が監視対象リスト２２から削除され（ステップＳ３２７）、監視結果リスト２３に当該監視対象者が退場した旨の記録が行われる（ステップＳ３２８）。また、ステップＳ３０９と同様、ステップＳ３２８の実行時に、必要に応じて警報装置３０を鳴動させる、表示装置４０に何らかの表示を行うなど、施設の管理者への報知を行ってもよい。

以上述べたように、本実施形態に係る監視システム１によれば、特定のカメラ（本実施形態ではカメラＣ１）で撮像された画像から抽出された特徴量のみ登録者リスト２１に登録されている全登録者との照合が行われ、その他のカメラで撮像された画像から抽出された特徴量は、登録者リスト２１の一部のデータを複写したデータを格納した（すなわち、登録者リスト２１の部分集合である）監視対象リスト２２に登録されている監視対象者とのみ照合が行われるため、照合処理に要する処理負荷を低減させることができる。また、本実施形態に係る監視システム１によれば、特定のカメラ（本実施形態ではカメラＣ１）で撮像された画像に写っており、かつ登録者リスト２１に登録されている者のデータが自動で監視対象リスト２２に登録（複写）され、また、特定のカメラ（本実施形態ではカメラＣ５）で撮像された画像に写っており、かつ監視対象リスト２２に登録されている者のデータが自動で監視対象リスト２２から削除される構成となっているため、監視対象リスト２２が動的に構成され、監視対象リスト２２のメンテナンスを人手で行う必要がなく、監視業務の自動化を図ることができる。

＜第２実施形態＞
（システム構成）
図５は、本発明の第２実施形態に係る監視システムの機能構成を模式的に示す図である。第２実施形態に係る監視システム５は、監視装置５０と、複数の端末６０と、記憶装置７０を含み、各端末と監視装置はネットワークを介して接続されている構成である。

本実施形態においては、実施形態１と同様、入口と出口がそれぞれ１つである店舗に監視システム５を導入した例を用いて説明する。また、監視システム５は、端末６０を５台備えた構成とし、各端末の端末ＩＤをそれぞれＤ１〜Ｄ５とし、端末Ｄ１は入口、端末Ｄ５は出口、端末Ｄ２〜Ｄ４は店舗内のそれぞれ異なる売場に設置されているものとする。

端末６０は、各々カメラ２に接続されている。カメラ２は、第１実施形態と同様、デジタルビデオカメラやデジタルスチルカメラで構成される。また、端末６０は、画像取得部６１、顔検出部６２、特徴量抽出部６３、入出力部６４の各機能要素を備えている。このうち、画像取得部６１、顔検出部６２、特徴量抽出部６３の機能および動作については第１実施形態における画像取得部１１、顔検出部１２、特徴量抽出部１３の機能および動作
と同様であるので説明を省略する。

入出力部６４は、監視装置５０からの要求に応じて、特徴量抽出部６３で抽出された特徴量を、順次、端末ＩＤとともに監視装置５０に送出する機能である。

一方、監視装置５０の入出力部５２は、各端末６０から送出された特徴量および端末ＩＤを受け取り、照合部５１に送る。また、入出力部５２は、端末ＩＤに応じて、端末ＩＤが入口に設置された端末を示す場合には登録者リスト７１のデータを、その他の端末を示す場合には監視対象リスト７２のデータを、記憶装置７０から呼び出し、照合部５１に送る。この照合処理の詳細については後述する。

（照合処理）
以下、監視システム５における監視処理について、図６および図７のフローチャートを参照して説明する。

図６は、各端末Ｄｉ（ｉ＝１〜５）における照合処理を説明するフローチャートである。

各端末Ｄｉは、監視が開始されると、監視装置５０からの要求を待つ（ステップＳ６０１）。

監視装置５０からの特徴量の送出要求が届いた場合、各端末Ｄｉはカメラ２から画像を取り込み（ステップＳ６０２）、取り込んだ画像に対して顔検出処理を行い（ステップＳ６０３）、顔が検出された場合（ステップＳ６０４：ＹＥＳ）は検出された各顔に対して特徴量の抽出処理を行う（ステップＳ６０５）。ステップＳ６０３、ステップＳ６０５における処理は第１実施形態におけるステップＳ３０４、ステップＳ３０６と同様であるので詳細な説明は省略する。

検出したすべての顔について特徴量の抽出処理が完了すると、端末Ｄｉは入出力部６４を通じて端末のＩＤとともに特徴量の送出を行い（ステップＳ６０６）、再び待機状態に入る。

一方、顔が検出されなかった場合（ステップＳ６０４：ＮＯ）、端末Ｄｉは入出力部６４を通じて端末のＩＤとともに顔が検出されなかった旨の情報を送出し（ステップＳ６０７）、再び待機状態に入る。

図７は、監視装置５０における監視処理のフローチャートである。

監視が開始されると、まず端末参照用の変数ｉが初期化される（ステップＳ７０１）。続いて、端末Ｄｉが入口に設置されている端末かどうかの判定が行われる（ステップＳ７０２）。

端末Ｄｉが入口に設置されている端末であるとき（ステップＳ７０２：ＹＥＳ）、入出力部５２が端末Ｄｉに特徴量の送出を要求する（ステップＳ７０３）。入出力部５２が受け取った情報に特徴量が含まれていない場合（ステップＳ７０４：ＮＯ）、その後の照合処理はスキップされる。

入出力部５２が端末Ｄｉから受け取った情報に特徴量が含まれていた場合（ステップＳ７０４：ＹＥＳ）、そのそれぞれの特徴量と登録者リスト７１に登録されている各登録者の特徴量が比較される（ステップＳ７０５）。すなわち、送出された特徴量それぞれの表
す人物が、登録者リスト７１に登録されているいずれかの人物であるかどうか判定される。

ステップＳ７０５の照合処理において、送出された特徴量の表す人物のいずれかが登録者リスト７１に登録されているいずれかの登録者であると判定された場合、当該登録者の顔特徴量が監視対象リスト７２にコピー（登録）される（ステップＳ７０６）。また、監視結果リスト７３に、当該登録者が入口を通過した旨の記録が行われる（ステップＳ７０７）。ステップＳ７０７の実行時には、必要に応じて警報装置３０を鳴動させる、表示装置４０に何らかの表示を行うなど、施設の管理者への報知を行ってもよい。

端末Ｄｉから送出されたすべての特徴量について照合処理が行われたならば、変数ｉのインクリメントおよび、ｉが端末数を超えた場合には初期化が行われ（ステップＳ７０８〜ステップＳ７１０）、ステップＳ７０２に戻る。

一方、端末Ｄｉが入口に設置されている端末でない場合（ステップＳ７０２：ＮＯ）、まず監視対象リスト７２に登録されている人物が存在するかどうかが調べられ（ステップＳ７２０）、監視対象リスト７２に登録されている人物が存在しない場合（ステップＳ７２０：ＮＯ）、以降の処理はスキップされる。監視対象リスト７２に登録されている人物がいない場合とは、すなわち監視対象となる人物が店内に存在しないと考えられるためである。

監視対象リスト７２に登録されている人物が存在する場合（ステップＳ７２０：ＹＥＳ）、入出力部５２が端末Ｄｉに特徴量の送出を要求する（ステップＳ７２１）。

続いて、入出力部５２が受け取った特徴量を用いて、監視対象リスト７２との照合処理が行われる（ステップＳ７２３）。すなわち、検出されたそれぞれの顔が、監視対象リスト７２に登録されているいずれかの監視対象者であるかどうか判定される。

この照合処理において、検出された顔のいずれかが監視対象リスト７２に登録されているいずれかの監視対象者であると判定された場合、端末Ｄｉが出口に設置されている端末かどうかの判定が行われ（ステップＳ７２４）、出口に設置されている端末でない場合（ステップＳ７２４：ＮＯ）は監視結果リスト７３に当該監視対象者が端末Ｄｉに接続されているカメラによって撮像された旨の情報の記録が行われる（ステップＳ７２６）。また、端末Ｄｉが出口に設置されている端末である場合には（ステップＳ７２４：ＹＥＳ）、当該監視対象者が出口に設置されている端末Ｄｉに接続されているカメラによって撮像された、すなわち店舗から退出したと考えられるため、当該監視対象者のデータが監視対象リスト７２から削除され（ステップＳ７２５）、監視結果リスト７３に当該監視対象者が退場した旨の記録が行われる（ステップＳ７２６）。また、ステップＳ７０７と同様、ステップＳ７２６の実行時に、必要に応じて警報装置３０を鳴動させる、表示装置４０に何らかの表示を行うなど、施設の管理者への報知を行ってもよい。

入力画像から抽出されたすべての顔について照合処理が行われたならば、変数ｉのインクリメントおよび、ｉがカメラ数を超えた場合には初期化が行われ（ステップＳ７０８〜ステップＳ７１０）、ステップＳ７０２に戻る。

以上述べたように、本実施形態に係る監視システム５によれば、特定のカメラ（本実施形態では端末Ｄ１に接続されたカメラ）で撮像された画像から抽出された特徴量のみ登録者リスト７１に登録されている全登録者との照合が行われ、その他のカメラで撮像された画像から抽出された特徴量は、登録者リスト７１の一部のデータを複写したデータを格納した（すなわち登録者リスト７１の部分集合である）監視対象リスト７２に登録されてい
る監視対象者とのみ照合が行われるため、照合処理に要する処理負荷を低減させることができる。また、第１実施形態と同様、本実施形態に係る監視システム５によれば、特定のカメラ（本実施形態では端末Ｄ１に接続されたカメラ）で撮像された画像に写っており、かつ登録者リスト７１に登録されている者のデータが自動で監視対象リスト７２に登録（複写）され、また、特定のカメラ（本実施形態では端末Ｄ５に接続されたカメラ）で撮像された画像に写っており、かつ監視対象リスト７２に登録されている者のデータが自動で監視対象リスト７２から削除される構成となっているため、監視対象リスト７２が動的に構成され、監視対象リスト７２のメンテナンスを人手で行う必要がなく、監視業務の自動化を図ることができる。

また、本実施形態においては、ネットワークを介して複数の端末６０が接続されている構成であるため、大規模な施設や、チェーン店等にも好適に用いることができる。

＜変形例＞
以上述べた２つの実施形態においては、記憶装置２０、記憶装置７０はそれぞれ監視装置１０、監視装置５０に直接接続されている構成としたが、ネットワークを介して接続してもよい。

また、上述した２つの実施形態においては、出口に設置されているカメラにて撮像された者の情報を監視対象リスト２２または監視対象リスト７２から削除するとしたが、この構成を省略し、例えばすべてのカメラで撮像されなくなってから一定時間が経過した場合に当該人物の顔特徴量を監視対象リスト２２または監視対象リスト７２から削除する構成としてもよいし、所定の時刻（例えば閉店時）に監視対象リスト２２または監視対象リスト７２の全データを消去する構成としてもよい。

＜第３実施形態＞
（システム構成）
図８は、本発明の第３実施形態に係る監視システムの機能構成を模式的に示す図である。監視システム８は、店舗等の施設内に設置された監視カメラを用いて、優良顧客が施設内のどこにいるかを監視するシステムである。

監視システム８は、複数のカメラ２と、監視装置８０と、記憶装置９０と、表示装置４０を含んで構成される。

カメラ２は、第１、第２実施形態と同様、デジタルビデオカメラやデジタルスチルカメラで構成される。本実施形態では、監視装置８０に、カメラ２が５台接続されているものとする。また、それぞれのカメラのＩＤをＣ１〜Ｃ５として区別し、カメラＣ１は来店者特定用、カメラＣ２〜Ｃ５は優良顧客監視用として、店舗内のそれぞれ異なる売場に設置されているものとする。ただし、カメラＣ１はカメラＣ２〜Ｃ５のいずれかと同じ場所（例えば、入口や、レジカウンター等）に設置しても構わない。

監視装置８０は、第１、第２実施形態と同様、例えば汎用のパーソナルコンピュータを用いて構成することができる。汎用のパーソナルコンピュータを用いた場合の監視装置８０のハードウェア構成は、第１実施形態における図２と同様であるので、説明を省略する。

監視装置８０は、図８に示す通り、画像取得部８１、顔検出部８２、特徴量抽出部８３、照合部８４、入出力部８５の各機能要素を備えている。画像取得部８１、顔検出部８２、特徴量抽出部８３、照合部８４、入出力部８５の機能はそれぞれ第１実施形態における画像取得部１１、顔検出部１２、特徴量抽出部１３、照合部１４、入出力部１５と同様の
機能であるので説明を省略する。

記憶装置９０のハードウェア構成は、第１実施形態で説明した記憶装置２０のハードウェア構成と同様である。

記憶装置９０内には、登録者リスト９１、監視対象リスト９２、監視結果リスト９３の３つのリストが実現されている。

登録者リスト９１は、監視の対象となりうる者の顔の特徴量を格納したリストである。本実施形態では、店舗に来店した者全員の顔の特徴量が登録者ＩＤ、来店回数、最終来店日とともに登録者リスト９１に格納されているものとする。

監視対象リスト９２は、監視中のある時点において、優良顧客とみなされる登録者の顔の特徴量を格納したリストであり、初期状態では監視対象リスト９２は空の状態である。監視開始後、カメラＣ１で撮像された登録者であって、かつ所定の条件を満たした登録者のデータが、優良顧客データとして、登録者リスト９１から監視対象リスト９２にコピー（登録）される。監視対象リスト９２へのデータの登録・削除の詳細については後述する。

監視結果リスト９３は、店舗内監視の結果を格納するリストである。結果の記録の仕方は任意であるが、本実施形態では図１０に示すような形で、照合処理を実施した日時とともに、照合の結果検出された者のＩＤ、カメラＩＤ、ならびにカメラＩＤから推測される対象者の場所を記録することとする。

表示装置４０は、例えば液晶モニタ等によって構成され、店員等が店内監視の結果を確認する際に用いられる。表示装置４０に表示する内容としては、カメラＣ１〜Ｃ５から取り込まれた画像を順次表示してもよいし、店員等によって指定された監視対象者の動線を表示してもよいし、監視結果リスト９３の内容を表示してもよい。

（監視処理）
以下、監視システム８における監視処理について、図９のフローチャートを参照して説明する。

監視が開始されると、まずカメラ参照用の変数ｉが初期化される（ステップＳ９０１）。続いて、カメラＣｉが来店者特定用カメラかどうかの判定が行われる（ステップＳ９０２）。カメラＣｉが来店者特定用カメラであるとき（ステップＳ９０２：ＹＥＳ）、画像取得部８１ｊがカメラＣｉから画像を取り込む（ステップＳ９０３）。

取り込まれた画像は顔検出部８２に送られ、顔検出部８２で顔検出処理が行われる（ステップＳ９０４）。

取り込まれた画像から顔が検出されない場合（ステップＳ９０５：ＮＯ）、以降の顔照合処理はスキップされ、カメラ参照用の変数ｉが次の値に更新される（ステップＳ９１２〜Ｓ９１５）。一方、取り込まれた画像から顔が検出された場合（ステップＳ９０５：ＹＥＳ）、続いて、検出された顔のうち１つの顔について特徴量の抽出が行われる（ステップＳ９０６）。

続いて、その顔について抽出された特徴量を用いて、登録者リスト９１との照合処理が行われる（ステップＳ９０７）。すなわち、その顔が、登録者リスト９１に登録されているいずれかの人物であるかどうか判定される。

この照合処理において、その顔が登録者リスト９１に登録されているいずれかの登録者の顔であると判定され（ステップＳ９０８：ＹＥＳ）、かつ最終来店日が当日でない場合、当該登録者の来店回数が＋１される（ステップＳ９０９）。当該登録者の来店回数が１０に達した場合、その登録者の顔特徴量が登録者リスト９１から監視対象リスト９２にコピー（登録）される（ステップＳ９１０）。

一方、照合処理において、その顔が登録者リスト９１に登録されているいずれの登録者でもないと判定された場合（ステップＳ９０８：ＮＯ）、その顔の顔特徴量が登録者リスト９１に登録され、来店回数が１にセットされる（ステップＳ９１１）。

入力画像から抽出されたすべての顔について照合処理が行われたならば（ステップＳ９１２：ＹＥＳ）、変数ｉのインクリメントおよび、ｉがカメラ数を超えた場合には初期化が行われ（ステップＳ９１３〜ステップＳ９１５）、ステップＳ９０２に戻る。

一方、カメラＣｉが来店者特定用のカメラでない場合（ステップＳ９０２：ＮＯ）、まず監視対象リスト９２に登録されている人物が存在するかどうかが調べられ（ステップＳ９２０）、監視対象リスト９２に登録されている人物が存在しない場合（ステップＳ９２０：ＮＯ）、以降の処理はスキップされる。監視対象リスト９２に登録されている人物がいない場合とは、すなわち監視対象となる優良顧客がまだ存在しないと考えられるためである。

監視対象リスト９２に登録されている人物が存在する場合（ステップＳ９２０：ＹＥＳ）、カメラＣｉから画像が取り込まれ（ステップＳ９２１）、顔検出が行われ（ステップＳ９２２）、顔が検出された場合（ステップＳ９２３：ＹＥＳ）、それぞれの顔の顔特徴量が抽出される（ステップＳ９２４）。このステップＳ９２１〜ステップＳ９２４の処理は第１実施形態におけるステップＳ３０３〜ステップＳ３０６の処理と同一であるので詳細な説明は省略する。

続いて、抽出された特徴量を用いて、監視対象リスト９２との照合処理が行われる（ステップＳ９２５）。すなわち、検出されたそれぞれの顔が、監視対象リスト９２に登録されているいずれかの監視対象者であるかどうか判定される。

この照合処理において、検出された顔のいずれかが監視対象リスト９２に登録されているいずれかの監視対象者であると判定された場合、監視結果リスト９３に当該監視対象者がカメラＣｉによって撮像された旨の情報の記録が行われる（ステップＳ９２６）。

入力画像から抽出されたすべての顔について照合処理が行われたならば、変数ｉのインクリメントおよび、ｉがカメラ数を超えた場合には初期化が行われ（ステップＳ９１２〜ステップＳ９１５）、ステップＳ９０２に戻る。

以上述べたように、本実施形態に係る監視システム８によれば、特定のカメラ（本実施形態ではカメラＣ１）で撮像された画像から抽出された特徴量のみ登録者リスト９１に登録されている全登録者との照合が行われ、その他のカメラで撮像された画像から抽出された特徴量は、登録者リスト９１の一部のデータを複写したデータを格納した（すなわち登録者リスト９１の部分集合である）監視対象リスト９２に登録されている監視対象者とのみ照合が行われるため、照合処理に要する処理負荷を低減させることができる。

また、本実施形態では、来店回数が所定回数に達した者を監視対象リスト９２に登録するのみで、監視対象リスト９２の顔特徴量の削除は行わない構成としたが、何らかの条件
で監視対象リスト９２の顔特徴量の削除を行う構成とすることも可能である。例えば、最終来店日からの経過日数（すなわち来店しなかった日数）が所定の日数以上になった者のデータを監視対象リスト９２から削除する構成としてもよい。

さらに、本実施形態では、来店回数が所定回数に達した者を自動で監視対象リスト９２に登録する構成としたが、店員等が手動で登録者リスト９１（すなわち全来店者のリスト）から監視対象リスト９２に顔特徴量を登録する構成でもよい。

１：監視システム
２：カメラ
５：監視システム
８：監視システム
１０：監視装置
１１：画像取得部
１２：顔検出部
１３：特徴量抽出部
１４：照合部
１５：入出力部
２０：記憶装置
２１：登録者リスト
２２：監視対象リスト
２３：監視結果リスト
３０：警報装置
４０：表示装置
４１：ＣＰＵ
４２：ＲＯＭ
４３：ＲＡＭ
４４：ＨＤＤ
４５：キーボード
４６：マウス
４７：モニタ
４８：ＣＤ−ＲＯＭ駆動装置
４９：通信ＩＦ
５０：監視装置
５１：照合部
５２：入出力部
６０：端末
６１：画像取得部
６２：顔検出部
６３：特徴量抽出部
６４：入出力部
７０：記憶装置
７１：登録者リスト
７２：監視対象リスト
７３：監視結果リスト
８０：監視装置
８１：画像取得部
８２：顔検出部
８３：特徴量抽出部
８４：照合部
８５：入出力部
９０：記憶装置
９１：登録者リスト
９２：監視対象リスト
９３：監視結果リスト

Claims

監視対象領域内を撮像した画像を用いて監視対象領域内を監視する監視システムであって、
１または複数の第１撮像装置と、
１または複数の第２撮像装置と、
前記第１撮像装置および前記第２撮像装置によって撮像された画像を入力画像として取り込む画像取得部と、
前記入力画像から人物の顔の特徴量を抽出する顔特徴量抽出部と、
人物の顔の特徴量のリストである顔特徴量リストを記憶することに用いられる記憶部と、
顔特徴量リスト内の顔特徴量と、前記顔特徴量抽出部によって抽出された顔特徴量を比較することにより、入力画像に写っている者が顔特徴量リスト内の人物と同一人物であるかどうか判断する照合部と、
を含み、
前記記憶部は、第１の顔特徴量リストと第２の顔特徴量リストとを記憶することに用いられ、前記第２の顔特徴量リストは、前記第１の顔特徴量リストの部分集合もしくは空集合であり、
前記照合部は、前記入力画像が、前記第１撮像装置によって撮影された画像である場合には、当該入力画像に写っている者の顔特徴量を前記第１の顔特徴量リスト内の各特徴量と照合し、前記入力画像が、前記第２撮像装置によって撮影された画像である場合には、当該入力画像に写っている者の顔特徴量を前記第２の顔特徴量リスト内の各特徴量と照合する
監視システム。
監視対象者情報入出力部をさらに含み、
前記監視対象者情報入出力部は、
前記入力画像が前記第１撮像装置によって撮影された画像であり、当該入力画像に写っている者の顔特徴量と前記第１の顔特徴量リスト内の各特徴量との照合の結果、当該入力画像に写っている者が前記第１の顔特徴量リスト内の人物と同一人物であると判断された場合には、当該第１の顔特徴量リスト内の人物の顔特徴量を前記第２の顔特徴量リストに登録する
請求項１に記載の監視システム。
監視対象者情報入出力部をさらに含み、
前記監視対象者情報入出力部は、
前記入力画像が前記第１撮像装置によって撮影された画像であり、当該入力画像に写っている者の顔特徴量と前記第１の顔特徴量リスト内の各特徴量との照合の結果、当該入力画像に写っている者が前記第１の顔特徴量リスト内の人物と同一人物であると判断され、かつ、当該第１の顔特徴量リスト内の人物と同一人物が入力画像に含まれていると判断された回数が所定回数以上である場合には、当該第１の顔特徴量リスト内の人物の顔特徴量を前記第２の顔特徴量リストに登録する
請求項１に記載の監視システム。
１または複数の第３撮像装置をさらに備え、
前記照合部は、
前記入力画像が、前記第３撮像装置によって撮影された画像である場合には、当該入力画像に写っている者の顔特徴量を前記第２の顔特徴量リスト内の各特徴量と照合し、
前記監視対象者情報入出力部は、
当該入力画像に写っている者の顔特徴量と前記第２の顔特徴量リスト内の各特徴量との
照合の結果、当該入力画像に写っている者が前記第２の顔特徴量リスト内の人物と同一人物であると判断された場合には、当該第２の顔特徴量リスト内の人物の顔特徴量を前記第２の顔特徴量リストから削除する
請求項２または請求項３に記載の監視システム。
前記監視対象者情報入出力部は、予め定められた時刻に、前記第２の顔特徴量リスト内の全顔特徴量を削除する
請求項２または請求項３に記載の監視システム。
第１の顔特徴量リストと、前記第１の顔特徴量リストの部分集合または空集合である第２の顔特徴量リストを含み、監視対象領域を、該監視対象領域の一部を撮像するように設置された撮像装置によって撮像された画像を用いて監視する監視システムにおける監視方法であって、
撮像装置によって撮像された画像を入力画像として取り込む工程と、
前記入力画像から人物の顔の特徴量を抽出する工程と、
前記入力画像が、所定の条件を満たす撮像装置によって撮像された画像である場合には、当該入力画像から抽出された顔特徴量を前記第１の顔特徴量リスト内の各特徴量と照合し、前記入力画像が、所定の条件を満たす撮像装置以外の撮像装置によって撮像された画像である場合には、当該入力画像に写っている者の顔特徴量を前記第２の顔特徴量リスト内の各特徴量と照合する工程
を含む監視方法。
請求項６に記載の監視方法であって、
前記第２の顔特徴量リストを、前記第１の顔特徴量リストの部分集合として作成する工程
をさらに含む監視方法。
請求項７に記載の監視方法であって、
前記第２の顔特徴量リストを、前記第１の顔特徴量リストの部分集合として作成する工程において、前記入力画像が、所定の条件を満たす撮像装置によって撮像された画像である場合であって、かつ、当該入力画像から抽出された顔特徴量を前記第１の顔特徴量リスト内の各特徴量と照合した結果、当該入力画像に写っている者が前記第１の顔特徴量リスト内の人物と同一人物であると判断された場合に、当該第１の顔特徴量リスト内の人物の顔特徴量を前記第２の顔特徴量リストに登録することによって、前記第２の顔特徴量リストを、前記第１の顔特徴量リストの部分集合として作成する
監視方法。
第１の顔特徴量リストと、前記第１の顔特徴量リストの部分集合または空集合である第２の顔特徴量リストを利用可能に構成されているコンピュータに、
撮像装置によって撮像された画像を入力画像として取り込むステップと、
前記入力画像から人物の顔の特徴量を抽出するステップと、
前記入力画像が、所定の条件を満たす撮像装置によって撮像された画像である場合には、当該入力画像から抽出された顔特徴量を前記第１の顔特徴量リスト内の各特徴量と照合し、前記入力画像が、所定の条件を満たす撮像装置以外の撮像装置によって撮像された画像である場合には、当該入力画像に写っている者の顔特徴量を、前記第２の顔特徴量リスト内の各特徴量と照合するステップ
を実行させるプログラム。
第１の顔特徴量リストと、前記第１の顔特徴量リストの部分集合または空集合である第２の顔特徴量リストを利用可能に構成されているコンピュータに、
顔特徴量抽出装置によって抽出された顔特徴量を取り込むステップと、
前記顔特徴量抽出装置が、所定の条件を満たす撮像装置に接続されている場合には、前記顔特徴量を前記第１の顔特徴量リスト内の各特徴量と照合し、前記顔特徴量抽出装置が、所定の条件を満たす撮像装置以外の撮像装置に接続されている場合には、前記顔特徴量を、前記第２の顔特徴量リスト内の各特徴量と照合するステップ
を実行させるプログラム。
請求項９または請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。