JP2007190076A - 監視支援システム - Google Patents

Abstract

【課題】顔照合処理における従業員やオペレータの作業負担を軽減することのできる監視支援システムを得る。
【解決手段】ベストショット顔画像データ抽出部２１は、監視カメラ１１で得られた複数の画像に基づき、異なる場所毎の同一人物のベストショット顔画像データを抽出する。オフライン顔照合部２４は、任意の人物の異なる場所毎のベストショット顔画像データと、不正者顔画像データ抽出部２３で抽出した不正者の顔画像データとを照合し、これら顔画像データが所定の一致率を超えていた場合、その人物のベストショット顔画像データを、不正者の顔画像データの候補として出力する。
【選択図】図１

Description

この発明は、監視カメラ、映像蓄積装置などから構成される映像監視システムであって、顔画像を使って登録人物の発見を支援したり、行動監視を支援したりする監視支援システムに関するものである。

従来、例えば特許文献１に示すように、遊技場に来店した遊技者の照合確認を人手によらず行うことのできる遊技者照合確認システムが提案されている。このようなシステムは、事前に不正者の顔データを登録しておき、遊技場に来店した遊技者の顔データと照合し、オンラインでこの照合結果を出力（警報）するようにしたものである。

特開２００１−１７８９５８号公報

一般に、このような遊技者照合確認システムにおける顔照合（認証）の正答率は１００％ではなく、登録者を見逃すエラー（見逃し）、非登録者を登録者と間違うエラー（誤報）の２つが存在する。登録者を見逃すエラーを低くする設定では、同時に非登録者を登録者と間違うエラーが高くなり、一方で、非登録者を登録者と間違うエラーを低くする設定では、同時に登録者を見逃すエラーが高くなる。つまり、この２つのエラーはトレードオフの関係にある。

特に、オンラインで警報する場合、誤報が多いとシステム利用者である従業員やオペレータの作業負担が増加するため、誤報を極力抑えるようにシステムを運用する必要がある。しかし、そのような運用では、登録者である不正者を見逃す事例が増加するため、遊技者照合確認システムとしては期待する効果が得られないという問題点があった。

この発明は、上記のような問題点を解決するためになされたものであり、記録映像を用いて不正者の来店時間をオフライン的に確認する作業や、不正者の再来店をオンライン的に発見する作業を支援する機能を提供し、従業員やオペレータの作業負担を軽減することのできる監視支援システムを得ることを目的としている。

この発明に係る監視支援システムは、異なる場所毎に得られた複数の画像に基づき、異なる場所毎の同一人物のベストショット顔画像データとその取得時刻とを抽出するベストショット顔画像データ抽出部を備え、ベストショット顔画像データ抽出部で抽出した対象となる人物の異なる場所毎のベストショット顔画像データと、不正者の顔画像データとを照合し、これら顔画像データが所定の一致率を超えていた場合、その人物のベストショット顔画像データを、不正者の顔画像データの候補として出力するようにしたものである。

この発明の監視支援システムは、異なる場所毎のベストショット顔画像データと、不正者の顔画像データとを照合し、これら顔画像データが所定の一致率を超えていた場合、そのベストショット顔画像データを、不正者の顔画像データの候補として出力するようにしたので、顔照合処理における従業員やオペレータの作業負担を軽減することができる。

実施の形態１．
図１は、この発明の実施の形態１による監視支援システムを示す構成図である。
尚、以下の各実施の形態では遊技店舗を例に挙げて説明するが、本発明は遊技店舗に限定されるわけではなく、スーパーマーケット、コンビニエンスストア、デパートメントストアなど、その規模の大小を問わず、人間が出入りする種々の店舗や施設に適用可能である。

図１において、監視支援システムは、映像監視システム１、画像解析装置２からなる。映像監視システム１は、監視カメラ１１、映像蓄積装置１２から構成される従来型の映像セキュリティシステムである。監視カメラ１１は、店舗における異なる場所の映像を撮影するための撮像装置であり、例えば、次のようなカメラを備えている。

即ち、店舗入口から来店する客を撮影する店舗入口監視カメラ１１１、遊技中または移動中の客を撮影する台間通路監視カメラ１１２、出球（コイン）交換機にやってくる客を撮影する出球交換機監視カメラ１１３、退店する直前に景品交換カウンターにやってくる客を撮影する景品交換カウンタ監視カメラ１１４などから構成される。尚、カメラの設置場所や台数は任意にレイアウト可能であり、本実施の形態の限りではない。各カメラには順番に番号が割り当てられ、各個体を識別可能になっているものとする。また、カメラの種別としては、アナログカメラ（ＮＴＳＣカメラなど）、デジタルカメラ（ＩＥＥＥ１３９４カメラ、ＵＳＢカメラなど）、ネットワークカメラ（Ｗｅｂカメラ、ＩＰカメラ）など、特に制限はない。

映像蓄積装置１２は、いわゆる複数チャンネル対応のレコーダであり、ハードディスクを内蔵し、店舗入口監視カメラ１１１〜景品交換カウンタ監視カメラ１１４のアナログ映像出力やデジタル映像出力等の映像信号を撮影時刻情報と共に装置内部に記録保存する装置である。また、映像蓄積装置１２内の記録データは、外部からの指令の元に、任意の時刻、任意のチャンネルの映像を取り出すことが可能である。

画像解析装置２は、映像監視システム１で取得した映像を解析し、その解析結果を出力する装置であり、ベストショット顔画像データ抽出部２１、来店客リスト生成部２２、不正者顔画像データ抽出部２３、オフライン顔照合部２４、入出力部２５から構成される。

ベストショット顔画像データ抽出部２１は、例えば、特開２００５−２２７９５７号公報に記載されているベストショット顔画像データ抽出処理を行う機能部である。ここで、ベストショット顔画像データ抽出のための画像処理については公知であるため、簡単に説明する。監視カメラ１１の各カメラに人物がフレームインすると、人物の顔領域を顔画像データとして検出、抽出する。一旦顔を検出すると、人物単位で追跡を行う。人物がカメラからフレームアウトすると追跡が終了し、その段階で、これまで追跡した多フレームの顔画像データの中から、顔の方向、明るさ、大きさ、目検出の有無、画質などを総合的に判断することで、顔照合に最も好適なベストショット顔画像データを自動的に１枚決定する。追跡を人物単位で行うため、同時に複数人物がフレームインしている場合でも、人物毎のベストショット顔画像データが得られる。人物のフレームイン、フレームアウトの判定は、顔の検出状態によって判断してもよいし、たとえば、特開２００３−１６９３１９号公報に記述されている人物追跡手法による人物の検出状態によって判断してもよい。

来店客リスト生成部２２は、ベストショット顔画像データ抽出部２１で得られるベストショット顔画像データに、監視カメラ１１の番号や撮影時刻を付加した上で、リストとして保持する機能部である。この来店客リスト生成部２２では、ベストショット顔画像データ抽出部２１で新たなベストショット顔画像データが得られる度に、来店客リストに追加され、時々刻々と更新されていく。即ち、来店客リスト生成部２２では、人物毎に複数の場所の顔画像データを保持するものである。

不正者顔画像データ抽出部２は、監視カメラ１１で得られる画像や映像蓄積装置１２に蓄積された画像に基づいて不正者を特定し、不正者顔画像データを出力する機能部である。
一般に、遊技店舗では、各遊技台を店舗のホストコンピュータであるホールコンピュータ（図示省略）と接続し、球（コイン）の出入りを監視している。各遊技台の演出設定（例えば、大当たり確率）に対して、異常に多くの球（コイン）が出ている場合には、その遊技台で不正が行われている可能性が高い。また、遊技台の開閉信号がホールコンピュータに送信されるようになっており、従業員の許可なく開閉された場合、その遊技台で不正が行われている可能性が高い。そのような場合、ホールコンピュータの情報を元に、監視カメラ１１や映像蓄積装置１２の映像を確認し、不正者を特定する。

即ち、不正者顔画像データ抽出部２３では、ホールコンピュータから不正の可能性が高いことを示す情報が出力された場合は、その発生源を撮影している監視カメラ１１のカメラ番号やその発生時刻に基づいて、映像蓄積装置１２に蓄積された映像から不正者の顔画像データを抽出する。つまり、不正が行われた場所と時刻が一致した映像から顔検出処理を実行し、人物の顔領域を顔画像データとして抽出し、これを不正者の顔画像として出力するよう構成されている。ベストショット顔画像データ抽出部２１との違いは、多フレームを対象とするのではなく、任意の１フレームを処理の対象とすることである。

オフライン顔照合部２４は、不正者顔画像データ抽出部２３で不正者の顔画像データを抽出した後に、来店客リスト生成部２２で生成されたベストショット顔画像データ群と、不正者顔画像データとを照合し、不正者の来店時刻、退店時刻、遊技中、移動中の顔画像撮影時刻を算出する機能部である。

ここで、顔照合（認証）とは、２枚の顔画像データの類似度を計算し、その類似度がシステムで設定した閾値を超える場合には本人同士、超えない場合には他人同士と判別する機能を指す。この処理としては、例えば、画像センシングシンポジウム２００４で公開されている、“Rectangle Filterの最適選択に基づく高速顔認証システム”，三輪祥太郎，羽島一夫，鹿毛裕史，橋本学，Michael Jones，Jay Thornton，SSII2004.に記載された方法を用いることができる。尚、顔照合方法は、このような方法に限定されるわけではなく、種々の公知の方法を使うことができる。

入出力部２５は、キーボードなどのデータ入力装置とモニタなどのデータ出力装置から構成され、監視カメラ１１の出力映像や映像蓄積装置１２の映像を表示する機能を有している。その際、モニタの画面内に、各カメラの映像を選択して個別に表示したり、複数カメラの映像を同時に表示したりすることができる。また、ベストショット顔画像データ抽出部２１で得られるベストショット顔画像データ、不正者顔画像データ抽出部２３で得られる不正者顔画像データを表示することもできる。また、これらの顔画像データの位置を抽出元の画像に重畳して表示することもできる。更に、来店客リスト生成部２２の過去の顔画像データ一覧を表示することもできる。

次に、実施の形態１の監視支援システムの動作について説明する。
先ず、店舗入口監視カメラ１１１〜景品交換カウンタ監視カメラ１１４のそれぞれの映像は、ベストショット顔画像データ抽出部２１に入力され、人物単位にそのベストショット顔画像データを抽出する。この抽出されたベストショット顔画像データは、来店客リスト生成部２２において、カメラ番号や撮影時刻を付加した上でリストとして保持される。また、これら店舗入口監視カメラ１１１〜景品交換カウンタ監視カメラ１１４で取得されたそれぞれの映像は、映像蓄積装置１２に蓄積される。

また、ユーザが入出力部２５より、オフライン顔照合のタイミングを指定する。このタイミングとしては、例えば、１日に１回、あるいは１時間毎といった間隔である。これにより、不正者顔画像データ抽出部２３では、ユーザに指定されたタイミングで、不正者の顔画像データを抽出する。例えば、任意の場所、時刻に不正を示す情報が存在した場合は、その場所と時刻に一致するような過去の蓄積映像を映像蓄積装置１２から取り出して、この撮影画像中に存在する顔画像データを切り出す。即ち、カメラ番号や撮影時刻を指定し、映像を取り出しながら再生し、任意のシーンにおいて、顔検出処理を実行し、人物の顔領域を顔画像データとして抽出する。そして、この顔画像データを不正者の顔画像データとしてオフライン顔照合部２４に出力する。尚、不正者顔画像データ抽出部２３は、映像蓄積装置１２の蓄積映像から不正者の顔画像を自動で切り出すが、自動で切り出せない場合は、入出力部２５を介してユーザによる補助により切り出すようにしてもよい。

オフライン顔照合部２４では、不正者顔画像データ抽出部２３で不正者の顔画像データを抽出した後に、来店客リスト生成部２２で生成されたベストショット顔画像データ群と、不正者顔画像データとを照合し、不正者の来店時刻、退店時刻、遊技中、移動中の顔画像撮影時刻を算出する。

ベストショット顔画像データ群Ｎ個と不正者顔画像データ１個とを顔照合した場合、その結果、Ｎ個の類似度が得られることになる。入出力部２５を介して、事前にシステムの閾値をＴ１と設定しておくことで、Ｎ個の類似度の内、Ｔ１を超えるＡ個のベストショット顔画像データが抽出される。そして、抽出された顔画像データは不正者顔画像データと共に、入出力部２５に送られ、不正者の顔画像の候補としてモニタに表示される。

この不正者本人らしいＡ個のベストショット顔画像データと不正者顔画像データを入出力部２５のモニタ上で同時に確認することで、従業員やオペレータは、Ａ個のベストショット顔画像データの内、不正者のベストショット顔画像データを選別することができる。つまり、顔照合（認証）の正答率は１００％ではないため、Ａ個のベストショット顔画像データの中には、その不正者以外の顔画像データも含まれる可能性がある。しかしながら、従業員やオペレータが目視で結果を確認することで、そのような間違った結果は無視することができる。

尚、上記実施の形態１では、不正者顔画像データ抽出部２３は、映像蓄積装置１２に蓄積された映像を用いて不正者顔画像データを抽出するようにしたが、監視カメラ１１から出力される映像に基づいて、リアルタイムに顔画像データの切り出しを行うようにしてもよい。即ち、ホールコンピュータから不正の可能性を示す情報が出力された場合、その時点で、監視カメラ１１からの映像を用いて不正者の顔画像データを切り出す。この場合、オフライン顔照合部２４では、ユーザから指定される所定のタイミングで顔照合処理を行うため、不正者顔画像データ抽出部２３で抽出された不正者の顔画像データは、不正者顔画像データ抽出部２３において、一時的に保持される。

以上のように、実施の形態１の監視支援システムによれば、異なる場所毎に得られた複数の画像に基づき、異なる場所毎の同一人物のベストショット顔画像データとベストショット顔画像データの取得時刻とを抽出するベストショット顔画像データ抽出部と、不正者の顔画像データを抽出する不正者顔画像データ抽出部と、ベストショット顔画像データ抽出部で抽出した対象となる人物の異なる場所毎のベストショット顔画像データと、不正者の顔画像データとを照合し、その人物のベストショット顔画像データと不正者の顔画像データとが所定の一致率を超えていた場合、その人物のベストショット顔画像データを、不正者の顔画像データの候補として出力するオフライン顔照合部とを備えたので、例えば、不正者のベストショット顔画像データに付随のカメラ番号、撮影時刻を参照することで、店舗内での不正者の入店時刻、退店時刻、遊技、移動中の顔画像撮影時刻といった行動記録が得られるため、不正行為発見時の記録映像を調べる範囲が限定され、従業員やオペレータの作業負担を軽減することができる。更に、従業員やオペレータの補助を得ながらオフライン的に照合結果を出力するため、見逃しを低減することができる。

また、実施の形態１の監視支援システムによれば、ベストショット顔画像データ抽出部に入力される複数の画像と同様の画像を蓄積する映像蓄積装置を備え、不正者顔画像データ抽出部は、所定の不正行為を示す信号に基づいて、映像蓄積装置の映像の中から、不正者の顔画像データを抽出するようにしたので、不正者顔画像データ抽出部は、不正者の顔画像データの抽出をより確実に行うことができる。

実施の形態２．
実施の形態２は、予め不正者リストを用意し、ベストショット顔画像データが抽出される度に照合処理を行うオンライン顔照合部を付加したものである。

図２は、実施の形態２の監視支援システムの構成図である。
図示の監視支援システムは、映像監視システム１と画像解析装置２ａとからなり、映像監視システム１については、実施の形態１の映像監視システム１と同様であるため、ここでの説明は省略する。

画像解析装置２ａは、ベストショット顔画像データ抽出部２１、来店客リスト生成部２２、不正者顔画像データ抽出部２３、オフライン顔照合部２４、入出力部２５、不正者リスト生成部２６、オンライン顔照合部２７を備えている。ここで、ベストショット顔画像データ抽出部２１〜入出力部２５の構成は、実施の形態１と同様であるため、ここでの説明は省略する。

不正者リスト生成部２６は、不正者顔画像データ抽出部２３で得られる顔画像データに、カメラ番号や撮影時刻を付加した上で、不正者リストとして保持する機能部である。この不正者リスト生成部２６では、新たな不正者顔画像データが得られる度に、不正者リストに追加され、時々刻々と更新されていく。

また、オフライン顔照合部２４におけるオフライン顔照合の結果、来店客リスト中に不正者のベストショット顔画像データが存在する場合には、来店客リスト生成部２２のベストショット顔画像データを不正者顔画像データとして不正者リストに追加するようにしてもよいし、このベストショット顔画像データで不正者顔画像データを更新するようにしてもよい。

オンライン顔照合部２７は、ベストショット顔画像データ抽出部２１で、ベストショット顔画像データが抽出される度に不正者リスト生成部２６に格納されている不正者リストを参照し、所定の一致率が得られた場合は、そのベストショット顔画像データが抽出された映像に不正者が映っていると判定し、この判定結果を入出力部２５に出力する機能を有している。

次に、実施の形態２の動作について説明する。
不正者リスト生成部２６では、不正者顔画像データ抽出部２３で抽出された不正者顔画像データあるいはオフライン顔照合部２４で不正者と判定されたベストショット顔画像データを記録、更新する。

また、監視カメラ１１の店舗入口監視カメラ１１１〜景品交換カウンタ監視カメラ１１４では、来店時、退店時、遊技中、移動中といった、それぞれ異なる場所における映像を取得し、ベストショット顔画像データ抽出部２１は、それぞれの場所に対応したベストショット顔画像を抽出する。

オンライン顔照合部２７では、ベストショット顔画像データ抽出部２１からベストショット顔画像データが入力されると、不正者リスト生成部２６から不正者リストを読み出し、ベストショット顔画像データと照合を行う。
不正者顔画像データ群Ｍ個とベストショット顔画像データ１個を顔照合した場合、その結果、Ｍ個の類似度が得られることになる。入出力部２５を介して、事前にシステムの閾値をＴ２と設定しておくことで、Ｍ個の類似度の内、Ｔ２を超えるＢ個の不正者顔画像データが抽出されることになる。１個でも不正者顔画像データが抽出されたら（Ｂ≧１）、ベストショット顔画像データとして抽出された客は不正者の可能性が高いと判定し、不正者の候補としてその判定結果を入出力部２５に出力する。即ち、不正者の再来店があったと判定し、入出力部２５において、これを警報する。尚、オフライン顔照合処理については、実施の形態１と同様であるため、ここでの説明は省略する。

以上のように、実施の形態２の監視支援システムによれば、ベストショット顔画像データ抽出部でベストショット顔画像データが得られた時点で、ベストショット顔画像データと、予め設けられた不正者リストとを照合し、所定の一致率が得られた場合は、ベストショット顔画像データの人物を不正者の候補として出力するオンライン顔照合部を備えたので、オンライン顔照合の精度そのものを向上させることができ、見逃しや誤報を低減することができる。

また、実施の形態２の監視支援システムによれば、不正者リストは、不正者顔画像データ抽出部で抽出された顔画像データに基づいて生成されるようにしたので、不正者リスト中の不正者顔画像データを適宜追加することができ、よりオンライン顔照合の精度を向上させることができる。

また、実施の形態２の監視支援システムによれば、不正者リストは、オフライン顔照合部で不正者の顔画像データの候補として抽出したベストショット顔画像データに基づいて生成されるようにしたので、不正者リスト中の不正者顔画像データを適宜更新することができ、この点においても、更にオンライン顔照合の精度を向上させることができる。

尚、上記実施の形態２では、不正者リストとして、不正者顔画像データ抽出部２３で抽出された不正者顔画像データ、あるいは、オフライン顔照合部２４で不正者と判定されたベストショット顔画像データとしたが、例えば、他店での不正者データといったように、一度も来店していないが、不正者として特定されている人物の顔画像データを含めてもよい。このように構成すれば、一度も来店したことのない不正者も発見することができ、監視支援システムとして信頼性の向上を図ることができる。

また、上記実施の形態１，２では、遊技店に監視支援システムを適用した場合を説明したが、これ以外の、例えば、スーパーマーケットやコンビニエンスストア等に適用した場合、不正者顔画像データ抽出部２３における不正者検出を行う信号として、例えば万引きセンサの信号を用いるといったことが可能である。

この発明の実施の形態１による監視支援システムを示す構成図である。 この発明の実施の形態２による監視支援システムを示す構成図である。

符号の説明

１１ 監視カメラ、２１ ベストショット顔画像データ抽出部、２３ 不正者顔画像データ抽出部、２４ オフライン顔照合部、２６ 不正者リスト生成部、２７ オンライン顔照合部。

Claims (6)

1. 異なる場所毎に得られた複数の画像に基づき、前記異なる場所毎の同一人物のベストショット顔画像データと当該ベストショット顔画像データの取得時刻とを抽出するベストショット顔画像データ抽出部と、
   不正者の顔画像データを抽出する不正者顔画像データ抽出部と、
   前記ベストショット顔画像データ抽出部で抽出した対象となる人物の異なる場所毎のベストショット顔画像データと、前記不正者の顔画像データとを照合し、当該人物のベストショット顔画像データと前記不正者の顔画像データとが所定の一致率を超えていた場合、当該人物のベストショット顔画像データを、不正者の顔画像データの候補として出力するオフライン顔照合部とを備えた監視支援システム。
2. ベストショット顔画像データ抽出部に入力される複数の画像と同様の画像を蓄積する映像蓄積装置を備え、
   不正者顔画像データ抽出部は、所定の不正行為を示す信号に基づいて、前記映像蓄積装置の映像の中から、不正者の顔画像データを抽出することを特徴とする請求項１記載の監視支援システム。
3. ベストショット顔画像データ抽出部でベストショット顔画像データが得られた時点で、当該ベストショット顔画像データと、予め設けられた不正者リストとを照合し、所定の一致率が得られた場合は、当該ベストショット顔画像データの人物を不正者の候補として出力するオンライン顔照合部を備えた請求項１または請求項２記載の監視支援システム。
4. 不正者リストは、不正者顔画像データ抽出部で抽出された顔画像データに基づいて生成されることを特徴とする請求項３記載の監視支援システム。
5. 不正者リストは、オフライン顔照合部で不正者の顔画像データの候補として抽出したベストショット顔画像データに基づいて生成されることを特徴とする請求項３または請求項４記載の監視支援システム。
6. 不正者リストは、外部から取得した不正者の顔画像データに基づいて生成されることを特徴とする請求項３から請求項５のうちのいずれか１項記載の監視支援システム。

Images