JP2005078589A - 人物認識装置および通行制御装置 - Google Patents

Abstract

【課題】認識時の顔の位置や向きだけでなく、髪型や表情など顔特有の変動要素を認識対象である人物がその場で確認することが可能となり、これにより顔画像が一定化し、常に安定した認識性能が得られる人物認識装置を提供する。
【解決手段】認識対象者によって入力される顔画像をあらかじめ登録された辞書情報と照合することにより当該人物が本人であるか否かを認識する人物認識装置において、照合時（認識時）、照合のために入力された顔画像と当該人物の辞書登録時の顔画像を並べて表示する。
【選択図】 図１

Description

本発明は、たとえば、認識対象となる人物によって入力される顔画像をあらかじめ登録された辞書情報と照合することにより当該人物が本人であるか否かを認識する人物認識装置、および、この人物認識装置を用いて通行者の通行（たとえば、セキュリティエリアに対する入退場など）を制御する通行制御装置に関する。

一般に、この種の人物認識装置は、認識対象となる人物の顔画像をビデオカメラなどを用いて入力し、この入力した顔画像から得られる当該人物固有の顔の特徴情報を辞書情報として辞書記憶手段にあらかじめ記憶（登録）しておく。

そして、認識時には、認識対象となる人物の顔画像をビデオカメラなどを用いて再度入力し、この入力した顔画像から得られる当該人物固有の顔の特徴情報を辞書記憶手段にあらかじめ記憶されている辞書情報と照合することにより当該人物を認識する。たとえば、入力された顔画像が辞書情報と類似しているかどうかを評価し、類似性が高い場合には当該人物は登録者（本人）であると判定し、類似性が低い場合には当該人物は未登録者（本人ではない）と判定する。

この種の人物認識装置においては、顔画像を入力するためのカメラに対する人物の顔の位置や向きといった状態が登録時と認識時（照合時）とで異なる場合に人物の認識率が著しく低下していた。これは、人物の立ち位置は漠然とカメラ（あるいは、入力画像や操作案内などの表示用ディスプレイ）の正面とされていたが、厳密な意味でのチェックがなく、細かなレベルでの変動をおさえ切れなかったのが原因でもある。

そこで、認識対象となる人物に対し、登録時の顔画像と認識時の顔画像をディスプレィに同時に表示することにより、人物の顔の位置や向きを一定化させる方法が知られている（たとえば、特許文献１、特許文献２参照）。
特開２００１−２７３４９８号公報 特開２００３−１４１５４１号公報

しかしながら、上記した従来の方法では、認識時の顔画像を登録時の顔画像に近づけようと調整する動作において、顔の位置や向きなどはディスプレイの画面を目視しながら可能であるが、髪型や表情など顔特有の変動要素に対する調整を行なうことは不可能である。

そこで、本発明は、認識時の顔の位置や向きだけでなく、髪型や表情など顔特有の変動要素を認識対象である人物がその場で確認することが可能となり、これにより顔画像が一定化し、常に安定した認識性能が得られる人物認識装置および通行制御装置を提供することを目的とする。

本発明の人物認識装置は、認識対象となる人物の顔画像を入力する画像入力手段と、この画像入力手段により入力された顔画像から当該人物固有の顔の特徴情報を抽出する特徴抽出手段と、この特徴抽出手段により抽出された顔の特徴情報を辞書情報として記憶するとともに、この辞書情報と対応させて当該特徴情報の抽出に用いた前記画像入力手段により入力された顔画像を記憶する辞書記憶手段と、前記特徴抽出手段により抽出された顔の特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより当該人物を認識する認識手段と、この認識手段による認識時、その認識に用いた辞書情報と対応する顔画像を前記辞書記憶手段から読出して、当該認識に用いた前記画像入力手段により入力された顔画像とともに表示する表示手段とを具備している。

また、本発明の通行制御装置は、照合対象となる通行者の顔画像を入力する画像入力手段と、この画像入力手段により入力された顔画像から当該通行者固有の顔の特徴情報を抽出する特徴抽出手段と、この特徴抽出手段により抽出された顔の特徴情報を辞書情報として記憶するとともに、この辞書情報と対応させて当該特徴情報の抽出に用いた前記画像入力手段により入力された顔画像を記憶する辞書記憶手段と、前記特徴抽出手段により抽出された顔の特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより当該通行者を認識する認識手段と、この認識手段による認識時、その認識に用いた辞書情報と対応する顔画像を前記辞書記憶手段から読出して、当該認識に用いた前記画像入力手段により入力された顔画像とともに表示する表示手段と、前記認識手段の認識結果に基づき当該通行者の通行を制御する通行制御手段とを具備している。

本発明によれば、認識時の顔の位置や向きだけでなく、髪型や表情など顔特有の変動要素を認識対象である人物がその場で確認することが可能となり、これにより顔画像が一定化し、常に安定した認識性能が得られる人物認識装置および通行制御装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る人物認識装置の構成を概略的に示すものである。この人物認識装置は、認識対象者（以下、人物ともいう）１００の顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのテレビジョンカメラ１０１、カメラ１０１の近傍から認識対象者１００の少なくとも顔に向けて一定の照度で光を照射する照明手段としての照明部１０２、認識対象者１００に対して入力された顔画像や各種案内などを表示したり、認識対象者１００の個人ＩＤ（識別情報）などを入力する表示手段および入力手段としての入出力部１０３、および、カメラ１０１から入力された顔画像を処理して顔画像の認識処理などを行なう処理部１０４から構成されている。

カメラ１０１は、認識対象者１００の顔画像を下方から所定角度で撮像して入力するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。

照明部１０２は、カメラ１０１の近傍（たとえば、カメラ１０１の側部）から認識対象者１００の顔に向けて一定の照度で光を照射する蛍光灯などの照明器具である。

入出力部１０３は、カメラ１０１で撮影されている認識対象者１００の顔画像や各種ガイダンス、処理結果などを表示したり、認識対象者１００の個人ＩＤやパスワードなどを入力するもので、たとえば、液晶表示部とタッチパネルとを一体化して構成されていて、カメラ１０１の近傍、たとえば、カメラ１０１の上部で、ほぼ認識対象者１００の顔部分と相対応する位置に設けられている。なお、表示によるガイダンスのみに限らず、音声によるガイダンス機能を付加してもよい。

処理部１０４は、カメラ１０１からの顔画像を入力する画像入力手段としての画像入力部１０５、画像入力部１０５から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部品の位置を検出する特徴抽出手段としての顔検出部１０６、顔検出部１０６の出力に基づき濃淡情報あるいは部分空間情報などの顔の特徴量を抽出する特徴抽出手段としての特徴抽出部１０７、辞書情報の登録時には、特徴抽出部１０７で抽出された特徴量を辞書情報として当該登録時の入力画像（顔画像）と対応させて記憶（登録）する辞書記憶手段としての辞書情報記憶部１０８、人物認識（顔照合）時には、特徴抽出部１０７で抽出された特徴量（入力特徴情報）と辞書情報記憶部１０８に登録されている辞書情報とを照合することにより当該人物を認識する認識手段としての認識部１０９、照明部１０２および入出力部１０３などを制御する制御手段としての制御部１１０を具備して構成されている。

画像入力部１０５は、カメラ１０１からの顔画像を入力し、Ａ／Ｄ変換してデジタル化した後、顔検出部１０６へ送る。
顔検出部１０６は、まず、画像入力部１０５で入力された顔画像から認識対象者１００の顔の領域を検出する。たとえば、あらかじめ用意されたテンプレートを、画像中を移動させながら相関値を求めることにより、最も高い相関値を持った場所を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔検出手段でもよい。

顔検出部１０６は、次に、検出された顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。その検出方法は、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などの方法を用いてよい。

特徴抽出部１０７は、顔検出部１０６で検出された顔部品の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、たとえば、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトル（辞書情報）として用いる。

辞書情報記憶部１０８は、あらかじめ本装置で利用を許可された人物の顔画像を辞書情報として当該登録時の入力画像（顔画像）および当該人物の個人ＩＤと対応させて登録（記憶）しておくものである。登録する辞書情報としては、特徴抽出部１０７で抽出された顔切出し画像をＫＬ展開によって固有空間に変換して得られたベクトル情報を保存するものとし、この情報を辞書情報として扱う。

認識部１０９は、特徴抽出部１０７から得られた入力特徴情報と辞書情報記憶部１０８内の入出力部１０３から入力された個人ＩＤに対応する辞書情報とを照合することにより、入力特徴情報と辞書情報との類似度を求め、求めた類似度が閾値よりも高い場合には当該人物は登録者（本人）であると判定（認識）し、求めた類似度が閾値よりも低い場合には未登録者（本人ではない）と判定（認識）する。

また、図２に示すように、カメラ１０１の近傍には、認識対象者１００の顔位置を一定にするための補助器具１１１が設置されている。この場合、カメラ１０１に相対向して顔画像を入力する際、補助器具１１１の上に認識対象者１００の顎部分を載せることにより、顔位置を安定化するようになっている。

次に、図３に示すフローチャートを参照して動作を説明する。
まず、認識対象者１００は、入出力部１０３から個人ＩＤを入力し（ステップＳ１）、その後、図２に示すように、補助器具１１１の上に顎部分を載せることにより、顔照合（顔認識）処理が開始される（ステップＳ２）。

すなわち、カメラ１０１は認識対象者１００の画像を取込み、画像入力部１０５を介して顔検出部１０６へ送る。顔検出部１０６は、カメラ１０１により取込んだ画像から顔領域を検出し、検出した顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。

次に、特徴抽出部１０７は、顔検出部１０６で検出された顔部品の位置を基に顔の特徴量を抽出し、認識部１０９へ送る。認識部１０９は、特徴抽出部１０７で抽出された顔の特徴量と辞書情報記憶部１０８内のステップＳ１で入力された個人ＩＤと対応する辞書情報とを照合することにより両情報の類似度を求め、求めた類似度が閾値よりも高い場合には当該人物は登録者（本人）であると判定（照合成功と判定）し、求めた類似度が閾値よりも低い場合には未登録者（本人ではない）と判定（非照合成功と判定）する（ステップＳ３）。

ステップＳ３で照合成功と判定された場合、制御部１１０は、照合成功処理（たとえば、入場許可など）を行ない（ステップＳ４）、当該処理照合を終了する。

ステップＳ３で非照合成功と判定された場合、制御部１１０は、ステップＳ１で入力された個人ＩＤと対応する辞書情報と対応して辞書情報記憶部１０８に記憶されている登録時の入力画像（顔画像）を検索して読出し（ステップＳ５）、この読出した顔画像をガイド顔画像として、当該照合時の入力画像（顔画像）とともに入出力部１０３に表示する（ステップＳ６）。

図４および図５に顔画像の表示例を示す。本画像は照合時に表示される。図４の表示例は、現在カメラ１０１から入力された顔画像３０２と、当該人物の登録時の顔画像（ガイド顔画像）３０１とを並列に表示した例であり、この例では登録時の顔画像３０１の方が少しサイズを小さく表示している。図５の表示例は、現在カメラ１０１から入力された顔画像（実線で示す画像）３０３と、当該人物の登録時の顔画像（破線で示す画像）３０４とを重ねて表示した例である。

このように、照合時（認識時）に、照合のために入力された顔画像と当該人物の登録時の顔画像を並べて表示することにより、照合時の顔の位置や向きだけでなく、髪型や表情など顔特有の変動要素を認識対象者がその場で確認することが可能となる。これにより、顔画像が一定化され、常に安定した照合性能を得ることができる。

次に、第２の実施の形態について説明する。
図６は、第２の実施の形態に係る人物認識装置の構成を概略的に示すものである。第２の実施の形態は、前述した第１の実施の形態に対し、照合時（認識時）、その照合（認識）に用いたカメラ１０１により入力された顔画像を履歴情報として記憶する履歴情報記憶手段としての履歴情報記憶部１１２が追加された点が異なり、その他は第１の実施の形態と同様であるので、説明は省略する。

履歴情報記憶部１１２には、図３のステップＳ２における顔照合時に、制御部１１０の制御により、カメラ１０１から入力された顔画像がステップＳ１で入力された個人ＩＤと対応させて履歴情報として記憶される。

そして、図３のステップＳ５における顔画像の検索は、ステップＳ１で入力された個人ＩＤと対応する顔画像が履歴情報記憶部１１２内から検索され、ステップＳ６で当該照合時の入力画像（顔画像）とともに入出力部１０３に表示される。この場合、履歴情報記憶部１１２から検索する顔画像は、前回の照合時（認識時）またはそれ以前の照合時において照合成功となったときの顔画像である。
なお、この実施の形態の場合、辞書情報記憶部１０８に登録時の入力画像（顔画像）を記憶しておく必要はない。

次に、第３の実施の形態について説明する。
第３の実施の形態は、第１の実施の形態で説明した人物認識装置を、通行者の顔画像を認識して通行者の通行を制御する通行制御装置に適用した場合の例である。

図７は、第３の実施の形態に係る通行制御装置の構成を概略的に示すものである。この通行制御装置は、たとえば、重要施設（セキュリティ重視の部屋など）への入退室管理を行なうもので、利用者（通行者）の顔画像を認識して、その認識結果に基づき重要施設の入退室用ドアの開閉制御を行なうものであり、カメラ１０１、照明部１０２、入出力部１０３、処理部１０４、および、認識部１０９の認識結果に応じて重要施設２０１の入退室用ドア２０２の開閉制御を行なう通行制御手段としてのドア制御部１１３から構成されている。
なお、図７において、ドア制御部１１３以外は図１の人物認識装置と同じ構成であるので、同一符号を付して、その説明は省略する。

認識部１０９は、認識対象者１００が本人であると判定（照合成功と判定）した場合、ドア制御部１１３に「ドア開」の信号を出力し、認識対象者１００が本人でないと判定（非照合成功と判定）した場合、ドア制御部１１３に「ドア閉」の信号を出力する。

ドア制御部１１３は、認識部１０９から「ドア開」の信号を受取ると、入退室用ドア２０２を開状態に制御して、認識対象者（この場合は通行者）１００の入室を許可し、「ドア閉」の信号を受取ると、入退室用ドア２０２を閉状態に保持して、通行者１００の入室を拒否する。
このように、第３の実施の形態によれば、第１の実施の形態で説明した人物認識装置を用いて通行者の通行を制御することができる。

なお、上記第３の実施の形態では、代表として、第１の実施の形態で説明した人物認識装置を適用した場合について説明したが、第２の実施の形態で説明した人物認識装置を適用することも可能である。第２の実施の形態で説明した人物認識装置を適用した場合を第４の実施の形態としてその構成を図８に示す。

本発明の第１の実施の形態に係る人物認識装置の構成を概略的に示すブロック図。 要部の構成を模式的に示す構成図。 動作を説明するためのフローチャート。 顔画像の表示例を示す図。 顔画像の他の表示例を示す図。 本発明の第２の実施の形態に係る人物認識装置の構成を概略的に示すブロック図。 本発明の第３の実施の形態に係る通行制御装置の構成を概略的に示すブロック図。 本発明の第４の実施の形態に係る通行制御装置の構成を概略的に示すブロック図。

符号の説明

１００…認識対象者（人物、通行者）、１０１…カメラ（画像入力手段）、１０２…照明部（照明手段）、１０３…入出力部（入力手段、表示手段）、１０４…処理部、１０５…画像入力部（画像入力手段）、１０６…顔検出部（特徴抽出手段）、１０７…特徴抽出部（特徴抽出手段）、１０８…辞書情報記憶部（辞書記憶手段）、１０９…認識部（認識手段）、１１０…制御部（制御手段）、１１１…補助器具、１１２…履歴情報記憶部（履歴情報記憶手段）、１１３…ドア制御部（通行制御手段）、２０１…重要施設、２０２…入退室用ドア。

Claims (8)

1. 認識対象となる人物の顔画像を入力する画像入力手段と、
   この画像入力手段により入力された顔画像から当該人物固有の顔の特徴情報を抽出する特徴抽出手段と、
   この特徴抽出手段により抽出された顔の特徴情報を辞書情報として記憶するとともに、この辞書情報と対応させて当該特徴情報の抽出に用いた前記画像入力手段により入力された顔画像を記憶する辞書記憶手段と、
   前記特徴抽出手段により抽出された顔の特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより当該人物を認識する認識手段と、
   この認識手段による認識時、その認識に用いた辞書情報と対応する顔画像を前記辞書記憶手段から読出して、当該認識に用いた前記画像入力手段により入力された顔画像とともに表示する表示手段と、
   を具備したことを特徴とする人物認識装置。
2. 認識対象となる人物の顔画像を入力する画像入力手段と、
   この画像入力手段により入力された顔画像から当該人物固有の顔の特徴情報を抽出する特徴抽出手段と、
   この特徴抽出手段により抽出された顔の特徴情報を辞書情報として記憶する辞書記憶手段と、
   前記特徴抽出手段により抽出された顔の特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより当該人物を認識する認識手段と、
   この認識手段による認識時、その認識に用いた前記画像入力手段により入力された顔画像を履歴情報として記憶する履歴情報記憶手段と、
   前記認識手段による認識時、当該人物に対応する前回認識時またはそれ以前の認識時の顔画像を前記履歴情報記憶手段から読出して、当該認識に用いた前記画像入力手段により入力された顔画像とともに表示する表示手段と、
   を具備したことを特徴とする人物認識装置。
3. 前記表示手段により表示する当該人物に対応する前回認識時またはそれ以前の認識時の顔画像とは、当該人物が本人であると認識されたときの顔画像であることを特徴とする請求項２記載の人物認識装置。
4. 前記表示手段は、２つの顔画像を並べて表示することを特徴とする請求項１または請求項２記載の人物認識装置。
5. 前記表示手段は、２つの顔画像を重ねて表示することを特徴とする請求項１または請求項２記載の人物認識装置。
6. 画像入力手段の近傍に顔画像を入力する人物の顔位置を一定にするための補助器具をさらに具備したことを特徴とする請求項１または請求項２記載の人物認識装置。
7. 照合対象となる通行者の顔画像を入力する画像入力手段と、
   この画像入力手段により入力された顔画像から当該通行者固有の顔の特徴情報を抽出する特徴抽出手段と、
   この特徴抽出手段により抽出された顔の特徴情報を辞書情報として記憶するとともに、この辞書情報と対応させて当該特徴情報の抽出に用いた前記画像入力手段により入力された顔画像を記憶する辞書記憶手段と、
   前記特徴抽出手段により抽出された顔の特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより当該通行者を認識する認識手段と、
   この認識手段による認識時、その認識に用いた辞書情報と対応する顔画像を前記辞書記憶手段から読出して、当該認識に用いた前記画像入力手段により入力された顔画像とともに表示する表示手段と、
   前記認識手段の認識結果に基づき当該通行者の通行を制御する通行制御手段と、
   を具備したことを特徴とする通行制御装置。
8. 認識対象となる通行者の顔画像を入力する画像入力手段と、
   この画像入力手段により入力された顔画像から当該通行者固有の顔の特徴情報を抽出する特徴抽出手段と、
   この特徴抽出手段により抽出された顔の特徴情報を辞書情報として記憶する辞書記憶手段と、
   前記特徴抽出手段により抽出された顔の特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより当該通行者を認識する認識手段と、
   この認識手段による認識時、その認識に用いた前記画像入力手段により入力された顔画像を履歴情報として記憶する履歴情報記憶手段と、
   前記認識手段による認識時、当該人物に対応する前回認識時またはそれ以前の認識時の顔画像を前記履歴情報記憶手段から読出して、当該認識に用いた前記画像入力手段により入力された顔画像とともに表示する表示手段と、
   前記認識手段の認識結果に基づき当該通行者の通行を制御する通行制御手段と、
   を具備したことを特徴とする通行制御装置。

Images