JPH06259534A

JPH06259534A - 人物認証装置

Info

Publication number: JPH06259534A
Application number: JP5043026A
Authority: JP
Inventors: Akihiko Sugikawa; 明彦杉川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1993-03-03
Filing date: 1993-03-03
Publication date: 1994-09-16

Abstract

(57)【要約】【目的】頭の姿勢、表情の影響により認証精度の低下を
なくし、更に有効フレーム判定のための特徴量の計測精
度を向上させる人物認証装置を提供すること。【構成】画像データを入力する手段（１）と、画像デー
タから顔領域を検出する手段（２）と、顔領域から特徴
量を検出する手段（３）と、特徴量を基準値と比較する
ことにより有効か否かを判定する手段（４）と、有効と
判定された特徴量を複数フレーム分蓄える手段（６）
と、複数フレーム分の特徴量に演算を施こすことにより
認証用特徴量を得る手段（７）と、認証用特徴量を予め
記憶された顔特徴量と比較することにより認証を行なう
手段（８）とを備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、人物の顔画像から特徴
量を抽出して認証を行なう人物認証装置に関する。

【０００２】

【従来の技術】従来の人物認証装置においては、認証精
度の向上のために複数の画像データを用いて、認証にふ
さわしい画像データから特徴量を検出することを特徴と
している。図１１は従来装置のブロック図を示してい
る。ここでは特徴量検出部３であらかじめ決められた特
徴量の検出を行ない、その値を有効フレーム判定部４で
判定基準値記録部１０の各値と比較することにより、決
められた条件を満たす画像の選択をおこなう。そして、
画像があらかじめ決められた条件を満たす場合は、認証
用の特徴量を検出して人物の認証を行ない、また満たさ
ない場合は次の画像データの有効判定を行なう人物認証
装置である。

【０００３】画像選択の条件は、撮影条件、頭の姿勢、
表情を定量的に計測し、その値が決められた条件あるい
は、その値を用いた演算結果が決められた条件を満たす
かどうかである。

【０００４】例えば、頭の姿勢に関して正面顔を定義
し、あらかじめ決められた特徴量に対して演算を行なう
ことにより画像データの有効判定を行なう。頭の姿勢
は、図１２に示す３つの動きに分解した。図１２のＡ軸
に関しては、図１３に示す口の中心から両ほほまでの距
離Ｄ１とＤ２を求め、比較することにより回転を検出で
きる。Ｂ軸に関しては、図１３に示す左右の目の中心の
高さの位置を比較することにより検出できる。しかし、
Ｃ軸の方向の動きは、１枚の画像データからは判定でき
ず、この方向の動きにより認証精度に影響を及ぼす。

【０００５】あるいは、目の開閉、口の開閉の状態は、
目や口に関する特徴量の各値に最大値、最低値を設定
し、その範囲内かどうかで有効画像データの判定を行な
った。しかし、有効範囲が広いため判定の精度が十分で
はなく、認証に影響を及ぼした。このように、従来装置
では正確に有効な画像データが検出できない状態があ
り、認証精度が低下するという欠点が有った。

【０００６】

【発明が解決しようとする課題】上述した様に従来装置
においては、有効と判定された１枚の画像データの特徴
量からでは、頭の姿勢、表情の影響をなくすことが困難
であり、認証精度が低下するという欠点が有った。

【０００７】本発明の目的は、頭の姿勢、表情の影響に
より生じる認証精度の低下をなくし、更に有効フレーム
判定のための特徴量の計測精度を向上させる人物認証装
置を提供することにある。

【０００８】

【課題を解決するための手段】本発明は、人物認証を行
なうための画像データをフレーム単位で入力する手段
と、前記画像データから顔領域を検出する手段と、前記
顔領域から特徴量を検出する手段と、前記特徴量を基準
値と比較することにより該特徴量が有効か否かを判定す
る手段と、有効と判定された特徴量を複数フレーム分蓄
える手段と、前記複数フレーム分の特徴量に演算を施こ
すことにより認証用特徴量を得る手段と、前記認証用特
徴量を予め記憶された顔特徴量と比較することにより当
該人物の認証を行なう手段とを具備したことを特徴とす
るものである。

【０００９】更に本発明は、人物認証を行なうための画
像データをフレーム単位で入力する手段と、前記画像デ
ータから顔領域を検出する手段と、前記顔領域から特徴
量を検出する手段と、前記特徴量を基準値と比較するこ
とにより該特徴量が有効か否かを判定する手段と、有効
と判定された特徴量を複数フレーム分蓄える手段と、前
記複数フレーム分の特徴量に演算を施こすことにより前
記基準値を変更する手段と、前記顔領域から検出された
特徴量を変更された基準値と比較することにより該特徴
量が有効か否かを判定する手段と、有効と判定された特
徴量を予め記憶された顔特徴量と比較することにより当
該人物の認証を行なう手段とを具備したことを特徴とす
るものである。

【００１０】

【作用】本発明では、有効フレーム判定により得られた
画像データの特徴量を、決められた枚数分（複数フレー
ム分）記録しておき、この値に対して演算を行ない、得
られた結果を認証に使用している。

【００１１】または、得られた演算結果を用いて有効フ
レーム判定用の基準値の変更を行ない、新しい条件を満
たす画像データを選択することにより認証精度の向上を
行なう。

【００１２】あるいは、新しい基準値により選択された
画像データの特徴量と決められた枚数分記録し、あらか
じめ決められた演算を行なう事により認証用の特徴量を
得る事により認証精度の向上を行なっている。このよう
な処理を行なう事により、頭の姿勢の変動や表情の変化
により認証精度の低下がなく、特徴量の検出精度の向上
が期待できる装置を提供できる。

【００１３】

【実施例】以下、本発明の実施例を図面を参照して説明
する。図１は、本発明の第１の実施例の構成を示すブロ
ック図である。画像データ入力部１は、カメラから入力
された信号をディジタル信号に変換し、決められた信号
フォーマット（輝度信号、色信号等）に変換を行なう。
顔領域検出部２は、色信号を基にして画像データの中か
ら顔領域の検出を行なう。

【００１４】特徴量は検出部３は、顔領域を調べ、エッ
ジ情報を用いて図２に示す顔の特徴点の位置を検出し、
図３に示す各特徴点の位置情報、大きさ、特徴点の距離
のデータを求め有効フレーム判定部４に送る。

【００１５】有効フレーム判定部４では、特徴量検出部
３からのデータを用いてあらかじめ決められた演算を行
ない、その結果を判定基準値記録部１０の値と比較し、
入力された画像が決められた条件を満たした画像である
かの判定を、データの比較の結果により行ない、判定結
果信号を制御部５に送る。

【００１６】制御部５は、判定結果が無効であれば、入
力指示信号を画像入力部１に送り、有効であれば、制御
部５で記録している有効画像データの枚数を増やし、有
効特徴量記録部６に特徴量記録指示信号を送り、画像入
力部１に入力指示信号を送る。また、有効画像データの
枚数が、あらかじめ決められた枚数に達したなら、認証
用特徴量演算部７に演算開始指示信号を送る。また、制
御部５は、ＣＰＵやＲＯＭ、ＲＡＭ等で構成され、あら
かじめ決められた処理手順に従うことによりこの装置を
動かすための信号を発生させる。有効特徴量記録部６
は、あらかじめ決められた複数フレーム分の特徴データ
を保持する手段である。

【００１７】認証用特徴量演算部７では、有効特徴量記
録部６に保持されている有効特徴量（各特徴の大きさ、
位置関係等のデータ）を用いて、あらかじめ決められた
演算に基づき認証用特徴ベクトルを求め、結果を認証部
８に送る。

【００１８】演算の例として、各値の決められた枚数分
の値の平均値を求めその結果を認証用のベクトルとすれ
ば、計測誤差の影響を抑圧することができる。あるい
は、得られた値を用いて、顔領域から画像データの抽出
を行ない、その値をＤＦＦＴ等で周波数軸上に変換を行
ない、その値を認証用ベクトルとするシステムも考えら
れる。

【００１９】ここで、表情の影響を抑圧する演算の例
を、目の大きさの変化を表した図４、有効特徴量として
有効特徴量記録部６に記録された目の大きさの変化を表
した図５、有効特徴量のヒストグラムを示す図６を用い
て説明する。

【００２０】図４は、瞬きを行なったときの目の大きさ
が時間と共に変化する様子を表した図であり、縦軸は目
の大きさを、横軸は時間の変化を示す。値Ｈ１は、目の
本当の大きさ、Ｈ２およびＨ３は判定用基準値である。
時間ｔ１からｔ２の間は、判定用基準値を満たしていな
いので、有効特徴量として、有効特徴量記録部６には記
録されず、それ以外の値は、有効な値として有効特徴量
記録部６に記録される。

【００２１】図５は、有効特徴量として、有効特徴量記
録部６に記録された値を示した図であり、縦軸は目の大
きさを、横軸は時間の変化を示す。記録された値と本当
の値Ｈ１と比較すると、誤差が大きい点が多数含まれて
いる。また、点Ａは計測誤差であり、本来の値より大き
くなっている。このデータを元に目の大きさに関するヒ
ストグラムを作成する。

【００２２】図６は、有効特徴量記録部６に記録された
特徴量のヒストグラムであり、縦軸は度数を、横軸は目
の大きさの値を示す。このヒストグラムの度数を大きい
方から調べあらかじめ決められた大きさを持つ値を目の
大きさと定義する。あるいは、この値の前後の値を満た
すデータのみ平均値を求めることにより、計測誤差を少
なくした計測値を得る。

【００２３】上述した演算を認証用特徴量演算部７で行
なうことにより、認証精度の向上が期待できる。また、
以下に述べる場合は、上述の演算は、基準値演算部１１
で行ない、この結果を有効フレーム判定部４に送る。

【００２４】認証部８では、認証ベクトルと、顔特徴量
記録部９に記録されている基準値との演算を行ない、演
算結果が決められた値以下なら認証を行ない、制御部５
に認証結果信号を送り結果を出力する。

【００２５】演算結果が決められた値以上である場合
は、認証無効信号を制御部５に送る。制御部５は、有効
画像枚数の値を０にもどし、有効特徴量記録部６のデー
タを破棄し、画像入力部１に新たな画像データを得るた
めの入力指示信号を送る。

【００２６】以上の様に第１の実施例によれば、顔領域
から目や口の大きさに関して有効な特徴量を複数フレー
ム分検出し、これら各特徴量の平均値を認証用特徴量と
しているため、従来装置と比べて認証率の精度を向上さ
せることができる。図７は本発明の第２の実施例の構成
を示すブロック図である。ここでは第１の実施例と異な
る点を処理手順に従って説明する。

【００２７】基準値演算１１は、有効特徴量記録部６に
記録された複数フレーム分の有効特徴量に対して演算を
行ない、その結果を有効フレーム判定部４に送る。制御
部５は、有効フレーム判定部４に、判定基準値変更信号
を送る。有効フレーム判定部４は、有効フレーム判定用
の基準値をあらかじめ決められた手段に従い、変更を行
なう。制御部５は、有効フレーム枚数を０にし、画像デ
ータ入力部１に入力指示信号を送る。

【００２８】以後、有効フレーム判定は、判定基準値記
録部１０に記録された先の基準値ではなく、新しい基準
値を用いて行ない、この値を満たす画像データの選択を
行ない、選択された画像データの特徴量のみから認証ベ
クトルを求め、認証を行なう。ここで従来例で問題とな
った図１２のＣ軸についての回転の検出を行なうアルゴ
リズムを、図８を用いて示す。

【００２９】画像入力装置は、３次元の物体が２次元に
投影された状態の画像データを入力しており、計測され
る高さ方向の値は、２次元に投影された物体の長さの計
測している。それゆえ、実際の長さをＬとすると、計測
されるみかけの値Ｌ’は、物体が垂直方向となる角度を
θとすると次の式で現せる。Ｌ’ ＝ＬＣＯＳθ

【００３０】この式より、見かけの長さが最大の時、頭
が地面に対して垂直の時（Ｚ＝０）となる。故に、Ｃ軸
の回転は、有効特徴量記録部６の、図３に示す鼻長の値
から最大値を検出すれば、Ｃ軸に関して回転していない
ときの数値が得られる。

【００３１】図９は認証対象となっている人物の鼻長デ
ータの変化の様子を示す図である。ここでは人物が図５
のＣ軸方向に頭を回転させることにより、鼻の長さに対
応したデータが時々刻々変化している様子が記録されて
いる。この中で最大値がこの人物が正面を正確に向いた
時の鼻の長さであるとみなし、この最大値のみを検出す
る。そして、この最大値を該人物の有効フレームを判定
するときの真の鼻の長さとして、基準値（一般の鼻の長
さに関するもの）を変更する。従って、これ以降は新し
い基準値より、該人物が正面を向いた時のみの画像デー
タが有効フレームとして選択されることになる。

【００３２】つまりこの値を有効フレーム判定部４の新
しい基準値に設定しこの条件を満たした画像データを選
択すれば、Ｃ軸に関して回転していない画像データが得
られる。この時の画像データの特徴量を、認証ベクトル
とし、認証部８で認証を行なうことにより、Ｃ軸方向の
回転の影響を受けずに認証を行なう装置が提供できる。
図１０は、本発明の第３の実施例の構成を示すブロック
図である。第１，第２の実施例と異なる点を処理手順に
従い説明する。第２の実施例と同様に、基準値演算部１
１において有効な特徴量に対して演算を行ない新しい判
定用の基準値を得る。有効フレーム判定部４は、新しい
基準値を満たす画像フレームの選択を行なう。

【００３３】制御部５は、有効フレーム判定部４から、
有効判定の信号を受け取れば、有効特徴量記録部６に記
録指示信号を送り、有効フレームの枚数を一枚増やし、
画像データ入力部１に入力指示信号を送る。また、有効
フレームが規定の枚数に達すると、認証用特徴量演算部
７に演算開始信号を送る。

【００３４】認証用特徴量演算７では、規定の枚数に達
した有効フレームの各特徴量から平均値を計算し、これ
を認証用特徴量とする。そして認証部８では予め記憶さ
れた顔特徴量と比較することにより、認証結果を得る。

【００３５】つまり第３の実施例は、第１の実施例にお
ける、複数フレーム分の有効特徴量から認証用特徴量を
求る技術と、第２の実施例における、複数フレーム分の
有効特徴量から基準値を変更する技術を組み合せたもの
である。従ってこの装置を用いれば、Ｃ軸に関して回転
しないで、目や口の状態が良い画像データが選択でき、
かつ精度の良い特徴量が得られるので、従来の装置と比
較して認証率の向上した認証装置が提供できる。

【００３６】

【発明の効果】本発明の人物認証装置によれば、使用者
の姿勢や表情の変化に対しても特徴量の検出が精度良く
行なわれる。従って今後のセキュリティシステム等にお
いて各使用者毎の認証率が向上するという効果が得られ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施例の全体構成を示す図。

【図２】顔の特徴点を示す図。

【図３】顔の特徴量を示す図。

【図４】目の大きさが時間と共に変化した様子を示す
図。

【図５】有効特徴量として目の大きさが時間と共に変
化した様子を示す図。

【図６】目の大きさの時間変化に対するヒストグラム
を示す図。

【図７】本発明の第２の実施例の全体構成を示す図。

【図８】頭部のＣ軸方向の回転を求めるためのパラメ
ータを示す図。

【図９】頭部のＣ軸方向の回転に伴なう鼻長の変化の
様子を示す図。

【図１０】本発明の第３の実施例の全体構成を示す
図。

【図１１】従来例の全体構成を示す図。

【図１２】頭部の３方向の回転を示す図。

【図１３】頭部のＡ軸・Ｂ軸方向の回転を求めるため
のパラメータを示す図。

【符号の説明】

１…画像データ入力部２…顔領域検出部３…特徴量検出部４…有効フレーム判定部５…制御部６…有効特徴量記録部７…認証用特徴量演算部８…認証部９…顔特徴量記録部１０…判定基準値記録部１１…基準値演算部

Claims

【特許請求の範囲】

【請求項１】人物認証を行なうための画像データをフレ
ーム単位で入力する手段と、前記画像データから顔領域
を検出する手段と、前記顔領域から特徴量を検出する手
段と、前記特徴量を基準値と比較することにより該特徴
量が有効か否かを判定する手段と、有効と判定された特
徴量を複数フレーム分蓄える手段と、前記複数フレーム
分の特徴量に演算を施こすことにより認証用特徴量を得
る手段と、前記認証用特徴量を予め記憶された顔特徴量
と比較することにより当該人物の認証を行なう手段とを
具備したことを特徴とする人物認証装置。
【請求項２】人物認証を行なうための画像データをフレ
ーム単位で入力する手段と、前記画像データから顔領域
を検出する手段と、前記顔領域から特徴量を検出する手
段と、前記特徴量を基準値と比較することにより該特徴
量が有効か否かを判定する手段と、有効と判定された特
徴量を複数フレーム分蓄える手段と、前記複数フレーム
分の特徴量に演算を施こすことにより前記基準値を変更
する手段と、前記顔領域から検出された特徴量を変更さ
れた基準値と比較することにより該特徴量が有効か否か
を判定する手段と、有効と判定された特徴量を予め記憶
された顔特徴量と比較することにより当該人物の認証を
行なう手段とを具備したことを特徴とする人物認証装
置。
【請求項３】前記変更された基準値と比較して有効と判
定された特徴量を複数フレーム分蓄えて、これら特徴量
に演算を施こすことにより、認証用特徴量を得る手段を
更に備え、前記認証を行なう手段は前記認証用特徴量と
予め記憶された顔特徴量とを比較するものである請求項
２記載の人物認証装置。