JP3040466B2 - 画像処理方法 - Google Patents

Description

【発明の詳細な説明】 この発明は画像処理方法に関し、特にそのような方法
を顔のような目的物の画像の認識及びコード化に使用す
る方法に関する。

目的物の認識に十分有効な１つの分野は、建造物での
制限された出入り、又は資金転送の保安に使用される自
動同一性確認技術で、例えばUK出願GB9005190.5などが
その方法である。このような資金転送作業では、ユーザ
は機械で読取れるデータを含むカードを所持することが
多く、そのデータは磁気的、電気的、又は光学的に記録
されている。顔認識の１つの特定応用には、カードに正
しいユーザの顔認識データをカードに記録して、権限の
ない人物によるそのようなカードの使用を防ぐものがあ
る。この場合、そのデータを読出し、カメラを使用して
カードを使用しようとしている人物の顔画像を得、その
画像を分析し、その分析結果は正しいユーザのカードに
記録されたデータと比較される。

そのようなカメラの格納容量は、一般に数百バイト
で、これは画素（pixel）のフレームとして画像を認識
するために必要なメモリ空間より遥かに少ない。従っ
て、少ない数のメモリバイトを使用して画像を特徴付け
る画像処理技術を使用する必要がある。

少ないバイト数で必要な画像を特徴付ける画像処理技
術の他の応用は、US特許4841575として発行された以前
の我々の出願の中に開示されているような、ハイブリッ
ドビデオコーディング技術（hybrid video coding t
echniques）である。この出願及び同様な他の出願にお
いては、検知できる画像の重要部分の位置が発見され、
利用できるコード化データが好適にそのような部分に割
り付けられる。

一般に知られているその様な画像処理技術は次のステ
ップを含む。即ち、画像内で少なくとも１つの所定特徴
の位置を発見し；前記特徴を各々示す前記画像から前記
画像データを抽出し；前記特徴画像データの位置を示す
特徴ベクトルを各特徴についてＮ次元空間で計算する。
前記空間は複数の参照ベクトルによって定義され、各参
照ベクトルは類似する特徴の画像の練習セット（traini
ng set）の固有ベクトル（eigenvector）である。

カーフネンローブ変換（Karhunen−Loebe transfor
m:KLT）は様々の応用に使用される良く知られた信号処
理技術である。この変換を人の顔を認識するために適用
することが提案された（Sirovitch and Kirby,J.Opt.
Soc.Am.A vol ４ no 3,pp519〜524“人の顔の特徴
描写に使用する低次元処理（Low Dimensional Proced
ure for the Characterisation of Human face
s）"and IEEE Trans on Pattern Analysis and
Machine Intelligence Vol 12,no １ pp103〜108
“人の顔の特徴描写に関するカーフネンローブ処理の応
用（Application of the Karhunen−Loeve Procedu
re for the Characterisation of Human Face
s）”）これらの技術では、参照母集団の中の複数のメ
ンバーの実質的に顔の全体画像が処理され、Ｎ個のeige
nvectorのセットを獲得する。各ベクトルはピクチャー
に類似する外見［固有ピクチャー（eigen−pictures）
又は誇張画（caricatures）］を有し、それらが記録さ
れた。次の認識フェーズでは、与えられたテスト顔面画
像（これは参照母集団に属する必要はない）は、その画
像ベクトルによって、固有ベクトルにより定義されるＮ
次元空間で特徴付けられる。画像ベクトル又はそれらか
ら得られたデータと、認識データとを比較することで、
確認信号をその比較結果に基づいて発生できる。

しかし、人が人間の顔を容易に忘れることはないのに
比べ、機械にとってこの仕事は容易なことではない。な
ぜなら、人の目や口は表情によって変化するので、顔面
画像処理においては、人の顔の外見は大幅に変化するか
らである。

本発明の第１の特徴によれば、クレーム１の前文に従
う画像処理方法は、各特徴の画像データを修正して、各
特徴の形状を正規化することで、前記特徴の所定標準形
状からのずれを減少するステップを含み、このステップ
は対応する特徴ベクトルを計算する前に実行される。

我々は、例えば顔面画像の認識精度は、人の変化する
顔の表情の影響を減少するための修正ステップにより大
幅に向上できることを発見した。

例えば顔面画像の場合、所定の特徴は、顔全体又は鼻
や口など顔の一部である。所望であれば幾つかの特徴部
分の位置が発見され、固有ベクトルの対応する空間内の
ベクトルとして特徴付けられる。

出願人によって最初に着想された用途は人の顔面画像
の領域で、その考察及び実施例はそのような画像に関し
ているが、本発明は人の顔以外の対象物の画像処理に応
用できることは、当業者に容易に判断できることであ
る。

本発明は又、より少ない固有ピクチャー（eigen−pic
ture）の使用を可能とし、従って格納又は転送容量を節
約できる。

更に、特徴の形状を標準（地勢学的の等価の）特徴形
状に向かって修正することで、特徴の位置検出精度が向
上する。

類似する特徴画像の練習セットは修正され、画像の各
練習セットの形状を正規化することで、前記特徴の所定
標準形状からの逸脱を減少する。このステップは画像の
練習セットの固有ベクトルを計算する前に行われる。

この方法は対象物の認識にのみ使用されるのではな
く、ハイブリッドコード化技術としても使用できる。こ
のコード化技術では、特徴の位置データ及び特徴を示す
データ（Ｎ次元ベクトル）は受信機に転送され、そこで
画像ベクトルに対応する固有ピクチャーを組み合わせる
ことによってアッセンブルされる。

固有ピクチャーは、互いに関係する画像セット内の変
化を抽出し、そのような画像及びそれに類似する他の画
像を示すのに使用できる手段を提供する。例えば、目の
画像は‘最良’座標系の‘固有目（eigen−eyes）’の
用語を使用して経済的に表現できる。

固有ピクチャーはそれ自体、第１画像の練習セットか
ら決定され、最初の固有ピクチャーが画像間の最大変化
を具体化し、次の固有ピクチャーが単純減少変化を有す
るように形成される。次にそのセット内の画像は、次に
示す基本関数を効果的に形成する固有ピクチャーを用い
てシリーズ（series）として表現できる。

Ｉ＝Ｍ＋w₁P₁＋w₂P₂＋・・・＋w_mP_m ここで、Ｍ＝画像の全練習セットの平均 w_i＝ｉ番目の固有ピクチャーの成分 P_i＝ｍの中のｉ番目の固有ピクチャー Ｉ＝原画像 上記シリーズを短縮しても、与えられた数の固有ピク
チャーについて、二乗平均エラー（mean−square−erro
r）に関して、依然として最良の表現を有している。

固有ベクトルの基本は、直交する方向に従属する最大
変化をそれらベクトルが示すように選択される。つま
り、各練習画像はｎ次元空間内の１点として考えられ
る。ここで‘n'は複数の画素内の練習画像のサイズであ
る。固有ピクチャー・ベクトルは生成されたクラスター
（cluster）を介して、最大変化線上になるように選択
される。

練習画像I₁、…、I_mが与えられると、我々は最初に平
均画像Ｍを形成し、そして差画像（a.k.a.‘誇張画像
（caricatures）’）D_i＝I_i−Ｍを形成する。

第１パラグラフ（前述の）は我々の固有ピクチャー・
ベクトルP_kを次のように選択するのと等価である。

は最大になる ここでP_i ^TP_k＝0,i＜ｋ 前記P_kは実際には、非常に大きな同時変化マトリクス
（covariance matrix）で、その解は難解で扱いにく
い。しかし、この問題はマトリクスＬを形成することに
より、より扱いやすい形式にできる。ここで、 L_ij＝D_i ^TD_j そしてＬの固有ベクトルV_kについて解を得る。

用語‘表示ベクトル（representative vector）’
は、成分（w_i）がシリーズ内の各固有ピクチャー（P_i）
に適用されるファクターであるベクトルを参照するのに
使用された。即ち、 Ω＝（w₁,w₂,・・・,w_m）^Ｔ 画像Ｉに等しい表示ベクトルは、各固有ピクチャーを有
するＩの誇張画像をとることにより形成される。

w_i＝（Ｉ−Ｍ）^TP_i,for1＋ｉｍ これが固有ピクチャーを生成するのに使用された練習
セットの外側からとられた画像を表現るようになると
き、ある仮定がなされる。即ち、画像は練習セット内の
画像に十分‘類似’しており、それにより同一の固有ピ
クチャーによって良く表現されると仮定される。

２画像の表現はそれらの間のユークリッド距離を計算
することで比較できる。

d_ij＝／Ω_ｉ−Ω_j/ 従って、認識は簡単なスレショルドを用いて達成さ
れ、d_ij＜Ｔは認識されたことを意味し、又はd_ijは滑る
確信スケール（sliding confidence scale）として使
用できる。

変形できるテンプレート（deformable template）は
パラメトリックに（parametricaly）定義された幾何学
的テンプレートからなる。これらテンプレートは画像と
相互作用して、対応する画像特徴に最も適合するテンプ
レートを提供する。例えば、目に使用するテンプレート
は紅彩（iris）の円形状及び目と瞼の境界領域の２つの
放物線などからなり、サイズ、形状及び位置パラメータ
は可変である。

エネルギ関数が、テンプレートの境界部分に対する幾
つかの画像の属性を統合することで形成され、パラメー
タはこの関数を最小にするときに繰り返し更新さる。こ
れは与えられた画像内で最も適合する方向に向かってテ
ンプレートを移動させる効果がある。

少なくとも１つの所定の特徴のポジション画像内の位
置は、位置の荒い概算を提供する第１の技術、及びその
荒い概算を向上させるための第２の技術を使用できる。
第２の技術は変形できるテンプレート技術などを好適に
含む。

変形できるテンプレート技術は、著しいピークや変
動、及びエッジのある生の画像自体の他に、濾波された
画像を必要とする。適切に処理された画像は形態フィル
タ（morphological filter）を使用して得られ、その
段階を以下に示す。

形態フィルタは非線形画像濾波、ノイズ圧縮、エッジ
検出、スケルトナイゼーション（skeletonization）、
形状認識など広い範囲の濾波機能を提供できる。これら
全ての機能は浸食（erosion）及び拡張（dilation）の
用語で示される２つの基本的な動作の簡単な組み合わせ
によって提供できる。

グレースケール（greyscale）画像の浸食は明るいエ
リアが収縮する原因となり、一方拡張は明るいエリアが
広がる原因となる。拡張の前の浸食によって、明るいピ
ークは消失する（‘オープン’と呼ばれる演算子）。こ
れとは逆に、浸食の前の拡張によって、暗い窪み部分が
満たされる（‘クローズ’と呼ばれる演算子）。更に詳
細な説明は、Maragos P,（1987）による“形態的画像
処理及び分析の前段指導（Tutorial on Advances in
Marphological Image Prosessing and Analysi
s）",Optical Engineering.Vol 26.No.7を参照のこ
と。

本発明が関係する種類の画像処理システムにおいて、
画像内の頭や顔などの目標物の位置を、処理の前に検出
することが必要な場合が良くある。

一般にこれはエッジ検出によって達成されるが、従来
のエッジ検出技術は純粋にローカルである。即ちエッジ
は画像強度に傾斜が発生したときに常に示される。従っ
て完全に閉じたエッジを一般に形成しないで（つまり、
頭の回りのループを形成する）頭の全アウトライン、又
は部分的なアウトラインを構成する複数のエッジを生成
する。

我々は適応性輪郭モデル（adaptive contour mode
l）、つまり“スネーク（snake）”技術はこの目的に特
に適していることを発見した。

本発明の物理的実施例を説明する前に、前述の‘スネ
ーク’信号処理技術を更に詳細にこれより説明する。

Kass et al［Kass m,Witkin A,Terpozopoulus
d,“スネーク：動的輪郭線モデル（Snakes:Active con
tour Models）",International Journal of Comput
er Vision,321〜331,1988］によって発表されたスネー
クは、我々の視覚システムが行う後処理の幾つかを提供
するための方法である。スネークは両方のエッジに関係
する様々の特徴及び人間の視覚システムの中に組み込ま
れた（例えば連続性、滑らかさ、そして塞がれたエッジ
部分を充填するある程度の能力）。

スネークは（一般に閉じた）連続曲線で、画像内のエ
ッジに‘まとわり付く’ように、与えられた開始点から
動的に自らを配置する。ここで検討されるスネークの形
状は、断片的な多項式で表せられる複数の曲線からな
る。つまり一般にその曲線はＮ個のセグメント｛x
_i（ｓ）,y_i（ｓ）｝ｉ＝１、…、Ｎから構成される。こ
こでx_i（ｓ）及びy_i（ｓ）は各々パラメータｓ内の多項
式である。パラメータｓが変化するにつれて曲線は軌道
を外れる。

次にスネークはパラメトリック曲線ｕ（ｓ）＝（ｘ
（ｓ）,y（ｓ））として参照される。ここでｓは０と１
の間で変化すると仮定される。どんなパラメータを‘エ
ッジを抱く’スネークは持つべきであろうか。

スネークは画像によって‘駆動’されなければならな
い。つまり、スネークは画像内のエッジを検出して、自
らの位置をエッジに適合させることができなければなら
ない。この方法を達成する１つの方法は、スネークの長
さに沿った平均‘エッジ強度’（これは測定できる）を
最大にすることである。エッジ強度の測定値が画像点
（x,y）でＦ（x,y）≧０である場合、これは次に示す関
数が最大になるように、スネークｕ（ｓ）が選択された
と言える。

これは、スネークがそれらエッジを検出した場合に、
スネークが画像内のエッジに自らを変形させる傾向があ
ることを保証するが、スネークが最初の場所でそれらエ
ッジを発見したことは保証しない。ある画像が与えられ
ると、その関数は多数の局部的で僅かな静的問題を含む
であろう。それらの発見は‘力学’が生じる分野であ
る。

画像に適用されるエッジディテクターは主に薄いエッ
ジからなるエッジマップを生成する。これは、ラインの
数が少ないことは別として、エッジ強度関数が画像内の
殆どの場所で０となる傾向があることを意味する。その
結果、エッジからある程度離れたスネークはエッジに向
かって引き寄せられない。なぜなら、エッジ強度はスネ
ークの最初の位置で効果的に０であるからである。スネ
ークがエッジの影響を受けるようにするために、エッジ
画像はエッジの幅を広げるために、にじまされる。

凸部を有する物体の回りに弾力性のバンドが設けられ
ると、そのバンドは物体が収縮動作を妨げるようになる
まで収縮する。この点でバンドは物体の形にモールドさ
れ、従って境界部分を示す。ここでは２つの力が作用し
ている。第１はバンドが収縮しようとする自然な傾向を
提供する力であり、第２は物体により提供される反力で
ある。バンドはその伸縮により弾性エネルギを最小にす
るように収縮する。バンドがパラメトリック曲線ｕ
（ｓ）＝（ｘ（ｓ）,y（ｓ））で示されるならば、任意
の点ｓでの弾性エネルギは次式のように比例する。

つまり、エネルギは曲線がその点で伸縮した量の二乗
に比例する。その全長にわたる弾性エネルギは、制限即
ち物体が与えられると最小になる。従って、弾力性のあ
るバンドは曲線形状ｕ（ｓ）＝（ｘ（ｓ）,y（ｓ））を
仮定する。ここでｕ（ｓ）は次の関数を最小にする。

上式は物体の制限を受ける。閉じたスネークはアナロ
グ動作を有するのが望ましい。つまり、収縮する傾向を
有するが、画像内の物体によってその傾向が妨げられる
のが良い。この動作モデルを作るために、スネークに適
したパラメトリック曲線は、関数（２）が最小になるよ
うに選択される。更に作用項（１）が含まれると、スネ
ークはそれらエッジに向かって引き付けられるように、
‘物体を介して’収縮が妨げられる。又、元に戻ろうと
する‘弾力’が大きすぎなければ、凹部を有する物体の
中空部に吸引力がスネークを引き付けるようにする。

モデル化の困難なエッジの特徴の１つは、それらが見
えない場合の動作である。人が車とその車の前に立って
いる人を見る場合、塞がれている車のエッジの輪郭線を
画像化するのに困難は生じない。それらは人に対してど
ちらか一方の側の輪郭線の‘滑らかな’延長である。前
述の弾力性バンドによる方法が適用された場合、車が塞
がれているところでバンドは直線を形成するであろう
（なぜなら、バンドはエネルギを最小にしようとするの
で、長さはこのようになるのである）。しかし、バンド
がある程度堅いと（即ち、収縮性の棒によって表現され
るような曲りに対して抵抗がある）、それは画像の塞が
れた領域内に滑らかな曲線を形成しようとして、どちら
かの側の境界線の接線方向に伸びる。

再び収縮棒は、その弾性エネルギが最小になるよう
に、１つの形状を形成しようとする。曲がっているとき
の弾性エネルギーは棒の湾曲部に依存し、これが第２の
理論展開である。このタイプの動作に類似する動作を行
うスネークを助けるために、パラメトリック曲線ｕ
（ｓ）＝（ｘ（ｓ）,y（ｓ））は、それが次の関数を最
小にするように選択される。

これは疑似曲り（pseudo−bending）エネルギ項であ
る。勿論、スネークが堅すぎて作られていると、作用力
項（１）の動作の下では非常に曲がった輪郭線にそれを
従わせるのは困難であろう。

スネークの３つの望ましい特徴が区別された。３つす
べてをスネークに一度に組み込むために、スネークを示
すパラメトリク曲線ｕ（ｓ）＝（ｘ（ｓ）,y（ｓ））は
次の関数を最小にするように選択される。

ここで、α（ｓ）＞０及びβ（ｓ）≧０は、各々、ス
ネークが持つことになる堅さ及び収縮性の量である。こ
のスネーク法が成功したならば、これら３つのパラメー
タの正しいバランスは決定的であることは明白である。
堅すぎるとスネークは輪郭線に正確に抱き付かない。柔
らかすぎて閉じていると、スネークは輪郭線によって押
され、凹んだ領域では１点に収縮するか又は境界部から
離れることもある。作用項の前部にはマイナスの符号が
ある。なぜなら、−∫Ｆ（x,y）dsを最小にすることは
∫Ｆ（x,y）dsを最大にすることに等しいからである。

このままでは、関数（４）の最小化は僅かである。ス
ネークが閉じていなければ、解は１点［（ｘ（ｓ）,y
（ｓ）＝定数］に落ちる。この点はエッジ強度Ｆ（ｘ
（ｓ）,y（ｓ））を最小にするように選択される。なぜ
なら、物理的にスネークは弾性エネルギを最小にするた
めに２つのエンド点を一緒に引くようにするため１点に
収縮する。全体的な最小値は画像内のエッジ強度の最も
大きい点で達成される。スネークがそれを達成するのを
防ぐには、スネークのエンド位置をなんらかの方法で適
合させる必要がある。即ち、‘境界条件’が要求され
る。エンド点の位置を適合させること以上のことが必要
で、更に２つの条件が問題を解決するために必要である
ことが分かった。適当な条件は各エンド点に０の曲がり
を与えることである。

同様に、閉ループスネークに使用する全体的最小値
は、それが１点に収縮したときに生じる。しかし、適合
したエンドスネークとは対称的に、追加の境界条件は、
落ちた解を削除するために使用できない。この場合の落
ちた解は真の全体的最小値であろう。

明らかに理想解はスネークの初期位置の局部における
局部最小値を探すことである。実際に解の得られた問題
はこれより更に弱い。つぎのようにして曲線（ｓ）＝
（（ｓ），（ｓ））εH²［0,1］xH²［0,1］を発見
する。

ここでH²［0,1］は［0,1］上に定義される実数関数の
クラスを示し、これは‘有限エネルギ’を第２の理論展
開の内に持っている。つまり、第２の展開の二乗の整数
が存在する。［keller HB.Numerical Methods for
Two−Point Moundary Value Problems,Blaisdell,19
68］、そして▲Ｈ² ₀▼０［0,1］はH²［0,1］内にある関
数のクラスで、ｓ＝０及びｓ＝１のときに０である。最
小値の発見にこれがどのように関係しているかを理解す
るために、（ｓ）は局部最小値、及び（ｓ）＋εν
（ｓ）は同一境界条件（即ちν（０）＝ν（１）＝０）
を満足する最小値の辺りで変動すると考える。

明らかに、εの関数Ｉ（ε）＝Ｉ（ｓ）＋εν
（ｓ））は、ε＝０で最小である。従って、Ｉ（ε）の
展開はε＝０で０でなければならない。（５）の解は完
全に一般的なエッジ強度関数の最小値として保証されな
いが、解は実際に最小であることは分かっている。

変動の一般的な高等数学的検討によれば、問題（５）
は、解法の似ている次に示す他の問題に等しい。つま
り、次の一般的な一対の４次微分方程式を満足する曲線
（ｓ），（ｓ））εC⁴［0,1］xC⁴［0,1］を発見す
ることである。

境界条件と一緒にして、 （０），（０），（１），（１）が得られる
と この問題の陳述は固定エンドスネークの場合に関する
が、スネークが閉ループを形成する場合、前述の境界条
件は周期的条件と置換される。これら問題は両方とも有
限差（finite difference）を用いて容易に解くことが
できる。

有限差法は間隔［0,1］を長さｈ＝1/（Ｎ−１）のＮ
−１個の等しい副間隔（subintervals）に分解し、ノー
ド（nodes）のセットを定義することから始まる。

この方法では連続変数内の微分方程式（６）及び
（７）分離変数内の微分方程式のセットと置換すること
により、次に示す概算値を探す［Keller HB.,ibi
d.］。

（６）内の展開を点s_iでの差の概算によって置換する
と、 ここでα_ｉ＝α（s_i）及びβ_ｉ＝β（s_i）。同様に
（７）に対する差の概算が得られる。その微分方程式は
１つの間隔内の内部モデルにおいてのみ効力がある。そ
こでは範囲ＩからＮ内にあるインデックスが参照され
る。類似する項を一つにまとめると、（９）は次のよう
に表せる。

両方の微分方程式（６）及び（７）を分解して境界条
件を考慮すると、ｘ＝｛x_i｝及びｙ＝｛y_i｝の｛x_i｝及
び｛yi）｝への有限の差の概算は各々、次の代数学的等
式システムを満足する。

Kx＝ｆ（x,y）,Ky＝ａ（x,y） …（10） マトリクスＫの構造及び右手ベクトルｆ及びｇは、境
界条件に閉じた又は開いたスネークが使用されるか否か
に依存して異なる。スネークが閉じている場合、S₀、S
_-1,S_N+1及びS_N+2での架空のノードが導入され、微分方
程式（９）はノード0,1,N−１及びＮに適用される。

周期性はx₀＝x_N,x_-1＝x_N-1,x_N+1＝x₁及びx₂＝x_N+2を
示す。作用力内のこれらの条件を用いると、係数マトリ
クスは次のようになる。

そして右手側ベクトルは、 （f1,f2,…,f_N）^Ｔ 固定エンドスネークに関して、S₀及びS_N+1での架空ノ
ードが導入され、微分方程式（９）はノードS1及びS_N+1
に適用される。曲率０の境界条件を概算するために２つ
の追加微分方程式が導入される。

即ち、x₀−2x₁＋x₂＝０及びx_-1−2x_N＋x_N+1＝０これ
で係数マトリクスは、 そして右手側ベクトルは、 （f₂−（2a₂＋b₂）x₁,f₃−a₃x₁, ……f_N-3,f_N-2e_N-2x_N,f_N-1−（2e_N-1＋d_N-1）x_N）^Ｔ （７）に対応する微分方程式に関する右手側ベクトル
は同様にして得られる。

システム（10）は解く必要のある非線形等式のセット
を示す。係数マトリクスは対称形で、明らかなマトリク
スであり、固定エンドスネークに拘束される。周期的境
界条件を有する閉ループスネークに関して、直交から外
れた幾つかの項を除いて、拘束されるシステムは非線形
であるから、これは反復的に解かれる。実行される反復
は、 ここでγ＞０は安定化パラメータである。これは次のよ
うに書き直せる。

このシステムは各ｎについて解く必要がある。閉ルー
プスネークに関して、左手側のマトリクスは直接反転さ
せるのは困難である。なぜなら、主要の直交バンドの外
側の項はバンド構造を破壊するからである。一般に、係
数マトリクスＫはバンドされたマトリクスＢとバンドさ
れていないマトリクスＡの加算値に分解できる;K＝Ａ＋
Ｂ。固定エンドスネークに関して、マトリクスＡは０と
なる。そして等式システムが各ｎについて反復を実行す
ることにより解かれる。

マトリクス（Ｂ＋I/γ）はバンドマトリクスで、Chol
eskyファクターの積LL^Tとして表現できる［Johnson Re
iss,ibid］。システムは最初に次式を解くことにより各
段階で解かれる。

次に Choleskyは１回のみ実行すればよい。

モデルを基本とするコード化法は画像の移動するシー
ケンスをエンコードするために、情景物体の２−Ｄ又は
３−Ｄモデルを使用する。移動する物体の位置検出及び
追従は、このモデルに対して基本的に重要なものであ
る。ビデオ会議及びビデオ電話形式の情景は、一般的な
機械様式アルゴリズムに使用するのが難しい。なぜな
ら、人の髪の毛と背景の間の境界部にはしばしば低いコ
ントラスト、つまり‘ファジー’があるからである。適
応性輪郭線モデル即ち‘スネーク’は、物体の境界部の
位置検出及び追従ができるクラスの技術を形成する。こ
れらは自らを低いコントラストの境界部に適合でき、エ
ッジに関する局部的証拠が僅か又は全く無い境界部セグ
メント間を充填する。本明細書では画像内にある頭の境
界部を分離するスネーク、ならびにブロック動作の概算
とスネークを結合した技術：‘パワーアシスト（power
−asisted）’スネークの使用が検討される。

スネークは連続曲線（一般に閉じている）であって、
与えられた開始点から、画像内のエッジにまとわり付く
ように自らを動的に配置しようとする曲線である。‘閉
じた’スネーク及び‘固定エンド’スネークの両方に関
する詳細で完全な説明はWaite JB,Welsh WJの“スネ
ークを用いた頭部境界部の位置検出（Head Boundary
Location using Snakes）”（British telecom Tec
hnology Journal,Vol 8,No3,July 1990により与えら
れ、これは２つの相互作用の導入策、即ち有限要素及び
有限差を説明している。我々は有限差を用いて閉じたス
ネーク及び固定エンドスネークの両方を実施した。スネ
ークは頭と肩の周辺部で初期化され、これにより自らの
内部弾性力の下に収縮できる。画像から得られる力によ
っても作動する。この力は大きな空間定数を有するラプ
ラス演算子を使用して画像を最初に処理することで発生
される。この演算子の出力は滑らかな非線形関数を用い
て整流され修正される。この整流の結果、顔画像内の実
質的に重要な境界部に対応するように示された‘凹み
（valley）’の特徴が分離される；非線形関数は弱いエ
ッジに比べて強いエッジの重みを減少する。これはスネ
ークに影響を与える更に良い機会を弱い境界部に与える
ためである。スネークの約200回の反復の後、頭の境界
部を抱く位置にスネークは到達する。第２実施例では、
そのエンドポイントを画像の下部の角に有する固定エン
ドスネークは、画像の側部及び上部から収縮できる。髪
の毛と背景の間の境界部は画像内で比較的低いコントラ
スト部分であるが、スネークはそこで安定する。顔に関
してスネークがパターン化された背景を介して収縮しよ
うとするときに、移動エッジ検出器から画像力を引き出
すのが望ましい。

又、Kass et al,において、例として人の動いてい
る唇に追従するために使用されるスネークが示された。
先ず、動く画像のシーケンスの中で最初の画像内の唇上
にスネークが安定化された。第２のフレームで、スネー
クは以前のフレーム内の安定位置に対応する位置に初期
化され、これにより再び安定する。この形式の技術には
明らかな問題がある。即ち、その運動がフレーム間で非
常に大きいと、次のフレーム内の違う特徴にロックして
軌道を失うことがある。Kassは‘スケールの空間的連続
（scale−space contibuation）’の基本を使用する対
応策を示唆した。この対応策でスネークは大きな空間定
数を有するガウスフィルタ（Gaussian filter）を使用
して滑らかとなった最初の画像に安定化できる。このフ
ィルタは長い距離からスネークを引く効果を有する。安
定した後、僅かに小さい空間定数のガウスを使用して得
られる画像力の新たなセットを有してスネークは提供さ
れる。この処理はできるかぎり高いレベルの分解能の画
像内に安定が生じるまで続けられる。

これはコンピュータを使用した明らかに経費のかかる
処理である。根本的に同一で良好に動作する技術が開発
された。次にこの技術を説明する。１つのシーケンスの
最初のフレーム内でスネークが安定状態に達した後、ブ
ロック動作の概算がスネークのノード位置で行われる。
（スネークは一般に分離ノードのセット（この実施例で
は24個）を用いてそれを概算することで導入される）運
動の概算は１つのフレームから次のフレームにかけて行
われる。この次のフレームは、ビデオをコード化するた
めの運動補償中に一般に行われる場合とは逆の意味のフ
レームである。複数のブロックに対して最適な位置が次
のフレーム内でプロットされると、‘アパーチャーの問
題’により、良い適合は境界部のセグメントに沿った点
の範囲でしばしば発見され、この境界部のセグメントは
適合されるブロック側より長い。効果は非均一空間の複
数点を生成することである。そしてフレーム内でスネー
クはそのノードが最適ブロック位置に配置され初期化さ
れ、数回（一般に10回）の反復を実行する。その結果、
ノードは境界部に沿って不均一に分布される。これでス
ネークは境界部の獲得に成功し、ブロック動作の概算は
‘パワーアシスト’の一種として作用する。全体の動作
がブロックサーチの最大偏倚を超えないかぎり、このパ
ワーアシストによって追従の継続が補償される。動作の
概算が複数点の僅かなセットのみに行われるとき、その
計算時間が著しく増加することはない。

物体と背景間のコントラストが低い場合でも、物体の
境界部の位置検出を実行する固定エンドと閉じたスネー
クの両方が示された。

ブロック動作の概算及びスネークの適合の両方を使用
する複合技術で、動く画像シーケンス内の境界部追従を
実行する技術が説明された。荒い分解能から細かい分解
能に移行する方法より、この技術は容易に実施できる。
これまでのところ本明細書で説明された方法は、極度に
曲がっているか又は不連続な部分があらゆる点で存在し
ない物体の境界部でテストされた。このような条件では
ない場合、スネークは境界部輪郭線の正確な追従に失敗
する。正確に追従させる１つの方法は、境界部を複数の
短いセグメントに分割し、これらセグメントを幾つかの
固定エンドスネークに適合させることである。

本発明の第２の特徴によれば、データキャリア（data
carrier）を使用するユーザの同一性を確認する方法
が提供され、前記方法は、ユーザの顔のデジタル画像を
発生し；前記データキャリアを受取り、識別データをそ
のキャリアから読み込み；本発明による第１の方法を実
行し；各特徴ベクトル又は前記キャリアから得られるデ
ータと識別データを比較し；その比較結果に応じて確認
信号を発生するステップを有する。

データキャリアを使用するユーザの同一性を確認する
本発明装置の他の特徴によれば、ユーザのデジタル顔画
像を発生する手段と；前記データキャリアを受取り、識
別データをそのキャリアから読み込む手段と；本発明に
よる第１の方法を実行する手段；各特徴ベクトル又は前
記キャリアから得られるデータと識別データを比較し、
その比較結果に応じて確認信号を発生する手段を有する
装置が提供される。

次に本発明の一実施例を図面を参照しながら説明す
る。

図１は特徴ベクトルの計算の概略を示すフローチャー
ト； 図２は本発明による方法を使用して信用の確認を行う
装置を示し； 図３は本発明による方法を示す。

図１において、本発明の両方の特徴を具備する実施例
の概要が示されている。

人の顔の画像はある手段（例えばビデオカメラ又は写
真）用いて獲得され、画素値のアレイを提供するために
デジタル化される。頭検出アルゴリズムが、画像内の顔
又は頭の位置を検出するのに使用される。この頭の位置
検出段階は幾つかの周知技術の中の１つを含むが、前述
の“スネーク”技術を使用する方法が望ましい。境界部
分の外側にあると判断された画素データは無視される。

第２ステップはその境界部の内側にある画素データに
ついて行われ、認識に用いられる特徴（一般に目及び
口）の位置が判断される。又、目及び口の位置を発見す
るための位置検出技術は従来技術に幾つかあるが、荒い
位置検出の次に詳細な位置検出を行う２段階処理がここ
では採用される。荒い位置検出技術は、例えば米国特許
US 4841575に説明されている。

細い位置検出技術はYuille et alによる“変形でき
るテンプレートを使用する顔からの特徴抽出（Feature
Extraction from Faces using Deformabule Tem
plates）”（Harvard Robotics Lab Technical Rep
ort Number;88/2 published in Computer Vision
and Pattern Recognition,June 1989 IEEE）によ
って説明された変形できるテンプレート技術を使用する
のが望ましい。既に前述されたこの技術において、その
特徴と地勢学的に等しい線モデルは、（荒い位置検出技
術により）その特徴の近傍にあり、互いに移動し、そし
て最高の適合が得られるまで変形される。特徴はこの位
置にあるものとして識別される。

次に特徴の形状は、それが標準的で地勢学的に等しい
形状を想定するまで変化される。細い位置検出技術が前
述のように変形可能プレートを使用する場合、特徴の変
形は、そのテンプレートの変形を逆もどりさせ、その特
徴を最初の標準形状のテンプレートに適合させることで
達成できる。

特徴の正確な位置が判明し、その正確な形状が特定さ
れたので、この情報を使用する認識は、特徴の特徴ベク
トルを使用する認識処理に追加される画像の識別子とし
て使用できる。その領域外部の特徴として区別された全
ての画像データは無視され、その特徴として区別された
画像データはその特徴に対応する固有ピクチャーの直交
する成分に分解される。次にその成分ベクトルは識別さ
れる与えられた人物に対応する成分ベクトルと比較さ
れ、そして実質的な同一性が存在した場合には、認識が
示される。

図２はクレジットカードの確認に適した本発明の一実
施例を示す。

ビデオカメラ１はクレジットカード端末のユーザとな
るであろう人物の画像を受信する。カード挿入装置２に
カードが挿入されると、ビデオカメラ１のアナログ出力
はADコンバータ３によってデジタル化され、そして時間
が計測されてフレームストア（framestor）４に入力す
る。ビデオプロセッサ５（例えばAT＆Ｔ DSP20のよう
な適切に処理されたデジタル信号処理チップ）がフレー
ムストア４をアクセスするために接続され、それはデジ
タル画像を処理してエッジの強調された画像を形成す
る。これを行う１つの方法は、単に各サンプルをその前
のサンプルから減算して差画像を形成することである
が、より望ましい方法はラプラス形式の演算子（Laplac
ian type operator）を使用することで、この出力は
Ｓ字状関数（sigmoidal function）によって修正され
る。この関数はノイズによる僅かなレベル、同時に非常
に強いエッジを圧縮する一方で、殆ど変化しない中間値
を残す。この方法により、滑らかなエッジ画像が発生さ
れ、顎の線のような弱いエッジの輪郭線が強調される。
このエッジ像はエッジ・ピクチャー・フレームバッファ
６に記録される。そしてプロセッサは有限の差を使用し
て閉ループ・スネーク法を実行し、頭を囲む境界部を抽
出する。スネーク・アルゴリズムが一度収束すると、エ
ッジ画像内の頭の境界位置、及びフレームストア４内の
対応する画像が有効となる。

フレームストア６内のエッジ画像は処理され、対象と
する特徴（一般に目及び口）の位置に関する荒い概算が
得られる。我々の以前の出願EP0225729に説明されてい
るように、Nagaoによる方法は適当な方法の１つである
（Nagoa Ｍ、“Picture Recognition and Data St
ructure",Graphic Langages−Ed.Rosenfield）。この
ようにして得られた位置の概算は、正確な特徴位置を確
立するダイナミック・テンプレート処理に関する開始点
として使用される。

従って、プロセッサ５はYuille et al［Yuille A,
Cohen D,Hallinan P,（1988），“変形できるテンプ
レートによる顔の特徴抽出（Facial Feature Extract
ion by Deformable Templates）",Harvard Robotic
s Lab.Technical Report no.88−２］により説明さ
れた方法を使用して各特徴に関する位置データを得る。
このデータはテンプレートの総合サイズの関数として与
えられる一連の点座標及びサイズ（又は分解能）から構
成される。これらの点の幾つかはキーポイントとして指
定される。これらキーポイントは常にテンプレートの内
側で、他の点は常にエッジ点である。これらキーポイン
トの位置データは格納され、認識の印しとして使用でき
る。これを図３に示す。

次に、標準形状への特徴の地勢学的変換がプロセッサ
５によって行われる。この変換は領域の三角形ファセッ
ト（facets）とテンプレートの間のマッピング形式をと
る。ファセットは３点の局部集合からなり、テンプレー
トの限定ファイル内に限定される。マッピングはテンプ
レートの頂点のx,y値を考慮することで形成され、この
x,y値は各々対応する領域頂点のｘ′,y′値を含む。こ
れにより２つの平面式が生成され、その式からテンプレ
ートのファセット内のあらゆるx,yに対して各ｘ′,y′
点が計算でき、従って画像データは領域の副画像（sub
−image）からマップできる。

テンプレート副画像の全体像は各構成ファセットを画
素（pel）毎に減少（又は走査変換）し、画素の値を等
しい領域の副画像内の対応するマップされた位置からと
ることにより得られる。

プロセッサ５は抽出された副画像を、それらに対応す
る一般的なテンプレートのサイズ及び形状へマッピング
するために設けられる。領域上のキーポイントは、一般
的なテンプレート形状に定義された対応メッシュを有す
る三角形のメッシュを形成する。そしてマッピングは、
一般的なメッシュ内の各三角形から領域メッシュ内の等
価物まで形成される。歪んだ副画像が生成され、それは
後で表示するためにテンプレートデータ構造体に格納さ
れる。

このモジュール内の中心的処理は‘テンプレートの引
き伸し’処理である。このルーチンは歪んだテンプレー
トの副画像をファセット毎に生成する（各ファセットは
３つの接続されたテンプレートの点により定義され
る）。マッピングは各テンプレート・ファセットから対
応する領域ファセットまで得られ、そしてテンプレート
・ファセットは領域副画像からマップされた画像データ
を用いて画素毎に満たされる。全てのファセットがこの
ようにして処理された後、歪んだテンプレートの副画像
は画像データによって完全に充填される。

このように生成された標準化特徴画像は特徴画像バッ
ファ７に格納される。固有ピクチャーバッファ８は、連
続する増加性の複数の（例えば50）固有ピクチャーを含
み、これらのピクチャーは代表的な母集団から一般的な
方法で既に抽出されている（この処理には等価の地勢学
的正規化技術を使用するのが望ましい）。変形プロセッ
サ９（これは実際には、格納された適当な命令の下で動
作するプロセッサ５として実現できる）は、特徴画像の
座標又は成分を各固有ピクチャーについて抽出し、前述
の方法を用いて50個のベクトルを与える。カード挿入装
置２は挿入されたクレジットカードから、そのカードの
正しいユーザを特徴付ける50個の成分を読み出す。これ
らの成分はコンパレータ10（これは又信号処理装置の一
部分として実際には構成される）に入力される。このコ
ンパレータ10は２つのコネクタ間のパターン空間の距離
を測定する。所望の測定法はユークリッド距離法（Eucl
idian distance）である。しかし他の測定方法（例え
ば“シティーブロック（city block）”測定法）も同
様に使用できる。この距離が所定スレショルド（thresh
old）より少ないとき、正しい領域が出力11に対して示
される。そうでない場合、認識の失敗が信号で知らされ
る。

他のデータもこの認識処理に組み込むことができる。
例えば、テンプレートの変形中に得られるデータ、又は
頭部測定値（例えば頭部位置検出段階で得られる頭の高
さと幅の比）、又は前述の特徴位置データなどである。
認識結果は以前の我々の出願GB9005190.5に示される方
法で組み合わせることもできる。

一般に画像のある種の前処理が行われる（図２の12と
して概略示される）。例えば、（空間的又は一時的な）
ノイズ濾波、及び輝度あるいはコントラストの正規化で
ある。

眉毛による影などの光の変動は空間的な分散の影響を
画像の輝度に与える。現在使用されている生の画像デー
タの代わりに、第２の偏倚オペレータ又は形態フィルタ
（morphological filter）を使用することにより画像
を更に前処理して、この変動のほとんどを取り除くのが
望ましい。ブラー・フィルタ（blurring filter）も又
必要となる。

代表ベクトル上の幾何学的正規化内の変動の影響を減
少することも望ましい。これはローパスフィルタで完全
に濾波した画像を使用して行われる。この画像はより安
定した表現を認識処理に与える。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ウエルシュ、ウイリアム・ジョン イギリス国、アイピー２・９イーエフ、 サフォーク、イプスウイッチ、ファウン テインズ・ロード 47 (56)参考文献 特開 昭48−55638（ＪＰ，Ａ) 特開 昭62−120179（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 G06T 7/00 G06T 1/00

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】画像を処理する方法において、 前記画像内で少なくとも１つの特徴の位置を検出するス
   テップと、 前記特徴を示す画像から画像データを抽出するステップ
   と、 前記特徴画像データの位置をＮ次元空間で示す特徴ベク
   トルを各特徴について計算するステップとを具備し、該
   Ｎ次元空間は複数の参照ベクトルによって定義され、各
   参照ベクトルは類似する特徴画像の練習セツトの固有ベ
   クトルであり、 更にこの方法は、前記各特徴画像データを修正して各特
   徴の形状を正規化することより前記特徴の所定標準形状
   からのずれを減少するステップを具備し、本ステップは
   対応する特徴ベクトルを計算する前に実行されることを
   特徴とする画像処理方法。
2. 【請求項２】前記画像内で少なくとも１つの特徴の位置
   を検出するステップは、前記位置の粗い概算値を提供す
   る第１の技術、及び前記粗い概算値を向上させるための
   第１の技術とは異なる第２の技術を用いることを特徴と
   する請求項１記載の方法。
3. 【請求項３】前記類似する特徴画像の練習セットは、各
   画像の練習セットの形状を正規化することにより修正さ
   れ、それにより前記特徴の所定標準形状からのずれが減
   少され、更に本ステップは前記画像の固有ベクトルを計
   算する前に実行されることを特徴とする請求項１又は２
   記載の方法。
4. 【請求項４】データキャリア（data carrier）のユー
   ザの同一性を確認する方法において、 前記ユーザの顔のデジタル画像を発生するステップと、 前記データキャリアを受取り、識別データを前記キャリ
   アから読み出すステップと、 請求項１乃至３の中の１項に示される方法を実行するス
   テップと、 前記ステップにより得られる各特徴ベクトル又はデータ
   を、前記識別データと比較するステップと、及び 前記比較に応じて確認信号を発生するステップと、 を有することを特徴とする方法。
5. 【請求項５】データキャリアのユーザの同一性を確認す
   る装置において、 前記ユーザの顔のデジタル画像を発生する手段と、 前記データキャリアを受取り、識別データを前記キャリ
   アから読み出す手段と、 請求項１乃至３の中の１項に示される方法を実行する手
   段と、 前記手段により得られる各特徴ベクトル又はデータを、
   前記識別データと比較し、この比較に応じて確認信号を
   発生する手段と、 を有することを特徴とする装置。