JP4032241B2 - 指紋照合装置及びその方法 - Google Patents
指紋照合装置及びその方法 Download PDFInfo
- Publication number
- JP4032241B2 JP4032241B2 JP2003053513A JP2003053513A JP4032241B2 JP 4032241 B2 JP4032241 B2 JP 4032241B2 JP 2003053513 A JP2003053513 A JP 2003053513A JP 2003053513 A JP2003053513 A JP 2003053513A JP 4032241 B2 JP4032241 B2 JP 4032241B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate
- fingerprint
- reference point
- coordinate reference
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Collating Specific Patterns (AREA)
Description
【発明の属する技術分野】
本発明は、指紋の照合装置及びその方法に関する。
【0002】
【従来の技術】
従来、指紋照合の代表的な照合方式には、軸照合方式と位置合わせ照合方式とがある。
【0003】
軸照合方式は、予めファイル指紋データ内部に設定されている座標基準点(コア、デルタ等の特異点の座標位置)を基準とした2軸座標系において、サーチ指紋特徴点とファイル指紋特徴点の位置を表して照合処理を行うことを特徴としている。
【0004】
一方、位置合わせ照合方式は、予めファイル指紋データ内に設定されている座標基準点を用いず、位置合わせ処理によって座標の基準点を算出し、算出した座標基準点を基準とした2軸座標系において、サーチ指紋特徴点とファイル指紋特徴点との位置を表して照合処理を行うことを特徴としている。
【0005】
なお、本願発明に関連する先行技術文献としては以下のものがある。
【0006】
【特許文献1】
特開平10−105711号公報
【特許文献2】
特開2001−067474公報
【特許文献3】
特開2002−269562公報
【0007】
【発明が解決しようとする課題】
軸照合方式は、押捺指紋(コア、デルタ等の特異点が存在するケースが高い)照合では、特異点を座標基準点とするため座標基準点の周辺の特徴点配置関係が明確に識別可能で、また画像品質も高いことから非常に高い照合精度を得られることが可能であった。反面、部分的な特徴点データしかなく特異点等を座標基準点として設定することができにくい遺留指紋照合では仮想的な座標基準点(指紋印象画像の中心)を使用するケースが多いため、座標基準点で表したサーチ指紋特徴点の座標位置と実際の実画像上での位置とにずれが生じてしまい、また画像品質も粗悪なケースが多く、そのため座標配置関係の不正確・誤認識を導き、大幅な照合精度の劣化を招く恐れがあるという問題があった。
【0008】
位置合わせ照合方式は、予め定められた座標基準点を使用せずにデータの配置関係から座標整合量を用いて座標基準点を求める。そのため誤った座標位置に基づく照合を行うケースが少なく、遺留指紋照合においては照合精度が高かった。反面、位置合わせ処理における処理量が膨大であるため、前者の照合方式に比べて照合性能が大変低いという問題があった。
【0009】
また、使用する指紋照合エンジン、使用用途毎に異なる指紋照合システムを構築する必要があり、システム構築に大幅なコストがかかっていた。
【0010】
そこで、本発明は、押捺指紋であっても遺留指紋であっても、精度良く高速に指紋照合をすることが可能な指紋データ分析による指紋照合装置を提供することを目的とする。
【0011】
【課題を解決するための手段】
本発明によれば、サーチ指紋データをファイル指紋データと照合する指紋照合装置において、サーチ指紋データに含まれる特徴点のうち、サーチ指紋データの第1の座標基準点を中心として所定半径の領域内の特徴点について品質評価を行う品質評価手段と、品質が高いと判定された場合には、前記第1の座標基準点を基に照合処理を行う第1照合手段と、品質が高くないと判断された場合には、新たに第2の座標基準点を算出して、当該第2の座標基準点を基に照合処理を行う第2照合手段と、を備え、前記品質評価手段に係るサーチ指紋データの第1の座標基準点とは、コア又はデルタの特異点であり、前記品質評価とは、まず、サーチ指紋データに含まれる全ファイル指紋特徴点を対象として、前記第1の座標基準点を中心とした座標基準点近傍範囲半径の座標範囲となる座標基準点近傍座標範囲の中に位置する特徴点があるか否かについて調べ、座標基準点近傍座標範囲内に位置する特徴点がある場合、その特徴点の種別が特異点であり、かつ品質カテゴリが重要もしくは普通であるか否かをチェックし、該チェックの結果が肯定的であるときに、前記第1の座標基準点を中心とした座標基準点近傍範囲半径の座標範囲である座標基準点近傍座標範囲に位置する近傍特徴点郡の低確信比率(=存在低確信である特徴点数÷近傍特徴点数)と、前記第1の座標基準点を中心とした半径の近傍座標範囲に位置する近傍特徴点郡の平均信頼度数(=信頼度数÷近傍特徴点数)と、前記第1の座標基準点を中心とした座標基準点近傍座標範囲半径の座標基準点近傍座標範囲の中にある近傍特徴点郡の指紋印象画像における任意のゾーンエリアの明瞭割合(=ゾーンが明瞭である特徴点数÷近傍特徴点数)とを各々算出し、算出した近傍特徴点郡の低確信比率が、低確信比率閾値よりも低く、平均信頼度数が、平均信頼度閾値以上で、かつゾーン明瞭割合がゾーン明瞭割合閾値以上であるか否かをチェックし、該チェックで肯定条件を全て満たす場合、指紋データの品質及び特徴点の確証性は高く、サーチ指紋特徴点の実画像上での座標位置のずれが少なくなる最適な座標基準点(照合基準点)となるコア指紋特徴点も存在するとするものであり、前記第2の座標基準点は、任意の特徴点の座標量から規定範囲内の特徴点群をマニューシャ集合体とした時、サーチ側マニューシャ集合体とファイル側マニューシャ集合体とを決定し、特徴点配置が指紋照合パラメータで規定される規定値以内の対応マニューシャ対をして選択し、選択した複数のマニューシャ候補対を指紋照合パラメータで規定される閾値を使用して評価することでマニューシャ候補対の絞り込みを行い、絞り込んだマニューシャ候補対からサーチ指紋特徴点を対応するファイル指紋特徴点にどれだけ座標移動・回転させた場合に同じ座標位置になるかを表す座標変換量を求めることにより算出されることを特徴とする指紋照合装置が提供される。
【0015】
【発明の実施の形態】
本発明は、指紋印象画像から特徴抽出された特徴点データからなるサーチ指紋データとデータベース化されたファイル指紋データとを照合する指紋照合処理システムにおいて、指紋データ毎にデータの特性に応じてダイナミックに照合エンジンを選択・切替えて照合を行うことで、データ特性によって生じる異なる照合方式の利点・不利点を補い、用途に応じた専用照合システムの構築を必要とせず、信頼性の高い照合精度を求めることを特徴としている。
【0016】
図1を参照すると、指紋照合システムs1は、指紋照合システム・マネージメント・サーバーn3と、指紋原紙読取装置n2を介して読み込んだ指紋印象画像から特徴抽出処理に行うことによってサーチ指紋データを作成し、サーチ指紋データをネットワークn7を介して指紋照合システム・マネージメント・サーバーn3へ送信する入力装置システムn1と、指紋照合システム・マネージメント・サーバーn3に外部記憶装置として接続され、データベース化されたファイル指紋データを保存するファイル指紋データベースn4と、指紋照合システム・マネージメント・サーバーn3に通信バスn5を介して接続され、指紋照合システム・マネージメント・サーバーn3からの指紋照合実行指示によって照合処理を行う指紋照合処理装置n6とを備える。
【0017】
図2を参照すると、指紋照合システム・マネージメント・サーバーn3は、指紋照合マネージャn30と、指紋照合パラメータ設定・読み出し部n31とを有している。
【0018】
指紋照合マネージャn30は、ファイル指紋データベースn4内から読み出したファイル指紋データを付加したファイル指紋データ送信指示と、入力装置システムn1から入力されるサーチ指紋データを付加したサーチ指紋データ送信指示と、指紋照合実行指示と、指紋照合パラメータ設定・読み出し設定部n31から読み出した指紋照合パラメータを付加した指紋照合パラメータ送信指示とを通信バスn5を介して指紋照合処理装置n6に対して行う。
【0019】
指紋照合パラメータ設定・読み出し部n31は、予めオペレータによる人手操作を介して、指紋照合パラメータの設定、または変更とを行う。指紋照合パラメータ設定・読み出し部n31によって設定された指紋照合パラメータは、指紋照合処理装置n6において指紋照合を行う際に必要な照合パラメータ、閾値を規定したものである。
【0020】
本発明では、新たに座標基準軸周りの品質チェックを行うために使用する座標基準点近傍範囲半径、低確信比率閾値、平均信頼度閾値、ゾーン明瞭割合閾値を予め設定する必要がある。
【0021】
予め、指紋原紙読み取り装置n2で入力される指紋印象画像は、入力装置システムn1の特徴抽出処理においてサーチ指紋データ、及びファイル指紋データとして変換される。特徴抽出されたファイル指紋データは、データベース化されて予めファイル指紋データベースn4に保存されているものとする。
【0022】
サーチ指紋データ、及びファイル指紋データは、指紋印象画像から特徴抽出処理によって抽出した特徴点情報として、軸情報(特徴点が存在する座標系のXY2軸座標系における座標基準点(中点)を示す)、位置情報(座標基準点を基準にしたXY2軸座標系におけるX座標値、Y座標値を示す。)、隆線方向(座標基準点を基準とするXY2軸座標系におけるY軸を基準にした時の隆線の流れる方向を示す。)、集密度(特徴点を中心とした半径r1内に位置する特徴点の数を示す。)、左曲率・右曲率(特徴点の左右にある隆線の曲がり具合を示す。)、特徴点種別(特徴点の種別を示し、端点、分岐点、特異点に分類される。)、品質カテゴリ(特徴点の重要性を示し、非重要、通常、重要に分類される。)、確信・信頼度(特徴点の確信分類(存在低確信、方向低確信)を示し、任意の特徴点の信頼度数を示す。)を含んでいる。また、各指紋データ内には、特徴点の座標位置における指紋印象画像の明瞭性を示すゾーン情報が含まれる。
【0023】
図3を参照すると、指紋照合処理装置n6は、照合指示・データ受信部n61と、指紋データ解析部n62と、指紋照合エンジン読み出し部n63と、照合スコア送信部n64と、指紋照合データ格納領域n65とを有している。
【0024】
照合指示・データ受信部n61は、指紋照合システム・マネージメント・サーバーn3内の指紋照合マネージャn30から送信されるサーチ指紋データ送信指示、ファイル指紋データ送信指示、指紋照合パラメータ送信指示と、指紋照合実行指示とを受信する。
【0025】
指紋照合システム・マネージメント・サーバーn3内の指紋照合マネージャn30からサーチ指紋データ送信指示を受信した照合指示・データ受信部n61は、サーチ指紋データ送信指示に付加されるサーチ指紋データを指紋照合処理装置n6内部のメモリ空間である指紋照合データ格納領域n65内のサーチ指紋データ格納領域m1に保存する。
【0026】
同様にして、ファイル指紋データ送信指示を受信した照合指示・データ受信部n61は、ファイル指紋データ送信指示に付加されるファイル指紋データをファイル指紋データ格納領域m2に保存する。
【0027】
指紋照合システム・マネージメント・サーバーn3内の指紋照合マネージャn30から指紋照合パラメータ送信指示を受信した照合指示・データ受信部n61は、指紋照合パラメータ送信指示に付加される指紋照合パラメータを指紋照合処理装置n6内部のメモリ空間である照合パラメータ格納領域m3に保存する。
【0028】
指紋照合システム・マネージメント・サーバーn3内の指紋照合マネージャn30から指紋照合実行指示を受信した照合指示・データ受信部n61は、指紋データ解析部n62に制御を渡す。この時、サーチ指紋データ保存領域ファイル指紋データ保存領域m2及び照合パラメータ格納領域m3のアドレス情報を合わせて渡す。
【0029】
指紋データ解析部n62は、サーチ指紋データ保存領域m1に格納されているサーチ指紋データに含まれる各サーチ指紋特徴点の座標位置をファイル指紋データ保存領域m2に格納されているファイル指紋データ内部に含まれる座標基準点を基準とした座標系の座標位置に置き換え、座標基準点の周辺に位置するサーチ指紋特徴点、及びファイル指紋データに含まれるファイル指紋特徴点郡に対して、指紋照合パラメータ内で規定される座標基準点の近傍座標範囲内に点在する任意の特異点の存在有無、及び座標基準点近傍座標範囲のゾーンチェック、座標基準点近傍座標範囲内に位置する特徴点郡の品質チェック(近傍特徴点郡の低確信比率評価、平均信頼度数評価、ゾーン明瞭割合評価)とを行い、照合対象となっている指紋データの照合に最適と判断される指紋照合エンジンプログラム(軸照合方式指紋照合エンジンプログラムm41、又は位置合わせ照合方式指紋照合エンジンプログラムm42)を決定し、指紋照合エンジン読み出し部n63に対して使用する照合エンジン種別を渡す。
【0030】
指紋照合エンジン読み出し部n63は、指紋照合実行に選択した指紋照合エンジンをデータ保存可能なメモリ内にあるプログラム格納領域m4から選択された指紋照合エンジンプログラム(軸照合方式指紋照合エンジンプログラムm41、或いは位置合わせ照合方式指紋照合エンジンプログラムm42)をロードして、ロードしたプログラムにメモリ空間に保存されているサーチ指紋データと、ファイル指紋データとのメモリ空間におけるアドレスを渡し、プログラム制御を任意の照合エンジンプログラムに移して、各指紋照合エンジンプログラムにおいて照合処理を実行し、サーチ指紋データとファイル指紋データの類似性を測る尺度として最終的に算出した照合スコアを照合スコア送信部n64へ渡す。
【0031】
照合スコア送信部n64は、指紋照合エンジンプログラム(軸照合方式指紋照合エンジンプログラムm41、或いは位置合わせ照合方式指紋照合エンジンプログラムm42)から受け取った照合スコアを指紋照合システム・マネージメント・サーバーn3へ送信する。
【0032】
図4を参照すると、指紋照合データ格納領域n65は、サーチ指紋データ格納領域m1、ファイル指紋データ格納領域m2、指紋照合パラメータ格納領域m3、指紋照合プログラム格納領域m4とを有している。
【0033】
サーチ指紋データ格納領域m1は、指紋照合システム・マネージメント・サーバーn3から受信したサーチ指紋データを格納する領域である。
【0034】
ファイル指紋データ格納領域m2は、指紋照合システム・マネージメント・サーバーn3から受信したファイル指紋データを格納する領域である。
【0035】
指紋照合パラメータ格納領域m3は、指紋照合システム・マネージメント・サーバーn3から受信した指紋照合パラメータを格納する領域である。
【0036】
指紋照合プログラム格納領域m4は、保存可能なメモリ領域で、予め照合方式が異なる指紋照合エンジンプログラムである、軸照合方式指紋照合エンジンプログラムm41と位置合わせ照合方式指紋照合エンジンプログラムm42とを保存しているものとする。
【0037】
図5を参照すると、指紋照合プログラム格納領域m4には軸照合方式指紋照合エンジンm41と位置合わせ照合方式指紋照合エンジンm42とが保存されている。
【0038】
軸照合方式指紋照合エンジンプログラムm41は、ファイル指紋データ内に含まれる軸情報より座標基準点(照合基準点)を決定して、サーチ指紋データ及びファイル指紋データに含まれる特徴点の位置を、座標基準点(照合基準点)を基準としたXY二軸座標系で表した際に、サーチ指紋特徴点とファイル指紋特徴点とを特徴点座標の回転移動・平行移動によって重ね合わせた場合、任意のサーチ指紋特徴点と任意のファイル指紋特徴点との座標間の距離誤差を求め、指紋照合パラメータで示される規定範囲内のものを対候補として選択及び評価を行い、最終的なペア候補を決定して、ペア候補間の類似度を統計的手法によって算出して更に算出値を評価した値を照合スコアとして求める方式である。座標基準点は、複数指定可能であるがここでは4軸分とする。
【0039】
位置合わせ照合方式照合エンジンプログラムm42は、予め定められた軸座標(座標基準点)情報を用いないで、位置合わせ処理によって座標基準点を算出して、サーチ指紋特徴点とファイル指紋特徴点の座標位置の整合性を図り、座標基準点を基準としたXY二軸座標系において、サーチ指紋特徴点とファイル指紋特徴点とを特徴点座標の回転移動・平行移動によって重ね合わせた場合、任意のサーチ指紋特徴点と任意のファイル指紋特徴点との座標間の距離誤差を求め、指紋照合パラメータで示される規定範囲内のものを対候補として選択及び評価を行い、最終的なペア候補を決定して、ペア候補間の類似度を統計的手法によって算出し、更に算出値を評価した値を照合スコアとして求める方式である。
【0040】
ここで、位置合わせ処理は、まず、任意の特徴点の座標量(位置、方向、左・右曲率)から規定範囲内の特徴点群をマニューシャ集合体とした時、サーチ側マニューシャ集合体とファイル側マニューシャ集合体とを決定して、特徴点配置が指紋照合パラメータで規定される規定値以内の対応マニューシャ対として選択する。選択した複数のマニューシャ候補対を指紋照合パラメータで規定される閾値を使用して評価することでマニューシャ候補対の絞込みを行う。絞り込んだマニューシャ候補対からサーチ指紋特徴点を対応するファイル指紋特徴点にどれだけ座標移動・回転させた場合に同じ座標位置になるかを表す座標変換量を求めて、この座標変換量の値を元にして座標基準点を求める。
【0041】
この時、サーチ側マニューシャ集合体とファイル側マニューシャ集合体の決定は、各サーチ指紋特徴点毎に全ファイル指紋特徴点を対象として行う。そのため、サーチ側マニューシャ集合体とファイルマニューシャ集合体の組み合わせは、最大でサーチ指紋特徴点数×ファイル指紋特徴点数分通りある。
【0042】
図6を参照すると、軸照合方式指紋照合エンジンプログラムm41で使用する座標基準点c1は、特異点(コア、デルタ)を基準としたXY2軸座標系k1の基準点である。このXY2軸座標系k1においてサーチ指紋特徴点とファイル指紋特徴点との座標位置を表し、照合処理を行う。
【0043】
図7を参照すると、位置合わせ照合方式指紋照合エンジンプログラムm42は、位置合わせ処理として、任意のサーチ指紋特徴点s3の座標量(位置、方向、左・右曲率)から近傍マニューシャ範囲半径r3の近傍マニューシャ範囲nr2内のサーチ指紋特徴点群(s1、s2、s5)をサーチ側マニューシャ集合体sn1とする。
【0044】
また、任意のファイル指紋特徴点f3の座標量(位置、方向、左・右曲率)から近傍マニューシャ範囲半径r3の近傍マニューシャ範囲nr2内のファイル指紋特徴点群(f1、f2、f5)をファイル側マニューシャ集合体fn1とする。
【0045】
サーチ側のマニューシャ集合体sn1とファイル側マニューシャ集合体fn1とを決定して、サーチ側マニューシャ集合体sn1とファイルマニューシャ集合体fn1とを、座標の回転移動・平行移動によって同座標系での重ね合わせを行い、二つの集合体の移動距離算分が少なくなる組み合わせをマニューシャ候補対として決定する。マニューシャ候補対となる時の座標変換量(サーチ側マニューシャ集合体sn1をファイル側マニューシャ集合体fn1に移すための回転量・平行移動量を示す)から座標基準点を算出する。ここで求めた座標基準点は、マニューシャ候補対分求め、座標基準点毎にサーチ指紋データとファイル指紋データとの照合を行い、最終的に各座標基準点を基準として求めた類似度を統計的手法によって、照合スコアとして指紋照合システム・マネージメント・サーバーn3へ送信する。
【0046】
図8を参照すると、指紋の紋様は、左蹄状紋、右蹄状紋、渦状紋、弓状紋の四種類に分類される。弓状紋以外の紋様に関しては、コア(渦中心)、デルタ(三角州)と言われる特異点が存在し、特徴抽出処理では、入力された指紋画像内に特異点が存在する場合、この点を座標基準点とするケースが高い。また、入力された指紋画像内に特異点が存在しない場合、座標基準点を仮想的に画像の中心付近の座標とするケースが多い。
【0047】
図1、図2、図3、図4、図5、図6、図7及び図8を参照して、本実施例の動作について詳細に説明する。
【0048】
まず、指紋照合システム・マネージメント・サーバーn3内の指紋照合マネージャn30は、指紋照合パラメータ設定・読み出し部n31によって予め設定、もしくは変更された指紋照合パラメータを読み出して、指紋照合パラメータ送信指示に付加して指紋照合処理装置n6へ通信バスn5を介して送信する。
【0049】
指紋照合パラメータ送信指示を受信した指紋照合処理装置n6は、受信した指紋照合パラメータを指紋照合データ格納領域n65内の指紋照合パラメータ格納領域m3へ保存する。
【0050】
オペレータからの照合指示で、指紋照合システム・マネージメント・サーバーn3内の指紋照合マネージャn30は、入力装置システムn1を介して、指紋原紙読み取り装置n2によって読み取った指紋印象画像を、特徴抽出処理によって特徴点抽出を行い、軸情報、位置情報、隆線方向、集密度、左・右曲率、特徴点種別、品質カテゴリ、確信度、信頼度、ゾーン情報を含むサーチ指紋データを生成する。
【0051】
次に、指紋照合マネージャーn30は、指紋照合処理装置n6へ通信バスn5を介して、サーチ指紋データ送信指示(サーチ指紋データ付加)を送信する。
【0052】
指紋照合処理装置n6は、照合指示・データ受信部n10によってサーチ指紋データ送信指示(サーチ指紋データ付加)を受信し、受信したサーチ指紋データを指紋照合データ格納領域n65内のサーチ指紋データ格納領域m1へ保存する。
【0053】
次に、指紋照合マネージャーn30は、指紋照合処理装置n6へ通信バスn5を介して、ファイル指紋データの送信指示(ファイル指紋データ付加)と、指紋照合実行指示とを送信する。
【0054】
指紋照合処理装置n6は、照合指示・データ受信部n61によってファイル指紋データ送信指示(ファイル指紋データ付加)を受信し、ファイル指紋データを指紋照合データ格納領域n65内のファイル指紋データ格納領域m2へ保存する。
【0055】
次に、指紋照合実行指示を受信した照合指示・データ受信部n61は、指紋データ解析部n62にサーチ指紋データ保存領域ファイル指紋データ保存領域m2及び照合パラメータ格納領域m3のアドレス情報を合わせて制御を渡す。
【0057】
まず、サーチ指紋データに含まれる全ファイル指紋特徴点を対象として、座標基準点c1を中心とした座標基準点近傍範囲半径r2(指紋照合パラメータで規定)の座標範囲となる座標基準点近傍座標範囲nr1の中に位置する特徴点があるか否かについて調べる。座標基準点近傍座標範囲nr1内に位置する特徴点がある場合、その特徴点の種別が特異点であり、かつ品質カテゴリが重要もしくは普通であるか否かをチェックする。
【0058】
次に、上記のチェック結果が肯定的であるときに、座標基準点c1を中心とした座標基準点近傍範囲半径r2(指紋照合パラメータで規定)の座標範囲である座標基準点近傍座標範囲nr1に位置する近傍特徴点郡の低確信比率(=存在低確信である特徴点数÷近傍特徴点数)と、座標基準点c1を中心とした半径r2(指紋照合パラメータで規定)の近傍座標範囲nr1に位置する近傍特徴点郡の平均信頼度数(=信頼度数÷近傍特徴点数)と、座標基準点c1を中心とした座標基準点近傍座標範囲半径r2(指紋照合パラメータで規定)の座標基準点近傍座標範囲nr1の中にある近傍特徴点郡の指紋印象画像における任意のゾーンエリアの明瞭割合(=ゾーンが明瞭である特徴点数÷近傍特徴点数)とを各々算出する。
【0059】
算出した近傍特徴点郡の低確信比率が、低確信比率閾値(指紋照合パラメータで規定)よりも低く、平均信頼度数が、平均信頼度閾値(指紋照合パラメータで規定)以上で、かつゾーン明瞭割合がゾーン明瞭割合閾値以上であるか否かをチェックする。
【0060】
以上のチェックで肯定条件を全て満たす場合、指紋データの品質及び特徴点の確証性は高く、サーチ指紋特徴点の実画像上での座標位置のずれが少なくなる最適な座標基準点(照合基準点)となるコア指紋特徴点も存在するため、押捺指紋照合に最適な軸照合方式照合エンジンプログラムm41を選択する。
【0061】
それに対して、座標基準点近傍座標範囲nr1内に特異点(コア、デルタ特異点となる重要特徴点)がなく、また座標基準点近傍座標範囲nr1に位置する特徴点郡の低確信比率が、低確信比率閾値(指紋照合パラメータで規定)よりも高い、或いは平均信頼度数が、平均信頼度閾値(指紋照合パラメータで規定)未満である、或いはゾーン明瞭割合がゾーン明瞭割合閾値未満である場合は、最適な座標基準点とする特徴点がなく、指紋データの品質及び特徴点の確証性が低いと判断して、遺留系指紋データである可能性が高いと判断して、遺留系指紋照合に最適な位置合わせ照合方式照合エンジンm42を選択する。
【0062】
以上のようにして、照合対象となっている指紋データの特性に合わせて、その特性を解析した上で、照合処理実行に当たって、最適と判断される照合エンジンプログラムを決定し、指紋照合エンジン読み出し部n63に対して使用する指紋照合エンジン種別を渡す。軸情報として複数軸が指定されている場合、軸情報(座標基準点)毎に照合エンジンの選択を行い、以降の処理を繰り返す。
【0063】
指紋照合エンジン読み出し部n63は、選択された指紋照合エンジン種別によってロードするプログラムを決定して、指紋照合データ格納領域n65内にある指紋照合プログラム格納領域m3内に格納されている軸照合方式指紋照合エンジンプログラムm41、もしくは位置合わせ照合方式指紋照合エンジンプログラムm42をロードし、照合処理に使用するサーチ指紋データ、ファイル指紋データが格納されているサーチ指紋データ格納領域m1、ファイル指紋データ格納領域m2と、指紋照合パラメータ格納領域m3のアドレス情報とを合わせて、選択された指紋照合エンジンプログラムに制御を渡す。
【0064】
指紋照合エンジン読み出し部n63から制御を渡された指紋照合エンジンプログラム(軸照合方式指紋照合エンジンプログラムm41、もしくは位置合わせ照合方式指紋照合エンジンプログラムm42)は、与えられたサーチ指紋データとファイル指紋データとの間でペア候補(類似性が高くサーチ指紋特徴点とファイル指紋特徴点のペア(対)として選択)を選択及び決定し、最終的にペア候補間の類似度を統計的に求めた照合スコアとして算出する。
【0065】
軸照合方式指紋照合エンジンプログラムm41は、ファイル指紋データ格納領域m2に格納されているファイル指紋データ内に含まれる軸情報より座標基準点c1を決定して、サーチ指紋データ内のサーチ指紋特徴点の座標位置を、座標基準点c1を基準とするXY二軸座標系k1座標位置へ座標変換する。ファイル指紋特徴点は、座標変換せず座標基準点c1をとするXY二軸座標で表す。
【0066】
位置合わせ照合方式指紋照合エンジンプログラムm42は、まず、各特徴点に関する座標量データとなる座標位置(X座標値、Y座標値)、方向(座標軸のY軸を基準にして隆線が流れる方向の角度)、集密度(特徴点を中心とした半径r内に位置する特徴点の数)、曲率(隆線の曲がり具合を示す割合)から、近傍マニューシャ範囲nr2内の特徴点群をマニューシャ集合体として決定する。各サーチ指紋特徴点、ファイル指紋特徴点毎にサーチ側マニューシャ集合体sn1とファイル側マニューシャ集合体fn1とを決定して、特徴点配置が照合パラメータで規定される規定値以内となるのサーチ、ファイル指紋特徴点の組み合わせを対応マニューシャ候補対として選択して、作成した対応マニューシャ候補対を評価することで候補対の選択・絞込みを行い、対応マニューシャ候補対のサーチ指紋特徴点位置をファイル指紋特徴点位置にどれだけ移動・回転させされば同じに位置なるかを示す座標変換量を求めて、この座標変換量の値から最終的にサーチ指紋特徴点とファイル指紋特徴点を同一座標系で表すための座標軸となる座標基準点c2を求める。サーチ指紋特徴点の座標位置を、座標基準点c2を基準とするXY二軸座標系の座標位置へ座標変換する。ファイル指紋特徴点は、座標変換せず座標基準点c2をとするXY二軸座標で表す。
【0067】
各照合エンジンプログラムは、座標基準点c1もしくはc2を基準点としてサーチ指紋特徴点とファイル指紋特徴点とを特徴点座標の回転移動・平行移動によって重ね合わせた場合、座標間の距離誤差を求め照合パラメータで示される規定範囲内のものを対候補として選択・評価を行い、最終的なペア候補を決定して、各ペア候がどれだけ似ているかの度合いを示す類似度を統計的手法によって照合スコア(評価値)として算出し、照合スコア送信部n64に渡す。
【0068】
照合スコアを受信した照合スコア送信部n64は、照合スコアを指紋照合マネージャn30に送信する。
【0069】
なお、指紋照合処理装置n6の各部(照合指示・データ受信部n61、指紋データ解析部n62、指紋照合エンジン読み出し部n63、照合スコア送信部n64、指紋照合データ格納領域n65)は、これらを指紋照合処理装置n6の各部として機能させるためのプログラムを指紋照合処理装置n6が読み込んで実行することによっても実現することができる。
【0070】
【発明の効果】
本発明によると、予め照合方式の異なる指紋照合エンジンをメモリ上に保存しておき、照合対象とする指紋データのデータ特性を解析して、データ毎にデータの特性に最適な照合エンジンを選択し、ダイナミックに照合エンジンを切り替えて照合を行うことが可能で、データ種別によって生じる軸照合方式、位置合わせ照合方式の利点・不利点を補うこことを可能として、信頼性の高い照合精度を求めることが可能である。
【0071】
また、指紋照合処理装置内部において、ダイナミックに照合エンジンを切り替えることで、指紋システム・マネージメント・サーバー側で使用用途(非警察系では押捺認証による個人認証等、警察系では、遺留、押捺照合による身元照会、遺留照会、余罪照会等)毎に専用に指紋照合システムを構築する必要がなくなるため、システム構築のためのコスト低減が大幅に可能となる。
【図面の簡単な説明】
【図1】本発明の実施形態による指紋照合装置の構成を示すブロック図である。
【図2】図1に示す指紋照合システム・マネージメント・サーバーの構成を示すブロック図である。
【図3】図1に示す指紋照合処理装置の構成を示すブロック図である。
【図4】図3に示す指紋照合データ格納領域の構成を示すブロック図である。
【図5】図4に示す指紋照合プログラム格納領域の領域割り当てを示す図である。
【図6】軸照合方式を説明するための図である。
【図7】位置合わせ照合方式を説明するための図である。
【図8】指紋の各種類型を表わす図である。
【符号の説明】
s1 指紋照合処理システム
n1 入力装置システム
n2 指紋原紙読取装置
n3 指紋照合システム・マネージメント・サーバ
n4 ファイル指紋データベース
n5 通信バス
n6 指紋照合処理装置
n7 ネットワーク
Claims (3)
- サーチ指紋データをファイル指紋データと照合する指紋照合装置において、
サーチ指紋データに含まれる特徴点のうち、サーチ指紋データの第1の座標基準点を中心として所定半径の領域内の特徴点について品質評価を行う品質評価手段と、
品質が高いと判定された場合には、前記第1の座標基準点を基に照合処理を行う第1照合手段と、
品質が高くないと判断された場合には、新たに第2の座標基準点を算出して、当該第2の座標基準点を基に照合処理を行う第2照合手段と、
を備え、
前記品質評価手段に係るサーチ指紋データの第1の座標基準点とは、コア又はデルタの特異点であり、
前記品質評価とは、まず、サーチ指紋データに含まれる全ファイル指紋特徴点を対象として、前記第1の座標基準点を中心とした座標基準点近傍範囲半径の座標範囲となる座標基準点近傍座標範囲の中に位置する特徴点があるか否かについて調べ、座標基準点近傍座標範囲内に位置する特徴点がある場合、その特徴点の種別が特異点であり、かつ品質カテゴリが重要もしくは普通であるか否かをチェックし、該チェックの結果が肯定的であるときに、前記第1の座標基準点を中心とした座標基準点近傍範囲半径の座標範囲である座標基準点近傍座標範囲に位置する近傍特徴点郡の低確信比率(=存在低確信である特徴点数÷近傍特徴点数)と、前記第1の座標基準点を中心とした半径の近傍座標範囲に位置する近傍特徴点郡の平均信頼度数(=信頼度数÷近傍特徴点数)と、前記第1の座標基準点を中心とした座標基準点近傍座標範囲半径の座標基準点近傍座標範囲の中にある近傍特徴点郡の指紋印象画像における任意のゾーンエリアの明瞭割合(=ゾーンが明瞭である特徴点数÷近傍特徴点数)とを各々算出し、算出した近傍特徴点郡の低確信比率が、低確信比率閾値よりも低く、平均信頼度数が、平均信頼度閾値以上で、かつゾーン明瞭割合がゾーン明瞭割合閾値以上であるか否かをチェックし、該チェックで肯定条件を全て満たす場合、指紋データの品質及び特徴点の確証性は高く、サーチ指紋特徴点の実画像上での座標位置のずれが少なくなる最適な座標基準点(照合基準点)となるコア指紋特徴点も存在するとするものであり、
前記第2の座標基準点は、任意の特徴点の座標量から規定範囲内の特徴点群をマニューシャ集合体とした時、サーチ側マニューシャ集合体とファイル側マニューシャ集合体とを決定し、特徴点配置が指紋照合パラメータで規定される規定値以内の対応マニューシャ対をして選択し、選択した複数のマニューシャ候補対を指紋照合パラメータで規定される閾値を使用して評価することでマニューシャ候補対の絞り込みを行い、絞り込んだマニューシャ候補対からサーチ指紋特徴点を対応するファイル指紋特徴点にどれだけ座標移動・回転させた場合に同じ座標位置になるかを表す座標変換量を求めることにより算出されることを特徴とする指紋照合装置。 - サーチ指紋データをファイル指紋データと照合する指紋照合方法において、
サーチ指紋データに含まれる特徴点のうち、サーチ指紋データの第1の座標基準点を中心として所定半径の領域内の特徴点について品質評価を行う品質評価ステップと、
品質が高いと判定された場合には、前記第1の座標基準点を基に照合処理を行う第1照合ステップと、
品質が高くないと判断された場合には、新たに第2の座標基準点を算出して、当該第2の座標基準点を基に照合処理を行う第2照合ステップと、
を備え、
前記品質評価ステップに係るサーチ指紋データの第1の座標基準点とは、コア又はデルタの特異点であり、
前記品質評価とは、まず、サーチ指紋データに含まれる全ファイル指紋特徴点を対象として、前記第1の座標基準点を中心とした座標基準点近傍範囲半径の座標範囲となる座標 基準点近傍座標範囲の中に位置する特徴点があるか否かについて調べ、座標基準点近傍座標範囲内に位置する特徴点がある場合、その特徴点の種別が特異点であり、かつ品質カテゴリが重要もしくは普通であるか否かをチェックし、該チェックの結果が肯定的であるときに、前記第1の座標基準点を中心とした座標基準点近傍範囲半径の座標範囲である座標基準点近傍座標範囲に位置する近傍特徴点郡の低確信比率(=存在低確信である特徴点数÷近傍特徴点数)と、前記第1の座標基準点を中心とした半径の近傍座標範囲に位置する近傍特徴点郡の平均信頼度数(=信頼度数÷近傍特徴点数)と、前記第1の座標基準点を中心とした座標基準点近傍座標範囲半径の座標基準点近傍座標範囲の中にある近傍特徴点郡の指紋印象画像における任意のゾーンエリアの明瞭割合(=ゾーンが明瞭である特徴点数÷近傍特徴点数)とを各々算出し、算出した近傍特徴点郡の低確信比率が、低確信比率閾値よりも低く、平均信頼度数が、平均信頼度閾値以上で、かつゾーン明瞭割合がゾーン明瞭割合閾値以上であるか否かをチェックし、該チェックで肯定条件を全て満たす場合、指紋データの品質及び特徴点の確証性は高く、サーチ指紋特徴点の実画像上での座標位置のずれが少なくなる最適な座標基準点(照合基準点)となるコア指紋特徴点も存在するとするものであり、
前記第2の座標基準点は、任意の特徴点の座標量から規定範囲内の特徴点群をマニューシャ集合体とした時、サーチ側マニューシャ集合体とファイル側マニューシャ集合体とを決定し、特徴点配置が指紋照合パラメータで規定される規定値以内の対応マニューシャ対をして選択し、選択した複数のマニューシャ候補対を指紋照合パラメータで規定される閾値を使用して評価することでマニューシャ候補対の絞り込みを行い、絞り込んだマニューシャ候補対からサーチ指紋特徴点を対応するファイル指紋特徴点にどれだけ座標移動・回転させた場合に同じ座標位置になるかを表す座標変換量を求めることにより算出されることを特徴とする指紋照合方法。 - サーチ指紋データをファイル指紋データと照合する指紋照合方法であって、
サーチ指紋データに含まれる特徴点のうち、サーチ指紋データの第1の座標基準点を中心として所定半径の領域内の特徴点について品質評価を行う品質評価ステップと、
品質が高いと判定された場合には、前記第1の座標基準点を基に照合処理を行う第1照合ステップと、
品質が高くないと判断された場合には、新たに第2の座標基準点を算出して、当該第2の座標基準点を基に照合処理を行う第2照合ステップと、
を備え、
前記品質評価ステップに係るサーチ指紋データの第1の座標基準点とは、コア又はデルタの特異点であり、
前記品質評価とは、まず、サーチ指紋データに含まれる全ファイル指紋特徴点を対象として、前記第1の座標基準点を中心とした座標基準点近傍範囲半径の座標範囲となる座標基準点近傍座標範囲の中に位置する特徴点があるか否かについて調べ、座標基準点近傍座標範囲内に位置する特徴点がある場合、その特徴点の種別が特異点であり、かつ品質カテゴリが重要もしくは普通であるか否かをチェックし、該チェックの結果が肯定的であるときに、前記第1の座標基準点を中心とした座標基準点近傍範囲半径の座標範囲である座標基準点近傍座標範囲に位置する近傍特徴点郡の低確信比率(=存在低確信である特徴点数÷近傍特徴点数)と、前記第1の座標基準点を中心とした半径の近傍座標範囲に位置する近傍特徴点郡の平均信頼度数(=信頼度数÷近傍特徴点数)と、前記第1の座標基準点を中心とした座標基準点近傍座標範囲半径の座標基準点近傍座標範囲の中にある近傍特徴点郡の指紋印象画像における任意のゾーンエリアの明瞭割合(=ゾーンが明瞭である特徴点数÷近傍特徴点数)とを各々算出し、算出した近傍特徴点郡の低確信比率が、低確信比率閾値よりも低く、平均信頼度数が、平均信頼度閾値以上で、かつゾーン明瞭割合がゾーン明瞭割合閾値以上であるか否かをチェックし、該チェックで肯定条件を全て満たす場合、指紋データの品質及び特徴点の確証性は高く、サーチ指紋特徴点の実画像上での座標位置のずれが少なくなる最適な座標基準点(照合基準点)となるコア指紋特徴点も存在すると するものであり、
前記第2の座標基準点は、任意の特徴点の座標量から規定範囲内の特徴点群をマニューシャ集合体とした時、サーチ側マニューシャ集合体とファイル側マニューシャ集合体とを決定し、特徴点配置が指紋照合パラメータで規定される規定値以内の対応マニューシャ対をして選択し、選択した複数のマニューシャ候補対を指紋照合パラメータで規定される閾値を使用して評価することでマニューシャ候補対の絞り込みを行い、絞り込んだマニューシャ候補対からサーチ指紋特徴点を対応するファイル指紋特徴点にどれだけ座標移動・回転させた場合に同じ座標位置になるかを表す座標変換量を求めることにより算出されることを特徴とする指紋照合方法をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003053513A JP4032241B2 (ja) | 2003-02-28 | 2003-02-28 | 指紋照合装置及びその方法 |
US10/788,347 US7349560B2 (en) | 2003-02-28 | 2004-03-01 | Fingerprint verification device and method for the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003053513A JP4032241B2 (ja) | 2003-02-28 | 2003-02-28 | 指紋照合装置及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004265038A JP2004265038A (ja) | 2004-09-24 |
JP4032241B2 true JP4032241B2 (ja) | 2008-01-16 |
Family
ID=32905774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003053513A Expired - Lifetime JP4032241B2 (ja) | 2003-02-28 | 2003-02-28 | 指紋照合装置及びその方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7349560B2 (ja) |
JP (1) | JP4032241B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7421096B2 (en) * | 2004-02-23 | 2008-09-02 | Delefevre Patrick Y | Input mechanism for fingerprint-based internet search |
WO2006114891A1 (ja) * | 2005-04-25 | 2006-11-02 | Fujitsu Limited | ファイル管理方法 |
CN100356386C (zh) * | 2005-09-16 | 2007-12-19 | 张英杰 | 在指纹识别系统中对指纹图像加密及识别的方法 |
JP4876639B2 (ja) * | 2006-03-08 | 2012-02-15 | 日本電気株式会社 | 画像照合処理システム及びその障害時の環境再現方法 |
JP4518092B2 (ja) * | 2006-03-31 | 2010-08-04 | ソニー株式会社 | 物体認識装置、物体認識方法、物体認識プログラム、特徴量登録装置、特徴量登録方法、及び特徴量登録プログラム |
WO2007123557A1 (en) * | 2006-04-26 | 2007-11-01 | Aware, Inc. | Fingerprint preview quality and segmentation |
US20100002915A1 (en) * | 2006-07-14 | 2010-01-07 | Ecebs Limited | Feedback in biometric systems |
GB2450479A (en) | 2007-06-22 | 2008-12-31 | Warwick Warp Ltd | Fingerprint recognition including preprocessing an image by justification and segmentation before plotting ridge characteristics in feature space |
CN102460473B (zh) * | 2009-06-24 | 2013-12-25 | 皇家飞利浦电子股份有限公司 | 具有和没有参考点的鲁棒生物统计特征提取 |
US8041956B1 (en) * | 2010-08-16 | 2011-10-18 | Daon Holdings Limited | Method and system for biometric authentication |
CN103294987A (zh) * | 2012-03-05 | 2013-09-11 | 天津华威智信科技发展有限公司 | 指纹匹配方法与实现方式 |
US8953854B2 (en) * | 2012-08-08 | 2015-02-10 | The Hong Kong Polytechnic University | Contactless 3D biometric feature identification system and method thereof |
JP6376873B2 (ja) * | 2014-07-16 | 2018-08-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US10515112B2 (en) * | 2015-06-23 | 2019-12-24 | Politecnico Di Torino | Method and device for searching images |
US20230029132A1 (en) * | 2019-12-26 | 2023-01-26 | Nec Carporation | Information processing system, information processing apparatus, information processing method, and computer program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4581760A (en) * | 1983-04-27 | 1986-04-08 | Fingermatrix, Inc. | Fingerprint verification method |
JP2821348B2 (ja) * | 1993-10-21 | 1998-11-05 | 日本電気ソフトウェア株式会社 | 指紋照合装置 |
JP2817730B2 (ja) | 1996-09-26 | 1998-10-30 | 日本電気株式会社 | 指紋照合結果表示制御装置 |
JP2001067474A (ja) | 1999-08-27 | 2001-03-16 | Nec Corp | 紋様データ照合装置 |
JP3454309B2 (ja) | 2001-03-14 | 2003-10-06 | 日本電気株式会社 | 画像照合処理装置および方法、画像照合システム |
-
2003
- 2003-02-28 JP JP2003053513A patent/JP4032241B2/ja not_active Expired - Lifetime
-
2004
- 2004-03-01 US US10/788,347 patent/US7349560B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20040170306A1 (en) | 2004-09-02 |
US7349560B2 (en) | 2008-03-25 |
JP2004265038A (ja) | 2004-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4032241B2 (ja) | 指紋照合装置及びその方法 | |
US10509943B2 (en) | Method of processing fingerprint information | |
US10127432B2 (en) | Derived virtual quality parameters for fingerprint matching | |
Zhang et al. | Core-based structure matching algorithm of fingerprint verification | |
US7711153B2 (en) | Method and apparatus for searching biometric image data | |
US7315634B2 (en) | Method for comparing fingerprints | |
US8995729B2 (en) | Accelerated comparison using scores from coarse and fine matching processes | |
US20080273770A1 (en) | Fast Fingerprint Identification And Verification By Minutiae Pair Indexing | |
JP5304655B2 (ja) | パターン間特徴対応付け装置及びそれに用いるパターン間特徴対応付け方法並びにそのプログラム | |
JP2785862B2 (ja) | 指紋カード選択装置および指紋カード絞り込み装置 | |
US7359533B2 (en) | Method and apparatus for identifying a fingerprint | |
US11893825B2 (en) | Method for determining a match between a candidate fingerprint and a reference fingerprint | |
Ahmed et al. | An advanced fingerprint matching using minutiae-based indirect local features | |
Ramires et al. | Accurate and efficient wi-fi fingerprinting-based indoor positioning in large areas | |
Zhang et al. | Incomplete fingerprint recognition based on feature fusion and pattern entropy | |
Singla et al. | Hybrid framework for identifying partial latent fingerprints using minutiae points and pores | |
US11727715B2 (en) | Method for determining a match between a candidate fingerprint and a reference fingerprint | |
JP2002297549A (ja) | 本人認証システム及びプログラム | |
Gudkov et al. | Fingerprint Minutiae Selection for Fast Identification | |
JP2009151682A (ja) | 指紋認証装置及びコンピュータプログラム | |
JPS63276681A (ja) | 指紋の照合装置 | |
Szucs et al. | The importance of feature selection in online signature verification | |
Yeung et al. | A comprehensive and real-time fingerprint verification system for embedded devices | |
Saquib et al. | A Cascaded Fingerprint Quality Assessment Scheme for Improved System Accuracy | |
JP2818317B2 (ja) | 指紋登録照合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071009 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4032241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 6 |
|
EXPY | Cancellation because of completion of term |