JP2001215109A - Iris image input apparatus - Google Patents
Iris image input apparatusInfo
- Publication number
- JP2001215109A JP2001215109A JP2000022924A JP2000022924A JP2001215109A JP 2001215109 A JP2001215109 A JP 2001215109A JP 2000022924 A JP2000022924 A JP 2000022924A JP 2000022924 A JP2000022924 A JP 2000022924A JP 2001215109 A JP2001215109 A JP 2001215109A
- Authority
- JP
- Japan
- Prior art keywords
- user
- eye
- iris
- image input
- input device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001508 eye Anatomy 0.000 claims abstract description 119
- 208000016339 iris pattern Diseases 0.000 claims abstract description 38
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 19
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 101100366710 Arabidopsis thaliana SSL12 gene Proteins 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101000777301 Homo sapiens Uteroglobin Proteins 0.000 description 1
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 101100366563 Panax ginseng SS13 gene Proteins 0.000 description 1
- 102100031083 Uteroglobin Human genes 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 201000006318 hyperopia Diseases 0.000 description 1
- 230000004305 hyperopia Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
- Image Input (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、個人の識別に利用
される人間のアイリス(虹彩)画像を入力するための虹
彩画像入力装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an iris image input device for inputting a human iris (iris) image used for identifying an individual.
【0002】[0002]
【従来の技術】近年、個人の識別に人の眼の虹彩パター
ンを利用するようにした装置が各種開発されている。こ
の虹彩パターンは指紋等に比べ識別性が高く、また非接
触で行える等の利点を有していることから、種々の装置
における識別データとして盛んに利用されるようになっ
てきた。2. Description of the Related Art In recent years, various devices have been developed in which an iris pattern of a human eye is used to identify an individual. This iris pattern has advantages such as higher discriminability than fingerprints and the like and can be performed in a non-contact manner, and thus has been actively used as identification data in various devices.
【0003】この種の装置においては、虹彩の入力に際
し、利用者はその装置の前に立ち装置のLCD(液晶表
示器)を覗き込む。すると、装置はこれを検知し、利用
者の眼をビデオカメラで撮影する(S11)と共に測距
センサでビデオカメラと利用者との距離を測定し(S1
2)、また、ビデオカメラで撮影した画像から虹彩中心
位置を抽出する(S13)。ビデオカメラで撮影した利
用者の眼画像は、利用者自身が確認できるようにそのま
ま表示される(S14)。利用者は、LCD画面に表示
された自分の眼の画像を見ながらその眼画像が画面の中
心になるように眼球を左右に動かすと共にその画像の焦
点が合うように前後に動く等して調整する。この利用者
の動作により虹彩中心位置及びビデオカメラと間の距離
が虹彩パターン抽出に最適な位置になったとき(S1
5)、装置側が自動で虹彩パターンを抽出するようにし
ている(S16)。In this type of device, when inputting an iris, a user stands in front of the device and looks into an LCD (liquid crystal display) of the device. Then, the apparatus detects this, captures the user's eyes with the video camera (S11), and measures the distance between the video camera and the user with the distance measurement sensor (S1).
2) Further, the iris center position is extracted from the image taken by the video camera (S13). The eye image of the user photographed by the video camera is displayed as it is so that the user himself can confirm it (S14). The user moves the eyeball left and right so that the eye image is at the center of the screen while looking at the image of his own eye displayed on the LCD screen, and moves back and forth so that the image is in focus. I do. When the iris center position and the distance between the iris center and the video camera become the optimum positions for iris pattern extraction by the user's operation (S1)
5) The apparatus automatically extracts an iris pattern (S16).
【0004】[0004]
【発明が解決しようとする課題】このように、虹彩パタ
ーンを入力する際、利用者は自分の眼画像を見ながら自
身の眼球が最適な位置となるように動作するわけである
が、左右方向に関してはLCD画面上の眼画像の動きに
より自身の動作方向が正しいのか否かが簡単に判断でき
るものの、前後方向に関してはその判断が困難であっ
た。このように、虹彩パターン抽出に最適な位置に眼の
位置を導くのが非常に難しいという問題があった。As described above, when inputting an iris pattern, the user operates while watching his own eye image so that his or her own eyeball is at the optimum position. Although it is easy to determine whether or not the user's own operation direction is correct based on the movement of the eye image on the LCD screen, it has been difficult to determine the front and rear direction. As described above, there is a problem that it is very difficult to guide the position of the eye to the position optimal for iris pattern extraction.
【0005】また、利用者は自身の眼画像を確認しなが
らの入力操作となるため、非常に不気味で違和感がある
と共に、虹彩の入力に際し不快感を伴うという問題があ
った。[0005] In addition, since the user performs an input operation while checking his or her own eye image, there is a problem that the user is very eerie and uncomfortable, and the input of the iris is accompanied by discomfort.
【0006】このようなことから、簡単かつ快適に虹彩
入力が行える虹彩画像入力装置の開発が望まれていた。[0006] Under such circumstances, there has been a demand for the development of an iris image input device capable of performing iris input easily and comfortably.
【0007】[0007]
【課題を解決するための手段】(1)本発明の一つの態
様に係る虹彩画像入力装置は、三次元画像を表示する表
示手段と、利用者の眼を撮影する撮像手段と、利用者の
眼の位置を取得する眼位置取得手段と、利用者に対して
虹彩パターン抽出に最適な位置を示すための三次元最適
位置オブジェクトを生成し、且つ眼位置取得手段で取得
した利用者の眼位置に基づいて、最適位置に対する利用
者の眼位置を示す三次元眼位置オブジェクトを順次生成
し、これら三次元オブジェクトを表示手段に表示させる
三次元オブジェクト生成手段と、眼位置取得手段で取得
した利用者の眼位置が最適位置に一致したか否かを判断
する判断手段と、判断手段で最適な位置にあると判断さ
れたとき、撮像手段の撮像画像から虹彩パターンを抽出
する虹彩パターン抽出手段とを備えたものである。Means for Solving the Problems (1) An iris image input device according to one aspect of the present invention includes a display means for displaying a three-dimensional image, an image pickup means for photographing a user's eye, and a user's eye. An eye position obtaining means for obtaining the position of the eye, and a three-dimensional optimum position object for indicating to the user an optimum position for iris pattern extraction, and the user's eye position obtained by the eye position obtaining means A three-dimensional object generating means for sequentially generating a three-dimensional eye position object indicating a user's eye position with respect to the optimum position, and displaying the three-dimensional object on a display means; and a user acquired by the eye position acquiring means. And an iris pattern for extracting an iris pattern from an image picked up by the imaging means when it is determined that the eye position of the eye coincides with the optimum position. Out in which and means.
【0008】(2)本発明の他の態様に係る虹彩画像入
力装置は、上記(1)において、眼位置取得手段は、撮
像手段の撮像画像から利用者の平面方向の虹彩中心位置
を抽出する虹彩中心位置抽出手段と、利用者の顔との奥
行き方向の距離を測定する測距手段とを備えたものであ
る。(2) In the iris image input device according to another aspect of the present invention, in (1) above, the eye position acquiring means extracts the iris center position in the plane direction of the user from the image captured by the imaging means. It is provided with an iris center position extracting means and a distance measuring means for measuring a distance in a depth direction from a user's face.
【0009】(3)本発明の他の態様に係る虹彩画像入
力装置は、上記(1)又は(2)において、最適位置の
奥行き方向は、撮像手段の焦点位置に相当するものであ
る。(3) In the iris image input device according to another aspect of the present invention, in the above (1) or (2), the depth direction of the optimum position corresponds to the focal position of the imaging means.
【0010】(4)本発明の他の態様に係る虹彩画像入
力装置は、上記(1)〜(3)の何れかにおいて、赤外
線を出力する赤外線出力手段と、赤外線出力手段からの
赤外線を通過又は反射させることにより利用者の眼に照
射するホットミラーとを備えたものである。(4) An iris image input device according to another aspect of the present invention, wherein in any one of the above (1) to (3), an infrared output means for outputting infrared light and an infrared light from the infrared output means are passed. Or a hot mirror that reflects light to irradiate the user's eyes.
【0011】(5)本発明の他の態様に係る虹彩画像入
力装置は、上記(1)〜(4)の何れかにおいて、利用
者の眼位置が所定時間内に最適位置に到達しない場合、
利用者に対し、利用者の眼を最適位置に導くためのメッ
セージを利用者に通知する通知手段を備えたものであ
る。(5) An iris image input device according to another aspect of the present invention provides the iris image input device according to any one of (1) to (4), wherein the eye position of the user does not reach the optimum position within a predetermined time.
A notification means is provided for notifying the user of a message for guiding the user's eyes to the optimum position.
【0012】(6)本発明の他の態様に係る虹彩画像入
力装置は、上記(5)において、通知手段を音声手段又
は表示手段としたものである。(6) An iris image input device according to another aspect of the present invention is the iris image input device according to (5), wherein the notification means is a voice means or a display means.
【0013】(7)本発明の他の態様に係る虹彩画像入
力装置は、上記(1)〜(6)の何れかの虹彩画像入力
装置が、虹彩パターンを利用して個人識別を行う他の装
置に組み込まれるか又は虹彩パターンを外部装置に出力
可能に構成されるものである。(7) An iris image input device according to another aspect of the present invention is the iris image input device according to any one of (1) to (6), wherein the iris image input device performs personal identification using an iris pattern. The iris pattern is incorporated in the device or is configured to be able to output the iris pattern to an external device.
【0014】(8) 本発明の他の態様に係る虹彩画像
入力装置は、上記(1)〜(6)の何れかの虹彩画像入
力装置が、利用者の眼位置を利用する他の装置に組み込
まれるか又はその眼位置を外部装置に出力可能に構成さ
れるものである。(8) An iris image input device according to another aspect of the present invention is the iris image input device according to any one of the above (1) to (6), wherein the iris image input device is different from the other device using the eye position of the user. It is configured to be incorporated or to be able to output its eye position to an external device.
【0015】本発明においては、利用者の眼位置と虹彩
パターン抽出に最適な位置を示す最適位置とを三次元で
表現し、利用者の眼の位置と最適位置との相対関係が明
確になるようにする。この三次元オブジェクトに基づき
利用者が自身の眼の位置を最適位置となるように移動
し、最適位置に一致したとき、両眼の虹彩パターンを取
得する。In the present invention, the user's eye position and the optimum position indicating the optimum position for iris pattern extraction are expressed in three dimensions, and the relative relationship between the user's eye position and the optimum position becomes clear. To do. Based on this three-dimensional object, the user moves the position of his or her own eye to the optimum position, and when the user matches the optimum position, acquires the iris pattern of both eyes.
【0016】[0016]
【発明の実施の形態】図1は本発明の一実施の形態の虹
彩入力装置の構成の概略図である。図2は図1の立体視
ディスプレイにおける立体画像表示の原理を示す概略図
である。この虹彩画像入力装置は、利用者の眼を撮影す
る赤外線ランプ1a付きのビデオカメラ1と、立体視デ
ィスプレイ2と、ホットミラー3と、眼位置取得手段4
と、該眼位置取得手段4を構成する虹彩中心位置抽出手
段5及び測距センサ6と、三次元オブジェクト生成手段
7と、判断手段8と、虹彩パターン抽出手段9と、利用
者検知手段10と、音声出力手段11と、これら各手段
を含む虹彩画像入力装置全体を制御する制御手段12と
を具備した構成である。FIG. 1 is a schematic diagram showing the configuration of an iris input device according to an embodiment of the present invention. FIG. 2 is a schematic diagram showing the principle of displaying a stereoscopic image on the stereoscopic display of FIG. This iris image input device includes a video camera 1 with an infrared lamp 1a for photographing a user's eyes, a stereoscopic display 2, a hot mirror 3, and an eye position acquisition unit 4.
An iris center position extracting unit 5 and a distance measuring sensor 6 constituting the eye position acquiring unit 4; a three-dimensional object generating unit 7; a judging unit 8; an iris pattern extracting unit 9; , An audio output unit 11 and a control unit 12 for controlling the entire iris image input device including these units.
【0017】この立体視ディスプレイ2は、図2に示す
ように左眼用映像を左眼へ、右眼用画像を右眼へそれぞ
れ独立した映像を表示することで三次元画像表示を行う
もので、例えばLCD等の平面ディスプレイとレンティ
キュラー板とを組み合わせたもの、並列二画面、液晶シ
ャッター眼鏡と液晶シャッター連動ディスプレイ等の既
存の装置を適用でき、三次元画像表示が可能なものであ
れば特に制限はない。As shown in FIG. 2, the stereoscopic display 2 displays a three-dimensional image by displaying an image for the left eye to the left eye and an image for the right eye to the right eye. For example, an existing device such as a combination of a flat display such as an LCD and a lenticular plate, a parallel dual screen, a liquid crystal shutter glasses and a liquid crystal shutter interlocking display can be applied, and any device capable of displaying a three-dimensional image can be used. No restrictions.
【0018】この立体視ディスプレイ2の正面には斜め
にホットミラー3(可視光線を透過し、赤外線を反射)
が設けられ、その下方にビデオカメラ1が配置されてい
る。立体視ディスプレイ2に表示された三次元画像はホ
ットミラー3を通過して利用者の眼に導かれ、一方、ビ
デオカメラ1の赤外線ランプ1aからの光はホットミラ
ー3で反射して利用者の眼に照射されその反射光がホッ
トミラー3で反射されてビデオカメラ1へと導かれる。
眼の虹彩は、近赤外線領域での反射率が高いため、この
ように赤外線ランプ1aを用いて利用者の眼に赤外線の
照明を当てつつ撮影することによりコントラストの良い
画像が得られる。In front of the stereoscopic display 2, a hot mirror 3 (visible light is transmitted and infrared light is reflected) is inclined.
Is provided, and the video camera 1 is arranged below it. The three-dimensional image displayed on the stereoscopic display 2 passes through the hot mirror 3 and is guided to the user's eyes, while the light from the infrared lamp 1a of the video camera 1 is reflected by the hot mirror 3 and reflected by the user. The light is radiated to the eye and the reflected light is reflected by the hot mirror 3 and guided to the video camera 1.
Since the iris of the eye has a high reflectance in the near-infrared region, a high-contrast image can be obtained by photographing while irradiating the user's eyes with infrared light using the infrared lamp 1a.
【0019】眼位置取得手段4は利用者の眼の位置を取
得するもので、平面方向の位置を取得する虹彩中心位置
抽出手段5と奥行き方向の位置を取得する測距センサ6
で構成される。虹彩中心位置抽出手段5は、ビデオカメ
ラ1で撮影された眼画像から虹彩中心位置(X,Y)を
抽出する。測距センサ6は、利用者との距離、具体的に
は利用者の顔面との距離(Z)を計測する。なお、測距
センサ6は利用者の顔面までの距離(Z)を計測するも
ので、眼までの距離を正確に計測するものはないが、顔
面までの距離を眼位置と見なしても、虹彩パターン取得
上特に問題はない。なお、図2に示すように平面方向に
X軸、Y軸を、奥行き方向にZ軸をとり、各々の軸の交
点は画面中央且つ測距センサ6の設置位置上に構成され
る。The eye position obtaining means 4 obtains the position of the user's eye, and includes an iris center position extracting means 5 for obtaining a position in a plane direction and a distance measuring sensor 6 for obtaining a position in a depth direction.
It consists of. The iris center position extracting means 5 extracts an iris center position (X, Y) from an eye image taken by the video camera 1. The distance measuring sensor 6 measures the distance to the user, specifically, the distance (Z) to the user's face. Note that the distance measuring sensor 6 measures the distance (Z) to the user's face, and there is no one that accurately measures the distance to the eyes. However, even if the distance to the face is regarded as the eye position, the iris is not considered. There is no particular problem in pattern acquisition. As shown in FIG. 2, an X axis and a Y axis are set in the plane direction, and a Z axis is set in the depth direction. The intersection of each axis is formed at the center of the screen and on the installation position of the distance measuring sensor 6.
【0020】これら虹彩中心位置抽出手段5及び測距セ
ンサ6で取得された利用者の眼位置は判断手段8に出力
される。The user's eye position obtained by the iris center position extracting means 5 and the distance measuring sensor 6 is output to the judging means 8.
【0021】三次元オブジェクト生成手段7は、三次元
オブジェクトを複数生成し、それらを立体視ディスプレ
イ2に表示させる手段で、背景(部屋)オブジェクトA
及び利用者に対して虹彩パターン抽出に最適な位置を示
すための最適位置オブジェクトBを生成して立体視ディ
スプレイ2に表示する。また、眼位置取得手段4で取得
した利用者の眼位置(X,Y,Z)に基づき、三次元空
間における利用者の眼位置を示す三次元眼位置オブジェ
クトCを順次生成し、立体視ディスプレイ2に表示す
る。The three-dimensional object generating means 7 generates a plurality of three-dimensional objects and displays them on the stereoscopic display 2.
Then, an optimal position object B for indicating the optimal position for iris pattern extraction to the user is generated and displayed on the stereoscopic display 2. Further, based on the user's eye position (X, Y, Z) acquired by the eye position acquisition means 4, a three-dimensional eye position object C indicating the user's eye position in a three-dimensional space is sequentially generated, and a stereoscopic display is performed. 2 is displayed.
【0022】この眼位置オブジェクトCは、利用者の動
きに追従して移動するもので、利用者に対し最適位置に
対する自身の眼位置を相対的に認識させるものである。
ここで、最適位置とはXY方向は画面中央、Z方向はビ
デオカメラ1の焦点距離に相当し、眼位置オブジェクト
Cは、利用者がビデオカメラ1の焦点距離に位置し、画
面中央に視線を合わせた時に最適位置オブジェクトBに
一致するように構成されている。なお、このような三次
元オブジェクトは、遠視法により右眼と左眼それぞれの
画像を算出し、立体視ディスプレイ2に表示されるもの
であり、このような三次元画像表示の技術は、公知の技
術を利用するもので、ここではその詳細な説明は省略す
る。The eye position object C moves following the movement of the user, and allows the user to relatively recognize his or her own eye position with respect to the optimum position.
Here, the optimal position corresponds to the center of the screen in the X and Y directions and the focal length of the video camera 1 in the Z direction. It is configured to match the optimum position object B when they are combined. In addition, such a three-dimensional object calculates the image of each of the right eye and the left eye by hyperopia, and is displayed on the stereoscopic display 2. Such a three-dimensional image display technology is known in the art. Since the technology is used, a detailed description thereof is omitted here.
【0023】図3はこれら三次元オブジェクトが表示さ
れた立体視ディスプレイの表示画面の一例を示す図であ
る。図3に示すように、立体視ディスプレイ2には、三
次元空間(部屋)の中心(画面の中心に相当)に最適位
置オブジェクトBである立体十字ラインが表示されると
共に、球状の眼位置オブジェクトCが表示される。この
ように、三次元オブジェクトで最適位置と眼位置とを表
現するので、互いの相対関係が一目で認識できるように
なり、利用者は自身の眼球を簡単に最適位置に移動させ
ることができるようになる。FIG. 3 is a diagram showing an example of a display screen of a stereoscopic display on which these three-dimensional objects are displayed. As shown in FIG. 3, on the stereoscopic display 2, a three-dimensional cross line that is the optimum position object B is displayed at the center of the three-dimensional space (room) (corresponding to the center of the screen), and a spherical eye position object is displayed. C is displayed. As described above, since the optimal position and the eye position are represented by the three-dimensional object, the mutual relationship can be recognized at a glance, and the user can easily move his or her own eyeball to the optimal position. become.
【0024】判断手段8は、眼位置取得手段4からの眼
位置(X,Y,Z)に基づいて利用者の眼位置が最適位
置に一致したか否かを判断し、一致したと判断した場
合、後述の虹彩パターン抽出手段9に抽出指示信号を送
出する。The judging means 8 judges whether or not the user's eye position coincides with the optimum position based on the eye position (X, Y, Z) from the eye position acquiring means 4, and judges that they have coincided. In this case, an extraction instruction signal is sent to the iris pattern extraction means 9 described later.
【0025】虹彩パターン抽出手段9は、判断手段8か
らの抽出指示信号を受信すると、ビデオカメラ1からの
撮影画像から両眼の虹彩パターンの抽出を行う。なお、
上述したように虹彩パターンは識別性が高いことで知ら
れ、片眼で約10万人まで識別可能とされており、この
ように両眼の認証によれば、その識別能力を100億人
まで高めることができる。Upon receiving the extraction instruction signal from the judging means 8, the iris pattern extracting means 9 extracts the iris patterns of both eyes from the image taken by the video camera 1. In addition,
As described above, the iris pattern is known for its high discriminability, and it is possible to discriminate up to about 100,000 persons with one eye. Thus, according to the authentication of both eyes, the discrimination ability can be increased to 10 billion persons Can be enhanced.
【0026】一方、測距センサ6で計測された利用者と
の距離は、利用者検知手段10に出力され、利用者検知
手段10はこの測距センサ6からの距離により利用者が
所定範囲(例えばビデオカメラ1の焦点距離)内に近づ
いたか否かを検知する。利用者検知手段10で利用者が
検知されると、制御手段12はビデオカメラ1他、装置
全体の動作を開始させる。On the other hand, the distance to the user measured by the distance measuring sensor 6 is output to the user detecting means 10, and the user detecting means 10 determines the distance of the user to a predetermined range (from the distance from the distance measuring sensor 6). For example, it is detected whether the distance is within the range of the focal length of the video camera 1). When the user is detected by the user detecting means 10, the control means 12 starts the operation of the video camera 1 and the whole apparatus.
【0027】制御手段12は、装置動作開始からの時間
を計測し、所定時間内に判断手段8から抽出指示信号が
送出されない場合、すなわち所定時間内に利用者の眼位
置が最適位置に一致しない場合、利用者の眼球を最適位
置に導くための誘導メッセージを音声出力手段11から
出力させるか又は文字や絵等で立体視ディスプレイ2に
表示する。もちろん、このように誘導メッセージを用い
なくても眼位置オブジェクトCと最適位置オブジェクト
Bだけで利用者を導くことは可能であるが、更に誘導性
を高めるためにこのような機能を設けた。The control means 12 measures the time from the start of the operation of the apparatus, and when the extraction instruction signal is not transmitted from the determination means 8 within a predetermined time, that is, the eye position of the user does not coincide with the optimum position within the predetermined time. In this case, a guidance message for guiding the user's eyeball to the optimal position is output from the audio output means 11 or displayed on the stereoscopic display 2 in characters or pictures. Of course, it is possible to guide the user only by using the eye position object C and the optimum position object B without using the guidance message as described above. However, such a function is provided to further enhance the guidance.
【0028】以下、本実施の形態の動作を図を参照しな
がら説明する。図4は本発明の一実施の形態の処理の流
れを示すフローチャートである。利用者が虹彩画像入力
装置の前に立ち、立体視ディスプレイ2を覗き込むと、
利用者検知手段10は利用者が所定距離内に近づいたこ
とを検知する。これによりビデオカメラ1が作動し、赤
外線ランプ1aから赤外線が出力され、この赤外線はホ
ットミラー3で反射されて利用者の眼に照射される。赤
外線を照射された眼は、この赤外線を反射し、その反射
光はホットミラー3で反射されてビデオカメラ1に入力
され、ビデオカメラ1で利用者の眼が撮影される(S
1)。一方、眼位置取得手段4は利用者の眼位置の抽出
し、三次元オブジェクト生成手段7及び判断手段8に出
力する。すなわち、測距センサ6で利用者の顔面までの
距離(Z)を測定すると共に(S2)、虹彩中心位置抽
出手段5で虹彩中心位置(X,Y)の抽出し(S3)、
このようにして取得した利用者の眼位置(X,Y,Z)
が三次元オブジェクト生成手段7及び判断手段8に出力
される。The operation of this embodiment will be described below with reference to the drawings. FIG. 4 is a flowchart showing the flow of the process according to the embodiment of the present invention. When the user stands in front of the iris image input device and looks into the stereoscopic display 2,
The user detecting means 10 detects that the user has approached within a predetermined distance. As a result, the video camera 1 operates, and infrared rays are output from the infrared lamp 1a. The infrared rays are reflected by the hot mirror 3 and radiated to the user's eyes. The eye irradiated with the infrared rays reflects the infrared rays, and the reflected light is reflected by the hot mirror 3 and input to the video camera 1, and the user's eyes are photographed by the video camera 1 (S).
1). On the other hand, the eye position acquisition means 4 extracts the user's eye position and outputs it to the three-dimensional object generation means 7 and the judgment means 8. That is, the distance (Z) to the user's face is measured by the distance measuring sensor 6 (S2), and the iris center position (X, Y) is extracted by the iris center position extracting means 5 (S3).
The user's eye position (X, Y, Z) thus obtained
Is output to the three-dimensional object generation means 7 and the judgment means 8.
【0029】三次元オブジェクト生成手段7は、背景オ
ブジェクトA及び最適位置オブジェクトBを生成表示す
ると共に、利用者の眼位置(X,Y,Z)に基づき眼位
置オブジェクトCを生成し、立体視ディスプレイ2に表
示する(S4)。利用者は表示画面を見ながら眼位置オ
ブジェクトCを最適位置オブジェクトBの中心に移動さ
せるべく眼球位置を調整する。The three-dimensional object generating means 7 generates and displays a background object A and an optimum position object B, generates an eye position object C based on the user's eye position (X, Y, Z), and displays the three-dimensional object. 2 (S4). The user adjusts the eyeball position so as to move the eye position object C to the center of the optimum position object B while watching the display screen.
【0030】一方、判断手段8は眼位置取得手段4から
の眼位置(X,Y,Z)に基づき利用者の眼位置が最適
位置に一致したか否かをチェックしており(S5)、最
適位置に一致した場合、虹彩パターン抽出手段9に抽出
指示信号を送出し、虹彩パターン抽出手段9は抽出指示
信号を受信すると両眼の虹彩パターンの抽出を行う(S
6)。On the other hand, the judging means 8 checks whether or not the user's eye position coincides with the optimum position based on the eye position (X, Y, Z) from the eye position acquiring means 4 (S5). If the position coincides with the optimum position, an extraction instruction signal is sent to the iris pattern extraction means 9, and upon receiving the extraction instruction signal, the iris pattern extraction means 9 extracts the iris patterns of both eyes (S
6).
【0031】なお、制御手段12は動作開始からの時間
を計測しており、所定時間内に判断手段8から抽出指示
信号が送出されない場合、音声出力手段11から「もう
少し、前に移動して下さい」等の音声ガイドを流した
り、その旨の文字や絵等を立体視ディスプレイ2に表示
する。The control means 12 measures the time from the start of the operation. If the extraction instruction signal is not sent from the judgment means 8 within a predetermined time, the voice output means 11 outputs "Please move forward a little more." , Etc., and characters and pictures to that effect are displayed on the stereoscopic display 2.
【0032】このようにして抽出された虹彩パターンは
外部装置に出力され、識別データとして利用される。こ
の外部装置としては、例えば個人識別装置や、該個人識
別装置の利用にあたり予め虹彩パターンを登録するため
の登録装置、従来技術で説明した扉解錠のための装置、
更にはゲームセンター等に設置されるゲーム機等が該当
する。もちろんこれらの装置に限られたものではない。
また、このようにこれらの装置を外部接続するのではな
く、虹彩画像入力装置自体をこれらの装置に組み込むよ
うにしてももちろん良い。例えばゲームセンター等に設
置されるゲーム機内に組み込んだ場合、虹彩パターンで
個人識別が可能となることから、例えば操作履歴をユー
ザ毎に管理し、操作履歴に応じたゲームを提供できるな
どのサービスが可能となる。また、このようなゲーム機
を複数、ネットワークを介してホストコンピュータに接
続し、ゲーム機側で取得した虹彩パターンをホストコン
ピュータ側に予め登録した虹彩パターンと照合してユー
ザを識別することにより、ユーザがネットワーク上のど
のゲーム端末を利用しても上記のようなサービスを提供
できるゲームシステムを構成することも可能となる。The iris pattern extracted as described above is output to an external device and used as identification data. As the external device, for example, a personal identification device, a registration device for registering an iris pattern in advance in using the personal identification device, a device for unlocking the door described in the related art,
Furthermore, a game machine installed in a game center or the like corresponds to the game machine. Of course, it is not limited to these devices.
Also, instead of connecting these devices externally, the iris image input device itself may be incorporated in these devices. For example, when incorporated in a game machine installed in a game center or the like, personal identification can be performed with an iris pattern. For example, services such as managing operation histories for each user and providing a game according to the operation histories are provided. It becomes possible. Further, a plurality of such game machines are connected to a host computer via a network, and an iris pattern acquired on the game machine side is compared with an iris pattern registered in advance on the host computer side to identify a user, thereby identifying a user. It is also possible to configure a game system that can provide the above-mentioned service using any game terminal on the network.
【0033】このように、利用者の眼位置及び最適位置
を三次元オブジェクトで表現することで利用者に対して
自身の眼位置と最適位置との相対関係を一目で認識させ
ることができるので、利用者は自身の眼位置を最適位置
に合わせるにはどのように動作すれば良いのかが容易に
判断でき、虹彩入力操作を簡単に行うことができる。As described above, the user's eye position and the optimum position are represented by a three-dimensional object, so that the user can recognize at a glance the relative relationship between the user's own eye position and the optimum position. The user can easily determine how to operate to adjust his / her eye position to the optimal position, and can easily perform the iris input operation.
【0034】また、眼位置を示すためのフィードバック
画像を三次元オブジェクトとしたので、眼画像をそのま
ま表示する従来の装置のように不快感を与えることがな
く、快適な入力操作が可能となる。Also, since the feedback image for indicating the eye position is a three-dimensional object, a comfortable input operation can be performed without giving any discomfort unlike a conventional device that displays an eye image as it is.
【0035】また、このように三次元オブジェクトを利
用することで、ゲーム感覚で入力操作が行えるので、利
用者に知られることなく虹彩パターンを抽出したい場合
にも適用可能となる。In addition, since the input operation can be performed in the sense of a game by using the three-dimensional object as described above, the present invention can be applied to a case where an iris pattern is to be extracted without the user's knowledge.
【0036】また、赤外線ランプ1a付のビデオカメラ
1及びホットミラー3を用い、利用者の眼に赤外線照明
を当てつつ眼の撮影を行うようにしたので、良好な虹彩
画像を撮影することができる。Since the video camera 1 with the infrared lamp 1a and the hot mirror 3 are used to photograph the user's eyes while irradiating the user with infrared light, a good iris image can be photographed. .
【0037】また、両眼の虹彩パターンを抽出するよう
にしたので、不特定多数の個人を識別する必要がある装
置において、この虹彩画像入力装置は非常に有効であ
る。Further, since the iris patterns of both eyes are extracted, the iris image input device is very effective in a device which needs to identify an unspecified number of individuals.
【0038】なお、取得した利用者の眼位置(X,Y,
Z)は、眼位置を利用して各種処理を行う外部装置に出
力することも可能である。また、このような眼位置を必
要とする装置を外部接続するのではなく、当該装置に虹
彩画像入力装置自体を組み込むようにしても良い。The acquired user's eye position (X, Y,
Z) can also be output to an external device that performs various processes using the eye position. Further, instead of externally connecting a device requiring such an eye position, the iris image input device itself may be incorporated in the device.
【0039】[0039]
【発明の効果】以上に説明したように、本発明によれ
ば、利用者の眼の動きに追従する眼位置オブジェクト
と、虹彩パターン抽出に最適な位置を示す最適位置オブ
ジェクトとを三次元で表現し、利用者の眼の位置と最適
位置との相対関係が明確となるようにしたので、利用者
は自身の眼位置を最適位置に合わせるにはどのように動
作すれば良いのかが容易に判断でき、虹彩入力操作を簡
単に行うことができる。また、眼の位置を示す画像を従
来のような眼画像そのものではなく三次元オブジェクト
としたので、虹彩入力に際して利用者に不快感を与える
ことがない。As described above, according to the present invention, the eye position object that follows the movement of the user's eye and the optimum position object indicating the optimum position for iris pattern extraction are represented in three dimensions. In addition, the relative relationship between the user's eye position and the optimal position is made clear, so that the user can easily determine how to operate to adjust his / her own eye position to the optimal position. The iris input operation can be easily performed. Further, since the image indicating the position of the eye is not a conventional eye image itself but a three-dimensional object, the user does not feel uncomfortable when inputting the iris.
【図1】本発明の一実施の形態に係る虹彩画像入力装置
の構成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of an iris image input device according to an embodiment of the present invention.
【図2】図1の立体視ディスプレイにおける立体画像表
示の原理を示す概略図である。FIG. 2 is a schematic diagram showing the principle of displaying a stereoscopic image on the stereoscopic display of FIG. 1;
【図3】立体視ディスプレイの表示画面の一例を示す図
である。FIG. 3 is a diagram illustrating an example of a display screen of a stereoscopic display.
【図4】本発明の一実施の形態の処理の流れを示すフロ
ーチャートである。FIG. 4 is a flowchart illustrating a flow of a process according to an embodiment of the present invention.
【図5】従来の処理の流れを示すフローチャートであ
る。FIG. 5 is a flowchart showing the flow of a conventional process.
1 ビデオカメラ(撮像手段) 2 立体視ディスプレイ(表示手段) 3 ホットミラー 4 眼位置取得手段 5 虹彩中心位置抽出手段 6 測距センサ 7 三次元オブジェクト生成手段 8 判断手段 9 虹彩パターン抽出手段 11 音声出力手段 DESCRIPTION OF SYMBOLS 1 Video camera (imaging means) 2 Stereoscopic display (display means) 3 Hot mirror 4 Eye position acquisition means 5 Iris center position extraction means 6 Distance measuring sensor 7 Three-dimensional object generation means 8 Judgment means 9 Iris pattern extraction means 11 Voice output means
───────────────────────────────────────────────────── フロントページの続き (72)発明者 遠藤 欽也 東京都港区虎ノ門1丁目7番12号 沖電気 工業株式会社内 Fターム(参考) 2F065 AA03 AA04 AA06 AA17 BB05 CC16 FF04 FF42 GG21 HH13 JJ01 JJ03 JJ05 JJ09 JJ19 LL00 NN20 PP22 QQ21 QQ28 SS01 SS02 SS03 SS13 TT02 4C038 VA07 VB04 VC01 VC05 5B047 AA23 AB02 AB04 BB06 CA12 CA23 CB11 CB22 ────────────────────────────────────────────────── ─── Continued on the front page (72) Kinya Endo 1-7-12 Toranomon, Minato-ku, Tokyo Oki Electric Industry Co., Ltd. F-term (reference) 2F065 AA03 AA04 AA06 AA17 BB05 CC16 FF04 FF42 GG21 HH13 JJ01 JJ03 JJ05 JJ05 JJ09 JJ19 LL00 NN20 PP22 QQ21 QQ28 SS01 SS02 SS03 SS13 TT02 4C038 VA07 VB04 VC01 VC05 5B047 AA23 AB02 AB04 BB06 CA12 CA23 CB11 CB22
Claims (8)
めの三次元最適位置オブジェクトを生成し、且つ前記眼
位置取得手段で取得した利用者の眼位置に基づいて、前
記最適位置に対する利用者の眼位置を示す三次元眼位置
オブジェクトを順次生成し、これら三次元オブジェクト
を前記表示手段に表示させる三次元オブジェクト生成手
段と、 前記眼位置取得手段で取得した利用者の眼位置が前記最
適位置に一致したか否かを判断する判断手段と、 前記判断手段で最適な位置にあると判断されたとき、前
記撮像手段の撮像画像から虹彩パターンを抽出する虹彩
パターン抽出手段とを備えたことを特徴とする虹彩画像
入力装置。A display means for displaying a three-dimensional image; an imaging means for photographing a user's eye; an eye position acquisition means for acquiring a position of the user's eye; A three-dimensional optimal position object for indicating an optimal position; and a three-dimensional eye position object indicating a user's eye position with respect to the optimal position based on the user's eye position acquired by the eye position acquiring means. Are sequentially generated, and a three-dimensional object generating means for displaying these three-dimensional objects on the display means, and a judgment for judging whether or not the eye position of the user acquired by the eye position acquiring means coincides with the optimum position Means; and an iris pattern extracting means for extracting an iris pattern from the image picked up by the image pick-up means when it is determined that the position is optimum by the judging means. Aya image input device.
像画像から利用者の平面方向の虹彩中心位置を抽出する
虹彩中心位置抽出手段と、利用者の顔との奥行き方向の
距離を測定する測距手段とを備えたことを特徴とする請
求項1記載の虹彩画像入力装置。2. An eye position obtaining means for extracting an iris center position in a plane direction of a user from an image picked up by the imaging means, and measuring a distance in a depth direction from a face of the user. The iris image input device according to claim 1, further comprising a distance measuring unit that performs distance measurement.
手段の焦点位置に相当することを特徴とする請求項1又
は2記載の虹彩画像入力装置。3. The iris image input device according to claim 1, wherein a depth direction of the optimum position corresponds to a focal position of the imaging unit.
赤外線出力手段からの赤外線を通過又は反射させること
により利用者の眼に照射するホットミラーとを備えたこ
とを特徴とする請求項1乃至請求項3の何れかに記載の
虹彩画像入力装置。4. An infrared output means for outputting infrared light, and a hot mirror for irradiating a user's eye by passing or reflecting infrared light from the infrared output means. The iris image input device according to claim 3.
最適位置に到達しない場合、前記利用者に対し、利用者
の眼を最適位置に導くためのメッセージを利用者に通知
する通知手段を備えたことを特徴とする請求項1乃至請
求項4の何れかに記載の虹彩画像入力装置。5. A notifying means for notifying the user of a message for guiding the user's eyes to the optimum position if the user's eye position does not reach the optimum position within a predetermined time. The iris image input device according to any one of claims 1 to 4, further comprising:
段とすることを特徴とする請求項5記載の虹彩画像入力
装置。6. The iris image input device according to claim 5, wherein said notification means is one of a voice means and said display means.
虹彩画像入力装置は、虹彩パターンを利用して個人識別
を行う他の装置に組み込まれるか又は前記虹彩パターン
を外部装置に出力可能に構成されることを特徴とする虹
彩画像入力装置。7. The iris image input device according to claim 1, which is incorporated in another device that performs personal identification using an iris pattern, or outputs the iris pattern to an external device. An iris image input device, characterized in that it can be configured.
虹彩画像入力装置は、利用者の眼位置を利用する他の装
置に組み込まれるか又はその眼位置を外部装置に出力可
能に構成されることを特徴とする虹彩画像入力装置。8. The iris image input device according to claim 1, wherein the iris image input device is incorporated in another device that uses a user's eye position or the eye position can be output to an external device. An iris image input device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000022924A JP4354067B2 (en) | 2000-01-31 | 2000-01-31 | Iris image input device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000022924A JP4354067B2 (en) | 2000-01-31 | 2000-01-31 | Iris image input device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001215109A true JP2001215109A (en) | 2001-08-10 |
JP4354067B2 JP4354067B2 (en) | 2009-10-28 |
Family
ID=18549155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000022924A Expired - Fee Related JP4354067B2 (en) | 2000-01-31 | 2000-01-31 | Iris image input device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4354067B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003141517A (en) * | 2001-10-31 | 2003-05-16 | Matsushita Electric Ind Co Ltd | Eye image pickup device and entrance / exit management system |
JP2003339676A (en) * | 2002-05-30 | 2003-12-02 | Matsushita Electric Ind Co Ltd | Eye imaging device |
JPWO2004021884A1 (en) * | 2002-09-03 | 2005-12-22 | 富士通株式会社 | Personal recognition device |
WO2008012905A1 (en) * | 2006-07-27 | 2008-01-31 | Panasonic Corporation | Authentication device and method of displaying image for authentication |
WO2009125689A1 (en) * | 2008-04-06 | 2009-10-15 | 国立大学法人九州工業大学 | Method of authenticating individual and apparatus of authenticating individual used for the same |
US8190239B2 (en) | 2002-09-03 | 2012-05-29 | Fujitsu Limited | Individual identification device |
KR101513976B1 (en) * | 2008-04-07 | 2015-04-21 | (주)아이리스아이디 | Apparatus for scanning the other person's iris employing viewfinder and method thereof |
JP2017134662A (en) * | 2016-01-28 | 2017-08-03 | 富士通株式会社 | Iris authentication control device, iris authentication control method, and iris authentication control program |
JP2019518210A (en) * | 2016-05-13 | 2019-06-27 | コー・ヤング・テクノロジー・インコーポレーテッド | Biological tissue inspection apparatus and method thereof |
-
2000
- 2000-01-31 JP JP2000022924A patent/JP4354067B2/en not_active Expired - Fee Related
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003141517A (en) * | 2001-10-31 | 2003-05-16 | Matsushita Electric Ind Co Ltd | Eye image pickup device and entrance / exit management system |
JP2003339676A (en) * | 2002-05-30 | 2003-12-02 | Matsushita Electric Ind Co Ltd | Eye imaging device |
JPWO2004021884A1 (en) * | 2002-09-03 | 2005-12-22 | 富士通株式会社 | Personal recognition device |
US8190239B2 (en) | 2002-09-03 | 2012-05-29 | Fujitsu Limited | Individual identification device |
US7894640B2 (en) | 2006-07-27 | 2011-02-22 | Panasonic Corporation | Identification apparatus and identification image displaying method |
WO2008012905A1 (en) * | 2006-07-27 | 2008-01-31 | Panasonic Corporation | Authentication device and method of displaying image for authentication |
JPWO2008012905A1 (en) * | 2006-07-27 | 2009-12-17 | パナソニック株式会社 | Authentication apparatus and authentication image display method |
WO2009125689A1 (en) * | 2008-04-06 | 2009-10-15 | 国立大学法人九州工業大学 | Method of authenticating individual and apparatus of authenticating individual used for the same |
GB2471045A (en) * | 2008-04-06 | 2010-12-15 | Kyushu Inst Technology | Method of authenticating individual and apparatus of authenticating individual used for the same |
GB2471045B (en) * | 2008-04-06 | 2012-10-03 | Kyushu Inst Technology | Method of authenticating individual and apparatus of authenticating individual used for the same |
US8462995B2 (en) | 2008-04-06 | 2013-06-11 | Kyushu Institute Of Technology | Method of authenticating individual and apparatus of authenticating individual used for the same |
KR101513976B1 (en) * | 2008-04-07 | 2015-04-21 | (주)아이리스아이디 | Apparatus for scanning the other person's iris employing viewfinder and method thereof |
JP2017134662A (en) * | 2016-01-28 | 2017-08-03 | 富士通株式会社 | Iris authentication control device, iris authentication control method, and iris authentication control program |
JP2019518210A (en) * | 2016-05-13 | 2019-06-27 | コー・ヤング・テクノロジー・インコーポレーテッド | Biological tissue inspection apparatus and method thereof |
US10754134B2 (en) | 2016-05-13 | 2020-08-25 | Koh Young Technology Inc. | Biological tissue inspection device and method therefor |
JP2021056231A (en) * | 2016-05-13 | 2021-04-08 | コー・ヤング・テクノロジー・インコーポレーテッド | Biological tissue inspection device and method therefor |
US11262566B2 (en) | 2016-05-13 | 2022-03-01 | Koh Young Technology Inc. | Biological tissue inspection device and method therefor |
JP7106804B2 (en) | 2016-05-13 | 2022-07-27 | コー・ヤング・テクノロジー・インコーポレーテッド | Biopsy device and method |
Also Published As
Publication number | Publication date |
---|---|
JP4354067B2 (en) | 2009-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20160012217A1 (en) | Mobile terminal for capturing biometric data | |
US6299306B1 (en) | Method and apparatus for positioning subjects using a holographic optical element | |
JP3562970B2 (en) | Biological identification device | |
US7271839B2 (en) | Display device of focal angle and focal distance in iris recognition system | |
EP0910836B1 (en) | Personal identification | |
CN100430959C (en) | Biometric based identification device | |
US7095901B2 (en) | Apparatus and method for adjusting focus position in iris recognition system | |
US20030169334A1 (en) | Iris capture device having expanded capture volume | |
CN102986235B (en) | Display device, display method, integrated circuit, program | |
US20090041309A1 (en) | System And Method For Iris Identification Using Stereoscopic Face Recognition | |
KR20030062377A (en) | System and method for iris recognition using stereoscopic face recognition | |
CN109410466A (en) | Driver's self-service examination equipment | |
CN104956377A (en) | Device for capturing person-specific data | |
KR101231068B1 (en) | An apparatus for collecting biometrics and a method thereof | |
JP4354067B2 (en) | Iris image input device | |
CN103678971B (en) | User information extracting method and user information extraction element | |
JP2004046451A (en) | Eye image pickup device and individual authentication device | |
JP3874778B2 (en) | Imaging device | |
KR101057720B1 (en) | User Authentication System and Method | |
JP2006323769A (en) | Face-to-face input device | |
KR101044079B1 (en) | Apparatus and method for iris recognition for others using wide angle camera | |
JP2003187235A (en) | Finger vein recognition device | |
JP3359247B2 (en) | Personal identification device | |
JP2008310480A (en) | Iris photographing device and iris authentication device | |
JP2020144692A (en) | Face collation device, face collation system, face collation method, and information recording medium issuance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090721 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090729 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |