JP4127545B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4127545B2 JP4127545B2 JP2004524082A JP2004524082A JP4127545B2 JP 4127545 B2 JP4127545 B2 JP 4127545B2 JP 2004524082 A JP2004524082 A JP 2004524082A JP 2004524082 A JP2004524082 A JP 2004524082A JP 4127545 B2 JP4127545 B2 JP 4127545B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- distance
- image capturing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005259 measurement Methods 0.000 claims description 103
- 238000009826 distribution Methods 0.000 claims description 89
- 238000004364 calculation method Methods 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 33
- 239000000284 extract Substances 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 22
- 210000003127 knee Anatomy 0.000 claims description 15
- 210000002414 leg Anatomy 0.000 claims description 6
- 230000005484 gravity Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 19
- 238000013500 data storage Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
Description
第1図は、この発明にかかる画像処理装置の実施の形態1の構成を示すブロック図である。この第1図において、画像処理装置は、監視領域内を撮像する画像撮像部1、視野内の各位置で距離を計測する距離計測部2、画像撮像部1によって撮像された画像から顔領域を抽出する顔領域抽出部3、画像から距離を求めるための距離計測エリアを設定する距離計測エリア計算部4、距離計測エリア内での距離分布を計算する距離分布計算部5、および距離分布から人間が車椅子に乗車しているかを判定する車椅子存在判定部6を有する。
h=H−l・sinθ
として算出される。そして、画像中の車椅子の位置(車椅子に乗車したときの膝の位置)として、対象となっている乗客100の顔の中心から所定の距離sだけ下方に位置する部分に距離計測エリア112が設定される。この距離計測エリア112は、乗客100の大きさが異なっても目標とする膝以下の部分が抽出されるように所定の範囲を有するものである。
つぎに、この発明の実施の形態2について説明する。第9図は、この発明にかかる画像処理装置の実施の形態2の構成を示すブロック図である。この実施の形態2における画像処理装置は、実施の形態1に示した第1図の画像処理装置の距離計測部2に代えて、異なる位置から対象領域の画像を撮像するための第2の画像撮像部31、第3の画像撮像部32、および第2の画像撮像部31と第3の画像撮像部32によって撮像された画像から2眼ステレオ法を用いて対象物の距離を算出するステレオ演算部33を有する。その他の構成は、実施の形態1と同一であり、同一の構成要素には同一の符号を付してその説明を省略している。なお、実施の形態2の第1の画像撮像部1は、第1図の画像撮像部1に対応している。
z=f・D/(xA−xB)=f・D/S
として求められる。ただし、xA−xB=Sは視差であり、この視差Sは、光軸201A,201Bが平行で所定の間隔Dを隔てて設置された2つの画像撮像部31,32で一つの物体を撮像した場合に、それぞれの画像撮像部31,32に撮像された画像の位置の差を示している。このようにして、第2の画像撮像部31と第3の画像撮像部32によって撮像された2枚の画像A,Bから画像上の対象物までの距離を求めることができる。
つぎに、この発明の実施の形態3について説明する。第12図は、この発明にかかる画像処理装置の実施の形態3の構成を示すブロック図である。この実施の形態3における画像処理装置は、実施の形態1に示した画像処理装置に、画像撮像部1によって撮像された画像から変化領域のみを抽出する変化領域検出部41を設けている。その他の構成は、実施の形態1と同一であり、同一の構成要素には同一の符号を付してその説明を省略している。
Claims (8)
- 監視すべき対象領域内の画像を撮像する画像撮像手段と、
前記画像撮像手段によって撮像された画像から人間の顔領域を抽出し、前記画像撮像手段から前記人間の顔領域までの水平距離を算出する顔領域抽出手段と、
前記抽出された人間の顔領域から所定の距離だけ下方で、膝以下の足が含まれる距離計測エリアを設定する距離計測エリア計算手段と、
前記距離計測エリア内の各位置について、前記画像撮像手段からの水平距離を計測する距離計測手段と、
前記距離計測手段によって計測された水平距離を用いて前記距離計測エリア内の各位置における前記画像撮像手段からの水平方向の距離分布を計算する距離分布計算手段と、
前記顔領域抽出手段で得られた前記顔領域までの水平距離と、前記距離計測エリア内の水平方向の距離分布とを比較して、前記顔領域までの水平距離が前記距離計測エリア内の水平方向の距離分布とが異なる値である場合に、前記顔領域を有する人間が車椅子に乗車していると判定する車椅子存在判定手段と、
を備えることを特徴とする画像処理装置。 - 前記画像撮像手段によって撮像された画像と、前記対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備え、
前記顔領域抽出手段は、前記変化領域検出手段によって抽出された変化のあった領域でのみ顔領域を抽出することを特徴とする請求の範囲第1項に記載の画像処理装置。 - 前記距離計測手段は、走査型レーザレンジファインダであることを特徴とする請求の範囲第1項に記載の画像処理装置。
- 前記画像撮像手段によって撮像された画像と、前記対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備え、
前記顔領域抽出手段は、前記変化領域検出手段によって抽出された変化のあった領域でのみ顔領域を抽出することを特徴とする請求の範囲第3項に記載の画像処理装置。 - 監視すべき対象領域内の画像を撮像する第1の画像撮像手段と、
水平方向に距離をおいて配置された、前記対象領域の画像を撮像する第2および第3の画像撮像手段と、
前記第1の画像撮像手段によって撮像された画像から人間の顔領域を抽出し、前記第1の画像撮像手段から前記人間の顔領域までの水平距離を算出する顔領域抽出手段と、
前記第2および第3の画像撮像手段によって撮像された2枚の画像を用いて、ステレオ法によって前記第1の画像撮像手段によって撮像された画像の各位置について、前記第1の画像撮像手段からの水平距離を計測するステレオ演算手段と、
前記抽出された人間の顔領域から所定の距離だけ下方で、膝以下の足が含まれる距離計測エリアを設定する距離計測エリア計算手段と、
前記ステレオ演算手段によって計測された水平距離を用いて前記距離計測エリア内における前記第1の画像撮像手段からの水平方向の距離分布を計算する距離分布計算手段と、
前記顔領域抽出手段で得られた前記第1の画像撮像手段から前記顔領域までの水平距離と、前記距離計測エリア内の水平方向の距離分布とを比較して、前記顔領域までの水平距離が前記距離計測エリア内の水平方向の距離分布とが異なる値である場合に、前記顔領域を有する人間が車椅子に乗車していると判定する車椅子存在判定手段と、
を備えることを特徴とする画像処理装置。 - 前記第1の画像撮像手段によって撮像された画像と、前記対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備え、
前記顔領域抽出手段は、前記変化領域検出手段によって抽出された変化のあった領域でのみ顔領域を抽出することを特徴とする請求の範囲第5項に記載の画像処理装置。 - 監視すべき対象領域内の画像を撮像する第1の画像撮像手段と、
前記第1の画像撮像手段と水平方向に距離をおいて配置され、前記対象領域の画像を撮像する第2の画像撮像手段と、
前記第1の画像撮像手段によって撮像された画像から人間の顔領域を抽出し、前記第1の画像撮像手段から前記人間の顔領域までの水平距離を算出する顔領域抽出手段と、
前記第1および第2の画像撮像手段によって撮像された2枚の画像を用いて、ステレオ法によって前記第1の画像撮像手段によって撮像された画像の各位置について、前記第1の画像撮像手段からの距離を計測するステレオ演算手段と、
前記抽出された人間の顔領域から所定の距離だけ下方で、膝以下の足が含まれる距離計測エリアを設定する距離計測エリア計算手段と、
前記ステレオ演算手段によって計測された距離を用いて、前記距離計測エリア内における前記第1の画像撮像手段からの水平方向の距離分布を計算する距離分布計算手段と、
前記顔領域抽出手段で得られた前記第1の画像撮像手段から前記顔領域までの水平距離と、前記距離計測エリア内の水平方向の距離分布とを比較して、前記顔領域までの水平距離が前記距離計測エリア内の水平方向の距離分布とが異なる値である場合に、前記顔領域を有する人間が車椅子に乗車していると判定する車椅子存在判定手段と、
を備えることを特徴とする画像処理装置。 - 前記第1の画像撮像手段によって撮像された画像と、前記対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備え、
前記顔領域抽出手段は、前記変化領域検出手段によって抽出された変化のあった領域でのみ顔領域を抽出することを特徴とする請求の範囲第7項に記載の画像処理装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2002/007632 WO2004012142A1 (ja) | 2002-07-26 | 2002-07-26 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2004012142A1 JPWO2004012142A1 (ja) | 2005-11-24 |
JP4127545B2 true JP4127545B2 (ja) | 2008-07-30 |
Family
ID=30795867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004524082A Expired - Fee Related JP4127545B2 (ja) | 2002-07-26 | 2002-07-26 | 画像処理装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7142694B2 (ja) |
EP (1) | EP1526477B1 (ja) |
JP (1) | JP4127545B2 (ja) |
CN (1) | CN1321394C (ja) |
DE (1) | DE60236461D1 (ja) |
WO (1) | WO2004012142A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007020033A (ja) * | 2005-07-11 | 2007-01-25 | Nikon Corp | 電子カメラおよび画像処理プログラム |
JP4533824B2 (ja) * | 2005-08-30 | 2010-09-01 | 株式会社日立製作所 | 画像入力装置及び校正方法 |
US7813557B1 (en) | 2006-01-26 | 2010-10-12 | Adobe Systems Incorporated | Tagging detected objects |
US7978936B1 (en) | 2006-01-26 | 2011-07-12 | Adobe Systems Incorporated | Indicating a correspondence between an image and an object |
US7694885B1 (en) | 2006-01-26 | 2010-04-13 | Adobe Systems Incorporated | Indicating a tag with visual data |
US7636450B1 (en) | 2006-01-26 | 2009-12-22 | Adobe Systems Incorporated | Displaying detected objects to indicate grouping |
US7720258B1 (en) | 2006-01-26 | 2010-05-18 | Adobe Systems Incorporated | Structured comparison of objects from similar images |
US7813526B1 (en) | 2006-01-26 | 2010-10-12 | Adobe Systems Incorporated | Normalizing detected objects |
US8259995B1 (en) | 2006-01-26 | 2012-09-04 | Adobe Systems Incorporated | Designating a tag icon |
US7706577B1 (en) * | 2006-01-26 | 2010-04-27 | Adobe Systems Incorporated | Exporting extracted faces |
US7716157B1 (en) | 2006-01-26 | 2010-05-11 | Adobe Systems Incorporated | Searching images with extracted objects |
JP4811651B2 (ja) * | 2006-03-30 | 2011-11-09 | 独立行政法人産業技術総合研究所 | ステレオカメラを用いた車椅子使用者検出システム |
WO2007125794A1 (ja) * | 2006-04-27 | 2007-11-08 | Konica Minolta Holdings, Inc. | データ測定装置及びデータ測定方法 |
JP5140256B2 (ja) * | 2006-09-12 | 2013-02-06 | 株式会社ユニバーサルエンターテインメント | サンド装置、入金残高精算機及び遊技システム |
JP5140257B2 (ja) * | 2006-09-12 | 2013-02-06 | 株式会社ユニバーサルエンターテインメント | サンド装置、入金残高精算機、管理サーバ及び遊技システム |
JP4848244B2 (ja) * | 2006-10-19 | 2011-12-28 | 富士電機株式会社 | 情報案内システムおよび情報案内プログラム |
EP2196425A1 (de) * | 2008-12-11 | 2010-06-16 | Inventio Ag | Verfahren zur Benachteiligungsgerechten Benutzung einer Aufzugsanlage |
US20120175192A1 (en) * | 2011-01-11 | 2012-07-12 | Utechzone Co., Ltd. | Elevator Control System |
KR101046677B1 (ko) * | 2011-03-15 | 2011-07-06 | 동국대학교 산학협력단 | 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프 |
JP5733614B2 (ja) * | 2011-03-29 | 2015-06-10 | リコーイメージング株式会社 | 撮影情報管理方法、及び撮影情報管理装置 |
JP5879877B2 (ja) * | 2011-09-28 | 2016-03-08 | 沖電気工業株式会社 | 画像処理装置、画像処理方法、プログラム、および画像処理システム |
JP5567065B2 (ja) * | 2012-05-29 | 2014-08-06 | 東芝エレベータ株式会社 | エレベータの呼び登録装置 |
US10457521B2 (en) * | 2014-12-03 | 2019-10-29 | Inventio Ag | System and method for alternatively interacting with elevators |
WO2017068668A1 (ja) | 2015-10-21 | 2017-04-27 | 三菱電機株式会社 | 無線情報配信装置、無線情報配信装置の制御方法及び制御プログラム |
US10254402B2 (en) * | 2016-02-04 | 2019-04-09 | Goodrich Corporation | Stereo range with lidar correction |
JP6513594B2 (ja) * | 2016-03-30 | 2019-05-15 | 株式会社日立製作所 | エレベータ装置及びエレベータ制御方法 |
KR101774692B1 (ko) * | 2016-05-16 | 2017-09-04 | 현대자동차주식회사 | 에어백 제어 장치 및 방법 |
TWI719409B (zh) * | 2019-02-23 | 2021-02-21 | 和碩聯合科技股份有限公司 | 追蹤系統及其方法 |
CN109948494B (zh) * | 2019-03-11 | 2020-12-29 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110338800A (zh) * | 2019-07-17 | 2019-10-18 | 成都泰盟软件有限公司 | 自动测量身高体重的躺椅 |
CN111932596B (zh) * | 2020-09-27 | 2021-01-22 | 深圳佑驾创新科技有限公司 | 摄像头遮挡区域的检测方法、装置、设备和存储介质 |
JP7367174B1 (ja) | 2022-12-20 | 2023-10-23 | 東芝エレベータ株式会社 | エレベータシステム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04286596A (ja) * | 1991-03-13 | 1992-10-12 | Toshiba Corp | エスカレータ |
JPH05147835A (ja) * | 1991-11-25 | 1993-06-15 | Hitachi Ltd | 身体障害者対応エレベータの乗場呼び登録装置 |
US5323470A (en) * | 1992-05-08 | 1994-06-21 | Atsushi Kara | Method and apparatus for automatically tracking an object |
JPH061546A (ja) * | 1992-06-17 | 1994-01-11 | Hitachi Ltd | 車椅子運転仕様付エレベータの制御方法 |
JPH0692563A (ja) * | 1992-09-17 | 1994-04-05 | Hitachi Ltd | エレベータの人数計測装置 |
JP3643157B2 (ja) * | 1995-11-29 | 2005-04-27 | 池上通信機株式会社 | ステレオ画像による物体の高さ測定方法 |
US6027138A (en) * | 1996-09-19 | 2000-02-22 | Fuji Electric Co., Ltd. | Control method for inflating air bag for an automobile |
JP3103931B2 (ja) * | 1997-02-19 | 2000-10-30 | 鐘紡株式会社 | 室内監視装置 |
JPH11268879A (ja) * | 1998-03-20 | 1999-10-05 | Mitsubishi Electric Corp | エレベータの運転制御装置 |
JP4377472B2 (ja) * | 1999-03-08 | 2009-12-02 | 株式会社東芝 | 顔画像処理装置 |
JP2001302121A (ja) * | 2000-04-19 | 2001-10-31 | Mitsubishi Electric Corp | エレベータ装置 |
JP3697632B2 (ja) * | 2000-06-05 | 2005-09-21 | 沖電気工業株式会社 | 歩行支援システム |
JP2002197463A (ja) * | 2000-12-26 | 2002-07-12 | Matsushita Electric Ind Co Ltd | 挙動検出装置および挙動検出システム |
WO2002056251A1 (fr) * | 2000-12-27 | 2002-07-18 | Mitsubishi Denki Kabushiki Kaisha | Dispositif de traitement d'images et ascenseur sur lequel il est monte |
-
2002
- 2002-07-26 WO PCT/JP2002/007632 patent/WO2004012142A1/ja active Application Filing
- 2002-07-26 DE DE60236461T patent/DE60236461D1/de not_active Expired - Lifetime
- 2002-07-26 EP EP02751738A patent/EP1526477B1/en not_active Expired - Lifetime
- 2002-07-26 US US10/493,434 patent/US7142694B2/en not_active Expired - Fee Related
- 2002-07-26 CN CNB028251091A patent/CN1321394C/zh not_active Expired - Fee Related
- 2002-07-26 JP JP2004524082A patent/JP4127545B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1526477A4 (en) | 2008-09-10 |
JPWO2004012142A1 (ja) | 2005-11-24 |
CN1321394C (zh) | 2007-06-13 |
DE60236461D1 (de) | 2010-07-01 |
US7142694B2 (en) | 2006-11-28 |
EP1526477B1 (en) | 2010-05-19 |
CN1605086A (zh) | 2005-04-06 |
WO2004012142A1 (ja) | 2004-02-05 |
EP1526477A1 (en) | 2005-04-27 |
US20050013488A1 (en) | 2005-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4127545B2 (ja) | 画像処理装置 | |
US7079669B2 (en) | Image processing device and elevator mounting it thereon | |
CN100412501C (zh) | 图像获取设备 | |
US8929608B2 (en) | Device and method for recognizing three-dimensional position and orientation of article | |
US7627147B2 (en) | Method and apparatus for obtaining iris biometric information from a moving subject | |
JPWO2015052896A1 (ja) | 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム | |
JP2007187618A (ja) | 物体識別装置 | |
JP2005100372A (ja) | 撮像システム、及びプログラム | |
JP5300694B2 (ja) | 検出装置 | |
JP4431749B2 (ja) | 顔姿勢検出方法 | |
JPH07324792A (ja) | 人体認識装置 | |
JP4056813B2 (ja) | 障害物検知装置 | |
JP5165540B2 (ja) | 身長検出システムおよびこれを用いた自動改札機 | |
JP4476546B2 (ja) | 画像処理装置及びそれを搭載したエレベータ | |
JP2010262527A (ja) | 通行者計数装置、通行者計数方法および通行者計数プログラム | |
KR102233288B1 (ko) | 복수의 카메라를 이용한 얼굴식별 발열감지 및 추적시스템 | |
JP2008146106A (ja) | 三次元物体を検出する装置 | |
JP6737213B2 (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
JP2015108941A (ja) | 車両用の画像認識装置 | |
JP4062100B2 (ja) | 形状測定装置 | |
CN204496025U (zh) | 一种基于双目视觉的列车车门与站台屏蔽门之间异物检测系统 | |
JP2005005912A (ja) | 監視装置 | |
JP3723881B2 (ja) | 軌道間隔測定方法および軌道間隔測定装置 | |
JP2010169431A (ja) | 通過検出装置 | |
KR102458582B1 (ko) | Tof 센서를 이용한 동물 사람 구별 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080507 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080508 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130523 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140523 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |