JP3364394B2 - 距離測定装置 - Google Patents
距離測定装置Info
- Publication number
- JP3364394B2 JP3364394B2 JP29046696A JP29046696A JP3364394B2 JP 3364394 B2 JP3364394 B2 JP 3364394B2 JP 29046696 A JP29046696 A JP 29046696A JP 29046696 A JP29046696 A JP 29046696A JP 3364394 B2 JP3364394 B2 JP 3364394B2
- Authority
- JP
- Japan
- Prior art keywords
- fourier
- pattern data
- distance
- image data
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
を対象物(目標)とし、空間周波数特性に基づく画像デ
ータの照合を行い、その照合結果から目標までの距離を
測定する距離測定装置に関するものである。
標を2つのカメラで撮像し、片方の画像の中の目標が写
っている部分にウインドウを設定し、もう一方の画像中
にウインドウの画像と一致する部分があるかどうか、1
画素づつずらしながら各画素の差の絶対値の総和が最小
になったところを探索し、対応する画像間の距離を2つ
のカメラで撮像した画像のずれとして検出し、これに基
づいて目標までの距離を測定する装置がある。
うな従来の距離測定装置では、画像のずれを求めるのに
時間がかかる。また、ウインドウの設定を行う必要があ
り、処理が複雑となる。
なされたもので、その目的とするところは、簡単、かつ
短時間に目標までの距離を測定することのできる距離測
定装置を提供することにある。
るために、第1発明(請求項1に係る発明)は、第1の
カメラおよび第2のカメラを所定の距離を隔てて設置
し、第1のカメラで撮像された画像データを第1のパタ
ーンデータとし、この第1のパターンデータに2次元離
散的フーリエ変換を施して第1のフーリエ2次元パター
ンデータを作成し、第2のカメラで撮像された画像デー
タを第2のパターンデータとし、この第2のパターンデ
ータに2次元離散的フーリエ変換を施して第2のフーリ
エ2次元パターンデータを作成し、第1のフーリエ2次
元パターンデータと第2のフーリエ2次元パターンデー
タとを合成し、これによって得られる合成フーリエ2次
元パターンデータに2次元離散的フーリエ変換および2
次元離散的逆フーリエ変換の何れか一方を施し、これに
よってフーリエ変換の施された合成フーリエ2次元パタ
ーンデータに出現する相関成分エリアの基準位置付近を
除く範囲で相関ピークを求め、この相関成分エリアの基
準位置と相関ピークの位置との距離に基づいて目標まで
の距離を測定するようにしたものである。
れた画像データが第1のパターンデータとされ、この第
1のパターンデータに2次元離散的フーリエ変換が施さ
れて第1のフーリエ2次元パターンデータが作成され
る。また、第2のカメラで撮像された画像データが第2
のパターンデータとされ、この第2のパターンデータに
2次元離散的フーリエ変換が施されて第2のフーリエ2
次元パターンデータが作成される。そして、第1のフー
リエ2次元パターンデータと第2のフーリエ2次元パタ
ーンデータとが合成され、この合成フーリエ2次元パタ
ーンデータに2次元離散的フーリエ変換あるいは2次元
離散的逆フーリエ変換が施され、これによってフーリエ
変換の施された合成フーリエ2次元パターンデータに出
現する相関成分エリアの基準位置付近を除く範囲で相関
ピークが求められ、この相関成分エリアの基準位置と相
関ピークの位置との距離に基づいて目標までの距離が測
定される。
発明において、第1のフーリエ2次元パターンデータと
第2のフーリエ2次元パターンデータとを合成し、これ
によって得られる合成フーリエ2次元パターンデータに
振幅抑制処理を行ったうえ2次元離散的フーリエ変換お
よび2次元離散的逆フーリエ変換の何れか一方を施すよ
うにしたものである。第3発明(請求項3に係る発明)
は、第1発明において、第1のカメラで撮像された画像
データを第1のパターンデータとし、この第1のパター
ンデータに2次元離散的フーリエ変換を施してから振幅
抑制処理を行うことにより第1のフーリエ2次元パター
ンデータを作成し、第2のカメラで撮像された画像デー
タを第2のパターンデータとし、この第2のパターンデ
ータに2次元離散的フーリエ変換を施してから振幅抑制
処理を行うことにより第2のフーリエ2次元パターンデ
ータを作成するようにしたものである。
〜第3発明において、測定した目標までの距離に基づい
て第1のカメラと第2のカメラとのレンズ間距離を自動
的に調節するようにしたものである。第5発明(請求項
5に係る発明)は、第1〜第4発明において、第1およ
び第2のカメラをピンホールカメラとしたものである。
き詳細に説明する。図2はこの発明の一実施の形態を示
す距離測定装置のブロック構成図である。同図におい
て、10は第1のCCDカメラ、11は第2のCCDカ
メラ、20は処理部であり、処理部20は、CPUを有
してなる制御部20−1と、ROM20−2と、RAM
20−3と、ハードディスク(HD)20−4と、フレ
ームメモリ(FM)20−5と、外部接続部(I/F)
20−6と、フーリエ変換部(FFT)20−7とを備
えてなり、ROM20−2には測距プログラム(図3)
が格納されている。また、CCDカメラ10,11は、
所定の距離Lを隔てて設置されている。すなわち、CC
Dカメラ10,11は、そのレンズ10−1,11−1
間の距離をLとして、横方向に並んで設置されている。
3発明〕この距離測定装置において、目標を自動車M1
とした場合、この目標M1までの距離Rの測定は次のよ
うにして行われる。
の目標M1を捉えた画像データO1を、フレームメモリ
20−5を介して取り込む(ステップ301)。そし
て、この取り込んだ画像データO1 を登録画像データと
し(図1(a))、この登録画像データをフーリエ変換
部20−7へ送り、この登録画像データに2次元離散的
フーリエ変換(DFT)を施す(ステップ302)。こ
れにより、図1(a)に示された登録画像データO
1 は、フーリエ画像データ(登録フーリエ画像データ)
F1 となる。
は、例えば「コンピュータ画像処理入門、日本工業技術
センター編、総研出版(株)発行、P.44〜45(文
献1)」等に説明されている。
1からの目標M1を捉えた画像データO2 を、フレーム
メモリ20−5を介して取り込む(ステップ303)。
そして、この取り込んだ画像データO2 を照合画像デー
タとし(図1(b))この照合画像データをフーリエ変
換部20−7へ送り、この照合画像データに2次元離散
的フーリエ変換(DFT)を施す(ステップ304)。
これにより、図1(b)に示された照合画像データは、
フーリエ画像データ(照合フーリエ画像データ)F2 と
なる。
2で得たフーリエ画像データ(登録フーリエ画像デー
タ)F1 とステップ304で得たフーリエ画像データ
(照合フーリエ画像データ)F2 とを合成し(ステップ
305)、合成フーリエ画像データを得る。
フーリエ画像データをA・ejθとし、登録フーリエ画
像データをB・ejφとした場合、A・B・ej(θ-φ)
で表される。但し、A,B,θ,φとも周波数(フーリ
エ)空間(u,v)の関数とする。
α2 +jβ2 とすると、A=(α1 2+β1 2)1/2,B=
(α2 2+β2 2)1/2,θ=tan-1(β1 /α1),φ=
tan-1(β2 /α2 )となる。この(1)式を計算す
ることにより合成フーリエ画像データを得る。
θ・e-jφ=A・ejθ・B・e-jφ=(α1 +j
β1 )・(α2 −jβ2 )=(α1 ・α2 +β1 ・
β2 )+j(α2 ・β1 −α1 ・β2 )として、合成フ
ーリエ画像データを求めるようにしてもよい。
て合成フーリエ画像データを得た後、振幅抑制処理を行
う(ステップ306)。この実施の形態では、振幅抑制
処理として、log処理を行う。すなわち、前述した合
成フーリエ画像データの演算式であるA・B・ej(θ-
φ)のlogをとり、log(A・B)・ej(θ-φ)と
することにより、振幅であるA・Bをlog(A・B)
に抑制する(A・B>log(A・B))。
ータでは登録画像データの採取時と照合画像データの採
取時の照度差による影響が小さくなる。すなわち、振幅
抑制処理を行うことにより、各画素のスペクトラム強度
が抑圧され、飛び抜けた値がなくなり、より多くの情報
が有効となる。
としてlog処理を行うものとしたが、√処理を行うよ
うにしてもよい。また、log処理や√処理に限らず、
振幅を抑制することができればどのような処理でもよ
い。振幅抑制で全ての振幅を例えば1にすると、すなわ
ち位相のみにすると、log処理や√処理等に比べ、計
算量を減らすことができるという利点とデータが少なく
なるという利点がある。
後、制御部20−1は、その振幅抑制処理を行った合成
フーリエ画像データをフーリエ変換部20−7へ送り、
第2回目の2次元離散的フーリエ変換(DFT)を施す
(ステップ307)。
施された合成フーリエ画像データを取り込み、この合成
フーリエ画像データより所定の相関成分エリア(この実
施の形態では全エリア)の各画素の相関成分の強度(振
幅)をスキャンし、各画素の相関成分の強度のヒストグ
ラムを求め、このヒストグラムより相関成分エリアの中
心付近を除く範囲で相関成分の最も強度の高い画素(相
関ピーク)を抽出し(ステップ308)、この抽出した
相関ピークの座標を求める(ステップ309)。
(c)に示す。同図に示すPa1が相関ピークの位置であ
り、P0 が相関成分エリアの中心である。この場合、相
関ピークPa1が目標M1を示し、相関成分エリアの中心
P0 から相関ピークの位置Pa1までの距離が2つの画像
データO1 とO2 とのずれA(A=Δa+Δb)を示
す。なお、相関成分エリアの中心付近P0 には、背景を
示す相関ピークが出現する。
位置から画像データO1 とO2 とのずれA求め(ステッ
プ310)、この求めたずれAに基づき、三角測量の原
理に基づく下記(2)式により、目標M1までの距離R
を求める(ステップ311)。そして、この求めた目標
M1までの距離Rを、I/F20−6を介して外部へ出
力する(ステップ312)。なお、下記(2)式におい
て、fはレンズ10−1(11−1)の中心から撮像位
置までの距離、Lはレンズ間距離Lである。 R=f・L/A ・・・・(2)
る距離測定装置によると、CCDカメラ10で捉えた画
像データとCCDカメラ11で捉えた画像データとを空
間周波数特性に基づいて照合し、この照合結果として目
標M1までの距離を求めるようにしているので、従来の
方式に比べ、処理が簡単となり、短時間で目標までの距
離を測定することができるようになる。
フーリエ変換をフーリエ変換部20−7において行うも
のとしたが、CPU20−1内で行うものとしてもよ
い。また、この実施の形態では、図3に示したステップ
307にて2次元離散的フーリエ変換を行うようにした
が、2次元離散的フーリエ変換ではなく2次元離散的逆
フーリエ変換を行うようにしてもよい。すなわち、振幅
抑制処理の施された合成フーリエ画像データに対して2
次元離散的フーリエ変換を行うのに代えて、2次元離散
的逆フーリエ変換を行うようにしてもよい。2次元離散
的フーリエ変換と2次元離散的逆フーリエ変換とは、定
量的にみて照合精度は変わらない。2次元離散的逆フー
リエ変換については、先の文献1に説明されている。
リエ画像データに対して振幅抑制処理を施して2次元離
散的フーリエ変換を行うようにしたが(ステップ30
6,307)、合成前の登録フーリエ画像データおよび
照合フーリエ画像データにそれぞれ振幅抑制処理を行っ
た後に合成するようにしてもよい。すなわち、図4
(a),(b)に示すように、図3のステップ306を
なくし、ステップ302と303との間およびステップ
304と305との間に振幅抑制処理を行うステップ3
13−1,313−2を設けてもよい。あるいは、図4
(c)に示すように、図3のステップ306をなくし、
ステップ304と305との間に画像O1 ,O2 に対し
て個別に振幅抑制処理を行うステップ313を設けても
よい。
幅抑制処理によって、振幅抑制処理の施された登録フー
リエ画像データおよび照合フーリエ画像データが得ら
れ、これらのフーリエ画像データ合成されて合成フーリ
エ画像データが得られる。
抑制率は、合成フーリエ画像データとしてから振幅抑制
処理を行う場合(図3)に対して小さい。したがって、
合成フーリエ画像データとしてから振幅抑制処理を行う
(図3)方が、振幅抑制処理を行ってから合成フーリエ
画像データとする方法(図4)に比べて、その照合精度
がアップする。なお、振幅抑制処理を行ってから合成フ
ーリエ画像データとする場合(図4)にも、合成フーリ
エ画像データに対して2次元離散的フーリエ変換ではな
く、2次元離散的逆フーリエ変換を行うようにしてもよ
い。また、この実施の形態では、振幅抑制処理を行うも
のとしたが、振幅抑制処理は必ずしも行わなくてもよ
い。
10からの画像データを登録画像データとし、CCDカ
メラ11からの画像データを照合画像データとし、空間
周波数特性に基づいて照合を行い、相関成分エリアの中
心から相関ピークの位置までの距離を2つの画像のずれ
Aとして求めたが、CCDカメラ10からの画像データ
を照合画像データとし、CCDカメラ11からの画像デ
ータを登録画像データとしても、同様にして2つの画像
のずれAを求めることができる。
(d)が得られる。すなわち、図1(d)における相関
ピークPa1 に対し、相関エリアの中心P0 を中心とし
て逆の位置に相関ピークPa1’が現れる。したがって、
この場合、相関ピークPa1’の位置から相関成分エリア
の中心P0 までの距離を2つの画像のずれAとして求め
る。
た実施の形態では、CCDカメラ10と11とのレンズ
間距離Lは一定としたが、レンズ間距離Lを目標M1ま
での距離Rに応じ変化させるようにしてもよい。すなわ
ち、距離Rが長くなるにつれてレンズ間距離Lを大きく
するようにすれば、測定精度がアップする。
ズ間距離調節機構12を設け、測定距離Rが長くなるに
つれレンズ間距離Lを大きくするように、レンズ間距離
調節機構12を介してCCDカメラ11の位置、すなわ
ちレンズ11−1の位置を自動的に調節するようにして
いる。この実施の形態では図3に対応して図6のフロー
チャートが用いられる。
カメラ10と11を横方向に並んで配置したが、上下方
向に配置してもよく、斜め方向等、自由な方向に配置し
てよい。また、この実施の形態では、カメラ10,11
をCCDカメラとしたが、このカメラはレンズ付きのカ
メラでもよいし、ピンホールカメラ(レンズ無し)でも
よい。レンズ付きのカメラはピンホールカメラに比べ
て、明るく撮像できる反面、像が歪み易いというデメリ
ットがある。
(c)において、合成フーリエ画像データの全エリアを
相関成分エリアとしたが、部分的な領域を相関成分エリ
アとしてもよい。この場合、相関成分エリアの取り方に
よって、背景を示す相関ピークが出現する位置が異な
る。そこで、この場合、この背景を示す相関ピークが出
現するであろう位置を基準位置とし、この基準位置付近
を除く範囲で相関ピークを抽出する。
発明によれば、第1のカメラからの画像データと第2の
カメラからの画像データとが空間周波数特性に基づいて
照合され、この照合結果として2つの画像間のずれが求
められるものとなり、簡単、かつ短時間に目標までの距
離を測定することができるようになる。
処理過程を説明する図である。
のブロック構成図である。
(実施の形態1)を説明するためのフローチャートであ
る。
の他の例を説明するためのフローチャートである。
を示す距離測定装置のブロック構成図である。
(実施の形態2)を説明するためのフローチャートであ
る。
ズ、12…レンズ間距離調節機構、20…処理部、20
−1…制御部、20−2…ROM、20−3…RAM、
20−4…ハードディスク(HD)、20−5…フレー
ムメモリ(FM)、20−6…外部接続部(I/F)、
20−7…フーリエ変換部(FFT)。
Claims (5)
- 【請求項1】 所定の距離を隔てて設置された第1のカ
メラおよび第2のカメラと、 前記第1のカメラで撮像された画像データを第1のパタ
ーンデータとし、この第1のパターンデータに2次元離
散的フーリエ変換を施して第1のフーリエ2次元パター
ンデータを作成する第1のフーリエパターンデータ作成
手段と、 前記第2のカメラで撮像された画像データを第2のパタ
ーンデータとし、この第2のパターンデータに2次元離
散的フーリエ変換を施して第2のフーリエ2次元パター
ンデータを作成する第2のフーリエパターンデータ作成
手段と、 前記第1のフーリエ2次元パターンデータと前記第2の
フーリエ2次元パターンデータとを合成し、これによっ
て得られる合成フーリエ2次元パターンデータに2次元
離散的フーリエ変換および2次元離散的逆フーリエ変換
の何れか一方を施すパターン処理手段と、 このパターン処理手段によってフーリエ変換の施された
合成フーリエ2次元パターンデータに出現する相関成分
エリアの基準位置付近を除く範囲で相関ピークを求め、
この相関成分エリアの基準位置と相関ピークの位置との
距離に基づいて目標までの距離を測定する測距手段とを
備えたことを特徴とする距離測定装置。 - 【請求項2】 請求項1において、 前記パターン処理手段は、前記第1のフーリエ2次元パ
ターンデータと前記第2のフーリエ2次元パターンデー
タとを合成し、これによって得られる合成フーリエ2次
元パターンデータに振幅抑制処理を行ったうえ2次元離
散的フーリエ変換および2次元離散的逆フーリエ変換の
何れか一方を施すことを特徴とする距離測定装置。 - 【請求項3】 請求項1において、 前記第1のフーリエパターンデータ作成手段は、第1の
カメラで撮像された画像データを第1のパターンデータ
とし、この第1のパターンデータに2次元離散的フーリ
エ変換を施してから振幅抑制処理を行うことにより第1
のフーリエ2次元パターンデータを作成し、 前記第2のフーリエパターンデータ作成手段は、第2の
カメラで撮像された画像データを第2のパターンデータ
とし、この第2のパターンデータに2次元離散的フーリ
エ変換を施してから振幅抑制処理を行うことにより第2
のフーリエ2次元パターンデータを作成することを特徴
とする距離測定装置。 - 【請求項4】 請求項1〜3の何れか1項において、 前記測距手段が測定した目標までの距離に基づいて前記
第1のカメラと前記第2のカメラとのレンズ間距離を自
動的に調節するレンズ間距離調節手段を備えたことを特
徴とする距離測定装置。 - 【請求項5】 請求項1〜4の何れか1項において、前
記第1および第2のカメラはピンホールカメラであるこ
とを特徴とする距離測定装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29046696A JP3364394B2 (ja) | 1996-10-31 | 1996-10-31 | 距離測定装置 |
EP97118965A EP0840254A3 (en) | 1996-10-30 | 1997-10-30 | Distance measuring device and three-dimensional image measuring apparatus |
CNB971212783A CN1151472C (zh) | 1996-10-30 | 1997-10-30 | 距离测量设备和三维图象测量设备 |
US08/961,552 US6148270A (en) | 1996-10-30 | 1997-10-30 | Fast target distance measuring device and high-speed moving image measuring device |
KR1019970056402A KR100274332B1 (ko) | 1996-10-30 | 1997-10-30 | 거리측정장치 및 3차원화상 측정장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29046696A JP3364394B2 (ja) | 1996-10-31 | 1996-10-31 | 距離測定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10134196A JPH10134196A (ja) | 1998-05-22 |
JP3364394B2 true JP3364394B2 (ja) | 2003-01-08 |
Family
ID=17756389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29046696A Expired - Fee Related JP3364394B2 (ja) | 1996-10-30 | 1996-10-31 | 距離測定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3364394B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009014445A (ja) * | 2007-07-03 | 2009-01-22 | Konica Minolta Holdings Inc | 測距装置 |
JP4872836B2 (ja) * | 2007-07-06 | 2012-02-08 | コニカミノルタホールディングス株式会社 | 情報処理システム |
JP5181602B2 (ja) * | 2007-09-28 | 2013-04-10 | コニカミノルタホールディングス株式会社 | 物体検出装置 |
JP5163164B2 (ja) * | 2008-02-04 | 2013-03-13 | コニカミノルタホールディングス株式会社 | 3次元計測装置 |
US9495611B2 (en) | 2012-01-17 | 2016-11-15 | Konica Minolta, Inc. | Image processing apparatus, image processing method, and image processing program |
CN112998689B (zh) * | 2021-02-08 | 2022-01-18 | 南京泓鼎感知技术有限责任公司 | 非接触式多人实时呼吸状况评估系统、设备和存储介质 |
-
1996
- 1996-10-31 JP JP29046696A patent/JP3364394B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
小林孝次外4名,位相限定相関法の原理とその応用,テレビジョン学会技術報告,1996年7月16日,Vol.20,No.40,pp.1−6 |
Also Published As
Publication number | Publication date |
---|---|
JPH10134196A (ja) | 1998-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3539788B2 (ja) | 画像間対応付け方法 | |
US8773550B2 (en) | Range measurement using multiple coded apertures | |
US20110293146A1 (en) | Methods for Estimating Peak Location on a Sampled Surface with Improved Accuracy and Applications to Image Correlation and Registration | |
US20080080762A1 (en) | Image processing apparatus capable of operating correspondence between base image and reference image, method of controlling that image processing apparatus, and computer-readable medium recording program for controlling that image processing apparatus | |
JP2002501643A (ja) | 任意の局所整合測定を使用してグローバル画像アライメントを実行する方法及び装置 | |
JP3994217B2 (ja) | 画像処理による異常点位置検出システム | |
CN114372948A (zh) | 图像融合方法、设备以及存储介质 | |
CN108648222A (zh) | 结构光深度数据空间分辨率的提升方法及装置 | |
JP3364394B2 (ja) | 距離測定装置 | |
JPH05303629A (ja) | 形状合成方法 | |
JP2001126065A (ja) | 距離分布検知装置 | |
JPWO2008041518A1 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
JP2001266128A (ja) | 奥行き情報取得方法,装置および奥行き情報取得プログラムを記録した記録媒体 | |
JP3364396B2 (ja) | 距離測定装置 | |
JP3413778B2 (ja) | 画像処理装置 | |
JP3309205B2 (ja) | トラッキング装置 | |
JP3710704B2 (ja) | 画像パターンの回転角度検出誤差低減方法及びこの方法の実行プログラムを記録した記録媒体 | |
JP2003091726A (ja) | 反射パラメータ取得装置、反射成分分離装置、反射パラメータ取得用プログラム、及び反射成分分離用プログラム | |
JP3074292B2 (ja) | テンプレートマッチング処理方法 | |
JP3364395B2 (ja) | トラッキング装置 | |
JP3219458B2 (ja) | 距離測定装置 | |
JP3347608B2 (ja) | 立体像計測装置 | |
JP2004310281A (ja) | 物体追跡装置 | |
JP4122599B2 (ja) | 画像処理装置、画像処理方法及び情報記録媒体 | |
De Bonet et al. | Structure-driven SAR image registration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071025 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081025 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091025 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091025 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101025 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101025 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111025 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121025 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131025 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |