JP2002357408A - 光学式計測装置 - Google Patents
光学式計測装置Info
- Publication number
- JP2002357408A JP2002357408A JP2002062752A JP2002062752A JP2002357408A JP 2002357408 A JP2002357408 A JP 2002357408A JP 2002062752 A JP2002062752 A JP 2002062752A JP 2002062752 A JP2002062752 A JP 2002062752A JP 2002357408 A JP2002357408 A JP 2002357408A
- Authority
- JP
- Japan
- Prior art keywords
- image
- measurement
- line
- measuring device
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 58
- 238000005259 measurement Methods 0.000 claims abstract description 211
- 238000000034 method Methods 0.000 claims abstract description 135
- 230000008569 process Effects 0.000 claims abstract description 114
- 230000036961 partial effect Effects 0.000 claims abstract description 44
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 85
- 239000002131 composite material Substances 0.000 claims description 39
- 230000008859 change Effects 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 23
- 238000009826 distribution Methods 0.000 claims description 15
- 230000001678 irradiating effect Effects 0.000 claims description 11
- 238000007493 shaping process Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 2
- 238000003702 image correction Methods 0.000 claims 3
- 238000005520 cutting process Methods 0.000 abstract description 6
- 239000000284 extract Substances 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 35
- 238000004364 calculation method Methods 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 11
- 238000005096 rolling process Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 102100028780 AP-1 complex subunit sigma-2 Human genes 0.000 description 1
- 101100055680 Homo sapiens AP1S2 gene Proteins 0.000 description 1
- 101100280298 Homo sapiens FAM162A gene Proteins 0.000 description 1
- 102100023788 Protein FAM162A Human genes 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
が存在したり、表面に傾斜面が存在したり、表面に曲面
が存在するような計測対象物に対しても、高精度な断面
輪郭線計測が可能なスリット光切断法を使用した光学式
計測装置を提供すること。 【解決手段】 撮影条件の異なる複数枚の画像を取得す
るマルチ画像取得手段と、マルチ画像取得手段により取
得された複数枚の画像の中から、予め設定された区画領
域毎に、規定の最大輝度条件を満足する区画領域画像を
抽出すると共に、それら抽出された各区画領域画像を寄
せ集めることにより一連の断面輪郭線部分像を含む合成
画像を生成する画像合成手段と、画像合成手段により生
成された合成画像に含まれる一連の断面輪郭線部分像に
基づいて、所定の計測処理を実行することにより計測値
及び/又は判定値を生成する。
Description
断面輪郭形状を検査する場合等に好適な光切断法を利用
した光学式計測装置に係り、特に、表面性状等に起因し
て濃度の均一な光切断面の輪郭像が得難いような計測対
象物体に対しても、高精度計測を実現可能とした光学式
計測装置に関する。
測対象物体表面に所定角度で照射する投光手段と、計測
対象物体表面のスリット光照射位置をスリット光照射角
度とは異なる角度から二次元撮像素子を使用して撮影し
て光切断面の断面輪郭線像を含む画像を取得する撮影手
段と、この撮影手段を介して得られる光切断面の断面輪
郭線像に基づいて、所定の計測処理を実行することによ
り計測値及び/又は判定値を生成する計測手段と、を具
備する、光切断法を利用した光学式計測装置(『変位セ
ンサ』とも称される)は従来より知られている。ここ
で、スリット光の断面のなす直線の方向は、二次元撮影
素子の視野内においては、垂直走査方向に対応する。ま
た、計測装置(一般には、センサヘッド)と計測対象物
体との距離が変化したときにスリット光のなす断面輪郭
線像が計測対象物体表面上で移動する方向は、二次元撮
像素子の視野内においては、水平走査方向に対応する。
これにより、二次元撮像素子の受光面には、光切断面の
断面輪郭線像が結像される。
して直線状断面を有するスリット光を採用しているた
め、切断光として点状断面を有するスポット光を採用す
るもののように、切断光と計測対象物体とを相対移動さ
せずとも、計測対象物体表面の一定直線に沿う一連の計
測点の情報を一括して取得することができる。そのた
め、例えば生産ラインを流れる工業製品の検査等に応用
すれば、それら一連の計測点の情報に基づいて、計測対
象物体表面各部の寸法を精密に測定して、製品の良否判
定等を迅速かつ確実に行うことができる。
査等においては、様々な表面性状を有する計測対象物体
を想定せねばならない。工業製品の中には、表面性状
(例えば、表面の粗さ、色彩等)が一様でないことか
ら、反射率が部分的に異なるものがある。
部、低い部分をB部とすると、計測対象物体に照射され
たスリット光のうちで、A部に照射されたスリット光部
分の像が鮮明に映し出される撮影条件で二次元撮影素子
による撮影を行うと、B部に照射されたスリット光部分
の像は輝度不足となる。逆に、B部に照射されたスリッ
ト光部分の像が鮮明に映し出される撮影条件で二次元撮
影素子による撮影を行うと、A部の画像が輝度飽和して
正常な計測が行われないことがある。
れている。図41(a)において、左側にはスリット光
の照射位置に沿う計測対象物体の側断面が、右側には二
次元撮像素子から得られる画像がそれぞれ示されてい
る。この計測対象物体は、図中白抜きで示す左半分領域
と図中黒塗りつぶしで示す右半分領域が存在する。左半
分領域は図中太く長い2本の上向き矢印で示すように反
射率が大であり、右半分領域は図中細く短い1本の上向
き矢印で示すように反射率が小である。一方、二次元撮
像素子から得られる画像を見ると、横長の長方形として
描かれているのが、二次元撮像素子の一画面分の画像で
ある。図中左右方向がスリット光の断面線方向に相当
し、上下方向が計測対象物体の高さ方向に相当する。一
画面分の画像内の左下に描かれた左右方向へ延びる太い
直線が、計測対象物体上に照射されたスリット光の照射
光の像である。本来この太い直線は、画面の左右方向の
幅のほぼ全体に延びていなければならない。この例で
は、計測対象物体の右半分領域の反射率が小のため、右
半分に相当する部分は十分な輝度が得られず、そのため
に図では点線で示す右半分が欠落している。このような
画像に基づいて計測を行うと、計測対象物体の左半分領
域の一連の高さ(断面輪郭線)は計測できるが、右半分
領域については計測不能となる。
象物体は、左側の大部分を占める左側領域と右側の大部
分を占める右側領域と、それらの領域に挟まれた溝領域
とを有する。左側領域と右側領域とは図中太く長い2本
の上向き矢印で示すように反射率が大であり、点線で囲
まれた溝領域は図中細く短い1本の上向き矢印で示すよ
うに反射率が小である。一方、二次元撮像素子から得ら
れる画像を見ると、一画面分の画像内の下部に描かれた
左右方向へ延びる中央が途切れた太い直線が、計測対象
物体上に照射されたスリット光の照射光の像である。こ
の例では、計測対象物体の溝領域の反射率が小のため、
溝領域に相当する部分は十分な輝度が得られず、そのた
めに図では左右方向へ延びる太い直線の点線で囲まれた
中央部分が欠落している。このような画像に基づいて計
測を行うと、計測対象物体の溝領域を除く左側領域並び
に右側領域の一連の高さ(断面輪郭線)は計測できる
が、溝領域については計測不能となる。
斜していることから、反射率が部分的に異なるものがあ
る。このような場合、反射光量が不足し、画像が暗くな
り、正常に計測ができないことがある。
る。図の記載上の約束事は上記と同様である。この計測
対象物体は、左側水平低領域と、中央水平高領域と、右
側水平低領域と、左側水平低領域と中央水平高領域とを
繋ぐ左側傾斜領域と、中央水平高領域と右側水平低領域
とを繋ぐ右側傾斜領域とを有する。左右の水平低領域と
中央水平高領域とは図中太く長い上向き矢印で示すよう
に反射率が大であり、点線で囲まれる左右の傾斜領域は
反射率が小である。一方、二次元撮像素子から得られる
画像を見ると、一画面分の画像内に描かれた左側、中
央、右側の左右方向へ延びる3本の直線と、それらを結
ぶ左右の傾斜直線とが、計測対象物体上に照射されたス
リット光の照射光の像である。この例では、計測対象物
体の左右の傾斜領域の反射率が小のため、それら傾斜領
域に相当する囲まれた部分は十分な輝度が得られず、そ
のため図では左右の傾斜部分に相当する点線で囲まれた
領域については、暗くなっている。このような画像に基
づいて計測を行うと、計測対象物体の左右の傾斜領域を
除く左右の水平低領域並びに中央の水平高領域の一連の
高さ(断面輪郭線)は計測できるが、左右の傾斜領域に
ついては輝度不足により正常な計測が不能となる。
面となっていることから、反射率が部分的に異なるもの
がある。このような場合、反射光量が不足し、画像が暗
くなり、正常に計測ができないことがある。
る。図の記載上の約束事は上記と同様である。この計測
対象物体は、左右の平面領域と中央の曲面領域とを有す
る。左右の平面領域は図中太く長い矢印で示すように反
射率が大であり、図中点線で囲まれる中央の曲面領域は
反射率が小である。一方、二次元撮像素子から得られる
画像を見ると、一画面分の画像内に描かれた左側及び右
側の左右方向へ延びる2本の直線が、計測対象物体上に
照射されたスリット光の照射光の像である。この例で
は、計測対象物体の曲面部分の反射率が小のため、その
曲面部分に相当する部分は十分な輝度が得られず、その
ため図中点線で囲まれた中央領域については、著しく輝
度が低くなり像が欠落している。このような画像に基づ
いて計測を行うと、計測対象物体の中央曲面領域を除く
左右の平面領域の一連の高さ(断面輪郭線)は計測でき
るが、中央曲面領域については輝度不足により計測が不
能となる。
目してなされたものであり、その目的とするところは、
例えば、表面反射率が相違したり、表面に溝が存在した
り、表面に傾斜面が存在したり、表面に曲面が存在する
ような計測対象物に対しても、高精度な断面輪郭線計測
が可能なスリット光切断法を使用した光学式計測装置を
提供することにある。
ズ等の原因により断面輪郭線像の一部が局部的に欠落し
たような場合には、これを適宜に修復可能な光学式計測
装置を提供することにある。
対象物体表面上のスリット光が照射されている部分の中
の特定部分を目的として計測対象領域を設定して計測を
行う場合において、前記特定部分と計測対象領域とのず
れを自動的に修正可能とした光学式計測装置を提供する
ことにある。
については、以下の明細書の記載を参照することによ
り、当業者であれば容易に理解されるであろう。
置は、マルチ画像取得手段と、画像合成手段と、計測手
段とを備えている。
リット光に整形して計測対象物体表面に所定角度で照射
する投光手段と、前記計測対象物体表面のスリット光照
射位置を前記スリット光の照射角度とは異なる角度から
二次元撮像素子により撮影して光切断面の断面輪郭線像
を含む画像を取得する撮影手段と、前記撮影手段を介し
て得られる画像の輝度に影響を与える撮影条件を規定す
るパラメータの少なくとも1つの値を変更することによ
り画像の輝度を走査可能なパラメータ値変更手段とを備
えて、前記撮影条件の異なる複数枚の画像を取得する。
により取得された複数枚の画像の中から、あらかじめ設
定された区画領域毎に、規定の最大輝度条件を満足する
区画領域画像を抽出すると共に、それら抽出された各区
画領域画像を寄せ集めることにより一連の断面輪郭線部
分像を含む合成画像を生成する。
された合成画像に含まれる一連の断面輪郭線部分像に基
づいて、所定の計測処理を実行することにより計測値及
び/又は判定値を生成する。
ット光照射位置に沿った前記計測対象物体表面について
の、前記マルチ画像取得手段からの距離の分布を生成し
てもよい。
輝度に影響を与える撮影条件を規定するパラメータの少
なくとも1つの値を変更して画像の輝度を走査しつつ、
この状態でマルチ画像取得手段により取得される複数枚
の画像の中から、あらかじめ設定された区画領域毎に抽
出された規定の最大輝度条件を満足する区画領域画像を
寄せ集めることによって一連の断面輪郭線部分像を含む
合成画像を生成するようにしているため、計測処理にお
いては、一連の断面輪郭線部分像を寄せ集めてなる鮮明
な画像に基づき、所定の計測処理を実行し、これにより
高精度な計測値及び/又は判定値を生成することができ
る。
件を規定するパラメータとしては、様々なものを採用す
ることができる。特に、光源の光量及び/又は二次元撮
像素子のシャッタ時間は制御の容易さの面で有効であ
る。その他のパラメータとしては、投光側アンプのゲイ
ンや受光側アンプのゲインなどを挙げることができる。
二次元撮像素子としてCCDイメージセンサを採用する
場合には、上記のパラメータとしては、(1)CCDイ
メージセンサのシャッタ時間、(2)投光パルスのデュ
ーティ比、(3)ビデオ信号の増幅率、(4)投光パル
スのピーク光量などを挙げることができる。
する場合において変更単位量を変更可能としても良い。
また、パラメータ値の最大変更範囲を変更可能としても
良い。これにより、スリット光照射位置上の各領域毎に
最適な輝度を有する画像を取得することができる。ま
た、パラメータ値の変更範囲がテスト結果に応じて自動
設定されるようにしても良い。このようにすれば、パラ
メータ値の変更範囲の設定に際して人間の判断が不要と
なるため、計測対象物体毎にその表面性状が大きく異な
るような場合にも、最適なパラメータ値の最大変更範囲
を容易、確実かつ迅速に設定することができる。また、
パラメータ値の変更単位量及び/又は最大変更範囲が、
取得される区画領域中の断面輪郭線部分像の輝度に応じ
て自動修正されるようにしても良い。このようにすれ
ば、変更単位量及び/又は変更範囲の設定の手間を大き
く省くことができる。
された区画領域としては、撮影される視野や断面輪郭線
像の想定される位置や大きさに応じて様々に設定するこ
とができる。尤も、二次元撮像素子により取得される画
像における1もしくは2以上の水平走査ラインで構成さ
れる領域を区画領域とすれば、画像取得単位と画像取り
扱い単位とが整合することから、制御が容易となる。
子の1画面分の画像が書き込み可能な画像メモリと、前
記画像メモリを適宜に区画してなる各区画領域毎に書き
込み許可又は書き込み禁止を記憶する書き込み制御フラ
グメモリと、前記マルチ画像取得手段にて取得される画
像を書き込み制御フラグメモリの内容に従って前記画像
メモリに各区画領域単位で書き込む画像書き込み手段
と、前記画像メモリの各区画領域に規定の最大輝度条件
を満足する区画領域画像が書き込まれた時点で、その区
画領域に対応する書き込み制御フラグメモリを書き込み
禁止に設定するフラグ制御手段と、を含むようにしても
良い。
ら画像が取得される動作と、その取得された画像を合成
する動作とをほぼ同時に進めることができ、処理時間の
短縮を図ることができる。
又は予定される全てに規定の最大輝度条件を満足する区
画領域画像が書き込まれたときに、マルチ画像取得手段
における画像取得を終了するようにすれば、無駄な画像
取得動作を省略してより一層の処理時間の短縮を図るこ
とができる。なお、このとき、画像メモリが1又は隣接
する2以上の水平走査ラインで構成される領域毎に区画
されてそれぞれが区画領域とされていれば、マルチ画像
取得手段を構成する撮像素子からの画像取得単位と画像
メモリへの書き込み画像の単位とが一致することから書
き込み制御が容易となり、処理時間の短縮を図ることが
できる。先に述べたように、スリット光の断面のなす直
線の方向は、二次元撮像素子の受光面上においては、垂
直走査ライン方向に対応する。また、計測装置と計測対
象物体との距離が変化したときにスリット光のなす断面
輪郭線像が計測対象物体表面上で移動する方向は、二次
元撮像素子の受光面上においては、水平走査ライン方向
に対応する。
取得手段は第1のハウジングに収容されてセンサヘッド
ユニットを構成すると共に、画像合成手段及び計測手段
は第2のハウジングに収容されて信号処理ユニットを構
成する。また、信号処理ユニットには画像モニタが外部
接続可能とされる。
ドユニットに関しては計測に容易なように計測対象物の
間近に据え付ける一方、信号処理ユニットについてはオ
ペレータの取り扱いに容易な場所に配置し、これに画像
モニタを接続することによって、計測並びに各種のモニ
タを適切に行わせることができる。
マルチ画像取得手段は、それ自体独立してマルチ画像取
得装置とすることもできる。この場合、マルチ画像取得
装置は、光源からの光をスリット光に整形して計測対象
物体に所定角度で照射する投光手段と、前記計測対象物
体表面のスリット光照射位置をスリット光照射角度とは
異なる角度から二次元撮像素子を使用して撮影して光切
断面の断面輪郭線像を含む画像を取得する撮影手段と、
前記撮影手段を介して得られる画像に含まれる前記断面
輪郭線像の輝度に影響を与える撮影条件を規定するパラ
メータの少なくとも1つの値を変更することにより画像
の輝度を走査可能なパラメータ値変更手段とを備えて、
前記撮影条件の異なる複数枚の画像を取得するように構
成される。一般的には、このようなマルチ画像取得装置
は、単一のハウジングを有するセンサヘッドユニットと
して構成することができる。
画像合成手段並びに計測手段は、独立した信号処理装置
として構成することもできる。
得装置により取得された複数枚の画像の中からあらかじ
め設定された区画領域毎に、規定の最大輝度条件を満足
する区画領域画像を抽出すると共に、それら抽出された
各区画領域画像を寄せ集めることにより一連の断面輪郭
線部分像を含む合成画像を生成する画像合成手段と、前
記画像合成手段により生成された合成画像に基づいて、
所定の計測処理を実行することにより計測値及び/又は
判定値を生成する計測手段とを備えて、前記計測対象物
体に関する断面計測を行い得るように構成される。
単一のハウジングを有する信号処理ユニットとして構成
することができる。
画像合成手段により生成される合成画像中の断面輪郭線
像の部分的欠落を補正する画像補正手段をさらに設けて
も良い。
よっても合成画像中のいずれかの区画領域において断面
輪郭線像の欠落が生ずるような場合には、これを合成画
像取得後の段階において補正することにより、そのよう
な部分的欠落に基づく計測不良又は不能の虞れを未然に
防止することができる。
ゴリズムとしては様々なものを採用することができる。
第1の方法としては、合成画像を構成する各水平走査ラ
インの画像について断面輪郭線部分像の有無をライン順
にチェックしつつ、断面輪郭線部分像の欠落している水
平走査ラインの画像については、直前の水平走査ライン
と同一の画像で置き換える処理を挙げることができる。
また、第2の方法としては、合成画像を構成する各水平
走査ラインの画像について断面輪郭線部分像の有無をラ
イン順にチェックしつつ、断面輪郭線部分像の欠落して
いる水平ラインの画像については、その前後の水平ライ
ンの画像を使用して補間する処理を挙げることができ
る。また、第3の方法としては、合成画像を構成する各
水平走査ラインの画像について断面輪郭線部分像の有無
並びに基準値よりの輝度大小ををライン順にチェックし
つつ、断面輪郭線部分像の欠落している水平ラインの画
像については、その前後のラインの断面輪郭線部分像の
輝度連続性に応じて補間又は放置する処理を挙げること
ができる。
置においては、別途設けられる画像モニタの画面上に所
定の映像を映し出すためのモニタ出力を生成するモニタ
出力生成手段をさらに設けてもよい。このとき、画像モ
ニタの画面上に映し出されるべき所定の映像としては、
様々なものを挙げることができる。第1には、画像合成
手段にて生成された合成画像そのものが挙げられる。第
2には、合成画像から選択された水平走査ラインを示す
カーソルと、前記カーソルにて選択された水平走査ライ
ンの輝度分布曲線(ラインブライト波形)を挙げること
ができる。第3には、前記合成画像から選択された水平
走査ラインを示すカーソルと、前記カーソルにて選択さ
れた水平走査ラインの撮影条件を示す表示が挙げられ
る。第4には、合成画像を構成する各水平走査ライン毎
に、その水平走査ラインに断面輪郭線部分像の無しを示
すマークを挙げることができる。第5には、前記合成画
像を構成する各水平走査ライン毎に、その水平ラインに
断面輪郭線部分像の有りを示すマークが挙げられる。
の画面とポインティングデバイスとを介してオペレータ
との対話を行うためのグラフィッカル・ユーザ・インタ
フェースを設けてもよい。
光学式計測装置は、工場などの生産ラインを流れる工業
製品の各種形状検査などに応用することができる。この
場合、スリット光が照射された直線上領域内に別途計測
対象領域を設定し、この計測対象領域に含まれる特定部
分に集中して計測乃至監視を行うのが通例である。コン
ベアなどに載せて搬送される工業製品は、製品毎に幾分
搬送方向と直交する方向並びに搬送面と垂直な高さ方向
へとずれる虞れもある。このようなときに、計測対象領
域が固定されていれば、目的とする特定像部分を正確に
検査できない虞れが生ずる。
は、計測対象物体との相対移動に対して計測位置を追従
させるためのトラッキング制御手段を設けてもよい。
一形態を添付図面を参照することにより詳細に説明す
る。
テム全体の概観図の一例が図1に示されている。同図に
示されるように、この変位センサシステムは、センサヘ
ッドユニット1と、このセンサヘッドユニット1から得
られた映像信号を処理するための信号処理ユニット2
と、信号処理ユニット2に対して各種の操作指令を与え
るためのハンディタイプのコンソールユニット3と、信
号処理ユニット2において生成された計測結果やその他
各種の操作ガイド等を表示するための画像モニタ4とを
含んでいる。
ユニット1には、光源からの光をスリット光に整形して
計測対象物体表面に所定角度で照射する投光手段と、計
測対象物体表面のスリット光照射位置を前記スリット光
の照射角度とは異なる角度から二次元撮像素子により撮
影して光切断面の断面輪郭線像を含む画像を取得する撮
影手段と、前記撮影手段を介して得られる画像に含まれ
る前記断面輪郭線像の輝度に影響を与える撮影条件を規
定するパラメータの少なくとも1つの値を変更すること
により画像の輝度を走査可能なパラメータ値変更手段と
を備えて、前記パラメータ値の異なる複数枚の画像を取
得するマルチ画像取得手段のほぼ全体が内蔵されてい
る。
ルチ画像取得手段により取得された複数枚の画像の中か
ら、あらかじめ設定された区画領域毎に、規定の最大輝
度条件を満足する区画領域画像を抽出すると共に、それ
ら抽出された各区画領域画像を寄せ集めることにより一
連の断面輪郭線部分像を含む合成画像を生成する画像合
成手段と、前記画像合成手段により生成された合成画像
に含まれる一連の断面輪郭線部分像に基づいて、所定の
計測処理を実行することにより計測値及び/又は判定値
を生成する計測手段とを含んでいる。
光6を計測対象物体5に照射すると共に、その反射光7
を二次元撮像素子であるCCDイメージセンサで受光す
ることにより、計測対象物体5の表面変位を含む映像信
号を生成し出力する。なお、符号8はスリット光6の照
射により、計測対象物体5の表面に生じた線状光像(直
線状輝線)である。
出対象物体との関係を示す説明図が図2に示されてい
る。図2(b)に示されるように、センサヘッドユニッ
ト1内には、スリット光源112と、スリット光源11
2から発せられた光を適宜に収束並びに整形してスリッ
ト光6を生成する投光用光学系113と、スリット光6
の反射光7を二次元CCDイメージセンサ122に導く
ための受光用光学系121とが含まれている。図2
(a)に示されるように、この例では、スリット光6は
幅Wを有する比較的幅広なスリット光とされ、また計測
対象物体5の上面には段部5aが形成されている。その
ため段部5aの幅がスリット光6の幅Wよりも狭い場合
には、センサヘッドユニット1と計測対象物体5との相
対移動を行うことなく、段部5aの高さhを直ちに計測
することができる。
示す図が図3に示されている。センサヘッドユニット1
は、計測対象物体5の表面に計測光であるスリット光6
を真上から照射し、その状態で計測対象物体5の表面を
CCDイメージセンサ122で別の角度から撮影して、
スリット光の照射光像8を含む計測対象物体表面の映像
信号VSを生成する。
ット光6を計測対象物体5へと照射するための投光系要
素(レーザダイオード(LD)駆動回路111,レーザ
ダイオード(LD)112,投光レンズ113)と、計
測対象物体5からの反射光7を受光するための受光系要
素(受光レンズ121,CCDイメージセンサ122,
増幅回路123,ハイパスフィルタ(HPF)124,
サンプルホールド(S/H)回路125,AGC増幅回
路126)とが含まれている。
タイミング信号発生回路101は、レーザダイオード1
21を発光させるためのLD駆動パルス信号P1を発生
する。LD駆動パルス信号P1に応答してLD駆動回路
111がLD112をパルス発光させる。またタイミン
グ信号発生回路101は、LD駆動回路111を介して
パルス状レーザ光のピークパワーを制御する。LD11
2から出射されたパルス状レーザ光は、投光レンズ11
3を通して、計測対象物体5の表面にスリット光6とし
て照射される。これにより、計測対象物体5の表面に
は、スリット光の照射による線状の光像が形成される。
ルス駆動する際のデューティ比やパルス状レーザ光のピ
ークパワーなどが、CCDイメージセンサ122を介し
て得られる画像に含まれる断面輪郭線像の輝度に影響を
与えるパラメータの1つに相当する。
計測対象物体5で反射したスリット光の反射光は、受光
レンズ121を通して二次元撮像素子であるCCDイメ
ージセンサ(以下、単にCCDと言う)122へと入射
される。すなわち、計測対象物体5の表面は、CCD1
22により撮影されて、スリット光の照射光像を含む映
像信号に変換される。
光の照射光像の位置が、目的とする変位(例えば、セン
サヘッドユニット1と計測対象物体5との距離)に応じ
て変化するように、LD112、CCD122、投光レ
ンズ113、受光レンズ121の位置関係が決められ
る。
各画素ごとに増幅回路123で増幅された後、ハイパス
フィルタ(HPF)124により各画素間に現れる零レ
ベル信号の揺らぎが除去され、さらにサンプルホールド
(S/H)回路125により画素間の連続性が隣接画素
間が繋がれて各画素信号が正しく受光量を表すように修
正される。その後、AGC増幅回路126により信号値
の大きさが適宜に制御され、映像信号VSとして信号処
理ユニット2へと送り出される。なお図において、SY
NCはタイミング信号の基準となる同期信号、PWRは
供給電源である。
るパルス信号P2により、CCD制御回路131を介し
てシャッタ時間を含むCCD122の駆動態様が制御さ
れる。同様にして、パルス信号P3及びP4により、サ
ンプルホールド回路(S/H)125のピークホールド
タイミング、AGC増幅回路126のゲインとその切替
タイミングが制御される。
シャッタ時間、AGC増幅回路126のゲインなどがC
CDイメージセンサ122を介して得られる画像に含ま
れる断面輪郭線像の輝度に影響を与える撮影条件を規定
するパラメータの1つに相当する。
タ時間、LD発光時間、LDピークパワー、AGC増幅
回路のゲイン等のパラメータにて規定される撮影条件が
複数パターン格納されており、信号処理ユニット2から
の制御信号CONTにより様々な撮影条件が選択可能と
されている。より具体的には、この画像の輝度に影響を
与える撮影条件としては、例えばモード0からモード3
1までの32通りが用意される。各モードの撮影条件の
内容は、先に述べた各種のパラメータ(CCDシャッタ
時間、LD発光時間、LDピークパワー、AGC増幅回
路のゲイン)の1もしくは2以上の組み合わせによって
決定される。
時間、LDピークパワー、AGC増幅回路のゲインなど
のパラメータの1種類のみを用いてその値を32通りに
変更してもよいし、或いは2以上のパラメータのそれぞ
れを適宜に変更して32通りの撮影条件をつくりだして
もよい。そしてこれら用意された32通りの撮影条件
は、信号処理ユニット2から到来する制御信号CONT
に応じて自動的に切り替えられ、これによって撮影条件
を最大32通りに切り替えつつ、CCDイメージセンサ
122による撮影を行うことができる。すなわち、撮影
条件を切り替えて画像の輝度を走査しつつ、最大32枚
の画像をCCDイメージセンサを介して取り込むことが
できる。なお、後に詳細に説明するように、本発明にあ
っては、このときのパラメータ変更単位量並びに最大変
更範囲は、計測対象物体に合わせて、或いは計測対象物
体の撮影結果に応じて、変更することができる。これに
より、画像取り込みに際してきめの細かい撮影条件変更
制御を実現している。
構成図が図4に示されている。同図に示されるように、
信号処理ユニット2には、FPGA(フィールド・プロ
グラマブル・ゲート・アレイ)201と、CPU202
と、画像メモリ203と、表示メモリ204と、A/D
変換器205と、D/A変換器206と、センサヘッド
駆動用のインタフェース207と、制御出力OUT用の
外部インタフェース208が含まれている。
01aと特徴抽出部201bとが含まれている。画像メ
モリ制御部201aは画像メモリ203に対する画像デ
ータ(例えば、センサヘッドユニット1から映像信号V
Sを介して取り込まれた画像データなど)の書き込みや
読み出しを制御するもので、後述する特徴抽出部201
bが特徴抽出演算を実行する際に、これを支援する機能
を有している。なお、この画像メモリ制御部201aに
ついても、専用のハードウェア回路で構成されている。
特徴抽出部201bは、各水平走査ライン上の画像デー
タの中からピーク画素を検出したりピーク濃度を検出し
たりするものであり、専用のハードウェア回路で構成さ
れている。
特徴抽出部201bの詳細については、後に図6を参照
して詳細に説明する。
として構成されており、機能的に捉えれば、表示制御部
202aと、計測部202bと、制御部202cと、デ
ータ判定部202dとがソフトウェア的に実現されてい
る。
に対する表示データの書き込みや読み出しを制御するも
のであり、表示メモリ204に書き込まれた表示データ
はD/A変換器206の作用でアナログの表示画像信号
として画像モニタ(図示せず)へと送られる。
計測等を実現するためのものであり、この発明にあって
は、合成画像が完成するのを待って、この合成画像をも
とに高さ、幅、長さ等の変位を演算により求めるもので
ある。この発明では、計測処理の内容については詳細な
説明を省くが、よく知られているように、計測処理に
は、(1)スリット光の照射された直線に沿って、セン
サヘッドユニット1と計測対象物体2との距離を計測す
ること、(2)一連の計測値からなる断面輪郭線像に基
づいて、段部の深さや段部の幅などを計測すること、
(3)スリット光の照射された直線に沿う一連の計測値
の平均値、ピーク値、ボトム値などを計測すること、
(4)スリット光の照射された直線に沿う一連の計測値
に基づき傾斜角度を計測すること、などが含まれる。
定を行うものであり、例えば計測部202bにて得られ
た計測値が基準値よりも大きいか小さいか、或いは一致
するかといったデータ判定を行い、その判定値としてス
イッチング信号を生成出力する。こうして得られたスイ
ッチング信号は、外部インタフェース208を介して制
御出力OUTとして外部へと送出される。
ユニット1から得られるアナログ映像信号VSをデジタ
ル変換して信号処理ユニット2へと取り込むためのもの
であり、D/A変換器206は表示メモリ204に格納
された表示データをアナログ信号に変換して画像モニタ
へ送り出すためのものである。
明する。先に説明したように、この光学式計測装置にあ
っては、CCDイメージセンサ122を介して得られる
画像に含まれる断面輪郭線像(スリット光の照射光像)
の輝度に影響を与える撮影条件を規定するパラメータの
少なくとも1つの値を所定の変更単位量かつ所定の変更
範囲をもって変更しつつ、これに伴い二次元イメージセ
ンサ122から画像データを複数枚取得し、これら複数
枚の画像のそれぞれにおける断面輪郭線像の輝度の良好
な部分を含む画像を適宜に寄せ集めて合成画像を生成
し、この合成画像に基づいて様々な計測処理を実行でき
るようにしている。
合成に必要なハードウェア構成を示す図が図6に示され
ている。同図に示されるように、このハードウェア全体
は、先に説明したFPGA201と、CPU202と、
画像メモリ203とを中心として構成されている。
01aと、特徴抽出部201bと、ラインバッファメモ
リ201cと、アドレス生成部201dと、ラインカウ
ンタ201eとが含まれている。
ヘッドユニット(図示せず)からアンプ(AMP)20
5a並びにA/D変換器205を介して到来する1ライ
ン分の画像データを一時的に格納するものである。こう
してラインバッファメモリ201cに格納された1ライ
ン分の画像データは、画像メモリ制御部201a,アド
レス生成部201d,ラインカウンタ201eの作用に
より、画像メモリ203の各ライン領域に順次に格納さ
れていく。すなわち、ラインカウンタ201eは1ライ
ン分の画像データが格納されるたび+1ずつ歩進され、
ラインカウンタ201eのカウンタデータに対応して画
像メモリ203のアドレスがアドレス生成部201dに
より生成される。画像メモリ制御部201aでは、ライ
ンバッファメモリ201cに格納された1ライン分の画
像データを、アドレス生成部201dで生成されたアド
レスで指定されるラインエリアへと転送して格納させ
る。
例えば126ライン分の画像データを格納可能となされ
ている。これに対応して、イメージセンサ122の視野
も126ラインに設定されている。先に本出願人により
出願されているように、このような細長い視野を有する
イメージセンサについては、市販のスチルカメラやビデ
オカメラ用CCDの視野において、126ライン分の領
域を残してその周囲をオプティカルブラックとしてマス
キングすることによって安価に製作することができる。
ンサヘッドユニットから1ライン分の画像データがライ
ンバッファメモリ201cへと転送格納される処理と連
動して当該1ライン分の画像データから、ピーク位置
(輝度がピークとなる画素位置)並びにそのピーク位置
から演算により求められた計測対象物体の高さを決定す
る。すなわち、この種の光切断法を利用した変位センサ
にあっては、計測対象物体の高さ方向と二次元イメージ
センサのライン方向とが対応し、スリット光の断面線方
向はイメージセンサのライン方向と直交する関係となっ
ている。そのため、各ラインデータについて、ピーク位
置に対応する1ライン上の画素位置を求めることによっ
て計測対象物の高さ情報を得ることができる。
と、ラインデータレジスタ202eとが設けられてい
る。演算制御部202cは、マイクロプロセッサを主体
として構成されており、ラインデータレジスタ202e
に対する各種のデータの書き込み並びに読み出しの制御
を司る。ラインデータレジスタ202e内には、0〜1
25に至る126個の記憶領域が設けられている。各ラ
インの記憶領域には、『確定フラグ』領域、『ピーク
値』領域、『ピーク位置』領域、『撮影条件』領域から
なる4つの領域が設けられている。
に説明するように、画像メモリ203の該当するライン
の画像データ、並びにラインデータレジスタ202eの
該当するラインのデータが確定しているか未確定である
かを決定するためのフラグ領域として使用される。な
お、ここで該当するラインとは、ラインカウンタ201
eにより指定されるラインのことを言う。また、『ピー
ク値』領域は、当該ラインにおける輝度のピーク値を格
納するための領域として使用される。また、『ピーク位
置』領域は、先に特徴抽出部201bにて決定されたピ
ーク位置を格納するために使用される。さらに『撮影条
件』領域は、後に詳細に説明するように、合成画像が完
了するに至る途中においては、毎回の撮影に使用された
撮影条件を格納するために使用され、合成画像が確定し
た後にあっては、その確定ラインに関わる撮影に採用さ
れた撮影条件を格納するために使用される。
照しながら、以上説明した図6に示されるハードウェア
の動作を系統的に説明する。
ードMの初期化が行われる(ステップ701)。ここ
で、モードMとは撮影条件を示している。先に説明した
ように、この実施形態にあっては、例えばモード0から
モード31に至る32通りの撮影条件が選択可能となさ
れている。各撮影条件は、撮影画像に含まれる断面輪郭
線像の輝度に影響を与える撮影条件を規定する1もしく
は2以上のパラメータの組み合わせによって決定され
る。先に説明したように、このパラメータとしては、例
えば、CCDシャッタ時間、LD発光時間、LDピーク
パワー、AGC増幅回路のゲイン等を挙げることができ
る。モード0からモード31に至る32通りの撮影条件
は、所定の単位変化量ごとに所定の変更範囲をもって変
更可能となされている。そこで、この初期化処理(ステ
ップ701)では、それら32通りの撮影条件の中で、
あらかじめ決められた最初の撮影条件への初期設定を行
う。
ップ702)。この初回フラグとは、連続して複数画面
分の画像データをCCDイメージセンサ122から取り
込む場合に、最初の取り込み回数であることを示すフラ
グである。
テップ701,702)が終了したならば、その後、ル
ーチン処理への移行がなされる。ルーチン処理の最初で
は、CCDイメージセンサ122から出力される1画面
分のビデオ信号を、アンプ205a及びA/D変換器2
05を介して取り込む指令を出力し(ステップ70
3)、その後、ラインごとの処理へと移行する(ステッ
プ704)。
細が図9に示されている。同図において処理が開始され
ると、まずイニシャライズ処理が行われる(ステップ9
01)。このイニシャライズ処理(ステップ901)で
は、ラインカウンタ(L)のリセット、ラインデータレ
ジスタ(R)内の確定フラグ、ピーク値及びピーク位置
のクリア、さらに上書き禁止フラグのリセットが行われ
る。ここで、ラインカウンタ(L)は画像メモリ203
並びにラインデータレジスタ202eのラインを指定す
るためのカウンタである。また、ラインデータレジスタ
は先に説明したように0〜125の126ラインについ
て確定フラグ、ピーク値、ピーク位置、並びに撮影条件
を格納するためのものである。また、撮影条件は先に説
明したようにCCDイメージセンサから各1画面分のデ
ータを取り込むに際する撮影条件を決定するためのもの
であり、フラグを構成する確定フラグはラインデータレ
ジスタの該当するラインのデータ並びに画像メモリ20
3の該当するラインの画像データが確定していることを
示すものである。さらに、フラグを構成する上書き禁止
フラグは該当するラインの画像メモリ203並びにライ
ンデータレジスタの書き替えを許容するか禁止するかを
決定するためのものである。
インカウンタ(L)で指定のラインについてA/D変換
器205からのデータをラインの先頭から終端までライ
ンバッファ201cにストアし、同時にライン内のピー
ク位置・高さの算出を行い(ステップ902)、続いて
データ確定処理を行う(ステップ903)。以後、ライ
ンカウンタLの値を+1増加させては、ステップ902
及び903が繰り返し実行され、ラインカウンタLの内
容がその最大値Lmaxに達するのを待って(ステップ9
05YES)、ライン毎の処理は終了して、データ確定
処理へと移行しする(ステップ903)。
1に示されている。同図において処理が開始されると、
まず確定フラグの状態が参照される(ステップ100
1)。ここで、確定フラグの状態が“確定”であれば、
何の処理も行うことなく、次の処理への移行が行われ
る。これに対して、確定フラグが“未確定”であれば、
ステップ1002以降の処理へとの移行が行われる。
201bにて決定された輝度のピーク値とあらかじめ最
適計測条件に対応して決定された基準値TH−OKとの
比較が行われる(ステップ1002)。ここで、ピーク
値>TH−OKが否定されれば(ステップ1002N
O)、ラインデータレジスタのデータ更新1が実行され
る(ステップ1003)。ここで、図11(a)に示さ
れるように、ラインデータレジスタのデータ更新1(ス
テップ1003)においては、確定フラグの内容は“未
確定”に、ピーク値の内容は“今回求められたピーク値
に”、ピーク位置の内容は“今回求められたピーク位
置”に、さらに撮影条件は“今回の撮影条件”にそれぞ
れ更新される。
データ更新1(ステップ1003)が終了すると、続い
てメモリ制御フラグの更新が行われる(ステップ100
4)。なお注目すべきは、このとき、上書き禁止フラグ
のセットは行わない。これにより、ラインデータレジス
タ202eのデータは更新されるものの、そのラインに
対する上書き禁止フラグはリセット状態に維持される。
つまり、この状態では当該ラインへの上書きは許可され
たままの状態となる。
ッタ時間の増加により受光ピーク値の値が上昇して、そ
の値が基準値であるTH−OKを超えると(ステップ1
002YES)、続いてステップ1005へ進んで、今
回求められたピーク値がラインデータレジスタ202e
に保持されたピーク値より基準値TH−OKに近いかど
うかの判定が行われる(ステップ1005)。ここで、
近いと判定された場合(ステップ1005YES)、ラ
インデータレジスタのデータ更新2(ステップ100
6)が実行される。このラインデータレジスタのデータ
更新2(ステップ1006)においては、図11(b)
に示されるように、確定フラグの内容は“確定”に、ピ
ーク値の内容は“今回求められたピーク値”に、ピーク
位置の内容は“今回求められたピーク位置”に、さらに
撮影条件は“今回の撮影条件”にそれぞれ更新される。
データ更新2(ステップ1006)が終了すると、続い
てメモリ制御フラグの更新が実行される(ステップ10
08)。このメモリ制御フラグの更新においては、上書
き禁止フラグがセットされる。これにより、以後当該ラ
インに対するラインデータレジスタ202eの内容並び
に画像メモリ203の内容は書き替えが禁止され、以後
その内容が保持される。
基準値TH−OKよりも遠いと判定されると(ステップ
1005NO)、データレジスタのデータ更新3(ステ
ップ1007)が実行される。このデータレジスタのデ
ータ更新3(ステップ1007)においては、図11
(c)に示されるように、確定フラグの内容は“確定”
に、ピーク値の内容は“レジスタに保持されているピー
ク値”に、ピーク位置の内容は“レジスタに保持されて
いるピーク位置”に、さらに撮影条件は“レジスタに保
持されている撮影条件”にそれぞれ更新される。これに
より、ピーク値並びにピーク位置の内容は、基準値TH
−OKを超えていない状態の値のままで確定される。
プ704)が終了したならば、続いて画像ごとの処理
(ステップ705)へと移行する。この画像ごとの処理
(ステップ705)においては、(1)画像制御に関す
る処理、(2)計測結果を判定する処理、(3)その他
の計測結果の処理を実行する。ここで、画像制御に関す
る処理においては、次の画像を取り込むときの条件(シ
ャッタ速度やビデオ信号の増幅率)の設定、並びに全て
の条件で画像を取り込み終わったか否かの判断などが行
われる。また、計測結果を判定する処理においては、全
てのラインで計測結果が確定したかどうかの判断が行わ
れる。さらに、その他の計測結果の処理においては、例
えばそのときの画像に対してフィルタ処理を行うなど、
ライン方向の演算処理が実行される。
説明したステップ703〜705の処理が繰り返し実行
される。但しその際に、初回フラグがセットされている
かどうかの判断(ステップ707)並びにそのときのモ
ードMがラインデータレジスタに登録されているかどう
かの判断(ステップ708)が実行される。ここでそれ
らの判断(ステップ707,708)を行うのは、2回
目以降のマルチ画像取り込み並びに画像合成について
は、初回のマルチ画像取り込み並びに画像合成において
有効とされた撮影条件のみを採用し、その他の撮影条件
をスキップすることによって画像取り込み時間の短縮並
びにそれに続く画像合成処理の短縮化を図るためであ
る。
に画像合成処理においては、あらかじめ用意された撮影
条件の全て(例えば32通り)を採用するのに対し、2
回目以降のマルチ画像取り込み並びに画像合成処理にお
いては、初回の処理において有効とされた撮影条件のみ
が利用される。これは先に説明した図9のフローチャー
トにおいてイニシャライズ処理(ステップ901)にお
いて、撮影条件をクリアせずにそのまま保存しているこ
と、並びに図7のフローチャートにおいて、初回以外の
状態では(ステップ707NO)、ラインデータレジス
タに撮影条件Mが登録されている場合に限り(ステップ
708YES)、画像取り込み処理(ステップ70
3)、ラインごとの処理(ステップ704)並びに画像
ごとの処理(ステップ705)が実行されるのに対し、
初回のマルチ画像取り込み及び合成処理において採用さ
れなかった撮影条件Mについては(ステップ708N
O)撮影条件モードの更新のみを行い(ステップ70
6)、上記一連の処理(ステップ703〜705)につ
いてはスキップすることにより実現される。
いた最大値に達すると(ステップ709YES)、図8
へ進んで、画像メモリ203に保存されている合成画像
に基づいて所定の計測処理が実行される。言うまでもな
いことであるが、撮影モードMの値が最大値Mmaxに達
した時点において画像メモリ203に保存されている画
像はそれまでに取得された何枚かの画像の中で、断面輪
郭線像が所定の基準値TH−OKに近似するものを寄せ
集めたものであるから、撮影対象となる計測対象物の表
面が反射率不均一、傾斜面や曲面の存在、さらには溝の
存在があったとしても撮影条件を切り替えていくうちに
はそれら反射率の低い部分についても最適な鮮明度乃至
輝度の像が得られているであろうから、最終的な合成画
像は全体として鮮明度乃至輝度の均一な計測に適した良
好な画像となるのである。
しては、詳細には説明しないが、公知の様々な計測モー
ドが採用可能である。例えば、段差計測、幅計測、傾斜
の計測、曲面の計測、曲面の曲率の計測などが含まれる
ことは言うまでもない。
了すると、続いてステップ802が実行されて、先にス
テップ707で説明した初回フラグの解除がなされ(ス
テップ802)、以後新たな撮影指令(撮影トリガー)
の到来を待機する状態となる(ステップ803,804
NO)。この状態で、新たな撮影トリガーが到来すれば
(ステップ804YES)、図7に戻って、ステップ7
03以降の処理へと以降して、次回のマルチ画像の取り
込み、合成処理、並びに、1回分の計測処理が同様に実
行される。
ながら、以上説明したマルチ画像取り込み処理、画像合
成処理、並びに計測処理を具体的な例を挙げながら詳細
に説明する。
撮影条件を例えばモード0からモード31まで32通り
切替(走査)えつつ、複数枚の画像を取り込み、それら
を合成することによって計測に最適な画像を生成し、こ
れに基づいて所望の計測処理を実行している。実際に
は、各撮影条件は、複数のパラメータ(例えば、CCD
イメージセンサのシャッタ時間、LD発光時間、LDピ
ークパワー、AGC増幅回路のゲイン)の組み合わせが
採用されるのであるが、これを簡単に或いは端的に説明
するのは必ずしも容易なことではない。そこで、以下の
説明においては、説明の便宜のために、撮影条件はCC
Dシャッタのシャッタ時間のみによって決定されるもの
と想定する。
ャートが図5に示されている。図から明らかなように、
このタイムチャートは、(a)画像取り込み処理、
(b)ラインごとの処理、(c)画像ごとの処理、
(d)1回分の計測処理から成り立っている。それらの
処理については、先にフローチャートを用いて詳細に説
明したとおりである。なお、図において、最上段に描か
れた画像取り込み処理において、横幅の異なる白抜き四
角形は、その幅によりシャッタ時間を表している。ま
た、この例では、撮影条件Mはシャッタ0〜シャッタ9
からなる10通りに設定されている。相前後する画像取
り込み処理(ステップ703)の間の期間においては、
ラインごとの処理(ステップ704)が実行される。ま
た各回のラインごとの処理の終了時点においては、画像
ごとの処理(ステップ705)が実行される。最後の画
像ごとの処理の終了直後に1回分の計測処理(ステップ
801)が行われる。
を示す説明図(その1)〜(その3)が図12〜図14
に示されている。先に説明したように、本発明にあって
は、CCDイメージセンサ122から1画面の画像デー
タが取り込まれた場合、その画像データを構成する各ラ
インの断面輪郭線部分像のピーク値を計測に最適な基準
値(TH−OK)と照合し、両者が近似することを条件
としてその1ライン分の画像を最終的な合成画像の一部
として確定し、以上の動作を各ラインについて繰り返す
ことによって、最終的に1枚分の合成画像を生成する。
ンで構成され、撮影条件を規定するシャッタ時間が0〜
9の10通りであるとした場合における上記のマルチ画
像取り込み並びに合成処理が図12〜図14に示されて
いる。
条件における映像入力の状態が、また同図(b)には、
同状態における画像メモリの保存内容が、さらに同図
(c)には、計測対象物体の断面形状がそれぞれ示され
ている。
間1の撮影条件においては、映像入力の状態は、ライン
0,6,7においてのみ断面輪郭線部分像が得られてい
る。このとき同図(b)に示されるように、画像メモリ
にはライン0,6,7の状態の像が取り込まれて保存さ
れる。この保存された像は、計測に最適な基準値TH−
OKに近似しているため、図中各ラインの右端に黒三角
で示されるように確定画像とされる。
条件における映像入力の状態が、また同図(b)には、
同状態における画像メモリの保存内容が、さらに同図
(c)には、計測対象物体の断面形状がそれぞれ示され
ている。
間3の撮影条件においては、映像入力の状態は、ライン
0,3,4,6,7においてのみ断面輪郭線部分像が得
られている。それらの中で、ライン0,6,7の像のピ
ークは、適切な値を大きく超えている。これに対して、
ライン3,4の像のピークは計測に最適な基準値TH−
OKに近似している。このとき同図(b)に示されるよ
うに、画像メモリにはライン3,4の状態の像が取り込
まれて保存される。この保存された像は、計測に最適な
基準値TH−OKに近似しているため、図中各ラインの
右端に黒三角で示されるように確定画像とされる。この
とき、ライン0,6,7に関しては、既に確定画像であ
るから映像入力によって更新されることはない。
条件における映像入力の状態が、また同図(b)には、
同状態における画像メモリの保存内容が、さらに同図
(c)には、計測対象物体の断面形状がそれぞれ示され
ている。
間8の撮影条件においては、映像入力の状態は、ライン
0〜7のすべてにおいて断面輪郭線部分像が得られてい
る。それらの中で、ライン0,3,4,6,7の像のピ
ークは、適切な値を大きく超えている。これに対して、
ライン1,2,5の像のピークは計測に最適な基準値T
H−OKに近似している。このとき同図(b)に示され
るように、画像メモリにはライン1,2,5の状態の像
が取り込まれて保存される。この保存された像は、計測
に最適な基準値TH−OKに近似しているため、図中各
ラインの右端に黒三角で示されるように確定画像とされ
る。このとき、ライン0,3,4,6,7に関しては、
既に確定画像であるから映像入力によって更新されるこ
とはない。
処理の説明図が図15に示されている。先に図7のフロ
ーチャートを参照して説明したように、本発明にあって
は、2回目以降のマルチ画像取り込み並びに画像合成処
理に際しては、初回の又はそれ以降のマルチ画像取り込
み処理にて採用された撮影条件をティーチングデータと
して保存し、以後のマルチ画像取り込み並びに画像合成
処理に際しては、それまでに採用されなかった撮影条件
に関しては撮影条件走査に際してスキップさせることに
よって無駄な画像取り込み処理並びに必要な合成処理を
不要として、処理の簡素化と処理時間の短縮化を図って
いる。この状態を示しているのが図15である。
は、シャッタ1の撮影条件においては、ライン0,6,
7が確定画像として保存され、シャッタ3の撮影条件に
おいては、ライン3,4が確定画像として保存され、シ
ャッタ8の撮影条件においては、ライン1,2,5が確
定画像として保存されている。このとき図中シャッタ8
に相当する画像メモリにおいて各ラインの右端にはその
ラインの確定に利用された撮影条件がそれぞれ表示され
ている。これは、ラインデータレジスタ202eの撮影
条件領域の内容に相当する。すなわち、ラインデータレ
ジスタの各ライン0,1,2,3,4,5,6,7の撮
影条件領域には、撮影条件を示す数値1,8,8,3,
3,8,1,1が保存されている。この場合、次回以降
のマルチ画像取り込み処理に際しては、これら保存され
た撮影条件を示す数値1,8,8,3,3,8,1,1
以外の撮影条件についてはスキップされ、これにより初
回は0〜9の10通りの撮影条件を機械的に適用したの
に対し、次回以降については撮影条件1,3,8以外は
スキップされ、3回の撮影条件のみで適切な輝度を有す
る断面輪郭線部分像を含む合成画像が得られることが理
解されるであろう。
る画像モニタ4の一般的な表示例を示す説明図が図16
に示されている。同図に示されるように、モニタ画面上
の左上ほぼ大部分の領域には横軸に計測値を、縦軸にラ
イン番号をとって、1画面分の合成画像が表示される。
また、当該合成画像上には、図中左右方向へ延びる点線
で示されるように、カーソルラインが表示され、このカ
ーソルラインはコンソールユニット3のキー操作によっ
て上下方向へと平行移動可能になされている。また、こ
のカーソルラインが位置する水平ラインの情報は、画像
表示領域を取り巻くその周囲にそれぞれ表示される。
は、シャッタ時間(LV)、ピーク値(PEAK)、並
びに計測結果(Z)が表示される。また、1画面分の合
成画像の下側には、カーソルラインにより指定された水
平ラインに沿う光量分布曲線が、さらにその下には画面
全体の計測結果が×××.××××として表示される。
そのためこのようなモニタ画面によれば、オペレータは
合成画像上においてカーソルラインを上下に移動させつ
つ適当な水平ラインに位置させることによって、そのラ
イン上の光量分布やシャッタ時間、ピーク値、計測結果
などを容易に確認することができる。なお、先に説明し
たように、合成画像を構成する各ラインの右端に描かれ
た数値1,8,8,3,3,8,1,1はその1ライン
分の画像データが確定したときの撮影条件であるシャッ
タ時間である。
理の説明図(その1)が図17に、また計測用画像表示
処理を示すフローチャート(その1)が図19に示され
ている。これらの図から明らかなように、あらかじめ用
意された撮影条件を全て採用しても、その間に最適なピ
ーク値が得られない場合、その水平ラインについては画
像の登録は行われず、確定画像は得られない。このよう
な場合、オペレータに対し何の通知も行わないものとす
れば、これに基づく計測不能が生じたような場合、原因
究明に戸惑う虞れがある。そこで、この実施形態におい
ては、そのような場合、モニタ画面上において、合成画
像の該当する水平ラインについては、断面輪郭線部分像
を表示しないことによって、そのことをオペレータに通
知するようにしている。すなわち、図17に示されるよ
うに、この例ではライン4が計測不能領域とされてお
り、この場合ライン4には断面輪郭線部分像は何も表示
されず、加えて各ラインの右端に描かれる撮影条件特定
数値についても図中アンダーバーで示されるように、表
示なしとされる。これにより、オペレータはライン4に
ついては画像が取得できなかったため、計測不能となる
ことをあらかじめ知ることができる。
は、図19のフローチャートに示される処理を実施する
ことで容易に実現することができる。すなわち、同図に
おいて処理が開始されると、まずラインカウンタLの値
を0リセットしたのち(ステップ1901)、ラインカ
ウンタLで指定のラインからラインデータの読み出しが
行われる(ステップ1902)。次いで、ラインデータ
の撮影条件領域Mに撮影条件が登録されているかどうか
の判定が行われる(ステップ1903)。ここで、撮影
条件Mにデータが存在した場合には(ステップ1903
YES)、そのラインの画像データは図示しない表示用
バッファメモリへと出力される(ステップ1904)。
これに対して、撮影条件Mが存在しなければ(ステップ
1903NO)、当該1ライン分のデータは表示用バッ
ファメモリへの出力をスキップされる(ステップ190
5)。以上の表示データ出力処理又は表示データスキッ
プ処理が、ラインカウンタLの値を+1ずつ増加させて
は(ステップ1906)、繰り返され、最後のラインナ
ンバーまで達した時点で(ステップ1907YES)、
処理は終了する。この結果、表示用バッファメモリへ
は、ラインデータの確定した画像データのみが転送され
る結果、画像モニタ4の画面上には、図17に示される
ように、確定されたラインのみの断面輪郭線部分像を含
む合成画像が表示され、不確定のラインについては何の
画像データも表示されない。これにより、オペレータは
画像データの画面上欠落からそのラインの計測不能を容
易に認識することができる。
理の説明図(その2)が図18に、計測用画像表示処理
を示すフローチャート(その2)が図20に示されてい
る。この例にあっては、水平ライン画像未確定のライン
については、図18に示されるように、合成画像の該当
するラインの右端に特別なマーク(図では×印で示す)
を表示することによって、当該ラインを積極的に警告す
るようにしている。
いては、図20のフローチャートに示される処理を実施
することで容易に実現することができる。すなわち、同
図において処理が開始されると、まずラインカウンタL
の値を0リセットした後(ステップ2001)、ライン
カウンタLで指定のラインからラインデータの読み出し
が行われる(ステップ2002)。次いで、ラインデー
タの撮影条件領域Mに撮影条件が登録されているかどう
かの判定が行われる(ステップ2003)。ここで、撮
影条件領域Mにデータが存在した場合には(ステップ2
003YES)、そのラインの画像データは図示しない
表示用バッファメモリへと出力される(ステップ200
4)。これに対して、撮影条件Mが存在しなければ(ス
テップ2003NO)、当該1ライン分のデータは表示
用バッファメモリへ計測不能マークを出力する処理が実
行される(ステップ2005)。以上の表示データ出力
処理又は計測不能マーク出力処理が、ラインカウンタL
の値を+1ずつ増加させては(ステップ2006)、繰
り返され、最後のラインナンバーまで達した時点で(ス
テップ2007YES)、処理は終了する。この結果、
表示用バッファメモリへは、ラインデータの確定した画
像データのみが転送され、加えてラインデータの確定し
ない画像データに関しては計測不能マークが出力される
ため、モニタ4の画面上には、図18に示されるよう
に、確定されたラインのみの断面輪郭線部分像に加え
て、未確定のラインについてはそのラインの右端に計測
不能マーク(図では×印で示す)を含む合成画像が表示
される。これにより、オペレータは画像データの画面上
に表示される計測不能マークに基づきそのラインの計測
不能を容易に認識することができる。
理の説明図が図21に、受光条件変更の処理を示すフロ
ーチャートが図22に、テーブル書き替え処理を説明す
る図が図23に示されている。
は、初回のマルチ画像取り込み処理並びに画像合成処理
が終了した時点において、撮影条件Mk〜Mk+nの範
囲が使用されていたものと想定する。尤もこの条件にお
いて、マルチ画像の取得並びに合成を行ってはみたが、
計測値あるいは画面上の表示状態からして、必ずしも最
適な鮮明度乃至輝度の合成画像が得られたとは言い難か
ったものと想定する。
は、図示しないカーソル操作あるいはキー操作によっ
て、撮影条件Mk,Mk+nをそれぞれ下限値並びに上
限値として登録する。
るように、下限値設定処理(ステップ2201)並びに
上限値設定処理(ステップ2202)が実行された後、
本発明で新たに設けたテーブル書き替え処理(ステップ
2203)が実行される。すると、図23に示されるよ
うに、同図(a)に示される標準テーブルは、同図
(b)に示されるカスタマイズテーブルに変換される。
れる標準テーブルにおいては、0〜31の32通りのシ
ャッタ時間は、0.1単位ごとに増加するように決めら
れている。これに対して同図(b)に示されるカスタマ
イズテーブルにあっては、オペレータが指定した下限及
び上限である0.3と0.8との間を32段階に分割し
た各シャッタ時間が定義される。これにより、先に得ら
れた撮影条件であるシャッタ時間範囲Mk〜Mk+n
は、図21に示されるようにα0〜α31の32段階に
細分されることとなり、以後のマルチ画像取得並びに合
成処理においては、それら32段階の撮影条件を用い
て、きめ細かく撮影条件を変更しつつ、マルチ画像の取
り込み並びに画像合成が行われて、より精度の高い画像
合成処理並びに計測処理が実現される。
回もしくはいずれかの回で何らかの撮影条件範囲におい
てマルチ画像が取得されても、実際の計測においてなお
も精度不足などの不具合が生じる場合には、所定の上限
値設定処理並びに下限値設定処理を行うことによって、
より細分化された撮影条件設定が可能となる。
によれば、計測対象物体の表面に表面性状のばらつき、
傾斜面、曲面、溝などが存在して、局部的な反射光量の
ばらつきが存在したとしても、マルチ画像取得と画像構
成とを行ってそれら局部的な反射光量のばらつきを修正
した上で、計測処理を行うため、常に安定的に高精度な
計測結果を得ることができる。尤も、本発明の光学式計
測装置にあっても、センサヘッドユニットと計測対象物
体との間に様々な理由で相対的なずれが生ずれば、計測
対象領域の変動によって、計測不能状況が生ずることは
避けられないであろう。
明図(その1)が図24に示されている。同図は、段差
計測中に、ワークが水平移動して計測不能状況が生ずる
ことを示すものである。すなわち同図(a)に示される
ように、計測対象ワーク表面の段差計測を行う場合、二
次元撮像素子の視野内において、基準面Lrefが到来す
るであろう位置には所定幅の計測対象領域1を、また計
測対象面Lsが到来するであろう位置には所定幅の計測
対象領域2を設定する。そして、これら領域1及び領域
2のそれぞれにおける平均高さを求め、それらの差を求
めることにより、段差計測を行う。
した状態において、ワークが水平移動した場合を示して
いる。この場合、領域1は基準面Lrefをはずれ、領域
2は計測対象面Lsをはずれてしまう。すると、それら
領域1,2における平均高さは、目的とする基準面Lre
f及び計測対象面Lsの高さを代表しない値となる。そ
の結果、こうして得られた平均高さの差をとっても、正
確な段差を計測することはできない。
ーク自体がコンベアを搬送される中で搬送方向と直交す
る方向へ位置ずれをおこした場合や、ワークの搬送位置
それ自体は狂いがないのに経年劣化などによってスリッ
ト光の照射方向がスリット方向へとずれてしまったよう
な場合が想定される。
平移動に対する計測不能状況の発生は、横揺れ対策処理
の適用によって回避することができる。この横揺れ対策
処理を図25〜図30を参照して説明する。
25に示されている。同図において処理が開始される
と、まず基準しきい値の設定処理(ステップ2501)
が実行される。この基準しきい値の設定処理(ステップ
2501)は、図29に示されるように、微分処理を用
いてしきい値の算出を行うことができる。すなわち、同
図(a)に示されるように、CCDイメージセンサの視
野内に台形状の断面輪郭線が現れたとすると、これに対
して微分処理を施すことによって、同図(b)に示され
るように、台形状波形の左右両端部に対応するエッジ位
置E11,E12を決定することができる。こうしてエ
ッジ位置E11,E12が決定されたならば、続いて以
下の2つの式のいずれかを用いて、しきい値を決定する
ことができる。 しきい値=(ボトム)+(ピーク−ボトム)×α% …(1) しきい値=平均値+β …(2)
了したならば(ステップ2501)、続いて基準しきい
値Lthを用いて、ワークのセグメント分割を行う(ステ
ップ2502)。
が図26に示されている。同図に示されるように、セグ
メント分割処理においては、まず最初に1画面分の画像
の水平ラインを指定するラインカウンタLの値を初期化
(L=0)する(ステップ2601)。
平ライン上のピーク高さを算出し(ステップ260
2)、算出されたピーク高さがしきい値Lthを超えてい
るか否かの判定を行う(ステップ2603)。ここでピ
ーク高さがしきい値Lthを超えていると判定されれば
(ステップ2603YES)、当該ライン上のピーク位
置は“H”と記憶されるのに対し(ステップ260
4)、ピーク高さがしきい値Lthを超えていないと判定
されると(ステップ2603NO)、そのピーク位置は
“L”と記憶される(ステップ2605)。なお、ここ
でピーク位置とは、その水平走査ライン上における物体
の高さを表している。
加させながら(ステップ2606)、ピーク高さの算出
処理(ステップ2602)、ピーク位置の“H”または
“L”の記憶処理(ステップ2603,2604,26
05)が繰り返され、ラインカウンタの値が最大値であ
るLmaxに達すると共に(ステップ2607YES)、
処理は終了する。このようにしてセグメント分割処理が
終了すると、図27(b)に示されるように、しきい値
Lthよりも低い領域についてはLOWセグメントとし
て、また高い領域についてはHIセグメントとして認定
される。
処理が完了したならば(ステップ2502)、続いて図
28(a)に示されるように、LOWセグメントに関す
るエッジ位置並びにエッジ中心の算出、及びHIセグメ
ントに関するエッジ位置並びにエッジ中心の算出が行わ
れる(ステップ2503)。
先に求めた各エッジ中心位置に基づいて、その左右方向
へと一定幅を確保することによって、基準となる面であ
るLOWセグメントの計測領域と、凸部となる面である
HIセグメントの計測領域の算出が行われる(ステップ
2504)。
メントの平均高さ(Hst)の算出処理(ステップ250
5)及びHIセグメントの平均高さ(Hmeg)の算出処
理(ステップ2506)が実行され、その後両者の差を
とることによって段差の算出が完了する(ステップ25
07)。
によれば、二次元撮像素子を介して得られた断面輪郭線
像そのものに基づいて、LOWセグメント並びにHIセ
グメントの中心位置を求め、これを基準として計測領域
を設定するといったトラッキング処理を実行するため、
計測中にセンサヘッドユニットと計測対象物体とが水平
方向へと移動したとしても、これに追従して計測領域も
水平移動するため、計測領域が目的とする計測領域をは
ずれることに起因した計測不能状況の発生を未然に防止
することができる。
図30に示されるように、そのまま窪みの高さ計測時の
横揺れ対策として実施することもできる。すなわち、こ
の例にあっては、同様にしてLOWセグメント並びにH
Iセグメントの中心位置を求めた後、各セグメントのエ
ッジ位置とエッジ位置との間を溝領域として認定し、こ
れに計測領域を設定することによって、計測対象物の水
平移動に伴い、計測領域が溝領域からはずれることを未
然に防止することができる。
が垂直移動したことにより生ずる計測不能状況について
説明する。図31(a)に示されるように、ワークの幅
計測を行う場合には、幅計測の対象となる凸部の下面
(基準面)Lrefと上面(計測対象面)Lsとの間にし
きい値Lthを設定することで、凸部の左右両エッジ位置
E1,E2の検出を行い、それらエッジ間の長さを凸部
の幅として認定する。
が垂直移動を行うと、同図(b)に示されるように、し
きい値Lthの高さは、ワークの凸部から上下方向へとは
ずれてしまい、エッジ位置E1,E2の検出ができない
ことから、計測不能状況が生ずる。
ては、本発明にあっては、図32〜図34に示される縦
揺れ対策処理の実施によって回避することができる。こ
の縦揺れ対策(幅計測)の動作フローが図32に示され
ている。同図において処理が開始されると、まず最初
に、図33(a)に示されるように、ワークが移動して
も常に計測可能な領域を基準計測領域として規定する
(ステップ3201)。
体の平均高さ(Hst)の算出を行う(ステップ320
2)。
平均高さ(Hst)にあらかじめ設定しているオフセット
Δthを加算して、相対的なしきい値Lthを算出する(ス
テップ2503)。
算出された相対的なしきい値Lthを用いてワークのセグ
メント分割を行う(ステップ3204)。
HIセグメントの開始エッジ位置と終了エッジ位置から
目的とする幅の算出を行う(ステップ3205)。
しきい値(Lth)は、常に基準測定値に対して一定のオ
フセットΔthを加算して決定されるため、計測対象とな
るワークが垂直方向へ移動すれば、これに追従して相対
しきい値Lthも垂直方向へと移動するため、基準しきい
値が段差領域から高さ方向へはずれることによる計測不
能状況の発生を未然に防止することができる。
双方に対する対応策を図35〜図37を参照して説明す
る。このような縦・横揺れ対策の動作フローが図35に
示されている。同図において処理が開始されると、まず
最初に、図36(a)に示されるように、ワークが移動
しても常に計測可能な領域を基準計測領域として規定す
る(ステップ3501)。
体の平均高さ(Hst)の算出が行われる(ステップ35
02)。
算出された平均高さ(Hst)にあらかじめ設定している
オフセットΔthを加算して、相対的なしきい値Lth′の
算出が行われる(ステップ3503)。
算出された相対的なしきい値Lth′を用いてワークのセ
グメント分割処理が行われる(ステップ3504)。
LOWセグメントに関するエッジ位置並びにエッジ中心
の算出、さらには、HIセグメントに関するエッジ位置
並びにエッジ中心の算出が行われる(ステップ350
5)。
基準となる面であるLOWセグメントの計測領域と、凸
部に相当する面であるHIセグメントの計測領域の算出
が行われる(ステップ3506)。
算出処理(ステップ3507)、HIセグメントの高さ
(Hmeg)の算出処理(ステップ3508)が行われた
後、それら算出された値の差を求めることによって段差
の算出が完了する(ステップ3509)。
計測領域は、計測対象物体の水平方向並びに垂直方向の
いずれにおいても追従して移動するため、いずれの方向
へのワークの移動に対しても計測領域が目的とする領域
からはずれてしまうことを回避し、それによる計測不能
状況の発生を未然に防止することができる。
ユニットとワークとの相対移動のみならず、ノイズなど
を原因として、合成画像上のいくつかのラインに画像デ
ータが確定しないことによる計測不能領域の発生につい
ても、合成画像が生成された後にこれを修復するといっ
た後処理によって、上記の計測不能領域の発生を未然に
防止することができる。
明図(その1)が図38に示されている。この例にあっ
ては、同図(a)に示されるように、本来の高さ分布に
おいては、何本かの水平ラインに計測不能領域が存在す
るのに対し、これを同図(b)に示されるように、直前
のデータで置換することによって、合成画像上に計測不
能領域が生ずることを未然に防止することができる。
明図(その2)が図39に示されている。この例にあっ
ても、同図(a)に示されるように、本来の高さ分布に
あっては、何本かの水平ラインに計測不能領域が存在す
るのに対し、同図(b)に示されるように、それら計測
不能領域については、その前後に位置するデータで補間
するという処理を採用することによって、計測不能領域
が発生することを未然に防止することができる。
明図(その3)が図40に示されている。この例にあっ
ても、同図(a)に示されるように、本来の高さ分布に
あっては何本かの水平ラインにおいて計測不能領域が存
在するのに対し、同図(b)に示されるように、ノイズ
などによる誤データがこれに加わった場合には、このよ
うな誤ったデータについては所定のしきい値をもってレ
ベル弁別して輝度の連続性を判定し、連続性を有する場
合に限り、これを直前のデータと同じセグメントと置換
することによって、ノイズなどの影響による計測不能領
域の発生を未然に防止することができる。
よれば、例えば、表面反射率が相違したり、表面に溝が
存在したり、表面に傾斜面が存在したり、表面に曲面が
存在するような計測対象物に対しても、高精度な断面輪
郭線計測が可能なスリット光切断法を使用した光学式計
測装置を提供することができる。
により断面輪郭線像の一部が局部的に欠落したような場
合には、これを適宜に修復可能な光学式計測装置を提供
することができる。
上のスリット光が照射されている部分の中の特定像部分
を目的として計測対象領域を設定して計測を行う場合に
おいて、前記特定像部分と計測対象領域とのずれを自動
的に修正可能とした光学式計測装置を提供することがで
きる。
外観図である。
物体との関係を示す説明図である。
る。
る。
トである。
ある。
ト(その1)である。
ト(その2)である。
る。
明する図である。
説明図(その1)である。
説明図(その2)である。
説明図(その3)である。
図である。
る。
(その1)である。
(その2)である。
(その1)である。
(その2)である。
図である。
ある。
1)である。
る。
ある。
である。
である。
る。
る。
2)である。
ある。
ある。
1)である。
2)である。
図(その1)である。
図(その2)である。
図(その3)である。
である。
である。
測対象物体表面に所定角度で照射する投光手段と、計測
対象物体表面のスリット光照射位置をスリット光照射角
度とは異なる角度から二次元撮像素子を使用して撮影し
て光切断面の断面輪郭線像を含む画像を取得する撮影手
段と、この撮影手段を介して得られる光切断面の断面輪
郭線像に基づいて、所定の計測処理を実行することによ
り計測値及び/又は判定値を生成する計測手段と、を具
備する、光切断法を利用した光学式計測装置(『変位セ
ンサ』とも称される)は従来より知られている。ここ
で、スリット光の断面のなす直線の方向は、二次元撮影
素子の視野内においては、垂直走査方向に対応する。ま
た、計測装置(一般には、センサヘッド)と計測対象物
体との距離が変化したときにスリット光のなす断面輪郭
線像が二次元撮像素子の視野内において移動する方向
は、水平走査方向に対応する。これにより、二次元撮像
素子の受光面には、光切断面の断面輪郭線像が結像され
る。
又は予定される全てに規定の最大輝度条件を満足する区
画領域画像が書き込まれたときに、マルチ画像取得手段
における画像取得を終了するようにすれば、無駄な画像
取得動作を省略してより一層の処理時間の短縮を図るこ
とができる。なお、このとき、画像メモリが1又は隣接
する2以上の水平走査ラインで構成される領域毎に区画
されてそれぞれが区画領域とされていれば、マルチ画像
取得手段を構成する撮像素子からの画像取得単位と画像
メモリへの書き込み画像の単位とが一致することから書
き込み制御が容易となり、処理時間の短縮を図ることが
できる。先に述べたように、スリット光の断面のなす直
線の方向は、二次元撮像素子の受光面上においては、垂
直走査ライン方向に対応する。また、計測装置と計測対
象物体との距離が変化したときにスリット光のなす断面
輪郭線像が二次元撮像素子の受光面上において移動する
方向は、水平走査ライン方向に対応する。
Claims (32)
- 【請求項1】 光源からの光をスリット光に整形して計
測対象物体表面に所定角度で照射する投光手段と、前記
計測対象物体表面のスリット光照射位置を前記スリット
光の照射角度とは異なる角度から二次元撮像素子により
撮影して光切断面の断面輪郭線像を含む画像を取得する
撮影手段と、前記撮影手段を介して得られる画像の輝度
に影響を与える撮影条件を規定するパラメータの少なく
とも1つの値を変更することにより画像の輝度を走査可
能なパラメータ値変更手段とを備えて、前記撮影条件の
異なる複数枚の画像を取得するマルチ画像取得手段と、 マルチ画像取得手段により取得された複数枚の画像の中
から、予め設定された区画領域毎に、規定の最大輝度条
件を満足する区画領域画像を抽出すると共に、それら抽
出された各区画領域画像を寄せ集めることにより一連の
断面輪郭線部分像を含む合成画像を生成する画像合成手
段と、 前記画像合成手段により生成された合成画像に含まれる
一連の断面輪郭線部分像に基づいて、所定の計測処理を
実行することにより計測値及び/又は判定値を生成する
計測手段と、 を具備する光学式計測装置。 - 【請求項2】 前記計測値が、スリット光照射位置に沿
った前記計測対象物体表面についての、前記マルチ画像
取得手段からの距離の分布である、請求項1に記載の光
学式計測装置。 - 【請求項3】 前記画面の輝度に影響を与える撮影条件
を規定するパラメータには、前記光源の光量及び/又は
前記二次元撮像素子のシャッタ時間が含まれている、請
求項1に記載の光学式計測装置。 - 【請求項4】 前記パラメータ値の変更単位量が可変と
されている、請求項1に記載の光学式計測装置。 - 【請求項5】 前記パラメータ値の最大変更範囲が可変
とされている、請求項1に記載の光学式計測装置。 - 【請求項6】 前記パラメータ値の最大変更範囲がテス
ト計測結果に応じて自動設定される、請求項1に記載の
光学式計測装置。 - 【請求項7】 前記パラメータ値の変更単位量及び/又
は最大変更範囲が、取得される区画領域画像中の断面輪
郭線部分像の輝度に応じて自動修正される、請求項1に
記載の光学式計測装置。 - 【請求項8】 前記区画領域画像抽出のために予め設定
された区画領域が、前記二次元撮像素子により取得され
る画像における1若しくは隣接する2以上の本数の水平
走査ラインで構成される領域に相当する、請求項1に記
載の光学式計測装置。 - 【請求項9】 前記画像合成手段が、 前記二次元撮影素子の1画面分の画像が書き込み可能な
画像メモリと、 前記画像メモリを適宜に区画してなる各区画領域毎に書
込許可又は書込禁止を記憶する書込制御フラグメモリ
と、 前記マルチ画像取得手段にて取得される画像を書込制御
フラグメモリの内容に従って前記画像メモリに各区画領
域単位で書き込む画像書込手段と、 前記画像メモリの各区画領域に規定の最大輝度条件を満
足する断面輪郭線部分像を含む区画領域画像が書き込ま
れた時点で、その区画領域に対応する書込制御フラグメ
モリを書込禁止に設定するフラグ制御手段と、 を含む請求項1に記載の光学式計測装置。 - 【請求項10】 前記画像メモリの各区画領域の全てに
又は予定される全てに規定の最大輝度条件を満足する区
画領域画像が書き込まれたときに、マルチ画像取得手段
における画像取得を終了させる、請求項9に記載の光学
式計測装置。 - 【請求項11】 前記画像メモリが1又は隣接する2以
上の水平走査ラインで構成される領域毎に区画されてそ
れぞれが前記区画領域とされている、請求項9又は10
に記載の光学式計測装置。 - 【請求項12】 前記マルチ画像取得手段は第1のハウ
ジングに収容されてセンサヘッドユニットを構成すると
共に、前記画像合成手段及び前記計測手段は第2のハウ
ジングに収容されて信号処理ユニットを構成している、
請求項1に記載の光学式計測装置。 - 【請求項13】 前記信号処理ユニットには画像モニタ
が外部接続可能とされている、請求項12に記載の光学
式計測装置。 - 【請求項14】 光源からの光をスリット光に整形して
計測対象物体表面に所定角度で照射する投光手段と、 前記計測対象物体表面のスリット光照射位置をスリット
光照射角度とは異なる角度から二次元撮像素子を使用し
て撮影して光切断面の断面輪郭線像を含む画像を取得す
る撮影手段と、 前記撮影手段を介して得られる画像の輝度に影響を与え
る撮影条件を規定するパラメータの少なくとも1つの値
を変更することにより画像の輝度を走査可能なパラメー
タ値変更手段とを備えて、 前記撮影条件の異なる複数枚の画像を取得し得るように
したマルチ画像取得装置。 - 【請求項15】 単一のハウジングを有するセンサヘッ
ドユニットとして構成された請求項14に記載のマルチ
画像取得装置。 - 【請求項16】 光源からの光をスリット光に整形して
計測対象物体表面に所定角度で照射する投光手段と、前
記計測対象物体表面のスリット光照射位置をスリット光
照射角度とは異なる角度から二次元撮像素子を使用して
撮影して光切断面の断面輪郭線像を含む画像を取得する
撮影手段と、前記撮影手段を介して得られる画像の輝度
に影響を与える撮影条件を規定するパラメータの少なく
とも1つの値を変更することにより画像の輝度を走査可
能なパラメータ値変更手段とを備えて、前記撮影条件の
異なる複数枚の画像を取得するマルチ画像取得装置に接
続して使用されるものであって、 前記マルチ画像取得装置により取得された複数枚の画像
の中から、あらかじめ設定された区画領域毎に、規定の
最大輝度条件を満足する区画領域画像を抽出すると共
に、それら抽出された各区画領域画像を寄せ集めること
により一連の断面輪郭線部分像を含む合成画像を生成す
る画像合成手段と、 前記画像合成手段により生成された合成画像に基づい
て、所定の計測処理を実行することにより計測値及び/
又は判定値を生成する計測手段と、を備えて、 前記計測対象物体に関する断面計測を行い得るようにし
た信号処理装置。 - 【請求項17】 単一のハウジングを有する信号処理ユ
ニットとして構成された請求項16に記載の信号処理装
置。 - 【請求項18】 前記画像合成手段により生成される合
成画像中の断面輪郭線像の部分的欠落を補正する画像補
正手段をさらに有する、請求項1に記載の光学式計測装
置。 - 【請求項19】 前記画像補正手段が、合成画像を構成
する各水平走査ラインの画像について断面輪郭線部分像
の有無をライン順にチェックしつつ、断面輪郭線部分像
の欠落している水平走査ラインの画像については、直前
の水平走査ラインと同一の画像で置き換える、請求項1
8に記載の光学式計測装置。 - 【請求項20】 前記画像補正手段が、合成画像を構成
する各水平走査ラインの画像について断面輪郭線部分像
の有無をライン順にチェックしつつ、断面輪郭線部分像
の欠落している水平ラインの画像については、その前後
の水平ラインの画像を使用して補間する、請求項18に
記載の光学式計測装置。 - 【請求項21】 前記画像補正手段が、合成画像を構成
する各水平走査ラインの画像について断面輪郭線部分像
の有無並びに基準値よりの輝度大小をライン順にチェッ
クしつつ、断面輪郭線部分像の欠落している水平ライン
の画像については、その前後のラインの断面輪郭線部分
像の輝度連続性に応じて補間又は放置する、請求項18
に記載の光学式計測装置。 - 【請求項22】 画像モニタの画面上に所定の映像を映
し出すためのモニタ出力を生成するモニタ出力生成手段
をさらに有する請求項1に記載の光学式計測装置。 - 【請求項23】 前記所定の映像には、前記合成画像が
含まれている、請求項22に記載の光学式計測装置。 - 【請求項24】 前記所定の映像には、前記合成画像か
ら選択された水平走査ラインを示すカーソルと、前記カ
ーソルにて選択された水平走査ラインの輝度分布曲線が
さらに含まれている、請求項23に記載の光学式計測装
置。 - 【請求項25】 前記所定の映像には、前記合成画像か
ら選択された水平走査ラインを示すカーソルと、前記カ
ーソルにて選択された水平走査ラインの撮影条件を示す
表示がさらに含まれている、請求項23に記載の光学式
計測装置。 - 【請求項26】 前記所定の映像には、前記合成画像を
構成する各水平走査ライン毎に、その水平走査ラインに
断面輪郭線部分像の無しを示すマークがさらに含まれて
いる、請求項23に記載の光学式計測装置。 - 【請求項27】 前記所定の映像には、前記合成画像を
構成する各水平走査ライン毎に、その水平走査ラインに
断面輪郭線部分像の有りを示すマークがさらに含まれて
いる、請求項23に記載の光学式計測装置。 - 【請求項28】 画像モニタの画面とポインティング・
デバイスとを介してオペレータとの対話を行うためのグ
ラフィカル・ユーザ・インタフェースをさらに有する請
求項22に記載の光学式計測装置。 - 【請求項29】 前記計測対象物体との相対移動に対し
て計測位置を追従させるためのトラッキング制御手段を
さらに有する請求項1に記載の光学式計測装置。 - 【請求項30】 前記計測位置が、前記マルチ画像取得
手段から前記計測対象物体表面までの距離の計測位置で
あり、前記相対移動が前記距離の変化する方向と垂直な
方向への移動である、請求項29に記載の光学式計測装
置。 - 【請求項31】 前記計測位置が、前記マルチ画像取得
手段から前記計測対象物体表面までの距離の計測位置で
あり、前記相対移動が前記距離の変化する方向への移動
である、請求項29に記載の光学式計測装置。 - 【請求項32】 前記計測位置が、前記マルチ画像取得
手段から前記計測対象物体表面までの距離の計測位置で
あり、前記相対移動が前記距離の変化する方向と垂直な
方向への移動及び前記距離の変化する方向への移動の双
方を含んでいる、請求項29に記載の光学式計測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002062752A JP3575693B2 (ja) | 2001-03-25 | 2002-03-07 | 光学式計測装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001133388 | 2001-03-25 | ||
JP2001-133388 | 2001-03-25 | ||
JP2002062752A JP3575693B2 (ja) | 2001-03-25 | 2002-03-07 | 光学式計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002357408A true JP2002357408A (ja) | 2002-12-13 |
JP3575693B2 JP3575693B2 (ja) | 2004-10-13 |
Family
ID=26614536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002062752A Expired - Lifetime JP3575693B2 (ja) | 2001-03-25 | 2002-03-07 | 光学式計測装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3575693B2 (ja) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005067281A (ja) * | 2003-08-20 | 2005-03-17 | Toshiba Corp | 距離検出装置、エアバッグ制御装置および距離検出方法 |
WO2005103609A1 (ja) * | 2004-03-31 | 2005-11-03 | Ihi Aerospace Engineering Co. Ltd. | 三次元形状測定装置及び三次元形状測定方法 |
JP2006048632A (ja) * | 2004-03-15 | 2006-02-16 | Omron Corp | センサコントローラ |
JP2006190316A (ja) * | 2004-03-15 | 2006-07-20 | Omron Corp | センサコントローラ |
JP2006527372A (ja) * | 2003-06-11 | 2006-11-30 | ソルヴィジョン | 感度及びダイナミックレンジを増大させた3d及び2d測定システム及びその方法 |
JP2007212430A (ja) * | 2006-08-07 | 2007-08-23 | Kurabo Ind Ltd | 写真測量装置及び写真測量システム |
JP2008020316A (ja) * | 2006-07-12 | 2008-01-31 | Omron Corp | 変位センサ |
JP2008045928A (ja) * | 2006-08-11 | 2008-02-28 | Omron Corp | 光学式計測装置および光学式計測装置の制御方法 |
US7345293B2 (en) | 2003-06-23 | 2008-03-18 | Hirata Corporation | Device and method for inspecting piston ring |
JP2008096119A (ja) * | 2006-10-05 | 2008-04-24 | Keyence Corp | 光学式変位計、光学式変位測定方法、光学式変位測定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2008096118A (ja) * | 2006-10-05 | 2008-04-24 | Keyence Corp | 光学式変位計、光学式変位測定方法、光学式変位測定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2008111821A (ja) * | 2006-10-05 | 2008-05-15 | Keyence Corp | 光学式変位計、光学式変位測定方法、光学式変位測定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2009168658A (ja) * | 2008-01-17 | 2009-07-30 | Nikon Corp | 三次元形状計測装置 |
JP2009186217A (ja) * | 2008-02-04 | 2009-08-20 | Nikon Corp | 3次元形状測定装置および3次元形状測定方法 |
JP2010091492A (ja) * | 2008-10-10 | 2010-04-22 | Fujifilm Corp | 3次元形状計測用撮影装置および方法並びにプログラム |
WO2011145319A1 (ja) * | 2010-05-19 | 2011-11-24 | 株式会社ニコン | 形状測定装置及び形状測定方法 |
US8294905B2 (en) | 2008-11-14 | 2012-10-23 | Omron Corporation | Optical measurement device |
CN103994728A (zh) * | 2013-02-19 | 2014-08-20 | 株式会社安川电机 | 物体检测装置及机器人系统 |
JP2014159988A (ja) * | 2013-02-19 | 2014-09-04 | Yaskawa Electric Corp | 物体検出装置、ロボットシステム、及び物体検出方法 |
CN111175776A (zh) * | 2018-11-09 | 2020-05-19 | 株式会社基恩士 | 位移测量设备及其位移测量方法和存储介质 |
JP6741188B1 (ja) * | 2019-03-11 | 2020-08-19 | 三菱電機株式会社 | 変位計の設定値調整装置 |
JP2022036078A (ja) * | 2020-08-21 | 2022-03-04 | 進 中谷 | 測定装置 |
-
2002
- 2002-03-07 JP JP2002062752A patent/JP3575693B2/ja not_active Expired - Lifetime
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006527372A (ja) * | 2003-06-11 | 2006-11-30 | ソルヴィジョン | 感度及びダイナミックレンジを増大させた3d及び2d測定システム及びその方法 |
US7345293B2 (en) | 2003-06-23 | 2008-03-18 | Hirata Corporation | Device and method for inspecting piston ring |
JP2005067281A (ja) * | 2003-08-20 | 2005-03-17 | Toshiba Corp | 距離検出装置、エアバッグ制御装置および距離検出方法 |
JP2006048632A (ja) * | 2004-03-15 | 2006-02-16 | Omron Corp | センサコントローラ |
JP2006190316A (ja) * | 2004-03-15 | 2006-07-20 | Omron Corp | センサコントローラ |
US7191087B2 (en) | 2004-03-15 | 2007-03-13 | Omron Corporation | Sensor controller |
CN1324298C (zh) * | 2004-03-15 | 2007-07-04 | 欧姆龙株式会社 | 传感器控制器 |
JP2011181091A (ja) * | 2004-03-15 | 2011-09-15 | Omron Corp | センサコントローラ |
DE102005011343B4 (de) * | 2004-03-15 | 2016-10-06 | Omron Corporation | Sensorsteuerung |
JP2011154730A (ja) * | 2004-03-15 | 2011-08-11 | Omron Corp | センサコントローラ |
WO2005103609A1 (ja) * | 2004-03-31 | 2005-11-03 | Ihi Aerospace Engineering Co. Ltd. | 三次元形状測定装置及び三次元形状測定方法 |
JP2008020316A (ja) * | 2006-07-12 | 2008-01-31 | Omron Corp | 変位センサ |
JP2007212430A (ja) * | 2006-08-07 | 2007-08-23 | Kurabo Ind Ltd | 写真測量装置及び写真測量システム |
JP2008045928A (ja) * | 2006-08-11 | 2008-02-28 | Omron Corp | 光学式計測装置および光学式計測装置の制御方法 |
JP2008096118A (ja) * | 2006-10-05 | 2008-04-24 | Keyence Corp | 光学式変位計、光学式変位測定方法、光学式変位測定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2008111821A (ja) * | 2006-10-05 | 2008-05-15 | Keyence Corp | 光学式変位計、光学式変位測定方法、光学式変位測定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2008096119A (ja) * | 2006-10-05 | 2008-04-24 | Keyence Corp | 光学式変位計、光学式変位測定方法、光学式変位測定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2009168658A (ja) * | 2008-01-17 | 2009-07-30 | Nikon Corp | 三次元形状計測装置 |
JP2009186217A (ja) * | 2008-02-04 | 2009-08-20 | Nikon Corp | 3次元形状測定装置および3次元形状測定方法 |
JP2010091492A (ja) * | 2008-10-10 | 2010-04-22 | Fujifilm Corp | 3次元形状計測用撮影装置および方法並びにプログラム |
US8294905B2 (en) | 2008-11-14 | 2012-10-23 | Omron Corporation | Optical measurement device |
US9194697B2 (en) | 2010-05-19 | 2015-11-24 | Nikon Corporation | Apparatus and method for measuring three-dimensional objects |
WO2011145319A1 (ja) * | 2010-05-19 | 2011-11-24 | 株式会社ニコン | 形状測定装置及び形状測定方法 |
JP5825254B2 (ja) * | 2010-05-19 | 2015-12-02 | 株式会社ニコン | 形状測定装置及び形状測定方法 |
JP2014159988A (ja) * | 2013-02-19 | 2014-09-04 | Yaskawa Electric Corp | 物体検出装置、ロボットシステム、及び物体検出方法 |
JP2014159989A (ja) * | 2013-02-19 | 2014-09-04 | Yaskawa Electric Corp | 物体検出装置及びロボットシステム |
CN103994728A (zh) * | 2013-02-19 | 2014-08-20 | 株式会社安川电机 | 物体检测装置及机器人系统 |
CN111175776A (zh) * | 2018-11-09 | 2020-05-19 | 株式会社基恩士 | 位移测量设备及其位移测量方法和存储介质 |
JP6741188B1 (ja) * | 2019-03-11 | 2020-08-19 | 三菱電機株式会社 | 変位計の設定値調整装置 |
WO2020183558A1 (ja) * | 2019-03-11 | 2020-09-17 | 三菱電機株式会社 | 変位計の設定値調整装置 |
CN113544464A (zh) * | 2019-03-11 | 2021-10-22 | 三菱电机株式会社 | 位移计的设定值调整装置 |
CN113544464B (zh) * | 2019-03-11 | 2022-08-26 | 三菱电机株式会社 | 位移计的设定值调整装置 |
US11592555B2 (en) | 2019-03-11 | 2023-02-28 | Mitsubishi Electric Corporation | Setting value adjustment device for displacement meter |
JP2022036078A (ja) * | 2020-08-21 | 2022-03-04 | 進 中谷 | 測定装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3575693B2 (ja) | 2004-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3575693B2 (ja) | 光学式計測装置 | |
US6839144B2 (en) | Optical displacement sensor | |
JP3951984B2 (ja) | 画像投影方法、及び画像投影装置 | |
US8180156B2 (en) | Method and device for machine-cutting a plate-shaped workpiece | |
US10060724B2 (en) | Method, computer program product and measuring system for operating a triangulation laser scanner to identify properties of a surface of a workpiece to be measured | |
EP1555507A1 (en) | Three-dimensional visual sensor | |
JP2009250844A (ja) | 三次元形状計測方法および三次元形状計測装置 | |
CN114543697A (zh) | 测量设备、控制设备和控制方法 | |
KR20120068014A (ko) | 표면 검사용 조명·촬상 시스템 및 데이터 구조 | |
KR101553152B1 (ko) | 압연 코일의 찌그러짐 측정 장치 및 방법 | |
JP2000018931A (ja) | プレスブレーキの曲げ角度検出方法および曲げ角度検出装置 | |
JP4985913B2 (ja) | 変位センサ | |
JPH11280378A (ja) | シールド掘進機におけるテール部のクリアランス計測方法および計測装置 | |
EP3062516A1 (en) | Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium | |
JP6780533B2 (ja) | 形状測定システム及び形状測定方法 | |
JP2001012913A (ja) | コイル位置検出装置 | |
JP4218283B2 (ja) | ターゲット投影式3次元形状計測方法および装置 | |
JPH11316113A (ja) | 形状測定装置 | |
JP2001280939A (ja) | 物体表面異常状態の評価方法 | |
JPH0467887B2 (ja) | ||
JP2002286425A (ja) | 変位センサ | |
JP2009186216A (ja) | 3次元形状測定装置 | |
JP4447441B2 (ja) | 変位センサ及び変位計測方法 | |
JP2000055619A (ja) | 積付位置検出装置 | |
JP2009069063A (ja) | 計測方法、形状計測方法、計測装置及び形状計測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3575693 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 9 |
|
EXPY | Cancellation because of completion of term |