JP3924855B2 - Image measuring machine and method - Google Patents
Image measuring machine and method Download PDFInfo
- Publication number
- JP3924855B2 JP3924855B2 JP22229397A JP22229397A JP3924855B2 JP 3924855 B2 JP3924855 B2 JP 3924855B2 JP 22229397 A JP22229397 A JP 22229397A JP 22229397 A JP22229397 A JP 22229397A JP 3924855 B2 JP3924855 B2 JP 3924855B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- test object
- data
- condition
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、被検物の寸法を測定する座標測定機に係り、特に被検物をカメラで捉えた画像から被検物の寸法を測定する画像測定機に関する。
【0002】
【従来の技術】
画像測定機は、移動可能なステージ上に載置された被検物をCCDカメラ等で捉え、その画像を処理して被検物の寸法を測定する。即ち、画像測定機のモニター画面には、被検物と共にモニター上のエッジ検出領域であるキャリパーが表示され、そのキャリパーが表示された箇所のエッジ座標が測定される。
【0003】
また、オペレータが、予め被検物の測定すべきエッジ位置と測定条件をティーチング工程により指定すると、キャリパーが被検物の指定されたエッジ位置を自動的にスキャンしながら、それぞれのエッジ位置の座標を測定する自動測定モードが知られている。即ち、被検物の測定箇所、測定条件、測定順等を指定する測定手順データがティーチング工程で作成され、自動測定モードでその測定手順データに従ってキャリパーが自動的にスキャンされ測定が行われる。
【0004】
この測定手順データの作成工程では、オペレータが、マニュアル操作で被検物の測定に必要な箇所毎にキャリパーを移動させ、エッジ座標を測定できるか否かを確認しながら測定条件を指定する。
【0005】
また、他の測定手順データの作成方法として、被検物の設計データを利用してオフラインで作成する方法がある。この場合は、画像測定機で被検物の測定箇所を測定しながら測定手順データを作成するのではなく、オフライン即ち机上で、設計データに従って被検物の測定箇所、測定条件等を指定しながら測定手順データを作成する。
【0006】
【発明が解決しようとする課題】
このように従来は、被検物を自動測定するための測定手順データを作成するのに、被検物の測定箇所、測定条件、測定順等をマニュアルで一点づつ指定していた。即ち、被検物の測定箇所がCCDカメラの所定の光学系の条件でモニター画面に表示されるようにXYステージを移動させ、キャリパーを被検物の測定箇所のエッジに直角になるように設定し、更に、所定の照明条件、画像処理条件の下でエッジ検出ができるか否かを確認して、その時の光学系、照明系の条件、画像処理条件、及びそのエッジ位置を測定手順データとして記憶させる。
【0007】
従って、被検物の測定箇所が多い場合は、それぞれの箇所で測定条件等の設定を行わなければならず、すべての測定手順データを作成するのに非常に時間がかかっていた。
【0008】
また、オフラインで測定手順データを作成する場合は、比較的短時間で測定手順データを作成できるが、実際に被検物を測定して測定手順データを作成しないので、自動測定モード時に光学系、照明系の条件、画像処理条件などが被検物に対して不適合となる場合があり、その修正のためにかえって全体の作成時間が長くなる場合が多かった。
【0009】
そこで、本発明の目的は、上記の課題を解決し、被検物の測定箇所が多い場合でも、短時間に、かつ被検物に適合した測定条件となる測定手順データの作成方法及びそれを実施する画像測定機を提供することにある。
【0010】
【課題を解決するための手段】
上記の目的は、本発明によれば、被検物を撮像した画像データを処理して、設定されたエッジ検出領域内の前記被検物のエッジを検出し、前記エッジの位置を測定する画像測定機において、前記被検物のエッジを形成する図形要素のデータが格納される図形要素データテーブルと、前記図形要素のデータから前記エッジ検出領域の位置と角度を求め、前記エッジ検出領域の位置と角度のデータに複数の図形要素の任意の点における測定条件データを加えた測定手順データを作成する測定手順データ作成部と、前記測定手順データに従って前記被検物のエッジの位置を自動測定する測定部とを有することを特徴とする画像測定機を提供することにより達成される。
【0011】
本発明によれば、被検物のエッジを形成する図形要素のデータと、測定点のうちの任意の1点で測定可能な測定条件とから、測定手順データを自動作成するので、測定手順データを短時間で作成可能な画像測定機を提供できる。
【0012】
また、上記の目的は、同一の測定条件で測定可能な被検物内の複数の図形要素を選択する工程と、前記選択された複数の図形要素の任意の位置のエッジについて測定条件を設定する工程と、前記選択された複数の図形要素のエッジ検出領域の位置及び角度を、前記図形要素の設計データから求める工程と、前記エッジ検出領域の位置及び角度データと前記測定条件とを有する測定手順データに従って、前記被検物のエッジ位置を自動測定する工程とを有する画像測定方法を提供することによっても達成される。
【0013】
本発明の画像測定方法によれば、測定点のうちの任意の1点で測定可能な測定条件を、他のすべて測定点の測定条件として共通に使用するので、測定手順データを非常に短時間で作成できる。また、被検物のエッジの一点で実際に測定可能な測定条件から測定手順データを作成するので、確実に測定可能な測定手順データを作成することができる。
【0014】
【発明の実施の形態】
以下、本発明の実施の形態の例について図面に従って説明する。しかしながら、かかる実施の形態例が本発明の技術的範囲を限定するものではない。
【0015】
図1は、本発明の実施の形態による画像測定機の概略構成を示す。本発明の実施の形態による画像測定機1は、水平二軸方向に駆動可能なXYステージ2を有する。このXYステージ2上には直線、円、円弧等の図形要素を持つ被検物3が載置され、透過照明光学系4又は落射照明光学系5により照明される。
【0016】
XYステージ2の上方には、XYステージ2上に載置された被検物3を、撮像する撮像部7が設けられる。この撮像部7は、被検物3の像を結像させる光学倍率が可変の光学系6と、結像された画像を撮像するCCDカメラ8とを備える。
【0017】
上記CCDカメラ8で撮像された画像は、画像処理部9に取り込まれ、得られた画像をモニター10に表示する。モニター10の画面上には、被検物3と共に任意に移動および回転可能なエッジ検出領域を示すキャリパーが表示され、キャリパー上にある被検物3の画像のエッジの座標値の検出が行われる。
【0018】
上記の構成を備えた画像測定機1は、XYステージ2を移動させ、CCDカメラ8で被検物3を撮像する。そして、被検物3のエッジをモニター10の画面に表示し、キャリパーをそのエッジに合わせその座標を測定する。このエッジの座標の測定を、直線、円、円弧等の図形要素毎に指定した点数だけ繰り返し行い、被検物3の測定が行われる。
【0019】
上記の測定は、予め作成された測定手順データに従った自動測定により行われるが、本実施の形態では、この測定手順データを新規な方法で作成する。測定手順データは、測定する被検物3に含まれる図形要素に対して、モニター画面に表示する領域を設定するためのXYステージ2の位置、キャリパーの位置及び角度、照明系及び光学系の条件、画像処理の条件などで構成される。
【0020】
図2は、画像測定機で測定が行われる被検物の例を示す。この被検物3は、プレス加工で打抜かれた板やプリント基板等の板状体で、要求される寸法形状に加工されている。被検物3は直線、円、円弧等の図形要素のデータに従って加工され、画像測定機では、これらの図形要素毎に被検物3が規定された寸法に加工されているか否かを測定する。
【0021】
図3は、本実施の形態において、図2の被検物3を画像測定機のモニター画面20に表示した様子を示す。モニター画面20には、被検物3と共にキャリパー21から29が表示されている。被検物3のどの箇所のエッジを測定するかは任意に指定できるが、図3は、キャリパーが表示された9箇所のエッジ座標を測定する場合を示す。
【0022】
図3の例では、直線30に対しては、キャリパー21と22の2点でエッジ座標の測定が行われる。また円31に対しては、キャリパー23、24、25、26の4点でエッジ座標の測定が行われ、円弧32に対しては、キャリパー27、28、29の3点でエッジ座標の測定が行われる。
【0023】
図4は、本発明の実施の形態における画像測定機1の機能ブロック図を示す。画像測定機1は、被検物に含まれる図形要素の設計値が格納された図形要素データテーブル50と、照明条件等の測定条件を入力する測定条件入力部51と、測定条件入力部51から入力された測定条件を測定手順データ作成部53に出力する測定条件設定部52とを有する。
【0024】
また、図形要素データテーブル50から出力される図形要素データと、測定条件設定部52で設定される測定条件とから測定手順データを作成する測定手順データ作成部53と、作成された測定手順データを記憶する測定手順データテーブル54とを有する。
【0025】
更に、測定手順データテーブル54に記憶された測定手順データに従って被検物の測定を繰り返すリプレイ測定部55と、モニター画面に表示されたキャリパー部分の被検物の画像を処理しエッジ座標を測定する画像処理部56とを有する。
【0026】
更に、各ブロックについて詳細に説明する。図形要素データテーブル50は、被検物に含まれる円、直線、円弧などの図形要素の設計値が格納されているテーブルである。これらの設計値は、円要素なら中心と直径、直線要素なら始点と終点、円弧要素なら中心と半径と始角と終角を有する。被検物はこれらの設計値に従って加工されている。
【0027】
図5は、これらの図形要素の設計値の例を示す。図5(1)は円の設計値を示し、中心座標(x1,y1)と直径D1を有する。図5(2)は直線の設計値を示し、始点座標(x2,y2)と終点座標(x2’,y2’)とを有する。図5(3)は円弧の設計値を示し、中心座標(x3,y3)と半径R3及び始角θ3と終角θ3’とを有する。
【0028】
図6は、図2に示した被検物3の図形要素データテーブル50の例を示す。図6(1)は、図2に示した被検物3を円、直線、円弧の3種類の図形要素の集合として示したものである。このように、被検物3の形状は、円200から円206、直線300から直線330、及び円弧400から円弧406の集合である。
【0029】
図6(2)は、被検物3の図形要素データテーブル50の例を示す。上述のように、被検物3の図形要素データテーブル50には、円200から円206までの中心座標及び直径、直線300から直線330までの始点座標及び終点座標、円弧400から円弧406までの中心座標、半径、始角及び終角等の設計値が格納されている。
【0030】
本実施の形態の画像測定機は、この図形要素データテーブル50のデータをもとに、測定手順データの一部であるキャリパーの位置及び角度を、後述するアルゴリズムにより測定手順データ作成部53にて自動作成する。尚、この図形要素データテーブル50を作成する方法としては、被検物のCAD図面データから入力する方法や、各図形要素データをキー入力する方法などがある。
【0031】
次に測定条件設定部52について説明する。測定条件設定部52は、測定条件入力部51からオペレータにより入力される測定条件を、測定手順データ作成部53に出力する。測定条件には、測定に使用する光学系、照明系の条件、エッジ検出のための画像処理条件等がある。モニター画面上のキャリパー内の画像信号を処理することにより被検物のエッジ検出が行われるので、光学条件、照明条件及び画像処理条件が適切でないと、被検物のエッジは正確に検出されない。
【0032】
従って、オペレータは、同一の測定条件でエッジ検出可能な複数の図形要素のうち、任意の代表するエッジに対してエッジ検出可能な光学条件、照明条件及び画像処理条件を見出して設定する。そしてこの設定した条件が、測定手順データの測定条件のデータとなる。
【0033】
光学系の条件には、例えば、被検物をCCDカメラで撮像する時の倍率がある。倍率によりエッジ検出の精度が変わり、また倍率を変えると焦点深度が変わり、被検物にz方向の厚さがある場合等に被検物のエッジ検出の感度が変わる。
【0034】
照明系の条件には、透過照明、落射照明、4方向斜め照明及びそれらの光量等がある。エッジ検出は、モニター画面上のエッジの像が黒から白等に変化する点を検出するため、これらの照明条件によって、エッジが検出できるか否かが決まる。
【0035】
画像処理条件には、キャリパーの大きさ、しきい値Vthの指定、強調処理の指定等がある。キャリパーは、モニター画面上で測定すべきエッジに直角に設定されるが、その大きさもエッジ検出の感度に影響する。また、エッジ検出は、CCDカメラで受光する光量変化の微分波形のピーク位置で行われるが、被検物の表面の状況により検出するピークの最低高さを決めるしきい値Vthを調整して、被検物の表面のキズ等によるノイズを除くことができる。また、強調処理(エンハンスモード)は、モニター画面上の黒はより黒く白はより白くする画像処理であり、コントラストの低いエッジに対して強調処理を行うことでそのエッジの検出感度を向上させることができる。
【0036】
次に測定手順データ作成部53について説明する。測定手順データ作成部53は、図形要素データを図形要素データテーブル50から取り込み、測定に使用する光学系、照明系の条件、及び画像処理条件を測定条件設定部52から取り込んで、測定手順データを自動作成する。
【0037】
同一の加工条件で加工された多数の図形要素を有する被検物を画像測定機で自動測定する場合は、その多数の図形要素を同一の測定条件で測定出来る場合が多い。本実施の形態による測定手順データ作成方法は、この点に着目している。
【0038】
測定手順データを作成するには、まず、同一の測定条件で測定できる複数の図形要素を1グループとする。そして、そのグループ内の任意のエッジを選び、測定条件設定部52で設定された測定条件で、そのエッジ座標が測定できるか否かを確認するために実際に測定を行う。測定出来ない場合は、測定条件を変えて確実にエッジ座標が測定できる測定条件を見出す。
【0039】
エッジ座標が測定できた場合は、その時の測定条件が測定手順データ作成部53に取り込まれ、その被検物の同一グループ内のすべての図形要素の測定箇所の測定条件として共通に使用される。従って、従来のように測定箇所毎に測定条件を設定する必要はなく、測定手順データが短時間で作成できる。しかも、この測定条件は、被検物のエッジ座標が実際に測定できた条件であるため、被検物の加工状態や形状に適合し確実なエッジ座標の測定が可能になる。
【0040】
測定条件が設定されると、次に、被検物の測定箇所に対応して、キャリパーの位置と角度が設定される。本実施の形態では、キャリパーの位置と角度は、上述の図形要素データテーブル50の図形要素データから後述するアルゴリズムにより自動作成される。
【0041】
図7は、図形要素毎のキャリパーの位置と角度を、図形要素の設計値から自動的に作成するアルゴリズムの説明図である。図7(1)は、円60のエッジ測定のためのキャリパー80、81、82の位置と角度を示す。自動作成アルゴリズムは、円60を測定に必要な数で分割した等間隔の位置に、前述の測定条件(光学系、照明系の条件、画像処理条件)と同じ条件を持つキャリパーを作成する。この時、キャリパーの向きは、円の中心から放射方向に向かうように設定される。1つの円に対して必要なキャリパーの数は、図7(1)に示すように通常3点であるが、任意に指定可能であり、真円度等の測定のためには更に多数のキャリパーが必要となる。
【0042】
図7(2)は、直線63のエッジ測定のためのキャリパー83、84の位置と角度を示す。自動作成アルゴリズムは、直線63の両端から、例えば、全長の1/10の測定可能マージンを除き、その領域を測定に必要な数で分割した等間隔の位置に、前述の測定条件と同じ条件を持つキャリパーを作成する。この時、キャリパーの向きは、直線63の進行方向に対して、左方向になるように設定される。1つの直線に対して必要なキャリパーの数は、通常2点であるが、任意に指定可能であり、直線性等の測定のためには更に多数のキャリパーが必要となる。
【0043】
図7(3)は、円弧のエッジ測定のためのキャリパー85、86、87の位置と角度を示す。自動作成アルゴリズムは、円弧の両端から全長の1/10の測定可能マージンを除き、その領域を測定に必要な数で分割した等間隔の位置に、前述の測定条件と同じ条件を持つキャリパーを作成する。この時、キャリパーの向きは、円弧の中心から放射方向になるように設定される。1つの円弧に対して必要なキャリパーの数は、通常3点であるが、任意に指定可能である。以上のように、図形要素毎に、設計データからキャリパーの位置と角度のデータが自動作成され、それに対応する測定条件と共に夫々の図形要素に対する測定手順データとなる。
【0044】
図8は、図7のそれぞれの図形要素毎の測定手順データの一部を示す。上記の通り、それぞれの図形要素に対するキャリパーの位置と角度は、図形要素データテーブル50に格納された図形要素データから自動作成され、光学条件、照明条件、画像処理条件は、測定条件設定部52で同一グループ毎に設定した測定条件が共通に使用される。図8に示すデータに、更にXYステージ2の位置データ等を加えて測定手順データが作成される。
【0045】
図9は、被検物3の測定箇所の指定の一例を示す。測定箇所は、同一の測定条件で測定できるグループ毎にオペレータにより予め指定されるが、図9では、グループ500として円200から206及び直線305と313と328を指定し、グループ501として直線315と円弧403と404が指定された場合を示す。
【0046】
同一のグループ内のエッジ座標の測定は、同一の測定条件で行われるため、被検物のエッジの加工条件や、要求される測定精度によっては、別グループでの測定が必要になる。例えば、被検物のエッジに段差があり光学系の条件を変える必要がある場合や、図形要素の大きさに対応して検出感度を変える場合等は、測定条件を変えた別グループでの測定が行われる。
【0047】
また図9では、円に対しては4箇所のキャリパーで、直線に対しては2箇所のキャリパーで、円弧に対しては3箇所のキャリパーでエッジ測定を行うように指定しているが、各図形要素に対して何箇所のキャリパーで測定するかは任意に指定できる。その場合も別のグループに分けてそれぞれ指定する必要がある。
【0048】
図10は、本発明の実施の形態における測定手順データの例を示す。前述のように、測定手順データは、測定する被検物に含まれる図形要素に対して、画像測定機で自動測定するためのXYステージの位置座標、キャリパーの位置座標及び角度、光学倍率等の光学条件、照明の種類及び光量等の照明条件及び画像処理の条件等からなる。
【0049】
本実施の形態における測定手順データは、同一の測定条件で測定するグループ毎に作成され、XYステージの位置座標、キャリパーの位置座標及び角度は、図形要素データテーブル50の図形要素データから自動作成され、光学条件、照明条件及び画像処理の条件は測定条件設定部52で設定された測定条件が同一グループ内で共通に使用される。図10の例では、第1グループ500の図形要素に対する測定条件は、K、L、Mであり、第2グループ501の図形要素に対する測定条件は、P、Q、Rである。
【0050】
測定手順データ作成部53で作成された測定手順データは、測定手順データテーブル54に格納される。そして、リプレイ測定部55で、測定手順データテーブル54にある測定手順データどおりに、順々に被検物の寸法測定を行う。
【0051】
図11は、本発明の実施の形態により測定手順データを作成する処理のフローチャートを示す。ステップ101では、図形要素データテーブル50の中から、測定したい図形要素で、かつ同じ測定条件で測定できる図形要素をすべて選択する。例えば、図9に示したように、グループ500として円200から206、及び直線305と313と328を選択あるいは、グループ501として直線315と円弧403と404を選択する。
【0052】
ステップ102では、測定条件設定部52において、同一グループ内の被検物の測定点の任意の一点に対し、被検物のエッジ座標が測定できる光学系、照明系の条件、画像処理条件などの測定条件を設定して、エッジ座標を測定する。
【0053】
ステップ103で、オペレータはステップ102で設定した測定条件でエッジ座標が測定できたか否かを確認する。測定条件によりエッジ座標の測定が出来ない場合は、ステップ104で測定条件を変えてエッジ座標を再度測定する(ステップ102)。オペレータは、同一グループ内の被検物の適当なエッジに、キャリパーを手操作であわせてエッジ座標を測定する。
【0054】
ステップ105では、測定条件設定部52から測定手順データ作成部53に、ステップ103でエッジ座標の測定が可能だった測定条件が入力される。この測定条件が、同一グループ内の他のすべての測定箇所における測定条件となる。
【0055】
ステップ106から、図形要素データテーブル50内の図形要素の中から、選択した図形要素について測定手順データの作成が開始される。まず、ステップ106では、ステップ101でグループ1として被検物の図形要素のうち円、直線、円弧を選択している場合は、まずそのグループ中の円が選択される。
【0056】
ステップ107では、被検物の中に選択した図形要素があるか否かを判別し、あればステップ109に進み、なければステップ108に進む。この場合は、最初なので選択した図形要素があるのでステップ109に進む。
【0057】
ステップ109では、選択した図形要素に対して、設計データからキャリパーの位置と角度を自動作成し、ステップ105で与えた測定条件を加えて測定手順データを作成する処理を行う。この処理を図12のフローチャートにより説明する。
【0058】
図12は、図11のステップ109の詳細フローチャートを示す。ステップ121では、使用する図形要素が円か否かを判別する。円の場合にはステップ122に進み、円でなければステップ123に進む。ステップ122では、円の測定手順データを作成して、図11のフローチャートに戻る。
【0059】
円の測定手順データの作成では、図7(1)に示したように、円を測定に必要な数で分割した等間隔の位置に放射状の角度をもち、前述の測定条件(光学系、照明系の条件、画像処理条件)と同じ条件を持つキャリパーを設定する。同様に、同一グループ内で測定が必要なすべての円に対して同様にキャリパーを設定して測定手順データを作成する。
【0060】
ステップ123では、使用する図形要素が直線か否かを判別する。直線の場合にはステップ124に進み、直線でなければステップ125に進む。ステップ124では、直線の測定手順データを作成して、図11のフローチャートに戻る。
【0061】
直線の測定手順データの作成では、図7(2)に示したように、直線の両端から測定可能マージンを除き、その領域を測定に必要な数で分割した等間隔の位置に、直線の始点から終点への方向に対し左方向の角度をもち、前述の測定条件と同じ条件を持つキャリパーを設定する。同様に、同一グループ内で測定が必要なすべての直線に対して同様にキャリパーを設定して測定手順データを作成する。
【0062】
ステップ125では、使用する図形要素が円弧か否かを判別する。円弧の場合にはステップ126に進み、円弧でなければ、測定手順データ作成不能として図11のフローチャートに戻る。ステップ126では、円弧の測定手順データを作成して、図11のフローチャートに戻る。
【0063】
円弧の測定手順データの作成では、図7(3)に示したように、円弧の両端から測定可能マージンを除き、その領域を測定に必要な数で分割した等間隔の位置に、円弧の外側向きの角度をもち、前述の測定条件と同じ条件を持つキャリパーを設定する。同様に、同一グループ内で測定が必要なすべての円弧に対して同様にキャリパーを設定して測定手順データを作成する。
【0064】
このように、図11のステップ109で測定しようとする図形要素の測定手順データを作成した後、ステップ110では、作成した測定手順データを測定手順データテーブル54に格納する。そして、ステップ111では、測定手順データの作成対象を、図形要素データテーブル50内の次に選択されている図形要素に変更してステップ107に戻る。
【0065】
ステップ107では、再び次の図形要素があるか判別し、選択された図形要素がある限りステップ107からステップ111までを繰り返し行い、すべての選択された図形要素に対して測定手順データの作成が行えたらステップ108に進む。ステップ108では、エッジ検出の測定条件が異なる他のグループがあるか否かを判断し、あればステップ101に戻り、なければ測定手順データの作成処理を終了する。
【0066】
【発明の効果】
以上説明した通り、本発明によれば、被検物に含まれる図形要素のエッジ座標を自動測定する測定手順データを作成する場合に、キャリパーの位置、角度等は被検物の図形要素データを利用して自動作成し、測定条件は被検物の任意の1点で測定できた測定条件を共通に使用するので、測定手順データの作成を非常に短時間で行うことができる。
【0067】
また、被検物の状態に応じて、実際に測定できた測定条件を取り込むので、確実に測定可能な測定手順データを作成することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態による画像測定機の概略構成図である。
【図2】被検物の例を示す図である。
【図3】被検物を表示するモニター画面の図である。
【図4】本発明の実施の形態における画像測定機の機能ブロック図である。
【図5】図形要素の設計値を示す図である。
【図6】被検物3の図形要素データテーブルの構造図である。
【図7】図形要素ごとにキャリパーの位置と角度を作成するアルゴリズムの説明図である。
【図8】図形要素毎の測定手順データの一部を示す図である。
【図9】被検物の測定箇所を示す図である。
【図10】本発明の実施の形態における測定手順データの例である。
【図11】本発明の実施の形態における測定手順データテーブル作成処理のフローチャート図である。
【図12】本発明の実施の形態におけるステップ109の詳細フローチャート図である。
【符号の説明】
1 画像測定機
2 XYテーブル
3 被検物
8 CCDカメラ
10 モニター
50 図形要素データテーブル
52 測定条件設定部
53 測定手順データ作成部
54 測定手順データテーブル
55 リプレイ測定部
56 画像処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a coordinate measuring machine that measures the size of a test object, and more particularly to an image measuring machine that measures the size of a test object from an image obtained by capturing the test object with a camera.
[0002]
[Prior art]
The image measuring machine captures a test object placed on a movable stage with a CCD camera or the like, processes the image, and measures the size of the test object. That is, on the monitor screen of the image measuring machine, a caliper that is an edge detection area on the monitor is displayed together with the object to be measured, and the edge coordinates of the place where the caliper is displayed are measured.
[0003]
In addition, when the operator specifies the edge position to be measured and the measurement conditions in advance in the teaching process, the caliper automatically scans the specified edge position of the specimen, and coordinates of each edge position are automatically scanned. An automatic measurement mode for measuring is known. That is, measurement procedure data for designating the measurement location, measurement conditions, measurement order, etc. of the test object is created in the teaching process, and the caliper is automatically scanned according to the measurement procedure data in the automatic measurement mode to perform measurement.
[0004]
In this measurement procedure data creation step, the operator manually moves the caliper at each location necessary for measuring the test object, and specifies the measurement conditions while confirming whether the edge coordinates can be measured.
[0005]
As another method of creating measurement procedure data, there is a method of creating offline using design data of the test object. In this case, instead of creating measurement procedure data while measuring the measurement location of the test object with an image measuring machine, while specifying the measurement location, measurement conditions, etc. of the test object according to the design data offline, ie on a desk Create measurement procedure data.
[0006]
[Problems to be solved by the invention]
Thus, conventionally, in order to create measurement procedure data for automatically measuring a test object, the measurement location, measurement conditions, measurement order, etc. of the test object have been designated one by one manually. In other words, the XY stage is moved so that the measurement location of the test object is displayed on the monitor screen under the conditions of the predetermined optical system of the CCD camera, and the caliper is set to be perpendicular to the edge of the measurement location of the test object. Furthermore, it is confirmed whether or not edge detection can be performed under predetermined illumination conditions and image processing conditions, and the optical system, illumination system conditions, image processing conditions, and edge positions at that time are used as measurement procedure data. Remember.
[0007]
Therefore, when there are many measurement locations on the test object, it is necessary to set measurement conditions and the like at each location, and it takes a very long time to create all measurement procedure data.
[0008]
In addition, when creating measurement procedure data offline, measurement procedure data can be created in a relatively short time, but since the measurement procedure data is not created by actually measuring the test object, the optical system, The illumination system conditions, image processing conditions, and the like may be incompatible with the test object, and the entire creation time is often increased due to the correction.
[0009]
Therefore, an object of the present invention is to solve the above-described problems, and to prepare a measurement procedure data that provides measurement conditions suitable for a test object in a short time even when there are many measurement points of the test object, and The object is to provide an image measuring machine to be implemented.
[0010]
[Means for Solving the Problems]
According to the present invention, the above object is to process image data obtained by imaging a test object, detect an edge of the test object in a set edge detection region, and measure the position of the edge In the measuring machine, the graphic element data table storing graphic element data forming the edge of the test object, the position and angle of the edge detection area are determined from the graphic element data, and the position of the edge detection area And measurement procedure data creation unit for creating measurement procedure data by adding measurement condition data at arbitrary points of a plurality of graphic elements to angle data, and automatically measuring the edge position of the test object according to the measurement procedure data This is achieved by providing an image measuring machine including a measuring unit.
[0011]
According to the present invention, the measurement procedure data is automatically created from the data of the graphic elements forming the edge of the test object and the measurement conditions that can be measured at any one of the measurement points. Can be provided in a short time.
[0012]
Further, the above object is to select a plurality of graphic elements in the test object that can be measured under the same measurement conditions, and to set measurement conditions for edges at arbitrary positions of the selected plurality of graphic elements. A step of determining a position and an angle of an edge detection area of the selected plurality of graphic elements from design data of the graphic element; a measurement procedure including the position and angle data of the edge detection area and the measurement condition; It is also achieved by providing an image measurement method including a step of automatically measuring an edge position of the test object according to data.
[0013]
According to the image measurement method of the present invention, the measurement conditions that can be measured at any one of the measurement points are commonly used as the measurement conditions for all the other measurement points. Can be created. Further, since the measurement procedure data is created from the measurement conditions that can be actually measured at one point of the edge of the test object, the measurement procedure data that can be reliably measured can be created.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an example of an embodiment of the present invention will be described with reference to the drawings. However, such an embodiment does not limit the technical scope of the present invention.
[0015]
FIG. 1 shows a schematic configuration of an image measuring machine according to an embodiment of the present invention. An
[0016]
Above the
[0017]
The image picked up by the
[0018]
The
[0019]
The above measurement is performed by automatic measurement according to measurement procedure data created in advance. In this embodiment, the measurement procedure data is created by a novel method. The measurement procedure data includes the
[0020]
FIG. 2 shows an example of an object to be measured with an image measuring machine. The
[0021]
FIG. 3 shows a state in which the
[0022]
In the example of FIG. 3, edge coordinates are measured at two points of the
[0023]
FIG. 4 shows a functional block diagram of the
[0024]
Further, the measurement procedure
[0025]
Further, the
[0026]
Further, each block will be described in detail. The graphic element data table 50 is a table in which design values of graphic elements such as circles, straight lines, and arcs included in the test object are stored. These design values have a center and a diameter for a circular element, a start point and an end point for a linear element, and a center, a radius, a start angle, and an end angle for an arc element. The specimen is processed according to these design values.
[0027]
FIG. 5 shows examples of design values of these graphic elements. FIG. 5 (1) shows the design value of the circle, which has center coordinates (x1, y1) and a diameter D1. FIG. 5 (2) shows a design value of a straight line, and has start point coordinates (x2, y2) and end point coordinates (x2 ′, y2 ′). FIG. 5 (3) shows the design value of the arc, which has the center coordinates (x3, y3), the radius R3, the start angle θ3, and the end angle θ3 ′.
[0028]
FIG. 6 shows an example of the graphic element data table 50 of the
[0029]
FIG. 6 (2) shows an example of the graphic element data table 50 of the
[0030]
The image measuring machine according to the present embodiment uses the measurement procedure
[0031]
Next, the measurement
[0032]
Therefore, the operator finds and sets an optical condition, an illumination condition, and an image processing condition capable of detecting an edge with respect to an arbitrary representative edge among a plurality of graphic elements whose edges can be detected under the same measurement condition. The set condition becomes the measurement condition data of the measurement procedure data.
[0033]
The optical system condition includes, for example, a magnification when an object is imaged with a CCD camera. The accuracy of edge detection changes depending on the magnification, the depth of focus changes when the magnification is changed, and the edge detection sensitivity of the test object changes when the test object has a thickness in the z direction.
[0034]
The illumination system conditions include transmitted illumination, epi-illumination, four-direction oblique illumination, and their light amounts. Since edge detection detects a point where the edge image on the monitor screen changes from black to white or the like, whether or not the edge can be detected is determined by these illumination conditions.
[0035]
The image processing conditions include caliper size, threshold Vth specification, enhancement processing specification, and the like. The caliper is set at a right angle to the edge to be measured on the monitor screen, but its size also affects the sensitivity of edge detection. The edge detection is performed at the peak position of the differential waveform of the change in the amount of light received by the CCD camera. By adjusting the threshold value Vth that determines the minimum height of the peak detected according to the surface condition of the test object, Noise due to scratches on the surface of the test object can be removed. The enhancement process (enhancement mode) is an image process that makes black on the monitor screen blacker and whiter whiter. By performing enhancement processing on edges with low contrast, the detection sensitivity of the edges is improved. Can do.
[0036]
Next, the measurement procedure
[0037]
When an object having a large number of graphic elements processed under the same processing conditions is automatically measured by an image measuring machine, the large number of graphic elements can often be measured under the same measurement conditions. The measurement procedure data creation method according to the present embodiment pays attention to this point.
[0038]
In order to create measurement procedure data, first, a plurality of graphic elements that can be measured under the same measurement conditions are made into one group. Then, an arbitrary edge in the group is selected, and measurement is actually performed to confirm whether or not the edge coordinates can be measured under the measurement condition set by the measurement
[0039]
When the edge coordinates can be measured, the measurement conditions at that time are taken into the measurement procedure
[0040]
Once the measurement conditions are set, the caliper position and angle are then set corresponding to the measurement location of the test object. In the present embodiment, the position and angle of the caliper are automatically created from the graphic element data in the graphic element data table 50 described above by an algorithm described later.
[0041]
FIG. 7 is an explanatory diagram of an algorithm for automatically creating the position and angle of the caliper for each graphic element from the design value of the graphic element. FIG. 7 (1) shows the positions and angles of the
[0042]
FIG. 7 (2) shows the positions and angles of the
[0043]
FIG. 7 (3) shows the positions and angles of the
[0044]
FIG. 8 shows a part of measurement procedure data for each graphic element of FIG. As described above, the position and angle of the caliper for each graphic element are automatically created from the graphic element data stored in the graphic element data table 50, and the optical condition, illumination condition, and image processing condition are measured by the measurement
[0045]
FIG. 9 shows an example of specifying the measurement location of the
[0046]
Since the measurement of the edge coordinates in the same group is performed under the same measurement conditions, measurement in another group is required depending on the processing conditions of the edge of the test object and the required measurement accuracy. For example, when there is a step on the edge of the test object and it is necessary to change the conditions of the optical system, or when changing the detection sensitivity according to the size of the graphic element, measurement in another group with different measurement conditions Is done.
[0047]
In FIG. 9, the edge measurement is specified to be performed with four calipers for a circle, two calipers for a straight line, and three calipers for an arc. It is possible to arbitrarily specify the number of calipers to be measured with respect to the graphic element. Even in that case, it is necessary to divide into different groups and specify each.
[0048]
FIG. 10 shows an example of measurement procedure data in the embodiment of the present invention. As described above, the measurement procedure data includes the XY stage position coordinates, caliper position coordinates and angles, optical magnification, etc., for automatic measurement by the image measuring machine with respect to the graphic elements included in the object to be measured. It consists of optical conditions, illumination conditions such as illumination type and light quantity, image processing conditions, and the like.
[0049]
The measurement procedure data in the present embodiment is created for each group to be measured under the same measurement conditions, and the XY stage position coordinates, caliper position coordinates and angles are automatically created from the graphic element data in the graphic element data table 50. As the optical conditions, illumination conditions, and image processing conditions, the measurement conditions set by the measurement
[0050]
The measurement procedure data created by the measurement procedure
[0051]
FIG. 11 shows a flowchart of a process for creating measurement procedure data according to the embodiment of the present invention. In
[0052]
In step 102, in the measurement
[0053]
In
[0054]
In
[0055]
From step 106, creation of measurement procedure data for the selected graphic element from the graphic elements in the graphic element data table 50 is started. First, in step 106, when a circle, a straight line, or an arc is selected as the
[0056]
In step 107, it is determined whether or not there is a selected graphic element in the test object. If there is, the process proceeds to step 109, and if not, the process proceeds to step. In this case, since there is a selected graphic element since it is the first, the process proceeds to step 109.
[0057]
In
[0058]
FIG. 12 shows a detailed flowchart of
[0059]
As shown in FIG. 7 (1), the measurement procedure data for the circle has a radial angle at equally spaced positions obtained by dividing the circle by the number necessary for the measurement, and the measurement conditions (optical system, illumination) described above are used. Set calipers that have the same conditions as the system conditions and image processing conditions. Similarly, calipers are similarly set for all the circles that need to be measured within the same group, and measurement procedure data is created.
[0060]
In
[0061]
In creating the measurement procedure data for a straight line, as shown in FIG. 7 (2), the measurable margin is removed from both ends of the straight line, and the area is divided by the number required for measurement, and the start point of the straight line is obtained. A caliper that has an angle in the left direction with respect to the direction from the end point to the end point and that has the same conditions as those described above is set. Similarly, calipers are similarly set for all straight lines that need to be measured within the same group, and measurement procedure data is created.
[0062]
In
[0063]
In creating the measurement procedure data for the arc, as shown in FIG. 7 (3), the measurable margin is removed from both ends of the arc, and the area is divided by the number required for measurement, and the outside of the arc is set. A caliper having an angle of direction and having the same conditions as those described above is set. Similarly, calipers are similarly set for all arcs that need to be measured within the same group, and measurement procedure data is created.
[0064]
Thus, after creating the measurement procedure data of the graphic element to be measured in
[0065]
In step 107, it is determined again whether there is a next graphic element, and as long as there is a selected graphic element, steps 107 to 111 are repeated, and measurement procedure data can be created for all selected graphic elements. Then go to step 108. In
[0066]
【The invention's effect】
As described above, according to the present invention, when creating measurement procedure data for automatically measuring the edge coordinates of a graphic element included in a test object, the caliper position, angle, etc. are the same as the graphic element data of the test object. Since the measurement conditions that are automatically created using the measurement conditions that can be measured at any one point of the test object are commonly used, the measurement procedure data can be created in a very short time.
[0067]
In addition, since measurement conditions that can actually be measured are taken in according to the state of the test object, measurement procedure data that can be reliably measured can be created.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of an image measuring machine according to an embodiment of the present invention.
FIG. 2 is a diagram showing an example of a test object.
FIG. 3 is a diagram of a monitor screen displaying a test object.
FIG. 4 is a functional block diagram of the image measuring machine in the embodiment of the present invention.
FIG. 5 is a diagram showing design values of graphic elements.
6 is a structural diagram of a graphic element data table of the
FIG. 7 is an explanatory diagram of an algorithm for creating a caliper position and angle for each graphic element.
FIG. 8 is a diagram showing a part of measurement procedure data for each graphic element.
FIG. 9 is a diagram showing measurement points of a test object.
FIG. 10 is an example of measurement procedure data in the embodiment of the present invention.
FIG. 11 is a flowchart of measurement procedure data table creation processing in the embodiment of the present invention.
FIG. 12 is a detailed flowchart of
[Explanation of symbols]
1 Image measuring machine
2 XY table
3 Test object
8 CCD camera
10 Monitor
50 Graphic element data table
52 Measurement condition setting section
53 Measurement procedure data generator
54 Measurement procedure data table
55 Replay measurement unit
56 Image processing unit
Claims (6)
前記撮像部で撮像された画像データを処理して、設定されたエッジ検出領域内の前記被検物のエッジの位置を測定する画像処理部と、
前記被検物のエッジを形成する図形要素のデータが格納される図形要素データテーブルと、
前記被検物を前記撮像部で撮像する際の条件データであって、複数の図形要素の任意の点においてオペレータによってエッジ検出が確認された時の条件データが入力される測定条件入力部と、
前記図形要素のデータから前記エッジ検出領域の位置と角度を求め、前記エッジ検出領域の位置と角度のデータに、前記条件データを加えた測定手順データを作成する測定手順データ作成部とを備え、
前記画像処理部は、前記測定手順データに従って前記被検物のエッジの位置を自動測定することを特徴とする画像測定機。An imaging unit for imaging a test object;
An image processing unit that processes the image data captured by the imaging unit and measures the position of the edge of the test object in a set edge detection region;
A graphic element data table in which data of graphic elements forming the edge of the test object are stored;
Condition data when the test object is imaged by the imaging unit, a measurement condition input unit for inputting condition data when edge detection is confirmed by an operator at an arbitrary point of a plurality of graphic elements;
Obtaining the position and angle of the edge detection region from the data of the graphic element, comprising a measurement procedure data creation unit for creating measurement procedure data by adding the condition data to the position and angle data of the edge detection region,
The image processing unit, wherein the image processing unit automatically measures the position of the edge of the object according to the measurement procedure data.
前記被検物を前記撮像部で撮像する際の条件データは、前記撮像部で撮像する際の倍率であることを特徴とする画像測定機。The image measuring machine according to claim 1,
An image measuring machine characterized in that the condition data when imaging the test object with the imaging unit is a magnification when imaging with the imaging unit.
前記被検物を前記撮像部で撮像する際の条件データは、前記撮像部で撮像する際の照明の条件であることを特徴とする画像測定機。The image measuring machine according to claim 1,
An image measuring machine characterized in that the condition data when imaging the test object with the imaging unit is an illumination condition when imaging with the imaging unit.
前記選択された複数の図形要素の任意の位置のエッジについてエッジ検出がオペレータによって確認された時の測定条件を設定する工程と、
前記選択された複数の図形要素のエッジ検出領域の位置及び角度を、前記図形要素の設計データから求める工程と、
前記エッジ検出領域の位置及び角度データと前記測定条件とを有する測定手順データに従って、撮像された前記被検物の画像から前記被検物のエッジ位置を自動測定する工程とを有し、
前記測定条件は、前記被検物を撮像する際の条件であることを特徴とする画像測定方法。Selecting a plurality of graphic elements in the test object that can be measured under the same measurement conditions;
Setting measurement conditions when edge detection is confirmed by an operator for edges at arbitrary positions of the selected graphic elements;
Obtaining a position and an angle of an edge detection region of the selected plurality of graphic elements from design data of the graphic elements;
Automatically measuring the edge position of the test object from the imaged image of the test object according to the measurement procedure data having the position and angle data of the edge detection region and the measurement condition,
The image measurement method, wherein the measurement condition is a condition for imaging the test object.
前記被検物を撮像する際の条件は、撮像する際の倍率であることを特徴とする画像測定方法。The image measurement method according to claim 4,
An image measuring method, wherein the condition for imaging the test object is a magnification for imaging.
前記被検物を撮像する際の条件は、撮像する際の照明の条件であることを特徴とする画像測定方法。The image measurement method according to claim 4,
The image measurement method according to claim 1, wherein the condition for imaging the test object is an illumination condition for imaging.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22229397A JP3924855B2 (en) | 1997-08-19 | 1997-08-19 | Image measuring machine and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22229397A JP3924855B2 (en) | 1997-08-19 | 1997-08-19 | Image measuring machine and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1163922A JPH1163922A (en) | 1999-03-05 |
JP3924855B2 true JP3924855B2 (en) | 2007-06-06 |
Family
ID=16780106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP22229397A Expired - Lifetime JP3924855B2 (en) | 1997-08-19 | 1997-08-19 | Image measuring machine and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3924855B2 (en) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3596753B2 (en) | 2000-05-10 | 2004-12-02 | 株式会社ミツトヨ | Apparatus and method for generating part program for image measuring device |
CN1230660C (en) * | 2000-09-22 | 2005-12-07 | 沃思测量技术股份有限公司 | Method for measuring the geometry of an object by means of a co-ordination measuring device |
JP2003058900A (en) * | 2001-08-20 | 2003-02-28 | Mitsutoyo Corp | Device for generating part program for image measuring instrument, and program |
JP3853620B2 (en) | 2001-08-21 | 2006-12-06 | 株式会社ミツトヨ | Part program generation device and program for image measurement device |
JP4932202B2 (en) * | 2005-09-09 | 2012-05-16 | 株式会社ミツトヨ | Part program generating apparatus for image measuring apparatus, part program generating method for image measuring apparatus, and part program generating program for image measuring apparatus |
JP5270971B2 (en) * | 2008-06-10 | 2013-08-21 | 株式会社キーエンス | Image measuring apparatus, image measuring method, and computer program |
JP2010060528A (en) * | 2008-09-08 | 2010-03-18 | Keyence Corp | Image measurement system and computer program |
CN103557790B (en) * | 2013-10-30 | 2016-03-23 | 汉中米克隆工量具实业有限公司 | Raster image compound method for automatic measurement |
JP6094457B2 (en) * | 2013-11-05 | 2017-03-15 | 株式会社島津製作所 | Hardness testing machine |
CN104930972A (en) * | 2015-06-18 | 2015-09-23 | 同济大学 | Shield tunnel segment elastic gasket section detection method |
JP6699722B2 (en) * | 2016-04-22 | 2020-05-27 | 株式会社ニコン | Image measuring method, image measuring program, image measuring apparatus, and article manufacturing method |
JP6683583B2 (en) * | 2016-09-30 | 2020-04-22 | 株式会社ホロン | Electron beam image acquisition device and electron beam image acquisition method |
CN109724535A (en) * | 2019-02-23 | 2019-05-07 | 宁波昌扬机械工业有限公司 | Skylight guide rail radian detects special plane |
-
1997
- 1997-08-19 JP JP22229397A patent/JP3924855B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH1163922A (en) | 1999-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3924855B2 (en) | Image measuring machine and method | |
JP3508369B2 (en) | Image measuring machine | |
US6621928B1 (en) | Image edge detection method, inspection system, and recording medium | |
CN106017313B (en) | Edge detection deviation correction value calculation method, edge detection deviation correction method and device | |
KR20060031649A (en) | Pattern comparison inspection method and pattern comparison inspection device | |
TW502111B (en) | Inspection method for foreign matters inside through hole | |
CN114648518B (en) | A method for detecting and measuring inner surface defects of a hole based on endoscopic images | |
EP1467176A1 (en) | Inspection system and method | |
JPH11132748A (en) | Multifocal simultaneous detection device, three-dimensional shape detection device, appearance inspection device, and method thereof | |
JP3324699B2 (en) | Method and apparatus for measuring fiber diameter distribution | |
JPH09190531A (en) | Mounting data production method and device, inspection method for substrate and mounting state | |
JP3164003B2 (en) | Mounted parts inspection device | |
KR100293698B1 (en) | Pattern inspector of plasma display panel and its inspection method | |
JP3508368B2 (en) | Image measuring machine | |
JPH10311705A (en) | Image input apparatus | |
JP3552381B2 (en) | Image measuring machine | |
JPH04269614A (en) | Pattern-position detecting method and executing apparatus thereof | |
JP2002131033A (en) | Device and method for processing inspection | |
JP3013255B2 (en) | Shape measurement method | |
JPH06281411A (en) | Measuring method for hole position | |
JPS63241405A (en) | hardness meter | |
JP3138056B2 (en) | 2D measuring machine | |
JPH02133885A (en) | Inspecting method for pattern | |
JP3255702B2 (en) | How to display measurement results on a 2D measuring machine | |
JP2003121122A (en) | Hole inspection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040817 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070219 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |