[go: up one dir, main page]

JP3914061B2 - Component mounting equipment - Google Patents

Component mounting equipment Download PDF

Info

Publication number
JP3914061B2
JP3914061B2 JP2002046172A JP2002046172A JP3914061B2 JP 3914061 B2 JP3914061 B2 JP 3914061B2 JP 2002046172 A JP2002046172 A JP 2002046172A JP 2002046172 A JP2002046172 A JP 2002046172A JP 3914061 B2 JP3914061 B2 JP 3914061B2
Authority
JP
Japan
Prior art keywords
imaging
luminance
imaging data
value
substrate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002046172A
Other languages
Japanese (ja)
Other versions
JP2003249796A (en
Inventor
伸章 田端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Priority to JP2002046172A priority Critical patent/JP3914061B2/en
Publication of JP2003249796A publication Critical patent/JP2003249796A/en
Application granted granted Critical
Publication of JP3914061B2 publication Critical patent/JP3914061B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、基板上や基板上の部品上に電子部品、クリーム半田、接着樹脂などの部材を載装する部材載装機器に係り、特に、載装の位置合わせや載装状態の確認、あるいは基板存在の確認などのため画像を取り込む撮像装置部が具備された部材載装機器に関する。
【0002】
【従来の技術】
基板上に電子部品をマウントする表面実装機、基板上に所定パターンにクリーム半田などを印刷するスクリーン印刷機、実装部品を接着するための接着樹脂などを基板上に付着させるディスペンサなど各種の部材載装機器には、載装の位置合わせや載装状態の確認、あるいは基板存在の確認などを行なうための撮像装置部が設けられている場合がある。
【0003】
このような撮像装置部のセンサデバイスには、微小な光電変換素子を集積してなるエリアセンサやラインセンサなどを用いることができる。また、撮像装置部には、撮像対象物に適当な照度を与えるため照明装置が併設される場合がある。
【0004】
【発明が解決しようとする課題】
撮像装置部から取り込まれる撮像対象物の認識は、近時の電子部品や実装パターンの微小化・微細化に伴ってますます高精度化が要求されている。高精度な認識のためには、例えば撮像対象物の照度を適切に維持し、これにより、撮像装置部の出力においてそのダイナミックレンジ内に広範囲に分布する撮像データを得ることが必要である。黒側や白側に偏ると階調性の乏しい画像になり(被写画像に鮮明さがなくなり)、高精度な認識に不向きな撮像データになるからである。
【0005】
そこで、撮像対象物の照度を維持するには、照明装置の発光光度を一定にすることが必要となるが、一般に、照明装置には、経時的な光度変化が存在する。例えば、LED(light emitting diode)ランプは、小型、省電力、安価など多くの利点がある一方、半導体特有の温度特性があり自己発熱によっても経時的に光度が変化する。したがって、何ら対処を行なわない場合には光度変化によって撮像対象物の照度が変動し、これにより撮像装置部が撮像する画像の階調性が黒側や白側に偏って乏しくなる現象が生じる。
【0006】
本発明は、上記した事情を考慮してなされたもので、基板上や基板上の部品上に電子部品、クリーム半田、接着樹脂などの部材を載装する部材載装機器において、載装の位置合わせや載装状態の確認、あるいは基板存在の確認などのため従来に増して階調性のある画像を得る撮像装置部が具備された部材載装機器を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、基板をほぼ水平姿勢で支持し得る基板支持装置と、前記基板支持装置の上方に設けられ、少なくとも水平方向に移動して前記支持された基板上に部材を載装する載装装置と、前記基板支持装置の上方に設けられ、前記基板を上方から撮像する撮像装置と、を有する部材載装機器であって、前記撮像装置に接続して設けられ、前記撮像装置により得られた撮像データから輝度を検出し、さらに白側ピーク付近の輝度の値と最も黒側の付近の輝度の値との差である輝度コントラストを検出する輝度コントラスト検出手段と、前記撮像装置に接続して設けられ、前記検出された輝度を用いて前記撮像装置により得られた撮像データを補正する補正手段とを具備し、前記補正手段は、前記輝度コントラスト検出手段により検出された前記輝度コントラストが第1の所定値よりも小さく、かつ前記撮像データの最も黒側の付近の輝度の値が第2の所定値より大きい場合に前記得られた撮像データの値を縮小倍する一方、前記輝度コントラストが第3の所定値よりも小さく、かつ前記撮像データの白側ピーク付近の輝度の値が第4の所定値より小さい場合に前記得られた撮像データの値を拡大倍することを特徴とする。
【0008】
すなわち、この部材載装機器では、撮像装置により得られた撮像データから、その白側ピーク付近の輝度の値と最も黒側の付近の輝度の値との差である輝度コントラストを検出することにより撮像データの値を補正する。これは輝度コントラストの検出によって等価的に撮像対象物の照度の検出が可能だからである。具体的には、検出された輝度が大きく 撮像データに白側への偏りが生じている場合、これは輝度コントラストでいうと白側に偏りが生じコントラストが低下している状態に相当する。したがって、輝度コントラストの低下を検出し、かつ低輝度側の値、つまり最も黒側の付近の輝度の値が所定値より大きい場合を撮像対象物の照度が大きいと判定する。この判定により、得られた撮像データの値を縮小倍する。また、検出された輝度が小さく撮像データに黒側への偏りが生じている場合、これは輝度コントラストでいうと黒側に偏って輝度コントラストが低下している状態に相当する。したがって、輝度コントラストの低下を検出し、かつ高輝度側の値、つまり白側ピーク付近の輝度の値が所定値より小さい場合を撮像対象物の照度が小さいと判定する。この判定により得られた撮像データの値を拡大倍する。
【0009】
したがって、撮像データは、結果として撮像対象物の照度に追従して補正され、ダイナミックレンジ内に広範囲に分布する画像とすることができる。よって、従来に増して階調性を有する画像を得ることが可能になる。
【0010】
なお、本発明の部材載装機器には、代表的なものとして、表面実装機(マウンタ)、スクリーン印刷機、ディスペンサが挙げられる。これらにおける「部材」としては、したがって、表面実装機では、抵抗、コンデンサ、トランジスタ、IC(integrated circuit)などの電子部品、スクリーン印刷機では、クリーム半田、抵抗ペーストなどのペースト状組成物、ディスペンサでは、接着樹脂、界面活性剤などの塗布剤を挙げることができる。
【0011】
載装装置は、表面実装機では、一般にヘッドユニットと呼ばれているものに相当し、電子部品装着用の例えば複数の吸着ヘッドを具備する。このヘッドユニットは、例えば、全体としてX軸(左右)、Y軸(前後)方向に移動可能に構成され、かつそれぞれの吸着ヘッドがZ軸(上下)方向およびR軸(垂直軸回り)方向に昇降または回転可能に構成される。これにより、電子部品を部品フィーダから吸着し基板上の所定の位置に載置する。
【0012】
また、載装装置は、スクリーン印刷機では、一般にスキージユニットと呼ばれているものに相当し、ペースト状組成物をスクリーンマスクの貫通穴(ピット)を通して基板に印刷付着させるスキージを具備する。スキージは、例えば、スクリーンマスクを前後方向(Y方向)に線状に押圧しながら、左右方向(X方向)の一方向(双方向でもよい)に移動する。これにより、スクリーンマスク上に存在するペースト状組成物を、貫通穴を通して基板側に導く。
【0013】
また、載装装置は、ディスペンサでは、一般にディスペンサヘッドと呼ばれているものに相当し、塗布剤を吐出する例えば複数のノズルを具備する。このディスペンサヘッドは、例えば、全体としてX軸(左右)、Y軸(前後)方向に移動可能に構成され、かつそれぞれのノズルがZ軸(上下)方向に昇降可能に構成される。これにより、所定の塗布剤を基板上の所定の位置に塗布付着させる。
【0014】
基板を上方から撮像する撮像装置は、例えば、基板上のマーク(フィデューシャルマーク)を認識することによる基板の存在確認や正確な基板の支持位置の検出、あるいは部材載装後における基板上への部材載装状態の確認を行なうため設けられる
【0015】
お、照度とは、通常、視感度に基づく心理物理量をいうが、ここではこれに限らず撮像装置の波長感度に基づく量をも含む。したがって、例えば撮像装置が赤外線カメラである場合には赤外線量に基づく量とすることができる。これは以下でも同様である。
【0016】
また、本発明は、基板をほぼ水平姿勢で支持し得る基板支持装置と、前記基板支持装置の上方に設けられ、少なくとも水平方向に移動して前記支持された基板上に部材を載装する載装装置と、前記載装装置を下方から撮像する撮像装置と、を有する部材載装機器であって、前記撮像装置に接続して設けられ、前記撮像装置により得られた撮像データから輝度を検出し、さらに白側ピーク付近の輝度の値と最も黒側の付近の輝度の値との差である輝度コントラストを検出する輝度コントラスト検出手段と、前記撮像装置に接続して設けられ、前記検出された輝度を用いて前記撮像装置により得られた撮像データを補正する補正手段とを具備し、前記補正手段は、前記輝度コントラスト検出手段により検出された前記輝度コントラストが第1の所定値よりも小さく、かつ前記撮像データの最も黒側の付近の輝度の値が第2の所定値より大きい場合に前記得られた撮像データの値を縮小倍する一方、前記輝度コントラストが第3の所定値よりも小さく、かつ前記撮像データの白側ピーク付近の輝度の値が第4の所定値より小さい場合に前記得られた撮像データの値を拡大倍することを特徴とする。
【0017】
この場合には、載装装置を下方から撮像する撮像装置が設けられる。この撮像装置は、表面実装機でいえば、例えば、吸着ヘッドが電子部品を吸着した状態における電子部品の位置や姿勢を正確に検出するため設けられる。この検出結果は、例えば、基板上への実装位置精度を向上するため利用可能である。
【0018】
この場合にも、撮像装置により得られた撮像データから輝度コントラストを検出することにより撮像データの値が補正される。
【0019】
た、本発明は、実施態様として、前記撮像装置による撮像対象物のひとつとなる光反射性物体をさらに具備し、前記補正手段は、あらかじめ前記光反射性物体を撮像することにより得られた前記光反射性物体の照度を用いて前記所定を定めておく。
【0020】
すなわち、あらかじめ撮像条件がある一定のもとで光反射性物体を撮像しこの撮像データをのちの基準として用いる。この撮像データを標準に前記所定を定め、この所定値に基づき撮像データの補正を行なう。
【0021】
これにより撮像対象物の照度変化に追従して、ダイナミックレンジ内に広範囲に分布する画像とすることができる。よって、例えば照明の経時的な変化にかかわらず黒側や白側に偏りがなく階調性のある画像を得ることが可能になる。また、撮像条件がある一定のもとで一定反射率の光反射性物体を撮像するので、適切な基準により前記所定を定めることができる。
【0022】
また、本発明は、実施態様として、前記撮像装置による撮像対象物のひとつとなる光反射性物体をさらに具備し、前記補正手段は、あらかじめ前記光反射性物体を撮像することにより得られた撮像領域内の照度ばらつきに基づいて前記得られた撮像データの値をさらに補正する。この場合の前記照度ばらつきは、撮像領域内の予め設定された複数座標の照度の平均値と前記各座標の照度との比である。
【0023】
のような補正によれば、撮像領域内に照度ばらつきが存在して、得られる撮像データの値に影響が及んでいる場合であっても、補正により、照度ばらつきのない場合と同等の撮像データを得ることができる。このような補正のされた撮像データでは、階調性の確保に加えて撮像対象物に対する忠実性がより向上されたものとなっており、さらに基板マークや部材などの高精度な認識に有用である。
【0024】
【発明の実施の形態】
以下、本発明の実施形態を、図面を参照しながら説明する。図1および図2は、本発明を適用し得る表面実装機の構成を示す図である。図1は、平面図であり、図2は正面図である。
【0025】
図1および図2に示すように、この表面実装機は、基台1、コンベア2、部品供給部3、テープフィーダ4、ヘッドユニット5、ヘッドユニット支持部材6、Y軸固定レール7、X軸ガイド部材8、Y軸サーボモータ9、Y軸ボールネジ10、X軸サーボモータ11、X軸ボールネジ12、固定カメラ15、移動カメラ16を具備する。ヘッドユニット5は、複数の吸着ヘッド13、複数の吸着ノズル14、基準反射体17を有する。
【0026】
基台1上には、プリント基板搬送用のコンベア2が配設され、プリント基板Pがコンベア2上を搬送されて図示省略のクランプ機構により所定の装着作業位置で停止されるようになっている。コンベア2のY方向外側にはそれぞれ部品供給部3が配置される。部品供給部3には各種部品を供給するための多数のテープフィーダ4が配置され、テープフィーダ4は、隣接してかつおのおの位置決めされた状態で固定されている。
【0027】
各テープフィーダ4は、それぞれ、IC、トランジスタ、コンデンサなどの小片状電子部品を所定間隔おきに収納・保持したテープがリール(図示省略)から導出されるように構成され、吸着ヘッド13により部品がピックアップされるにつれてテープが間欠的に送り出されるようになっている。
【0028】
基台1の上方にはヘッドユニット5が装備され、ヘッドユニット5は、以下のように、X軸方向およびY軸方向に移動可能に構成されている。
【0029】
すなわち、基台1には、ヘッドユニット5の支持部材6がY軸方向の固定レール7に移動可能に配置され、支持部材6上にヘッドユニット5がX軸方向のガイド部材8に沿って移動可能に支持されている。そして、Y軸サーボモータ9によりボールネジ10を介して支持部材6のY軸方向の移動が行なわれるとともに、X軸サーボモータ11によりボールネジ12を介してヘッドユニット5のX軸方向の移動が行なわれるようになっている。
【0030】
ヘッドユニット5には、部品装着用の複数の吸着ヘッド13が具備されており、この例では6本の吸着ヘッド13がX軸方向に一列に並べて配設されている。吸着ヘッド13は、それぞれヘッドユニット5のフレームに対してZ軸方向の移動およびR軸(吸着ノズル14の中心軸)回りの回転が可能とされ、サーボモータ(図示省略)によりこの昇降および回転がなされる。各吸着ヘッド13のZ軸下端には吸着ノズル14が設けられ、部品吸着時に図示省略の負圧供給手段から各吸着ノズル14に負圧が供給される。これにより、吸引力で部品が吸着ノズル14に吸着される。
【0031】
ヘッドユニット5には、さらにCCD(charge coupled device)エリアセンサを撮像素子とする移動カメラ16が設けられている。この移動カメラ16は、プリント基板Pの作業位置での停止後に、基板に印されたマーク(フィデューシャルマーク)を撮像し、これにより、基板の存在確認や正規の位置からのずれの検出などを行なうものである。検出された正規の位置からのずれについては、吸着ヘッド13により部品を基板P上に搭載するときに吸着ヘッド13の位置を補正するため利用される(この補正値は後述するがδ1と表記する。)。
【0032】
また、ヘッドユニット5には、吸着ヘッド13の並びの外側に基準反射体17が配置される。基準反射体17は、基台1に対向する面がある程度の面積を有し、かつこの面がほぼ一様な反射率の拡散反射面を有するものである。この基準反射体17は、後述の固定カメラ15によって吸着ヘッド13が部品を吸着した状態を撮像する場合における基準データとなるデータを取得するためのものである。
【0033】
ヘッドユニット5の可動エリア内であって基台1上の部品供給部3近傍かつコンベア2に対して線対称となる2箇所には、それぞれ、ラインセンサを撮像素子とする固定カメラ15が設けられる。固定カメラ15は、部品吸着後における吸着ヘッド13を下方から撮像し、その撮像データから、部品が各ノズル14に正確に吸着されたかを検出しさらに吸着位置ずれの検出を行なうためのものである。検出された吸着位置ずれは、吸着ヘッド13により部品を基板P上に搭載するときの吸着ヘッド13の位置を補正するため利用される(この補正値は後述するがδ2と表記する。)。
【0034】
なお、移動カメラ16または固定カメラ15のため、撮像対象物を照明する専用の照明部をこれらのカメラ16、15の近傍に設けるようにしてもよい。
【0035】
次に、上記の表面実装機の制御部について図3を参照して説明する。図3は、本発明の一実施形態たる表面実装機の制御系の構成を示すブロック図である。同図においてすでに説明した構成要素と同一のものには同一の番号を付してある。なお、図示した制御系の構成には、発明の実施形態として重要性の小さい部分を省略しているところがある(例えばコンベア2の制御など)。
【0036】
図3に示すように、制御装置30は、統括制御部35、そのための記憶部37、画像処理部33、そのための記憶部34、X軸サーボ装置などサーボ装置とのインターフェース32を有する。
【0037】
移動カメラ16、固定カメラ15には、それぞれ、撮像を行なう撮像部が存在し、それらの撮像出力が画像処理部33に供給・接続されている。固定カメラ15は、上記の例では表面実装機の2箇所に設けられているが、他方のものも同様に制御装置30に接続されている。
【0038】
インターフェース32は、図示のように、X軸サーボ装置43、Y軸サーボ装置44、ヘッドユニット部サーボ装置40(Z軸サーボ装置41、…、R軸サーボ装置42、…)との接続を有する。X軸サーボ装置43は、図1、図2におけるX軸サーボモータ11を含む構成であり、Y軸サーボ装置44は、同図のY軸サーボモータ9を含む構成である。
【0039】
統括制御部35は、X軸サーボ装置43、Y軸サーボ装置44、ヘッドユニット部サーボ装置40の動作を統括的に制御するため処理を行なうものである。実体的には、マイクロプロセッサなどのハードウエアと制御プログラムなどのソフトウエアとにより構成され得る。
【0040】
記憶部37は、統括制御部35が行なう処理に必要な情報を記憶するものである。必要に応じて、統括制御部35から情報が出し入れされる。
【0041】
画像処理部33は、移動カメラ16、固定カメラ15で得られた撮像データを処理し、これにより撮像データに含まれる情報を認識して統括制御部35に供給するものである。認識する情報については、後述する。なお、画像処理部33も、実体的には、マイクロプロセッサなどのハードウエアと制御プログラムなどのソフトウエアとにより構成され得る。
【0042】
記憶部34は、画像処理部33が行なう処理に必要な情報を記憶するものである。必要に応じて、画像処理部33から情報が出し入れされる。
【0043】
インターフェース32は、統括制御部35が処理することにより生成されたサーボ制御信号を、X軸サーボ装置43、Y軸サーボ装置44、ヘッドユニット部サーボ装置40に出力し、また、これらのサーボ装置43、44、40からのセンサ出力を入力するためのインターフェースである。
【0044】
次に、図3に示した制御系による、図1、図2に示した表面実装機の動作について図4をも参照して説明する。図4は、図3に示した制御系による、図1、図2に示した表面実装機の動作フローを示す流れ図である。
【0045】
まず、すでに表面実装機で部品がすべて搭載されたプリント基板Pがコンベア2により搬出され、部品未搭載のプリント基板Pが新たにコンベア2により搬入され所定位置にクランプされる(ステップ51)。そして、搭載済みリストが初期化される(ステップ52)。搭載済みリストは、記憶部37に記憶・保持されている。
【0046】
次に、X軸サーボ装置43、Y軸サーボ装置44により移動カメラ16を基板上に移動する(ステップ53)。そして、必要なら移動カメラ16の撮像データについての補正係数を獲得(または更新)の上、基板のマークを撮像し、所定の場合その撮像データに画像処理部33で上記補正係数に基づく補正処理を行なう(ステップ54)。補正された画像(ただし所定の場合以外には補正されていない画像)を、撮像データ1とする。なお、ステップ54の詳細については、後述する。
【0047】
次に、撮像データ1を画像処理部33により処理し、基板マークを認識することにより、基板の位置ずれ(X方向、Y方向、XY平面に垂直な軸回りのθ方向)を検出し、検出された位置ずれから各部品の搭載位置補正値δ1が求められる。補正値δ1は、統括制御部35に渡されて記憶部37に格納・記憶される(ステップ55)。
【0048】
次に、統括制御部35により搭載済リストが調べられ未搭載データの有無が判断される(ステップ56)。未搭載データがなくなればすべての部品の搭載が完了しているのでこの基板について処理終了となる。未搭載データがある場合には、統括制御部35により、そのデータを検索し実装順序などの作業手順を決定する(ステップ57)。
【0049】
次に、決定された作業手順に従って、X軸サーボ装置43、Y軸サーボ装置44を制御して、吸着ヘッド13を部品吸着位置に移動させて部品を吸着する(ステップ58)。この部品吸着は、所定のすべてのノズル14に部品が吸着されるよう繰り返される(ステップ59)。なお、この吸着動作における吸着ヘッド13の吸着位置制御は、後述する固定カメラ15の撮像によって検出される吸着ヘッド13の位置ずれを考慮に入れて、部品に対しての吸着ヘッド13の位置ずれが小さくなるように制御して行なってもよい。
【0050】
次に、X軸サーボ装置43、Y軸サーボ装置44を制御して、ヘッドユニットを固定カメラ15上に移動する。この例では、固定カメラ15はラインカメラであり、そのライン方向と直交する方向(X方向)にヘッドユニット5を走査するように移動する(ステップ60)。
【0051】
そして、必要なら基準反射体17の撮像データからむら補正係数を獲得(または更新)の上、部品が吸着された吸着ヘッド13を撮像し、この撮像データから固定カメラ15についての補正係数を獲得する。さらに、所定の場合その撮像データに画像処理部33で上記補正係数に基づく補正処理を行ない、かつ、上記むら補正係数による補正処理も行なう。この補正された画像を撮像データ2とする(ステップ61)。なお、このステップ61の詳細については、後述する。
【0052】
次に、撮像データ2を画像処理部33により処理し、吸着された部品を認識することにより、吸着部品の位置ずれを検出し、検出された位置ずれから各吸着部品の搭載位置補正値δ2が求められる(ステップ62)。補正値δ2は、統括制御部35に渡されて記憶部37に格納・記憶される。そして、統括制御部35により、上記で求められ保持された補正値δ1と補正値δ2とから、最終的な搭載位置補正値となるδ(=δ1+δ2)を求めこれを記憶部37に記憶・保持する(ステップ63)。
【0053】
次に、X軸サーボ装置43、Y軸サーボ装置44を制御して、吸着ヘッド13を補正された搭載位置に移動させて部品を装着する(ステップ64)。この部品装着は、所定のすべてのノズル14について繰り返される(ステップ65)。所定のすべてのノズル14について装着が完了すると、ステップ56に戻り未搭載データについて同様に動作・処理が行なわれる。
【0054】
ここで、「必要なら移動カメラ16の撮像データについての補正係数を獲得(または更新)の上、基板のマークを撮像し、所定の場合その撮像データに画像処理部33で上記補正係数に基づく補正処理を行なうステップ」(ステップ54)の詳細について、図5を参照して説明する。図5は、図4おけるステップ54の詳細な処理の一例を示す流れ図である。
【0055】
まず、統括制御部35により、移動カメラ16についての補正係数獲得(または更新)の条件が成立しているか否かが判断される(ステップ541)。この条件はあらかじめ設定し記憶部37に保持しておくことができる。例えば、プリント基板n枚ごと、設定時間の経過ごと、設定部品数の搭載ごと、この表面実装機の起動ごと、照明部への供給電圧を検出しその検出電圧に一定以上の変化が生じるごと、照明部のLEDランプの交換を行なうごと、などの条件とすることができる。これらの条件が成立していない場合は、後述するステップ543の処理に移行する。
【0056】
条件が成立している場合には、補正係数を得るため以下の処理を行なう。すなわち、基板を撮像して撮像データを得、例えばその画面内の平均値をフルスケールの例えば中央値で割った(正規化した)値を求め、これを補正係数とする。例えば、平均値が0.5でフルスケールを1とすれば補正係数は1、平均値が0.4でフルスケールを1とすれば補正係数は0.8、平均値が0.6でフルスケールを1とすれば補正係数は1.2である。求められた補正係数は、記憶部34に格納・記憶される(ステップ542)。
【0057】
次に、基板マークを撮像し撮像データを得る。この撮像データは、画像処理部33で処理され、これによりデータの輝度が検出される(ステップ543)。輝度は、単純な方法としては、画面内の平均値を求めることにより得ることができる。
【0058】
次に、検出された輝度が所定範囲にあるか否かが判断される(ステップ544)。所定範囲内にある場合は、撮像対象物の照度が適切であり階調性も確保された画像であるとして基板マークの撮像データは補正されずにこの処理は終了される。
【0059】
所定範囲より大きい場合には、撮像対象物の照度が適切な範囲から増大しており、階調性の乏しい撮像データが得られたとして、基板マークの撮像データは補正される。補正は、撮像データを上記の補正係数で割る演算を行なうことによりなされる。すなわち、この場合には、補正係数は1より大であるはずであり、補正は1より大の値で割ることにより行なわれるので、撮像データは、縮小倍される(ステップ545)。
【0060】
所定範囲より小さい場合には、撮像対象物の照度が適切な範囲から減少しており、階調性の乏しい撮像データが得られたとして、基板マークの撮像データは補正される。補正は、撮像データを上記の補正係数で割る演算を行なうことによりなされる。すなわち、この場合には、補正係数は1より小であるはずであり、補正は1より小の値で割ることにより行なわれるので、撮像データは、拡大倍される(ステップ546)。
【0061】
このような基板マークの撮像データに対する補正により、撮像データの各値の分布が適切な広がりを有するものとなり、階調性の確保された撮像データを得ることができる。よって、照度が経時的に変動する場合にも対応して、撮像データ1からマークの認識を高精度に行なうことができる。
【0062】
なお、上記でステップ545とステップ546とは、実際に行なう処理内容が同一であり、補正係数の値により結果として縮小倍になるか拡大倍になるかの違いである。したがって、ステップ544の判断を、所定範囲内であるか所定範囲外であるかの判断とし、所定範囲外の場合にステップ545(=ステップ546)の処理を行なうようにしても同じことである。これは、以下の説明において、ステップ545とステップ546とに言及される場合について同様である。
【0063】
次に、「必要なら移動カメラ16の撮像データについての補正係数を獲得(または更新)の上、基板のマークを撮像し、所定の場合その撮像データに画像処理部33で上記補正係数に基づく補正処理を行なうステップ」(ステップ54)の詳細について、他の例を、図6を参照して説明する。図6は、図4におけるステップ54の詳細な処理の他の例を示す流れ図である。図6において、図5で説明したステップと同様のステップには同一番号を付し、その説明を省略する。
【0064】
この例は、撮像対象物の照度が適切であり階調性も確保された画像であると判断するのに輝度ではなく輝度コントラストを用いるようにしものである。これは、すでに説明したように、輝度コントラストの検出によっても等価的に撮像対象物の照度の検出が可能だからである。
【0065】
処理手順を説明するに、ステップ541、または542の後で、基板を撮像し、得られた撮像データから画像処理部33において輝度コントラストを検出する(ステップ591)。輝度コントラストは、単純には、画面内の白側ピーク付近の値と最も黒側の付近の値との差により検出することができる。
【0066】
そして、検出された輝度コントラストが第1の所定値より小さく、かつ撮像データの低輝度側の値、つまり画面内の最も黒側の付近の値が第2の所定値より大きいと判断される場合(ステップ592)には、撮像対象物の照度が適切な範囲から増大しており、階調性の乏しい撮像データが得られたとして、すでに説明したステップ545の処理を行なう。これは、輝度コントラストが第1の所定値より小さいことで階調性の乏しい画像と判断し、その階調性劣化が白側に偏って生じたものと判断するため低輝度側の値を第2の所定値と比較するものである。第1の所定値、第2の所定値については、移動カメラ16の特性を考慮して例えば実験的に定めることができる。
【0067】
また、検出された輝度コントラストが第3の所定値より小さく、かつ撮像データの高輝度側の値、つまり画面内の白側ピーク付近の値が第4の所定値より小さいと判断される場合(ステップ593)には、撮像対象物の照度が適切な範囲から減少しており、階調性の乏しい撮像データが得られたとして、すでに説明したステップ546の処理を行なう。これは、輝度コントラストが第3の所定値より小さいことで階調性の乏しい画像と判断し、その階調性劣化が黒側に偏って生じたものと判断するため高輝度側の値を第4の所定値と比較するものである。第3の所定値、第4の所定値については、移動カメラ16の特性を考慮して例えば実験的に定めることができる。第3の所定値については、上記の第1の所定値と同一とすることもできる。
【0068】
以上のような処理によっても図5に示した処理と同様に、撮像データの各値の分布が適切な広がりを有するものとなり、階調性の確保された撮像データを得ることができる。よって、照度が経時的に変動する場合にも対応して、撮像データ1からマークの認識を高精度に行なうことができる。
【0069】
次に、「必要なら基準反射体17の撮像データからむら補正係数を獲得(または更新)の上、部品が吸着された吸着ヘッド13を撮像し、この撮像データから固定カメラ15についての補正係数を獲得する。さらに、所定の場合その撮像データに画像処理部33で上記補正係数に基づく補正処理を行ない、かつ、上記むら補正係数による補正処理も行なうステップ」(ステップ61)の詳細について、図7を参照して説明する。図7は、図4におけるステップ61の詳細な処理の一例を示す流れ図である。図7において、すでに説明したステップと同様のステップには同一番号を付し、その説明を省略する。
【0070】
まず、統括制御部35により、基準データ更新の条件が成立しているか否かが判断される(ステップ611)。この条件はあらかじめ設定し記憶部37に保持しておくことができる。例えば、表面実装機の電源投入から所定の時間が経過したときなどの条件とすることができる。この条件が成立していない場合は、後述するステップ613の処理に移行する。
【0071】
条件が成立している場合には、以下述べるステップ612の処理に移行する。まず、ヘッドユニット5を移動させながら基準反射体17を固定カメラ15で撮像し、基準反射体17の撮像データd(x、y)を得る。ここで、基準反射体17のY方向長さが短い場合には、ヘッドユニット5をY方向にステップ送りして複数回X方向にヘッドユニット5を移動させて基準反射体17を撮像することにより十分なY方向長さの基準撮像データd(x、y)を得ることできる。
【0072】
基準反射体17は、例えば、標準とされる状態で固定カメラ15により撮像した場合に中加減の適切な固定カメラ15の出力が得られる一様の拡散反射率(すなわち、色としてグレー)を有している。したがって、基準反射体17の撮像データd(x、y)の平均値Bavは、その後に固定カメラ15が撮像する画像の良し悪しを判断する基準となる。
【0073】
また、平均値Bavの獲得とともに、各座標(x、y)ごとに撮像データを補正(むら補正)するためのむら補正係数W(x、y)(=Bav/d(x、y))を求める。このむら補正係数は、その後に固定カメラ15が撮像する画像を各座標(x、y)ごとに補正するものである。以上の処理がステップ612である。
【0074】
次に、部品が吸着された吸着ヘッド13を撮像し撮像データを得、この撮像データの輝度として輝度平均値Avdを求める。また、この輝度平均値Avdをフルスケールの例えば中央値で割った(正規化した)値を求め、これを補正係数とする。例えば、平均値が0.5でフルスケールを1とすれば補正係数は1、平均値が0.4でフルスケールを1とすれば補正係数は0.8、平均値が0.6でフルスケールを1とすれば補正係数は1.2である。求められた補正係数は、記憶部34に格納・記憶される(ステップ613)。
【0075】
なお、このステップ613における補正係数の算出・更新は、毎回行なわずに、例えば、プリント基板n枚ごと、設定時間の経過ごと、設定部品数の搭載ごと、この表面実装機の起動ごと、照明部への供給電圧を検出しその検出電圧に一定以上の変化が生じるごと、照明部のLEDランプの交換を行なうごと、などの条件成立時のみとするようにしてもよい。
【0076】
次に、検出された輝度平均値Advがあらかじめ求められているBavを基準にして所定範囲にあるか否かが判断される(ステップ614)。所定範囲内にある場合は、撮像対象物の照度が変化していないか変化していてもごく小さく、階調性も確保された画像であるとしてここでは何も補正せず後述するステップ615の処理に移行する。
【0077】
所定範囲より大きい場合には、撮像対象物の照度が適切な範囲から増大しており、階調性の乏しい撮像データが得られたとして、吸着ヘッド13の撮像データは、すでに述べたステップ545の処理により補正される。すなわち、この場合には、補正係数は1より大であるはずであり、補正は1より大の値で割ることにより行なわれるので、撮像データは、縮小倍される。
【0078】
所定範囲より小さい場合には、撮像対象物の照度が適切な範囲から減少しており、階調性の乏しい撮像データが得られたとして、吸着ヘッド13の撮像データは、すでに述べたステップ546の処理により補正される。すなわち、この場合には、補正係数は1より小であるはずであり、補正は1より小の値で割ることにより行なわれるので、撮像データは、拡大倍される。
【0079】
このような吸着ヘッド13の撮像データに対する補正により、撮像データの各値の分布が適切な広がりを有するものとなり、階調性の確保された撮像データを得ることができる。よって、照度が経時的に変動する場合にも対応して、吸着ヘッドの部品吸着状況の認識を高精度に行なうことに寄与できる。
【0080】
以上のようにして撮像データに対する一様な補正処理を行なったら(または場合によっては一様な補正処理がされない状態で)、次に、吸着ヘッド13の撮像データを座標ごとの補正係数(むら補正係数)W(x、y)により補正する(ステップ615)。この補正により、照明むらや固定カメラ15の光電変換素子の感度ばらつきを排除した吸着ヘッド13の撮像データ(撮像データ2)を得ることができる。
【0081】
より具体的には、吸着ヘッド13の撮像データの各座標での値に、座標(x、y)に応じたむら補正係数W(x、y)が掛け算される。W(x、y)は、基準反射体17を撮像したときの撮像データd(x、y)の逆数に比例した値であり、すなわち、W(x、y)を乗じるということは、基準反射体17の拡散反射率を基準とした吸着ヘッド13の反射率を得ることに等しくなる。すなわち、照明むらや固定カメラ15の光電変換素子の感度ばらつきを排除した撮像データが得られることになる。したがって、一層、吸着状態の認識を高精度に行なうことができる撮像データが得られる。
【0082】
次に、「必要なら基準反射体17の撮像データからむら補正係数を獲得(または更新)の上、部品が吸着された吸着ヘッド13を撮像し、この撮像データから固定カメラ15についての補正係数を獲得する。さらに、所定の場合その撮像データに画像処理部33で上記補正係数に基づく補正処理を行ない、かつ、上記むら補正係数による補正処理も行なうステップ」(ステップ61)の詳細について、他の例を、図8を参照して説明する。図8は、図4におけるステップ61の詳細な処理の他の例を示す流れ図である。図8において、すでに説明したステップと同様のステップには同一番号を付し、その説明を省略する。
【0083】
この例は、撮像対象物の照度が適切であり階調性も確保された画像であると判断するのに輝度ではなく輝度コントラストを用いるようにしてものである。これは、すでに説明したように、輝度コントラストの検出によっても等価的に撮像対象物の照度の検出が可能だからである。
【0084】
図8に示す処理では、図7のステップ613に代えてステップ661を行い、また、図7のステップ614に代えてステップ592およびステップ593を行なう。
【0085】
ステップ661は、実質的には、ステップ613とほぼ同じであり、撮像データから輝度コントラストを求める処理が加わったものである。その本質的な方法はすでに図6のステップ591で説明したものと同種である。また、ステップ592およびステップ593はすでに図6で説明したものと同様である。
【0086】
図8に示す処理によっても、図7に示す処理と同様に、照度が経時的に変動する場合に対応して、撮像データから吸着状態の認識を高精度に行なうことができる。
【0087】
以上説明のように、本発明の実施形態たる表面実装機では、撮像データが結果として撮像対象物の照度に追従して補正され、ダイナミックレンジ内に広範囲に分布する画像とすることができる。よって、従来に増して階調性を有する画像を得ることが可能になる。
【0088】
なお、以上の説明では、固定カメラ15については基準反射体17を有する撮像データの補正系を、移動カメラ16については基準反射体を持たない撮像データの補正系を、それぞれ説明したが、本発明としてはいずれがいずれであってもよい。すなわち、固定カメラ15について基準反射体17を持たない補正系を適用するようにしてもよく、移動カメラ16については基板近傍に基準反射体を設けることにより基準反射体を用いる補正系とすることもできる。
【0089】
また、以上では、本発明を表面実装機に適用した場合を説明したが、これをスクリーン印刷機に適用することもできる。以下、これを、図9を参照して説明する。図9は、本発明を適用し得るスクリーン印刷機の構成を示す正面図である。
【0090】
図9に示すように、このスクリーン印刷機70は、スキージユニット71、フレーム支持部材77、スキージユニット移動機構78、固定カメラ79、マスク保持機構80a、80b、印刷ステージ83、昇降回転ユニット84、テーブル85を具備する。スキージユニット71は、往動時用スキージ72、復動時用スキージ73、フレーム74、エアシリンダ75、76を有する。
【0091】
マスク保持機構80a、80bには、スクリーンマスク81が張設され得る。また、印刷ステージ83上には基板82が載置・保持され得る。
【0092】
上記構成を説明するに、スキージユニット71は、全体としてフレーム支持部材77に接続されスキージユニット移動機構78によりX方向に移動可能に支持されている。スキージユニット71のフレーム74には、往動時用スキージ72、復動時用スキージ73が取り付けられており、これらのスキージ72、73は、それぞれ、Y方向に線状の下端部を有しており、また、エアシリンダ75、76により昇降可能になっている。
【0093】
スキージ72または73によりスクリーンマスク81を介して基板82上にペースト状組成物を印刷する場合には、往動(図右方向)か復動(図左方向)かに従ってエアシリンダ75または76の一方がスキージ72または73がスクリーンマスク81に押圧される。この押圧状態を保ってスキージユニット71が全体としてX方向に移動する。これにより、基板82上にペースト状組成物を印刷することができる。
【0094】
マスク保持機構80a、80bは、スクリーンマスク81のX方向両端部を挟持するものである。挟持されたスクリーンマスク81の下側には、基板82を載置・保持した印刷ステージ83が移動してきてX、Y、Z、およびθ(XY平面に垂直な軸回り)の所定位置に固定され得る。
【0095】
すなわち、印刷ステージ83は、昇降回転ユニット84により昇降(Z方向)および回転(θ方向)が可能であり、かつ、テーブル85により昇降回転ユニット84とともにX、Y各方向に移動可能である。
【0096】
昇降回転ユニット84および印刷ステージ83の移動動作を説明すると、まず、図示の右側の一点鎖線で示す位置において基板82の搬出、搬入を行なう。搬出はすでに印刷の終了した基板82であり、搬入はこれから印刷を行なう基板82である。
【0097】
次に、基板82を載置保持した印刷ステージ83および昇降回転ユニット84は、左側の実線の位置までテーブル85上を移動する。そして、昇降回転ユニット84が印刷ステージ83を所定の回転位置およびZ方向位置に移動させる(図左側の一点鎖線位置)。これにより印刷可能な基板位置になる。印刷を終えた基板82および印刷ステージ83等は、上記とは反対の動きにより図右側の一点鎖線位置に移動し、基板82が搬出される。
【0098】
以上のような構成を有するスクリーン印刷機70において、基板の搬出・搬入位置の上方には固定カメラ79が設けられる。この固定カメラ79の機能は、基板存在や印刷状態の確認である。例えば、基板存在は、表面実装機と同様に基板に印されたマークを固定カメラ70で撮像・認識することにより確認することができる。また、印刷状態の確認は、印刷されたペースト状組成物を撮像・認識することにより確認することができる。
【0099】
この実施形態では、固定カメラ79について図3で説明した構成により撮像データの補正を行なう。したがって、スクリーン印刷機においても、固定カメラ79の撮像データが結果として撮像対象物の照度に追従して補正され、ダイナミックレンジ内に広範囲に分布する画像とすることができる。よって、従来に増して階調性を有する画像を得ることが可能になる。
【0100】
次に、本発明をディスペンサに適用した場合を、図10を参照して説明する。図10は、本発明を適用し得るディスペンサの構成を示す正面図である。
【0101】
図10に示すように、このディスペンサは、基台91、コンベア92、ヘッドユニット95、X軸ガイド部材98、Y軸サーボモータ99、X軸サーボモータ101、X軸ボールネジ102、移動カメラ106を具備する。ヘッドユニット95は、複数のディスペンサヘッド93a、93b、複数のノズル104a、104bを有する。
【0102】
基台91上には、プリント基板搬送用のコンベア92が配設され、プリント基板がコンベア92上を搬送されて図示省略のクランプ機構により所定の付着作業位置で停止されるようになっている。
【0103】
基台91の上方にはヘッドユニット95が装備され、ヘッドユニット95は、以下のように、X軸方向およびY軸方向に移動可能に構成されている。すなわち、基台91には、ヘッドユニット95の支持部材(図示せず)がY軸方向の固定レール(図示せず)に移動可能に配置され、上記支持部材上にヘッドユニット95がX軸方向のガイド部材98に沿って移動可能に支持されている。そして、Y軸サーボモータ99によりボールネジ(図示せず)を介して上記支持部材のY軸方向の移動が行われるとともに、X軸サーボモータ101によりボールネジ102を介してヘッドユニット95のX軸方向の移動が行なわれるようになっている。
【0104】
ヘッドユニット95には、塗布剤付着用の複数のディスペンサヘッド93a、93bが具備されており、この例では2本のディスペンサヘッド93a、93bがX軸方向に一列に並べて配設されている。ディスペンサヘッド93a、93bは、それぞれヘッドユニット95のフレームに対してZ軸方向の移動が可能とされ、サーボモータ(図示省略)によりこの昇降がなされる。各ディスペンサヘッド93a、93bのZ軸下端にはノズル104a、104bが設けられる。
【0105】
ヘッドユニット95には、さらにCCDエリアセンサを撮像素子とする移動カメラ106が設けられている。この移動カメラ106は、プリント基板の作業位置での停止後に、基板に印されたマークを撮像し、これにより、基板の存在確認や正規の位置からのずれの検出、あるいはディスペンスされた状態の確認などを行なうものである。検出された正規の位置からのずれについては、ディスペンサヘッド93a、93bにより塗布剤を基板上に付着させるときにディスペンサヘッド93a、93bの位置を補正するため利用することができる。
【0106】
なお、移動カメラ106のため、撮像対象物を照明する専用の照明部をこのカメラ106の近傍に設けるようにしてもよい。
【0107】
この実施形態では、移動カメラ106について図3で説明した構成により撮像データの補正を行なう。したがって、このようなディスペンサにおいても、移動カメラ106の撮像データが結果として撮像対象物の照度に追従して補正され、ダイナミックレンジ内に広範囲に分布する画像とすることができる。よって、従来に増して階調性を有する画像を得ることが可能になる。
【0108】
【発明の効果】
以上詳述したように、本発明の部材載装機器によれば、検出された輝度により撮像データが補正される。補正は、検出された輝度が所定範囲より大きい場合には得られた撮像データの値が縮小倍されるように、また、検出された輝度が上記所定範囲より小さい場合には得られた撮像データの値が拡大倍されるようになされる。したがって、撮像データは、結果として撮像対象物の照度に追従して補正され、ダイナミックレンジ内に広範囲に分布する画像とすることができる。よって、従来に増して階調性を有する画像を得ることが可能になる。
【図面の簡単な説明】
【図1】本発明を適用し得る表面実装機の構成を示す概略的な平面図。
【図2】本発明を適用し得る表面実装機の構成を示す概略的な正面図。
【図3】本発明の一実施形態たる表面実装機の制御系の構成を示すブロック図。
【図4】図3に示した制御系による、図1、図2に示した表面実装機の動作フローを示す流れ図。
【図5】図4おけるステップ54の詳細な処理の一例を示す流れ図。
【図6】図4おけるステップ54の詳細な処理の他の例を示す流れ図。
【図7】図4おけるステップ61の詳細な処理の一例を示す流れ図。
【図8】図4おけるステップ61の詳細な処理の他の例を示す流れ図。
【図9】本発明を適用し得るスクリーン印刷機の構成を示す概略的な正面図。
【図10】本発明を適用し得るディスペンサの構成を示す概略的な正面図。
【符号の説明】
1…基台2…コンベア 3…部品供給部4…テープフィーダ 5…ヘッドユニット 6…ヘッドユニット支持部材7…Y軸固定レール 8…X軸ガイド部材 9…Y軸サーボモータ10…Y軸ボールネジ 11…X軸サーボモータ12…X軸ボールネジ 13…吸着ヘッド14…吸着ノズル 15…固定カメラ 16…移動カメラ 17…基準反射体 30…制御装置 32…インターフェース 33…画像処理部34…記憶部 35…統括制御部37…記憶部40…ヘッドユニット部サーボ装置 41…Z軸サーボ装置 42…R軸サーボ装置43…X軸サーボ装置 44…Y軸サーボ装置 70…スクリーン印刷機71…スキージユニット 72…往動時用スキージ 73…復動時用スキージ74…フレーム 75、76…エアシリンダ77…フレーム支持部材 78…スキージユニット移動機構 79…固定カメラ80a、80b…マスク保持部材 81…スクリーンマスク 82…基板83…印刷ステージ 84…昇降回転ユニット 85…テーブル91…基台 92…コンベア93a、93b…ディスペンサヘッド 95…ヘッドユニット 98…X軸ガイド部材99…Y軸サーボモータ 101…X軸サーボモータ 102…X軸ボールネジ104a、104b…ノズル 106…移動カメラ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a member mounting device for mounting a member such as an electronic component, cream solder, or adhesive resin on a substrate or a component on the substrate, and in particular, alignment of mounting or confirmation of a mounting state, or The present invention relates to a member mounting apparatus provided with an imaging device unit that captures an image for confirming the presence of a substrate.
[0002]
[Prior art]
Various components such as a surface mounter that mounts electronic components on the substrate, a screen printer that prints cream solder etc. in a predetermined pattern on the substrate, and a dispenser that attaches adhesive resin to the mounted components on the substrate. In some cases, the mounting apparatus is provided with an imaging device section for performing mounting position alignment, mounting state confirmation, substrate presence confirmation, and the like.
[0003]
As a sensor device of such an imaging apparatus unit, an area sensor or a line sensor in which minute photoelectric conversion elements are integrated can be used. Further, the imaging device unit may be provided with an illumination device in order to give an appropriate illuminance to the imaging object.
[0004]
[Problems to be solved by the invention]
The recognition of an object to be imaged captured from an imaging device unit is required to have higher accuracy with the recent miniaturization and miniaturization of electronic components and mounting patterns. For high-accuracy recognition, for example, it is necessary to appropriately maintain the illuminance of the imaging target, and thereby obtain imaging data distributed over a wide range within the dynamic range at the output of the imaging device unit. This is because if the image is biased toward the black side or the white side, the image has poor gradation (the image to be captured is not clear), and the image data becomes unsuitable for highly accurate recognition.
[0005]
Therefore, in order to maintain the illuminance of the object to be imaged, it is necessary to make the luminous intensity of the illuminating device constant. In general, however, the illuminating device has a change in luminous intensity with time. For example, an LED (light emitting diode) lamp has many advantages such as small size, power saving, and low cost, but has temperature characteristics peculiar to semiconductors, and its luminous intensity changes over time due to self-heating. Therefore, if no measures are taken, the illuminance of the object to be imaged fluctuates due to the change in luminous intensity, thereby causing a phenomenon in which the gradation of the image captured by the imaging device unit is biased toward the black side or white side.
[0006]
The present invention has been made in consideration of the above-described circumstances, and in a component mounting apparatus that mounts a member such as an electronic component, cream solder, or adhesive resin on a substrate or a component on the substrate, the mounting position It is an object of the present invention to provide a member mounting apparatus provided with an imaging device unit that obtains an image having a gradation that is higher than that in the past for confirmation of alignment, mounting state, or substrate presence.
[0007]
[Means for Solving the Problems]
In order to solve the above-described problems, the present invention provides a substrate support device that can support a substrate in a substantially horizontal posture, and is provided above the substrate support device and moves at least in a horizontal direction on the supported substrate. A member mounting device having a mounting device for mounting a member and an imaging device provided above the substrate support device and imaging the substrate from above, and is provided in connection with the imaging device. A luminance contrast detecting means for detecting luminance from the imaging data obtained by the imaging device and further detecting a luminance contrast which is a difference between a luminance value near the white side peak and a luminance value near the black side ; , arranged in connection to said imaging device, comprising a correction means for correcting the imaging data obtained by the image pickup device using the detected brightness, the correction means, the luminance contrast detection Smaller the luminance contrast detected by stage than the first predetermined value, and the most black side of the vicinity of the luminance value a second predetermined value the resulting imaging data value is larger than the imaging data Is obtained when the brightness contrast is smaller than a third predetermined value and the brightness value near the white side peak of the imaging data is smaller than a fourth predetermined value. Is characterized by magnifying.
[0008]
That is, in this member mounting apparatus, by detecting the brightness contrast that is the difference between the brightness value near the white side peak and the brightness value near the black side from the imaging data obtained by the imaging device. The value of the imaging data is corrected. This is because the illuminance of the imaging object can be detected equivalently by detecting the luminance contrast. Specifically, when the detected brightness is large and the imaging data is biased toward the white side, this corresponds to a state where the brightness is biased toward the white side and the contrast is lowered. Therefore, when the decrease in luminance contrast is detected and the value on the low luminance side, that is, the luminance value near the black side is greater than the predetermined value, it is determined that the illuminance of the imaging object is large. By this determination, the value of the obtained imaging data is reduced and multiplied. Further, when the detected luminance is small and the image data is biased toward the black side, this corresponds to a state where the luminance contrast is lowered due to the bias toward the black side. Therefore, when the decrease in luminance contrast is detected and the value on the high luminance side, that is, the luminance value near the white side peak is smaller than the predetermined value, it is determined that the illuminance of the imaging object is small. The value of the imaging data obtained by this determination is magnified.
[0009]
Therefore, the imaging data can be corrected to follow the illuminance of the imaging object as a result, and can be an image distributed over a wide range within the dynamic range. Therefore, it is possible to obtain an image having gradation as compared with the prior art.
[0010]
In addition, the member mounting apparatus of this invention typically includes a surface mounter (mounter), a screen printer, and a dispenser. Therefore, as "members" in these, in surface mounters, resistors, capacitors, transistors, electronic components such as integrated circuits (ICs), in screen printers, paste-like compositions such as cream solder and resistor paste, in dispensers And coating agents such as adhesive resins and surfactants.
[0011]
The mounting device corresponds to what is generally called a head unit in a surface mounter, and includes, for example, a plurality of suction heads for mounting electronic components. For example, the head unit is configured to be movable in the X-axis (left / right) and Y-axis (front / rear) directions as a whole, and the respective suction heads are moved in the Z-axis (up / down) direction and the R-axis (around the vertical axis) direction. It can be moved up and down or rotated. Thus, the electronic component is sucked from the component feeder and placed at a predetermined position on the substrate.
[0012]
The mounting apparatus corresponds to what is generally called a squeegee unit in a screen printing machine, and includes a squeegee for printing and adhering the paste-like composition to a substrate through through holes (pits) of a screen mask. The squeegee moves, for example, in one direction (both directions) in the left-right direction (X direction) while pressing the screen mask in the front-rear direction (Y direction) linearly. Thereby, the paste-like composition which exists on a screen mask is guide | induced to the board | substrate side through a through-hole.
[0013]
The mounting apparatus corresponds to what is generally called a dispenser head in a dispenser, and includes, for example, a plurality of nozzles for discharging a coating agent. For example, the dispenser head is configured to be movable in the X-axis (left and right) and Y-axis (front-rear) directions as a whole, and each nozzle is configured to be movable up and down in the Z-axis (up and down) direction. Thereby, a predetermined coating agent is applied and adhered to a predetermined position on the substrate.
[0014]
An image pickup apparatus that picks up an image of a substrate from above, for example, confirms the presence of the substrate by recognizing a mark (fiducial mark) on the substrate, accurately detects the support position of the substrate, or onto the substrate after mounting the member. It is provided in order to confirm the member mounting state .
[0015]
Contact name and illuminance, usually refers to a psychophysical quantity based on visibility, including the amount based on the wavelength sensitivity of the imaging device is not limited to this here. Therefore, for example, when the imaging device is an infrared camera, the amount can be set based on the amount of infrared rays. The same applies to the following.
[0016]
According to another aspect of the present invention, there is provided a substrate support device capable of supporting a substrate in a substantially horizontal posture, and a mounting device that is provided above the substrate support device and moves at least in a horizontal direction and mounts a member on the supported substrate. A device-mounted device having an imaging device and an imaging device for imaging the above-described packaging device from below, the luminance being detected from imaging data obtained by the imaging device, connected to the imaging device And a brightness contrast detecting means for detecting a brightness contrast which is a difference between a brightness value near the white side peak and a brightness value near the black side, and is connected to the imaging device and is detected. by using the luminance; and a correcting means for correcting the imaging data obtained by the imaging device, said correction means, the luminance contrast detected by the luminance contrast detection means first place Smaller than the value, and while the value of the luminance in the vicinity of the most black side of the imaging data is reduced multiplying the value of the imaging data to which the obtained is greater than a second predetermined value, the luminance contrast third When the brightness value near the white side peak of the imaging data is smaller than a predetermined value and smaller than a fourth predetermined value, the value of the obtained imaging data is magnified.
[0017]
In this case, an imaging device that images the mounting device from below is provided. In the case of a surface mounter, this imaging device is provided, for example, to accurately detect the position and orientation of an electronic component in a state where the suction head sucks the electronic component. This detection result can be used, for example, to improve mounting position accuracy on the substrate.
[0018]
Also in this case, the value of the imaging data is corrected by detecting the luminance contrast from the imaging data obtained by the imaging device.
[0019]
Also, the present invention provides, as an embodiment, further comprising one to become light reflective object of the imaged object by the imaging device, said correction means, obtained by imaging in advance the light reflective object The predetermined value is determined using the illuminance of the light reflective object.
[0020]
That is, a light-reflective object is imaged under a certain imaging condition in advance, and this imaging data is used as a later reference. This defines the imaging data to a standard predetermined value, corrects the image pickup data on the basis of a predetermined value of this.
[0021]
Accordingly, it is possible to obtain an image distributed over a wide range within the dynamic range following the change in illuminance of the imaging object. Therefore, for example, it is possible to obtain an image with no gradation on the black side or the white side regardless of a change in illumination over time, and a gradation property. Further, since the imaging light reflective object of constant reflectivity in a certain original with imaging conditions, it can be determined the predetermined value by appropriate criteria.
[0022]
Moreover, the present invention further includes, as an embodiment, a light reflective object that is one of objects to be imaged by the imaging device, and the correction unit obtains an image obtained by imaging the light reflective object in advance. further correcting the value of the imaging data obtained on the basis of the illuminance unevenness in the region. In this case, the illuminance variation is a ratio between an average value of illuminance at a plurality of coordinates set in advance in the imaging region and the illuminance at each coordinate.
[0023]
According to the correction, such as this, there exists the illuminance unevenness in the imaging area, even if the span affects the value of the imaging data obtained, corrected by the equivalent imaging and the absence of illumination variation Data can be obtained. In such corrected image data, in addition to ensuring gradation, the fidelity to the object to be imaged is further improved, and it is useful for highly accurate recognition of substrate marks and members. is there.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. 1 and 2 are diagrams showing the configuration of a surface mounter to which the present invention can be applied. 1 is a plan view, and FIG. 2 is a front view.
[0025]
As shown in FIGS. 1 and 2, the surface mounter includes a base 1, a conveyor 2, a component supply unit 3, a tape feeder 4, a head unit 5, a head unit support member 6, a Y-axis fixed rail 7, and an X-axis. A guide member 8, a Y-axis servo motor 9, a Y-axis ball screw 10, an X-axis servo motor 11, an X-axis ball screw 12, a fixed camera 15, and a moving camera 16 are provided. The head unit 5 includes a plurality of suction heads 13, a plurality of suction nozzles 14, and a reference reflector 17.
[0026]
On the base 1, a printed circuit board conveying conveyor 2 is disposed, and the printed circuit board P is conveyed on the conveyor 2 and stopped at a predetermined mounting work position by a clamp mechanism (not shown). . Component supply units 3 are arranged on the outer sides of the conveyor 2 in the Y direction. A large number of tape feeders 4 for supplying various components are arranged in the component supply unit 3, and the tape feeders 4 are fixed in a state where they are adjacent and positioned.
[0027]
Each tape feeder 4 is configured such that a tape containing and holding small electronic components such as ICs, transistors and capacitors at predetermined intervals is led out from a reel (not shown). As the tape is picked up, the tape is sent out intermittently.
[0028]
A head unit 5 is provided above the base 1, and the head unit 5 is configured to be movable in the X-axis direction and the Y-axis direction as described below.
[0029]
That is, the support member 6 of the head unit 5 is arranged on the base 1 so as to be movable on the fixed rail 7 in the Y-axis direction, and the head unit 5 moves on the support member 6 along the guide member 8 in the X-axis direction. Supported as possible. The Y-axis servo motor 9 moves the support member 6 in the Y-axis direction via the ball screw 10, and the X-axis servo motor 11 moves the head unit 5 in the X-axis direction via the ball screw 12. It is like that.
[0030]
The head unit 5 is provided with a plurality of suction heads 13 for mounting components. In this example, six suction heads 13 are arranged in a line in the X-axis direction. The suction head 13 can move in the Z-axis direction and rotate around the R-axis (the central axis of the suction nozzle 14) with respect to the frame of the head unit 5, and this lifting and lowering can be performed by a servo motor (not shown). Made. A suction nozzle 14 is provided at the lower end of the Z-axis of each suction head 13, and negative pressure is supplied to each suction nozzle 14 from a negative pressure supply unit (not shown) during component suction. As a result, the component is sucked to the suction nozzle 14 by the suction force.
[0031]
The head unit 5 is further provided with a moving camera 16 having a CCD (charge coupled device) area sensor as an image sensor. The moving camera 16 picks up an image of a mark (fiducial mark) marked on the substrate after stopping at the working position of the printed circuit board P, thereby confirming the presence of the substrate, detecting a deviation from the normal position, and the like. Is to do. The detected deviation from the normal position is used to correct the position of the suction head 13 when the component is mounted on the substrate P by the suction head 13 (this correction value will be described as δ1 as described later). .)
[0032]
In the head unit 5, a reference reflector 17 is disposed outside the arrangement of the suction heads 13. In the reference reflector 17, the surface facing the base 1 has a certain area, and this surface has a diffuse reflection surface with a substantially uniform reflectance. The reference reflector 17 is used to acquire data serving as reference data when an image of a state in which the suction head 13 sucks a component is captured by a fixed camera 15 described later.
[0033]
A fixed camera 15 having a line sensor as an image sensor is provided in each of two locations within the movable area of the head unit 5 and in the vicinity of the component supply unit 3 on the base 1 and in line symmetry with respect to the conveyor 2. . The fixed camera 15 images the suction head 13 after picking up the component from below, detects whether or not the component is accurately picked up by each nozzle 14 from the picked-up data, and further detects the pick-up position deviation. . The detected suction position deviation is used to correct the position of the suction head 13 when the component is mounted on the substrate P by the suction head 13 (this correction value will be described as δ2 as described later).
[0034]
Note that a dedicated illumination unit for illuminating the imaging object may be provided in the vicinity of the cameras 16 and 15 for the moving camera 16 or the fixed camera 15.
[0035]
Next, the control unit of the surface mounter will be described with reference to FIG. FIG. 3 is a block diagram showing the configuration of the control system of the surface mounter as one embodiment of the present invention. In the figure, the same components as those already described are denoted by the same reference numerals. In the illustrated configuration of the control system, there are some parts that are less important as an embodiment of the invention (for example, control of the conveyor 2).
[0036]
As shown in FIG. 3, the control device 30 includes an overall control unit 35, a storage unit 37 therefor, an image processing unit 33, a storage unit 34 therefor, and an interface 32 with a servo device such as an X-axis servo device.
[0037]
Each of the moving camera 16 and the fixed camera 15 has an imaging unit that performs imaging, and an imaging output thereof is supplied and connected to the image processing unit 33. In the above example, the fixed cameras 15 are provided at two locations of the surface mounter, but the other camera is also connected to the control device 30 in the same manner.
[0038]
The interface 32 has connections with an X-axis servo device 43, a Y-axis servo device 44, and a head unit servo device 40 (Z-axis servo device 41,..., R-axis servo device 42,...) As illustrated. The X-axis servo device 43 is configured to include the X-axis servo motor 11 in FIGS. 1 and 2, and the Y-axis servo device 44 is configured to include the Y-axis servo motor 9 in FIG.
[0039]
The overall control unit 35 performs processing for overall control of the operations of the X-axis servo device 43, the Y-axis servo device 44, and the head unit servo device 40. Actually, it may be configured by hardware such as a microprocessor and software such as a control program.
[0040]
The storage unit 37 stores information necessary for processing performed by the overall control unit 35. Information is taken in and out from the overall control unit 35 as necessary.
[0041]
The image processing unit 33 processes imaging data obtained by the moving camera 16 and the fixed camera 15, thereby recognizing information included in the imaging data and supplying the information to the overall control unit 35. Information to be recognized will be described later. Note that the image processing unit 33 can also be substantially constituted by hardware such as a microprocessor and software such as a control program.
[0042]
The storage unit 34 stores information necessary for processing performed by the image processing unit 33. Information is taken in and out from the image processing unit 33 as necessary.
[0043]
The interface 32 outputs a servo control signal generated by processing by the overall control unit 35 to the X-axis servo device 43, the Y-axis servo device 44, and the head unit servo device 40, and these servo devices 43 , 44, 40 for inputting sensor outputs.
[0044]
Next, the operation of the surface mounter shown in FIGS. 1 and 2 by the control system shown in FIG. 3 will be described with reference to FIG. 4 is a flowchart showing an operation flow of the surface mounter shown in FIGS. 1 and 2 by the control system shown in FIG.
[0045]
First, the printed circuit board P on which all components are already mounted by the surface mounter is carried out by the conveyor 2, and the printed circuit board P not loaded with components is newly carried by the conveyor 2 and clamped at a predetermined position (step 51). Then, the mounted list is initialized (step 52). The mounted list is stored and held in the storage unit 37.
[0046]
Next, the moving camera 16 is moved onto the substrate by the X-axis servo device 43 and the Y-axis servo device 44 (step 53). Then, if necessary, the correction coefficient for the imaging data of the mobile camera 16 is acquired (or updated), and the mark on the board is imaged. In a predetermined case, the imaging processing unit 33 performs correction processing based on the correction coefficient for the imaging data. Perform (step 54). A corrected image (however, an image that has not been corrected except in a predetermined case) is referred to as imaging data 1. Details of step 54 will be described later.
[0047]
Next, the image data 1 is processed by the image processing unit 33, and the substrate mark is recognized, thereby detecting and detecting the displacement of the substrate (the X direction, the Y direction, and the θ direction around the axis perpendicular to the XY plane). A mounting position correction value δ1 of each component is obtained from the positional deviation. The correction value δ1 is transferred to the overall control unit 35 and stored / stored in the storage unit 37 (step 55).
[0048]
Next, the integrated control unit 35 examines the mounted list to determine whether there is unmounted data (step 56). If there is no unmounted data, the mounting of all the components is complete, so the processing ends for this board. If there is unmounted data, the overall control unit 35 searches the data and determines the work procedure such as the mounting order (step 57).
[0049]
Next, according to the determined work procedure, the X-axis servo device 43 and the Y-axis servo device 44 are controlled, and the suction head 13 is moved to the component suction position to suck the component (step 58). This component suction is repeated so that the components are sucked by all the predetermined nozzles 14 (step 59). Note that the suction position control of the suction head 13 in this suction operation takes into account the positional deviation of the suction head 13 detected by imaging of the fixed camera 15 described later, and the positional deviation of the suction head 13 with respect to the component is determined. You may carry out by controlling so that it may become small.
[0050]
Next, the head unit 5 is moved onto the fixed camera 15 by controlling the X-axis servo device 43 and the Y-axis servo device 44. In this example, the fixed camera 15 is a line camera, and moves so as to scan the head unit 5 in a direction (X direction) orthogonal to the line direction (step 60).
[0051]
Then, if necessary, after obtaining (or updating) the unevenness correction coefficient from the imaging data of the reference reflector 17, the suction head 13 to which the component is sucked is imaged, and the correction coefficient for the fixed camera 15 is acquired from this imaging data. . Further, in a predetermined case, the image processing unit 33 performs correction processing based on the correction coefficient on the captured image data, and also performs correction processing using the unevenness correction coefficient. This corrected image is set as imaging data 2 (step 61). Details of step 61 will be described later.
[0052]
Next, the imaging data 2 is processed by the image processing unit 33 to recognize the sucked component, thereby detecting the position shift of the suction component, and the mounting position correction value δ2 of each suction component is determined from the detected position shift. It is determined (step 62). The correction value δ <b> 2 is transferred to the overall control unit 35 and stored / stored in the storage unit 37. Then, the overall control unit 35 obtains δ (= δ1 + δ2) as a final mounting position correction value from the correction value δ1 and the correction value δ2 obtained and held as described above, and stores and holds this in the storage unit 37. (Step 63).
[0053]
Next, the X-axis servo device 43 and the Y-axis servo device 44 are controlled to move the suction head 13 to the corrected mounting position and mount the component (step 64). This component mounting is repeated for all predetermined nozzles 14 (step 65). When the mounting of all the predetermined nozzles 14 is completed, the process returns to step 56 and the operation / processing is similarly performed on the unmounted data.
[0054]
Here, “if necessary, obtain (or update) a correction coefficient for the imaging data of the mobile camera 16 and then image a mark on the board, and in a predetermined case, the image processing unit 33 corrects the imaging data based on the correction coefficient. Details of “the step of performing the process” (step 54) will be described with reference to FIG. Figure 5 is a flowchart showing an example of a detailed process of step 54 definitive in FIG.
[0055]
First, the overall control unit 35 determines whether or not a condition for obtaining (or updating) a correction coefficient for the mobile camera 16 is satisfied (step 541). This condition can be set in advance and stored in the storage unit 37. For example, every n printed boards, every time a set time elapses, every time a set number of parts are mounted, every time this surface mounter is activated, every time a voltage supplied to the illumination unit is detected and a change of a certain level or more occurs in the detected voltage, Each time the LED lamp of the illuminating unit is replaced, the condition can be set. If these conditions are not satisfied, the process proceeds to step 543 described later.
[0056]
When the condition is satisfied, the following processing is performed to obtain a correction coefficient. That is, imaging data is obtained by imaging the substrate, and for example, a value obtained by dividing (normalized) the average value in the screen by, for example, the median value of the full scale is obtained and used as a correction coefficient. For example, if the average value is 0.5 and the full scale is 1, the correction coefficient is 1, and if the average value is 0.4 and the full scale is 1, the correction coefficient is 0.8 and the average value is 0.6 and full. If the scale is 1, the correction coefficient is 1.2. The obtained correction coefficient is stored / stored in the storage unit 34 (step 542).
[0057]
Next, the board mark is imaged to obtain imaging data. The captured image data is processed by the image processing unit 33, thereby detecting the luminance of the data (step 543). As a simple method, the luminance can be obtained by obtaining an average value in the screen.
[0058]
Next, it is determined whether or not the detected luminance is within a predetermined range (step 544). If it is within the predetermined range, it is determined that the image of the object to be imaged has an appropriate illuminance and gradation is ensured, and the process is terminated without correcting the image data of the substrate mark.
[0059]
When it is larger than the predetermined range, the illuminance of the object to be imaged is increased from an appropriate range, and the image data of the board mark is corrected on the assumption that image data with poor gradation is obtained. The correction is performed by performing an operation for dividing the imaging data by the correction coefficient. That is, in this case, the correction coefficient should be greater than 1, and the correction is performed by dividing by a value greater than 1, so the imaged data is reduced (step 545).
[0060]
If it is smaller than the predetermined range, the illuminance of the imaging object has decreased from the appropriate range, and the imaging data of the board mark is corrected assuming that imaging data with poor gradation is obtained. The correction is performed by performing an operation for dividing the imaging data by the correction coefficient. That is, in this case, the correction coefficient should be smaller than 1, and the correction is performed by dividing by a value smaller than 1, so that the imaged data is enlarged (step 546).
[0061]
By correcting the image data of the substrate mark as described above, the distribution of each value of the image data has an appropriate spread, and the image data with ensured gradation can be obtained. Therefore, it is possible to recognize the mark from the imaging data 1 with high accuracy in correspondence with the case where the illuminance varies with time.
[0062]
It should be noted that step 545 and step 546 are the same as the actual processing contents to be performed, and are different depending on the correction coefficient value. Therefore, the determination in step 544 is the same as determining whether it is within the predetermined range or out of the predetermined range, and if it is out of the predetermined range, the process of step 545 (= step 546) is the same. The same applies to the case where step 545 and step 546 are referred to in the following description.
[0063]
Next, “if necessary, obtain (or update) a correction coefficient for the imaging data of the mobile camera 16, image a mark on the board, and in a predetermined case, the imaging data is corrected based on the correction coefficient by the image processing unit 33. The details of the “step of performing processing” (step 54) will be described with reference to FIG. FIG. 6 is a flowchart showing another example of detailed processing of step 54 in FIG. In FIG. 6, the same steps as those described in FIG. 5 are denoted by the same reference numerals, and the description thereof is omitted.
[0064]
This example is obtained to use a luminance contrast rather than the luminance to determine that the image intensity also is secured and gradation appropriate for the imaged object. This is because, as already described, the illuminance of the object to be imaged can be detected equivalently by detecting the luminance contrast.
[0065]
To describe the processing procedure, after step 541 or 542, the substrate is imaged, and the brightness contrast is detected in the image processing unit 33 from the obtained imaging data (step 591). The brightness contrast can be detected simply by the difference between the value near the white peak in the screen and the value near the black side.
[0066]
When it is determined that the detected luminance contrast is smaller than the first predetermined value and the value on the low luminance side of the imaging data , that is, the value near the black side in the screen is larger than the second predetermined value In (Step 592), the processing of Step 545 already described is performed on the assumption that the illuminance of the imaging target has increased from an appropriate range and imaging data with poor gradation is obtained. This is because the brightness contrast is smaller than the first predetermined value, it is determined that the image has poor gradation, and it is determined that the gradation deterioration is biased to the white side. 2 is compared with a predetermined value. The first predetermined value and the second predetermined value can be determined experimentally in consideration of the characteristics of the mobile camera 16, for example.
[0067]
Further, if the detected brightness contrast is rather smaller than the third predetermined value, and high-luminance side of the value of the imaging data, that value around white side peak in the screen is determined to be less than the fourth predetermined value In (Step 593), the processing of Step 546 already described is performed on the assumption that the illuminance of the imaging object has decreased from an appropriate range and imaging data with poor gradation is obtained. This is because the brightness contrast is smaller than the third predetermined value, it is determined that the image has poor gradation, and it is determined that the gradation deterioration is biased toward the black side. 4 is compared with a predetermined value. The third predetermined value and the fourth predetermined value can be determined experimentally in consideration of the characteristics of the mobile camera 16, for example. The third predetermined value may be the same as the first predetermined value.
[0068]
Similar to the processing shown in FIG. 5, the processing described above makes the distribution of each value of the imaging data have an appropriate spread, and imaging data in which gradation is ensured can be obtained. Therefore, it is possible to recognize the mark from the imaging data 1 with high accuracy in correspondence with the case where the illuminance varies with time.
[0069]
Next, “if necessary, obtain (or update) the nonuniformity correction coefficient from the imaging data of the reference reflector 17 and then image the suction head 13 to which the component has been sucked. The correction coefficient for the fixed camera 15 is obtained from this imaging data. Further, in a predetermined case, the image processing unit 33 performs a correction process based on the correction coefficient and also performs a correction process using the unevenness correction coefficient on the captured image data (step 61). Will be described with reference to FIG. FIG. 7 is a flowchart showing an example of detailed processing of step 61 in FIG. In FIG. 7, the same steps as those already described are denoted by the same reference numerals, and the description thereof is omitted.
[0070]
First, the overall control unit 35 determines whether or not the condition for updating the reference data is satisfied (step 611). This condition can be set in advance and stored in the storage unit 37. For example, the condition can be set such that a predetermined time has passed since the surface mounter was turned on. If this condition is not satisfied, the process proceeds to step 613 described later.
[0071]
If the condition is satisfied, the process proceeds to step 612 described below. First, the reference reflector 17 is imaged by the fixed camera 15 while moving the head unit 5 to obtain image data d (x, y) of the reference reflector 17. Here, when the reference reflector 17 has a short length in the Y direction, the head unit 5 is stepped in the Y direction and the head unit 5 is moved a plurality of times in the X direction to image the reference reflector 17. Reference image data d (x, y) having a sufficient length in the Y direction can be obtained.
[0072]
The reference reflector 17 has, for example, a uniform diffuse reflectance (that is, gray as a color) that can obtain an appropriate output of the fixed camera 15 that is moderately moderate when captured by the fixed camera 15 in a standard state. is doing. Therefore, the average value Bav of the imaging data d (x, y) of the reference reflector 17 becomes a reference for determining whether the image captured by the fixed camera 15 thereafter is good or bad.
[0073]
Further, along with the acquisition of the average value Bav, an unevenness correction coefficient W (x, y) (= Bav / d (x, y)) for correcting (unevenness correction) the imaging data for each coordinate (x, y) is obtained. Ask. This unevenness correction coefficient corrects an image captured by the fixed camera 15 thereafter for each coordinate (x, y). The above processing is step 612.
[0074]
Next, the suction head 13 to which the component is sucked is imaged to obtain imaging data, and a luminance average value Avd is obtained as the luminance of the imaging data. Further, a value obtained by dividing (normalized) the luminance average value Avd by, for example, the median value of the full scale is obtained, and this is used as a correction coefficient. For example, if the average value is 0.5 and the full scale is 1, the correction coefficient is 1, and if the average value is 0.4 and the full scale is 1, the correction coefficient is 0.8 and the average value is 0.6. If the scale is 1, the correction coefficient is 1.2. The obtained correction coefficient is stored / stored in the storage unit 34 (step 613).
[0075]
The calculation / update of the correction coefficient in step 613 is not performed every time, for example, every n printed boards, every set time, every set number of components, every time this surface mounter is activated, every lighting unit It is also possible to detect the voltage supplied to the power source only when a certain change or more occurs in the detected voltage, or when the LED lamp of the illuminating unit is replaced, etc.
[0076]
Next, it is determined whether or not the detected luminance average value Adv is within a predetermined range with reference to Bav obtained in advance (step 614). If it is within the predetermined range, the illuminance of the object to be imaged has not changed or has changed, and it is very small and the gradation is secured. Transition to processing.
[0077]
If it is larger than the predetermined range, the illuminance of the object to be imaged has increased from an appropriate range, and imaging data with poor gradation is obtained. It is corrected by processing. That is, in this case, the correction coefficient should be greater than 1, and the correction is performed by dividing by a value greater than 1, so the imaged data is scaled down.
[0078]
If it is smaller than the predetermined range, it is assumed that the illuminance of the imaging object has decreased from the appropriate range and imaging data with poor gradation is obtained. It is corrected by processing. That is, in this case, the correction coefficient should be smaller than 1, and the correction is performed by dividing by a value smaller than 1, so that the image data is enlarged.
[0079]
By correcting the image pickup data of the suction head 13 as described above, the distribution of each value of the image pickup data has an appropriate spread, and it is possible to obtain image pickup data in which gradation is ensured. Accordingly, it is possible to contribute to the recognition of the component suction status of the suction head with high accuracy in correspondence with the case where the illuminance varies with time.
[0080]
After the uniform correction processing is performed on the imaging data as described above (or in some cases, the uniform correction processing is not performed), the imaging data of the suction head 13 is then converted into a correction coefficient (unevenness correction) for each coordinate. The coefficient is corrected by W (x, y) (step 615). By this correction, it is possible to obtain imaging data (imaging data 2) of the suction head 13 from which uneven illumination and sensitivity variations of the photoelectric conversion elements of the fixed camera 15 are eliminated.
[0081]
More specifically, the value at each coordinate of the imaging data of the suction head 13 is multiplied by the unevenness correction coefficient W (x, y) corresponding to the coordinate (x, y). W (x, y) is a value proportional to the reciprocal of the imaging data d (x, y) when the reference reflector 17 is imaged, that is, multiplying by W (x, y) means that the reference reflection This is equivalent to obtaining the reflectance of the suction head 13 based on the diffuse reflectance of the body 17. That is, imaging data that eliminates uneven illumination and variations in sensitivity of the photoelectric conversion elements of the fixed camera 15 can be obtained. Therefore, it is possible to obtain imaging data that can recognize the suction state with high accuracy.
[0082]
Next, “if necessary, obtain (or update) the nonuniformity correction coefficient from the imaging data of the reference reflector 17 and then image the suction head 13 to which the component has been sucked. The correction coefficient for the fixed camera 15 is obtained from this imaging data. Further, in a predetermined case, the image processing unit 33 performs correction processing based on the correction coefficient and also performs correction processing using the unevenness correction coefficient in the image data 33 in a predetermined case (step 61). An example will be described with reference to FIG. FIG. 8 is a flowchart showing another example of detailed processing of step 61 in FIG. In FIG. 8, the same steps as those already described are denoted by the same reference numerals, and the description thereof is omitted.
[0083]
In this example, luminance contrast is used instead of luminance to determine that the imaged object has an appropriate illuminance and has a good gradation. This is because, as already described, the illuminance of the object to be imaged can be detected equivalently by detecting the luminance contrast.
[0084]
In the process shown in FIG. 8, step 661 is performed instead of step 613 in FIG. 7, and step 592 and step 593 are performed instead of step 614 in FIG.
[0085]
Step 661 is substantially the same as step 613, and is obtained by adding a process for obtaining the luminance contrast from the imaging data. The essential method is similar to that already described in step 591 of FIG. Steps 592 and 593 are the same as those already described with reference to FIG.
[0086]
Also in the process shown in FIG. 8, as in the process shown in FIG. 7, the suction state can be recognized from the imaging data with high accuracy corresponding to the case where the illuminance changes with time.
[0087]
As described above, in the surface mounter according to the embodiment of the present invention, the imaging data is corrected following the illuminance of the imaging target as a result, and an image distributed over a wide range within the dynamic range can be obtained. Therefore, it is possible to obtain an image having gradation as compared with the prior art.
[0088]
In the above description, the imaging data correction system having the reference reflector 17 is described for the fixed camera 15, and the imaging data correction system having no reference reflector is described for the moving camera 16, respectively. Any of these may be used. That is, a correction system that does not have the reference reflector 17 may be applied to the fixed camera 15, and the movable camera 16 may be a correction system that uses the reference reflector by providing a reference reflector near the substrate. it can.
[0089]
Further, the case where the present invention is applied to a surface mounting machine has been described above, but this can also be applied to a screen printing machine. This will be described below with reference to FIG. FIG. 9 is a front view showing a configuration of a screen printing machine to which the present invention can be applied.
[0090]
As shown in FIG. 9, the screen printing machine 70 includes a squeegee unit 71, a frame support member 77, a squeegee unit moving mechanism 78, a fixed camera 79, mask holding mechanisms 80a and 80b, a printing stage 83, a lifting and rotating unit 84, a table. 85. The squeegee unit 71 includes a forward movement squeegee 72, a backward movement squeegee 73, a frame 74, and air cylinders 75 and 76.
[0091]
A screen mask 81 can be stretched between the mask holding mechanisms 80a and 80b. A substrate 82 can be placed and held on the printing stage 83.
[0092]
The squeegee unit 71 is connected to the frame support member 77 as a whole and supported by the squeegee unit moving mechanism 78 so as to be movable in the X direction. A squeegee 72 for forward movement and a squeegee 73 for backward movement are attached to the frame 74 of the squeegee unit 71, and each of these squeegees 72 and 73 has a linear lower end in the Y direction. The air cylinders 75 and 76 can be moved up and down.
[0093]
When the paste-like composition is printed on the substrate 82 via the screen mask 81 by the squeegee 72 or 73, one of the air cylinders 75 or 76 is moved in accordance with forward movement (right direction in the figure) or backward movement (left direction in the figure). The squeegee 72 or 73 is pressed against the screen mask 81. The squeegee unit 71 moves in the X direction as a whole while maintaining this pressed state. Thereby, the paste-like composition can be printed on the substrate 82.
[0094]
The mask holding mechanisms 80a and 80b sandwich both ends of the screen mask 81 in the X direction. A printing stage 83 on which the substrate 82 is placed and held is moved below the sandwiched screen mask 81 and is fixed at predetermined positions of X, Y, Z, and θ (around an axis perpendicular to the XY plane). obtain.
[0095]
That is, the printing stage 83 can be moved up and down (Z direction) and rotated (θ direction) by the lifting and rotating unit 84, and can be moved in the X and Y directions together with the lifting and rotating unit 84 by the table 85.
[0096]
The moving operation of the lifting / lowering rotation unit 84 and the printing stage 83 will be described. First, the substrate 82 is unloaded and loaded at a position indicated by a one-dot chain line on the right side of the drawing. The unloading is the substrate 82 that has already been printed, and the unloading is the substrate 82 on which printing is to be performed.
[0097]
Next, the printing stage 83 and the lifting / lowering rotation unit 84 on which the substrate 82 is placed and held move on the table 85 to the left solid line position. Then, the lifting / lowering rotation unit 84 moves the printing stage 83 to a predetermined rotational position and a Z-direction position (the one-dot chain line position on the left side of the figure). This results in a printable substrate position. The substrate 82, the printing stage 83, and the like that have finished printing move to the one-dot chain line position on the right side of the drawing by the movement opposite to the above, and the substrate 82 is carried out.
[0098]
In the screen printer 70 having the above-described configuration, a fixed camera 79 is provided above the board carry-out / carry-in position. The function of the fixed camera 79 is to confirm the presence of the substrate and the printing state. For example, the presence of the board can be confirmed by imaging and recognizing the mark marked on the board with the fixed camera 70 as in the case of the surface mounter. Moreover, confirmation of a printing state can be confirmed by imaging and recognizing the printed paste-like composition.
[0099]
In this embodiment, the imaging data is corrected for the fixed camera 79 by the configuration described with reference to FIG. Therefore, also in the screen printing machine, the imaging data of the fixed camera 79 is corrected following the illuminance of the imaging object as a result, and an image distributed over a wide range within the dynamic range can be obtained. Therefore, it is possible to obtain an image having gradation as compared with the prior art.
[0100]
Next, the case where this invention is applied to a dispenser is demonstrated with reference to FIG. FIG. 10 is a front view showing a configuration of a dispenser to which the present invention can be applied.
[0101]
As shown in FIG. 10, the dispenser includes a base 91, a conveyor 92, a head unit 95, an X-axis guide member 98, a Y-axis servo motor 99, an X-axis servo motor 101, an X-axis ball screw 102, and a moving camera 106. To do. The head unit 95 includes a plurality of dispenser heads 93a and 93b and a plurality of nozzles 104a and 104b.
[0102]
A printed circuit board transporting conveyor 92 is disposed on the base 91, and the printed circuit board is transported on the conveyor 92 and stopped at a predetermined adhesion work position by a clamp mechanism (not shown).
[0103]
A head unit 95 is provided above the base 91, and the head unit 95 is configured to be movable in the X-axis direction and the Y-axis direction as described below. That is, a support member (not shown) of the head unit 95 is disposed on the base 91 so as to be movable on a fixed rail (not shown) in the Y-axis direction, and the head unit 95 is placed on the support member in the X-axis direction. The guide member 98 is supported so as to be movable. The Y-axis servo motor 99 moves the support member in the Y-axis direction via a ball screw (not shown), and the X-axis servo motor 101 moves the head unit 95 in the X-axis direction via the ball screw 102. Movement is to be performed.
[0104]
The head unit 95 includes a plurality of dispenser heads 93a and 93b for applying the coating agent. In this example, two dispenser heads 93a and 93b are arranged in a line in the X-axis direction. The dispenser heads 93a and 93b can move in the Z-axis direction with respect to the frame of the head unit 95, and are moved up and down by a servo motor (not shown). Nozzles 104a and 104b are provided at the lower end of the Z-axis of each dispenser head 93a and 93b.
[0105]
The head unit 95 is further provided with a moving camera 106 using a CCD area sensor as an image sensor. This moving camera 106 images the mark on the board after stopping at the working position of the printed circuit board, thereby confirming the presence of the board, detecting the deviation from the normal position, or confirming the dispensed state. And so on. The detected deviation from the normal position can be used to correct the position of the dispenser heads 93a, 93b when the coating agent is deposited on the substrate by the dispenser heads 93a, 93b.
[0106]
Note that a dedicated illumination unit that illuminates the imaging object may be provided in the vicinity of the camera 106 for the moving camera 106.
[0107]
In this embodiment, the imaging data is corrected by the configuration described with reference to FIG. Therefore, even in such a dispenser, the imaging data of the moving camera 106 is corrected following the illuminance of the imaging object as a result, and an image distributed over a wide range within the dynamic range can be obtained. Therefore, it is possible to obtain an image having gradation as compared with the prior art.
[0108]
【The invention's effect】
As described above in detail, according to the member NoSo apparatus of the present invention, the imaging data is corrected by was detected brightness. The correction is performed so that the value of the obtained imaging data is reduced when the detected luminance is larger than the predetermined range, and the obtained imaging data is obtained when the detected luminance is smaller than the predetermined range. The value of is scaled up. Therefore, the imaging data can be corrected to follow the illuminance of the imaging target as a result, and can be an image distributed over a wide range within the dynamic range. Therefore, it is possible to obtain an image having gradation as compared with the prior art.
[Brief description of the drawings]
FIG. 1 is a schematic plan view showing a configuration of a surface mounter to which the present invention can be applied.
FIG. 2 is a schematic front view showing a configuration of a surface mounter to which the present invention can be applied.
FIG. 3 is a block diagram showing a configuration of a control system of the surface mounter according to the embodiment of the present invention.
4 is a flowchart showing an operation flow of the surface mounter shown in FIGS. 1 and 2 by the control system shown in FIG. 3;
5 is a flowchart showing an example of detailed processing in step 54 in FIG. 4;
6 is a flowchart showing another example of detailed processing in step 54 in FIG. 4;
FIG. 7 is a flowchart showing an example of detailed processing in step 61 in FIG. 4;
8 is a flowchart showing another example of detailed processing in step 61 in FIG. 4;
FIG. 9 is a schematic front view showing the configuration of a screen printing machine to which the present invention can be applied.
FIG. 10 is a schematic front view showing the configuration of a dispenser to which the present invention can be applied.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Base 2 ... Conveyor 3 ... Parts supply part 4 ... Tape feeder 5 ... Head unit 6 ... Head unit support member 7 ... Y-axis fixed rail 8 ... X-axis guide member 9 ... Y-axis servo motor 10 ... Y-axis ball screw 11 ... X-axis servo motor 12 ... X-axis ball screw 13 ... Suction head 14 ... Suction nozzle 15 ... Fixed camera 16 ... Moving camera 17 ... Reference reflector 30 ... Control device 32 ... Interface 33 ... Image processing unit 34 ... Storage unit 35 ... Overall Control unit 37 ... storage unit 40 ... head unit servo unit 41 ... Z-axis servo unit 42 ... R-axis servo unit 43 ... X-axis servo unit 44 ... Y-axis servo unit 70 ... screen printer 71 ... squeegee unit 72 ... forward movement Squeegee for time 73 ... Squeegee for reverse operation 74 ... Frame 75, 76 ... Air cylinder 77 ... Frame support member 78 ... Squeegee unit moving mechanism 79 ... fixed cameras 80a, 80b ... mask holding member 81 ... screen mask 82 ... substrate 83 ... printing stage 84 ... elevating and rotating unit 85 ... table 91 ... base 92 ... conveyor 93a, 93b ... dispenser head 95 ... head Unit 98 ... X-axis guide member 99 ... Y-axis servo motor 101 ... X-axis servo motor 102 ... X-axis ball screws 104a, 104b ... Nozzle 106 ... Moving camera

Claims (4)

基板をほぼ水平姿勢で支持し得る基板支持装置と、前記基板支持装置の上方に設けられ、少なくとも水平方向に移動して前記支持された基板上に部材を載装する載装装置と、前記基板支持装置の上方に設けられ、前記基板を上方から撮像する撮像装置と、を有する部材載装機器であって、
前記撮像装置に接続して設けられ、前記撮像装置により得られた撮像データから輝度を検出し、さらに白側ピーク付近の輝度の値と最も黒側の付近の輝度の値との差である輝度コントラストを検出する輝度コントラスト検出手段と、
前記撮像装置に接続して設けられ、前記検出された輝度を用いて前記撮像装置により得られた撮像データを補正する補正手段とを具備し、
前記補正手段は、前記輝度コントラスト検出手段により検出された前記輝度コントラストが第1の所定値よりも小さく、かつ前記撮像データの最も黒側の付近の輝度の値が第2の所定値より大きい場合に前記得られた撮像データの値を縮小倍する一方、前記輝度コントラストが第3の所定値よりも小さく、かつ前記撮像データの白側ピーク付近の輝度の値が第4の所定値より小さい場合に前記得られた撮像データの値を拡大倍する
ことを特徴とする部材載装機器。
A substrate support device capable of supporting the substrate in a substantially horizontal posture; a mounting device provided above the substrate support device and moving at least in the horizontal direction to mount a member on the supported substrate; and the substrate An imaging device that is provided above a support device and that images the substrate from above;
A luminance that is provided in connection with the imaging device, detects luminance from imaging data obtained by the imaging device, and is a difference between a luminance value near the white side peak and a luminance value near the black side Luminance contrast detection means for detecting contrast ;
A correction unit that is connected to the imaging device and corrects imaging data obtained by the imaging device using the detected luminance;
The correction unit is configured such that the luminance contrast detected by the luminance contrast detection unit is smaller than a first predetermined value and the luminance value near the black side of the imaging data is larger than a second predetermined value. When the value of the obtained imaging data is reduced and multiplied while the luminance contrast is smaller than a third predetermined value and the luminance value near the white side peak of the imaging data is smaller than a fourth predetermined value. A member mounting device characterized in that the value of the obtained imaging data is enlarged.
基板をほぼ水平姿勢で支持し得る基板支持装置と、前記基板支持装置の上方に設けられ、少なくとも水平方向に移動して前記支持された基板上に部材を載装する載装装置と、前記載装装置を下方から撮像する撮像装置と、を有する部材載装機器であって、
前記撮像装置に接続して設けられ、前記撮像装置により得られた撮像データから輝度を検出し、さらに白側ピーク付近の輝度の値と最も黒側の付近の輝度の値との差である輝度コントラストを検出する輝度コントラスト検出手段と、
前記撮像装置に接続して設けられ、前記検出された輝度を用いて前記撮像装置により得られた撮像データを補正する補正手段とを具備し、
前記補正手段は、前記輝度コントラスト検出手段により検出された前記輝度コントラストが第1の所定値よりも小さく、かつ前記撮像データの最も黒側の付近の輝度の値が第2の所定値より大きい場合に前記得られた撮像データの値を縮小倍する一方、前記輝度コントラストが第3の所定値よりも小さく、かつ前記撮像データの白側ピーク付近の輝度の値が第4の所定値より小さい場合に前記得られた撮像データの値を拡大倍する
ことを特徴とする部材載装機器。
A substrate support device capable of supporting a substrate in a substantially horizontal position, a mounting device provided above the substrate support device and moving in at least a horizontal direction to mount a member on the supported substrate; An imaging device for imaging the mounting device from below,
A luminance that is provided in connection with the imaging device, detects luminance from imaging data obtained by the imaging device, and is a difference between a luminance value near the white side peak and a luminance value near the black side Luminance contrast detection means for detecting contrast ;
A correction unit that is connected to the imaging device and corrects imaging data obtained by the imaging device using the detected luminance;
The correction unit is configured such that the luminance contrast detected by the luminance contrast detection unit is smaller than a first predetermined value and the luminance value near the black side of the imaging data is larger than a second predetermined value. When the value of the obtained imaging data is reduced and multiplied while the luminance contrast is smaller than a third predetermined value and the luminance value near the white side peak of the imaging data is smaller than a fourth predetermined value. A member mounting device characterized in that the value of the obtained imaging data is enlarged.
前記撮像装置による撮像対象物のひとつとなる光反射性物体をさらに具備し、
前記補正手段は、あらかじめ前記光反射性物体を撮像することにより得られた前記光反射性物体の照度を用いて前記所定値を定めておくことを特徴とする請求項1または2記載の部材載装機器。
A light-reflective object that is one of objects to be imaged by the imaging device;
The member mounting according to claim 1 , wherein the correction unit determines the predetermined value using an illuminance of the light reflective object obtained by imaging the light reflective object in advance. Equipment.
前記撮像装置による撮像対象物のひとつとなる光反射性物体をさらに具備し、
前記補正手段は、あらかじめ前記光反射性物体を撮像することにより得られた撮像領域内の照度ばらつきに基づいて前記得られた撮像データの値をさらに補正するものであり、前記照度ばらつきは、撮像領域内の予め設定された複数座標の照度の平均値と前記各座標の照度との比であることを特徴とする請求項1または2記載の部材載装機器。
A light-reflective object that is one of objects to be imaged by the imaging device;
The correction means further corrects the value of the obtained imaging data based on the illuminance variation in the imaging region obtained by imaging the light-reflective object in advance , and the illuminance variation The member mounting apparatus according to claim 1, wherein the member mounting device is a ratio between an average value of illuminance of a plurality of coordinates set in advance in an area and illuminance of each coordinate .
JP2002046172A 2002-02-22 2002-02-22 Component mounting equipment Expired - Fee Related JP3914061B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002046172A JP3914061B2 (en) 2002-02-22 2002-02-22 Component mounting equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002046172A JP3914061B2 (en) 2002-02-22 2002-02-22 Component mounting equipment

Publications (2)

Publication Number Publication Date
JP2003249796A JP2003249796A (en) 2003-09-05
JP3914061B2 true JP3914061B2 (en) 2007-05-16

Family

ID=28659673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002046172A Expired - Fee Related JP3914061B2 (en) 2002-02-22 2002-02-22 Component mounting equipment

Country Status (1)

Country Link
JP (1) JP3914061B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4459847B2 (en) * 2005-03-17 2010-04-28 パナソニック株式会社 Component mounting head and component mounting method

Also Published As

Publication number Publication date
JP2003249796A (en) 2003-09-05

Similar Documents

Publication Publication Date Title
KR100881908B1 (en) Electronic component mounting device and electronic component mounting method
JP5524495B2 (en) Imaging system and electronic circuit component mounting machine
US7861650B2 (en) Method and apparatus for adjusting a substrate support
JP4536280B2 (en) Component mounter, mounting inspection method
CN108573901B (en) Bare chip bonding apparatus and method for manufacturing semiconductor device
US20030125895A1 (en) Apparatus and method for inspecting working operations on circuit substrate, and system and method for fabricating electric circuit
JP7161870B2 (en) Die bonder and semiconductor device manufacturing method
JP5075747B2 (en) Electronic circuit manufacturing method and electronic circuit manufacturing system
JP3242492B2 (en) Component recognition device for mounting machine
KR20210113955A (en) Die bonding apparatus and manufacturing method of semiconductor apparatus
JPH0376195A (en) Positioning mechanism of solder printer
JP3977668B2 (en) Component mounting equipment
JP2013120853A (en) Operation machine for pair circuit board
JP3914061B2 (en) Component mounting equipment
US20120218402A1 (en) Component placement process and apparatus
JP3115960B2 (en) Reference point adjustment device for component recognition device
JP3914055B2 (en) Component mounting equipment
JP2004111424A (en) Apparatus and method for mounting component
JP3597611B2 (en) Illumination device for mark recognition in mounting machine
JPH09321494A (en) Illumination device for surface mounting machine
JP5946998B2 (en) Image processing apparatus and electronic component mounting machine
JP3499316B2 (en) Calibration data detection method for mounting machine and mounting machine
JPH07162200A (en) Method and apparatus for mounting electronic part
JP2002288632A (en) Standard mark recognition method for work
JP2000124264A (en) Apparatus for mounting electronic components with bump

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050125

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060929

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20061012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070201

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3914061

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100209

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120209

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130209

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130209

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140209

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees