JP4234402B2 - Electronic circuit component image acquisition device - Google Patents
Electronic circuit component image acquisition device Download PDFInfo
- Publication number
- JP4234402B2 JP4234402B2 JP2002338144A JP2002338144A JP4234402B2 JP 4234402 B2 JP4234402 B2 JP 4234402B2 JP 2002338144 A JP2002338144 A JP 2002338144A JP 2002338144 A JP2002338144 A JP 2002338144A JP 4234402 B2 JP4234402 B2 JP 4234402B2
- Authority
- JP
- Japan
- Prior art keywords
- electronic circuit
- image
- circuit component
- light
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003384 imaging method Methods 0.000 claims description 98
- 230000003287 optical effect Effects 0.000 claims description 73
- 230000000694 effects Effects 0.000 claims description 30
- 239000000463 material Substances 0.000 claims description 4
- 238000005286 illumination Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 238000001179 sorption measurement Methods 0.000 description 7
- 239000000758 substrate Substances 0.000 description 7
- 238000000034 method Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 3
- 230000003028 elevating effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Supply And Installment Of Electrical Components (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は電子回路部品像取得装置および方法に関するものであり、特に、電子回路部品を吸着ノズルにより吸着して保持し、回路基板に装着して電子回路を組み立てる電子回路部品装着システム等において、電子回路部品の吸着ノズルによる保持状態の情報を取得するための電子回路部品像取得装置および方法に関するものである。
【0002】
【従来の技術】
電子回路部品の吸着ノズルによる保持状態の情報を取得するために、電子回路部品の正面像や側面像を取得することが行われている。吸着ノズルに吸着された電子回路部品を吸着ノズルの軸線に平行な方向から見た状態の像が正面像であり、吸着ノズルの軸線と直交する方向から見た状態の像が側面像である。正面像や側面像は、電子回路部品の表面で反射された光により形成される反射像として取得される場合と、電子回路部品の背後から照射され、電子回路部品の周囲を通過した光により形成されるシルエット像として取得される場合とがある。従来は、正面像と側面像とは異なる時期に異なる像取得装置により取得されていたが、下記特許文献1によって、正面像と側面像とを同時に取得することが提案された。
【0003】
【特許文献1】
特開2000−299599号公報
【0004】
上記のように、正面像と側面像とを同時に取得すれば、異なる時期に取得する場合に比較して、電子回路部品の吸着ノズルによる保持状態の情報を取得するのに必要な時間を短縮することができる。例えば、像取得が、電子回路部品装着システムにおいて、電子回路部品が吸着ノズルにより吸着して保持され、回路基板に装着される途中で行われる場合に、像取得に要する時間が短縮できれば、電子回路組立作業の能率を向上させることができる。
【0005】
【発明が解決しようとする課題,課題解決手段および効果】
しかしながら、上記公報に記載の電子回路部品像取得装置においては、正面像と側面像とが別個の撮像装置により取得されるようになっている。互いに異なる色の光を放射する第一,第二の光源により電子回路部品が照明され、感度の高い波長領域を互いに異にする第一,第二の撮像装置により正面像と側面像とが同時に取得されるようになっているのである。そのため、電子回路部品像取得に要する時間は短縮できても、正面像取得装置と側面像取得装置の両方が必要であることは従来と変わりがない。
【0006】
本発明は、以上の事情を背景とし、電子回路部品の正面像と側面像とを共通の撮像装置により取得できるようにすることを課題としてなされたものであり、本発明によって、吸着ノズルが複数、各々の軸線が第一直線に平行でかつそれら軸線がその第一直線を中心とする第一円周と直交する状態で配設され、それら複数の吸着ノズルの各々が各一端の吸着面において電子回路部品を吸着して保持した状態の像を取得する電子回路部品像取得装置であって、 (a) 少なくとも、第二直線上に並んだ一列の受光素子を備えた撮像装置と、 (b) 第二直線を含む平面である第一撮像平面に、複数の吸着ノズルに吸着されて保持された複数の電子回路部品の、各吸着ノズルの軸線に平行な方向から見た状態の複数の正面像を第一撮像平面と直交する第三直線を中心とする第二円周上に並んだ状態で結像させ、第三直線と直交する平面である第二撮像平面に、複数の吸着ノズルに吸着されて保持された複数の電子回路部品の、各吸着ノズルの軸線と直交する方向から見た状態の複数の側面像を第二円周の内側の中央部に結像させる光学系とを含む電子回路部品像取得装置が得られる。
この電子回路部品像取得装置によれば、複数の電子回路部品の正面像と側面像とを共通の撮像装置により取得することができる。しかも、軸線が第一円周と直交する状態で配設された複数の吸着ノズルの各一端に吸着された電子回路部品の正面像が、第二円周上に並んで結像させられ、側面像がその第二円周の内側の中央部に結像させられるため、撮像装置の撮像領域全体を有効に利用することができる。通常であれば、複数の正面像が撮像装置の撮像領域の周辺部に形成され、中央部に比較的大きな非使用領域が生じるのであるが、本電子回路部品像取得装置においては、上記非使用領域に側面像が形成されることとなるからである。
【0007】
本発明によれば、さらに、下記各態様の電子回路部品像取得装置,電子回路部品像取得方法および電子回路部品装着システムが得られる。各態様は請求項と同様に、項に区分し、各項に番号を付し、必要に応じて他の項の番号を引用する形式で記載する。これは、あくまでも本発明の理解を容易にするためであり、本明細書に記載の技術的特徴およびそれらの組合わせが以下の各項に記載のものに限定されると解釈されるべきではない。また、一つの項に複数の事項が記載されている場合、それら複数の事項を常に一緒に採用しなければならないわけではない。一部の事項のみを選択して採用することも可能なのである。
【0008】
(1)少なくとも一列に並んだ受光素子を備えた撮像装置と、
吸着ノズルに吸着されて保持された電子回路部品の、吸着ノズルの軸線に平行な方向から見た状態の正面像と、吸着ノズルの軸線と直交する方向から見た状態の側面像とを共に前記撮像装置の前記受光素子上に結像させる光学系と
を含むことを特徴とする電子回路部品像取得装置。
本発明によれば、電子回路部品の正面像と側面像とを共通の撮像装置により取得することができ、装置コストの低減を図り得る。正面像と側面像とは時期を異にして取得されるようにしても、同時に取得されるようにしてもよく、後者の場合には、正面像と側面像との両方を取得するために必要な時間を短縮し得る効果も得られる。
撮像装置は、線状に並んだ受光素子を備えたものであっても、受光素子が面状に並んだものであってもよい。前者の場合には、受光素子の列と、正面像あるいは側面像を形成する光である像形成光とを受光素子の列と交差する方向に相対移動させつつ、一定相対移動距離毎に受光素子列の受光量に関する信号を読み取れば、2次元像を取得することができる。
【0009】
(2)前記撮像装置が面状に並んだ受光素子を備えたものであり、前記光学系が前記正面像と前記側面像とを同時に前記面状に並んだ受光素子上に結像させるものである (1)項に記載の電子回路部品像取得装置。
(3)前記撮像装置が線状に並んだ受光素子を備えたものであり、かつ、当該電子回路部品像取得装置が、
前記吸着ノズルと前記撮像装置とを前記受光素子の列と交差する方向に相対移動させる相対移動装置と、
その相対移動装置による一定量の相対移動毎に前記線状に並んだ受光素子の受光量に関する情報を読み出す読出装置と
を含み、前記移動装置による1回の相対移動中に前記正面像と前記側面像とを並行して取得する (1)項に記載の電子回路部品像取得装置。
本項の電子回路部品像取得装置によれば、相対移動装置による吸着ノズルと撮像装置との1回の相対移動中に、電子回路部品の正面像と側面像とが並行して取得され、安価な装置により能率よく電子回路部品の保持状態に関する情報を取得することができる。
【0010】
(4)前記光学系が、前記正面像を形成する光と前記側面像を形成する光との一方を反射させてその一方の向きを90度変え、正面像を形成する光と側面像を形成する光とを互いにほぼ平行とする反射器を含む (1)項ないし (3)項のいずれかに記載の電子回路部品像取得装置。
正面像を形成する光と側面像を形成する光とをほぼ平行にすれば、両者を共通の撮像装置に入射させて正面像と側面像との両方を取得することが可能となる。なお、正面像を形成する光と側面像を形成する光とのいずれか一方を反射させてそれら両光をほぼ平行な状態で撮像装置に入射させればよいのであり、平行とされた後に、あるいは平行とされる前に両光が共にあるいは単独で反射させられて向きが変えられても差し支えない。
(5)前記光学系が、前記正面像を形成する光と前記側面像を形成する光とを前記受光素子上に集光させる少なくとも1つのレンズを備えたレンズ系を含む (1)項ないし (4)項のいずれかに記載の電子回路部品像取得装置。
レンズ系は、電子回路部品の表面(側面または底面)上と撮像装置の受光素子上とにそれぞれ焦点が位置するように配設される。電子回路部品の表面上の1点から放射された光がレンズ系により受光素子上に集光させられるようにされるのである。
(6)前記光学系が、前記正面像を形成する光と前記側面像を形成する光との光路の長さの差の影響を軽減する光路差影響軽減手段とを含む (5)項に記載の電子回路部品像取得装置。
上記のように、レンズ系は電子回路部品の表面上と撮像装置の受光素子上とにそれぞれ焦点が位置するように配設されるのであるが、正面像を形成する光の光路と側面像を形成する光の光路との長さが異なる場合には、共通のレンズ系の焦点を共に電子回路部品の表面上(側面上および底面上)あるいは受光素子上に位置させることはできない。したがって、共通のレンズ系の他に、正面像を取得する場合と側面像を取得する場合との光路の長さの差の影響を軽減する手段である光路差影響軽減手段が設けられることが望ましい。なお、側面像は電子回路部品が正しい姿勢で吸着ノズルに吸着されているか否かを調べるために取得されることが多く、その場合には、多少明瞭さを欠く側面像によっても目的を達し得ることが多い。したがって、光路差影響軽減手段は常に必要なわけではないが、本項に記載の光路差影響軽減手段を設ければ、正面像も側面像も共に明瞭なものとして取得することが可能となる。光路差影響軽減手段は、正面像取得時と側面像取得時とにおけるレンズ系の焦点位置をそれぞれ電子回路部品の表面(側面および底面)の位置あるいは受光素子の位置と同一にするものであることが望ましいが、同一にすることは不可欠ではなく、実用上十分に明瞭な正面像と側面像とが得られる範囲まで近接させるものであればよい。
【0011】
(7)前記光路差影響軽減手段が少なくとも1つのレンズを含む (6)項に記載の電子回路部品像取得装置。
レンズを利用すれば、焦点位置を容易に変更可能である。
(8)前記少なくとも1つのレンズが1つのレンズであり、その1つのレンズの、前記正面像を形成する光の通過する部分と前記側面像を形成する光が通過する部分との焦点距離が互いに異なり、その構成が前記光路差影響軽減手段を構成している (7)項に記載の電子回路部品像取得装置。
例えば、正面像を形成する光と側面像を形成する光とに共通の光学系に含まれるレンズの一つを、部分的に焦点距離が異なるものとすることによって正面像取得時と側面像取得時とにおける光路の長さの差の影響を軽減することができる。
(9)前記少なくとも1つのレンズが、前記正面像を形成する光の光路と前記側面像を形成する光の光路との少なくとも一方に配設されたレンズを含む (7)項に記載の電子回路部品像取得装置。
正面像を形成する光と側面像を形成する光とに共通のレンズ系に、いずれかの光に専用のレンズを付加することによって、共通のレンズ系の、正面像取得時と側面像取得時とにおける焦点位置の電子回路部品の表面(側面および底面)の位置あるいは受光素子の位置との差を減少させることができる。
(10)前記光路差影響軽減手段が、空気とは光の屈折率を異にする材料から成り、前記正面像を形成する光の光路と前記側面像を形成する光の光路との少なくとも一方に配設された透明体を含む (6)項ないし (9)項のいずれかに記載の電子回路部品像取得装置。
像形成光を空気中から、屈折率が空気より大きい材料から成る透明体に入射させれば、像形成光が屈折し、実質上焦点距離が長くなることが知られており、この事実を利用して光路の長さの差の影響を軽減することができる。例えば、側面像を形成する光の光路が正面像を形成する光の光路より長いために、共通のレンズ系の焦点位置が電子回路部品の側面より手前側になってしまう場合に、側面像を形成する光の光路上に適宜厚さの透明体を配設すれば、焦点位置を電子回路部品の側面に近づけることができる。
(11)前記光路差影響軽減手段が、凸曲面または凹曲面である反射面を備え、前記正面像を形成する光の光路と前記側面像を形成する光の光路との少なくとも一方に配設された曲面反射器を含む (6)項ないし(10)項のいずれかに記載の電子回路部品像取得装置。
例えば、像形成光を反射させてレンズ系に導く反射器の反射面を平面から凹面に変更すれば、レンズ系の電子回路部品側の焦点距離が短くなり、凸面に変更すれば長くなる。したがって、例えば、側面像を形成する光の向きが1回、90度変えられて、正面像を形成する光とほぼ平行とされた上で、共通のレンズ系に入光させられる場合には、側面像を形成する光の光路の方が長くなるため、その側面像を形成する光の向きを90度変える反射器の反射面を凸面にすれば、側面像を形成する光の対物側の焦点位置を電子回路部品の側面の位置に近づけることができる。
【0012】
(12)前記撮像装置および前記光学系を、前記反射器により互いに平行とされた前記正面像を形成する光と前記側面像を形成する光との光路に平行な方向に移動させることにより、正面像取得時と側面像取得時との両方において焦点位置を共に電子回路部品の表面の位置に近づける撮像装置等移動装置と、
その撮像装置等移動装置により前記光学系の焦点が電子回路部品の底面上に位置させられている状態で前記撮像装置に正面像を撮像させ、電子回路部品の側面上に位置させられている状態で撮像装置に側面像を撮像させる撮像装置制御装置と
を含む (4)項に記載の電子回路部品像取得装置。
正面像を形成する光の光路と側面像を形成する光の光路との長さが互いに異なる場合に、撮像装置等移動装置により撮像装置および光学系を移動させれば、光学系の対物側の焦点を電子回路部品の底面上にも側面上にも位置させることができる。そして、焦点が底面上にある状態で撮像装置制御装置が撮像装置に正面像を撮像させ、焦点が側面上にある状態で側面像を撮像させるようにすれば、両方の光の光路の長さ互いに異なっても、共に明瞭な正面像と側面像とを取得することができる。
【0013】
(13)照明装置を含み、その照明装置が、前記側面像がシルエット像として取得されるように構成された (1)項ないし(12)項のいずれかに記載の電子回路部品像取得装置。
側面像も正面像も、照明装置の変更によりシルエット像として取得することも反射像として取得することもできる。
(14)照明装置を含み、その照明装置が、前記側面像が反射像として取得されるように構成された (1)項ないし(13)項のいずれかに記載の電子回路部品像取得装置。
本項が(13)項に従属する態様は、例えば、側面像をシルエット像として取得するか反射像として取得するかを選択可能としたい場合に有効である。
(15)照明装置を含み、その照明装置が、前記正面像がシルエット像として取得されるように構成された (1)項ないし(14)項のいずれかに記載の電子回路部品像取得装置。
(16)照明装置を含み、その照明装置が、前記正面像が反射像として取得されるように構成された (1)項ないし(15)項のいずれかに記載の電子回路部品像取得装置。
本項が(15)項に従属する態様は、例えば、正面像をシルエット像として取得するか反射像として取得するかを選択可能としたい場合に有効である。
【0014】
(17)前記吸着ノズルが複数、各々の軸線が一直線に平行でかつそれら軸線がその一直線を中心とする一円周と直交する状態で配設されるとともに、前記一円周より前記一直線側に配設され、前記複数の吸着ノズルの各々に吸着された電子回路部品の側面像を形成する光を前記一円周の半径方向にほぼ平行な方向から前記一直線にほぼ平行な方向に曲げる複数の平行化反射器を含む (1)項ないし
(16)項のいずれかに記載の電子回路部品像取得装置。
本態様の電子回路部品像取得装置においては、複数の電子回路部品の正面像と側面像とを共通の撮像装置により取得することができる。特に、吸着ノズルが一円周上に3個以上配設され、それらの各々によって1個ずつの電子回路部品を保持する形態の装着ヘッドを備えた電子回路部品装着システムにおいて、それら3個以上の電子回路部品すべての正面像が一度に撮像される場合に、撮像装置の撮像領域全体を有効に利用することができる。この場合には、複数の正面像は撮像装置の撮像領域の周辺部に形成され、中央部に比較的大きな非使用領域が生じるのであるが、本項におけるように、平行化反射器を上記一円周より中心に近い位置に配設すれば、上記非使用領域に側面像が形成されることとなるからである。
(18)前記撮像装置が、前記平行化反射器からの反射光に基づく前記側面像のすべてと、前記複数の吸着ノズルに保持された電子回路部品の前記正面像のすべてとを一度で撮像可能な視野を有するものである(17)項に記載の電子回路部品像取得装置。
上記「一度で撮像可能な視野」は、撮像装置が、受光素子が面状に配列されたものである場合には、像形成光と受光素子面との相対移動を伴うことなく一挙に撮像し得る領域の大きさを意味し、撮像装置が、受光素子が直線状に配列されたものである場合には、像形成光と受光素子列との1回の相対移動により撮像し得る領域の大きさを意味するものとする。
(19)前記複数の吸着ノズルが、前記一円周上に等角度間隔で配設された(17)項または(18)項に記載の電子回路部品像取得装置。
【0015】
(20)吸着ノズルに吸着されて保持された電子回路部品の、前記吸着ノズルの軸線に平行な方向から見た状態の正面像と、前記軸線と直交する方向から見た状態の側面像とを共通の撮像装置により撮像することを特徴とする電子回路部品の撮像方法。
前記 (1)項に関する説明がそのまま本項にも当てはまる。また、前記 (1)項ないし(19)項の各々に記載の特徴は本項の撮像方法にも適用可能である。
(21)前記正面像の撮像と前記側面像の撮像とを同時期に行う(20)項に記載の撮像方法。
本項の撮像方法は、例えば、前記 (2)項または (3)項に記載の装置によって実施し得る。
(22)前記正面像の撮像と前記側面像の撮像とを相前後させて行う(20)項に記載の撮像方法。
本項の撮像方法は、例えば、前記(12)項に記載の装置によって実施し得る。
【0016】
(23)電子回路部品を供給する部品供給装置と、
回路基板を保持する基板保持装置と、
装着ヘッドを備え、その装着着ヘッドにより前記部品供給装置から電子回路部品を受け取って前記基板保持装置に保持された回路基板に装着する装着装置と、
前記 (1)項ないし(19)項のいずれかに記載の電子回路部品像取得装置と、
その電子回路部品像取得装置により取得された電子回路部品の正面像と側面像とのデータに基づいて前記装着装置を制御する制御装置と
を含むことを特徴とする電子回路部品装着システム。
【0017】
【発明の実施の形態】
以下に、本発明の実施形態を、図を参照しつつ説明する。なお、本発明は、決して下記実施形態に限定されるものではなく、上記〔発明が解決しようとする課題,課題解決手段および効果〕の項に記載された態様を始めとして、当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。
【0018】
図1に本発明の一実施形態である電子回路部品像取得装置を備えた装着ユニット1の斜視図を示す。本装着ユニット1は、複数直列に並べて使用されるものであり、全体として電子回路部品装着システムを構成する。本装着ユニット1は、ベースモジュール10と、ベースモジュール10上に互いに隣接してかつ整列して配置された複数(図示の例では2つ)の装着モジュール12と、それらベースモジュール10および装着モジュール12とは別体をなす制御装置としての制御モジュール13とを含んで構成されている。装着モジュール12は、後に説明する装着ヘッド,部品供給装置,ノズルストッカ等交換可能な部分を除いて互いに同じ構成のものであり、それらの並ぶ方向が回路基板の搬送方向とされている。なお、以下の説明において、装着モジュール12が並ぶ方向を左右方向とし、それと直交する水平方向を前後方向と呼ぶ。つまり、図1における左前方が装着ユニット1および電子回路部品装着システムの前方である。装着ユニット1の左方が上流側、右方が下流側とされており、回路基板は、左方に位置する装着モジュール12から右方に位置する装着モジュール12に向かって搬送され、順次、各モジュールにおける部品装着作業が実行される。
【0019】
なお、装着ユニット1に配置された各装着モジュール12は、1つ1つが電子回路部品装着機としての機能を有するものとされており、本発明との関係において、装着モジュール12の1つ1つを電子回路部品装着機として観念することも、装着ユニット1の集合体を1台の電子回路部品装着機と観念することもできる。図1において、右側の装着モジュール12は、外装板等を取り除いて示してある。この図が示すように、各々の装着モジュール12は、モジュールの躯体として機能するフレーム14と、フレーム14に配設されたれた種々の装置とを含んで構成されている。例えば、それぞれが回路部品を所定の部品供給個所において1個ずつ供給する複数のテープフィーダ(以下、「フィーダ」と略すことがある)16を備えた部品供給装置18、回路基板を搬送する機能と回路基板を所定の作業位置に固定的に保持する機能とを有する基板保持装置ないし基板コンベア20、装着ヘッド21、その装着ヘッド21を作業領域内において移動させ、その装着ヘッド21に装着作業を行わせるヘッド移動装置22等である。
【0020】
また、装着モジュール12は、部品供給装置18と基板コンベア20との間に、電子回路部品像取得装置としての像取得装置24と、後に説明する部品保持具である吸着ノズルを収納する部品保持具収納装置としてのノズルストッカ25とが配備されている。さらに、各々の装着モジュール12は、自身を制御するモジュール制御装置26を有し、そのモジュール制御装置26により、上記各装置が制御される。また、装着モジュール12の各々は、上部に入出力装置としての操作・表示パネル28を備え、この操作・表示パネル28は、モジュール制御装置26につながっており、各種指令、情報等についてのオペレータ入力の受け付け、装着モジュール12およびそれの構成要素の状態等に関する情報の表示等を行う。
【0021】
図2に上記装着ヘッド21およびヘッド移動装置22を取り出して示す。ヘッド移動装置22は、XYロボット型の移動装置であり、装着ヘッド21を前後方向に移動させるYスライド装置30と、左右方向に移動させるXスライド装置32とを含んで構成される。Yスライド装置30は、フレーム14の一部を成すビーム34に設けられ、Y軸モータ36の駆動により、ボールねじ機構を介してYスライド38をYガイド40に沿って移動させる。Xスライド装置32は、Yスライド38に設けられ、X軸モータ46の駆動により、ボールねじ機構を介してXスライド48をXガイド50に沿って移動させる。装着ヘッド21は、Xスライド48に着脱可能に取り付けられる構造となっている。装着ヘッド21は、ヘッド移動装置22により、部品供給供給装置18と基板コンベヤ20に支持された回路基板とにわたって移動させられる。なお、Xスライド48には、その下部に、マークカメラ56(CCDカメラである)が設けられている。このマークカメラ56は、基板撮像装置として機能し、回路基板の表面に付された基準マーク等を撮像する。マークカメラ56は、装着ヘッド21と共に、ヘッド移動装置22によって移動させられる。
【0022】
装着ヘッド21を図3に示す。なお、本図および前記図1,2においては、ノズル保持部62等を明瞭に示すために、後述の遮蔽板102が省略されている。装着ヘッド21は、ヘッド本体60と、それに保持された概して軸状の複数のノズル保持部62とを備えたものである。各ノズル保持部62は、各々の軸線がヘッド本体60の回転軸線に平行でかつそれら軸線がヘッド本体60の回転軸線を中心とする一円周と直交する状態で等角度間隔に配設されており、各々の下端部に部品を保持する部品保持具としての吸着ノズル64を着脱可能に保持している。装着ヘッド21が部品供給装置18の上方に位置する状態でノズル保持部62が下降させられ、下端の吸着ノズル64により、フィーダ16の部品供給個所から供給される電子回路部品が取り出される。続いて、ヘッド本体60が間欠回転させられるとともに、Xスライド48がX軸方向に移動させられ、次の吸着ノズル64により電子回路部品が取り出される。この動作の繰り返しにより、複数の吸着ノズル64のすべてに電子回路部品が保持された状態となる。
【0023】
その状態で装着ヘッド21が前記像取得装置24の上方へ移動させられ、それに保持されている電子回路部品すべての正面像と側面像とが一挙に取得される。この撮像に関しては後に詳細に説明する。撮像後、装着ヘッド21は基板コンベヤ20に固定的に保持された回路基板の上方に移動させられるが、その移動中に、取得された側面像および正面像の画像データの処理が行われ、吸着ノズル64による電子回路部品の保持姿勢の適否ならびに保持位置誤差が取得される。装着ヘッド21が回路基板の上方へ移動させられた後、ノズル保持部62の回転および昇降と、ヘッド本体60の間欠回転との繰り返しにより、電子回路部品が保持位置誤差を修正されつつ回路基板に装着される。ただし、吸着ノズル64による保持姿勢が適切ではないと判定された電子回路部品は装着されず、装着ヘッド21が部品廃棄位置へ移動させられて、図示を省略する部品回収箱へ廃棄される。
【0024】
以上の動作のために、Xスライド48に着脱可能に取り付けられるブラケット70には、ヘッド本体60を間欠回転させるヘッド本体回転装置72、ノズル保持部62をヘッド本体60に対して昇降させる保持部昇降装置74、およびノズル保持部62をそれの軸線まわりに自転させる保持部回転装置76が設けられている。間欠回転装置72,保持部昇降装置74および保持部回転装置76はそれぞれ駆動源として、ヘッド本体回転モータ80,保持部昇降モータ82および保持部回転モータ84を備えている。これらモータはいずれも、サーボモータ等回転角度の正確な制御が可能な電動モータとされている。
【0025】
装着ヘッド21に保持された複数の電子回路部品の保持状態を取得するための撮像の状況を図4および図5に示す。この図から明らかなように、前記像取得装置24は、第一レンズ系90および撮像部92から成るCCDカメラ94と、照明装置96と、反射器98と、第二レンズ系100と、遮蔽板102とを備えている。撮像部92は受光素子が面状に配置された固体イメージセンサの一種であるCCD(charge coupled device)イメージセンサを備えたものであり、第一レンズ系90は、そのCCDイメージセンサの撮像面(受光素子面)に、装着ヘッド21に保持された複数の電子回路部品110のすべての正面像と側面像とを形成する光を集光させ、結像させるものである。照明装置96は照明装置本体112の凹球面上に発光体としてのLED群114が配設されるとともに、底部中央に開口116が形成されたものであり、装着ヘッド21に保持されたすべての電子回路部品110の底面と側面とを可視光により照明するとともに、それら電子回路部品の正面像(底面の反射像)と側面像とを形成する光が開口116を経て第一レンズ系90および撮像部92に入射することを許容する。
【0026】
遮蔽板102は内側面が黒色とされており、入射した光をほぼ完全に吸収する。また、吸着ノズル64の吸着端面の後方に設けられた背景形成板118も黒色とされている。なお、遮蔽板102の内側面と背景形成板118とは必ず黒色にされなければならないわけではなく、暗色とされて、明るい電子回路部品110の像の暗い背景を形成するようにされればよい。
【0027】
各ノズル保持部62は前述のように配設され、その各々の下端部に吸着ノズル64が保持されているため、吸着ノズル64も各々の軸線がヘッド本体60の回転軸線に平行でかつそれら軸線がヘッド本体60の回転軸線を中心とする一円周と直交する状態で等角度間隔に配設されている。反射器98は、装着ヘッド21の回転軸線上に配設され、各吸着ノズル64に対応した複数の反射面120を備えて、角錐台状を成している。各反射面120は、上記一円周により規定される円の各半径(その円と、各吸着ノズル64の軸線およびヘッド本体60の回転軸線を含む各平面との各交線)と、それら各半径と各反射面120との交点を通ってヘッド本体60の回転軸線に平行である各直線とに対して、それぞれ45度傾斜している。したがって、各電子回路部品110の側面で反射された光は、各反射面120により90度向きを変えられ、各電子回路部品110の底面で反射された光とほぼ平行な状態で、第一レンズ系90および撮像部92に入光させられる。反射器98の複数の反射面120の各々を形成する部分がそれぞれ、複数の吸着ノズル64の各々に吸着された電子回路部品110の側面像を形成する光を上記一円周の半径方向にほぼ平行な方向からヘッド本体60の回転中軸線にほぼ平行な方向に曲げる複数の平行化反射器を構成しているのである。
【0028】
その結果、撮像部92のCCDイメージセンサの撮像面122(図4参照)の中央部に複数の電子回路部品110の側面像(図5に拡大図を示す)124が形成され、そのまわりの一円周上に複数の正面像(底面像)126が形成される。上記の説明から明らかなように、電子回路部品110の側面像124を形成する光の光路は、正面像126を形成する光の光路より長くなっており、共通の第一レンズ系90の対物側の焦点を正確に電子回路部品の側面と底面との両方の上に位置させることができない。第二レンズ系100は、第一レンズ系90の焦点が電子回路部品110の底面上に位置するように第一レンズ系90の位置を設定した場合に、第一レンズ系90および第二レンズ系100から成るレンズ系の焦点の位置と電子回路部品110の側面の位置との差を減少させるための焦点位置差減少手段の一種、あるいは正面像126を取得する場合と側面像124を取得する場合とにおける光路の長さの差の影響を軽減するための光路差影響軽減手段の一種として設けられている。第二レンズ系100は、前記反射器98の反射面120を覆う状態で配設されたプリズム130とレンズ132とを含んでいる。凹面レンズであるレンズ132に光路差影響軽減作用をさせ得ることは明らかであるが、プリズム132も空気より光の屈折率が高い透明材料から成っており、光路差影響軽減作用を為す。しかし、それでも焦点の位置を側面の位置に近づけ得るのみで、一致させることはできないため、本実施形態においては、さらに、CCDカメラ94の絞りが強くされることによって被写界深度が深くされており、正面像126を形成する光と側面像124を形成する光との光路の長さの違いにもかかわらず、正面像126も側面像124も実用上十分な明瞭さ(シャープさ)で取得されるようにされている。
【0029】
上記側面像124および正面像126を表す画像データは、前記モジュール制御装置26に含まれる画像処理コンピュータにより処理され、側面像124からは、吸着ノズル64による電子回路部品110の保持姿勢が適切か否かの情報が取得され、正面像126からは吸着ノズル64による電子回路部品110の保持位置誤差が取得される。保持位置誤差は、本実施形態においては、電子回路部品の基準点(例えば、中心点)の吸着ノズル64の軸線に直角な方向の位置誤差(例えば、吸着ノズル64の軸線に直角でX軸およびY軸の各々に平行な方向の保持位置誤差)と、電子回路部品64の基準点まわりの回転位置誤差とを含むものとされている。そして、モジュール制御装置26は、装着ヘッド21に、吸着ノズル64による電子回路部品110の保持姿勢が不適切である電子回路部品110は回路基板に装着させず、保持姿勢が適切である電子回路部品110のみを、それらの保持位置誤差と、前記マークカメラによる回路基板の基準マークの撮像によって取得された回路基板の位置誤差とを共に修正しつつ装着させる。
【0030】
上記撮像は、装着ヘッド21が部品供給装置18から電子回路部品110を受け取って回路基板の上方位置へ移動する途中に、像取得装置24の上方に停止させられた状態で行われるのであるが、複数の電子回路部品110の側面像124と正面像126とが一挙に撮像されるため、停止時間がごく短くて済む。また、照明装置96の光源たるLED群114も複数の電子回路部品110に対して1回発光させられるのみであるため、劣化が少なくて済んで寿命が長くなり、かつ、エネルギ消費が少なくて済む。
【0031】
上記実施形態においては、側面像124も正面像126も電子回路部品110の表面で反射された可視光に基づいて明るい像として取得されるようになっているが、シルエット像として取得することも可能である。例えば、吸着ノズル64の背景形成板118と遮蔽板100の内側面とを白色にするのである。あるいは、照明装置96を紫外線を放射するものとするとともに、吸着ノズル64の背景形成板118の下面と遮蔽板100の内側面とに蛍光物質を塗布すればさらに良好なシルエット像が得られる。蛍光物質層は紫外線を吸収し、代わりに可視光を放射する。この可視光は電子回路部品110の周囲を通過して第一レンズ系90および撮像部92に入射する。これら第一レンズ系90および撮像部92には、電子回路部品110の表面において反射された紫外線も入射するが、撮像部92のCCDイメージセンサを可視光に対する感度は高いが、紫外線に対する感度は低いものとしておけば、電子回路部品110に対応する領域は暗くなり、その周囲に対応する領域が明るくなって、電子回路部品110の側面像と正面像とがシルエット像として取得される。
【0032】
前記第二レンズ系100に代えて、図6に示すように、反射器98の反射面120に密着させたレンズ134を設けることも可能であり、また、側面像124を形成する光の光路と正面像126を形成する光の光路との長さの差が比較的小さい場合には、第二レンズ系100あるいはレンズ134を省略することも可能である。また、第二レンズ系100あるいはレンズ134を設ける代わりに、第一レンズ系90を構成しているレンズの少なくとも1枚を、中央部と外周部とでは焦点距離が互いに異なるものとすることによって、光路差影響軽減手段とすることも可能である。また、第一レンズ系90を、図7に示すように、側面像124を形成する光を集光させるレンズ140と、正面像126を形成する光を集光させるレンズ142とを含むものとし、両レンズ140,142を焦点距離を互いに異にするものとすることによって、光路差影響軽減手段とすることも可能である。さらに、図8に示すように、反射器98と第一レンズ系90との間に光路差影響軽減手段としてのレンズ144を配設し、あるいは、図9に示すように、反射器98と電子回路部品110との間に光路差影響軽減手段としてのレンズ146を配設することも可能である。また、凸面鏡あるいは凹面鏡を光路差影響軽減手段として利用することも可能である。例えば、前記反射器98の代わりに、図10に示すように凸球面を反射面147とする反射器148を設けるのである。
【0033】
光学的な光路差影響軽減手段を設ける代わりに、機械的な光路差影響軽減手段を設けることも可能である。図11に示す撮像装置等移動装置160がその一例である。この撮像装置等移動装置160は、前記第一レンズ系90,撮像部92および照明装置96をブラケット162に取り付けるとともに、ブラケット162をスライダ164およびガイド166により直線的に移動するように案内させ、エアシリンダ168等の駆動装置により移動させるようにしたものである。電子回路部品110の側面を撮像する場合には、ブラケット162を上昇端位置へ移動させ、底面を撮像する場合には下降端位置へ移動させれば、第一レンズ系90の対物側の焦点を電子回路部品110の側面と底面とにそれぞれ一致させ、共に明瞭な側面像124と正面像126とを得ることができる。
【0034】
撮像装置は受光素子が面状に配列されたものに限定されるわけではなく、線状に配列されたものを採用することも可能である。図12にその一例を示す。符号170は受光素子が直線状に配列されたラインセンサであり、このラインセンサ170を備えた撮像装置172に対して、前記ヘッド本体60および複数のノズル保持部62を備えた装着ヘッド21を、前記ヘッド移動装置22により、矢印Aで示すように、ラインセンサ170の長手方向と直角に立体交差する直線に沿って移動させ、一定距離移動する毎にラインセンサ170の信号を読み出せば、電子回路部品110の側面像124と正面像126とを1回の相対移動で取得することができる。照明装置,光学系等は撮像装置172に適したものとされることが望ましいことは勿論である。
【0035】
また、照明装置も前記照明装置96に限定されるわけではなく、例えば、図13に示すように、ハーフミラー180,182と、光源184とを含む照明装置186とすることも可能である。ハーフミラー180は、光源184からの照明光を反射器98に向かって反射するともに、反射器98で反射された電子回路部品110の側面像124を形成する光を第一レンズ系90および撮像部92に向かって透過させる機能を果たす。ハーフミラー182は、光源184からの照明光を電子回路部品110の底面に向かって反射するともに、底面で反射された正面像126を形成する光を第一レンズ系90および撮像部92に向かって透過させる機能を果たす。複数種類の照明装置を設けることも可能である。例えば、図4に示した照明装置96の下方に図13に示した照明装置186を設け、ボールグリッドアレイを有する電子回路部品は前者で、抵抗器,コンデンサ等のチップは後者で照明するようにするのである。また、正面像と側面像との一方は反射像で、他方はシルエット像で取得されるようにすることもできる。
【0036】
撮像装置の配設位置や向きも以上の実施形態のものに限定されるわけではない。正面像を形成する光や側面像を形成する光の向きを反射器を使用して任意に変更することができ、種々の位置に種々の向きで配設された撮像装置に導くことができるのである。
【0037】
さらに付言すれば、本発明は、複数の電子回路部品の側面像と正面像とを取得する場合のみならず、1個の電子回路部品の側面像と正面像とを取得する場合にも適用可能である。また、装着ヘッドが、ヘッド移動装置によりXY座標面の任意の位置へ移動させられるXYロボット式の装着装置のみならず、装着ヘッドが固定の位置で間欠回転する間欠回転体に保持されて、旋回軸線まわりに旋回させられる一方、部品供給装置が装着ヘッドの旋回軌跡に対する接線の方向に移動させられるとともに、回路基板がXYテーブル上の基板保持装置に保持されて、XY座標面内の任意の位置へ移動させられるインデックス式の装着装置にも適用可能である。
【図面の簡単な説明】
【図1】本発明の一実施形態である電子回路部品像取得装置を含む装着ユニットの一部を除いて示す斜視図である。
【図2】上記装着ユニットの装着ヘッドおよびそれを移動させる装置を取り出して示す斜視図である。
【図3】上記装着ヘッドとその周辺とを示す斜視図である。
【図4】前記電子回路部品像取得装置を概念的に示す図である。
【図5】図4における側面像の拡大図である。
【図6】本発明の別の実施形態である電子回路部品像取得装置の反射器を示す図である。
【図7】本発明のさらに別の実施形態である電子回路部品像取得装置を概念的に示す図である。
【図8】本発明のさらに別の実施形態である電子回路部品像取得装置を概念的に示す図である。
【図9】本発明のさらに別の実施形態である電子回路部品像取得装置を概念的に示す図である。
【図10】本発明のさらに別の実施形態である電子回路部品像取得装置の反射器を概念的に示す図である。
【図11】本発明のさらに別の実施形態である電子回路部品像取得装置の一部を示す側面図である。
【図12】本発明のさらに別の実施形態である電子回路部品像取得装置の一部を概念的に示す図である。
【図13】本発明のさらに別の実施形態である電子回路部品像取得装置を概念的に示す図である。
【符号の説明】
1:装着ユニット 21:装着ヘッド 22:ヘッド移動装置 24:像取得装置 30:Yスライド装置 32:Xスライド装置 60:ヘッド本体 62:ノズル保持部 64:吸着ノズル 70:ブラケット 72:ヘッド本体回転装置 74:保持部昇降装置 76:保持部回転装置 80:ヘッド本体回転モータ 82:保持部昇降モータ 84:保持部回転モータ 90:第一レンズ系 92:撮像部 94:CCDカメラ 96:照明装置 98:反射器 100:第二レンズ系 102:遮蔽板110:電子回路部品 112:照明装置本体 114:LED群 116:開口 118:背景形成板 120:反射面 122:撮像面 124:側面像 126:正面像 130:プリズム 132,134,140,142,144,146:レンズ 147:反射面 148:反射器 160:撮像装置等移動装置 170:ラインセンサ 172:撮像装置 180,182:ハーフミラー 184:光源[0001]
BACKGROUND OF THE INVENTION
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an electronic circuit component image acquisition apparatus and method, and more particularly to an electronic circuit component mounting system that holds an electronic circuit component by suction with a suction nozzle and mounts the electronic circuit component on a circuit board. The present invention relates to an electronic circuit component image acquisition apparatus and method for acquiring information on a holding state of a circuit component by a suction nozzle.
[0002]
[Prior art]
In order to acquire information on the holding state of the electronic circuit component by the suction nozzle, a front image and a side image of the electronic circuit component are acquired. An image of the electronic circuit component adsorbed by the adsorption nozzle as viewed from a direction parallel to the axis of the adsorption nozzle is a front image, and an image of the state viewed from a direction orthogonal to the axis of the adsorption nozzle is a side image. A front image and a side image are obtained as a reflected image formed by light reflected from the surface of an electronic circuit component, and formed by light irradiated from behind the electronic circuit component and passed around the electronic circuit component. It may be acquired as a silhouette image. Conventionally, the front image and the side image were acquired by different image acquisition devices at different times. However, Patent Document 1 below proposed that the front image and the side image are acquired simultaneously.
[0003]
[Patent Document 1]
JP 2000-299599 A
[0004]
As described above, if the front image and the side image are acquired at the same time, the time required to acquire the information on the holding state of the electronic circuit component by the suction nozzle is shortened as compared with the case of acquiring at different times. be able to. For example, in the electronic circuit component mounting system, when the electronic circuit component is held while being sucked and held by the suction nozzle and is mounted on the circuit board, if the time required for image acquisition can be shortened, the electronic circuit The efficiency of assembly work can be improved.
[0005]
[Problems to be solved by the invention, means for solving problems and effects]
However, in the electronic circuit component image acquisition device described in the above publication, the front image and the side image are acquired by separate imaging devices. The electronic circuit components are illuminated by the first and second light sources that emit light of different colors, and the front image and the side image are simultaneously displayed by the first and second imaging devices having different sensitive wavelength regions. It is to be acquired. Therefore, even if the time required for acquiring the electronic circuit component image can be shortened, both the front image acquisition device and the side image acquisition device are required as before.
[0006]
The present invention has been made with the background of the above situation as an object to enable acquisition of a front image and a side image of an electronic circuit component by a common imaging device.There are a plurality of suction nozzles, each axis is parallel to the first straight line and the axes are arranged in a state perpendicular to the first circumference centered on the first straight line, and each of the plurality of suction nozzles is suctioned at each end. An electronic circuit component image acquisition device that acquires an image of a state in which an electronic circuit component is attracted and held on a surface, (a) At least an imaging device including a row of light receiving elements arranged on a second straight line; (b) A plurality of front images of a plurality of electronic circuit components sucked and held by a plurality of suction nozzles on a first imaging plane that includes a second straight line as viewed from a direction parallel to the axis of each suction nozzle Are aligned on a second circumference centered on a third straight line perpendicular to the first imaging plane, and adsorbed to a plurality of suction nozzles on the second imaging plane, which is a plane orthogonal to the third straight line. And an optical system that forms a plurality of side images of the plurality of electronic circuit components held in a state viewed from a direction orthogonal to the axis of each suction nozzle at the center inside the second circumference. A circuit component image acquisition device is obtained.
According to this electronic circuit component image acquisition device, a front image and a side image of a plurality of electronic circuit components can be acquired by a common imaging device. In addition, the front image of the electronic circuit component adsorbed at each end of the plurality of adsorption nozzles arranged in a state where the axis is orthogonal to the first circumference is formed side by side on the second circumference, Since the image is formed at the central portion inside the second circumference, the entire imaging region of the imaging device can be used effectively. Normally, a plurality of front images are formed at the periphery of the imaging area of the imaging device, and a relatively large non-use area is generated at the center. This is because a side image is formed in the region.
[0007]
According to the present invention, an electronic circuit component image acquisition device, an electronic circuit component image acquisition method, and an electronic circuit component mounting system according to the following aspects are further obtained. As with the claims, each aspect is divided into sections, each section is numbered, and is described in a form that cites the numbers of other sections as necessary. This is for the purpose of facilitating understanding of the present invention, and should not be construed as limiting the technical features described in the present specification and the combinations thereof to those described in the following sections. . In addition, when a plurality of items are described in one section, it is not always necessary to employ the plurality of items together. It is also possible to select and employ only some items.
[0008]
(1) an imaging device including at least light receiving elements arranged in a line;
Both the front image of the electronic circuit component sucked and held by the suction nozzle as seen from the direction parallel to the axis of the suction nozzle and the side image seen from the direction perpendicular to the axis of the suction nozzle are both described above. An optical system that forms an image on the light receiving element of the imaging device;
An electronic circuit component image acquisition apparatus comprising:
According to the present invention, a front image and a side image of an electronic circuit component can be acquired by a common imaging device, and the device cost can be reduced. The front image and the side image may be acquired at different times or may be acquired at the same time. In the latter case, it is necessary to acquire both the front image and the side image. The effect which can shorten a time is also acquired.
The imaging device may be provided with light receiving elements arranged in a line or may be one in which light receiving elements are arranged in a plane. In the former case, the light-receiving elements are arranged at fixed relative movement distances while relatively moving the rows of light-receiving elements and the image forming light, which is light that forms a front image or a side image, in a direction intersecting the rows of light-receiving elements. A two-dimensional image can be acquired by reading a signal related to the amount of light received in the column.
[0009]
(2) The imaging apparatus includes a light receiving element arranged in a planar shape, and the optical system forms the front image and the side image simultaneously on the light receiving elements arranged in the planar shape. The electronic circuit component image acquisition device according to (1).
(3) The imaging device includes light receiving elements arranged in a line, and the electronic circuit component image acquisition device includes:
A relative movement device that relatively moves the suction nozzle and the imaging device in a direction intersecting the row of the light receiving elements;
A reading device for reading out information on the amount of light received by the light receiving elements arranged in a line every time a certain amount of relative movement by the relative movement device;
The electronic circuit component image acquiring device according to (1), wherein the front image and the side image are acquired in parallel during one relative movement by the moving device.
According to the electronic circuit component image acquisition device of this section, the front image and the side image of the electronic circuit component are acquired in parallel during one relative movement of the suction nozzle and the imaging device by the relative movement device, and the cost is low. The information regarding the holding state of the electronic circuit component can be efficiently acquired by a simple apparatus.
[0010]
(4) The optical system reflects one of the light that forms the front image and the light that forms the side image and changes the direction of one of them by 90 degrees to form the light and the side image that form the front image. The electronic circuit component image acquisition device according to any one of items (1) to (3), including a reflector that makes light to be substantially parallel to each other.
If the light for forming the front image and the light for forming the side image are substantially parallel, it is possible to obtain both the front image and the side image by entering both into the common imaging device. In addition, it is only necessary to reflect either one of the light forming the front image and the light forming the side image and to make both the lights enter the imaging device in a substantially parallel state. Alternatively, it is possible that both lights are reflected together or independently before being collimated and changed in direction.
(5) The optical system includes a lens system including at least one lens that focuses the light forming the front image and the light forming the side image on the light receiving element. The electronic circuit component image acquisition device according to any one of items 4).
The lens system is disposed so that the focal point is located on the surface (side surface or bottom surface) of the electronic circuit component and on the light receiving element of the imaging device. Light emitted from one point on the surface of the electronic circuit component is condensed on the light receiving element by the lens system.
(6) The optical system includes an optical path difference effect reducing unit that reduces an influence of a difference in length of an optical path between the light forming the front image and the light forming the side image. Electronic circuit component image acquisition device.
As described above, the lens system is disposed on the surface of the electronic circuit component and on the light receiving element of the image pickup device so that the focal points are respectively positioned. When the length of the optical path of the light to be formed is different, the focal point of the common lens system cannot be positioned on the surface (on the side surface and the bottom surface) of the electronic circuit component or on the light receiving element. Therefore, in addition to the common lens system, it is desirable to provide an optical path difference effect reducing means that is a means for reducing the influence of the difference in optical path length between the case of acquiring a front image and the case of acquiring a side image. . In many cases, the side image is acquired in order to check whether or not the electronic circuit component is attracted to the suction nozzle in a correct posture, and in that case, the purpose can be achieved even by a side image slightly lacking clarity. There are many cases. Therefore, the optical path difference effect reducing means is not always necessary, but if the optical path difference effect reducing means described in this section is provided, both the front image and the side image can be acquired as clear. The optical path difference effect reducing means makes the focal position of the lens system when acquiring a front image and when acquiring a side image the same as the position of the surface (side surface and bottom surface) of the electronic circuit component or the position of the light receiving element. However, it is not indispensable that they are the same, as long as they are close to a range where a sufficiently clear front image and side image can be obtained practically.
[0011]
(7) The electronic circuit component image acquisition device according to item (6), wherein the optical path difference effect reducing means includes at least one lens.
If a lens is used, the focal position can be easily changed.
(8) The at least one lens is one lens, and the focal lengths of a portion through which the light that forms the front image and a portion through which the light that forms the side image pass of the one lens are mutually different. The electronic circuit component image acquisition device according to item (7), which is different from the optical path difference effect reduction means.
For example, when one of the lenses included in the optical system common to the light that forms the front image and the light that forms the side image has a partially different focal length, the front image and the side image are acquired. It is possible to reduce the influence of the difference in the optical path length with respect to time.
(9) The electronic circuit according to (7), wherein the at least one lens includes a lens disposed in at least one of an optical path of light forming the front image and an optical path of light forming the side image. Component image acquisition device.
When a front image and a side image of a common lens system are acquired by adding a dedicated lens to one of the lights to a lens system that is common to the light that forms the front image and the light that forms the side image The difference between the focal position of the surface (side surface and bottom surface) of the electronic circuit component or the position of the light receiving element can be reduced.
(10) The light path difference effect reducing means is made of a material having a refractive index of light different from that of air, and is provided on at least one of a light optical path forming the front image and a light optical path forming the side image. The electronic circuit component image acquisition device according to any one of items (6) to (9), including a disposed transparent body.
It is known that if image forming light is incident from the air on a transparent body made of a material having a refractive index larger than that of air, the image forming light is refracted and the focal length is substantially increased. Thus, the influence of the difference in the length of the optical path can be reduced. For example, when the light path forming the side image is longer than the light path forming the front image, the focus position of the common lens system is closer to the front side than the side surface of the electronic circuit component. If a transparent body with an appropriate thickness is disposed on the optical path of the light to be formed, the focal position can be brought close to the side surface of the electronic circuit component.
(11) The optical path difference effect reducing means includes a convex curved surface or a concave curved reflecting surface, and is disposed on at least one of an optical path of light forming the front image and an optical path of light forming the side image. The electronic circuit component image acquisition device according to any one of (6) to (10), including a curved reflector.
For example, if the reflecting surface of the reflector that reflects the image forming light and guides it to the lens system is changed from a flat surface to a concave surface, the focal length on the electronic circuit component side of the lens system is shortened, and if it is changed to a convex surface, it becomes longer. Therefore, for example, when the direction of the light forming the side image is changed by 90 degrees once and is made substantially parallel to the light forming the front image, the light is incident on the common lens system. Since the optical path of the light that forms the side image is longer, if the reflecting surface of the reflector that changes the direction of the light that forms the side image by 90 degrees is convex, the focal point of the light that forms the side image on the objective side The position can be brought close to the position of the side surface of the electronic circuit component.
[0012]
(12) By moving the imaging device and the optical system in a direction parallel to the optical path of the light forming the front image and the light forming the side image made parallel to each other by the reflector, A moving device such as an imaging device that brings the focal position close to the position of the surface of the electronic circuit component both during image acquisition and during side image acquisition;
A state in which the imaging device captures a front image while the focal point of the optical system is positioned on the bottom surface of the electronic circuit component by the moving device such as the imaging device, and is positioned on the side surface of the electronic circuit component An imaging device control device that causes the imaging device to capture a side image
The electronic circuit component image acquisition device according to item (4).
When the optical path of the light forming the front image and the optical path of the light forming the side image are different from each other, if the imaging device and the optical system are moved by the moving device such as the imaging device, The focal point can be located on both the bottom surface and the side surface of the electronic circuit component. If the imaging device control device causes the imaging device to capture a front image while the focal point is on the bottom surface, and the side image is captured while the focal point is on the side surface, the length of the optical path of both lights Even if they are different from each other, a clear front image and side image can both be acquired.
[0013]
(13) The electronic circuit component image acquisition device according to any one of (1) to (12), wherein the electronic device includes an illumination device, and the illumination device is configured to acquire the side image as a silhouette image.
Both the side image and the front image can be acquired as a silhouette image or a reflected image by changing the illumination device.
(14) The electronic circuit component image acquisition device according to any one of (1) to (13), wherein the electronic device includes an illumination device, and the illumination device is configured to obtain the side image as a reflected image.
The mode in which this term is subordinate to the term (13) is effective, for example, when it is desired to select whether the side image is acquired as a silhouette image or a reflected image.
(15) The electronic circuit component image acquisition device according to any one of (1) to (14), including an illumination device, wherein the illumination device is configured to acquire the front image as a silhouette image.
(16) The electronic circuit component image acquisition device according to any one of (1) to (15), wherein the electronic device includes an illumination device, and the illumination device is configured to obtain the front image as a reflected image.
The mode in which this item is subordinate to the item (15) is effective, for example, when it is desired to select whether the front image is acquired as a silhouette image or a reflected image.
[0014]
(17) The plurality of suction nozzles are arranged in a state in which each axis is parallel to a straight line and the axes are orthogonal to a circumference around the straight line, and on the straight line side from the circumference. A plurality of light beams forming a side image of the electronic circuit component adsorbed by each of the plurality of suction nozzles and bent in a direction substantially parallel to the straight line from a direction substantially parallel to the radial direction of the one circumference; Including a collimating reflector (1) or
The electronic circuit component image acquisition device according to any one of (16).
In the electronic circuit component image acquisition device of this aspect, a front image and a side image of a plurality of electronic circuit components can be acquired by a common imaging device. In particular, in an electronic circuit component mounting system having a mounting head in which three or more suction nozzles are arranged on a circumference and each of which holds one electronic circuit component, the three or more suction nozzles are arranged. When the front images of all the electronic circuit components are captured at once, the entire imaging region of the imaging device can be used effectively. In this case, a plurality of front images are formed at the periphery of the imaging area of the imaging device, and a relatively large non-use area is generated at the center. This is because a side image is formed in the non-use area if it is disposed at a position closer to the center than the circumference.
(18) The imaging device can capture all the side images based on the reflected light from the collimating reflector and all the front images of the electronic circuit components held by the plurality of suction nozzles at a time. The electronic circuit component image acquisition device according to item (17), which has a good field of view.
The above-mentioned “field of view that can be imaged at one time” means that when the imaging device has a light receiving element arranged in a plane, the image is picked up without any relative movement between the image forming light and the light receiving element surface. This means the size of the area to be obtained. When the imaging device has light receiving elements arranged in a straight line, the size of the area that can be imaged by one relative movement of the image forming light and the light receiving element array It means.
(19) The electronic circuit component image acquisition device according to (17) or (18), wherein the plurality of suction nozzles are arranged at equal angular intervals on the circumference of the circle.
[0015]
(20) A front image of an electronic circuit component adsorbed and held by the adsorption nozzle as viewed from a direction parallel to the axis of the adsorption nozzle, and a side image as viewed from a direction orthogonal to the axis. An image pickup method for an electronic circuit component, wherein an image is picked up by a common image pickup device.
The explanation relating to the above item (1) also applies to this item as it is. Further, the features described in the items (1) to (19) are applicable to the imaging method of this item.
(21) The imaging method according to (20), wherein the imaging of the front image and the imaging of the side image are performed at the same time.
The imaging method of this section can be implemented by, for example, the apparatus described in the above section (2) or (3).
(22) The imaging method according to item (20), wherein the imaging of the front image and the imaging of the side image are performed one after the other.
The imaging method of this section can be implemented by, for example, the apparatus described in the above section (12).
[0016]
(23) a component supply device for supplying electronic circuit components;
A substrate holding device for holding a circuit board;
A mounting device that includes a mounting head, receives the electronic circuit component from the component supply device by the mounting head, and mounts the electronic circuit component on the circuit board held by the substrate holding device;
The electronic circuit component image acquisition device according to any one of (1) to (19),
A control device that controls the mounting device based on data of a front image and a side image of the electronic circuit component acquired by the electronic circuit component image acquisition device;
An electronic circuit component mounting system comprising:
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. The present invention is by no means limited to the following embodiments, and is based on the knowledge of those skilled in the art including the aspects described in the above section [Problems to be Solved, Problem Solving Means and Effects]. Based on the above, various modifications and improvements can be made.
[0018]
FIG. 1 is a perspective view of a mounting unit 1 including an electronic circuit component image acquisition device according to an embodiment of the present invention. A plurality of the mounting units 1 are used in series, and constitute an electronic circuit component mounting system as a whole. The mounting unit 1 includes a
[0019]
Note that each of the mounting
[0020]
In addition, the mounting
[0021]
FIG. 2 shows the mounting
[0022]
The mounting
[0023]
In this state, the mounting
[0024]
For the above operation, the
[0025]
FIG. 4 and FIG. 5 show the state of imaging for acquiring the holding state of the plurality of electronic circuit components held by the mounting
[0026]
The shielding
[0027]
Each
[0028]
As a result, a side image (an enlarged view is shown in FIG. 5) 124 of the plurality of
[0029]
The image data representing the
[0030]
The imaging is performed in a state where the mounting
[0031]
In the above embodiment, both the
[0032]
In place of the
[0033]
Instead of providing optical optical path difference effect reducing means, mechanical optical path difference effect reducing means may be provided. One example is a moving
[0034]
The imaging device is not limited to the one in which the light receiving elements are arranged in a planar shape, and it is also possible to adopt one in which the light receiving elements are arranged in a linear shape. An example is shown in FIG.
[0035]
Further, the illumination device is not limited to the
[0036]
The arrangement position and orientation of the imaging device are not limited to those in the above embodiment. The direction of the light that forms the front image and the light that forms the side image can be arbitrarily changed using a reflector, and can be guided to imaging devices arranged in various directions at various positions. is there.
[0037]
In addition, the present invention is applicable not only when acquiring a side image and a front image of a plurality of electronic circuit components, but also when acquiring a side image and a front image of one electronic circuit component. It is. Further, the mounting head is held not only by an XY robot type mounting device that is moved to an arbitrary position on the XY coordinate plane by the head moving device, but also by a rotating intermittently rotating body that rotates intermittently at a fixed position. While being swung around the axis, the component supply device is moved in the direction of the tangent to the swiveling trajectory of the mounting head, and the circuit board is held by the substrate holding device on the XY table, so that any position in the XY coordinate plane can be obtained. The present invention can also be applied to an index type mounting apparatus that can be moved to the position.
[Brief description of the drawings]
FIG. 1 is a perspective view of a mounting unit including an electronic circuit component image acquisition device according to an embodiment of the present invention, excluding a part thereof.
FIG. 2 is a perspective view showing a mounting head of the mounting unit and a device for moving the mounting head.
FIG. 3 is a perspective view showing the mounting head and its periphery.
FIG. 4 is a diagram conceptually showing the electronic circuit component image acquisition apparatus.
FIG. 5 is an enlarged view of a side image in FIG. 4;
FIG. 6 is a diagram showing a reflector of an electronic circuit component image acquisition device according to another embodiment of the present invention.
FIG. 7 is a diagram conceptually showing an electronic circuit component image acquisition apparatus according to still another embodiment of the present invention.
FIG. 8 is a diagram conceptually showing an electronic circuit component image acquisition apparatus according to still another embodiment of the present invention.
FIG. 9 is a diagram conceptually showing an electronic circuit component image acquisition apparatus according to still another embodiment of the present invention.
FIG. 10 is a diagram conceptually showing a reflector of an electronic circuit component image acquisition device according to still another embodiment of the present invention.
FIG. 11 is a side view showing a part of an electronic circuit component image acquisition apparatus according to still another embodiment of the present invention.
FIG. 12 is a diagram conceptually illustrating a part of an electronic circuit component image acquisition apparatus according to still another embodiment of the present invention.
FIG. 13 is a diagram conceptually showing an electronic circuit component image acquisition apparatus according to still another embodiment of the present invention.
[Explanation of symbols]
1: Mounting unit 21: Mounting head 22: Head moving device 24: Image acquisition device 30: Y slide device 32: X slide device 60: Head body 62: Nozzle holding part 64: Adsorption nozzle 70: Bracket 72: Head body rotation device 74: Holding unit elevating device 76: Holding unit rotating device 80: Head body rotating motor 82: Holding unit elevating motor 84: Holding unit rotating motor 90: First lens system 92: Imaging unit 94: CCD camera 96: Illuminating device 98: Reflector 100: Second lens system 102: Shielding plate 110: Electronic circuit component 112: Illuminating device main body 114: LED group 116: Aperture 118: Background forming plate 120: Reflecting surface 122: Imaging surface 124: Side image 126: Front image 130:
Claims (11)
少なくとも、第二直線上に並んだ一列の受光素子を備えた撮像装置と、
前記第二直線を含む平面である第一撮像平面に、前記複数の吸着ノズルに吸着されて保持された複数の電子回路部品の、各吸着ノズルの軸線に平行な方向から見た状態の複数の正面像を前記第一撮像平面と直交する第三直線を中心とする第二円周上に並んだ状態で結像させ、前記第三直線と直交する平面である第二撮像平面に、前記複数の吸着ノズルに吸着されて保持された複数の電子回路部品の、各吸着ノズルの軸線と直交する方向から見た状態の複数の側面像を前記第二円周の内側の中央部に結像させる光学系と
を含むことを特徴とする電子回路部品像取得装置。 There are a plurality of suction nozzles, each axis is parallel to the first straight line and the axes are arranged in a state perpendicular to the first circumference centered on the first straight line, and each of the plurality of suction nozzles is suctioned at each end. An electronic circuit component image acquisition device that acquires an image of a state in which an electronic circuit component is attracted and held on a surface,
At least an imaging device including a row of light receiving elements arranged on a second straight line;
A plurality of electronic circuit components sucked and held by the plurality of suction nozzles on a first imaging plane that is a plane including the second straight line, as viewed from a direction parallel to the axis of each suction nozzle . A front image is formed in a state of being arranged on a second circumference centered on a third straight line orthogonal to the first imaging plane, and the plurality of the plurality of images are formed on a second imaging plane that is a plane orthogonal to the third straight line. A plurality of side images of a plurality of electronic circuit components sucked and held by the suction nozzles as viewed from a direction orthogonal to the axis of each suction nozzle are formed on the inner central portion of the second circumference. An electronic circuit component image acquisition apparatus comprising: an optical system.
その撮像装置等移動装置により前記光学系の焦点が電子回路部品の底面上に位置させられている状態で前記撮像装置に正面像を撮像させ、電子回路部品の側面上に位置させられている状態で撮像装置に側面像を撮像させる撮像装置制御装置と
を含む請求項2に記載の電子回路部品像取得装置。The pre SL imaging device and the optical system, by moving in a direction parallel to the optical path of the light forming the light and the lateral view of forming the front image, which is parallel to each other by the plurality of collimating reflector A moving device such as an imaging device in which the focal position is both the position of the surface of the electronic circuit component in both the front image acquisition and the side image acquisition;
A state in which the imaging device captures a front image while the focal point of the optical system is positioned on the bottom surface of the electronic circuit component by the moving device such as the imaging device, and is positioned on the side surface of the electronic circuit component The electronic circuit component image acquisition device according to claim 2, further comprising: an imaging device control device that causes the imaging device to capture a side image.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002338144A JP4234402B2 (en) | 2002-11-21 | 2002-11-21 | Electronic circuit component image acquisition device |
PCT/JP2003/014758 WO2004046643A1 (en) | 2002-11-21 | 2003-11-19 | Device and method for acquiring image of electronic circuit part |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002338144A JP4234402B2 (en) | 2002-11-21 | 2002-11-21 | Electronic circuit component image acquisition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004172465A JP2004172465A (en) | 2004-06-17 |
JP4234402B2 true JP4234402B2 (en) | 2009-03-04 |
Family
ID=32321878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002338144A Expired - Lifetime JP4234402B2 (en) | 2002-11-21 | 2002-11-21 | Electronic circuit component image acquisition device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4234402B2 (en) |
WO (1) | WO2004046643A1 (en) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4783335B2 (en) * | 2007-06-19 | 2011-09-28 | ヤマハ発動機株式会社 | Component recognition device, surface mounter |
JP5014083B2 (en) * | 2007-11-21 | 2012-08-29 | 富士機械製造株式会社 | Side image acquisition device for suction nozzle and parts to be sucked |
JP5202100B2 (en) * | 2008-05-20 | 2013-06-05 | 富士機械製造株式会社 | Holding device with imaging device |
KR101575286B1 (en) | 2009-04-17 | 2015-12-22 | 한화테크윈 주식회사 | Head assembly for chip mounter |
JP5253540B2 (en) * | 2011-04-14 | 2013-07-31 | 富士機械製造株式会社 | Electronic component mounting device |
JP5090583B1 (en) * | 2011-08-29 | 2012-12-05 | パナソニック株式会社 | Component mounting apparatus, head, and component orientation recognition method |
CN103098580A (en) * | 2011-08-29 | 2013-05-08 | 松下电器产业株式会社 | Component-mounting device, head, and component-orientation recognition method |
JP5963500B2 (en) * | 2012-03-29 | 2016-08-03 | ヤマハ発動機株式会社 | Electronic component mounting device |
WO2013153834A1 (en) * | 2012-04-12 | 2013-10-17 | 富士機械製造株式会社 | Component mounting machine |
JP6047723B2 (en) | 2012-07-12 | 2016-12-21 | 株式会社新川 | Method of detecting relative position between die bonder and bonding tool and semiconductor die |
EP2882272B1 (en) * | 2012-08-01 | 2020-05-06 | FUJI Corporation | Component mounting apparatus |
EP2978298B1 (en) * | 2013-03-22 | 2019-04-24 | FUJI Corporation | Component mounting device |
JP6267200B2 (en) * | 2013-07-03 | 2018-01-24 | 富士機械製造株式会社 | Imaging device and production equipment |
JP7316488B2 (en) * | 2019-05-17 | 2023-07-28 | パナソニックIpマネジメント株式会社 | Component mounter |
JP2024016319A (en) * | 2022-07-26 | 2024-02-07 | ファスフォードテクノロジ株式会社 | Mounting equipment and semiconductor device manufacturing method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6480802A (en) * | 1987-09-24 | 1989-03-27 | Echo Kk | Bottle mouth inspecting device |
JP2999925B2 (en) * | 1994-07-18 | 2000-01-17 | 三洋電機株式会社 | Object side imaging device |
JPH1068614A (en) * | 1996-08-27 | 1998-03-10 | Copal Co Ltd | Image pickup system |
JP3995030B2 (en) * | 1996-09-17 | 2007-10-24 | コグネックス・テクノロジー・アンド・インベストメント・コーポレーション | Semiconductor package inspection equipment |
JPH1144513A (en) * | 1997-05-29 | 1999-02-16 | Sony Corp | Visual examination device for semiconductor device and method therefor |
US6055055A (en) * | 1997-12-01 | 2000-04-25 | Hewlett-Packard Company | Cross optical axis inspection system for integrated circuits |
JP4576062B2 (en) * | 2001-03-21 | 2010-11-04 | 富士機械製造株式会社 | Lead position detection method, electrical component mounting method, and lead position detection device |
-
2002
- 2002-11-21 JP JP2002338144A patent/JP4234402B2/en not_active Expired - Lifetime
-
2003
- 2003-11-19 WO PCT/JP2003/014758 patent/WO2004046643A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
JP2004172465A (en) | 2004-06-17 |
WO2004046643A1 (en) | 2004-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4234402B2 (en) | Electronic circuit component image acquisition device | |
US5140643A (en) | Part mounting apparatus with single viewing camera viewing part from different directions | |
JP5561056B2 (en) | Light irradiation device, component imaging device, and component mounting device | |
KR20010033900A (en) | Electronics assembly apparatus with stereo vision linescan sensor | |
JP6138127B2 (en) | Component mounter | |
CN103365036A (en) | Illumination apparatus, imaging apparatus, component mounting apparatus, and method of manufacturing a substrate | |
JP6733895B1 (en) | Camera module manufacturing apparatus and camera module manufacturing method | |
JP4227833B2 (en) | Component mounting equipment | |
CN102245011A (en) | Electronic component installing method and device thereof | |
JP5875676B2 (en) | Imaging apparatus and image processing apparatus | |
JP2006140391A (en) | Component recognition device and component mounting device | |
JP5027058B2 (en) | Electronic component mounting device | |
WO2020121977A1 (en) | Inspection system, and method for acquring image for inspection | |
JP7664552B2 (en) | Component mounting device and component mounting method | |
JP6721716B2 (en) | Imaging device and surface mounter using the same | |
JPWO2020170328A1 (en) | Parts mounting machine | |
JP2008028275A (en) | Lighting device for image recognition of component mounters | |
KR102387134B1 (en) | Five axis optical inspection system | |
JP2005504454A (en) | Camera with improved illuminator | |
JP4221630B2 (en) | Component recognition device and component mounter | |
KR102790063B1 (en) | Camera lighting device with a common lens array for different lighting structures | |
JP2021086121A (en) | Image capture device and surface inspection device | |
JP4047012B2 (en) | IMAGING DEVICE AND ELECTRICAL COMPONENT MOUNTING SYSTEM PROVIDED WITH IT | |
JP7649984B2 (en) | Component mounting device and component mounting method | |
CN222652865U (en) | Adaptive imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081202 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081211 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4234402 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |