JP4814116B2

JP4814116B2 - 実装基板外観検査方法

Info

Publication number: JP4814116B2
Application number: JP2007017644A
Authority: JP
Inventors: 浩石井
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 2007-01-29
Filing date: 2007-01-29
Publication date: 2011-11-16
Anticipated expiration: 2027-01-29
Also published as: JP2008185395A

Description

本発明は、実装基板外観検査方法に関する。例えば、基板上の部品や半田部の画像をカメラ等の光学センサで取得し、その画像に対し演算処理を行って良否判定する方法に関する。

実装基板外観検査方法は、基板上に実装された部品やその半田部の画像をカメラ等の光学センサで取得し、その画像に対し演算処理を行って良否判定するあり、その演算処理の方法（検査方法）は、部品の種類毎にオペレータが設定している。通常、この設定データは検査ライブラリとして保存され、再利用される。

実装基板外観検査は、その基板の種類毎に作られた検査プログラムに従って行われる。この検査プログラムには、検査部品の座標とその部品の検査ライブラリの情報（つまりどこにどんな部品が実装されていてそれをどう検査するかという情報）が含まれている。
特許公開平６−２７３３４６号公報特許公開２０００−４６７４９号公報「パターン認識」大津、他著朝倉書店Ｐ１６８

検査ライブラリで設定すべき項目は、以下の三つである。
(i)検査したい画像領域を枠で指定する。
(ii)予め用意された特徴抽出プロセスから検査に応じたプロセスを選択して組合せる。
(iii)それらのプロセスが出力する特徴値（輝度や面積など）に対し良否の閾値を決める。

項目(i)の画像領域の指定は、検査したい個所が判っているので設定は容易である。
項目(ii)の設定では、良品と不良品の違いを抽出させるプロセスをオペレータが選択しないといけないが、どういう特徴を採用すべきか判断に苦慮するだけでなく、プロセスの内容が理解しづらかったり、プロセスの種類が多すぎたり、適当なプロセスが存在しないと、オペレータは悩むことになる。

例えば、上側のリードの半田は不良で下側のリードの半田は良品である部品を考える。これを見分ける方法として、一つはリード面が明るいと不良、一つはリード先端付近が暗いと不良、一つはリードの脇が明るいと不良とすることが考えられ、各領域の明るさが特徴量の候補となる。
しかし、これらの特徴を採用しようと思い至るかどうか、果たしてこの特徴で安定した検査ができるのか、これら特徴を抽出するプロセスをどう構築するか、等で試行錯誤を要する。

項目(iii)の設定において、項目(ii)が適切でないと良否の境界が微妙なことも多く、閾値の設定に苦慮する。
閾値を厳しくすると過剰判定（良品を不良と判定）が増え、目視検査作業の負担が増し、逆に閾値を甘くすると見逃しが発生する。場合によっては項目(ii)の設定を見直すことも必要となる。
要するに、項目(ii)、(iii)の設定にはかなりの試行錯誤を要し作業効率が悪く、しかも、ノウハウも要するので、初心者には難しく、オペレータの技量により認識率が大きく変化するという問題もある。

尚、従来技術としては、特許文献１，２の手法があるが、特許文献１は、画像データそのものを特徴量としており、半田や部品の形状の変形に弱いという問題があり、また、特許文献２は、良品画像から共分散行列を用いて特徴量を抽出するので、膨大なサンプル数が必要で、演算量も莫大で実用的な速度でないという問題があり、何れも実用には至っていない。
本発明は、上記従来技術に鑑みてなされたものであり、検査方法の設定を簡素化し作業効率を改善するとともに、オペレータの習熟度に依存しにくい、高速かつ高認識率の検査を実現することを目的とする。

上記課題を解決する本発明の請求項１に係る実装基板外観検査方法は、基板上に実装された部品の画像を光学センサで取得し、その画像に対し演算処理を行って良否を判定する実装基板外観検査方法において、前記部品の検査の対象となる部分を含む領域を探索領域として設定し、該探索領域内において、検査領域をシフトさせて、予め登録された部品画像を探索するに際して、前記検査領域内の画像と前記部品画像との近似マハラノビス距離を演算し、前記近似マハラノビス距離が設定した閾値より小さくかつ最小となる点を探索した箇所とすることを特徴とする。

上記課題を解決する本発明の請求項２に係る実装基板外観検査方法は、請求項１記載の実装基板外観検査方法において、前記近似マハラノビス距離が前記探索領域内いずれの箇所においても閾値より大きい場合には、不良と判定することを特徴とする。

上記課題を解決する本発明の請求項３に係る実装基板外観検査方法は、請求項１又は２記載の実装基板外観検査方法において、前記検査領域のシフトは、前記検査領域の位置を移動させること、前記探査領域のサイズを変形させること、前記探査領域の向きを回転させることを含むことを特徴とする。

上記課題を解決する本発明の請求項４に係る実装基板外観検査方法は、請求項３記載の実装基板外観検査方法において、前記基板上のランドに半田付けされる前記部品の電極を検査の対象とする場合には、前記検査領域のシフトは、前記ランド端の辺のみを固定し、他の辺を伸縮することにより行うことを特徴とする。

上記課題を解決する本発明の請求項５に係る実装基板外観検査方法は、請求項３記載の実装基板外観検査方法において、前記基板上のランドに半田付けされる前記部品の電極以外の部分を検査の対象とする場合には、前記検査領域のシフトは、サイズを変形させずに、位置の移動又は方向の回転により行うを特徴とする。

上記課題を解決する本発明の請求項６に係る実装基板外観検査方法は、請求項１又は２記載の実装基板外観検査方法において、前記部品の電極が半田付けされる前記基板のランド上の異物を検査の対象とする場合には、前記検査領域はシフトせず固定することを特徴とする。

上記課題を解決する本発明の請求項７に係る実装基板外観検査方法は、請求項１，２，３，４，５又は６記載の実装基板外観検査方法において、前記検査領域内の画像を特徴空間へ写像することにより特徴量を抽出するに際しては、高次局所自己相関関数を用いることを特徴とする。

上記課題を解決する本発明の請求項８に係る実装基板外観検査方法は、請求項７記載の実装基板外観検査方法において、前記高次局所自己相関関数を用いる際には、予め前記画像をガウシアンラプラシアンフィルタ若しくはガボール変換することを特徴とする実装基板外観検査方法。

上記課題を解決する本発明の請求項９に係る実装基板外観検査方法は、請求項７又は８記載の実装基板外観検査方法において、前記高次局所自己相関関数により抽出された特徴量が、逐次学習により求められた特徴空間における良否分布の境界面の何れかに属するか否かにより良否判定を行うことを特徴とする。

上記課題を解決する本発明の請求項１０に係る実装基板外観検査方法は、請求項９記載の実装基板外観検査方法において、前記逐次学習は、前記検査領域内の画像の良否をオペレータが教示することより、前記検査領域内の画像から抽出された特徴量に基づいて、線形識別関数により、特徴空間における良否分布の境界面を逐次更新することにより行うことを特徴とする。

上記課題を解決する本発明の請求項１１に係る実装基板外観検査方法は、請求項９又は１０記載の実装基板外観検査方法において、前記特徴空間における良否分布は、不良品のカテゴリが、半田不良、欠品、ブリッジ等に細分化されることを特徴とする。

本発明の請求項１に係る実装基板外観検査方法によれば、近似マハラノビス距離を用いて部品画像の探索を行うので、検査方法の設定が簡素化し、作業効率が改善し、オペレータの習熟度に依存しない、高速かつ高認識率の検査を実現できるという効果を奏する。

本発明の請求項２に係る実装基板外観検査方法によれば、近似マハラノビス距離を用いて部品画像の探索を行う際に良否判定が可能となるという効果を奏する。
本発明の請求項３に係る実装基板外観検査方法によれば、検査領域のシフトを三つのモードから選択することにより、検査の対象に応じた検査領域を設定できるという効果を奏する。

具体的には、本発明の請求項４に係る実装基板外観検査方法によれば、前記基板上のランドに半田付けされる前記部品の電極を検査の対象とする場合に対応でき、本発明の請求項５に係る実装基板外観検査方法によれば、前記基板上のランドに半田付けされる前記部品の電極以外の部分を検査の対象とする場合に対応でき、本発明の請求項６に係る実装基板外観検査方法によれば、前記部品の電極が半田付けされる前記基板のランド上の異物を検査の対象とする場合にも対応できるという効果を奏する。

本発明の請求項７に係る実装基板外観検査方法によれば、高次局所自己相関関数を用いて特徴抽出を行うので、位置に寄らない情報と形状情報が得られ、特徴量が少ないう効果を奏する。

本発明の請求項８に係る実装基板外観検査方法は、ガウシアンラプラシアンフィルタ若しくはガボール変換するので、検査対象のバラツキが解消され、部品の輪郭や傾斜が強調されるという効果を奏する。

本発明の請求項９に係る実装基板外観検査方法は、高次局所自己相関関数により抽出された特徴量が、逐次学習により求められた特徴空間における良否分布の境界面の何れかに属するか否かにより良否判定を行うので、良否判定が確実に行われるという効果を奏する。

本発明の請求項１０に係る実装基板外観検査方法によれば、前記検査領域内の画像から抽出された特徴量に基づいて、線形識別関数により、特徴空間における良否分布の境界面を逐次更新するので、非線形識別関数を使用する場合に比較して、未知の特徴量に対する判定結果の信頼性が高いという効果を奏する。

本発明の請求項１１に係る実装基板外観検査方法は、前記特徴空間における良否分布は、不良品のカテゴリが、半田不良、欠品、ブリッジ等に細分化できるという効果を奏する。

（１）実装基板外観検査装置の概要
本発明を説明するに先立ち、実装基板外観検査装置の概要について、図１〜図６を参照して説明する。
図１は、基板実装工程を示すブロック図、図２は、実装基板外観検査装置の概要を説明するための説明図、図３は検査プログラムの物理的構成を示す説明図、図４は生基板の模式図、図５は、ストッカーに分別収納される基板を示す模式図、図６は、検査プログラムに従って取り込まれた基板画像の模式図である。

（１.１）基板実装工程における実装基板外観検査機の位置付け
基板実装工程は、図１に示す通り、はんだ印刷機１００、部品実装機２００、リフロー３００、実装基板外観検査機４００に生基板（図４参照）を順に通すことにより行われる工程である。
生基板とは、図４に示すように、部品実装前の新品基板（生基板メーカが製造し、実装メーカに納める）を言う。生基板の種類は多種多様である。例えば、各社用のある形式の携帯電話の基板、各社用のある形式のカーオーディオ基板などがある。

はんだ印刷機１００は、生基板のパッドにペースト状のはんだを印刷する機械である。パッドとは、電子部品の電極と基板の回路パターンとを接続する面である。
部品実装機２００とは、生基板のパッド上に、電子部品の電極（リード）が来るように、電子部品を基板にのせる機械である。
リフロー３００とは、基板上のペーストはんだを一度溶かして冷却し、はんだ付けさせる高温の炉を言う。

実装基板外観検査機４００とは、基板上の電子部品の欠品、位置ズレ、極性まちがい、表裏、浮き、はんだ不良等を外観で認識し、良品基板か不良基板か判定する装置を言う。
実装基板外観検査機４００における判定結果を受け、図５に示す良品基板及び不良品基板をストッカー５００に分別収納する。
実装基板外観検査機４００での判定結果である不良個所、不良内容はリペア装置６００に表示させる。ストッカー５００に入った基板の不良個所をオペレータが後から確認するためのものである。

（１.２）実装基板外観検査機の検査方法の概要
実装基板外観検査機４００による検査方法の概略を図２に示す。
先ず、基板１０上に実装された電子部品２０を照明装置４０で照らしつつ、検査プログラムに従って、検査したい領域の基板画像（図６参照）をカメラ等の画像センサ５０で取り込む（ステップＳ１）。
次いで、取り込まれた基板画像に対して、実装基板外観検査機４００の制御装置６０（図３参照）は検査プログラムに従って、良否を判定する（ステップＳ２）。
引き続き、基板１枚の検査が完了したら、その基板が良品だったか不良品だったかをストッカー５００、リペア装置６００に出力する（ステップＳ３）。
基板１枚１枚につき上記ステップＳ１〜ステップＳ３を繰り返す。

（１.３）検査プログラムの概要
（１.３.１）検査プログラムの物理的構成
実装基板外観検査機４００の制御装置６０は、図３に示すように、基板Ａ用の検査プログラムファイル、基板Ｂ用の検査プログラムファイル、…等を検査プログラムとして記憶したハードディスク等の記憶媒体６１を内蔵している。
検査プログラムは、検査の対象となる基板に応じてオペレータが選択する。各検査プログラムはオペレータが作成する。

（１.３.２) 検査プログラムの主要データ構成
検査プログラムの主要データを表１に示す。検査プログラムは、ＲＥＦ情報、デバイス情報、部品実装位置、画像撮影座標及び検査ＬＩＢ（ライブラリ）番号を主要なデータとする。

但し、
ＲＥＦ情報：部品一つ一つに付けられたＩＤ番号（実装機のデータから流用される）
デバイス情報：部品の種類毎につけられたＩＤ番号（実装機のデータから流用される）
部品実装位置：基板上における部品一つ一つの実装座標（実装機のデータから流用される）
画像撮影座標：画像を撮影する座標（部品実装位置から自動計算で求められる）
検査ＬＩＢ（ライブラリ）番号：検査方法に付けられたＩＤ番号（オペレータが番号を付ける）

（１.３.３）検査ライブラリ
検査ライブラリの一例を表２に示す。検査ライブラリは、検査ポイント座標、検査方法を含むものである。

検査ポイント座標とは、部品のどこを検査するかを示す座標（中心座標）を言う。

（１.３.４) 検査プログラムの例
検査プログラムは、従来では、検査方法を考えてオペレータが複数のプロセス（プロセスは実装基板外観検査機内に予め用意されている画像処理アルゴリズムである。）の中から組み合わせて設定していた。
そのため、例えば、領域枠、追尾枠、矩形枠、サブ矩形枠、シフト枠などをオペレータが設定し、所定の計算を行り、所定の判定を行うことにより、リード毎のずれ量を検出というプロセスが必要となり、煩雑な作業となっていた。

これに対し、本願発明における検査方法は、検査の対象となる部分を含む領域を探索領域として設定し、設定された探索領域内において検査領域をシフトさせて登録画像と特徴が一致する箇所を探索する探索処理を先ず行うものである。
例えば、図７〜図９を参照して、ICリード検査の場合について説明する。
図７は、基板に実装された電子部品の側面図、図８は、基板に実装された電子部品について取り込まれた部品画像を示す平面模式図、図９は図８に示す部品画像に設定される探査領域及び調査領域を示す平面模式図である。

図７、図８に示すように、基板１０のランド２３にハンダ２２にてハンダ付けされた電子部品２０の電極（リード）２１に関する検査をICリード検査と言う。
本発明では、例えば、図９に示すように、探索領域Ａ１及び４つの検査領域Ａ２〜Ａ５を設定する。
探索領域Ａ１は、検査すべき電子部品の検査の対象となる部分を含む領域として設定される矩形枠であり、図９では、電子部品２０の電極２１、電極２１がハンダ付けされる基板１０上のランド２３及び電子部品２０の一部（電極が設けられる部分）を広域に含むものである。

探索領域Ａ１の設定に際しては、予め、登録画像（リードの画像）の指定とリードズレ許容値の設定を行う。探索領域Ａ１は、登録画像とサイズの等しい検査領域Ａ２よりも広い領域とする必要があるためであり、また、リードズレ許容値は、探査領域Ａ２〜Ａ５における検査画像の良否を判定するために必要であるからである。
検査領域Ａ２は、リード部、つまり、電極２１を含む領域として設定される矩形枠である。検査領域Ａ２は、領域のサイズ変形は不可とし、移動・回転のみ可とするものである。
検査領域Ａ３は、リード先端、つまり、電極２１の先端に位置する基板上のランド２３を含む領域として設定される矩形枠である。検査領域Ａ３は、図９中においては、リード先端と接触する領域上辺をリード位置に応じて変形するものとする。

検査領域Ａ４は、リード横、つまり、電極２１の側方に位置する矩形枠である。検査領域Ａ４は、図９においては、領域右辺と下辺をリード位置に応じて変形するものとする。
検査領域Ａ５は、リード横、つまり、電極２１の側方に位置する矩形枠である。検査領域Ａ５は、図９においては、領域左辺と下辺をリード位置に応じて変形するものとする。
探索領域Ａ１及び４つの検査領域Ａ２〜Ａ５の相対的関係としては、探索領域Ａ１は、４つの検査領域Ａ２〜Ａ５よりも広く、また、検査領域Ａ３、検査領域Ａ２、検査領域Ａ４及び検査領域Ａ５の順で小さくなる。
探査領域Ａ１における検査領域Ａ２〜Ａ５の移動、回転、サイズ変更等のシフトについて、更には、特徴抽出、良否判定については、以下の（２）「本発明の説明」で詳述する。

（２）本発明の概要
本発明の概要について、（２.１）「部品画像の探索」、（２.２）「特徴抽出」、（２.３）「学習による良否判定」の順に説明する。
従来発明では、「部品画像の探索」を考慮せず、「特徴抽出」、「学習による良否判定」のみに着眼していたり、「特徴抽出」の特徴量を画像そのものとしていたりするので、高速検査かつ高認識率検査を両立できなかった。

（２.１）「部品画像の探索」
「部品画像の探索」とは、検査の対象となる部分を含む探索領域内において、検査領域をシフトさせて、予め登録された部品画像を探索する処理を言う。
部品の実装位置はばらつきがある為、部品の位置に応じ検査領域を動かす必要があるからである。
従来の検査装置でも部品位置探索機能はあるが、単純なパターンマッチングによる探索なので、部品画像のばらつきの影響を受けやすい為、結局、様々なボカシ処理を駆使せざるを得ず、設定の負担が大きい。

そこで、本発明では、この探索を、予め登録された（平均と分散の情報をもった）部品画像との近似マハラノビス距離を用いる。
近似マハラノビス距離を用いる理由は、演算量が少なく、部品のバラツキに強いからである。
近似マハラノビス距離が設定した閾値より小さくかつ最小となる所が探索した位置であり、探索領域内のどこを探しても閾値より大きい場合は、部品ズレが大きいか、異なる部品が搭載されているか、部品が無い、ということで不良と自動判定する。

ここで、近似マハラノビス距離Dは、下式で求められる。
D²＝Σ [ W[n][i]×(B[n][i]−P[n][i])² ]
但し、
B[n][i]：検査画像の画素ｉの輝度
P[n][i]：登録画像の画素ｉの輝度
W[n][i]：画素iの重み（分散の逆数）
n: 更新回数
Dを％換算した値を用いてもよい。

例えば、図１０（ａ）、（ｂ）のチップ部品（同じ部品種類）の位置を探索する場合、図１０（ａ）のチップ部品には、「９９９」の文字が記載され、図１０（ｂ）のチップ部品には、「２１１」の文字が記載されるが、部品上の数字の部分は重要でない。
そのため、図１０（ｃ）に示すように、中央の黒四角部分の重みが小さく、黒四角部分の上下左右の白枠の重みが大きい重みWiを、図１０（ａ）、（ｂ）のチップ部品に掛けることで、数字部分がマスクされ部品のバラツキの影響を受けずに探索可能となる。
ここで、「探索処理」で必要な設定は、a)「探索領域を矩形枠で指定」、b)「検査領域を矩形枠で指定」、c)「検査領域のシフト方法を指定」、d)「登録部品画像の登録」、e)「近似マハラノビス距離の閾値」の５つである。これらの設定はオペレータ操作により随時可能とする。

a)「探索領域を枠で指定」、b)「検査領域を枠で指定」の２つは、検査したい場所が予め判っているので設定が容易である。
c)「検査領域のシフト方法を指定」の設定は、検査領域の位置の移動、サイズの変形、方向の回転の設定である。
電子部品には、基板のランドに半田付けされる電極（リード）が備えられているが、部品そのもの（本体）の検査では、部品変形は少ないので、検査領域はサイズを変形させずに、検査領域を部品位置に移動・回転させるほうが好ましい。
一方、基板のランドに半田付けされる部品の電極を検査する半田検査では、半田領域が電極位置で変形するので、検査領域はパッド端の辺のみ固定し残りの辺は伸縮させるほうが好ましい。
例えば、図９では、電極２１がランド２３の中央にハンダ付けされているため、電極２１の両側において、検査領域Ａ４と検査領域Ａ５とが同じサイズに設定されている。

しかし、電極２１がランド２３の中央ではなく左右の何れかに寄ってハンダ付けされていた場合には、電極２１の左右で半田領域が等しくなくなるので、半田領域に応じて、検査領域Ａ４と検査領域Ａ５との大きさを変化させる。電極２１がランド２３の一方に極端によっている場合には、検査領域Ａ４又は検査領域Ａ５の一方を最大化し、他方を最小化することが在り得る。
検査領域の設定では、固定させる辺（もしくは動かしてよい辺）の指定が必要である。
一方、基板のランド上の異物を検査する等、検査領域を移動回転変形させたくない場合もあるので、その場合は検査領域はシフトせず固定させる。
つまり、c)「検査領域のシフト方法を指定」においては、以上３種類のモードから一つを設定する。

d)「登録部品画像の登録」では、探索に用いる部品画像を登録する。
この部品画像は、オペレータ操作により随時登録、逐次更新、クリアすることを可能とする。
逐次更新とは、登録済み画像と新たに登録しようとする画像とから平均、分散を求め、それをセットにして更新画像として上書きすることである。
逐次更新により登録部品画像情報の精度が向上するとともに、登録画像のデータ量が低減できる。
多数の部品画像を纏めて一括登録し、平均と分散を求めることも可能だが、サンプル数が少ない場合や、データ作成を急ぐ場合には不向きである。

登録、逐次更新処理においては、以下の通りに平均が更新される。
P[n+1][i]＝P[n][i]＋B[n+1][i]−P[n][i]）／（n+1）
P[n][i]：更新前の登録済み画像ベクトル
P[n+1][i]：更新後の登録画像ベクトル
B[n+1][i]：新たに登録しようとする画像ベクトル
n:更新回数
分散についても、統計数学の知識から簡単に計算できる。

e) 「近似マハラノビス距離の閾値」の設定は、a)の探索領域を一時的に大きくずらして、探索処理をさせ、そのときの近似マハラノビス距離を知ることで容易に閾値の設定が可能である。
このずらし量を、例えば、枠サイズの半分等予め決めておくことで、この処理を自動化することもできる。

（２.２）「特徴抽出」
ここでは、（２.１）の検査領域の画像から高次局所自己相関関数により特徴量を算出する。特徴抽出は、言い直せば、図１１に示すように、画像からへ低次元空間への写像のことである。
様々な検査画像から特徴抽出をした結果、特徴空間上で、図１２に示すように、良品／不良品の分布が明確になるような写像が望ましい。特徴空間上で、良品分布と不良品分布がオーバラップしてしまうような写像では、適切な合否判定ができない。

特徴空間が低次元であるべき理由は、高次元だと、メモリや演算が莫大になることと、特徴空間での良品分布と不良分布の統計的信頼性を得るのに膨大なサンプルが必要となり現実的でないからである。
高次局所自己相関関数とは、非特許文献１に定義される通りであり、画像内の対象画像をf(r)とすると、Ｎ次自己相関関数は、変位方向（a₁,a₂,…a_N）に対して、次式で定義される。
x_N（a₁,a₂,…,a_N）＝∫f(r) f(r+ a₁) … f(r+ a_N)dr
本発明の特徴抽出処理として、高次局所自己相関関数を用いるのは次の理由による。
・位置によらない情報と形状情報を兼ね備えている。
・特徴量の数が少なく、画素数によらない。

特徴量の数が多いと演算に時間がかかるだけでなく、（２．３）の学習に要するサンプル数が膨大になる。
例えばパターンマッチングのように部品画像そのものを特徴量とするとデータ数は画素数となり、学習に必要なサンプル数は画素数の数十倍以上となってしまい、少ロット生産には対応できない。
具体的な特徴量Y[j]は１次の高次局所自己相関関数の場合、以下の通りである。
Y[j]∝∫f(r)×f(r+aj)dr
f:位置rの画素の輝度(rはベクトル)
ajは高次局所自己相関関数で決められている固定ベクトル。j=1〜5である。

例えば
Y[1]＝全体の明るさに相当（例えば、良品だと暗い、不良品だと明るい）
Y[2]＝横に明るく長いものがあれば、大きな値となる
Y[3]＝…
Y[4]＝…
Y[5]＝…
の意味を持つ。
検査に必要な最終的な特徴量というのは、結局は、領域がどういう形（大きさ）で明るいか暗いかがポイントである。高次局所自己相関関数から求まる特徴量はその情報を具備している。

また、画像をガウシアンラプラシアンフィルタ若しくはガボール変換した画像から高次局所自己相関関数で抽出した特徴も特徴量に含めてもよい。
これらはボカシ処理とエッジ抽出を行う処理で、ウエーブレット変換の特殊な場合で、生体の視覚機能モデルの一つとなっている（指紋認識等で利用されている）。ボカシ処理によって、検査対象のバラツキの影響が低減される。エッジ抽出処理により部品の輪郭や傾斜が強調される。
これらの特徴抽出処理は自動演算できるので設定項目はない。

（２.３）「学習による良否判定」
ここで、必要な設定は実装基板外観検査機への学習操作のみである。学習操作によって特徴量からへ判定の変換関数が求まる。検査においては、この変換関数で判定を行う。
学習においては、オペレータが検査画像に対し良品、不良品かを教示すると、実装基板外観検査機は検査画像から（２．２）の特徴量を求め、図１３に示すように、線形識別関数により逐次学習（特徴空間に於ける良否分布の境界面を逐次更新）する。また、オペレータ操作により、学習したデータをクリアすることも可能とする。

判定においては、検査画像から（２．２）で抽出された特徴量が、学習で求めれられた境界面のどちらに属するかで良否判定する。
またチェック機能として、検査プログラムに未学習の検査ライブラリが含まれていればそれを通知することも可能とする。
線形識別関数による学習法では、特徴からへ判定の変換を線形関数（境界面が平面）で行うのに対し、ニューラルネット等の学習では変換を非線形関数で行う。

ニューラルネット等の非線形関数による方式では、学習サンプル数が少ないと少数のパターンを複雑な非線形関数で近似することになり、未知の特徴量に対する判定結果の信頼性に乏しい。
それ以前に非線形関数が必要になるということは特徴抽出が不適切であるということを意味する。
ここでの線形識別関数による計算は、以下の通りである。

線形識別関数による判定値：R＝ΣK[j]・Y[j]
Y[j]：特徴量（但しY[0]=1, Y[1]…は高次局所自己相関関数による特徴量）
j：特徴量の番号
K[j]：識別関数のパラメータ
R≧0の場合、学習したカテゴリ（良品か不良品か）に属すると判定される。
初期値は、オペレータ操作で学習させたい画像とそれが良品か、不良か、というカテゴリを指定することで、その画像から特徴量Xiを求め、
K[j]=Y[j] (i≧1)
K[0]=−Y
Y=Y[1]×Y[1]+Y[2]×Y[2]＋…
と設定する。これによりR=0となる。

逐次更新においては、オペレータ操作で学習させたい画像とカテゴリを指定することで、その画像から求まる特徴量Yiについて判定値Rを計算し、以下の更新を行う。
・Ｒの判定が、指定カテゴリと一致する場合：K[j]は変更しない
・Ｒ≧0（先に学習させたカテゴリに属する）だが、指定カテゴリと一致しない場合：K[j]=K[j]−ρ×Y[j]
・Ｒ＜0（先に学習させたカテゴリに属さない）だが、指定カテゴリと一致しない場合：K[j]=K[j]＋ρ×Y[j]
ρ（＞0）は定数

カテゴリとして、良品、半田不良、欠品、ブリッジ、等複数のカテゴリを用意し、学習時に指定してもよい。
その場合は、カテゴリの組合せ分、線形識別関数が必要となる（つまり境界面が複数できる）。

本発明における学習／判定法によれば演算量もサンプル数も少なく効率的な学習が可能となる。
また逐次学習可能とすることで、生産過程で発生した新たな不良にもスムーズに対応ができる。
尚、（２.１）、（２.３）の設定はライブラリとして登録でき、再利用可能とする。
上記処理により、検査方法の設定を簡素化し作業効率を改善するとともに、オペレータの習熟度に依存しない、高速かつ高認識率の検査を実現する。

（３）マハラノビス距離と登録画像の更新処理について
（３.１）定義
マハラノビス距離Gは、次式で定義される。

ただし、
ｉ画素番号（ｉ =1、…、m）
Ｘ[ｉ] 検査画像の画素ｉの輝度
Ｐ[n][ｉ] n回更新した後の画像Ｐの画素ｉの輝度
Ｂ[t][ｉ] t番目に登録した画像Ｂの画素ｉの輝度 (t=1, …, n)
G マハラノビス距離

P[n][ i ]はBの平均であり、下式で表される。
P[n][ i ]= (B[1][ i ]+ B[2][ i ]+ ・・・・・・+ B[n][ i ] )/n

λ[u][v]＝[（B[1][u]-P[n][u]）(B[1][v]-P[n][v])+ …+B[n][u]-P[n][u]） (B[n][v]-P[n][v]) ]/n
(行列[λ]：共分散行列)

（３.２）近似マハラノビス距離
行列［λ］の計算は膨大になるので、対角成分以外を無視する。
対角成分 S(n)[i] ≡ λ[i][i] （=Bの画素iの分散となる）
G²≒［（X[1]−P[n][1]）²］／S(n)[1]＋…＋［（X[m]−P[n][m]）²］／S(n)[m]
そこで、
D²≡［（X[1]−P[n][1]）²］W(n)[1]＋…＋［（X[m]−P[n][m]）²］W(n)[m]
上式で求められるDを本発明では近似マハラノビス距離ということにする。
ここでWはS(n)[i]が0だと発散することを考慮して
W[n][i]=100×(M−S(n)[i])/M、M= H² (H: システムで決まる輝度の最大値)
もしくは
W[n][i]=1/S(n)[I] （S(n)[i]≠0のとき）、
=1/δ²（S(n)[i]=0のとき）
δは、システムで決まる輝度の最小単位とする。

（３.３）更新処理
登録画像を更新する、つまりｎ→ｎ＋１のとき以下のように、更新できる。
P[n+1][ i ]= (B[1][ i ]+ B[2][ i ]+…+ B[n+1][ i ] )/(n+1)
= P[n][i]×n/(n+1)+ B[n+1][ i ]/(n+1)
= P[n][i] + (B[n+1][ i ]−P[n][i] )/(n+1)

分散S(n)[i]の更新は以下のように、更新できる。
S(n+1)[i]=[（B[1][i]−P[n+1][i]）²+…+（B[n][i]−P[n+1][i]）²+
（B[n+1][i]−P[n+1][i]）²]/(n+1)
=n [ S[n][i] + (（B[n+1][i]−P[n][i])²)/(n+1) ]/(n+1)

（３.４）探索処理（自動）
探索処理（自動）について、図１４に示すフローチャートを参照して説明する。
先ず、探索済フラグFL=0 とする（ステップＴ１）。FL=0は、探索が終了していないことを意味するフラグである。
次に、探索領域内で、登録画像と同じサイズの検査領域内の画像X[i]から、近似マハラノビス距離Dを求めるが、初回の場合は、Dmax=Dとする（ステップＴ２）。
引き続き、D≦Dmax、かつ、D≦閾値ならば、その枠位置を探索座標X,Y、C(回転角)に代入し、つまり、探索結果とし、探索済フラグFL=1、Dmax＝Dとする（ステップＴ３）。フラグFL=1は、探索が終了したことを示すフラグである。

更に、全領域の探索が終了したと判定されるときには（ステップＴ４）、FL=1ならX,Y、Cを探索結果とする（ステップＴ５）。
一方、全領域の探索が終了していないと判定されるときには（ステップＴ４）、FL=0ならＮＧとしてその部品の検査終了し、枠を動かして（ステップＴ５）、例えば、探索座標X,Yを１画素づつ移動、或いは、C(回転角)を変更して、ステップＴ２以降を繰り返す。
従って、ステップＴ３でD≦Dmaxと比較することにより、探索結果としては、近似マハラノビス距離Dの最小値が求められることになる。

（３.５）閾値の自動決定
登録画像と同じサイズの枠を登録画像位置から規定シフト量移動させた場所での画像Ｘ[i]から近似マハラノビス距離Ｄを求め、それを閾値として登録する。
例えば、枠サイズを（Ａ，Ｂ）とした場合、規定シフト量は、（Ａ／Ｔ、Ｂ／Ｔ）等とする。Ｔはパラメータで例えば１／２とする。

以下に実施例として、本発明による検査処理の具体例について説明する。
１）画像の登録と更新
画像の登録と更新の具体例について、表３に示す。ここでは、チップ抵抗部品の例を示す。

更新回数ｎ＝１のとき、P[1]はB[1]であるため、１回目の登録用の画像B[1]（図１５）と登録された画像の平均P[1] （図１８）とは同じ画像である。そのため、更新回数ｎ＝１のとき、重みW[1]は空白（図２１）、つまり、マスクされる部分は存在しない。
更新回数ｎ＝２のとき、B[1] （図１５）とB[2] （図１６）とを平均することによりP[2] （図１９）が求められ、重みW[2]は分散の逆数で表される濃淡の画像（図２２）、つまり、一部マスクされる部分が存在する。
更新回数ｎ＝３のとき、B[1] （図１５）とB[2] （図１６）とB[3] （図１７）を平均することによりP[2] （図２０）が求められ、重みW[3]は分散の逆数で表される濃淡の画像（図２３）、つまり、一部マスクされる部分が存在する。

２）部品探索
上記１）の３回目の登録画像（Ｐ、Ｗ）を使って、探索領域Ｘから部品探索を行った例を表４に示す。

表４ａ）探索領域Ｘは、図２４に示す通りであり、表４ｂ）探索ルートは、２５図中折れ線で示すように検査領域を外周側から中央側に向かって（実際には１画素づつ）動かしてゆく。
表４ｃ）は、探査処理時の近似マハラノビス距離D[a]の逆数１／D[a] をプロットしたものであり、図２６に示す通り、外周部が暗く、中央部が明るい。

表４ｄ）探査結果は、図２７に示す通りであり、表４ｃ）の画像の最も明るいところが、近似マハラノビス距離Dが最小の位置（図２７、十時線のクロスポイント）、つまり、探索して見つかった部品位置である。これにより、部品位置が正しく求められたことが判る。

３）特徴抽出と学習
３−１）特徴抽出と学習手順の例
特徴抽出と学習手順の例を表５に示す。

学習に使用した画像（ハンダ付部の画像）fは、図２８、図２９の２種類であり、それぞれカテゴリ（オペレータが指定する）を良品、不良品とする。
先ず、良品と指定された図２８の画像に対して高次局所自己相関関数（１次）を用いて特徴量 Y[j]を求めた。
Y[0]=1
Y[j] =ΣΣf(a,b)×f(a+Ma1[j],b+Mb1[j]))］（j＝1〜5）

Y[0] = 1 定数
Y[1] = 82 中
Y[2] = 69 小
Y[3] = 67 小
Y[4] = 79 中
Y[5] = 67 小

特徴量 Y[j]（j＝0〜5）の意味は、以下の通りである。
Y[0]：定数
Y[1]：全体の明るさ
Y[2]：横方向の明るさ
Y[3]：斜め４５度方向の明るさ
Y[4]：縦方向の明るさ
Y[5]：斜め−４５度方向の明るさ

次に、特徴量 Y[j] （j＝1〜5）から識別関数パラメータK[j]（j＝0〜5）を求めると以下の通りである。
K [0] ＝−Y[0]
＝−(Y[1]²+Y[2]²＋…Y[5]²)
＝−26704
K [1] ＝ Y[1] = 82
K [2] ＝ Y[2] = 69
K [3] ＝ Y[3] = 67
K [4] ＝ Y[4] = 79
K [5] ＝ Y[5] = 67

従って、判定値R（＝ΣK[j]・Y[j]）は、０であるから、正判定であり、更新不要であ
る。
一方、不良品と指定された図２９の画像に対して、上記と同様にして、高次局所自己相関関数（１次）を用いて特徴量 Y[j]を求め、更に、特徴量 Y[j] （j＝1〜5）から識別関数パラメータK[j]（j＝0〜5）を求め、判定値R（＝ΣK[j]・Y[j]）を求めると、
R＝46342であるから、誤判定であり、下式に従って更新を行う。
K[j]=K[j]−ρY[j] （Ｒ≧0）
K[j]=K[j]＋ρY[j] （Ｒ＜0）
更新後の判定値Rは正判定であり、更新不要である。

３−２）学習結果による検査
学習結果の検査の例について、表６に示す。

３−１）の要領で、表６ａ）〜ｄ）の画像（図３０〜図３５）で学習を行い、識別関数パラメータを求め、そのパラメータを用いて表６ｅ）、ｆ）の検査画像の（図３４，図３５）判定を行った。
その結果、表６に示すように、様々なハンダ画像のバリエーションに対して、正しく判定できていることがわかる。
本実施例では１次の高次局所自己相関関数を用いたが、２次の高次局所自己相関関数を用いてもよい。

本発明は、実装基板外観検査方法に利用できるものであり、特に、基板上の部品や半田部の画像をカメラ等の光学センサで取得し、その画像に対し演算処理を行って良否判定する方法に利用して好適である。

基板実装工程を示すブロック図実装基板外観検査装置の概要を説明するための説明図検査プログラムの物理的構成を示す説明図生基板の模式図ストッカーに分別収納される基板を示す模式図検査プログラムに従って取り込まれた基板画像の模式図基板に実装された電子部品の側面図基板に実装された電子部品について取り込まれた部品画像を示す平面模式図図８に示す部品画像に設定される探査領域及び調査領域を示す平面模式図図１０（ａ）、（ｂ）はチップ部品を示す検査画像の説明図、図１０（ｃ）は同図（ａ）（ｂ）の画像に掛けられる重みWiの説明図である。特徴抽出（画像からへ低次元空間への写像）の説明図良品／不良品の分布が明確な特徴空間の説明図線形識別関数により逐次学習（特徴空間に於ける良否分布の境界面を逐次更新）する特徴空間の説明図探索処理（自動）を示すフローチャート登録用（１回目）の画像の模式図登録用（２回目）の画像の模式図登録用（３回目）の画像の模式図登録された画像平均（１回目）の模式図登録された画像平均（２回目）の模式図登録された画像平均（３回目）の模式図重み（１回目）を示す模式図重み（２回目）を示す模式図重み（３回目）を示す模式図探索領域の模式図探索領域内での検索ルートの模式図探索処理時の近似マハラノビス距離の逆数をプロットした模式図検索結果を示す模式図学習に使用した画像（良品）を示す模式図学習に使用した画像（不良品）を示す模式図学習に使用した画像（良品）を示す模式図学習に使用した画像（不良品）を示す模式図学習に使用した画像（不良品）を示す模式図学習に使用した画像（良品）を示す模式図検査画像（不良品）を示す模式図検査画像（良品）を示す模式図

符号の説明

１０基板
２０電子部品
４０照明装置
５０カメラ等の画像センサ
６０制御装置
６１ハードディスク等の記録媒体
１００はんだ印刷機
２００部品実装機
３００リフロー
４００実装基板外観検査装置
５００ストッカー
６００リペア装置

Claims

基板上に実装された部品の画像を光学センサで取得し、その画像に対し演算処理を行って良否を判定する実装基板外観検査方法において、前記部品の検査の対象となる部分を含む領域を探索領域として設定し、該探索領域内において、検査領域をシフトさせて、予め登録された部品画像を探索するに際して、前記検査領域内の画像と前記部品画像との近似マハラノビス距離を演算し、前記近似マハラノビス距離が設定した閾値より小さくかつ最小となる点を探索した箇所とすることを特徴とする実装基板外観検査方法。
請求項１記載の実装基板外観検査方法において、前記近似マハラノビス距離が前記探索領域内いずれの箇所においても閾値より大きい場合には、不良と判定することを特徴とする実装基板外観検査方法。
請求項１又は２記載の実装基板外観検査方法において、前記検査領域のシフトは、前記検査領域の位置を移動させること、前記探査領域のサイズを変形させること、前記探査領域の向きを回転させることを含むことを特徴とする実装基板外観検査方法。
請求項３記載の実装基板外観検査方法において、前記基板上のランドに半田付けされる前記部品の電極を検査の対象とする場合には、前記検査領域のシフトは、前記ランド端の辺のみを固定し、他の辺を伸縮することにより行うことを特徴とする実装基板外観検査方法。
請求項３記載の実装基板外観検査方法において、前記基板上のランドに半田付けされる前記部品の電極以外の部分を検査の対象とする場合には、前記検査領域のシフトは、サイズを変形させずに、位置の移動又は方向の回転により行うを特徴とする実装基板外観検査方法。
請求項１又は２記載の実装基板外観検査方法において、前記部品の電極が半田付けされる前記基板のランド上の異物を検査の対象とする場合には、前記検査領域はシフトせず固定することを特徴とする実装基板外観検査方法。
請求項１，２，３，４，５又は６記載の実装基板外観検査方法において、前記検査領域内の画像を特徴空間へ写像することにより特徴量を抽出するに際しては、高次局所自己相関関数を用いることを特徴とする実装基板外観検査方法。
請求項７記載の実装基板外観検査方法において、前記高次局所自己相関関数を用いる際には、予め前記画像をガウシアンラプラシアンフィルタ若しくはガボール変換することを特徴とする実装基板外観検査方法。
請求項７又は８記載の実装基板外観検査方法において、前記高次局所自己相関関数により抽出された特徴量が、逐次学習により求められた特徴空間における良否分布の境界面の何れかに属するか否かにより良否判定を行うことを特徴とする実装基板外観検査方法。
請求項９記載の実装基板外観検査方法において、前記逐次学習は、前記検査領域内の画像の良否をオペレータが教示することより、前記検査領域内の画像から抽出された特徴量に基づいて、線形識別関数により、特徴空間における良否分布の境界面を逐次更新することにより行うことを特徴とする実装基板外観検査方法。
請求項９又は１０記載の実装基板外観検査方法において、前記特徴空間における良否分布は、不良品のカテゴリが、半田不良、欠品、ブリッジ等に細分化されることを特徴とする実装基板外観検査方法。