JP7207948B2 - 外観検査方法及びプログラム - Google Patents

Description

本発明は、測定対象物を撮像して得られた画像に基づき、測定対象物の外観を検査する外観検査方法及びプログラムに関する。

画像測定機は、測定対象物（以下「ワーク」という。）の画像を撮像し、当該画像を解析して、画像内に含まれるエッジの点群を抽出し、抽出されたエッジの点群から近似される直線、円、多角形等の幾何的形状の距離、傾き、径、幅などを評価する装置である。抽出されたエッジの点群から幾何的形状を近似により求める際に、近似のもとになるエッジの点群の中に他の点とは大きく離れた点が含まれる場合、実際のワーク形状によりフィットした幾何形状を得るために、異常点を除外して幾何学形状を求めるという処理がしばしば行われている。そして、近似により求められた幾何学形状の評価は、設計データ等により定められる理想的な幾何学形状との対比により行われる。

特開２０１１－１８５８８８号公報

このように、従来の画像測定機は、異常点を無視して近似を行って得た幾何学形状を評価するものであったため、例えば、ワークの微細な欠け、変形、バリ、汚れ等のような、近似された幾何学形状から外れている欠陥部分に着目したいわゆる外観検査に適用することができなかった。

上記の課題に鑑み、本発明は、画像測定機で実施できる外観検査方法、およびこのような外観検査方法を実現するプログラムを提供することを目的とする。

（１）上記課題を解決すべく本発明に係る外観検査方法は、検査対象画像における対象領域を特定する対象領域特定ステップと、特定した対象領域に含まれる欠陥を検出する欠陥検出ステップと、検出した欠陥の数を計数する欠陥計数ステップと、計数された欠陥の数に基づき検査対象画像に写る対象物の合否を判定する判定ステップとを備えることを特徴とする。

（２）本発明では、欠陥検出ステップは、対象領域に含まれるエッジを抽出するステップと、抽出したエッジを基準とするマスタ画像におけるエッジと比較して欠陥を検出するステップとを有するとよい。

（３）複数の検査対象画像に対し外観検査方法を適用する場合において、マスタ画像は複数の検査対象画像のうち最初に外観検査方法が適用された画像とするとよい。（４）また、マスタ画像は複数の検査対象画像のうち直前に外観検査方法が適用された画像としてもよい。（５）あるいは、マスタ画像は複数の検査対象画像のうち、直前に外観検査方法が適用された結果合格と判定された画像としてもよい。

（６）上記課題を解決すべく本発明に係るプログラムは、コンピュータに上記いずれかに記載の外観検査方法を実行させることを特徴とする。

画像測定機１００の構成を示す斜視図である。 撮像ユニット１２０の構成をステージ１００とともに示す模式図である。 位置取得手段１１０の構成を示すブロック図である。 コンピュータ本体１４１の構成を示すブロック図である。 画面表示の例を示す図である。 外観検査画面の一例を示す図である。 外観検査の手順を示すフローチャートである。 外観検査画面の一例を示す図である。 外観検査画面の一例を示す図である。 外観検査画面の一例を示す図である。

以下、本発明の実施形態を図面を参照しつつ説明する。図１は、画像測定機１の構成を示す斜視図である。画像測定機１は、ステージ１００と、位置取得手段１１０と、撮像ユニット１２０と、リモートボックス１３０と、コンピュータシステム１４０と、を備える。

ステージ１００は、その上面が水平面となるように配置され、当該上面にワーク（測定や検査の対象物）Ｗが載置される。ステージ１００の上面のうち少なくともワークＷが載置される部分は、ガラス等の光を透過する素材で形成される。ステージ１００は、図示されていないＸ軸駆動モータおよびＹ軸駆動モータにより駆動され、水平面と平行なＸ軸方向及びＹ軸方向に移動可能とされる。各軸の駆動モータに対する駆動制御信号は、後述のリモートボックス１３０やコンピュータシステム１４０から各軸の駆動モータへと与えられる。

図２は、撮像ユニット１２０の構成をステージ１００とともに示す模式図である。撮像ユニット１２０は、光学系１２２、撮像手段１２４、および光源１２６を備える。光学系１２２は、例えば複数のレンズ及び絞りを組み合わせてテレセントリック光学系を構成する。テレセントリック光学系では主光線が平行光とみなせるため、撮像した画像内における寸法がＺ軸方向（高さ方向）の位置に依存しない。このため、起伏（例えば段差や孔部等）があるワークＷを測定するのに好適である。光源１２６は、ワークＷの画像を撮像する際にコンピュータシステム１４０による制御の下、少なくともワークＷの撮像される部分に光を照射する。本実施形態では、光学系１２２を介してワークＷに対し上方（つまり撮像手段１２４側）から光を照射する落射照明用の光源１２６ａ、及びワークＷに対し下方（つまりステージ１００の裏側）から光を照射する透過照明用の光源１２６ｂを備える。撮像手段１２４は、例えばＣＣＤ、ＣＭＯＳ等の二次元イメージセンサである。撮像手段１２４の受光面には、光学系１２２によってワークＷの像が結像される。撮像手段１２４は、当該結像された像を撮像して、所定のフォーマットの画像データを出力する。この画像データには、画像を構成する画素の情報の他、少なくとも画像の撮影順を示すインデックスが含まれる。撮像ユニット１２０は、撮像手段１２４が出力する画像信号を、コンピュータシステム１４０に送信する。コンピュータシステム１４０と撮像ユニット１２０とは、例えばＵＳＢ（Universal Serial Bus）のような汎用の通信規格にて接続される。また、撮像ユニット１２０は１枚（１フレーム）の画像の撮像を完了するタイミングでトリガ信号をラッチ手段１１８に出力する。

撮像ユニット１２０は、図示されていないＺ軸駆動モータにより駆動され、Ｚ軸方向（すなわちステージ１００の上面に垂直な方向）に移動可能とされる。撮像ユニット１２０のＺ軸方向の位置を調整することにより、ピント調整が行われる。Ｚ軸駆動モータに対する駆動制御信号は、後述のリモートボックス１３０やコンピュータシステム１４０から与えられる。

図３は、位置取得手段１１０の構成を示すブロック図である。位置取得手段１１０は、Ｘ軸エンコーダ１１２、Ｙ軸エンコーダ１１４、Ｚ軸エンコーダ１１６、及びラッチ手段１１８を備える。

Ｘ軸エンコーダ１１２は、ステージ１００のＸ軸方向の位置座標を測定し出力する。Ｙ軸エンコーダ１１４は、ステージ１００のＹ軸方向の位置座標を測定し出力する。Ｚ軸エンコーダ１１６は、撮像ユニット１２０のＺ軸方向の位置座標を測定し出力する。各エンコーダは、目盛が刻まれたスケールとスケールの目盛を読み取るスケール読み取り部とを備える。スケールは各軸に沿ってステージ１００や撮像ユニット１２０の可動部分に取り付けられる。一方、スケール読み取り部は、非可動部分に配置される。

ラッチ手段１１８は、カウンタ１１８ａとバッファ１１８ｂとを備える。カウンタ１１８ａは外部からトリガ信号（例えばパルス信号）が供給されると、カウント値を１増加させる。なお、カウンタ１１８ａの値は、コンピュータシステム１４０の指示に基づき適宜リセットされる。バッファ１１８ｂは複数のアドレスの記憶領域を有し、トリガ信号が供給されたタイミングで、カウンタ１１８ａのカウント値に応じたアドレスの記憶領域に、各軸のエンコーダの出力値をラッチし、記憶する。トリガ信号は、例えば撮像手段１２４から、１枚の画像の撮像が完了するタイミングで供給されるようにするとよい。ラッチ手段１１８が保持する各軸の位置座標は、アドレス値（つまりカウント値）と対応付けられて、適宜、コンピュータシステム１４０に取り込まれる。コンピュータシステム１４０とラッチ手段１１８とは、例えばＵＳＢ（Universal Serial Bus）のような汎用の通信規格にて接続される。画像データと位置座標はそれぞれ別々にコンピュータシステム１４０に取り込まれるが、画像データには撮像順を示すインデックスが付され、位置座標には撮像順を示すカウント値が付されるため、非同期でコンピュータシステム１４０に取り込まれたとしても、取り込み後に対応付けることが可能である。

図１に戻ると、リモートボックス１３０は、ステージ１００および撮像ユニット１２０の位置を設定するための操作手段であり、操作者による操作に応じて、有線または無線の通信によりＸ軸駆動モータ、Ｙ軸駆動モータ、およびＺ軸駆動モータに対する駆動制御信号を送信する。リモートボックス１３０は、ジョイスティック１３２とジョグシャトル１３４を備える。ジョイスティック１３２は、ステージ１００は、ステージ１００の位置を設定するための操作入力手段であり、リモートボックス１３０は、ジョイスティック１３２の傾斜方向に応じて、ステージ１００をＸ軸方向及びＹ軸方向に移動させるための駆動制御信号を送信する。ジョグシャトル１３４は、撮像ユニット１２０のＺ軸方向位置を設定するための操作入力手段であり、リモートボックス１３０は、ジョグシャトル１３４の回転方向、回転量、及び回転速度等に応じて、撮像ユニット１２０をＺ軸方向に移動させるための駆動制御信号を送信する。

コンピュータシステム１４０は、コンピュータ本体１４１、キーボード１４２、マウス１４３及びディスプレイ１４４を備える。図４は、コンピュータ本体１４１の構成を示すブロック図である。コンピュータ本体１４１は、制御の中心をなすＣＰＵ４０と、記憶部４１と、ワークメモリ４２と、インタフェース（図４において「ＩＦ」と示す。）４３、４４と、ディスプレイ１４４での表示を制御する表示制御部４５とを備える。

キーボード１４２又はマウス１４３から入力されるオペレータの指示情報は、インタフェース４３を介してＣＰＵ４０に入力される。インタフェース４４は、撮像ユニット１２０およびステージ１００と接続され、撮像ユニット１２０およびステージ１００に対しＣＰＵ４０からの各種制御信号を供給し、撮像ユニット１２０およびステージ１００から各種のステータス情報や測定結果を受信してＣＰＵ４０に入力する。

表示制御部４５は、ディスプレイ１４４に撮像ユニット１２０で撮像した画像を表示する。また、表示制御部４５は、撮像ユニット１２０により撮像した画像の他、画像測定機１への制御指示を入力するためのインタフェースや撮像した画像を解析するためのツールのインタフェース等をディスプレイ１４４に表示する。

ワークメモリ４２は、ＣＰＵ４０の各種処理のための作業領域を提供する。記憶部４１は、例えばハードディスクドライブやＲＡＭ等により構成され、ＣＰＵ４０により実行されるプログラム、撮像ユニット１２０で撮像して得られた画像データ等を格納する。

ＣＰＵ４０は、各インタフェースを介した各種入力情報、オペレータの指示や記憶部４１に格納された測定定義プログラム（パートプログラム）等に基づいて、撮像ユニット１２０、Ｘ軸駆動モータ、Ｙ軸駆動モータ、Ｚ軸駆動モータ等を制御し、撮像ユニット１２０の移動経路の設定、及び移動速度や露光時間の調整、光源１２６の光量の調整、撮像ユニット１２０による二次元画像の撮像、複数の部分画像を貼り合わせるイメージステッチ処理、撮像して得られた全体画像の解析等の各種の処理を実行する。

以下では、上述の画像測定機１を用いて行う測定について説明する。

〔基本的な画像測定〕
はじめに、オペレータによるジョイスティック１３２の操作またはコンピュータシステム１４０による制御により、ワークＷが撮像視野内に入るようステージ１００を移動する。そして、ワークＷにピントが合うよう、撮像ユニット１２０のＺ軸方向位置を調節する。ピントをワークＷに合せた後、撮像手段１２４により測定用の画像を撮像する。このとき、撮像した画像とともに、Ｘ軸エンコーダ１１２およびＹ軸エンコーダ１１４が出力するステージ１００の座標が、コンピュータシステム１４０に取り込まれ、記憶部４１に格納される。具体的には、撮像手段１２４が１枚の画像の撮像を完了するタイミングでラッチ手段１１８に対するトリガ信号となるパルスを出力する。ラッチ手段１１８は、当該パルスの立ち上がり遷移のタイミングで（つまり、画像の撮像完了とほぼ同時に）、各軸の位置座標をラッチし保持する。コンピュータシステム１４０は、撮像手段１２４から画像信号を取り込むとともに、ラッチ手段１１８から画像を撮像したときの位置座標を取りこみ、両者を対応付けて記憶する。

コンピュータシステム１４０は、得られた測定用の画像を、当該画像を解析するための測定ツールのインタフェースとともに、ディスプレイ１４４に表示する。図５は、画面表示の例を示す図である。この画面表示は、コンピュータシステム１４０のＣＰＵ４０で実行されるプログラム（測定用アプリケーションソフトウェア）によってディスプレイ１４４に映し出される。

図５に示すように、プログラムの実行によってディスプレイ１４４にはメインウィンドウＭＷが表示される。また、メインウィンドウＭＷの中には複数のウィンドウ（第１ウィンドウＷ１～第８ウィンドウＷ８）が表示される。メインウィンドウＭＷの上側には、メニューや各種操作及び設定のためのアイコンも表示される。なお、本実施形態では一例として８つのウィンドウを表示する例を示すが、必要に応じて８つ以外のウィンドウを表示してもよいし、ウィンドウの分割・統合・用途に応じた省略をしてもよい。また、各ウィンドウのレイアウトはオペレータの操作によって自由に変更することができる。

第１ウィンドウＷ１には、撮像ユニット１２０で取り込んだワークＷの画像ＷＧが表示される。オペレータは、例えばマウス１４３やリモートボックス１３０のジョイスティック１３２を操作することで第１ウィンドウＷ１に表示させるワークＷの画像ＷＧの位置を調整することができる。また、オペレータは、例えばマウス１４３によるアイコンの選択によって、ワークＷの画像ＷＧを拡大・縮小することもできる。

第２ウィンドウＷ２には、オペレータによって選択可能な測定ツールのアイコンが表示される。測定ツールのアイコンは、ワークＷの画像ＷＧから測定ポイントを指定するための指定方法に対応して設けられている。測定ツールの具体例としては、直線のエッジ検出ツール、円形のエッジ検出ツール等が挙げられる。

第３ウィンドウＷ３には、オペレータによって選択可能なファンクションのアイコンが表示される。ファンクションのアイコンは、測定方法ごとに設けられている。例えば、１点の座標を測定する方法、直線の長さを測定する方法、円形を測定する方法、楕円形を測定する方法、角穴を測定する方法、長穴を測定する方法、ピッチを測定する方法、２つの線の公差を測定する方法などである。コンピュータシステム１４０は、オペレータの選択に従い、直線の長さ、直線間の距離、円の径などの寸法の測定や、真直度、真円度、平行度等の理想的な幾何形状からのずれ（狂い）の評価を行う。

第４ウィンドウＷ４には、測定に関する操作手順を表すガイダンスが表示される。

第５ウィンドウＷ５には、撮像ユニット１２０からワークＷに照射する照明をコントロールするための各種スライダが表示される。オペレータは、このスライダを操作することで、ワークＷに対して所望の照明を当てることができる。

第６ウィンドウＷ６には、ステージ１００のＸＹ座標値が表示される。第６ウィンドウＷ６に表示されるＸＹ座標値は、所定の原点に対するステージ１００のＸ軸方向の座標及びＹ軸方向の座標である。

第７ウィンドウＷ７には、公差判定結果が表示される。すなわち、第７ウィンドウＷ７には、公差の判定を行うことができる測定方法を選択した場合に、その結果が表示される。

第８ウィンドウＷ８には、測定結果が表示される。すなわち、第８ウィンドウＷ８には、所定の演算によって測定結果を得る測定方法が選択された場合に、その測定結果が表示される。なお、第７ウィンドウＷ７の公差判定結果及び第８ウィンドウＷ８の測定結果の表示の詳細は図示を省略する。

〔外観検査の画面〕
本実施形態の画像測定機１では、コンピュータシステム１４０のＣＰＵ４０で実行されるプログラム（測定用アプリケーションソフトウェア）は、上記のような基本的な画像測定に加え、ワークＷの微細な欠け、変形、バリ、汚れ等といった欠陥に着目したいわゆる外観検査を行う機能を提供する。

図６は、外観検査用の画面（以下、外観検査画面という）の一例を示している。外観検査画面は、画像ペインＰ１、フィルムストリップペインＰ２、測定結果表示ペインＰ３、及びコントロールペインＰ４で構成される。外観検査画面は後述する画像処理及び欠陥判定のアルゴリズム毎に異なるタブとして設けられてもよいが、この場合においても各タブは、それぞれ画像ペインＰ１、フィルムストリップペインＰ２、測定結果表示ペインＰ３、及びコントロールペインＰ４で構成される。

画像ペインＰ１は、外観検査の対象とする画像を表示する領域である。この画像ペインＰ１に表示された画像に対し、コントロールペインＰ４で設定する条件にて画像処理及び欠陥判定が行われる。

画像ペインＰ１上でマウスのドラッグ操作を行うと、ドラッグの始点と終点を結ぶ線分を対角線とする矩形の領域を、表示している画像に対して欠陥判定を行う領域として指定することができる。このドラッグ操作を行うと、画像ペインＰ１には指定された矩形の領域の輪郭を示す領域ツールが、画像に重畳して表示される。領域ツールはクリックにより選択することができ、選択により表示されるハンドルをドラッグすることによりサイズを変更することができる。また選択状態においてキーボードのＤＥＬキーを押下する操作により領域ツールを削除することもできる。

フィルムストリップペインＰ２は、外観検査を行うために読み込んだ画像をサムネイル形式で表示する領域である。フィルムストリップペインＰ２に表示されている画像の１つをダブルクリックすると、当該画像が画像ペインＰ１に表示され、画像処理及び欠陥判定の対象となる。画像を読み込んだ直後の初期状態では、所定の画像（例えば名前順、保存日時順等でソートしたときに先頭となる画像）がフィルムストリップペインＰ２において選択状態となり、画像ペインＰ１に表示される。

画像ペインＰ１で処理・判定した画像に欠陥がある場合は、フィルムストリップペインＰ２における当該欠陥が見つかった画像にハッチングＨを付し、欠陥の見つかっていない画像と容易に識別可能とする。このとき、ハッチングの態様を欠陥の数に応じて異ならせるとよい。例えば、処理した画像に欠陥があり、その数が所定数以上の場合、フィルムストリップペインＰ２における当該画像に赤でハッチングを付し、処理した画像に欠陥があるが、その数が一定数未満の場合、フィルムストリップペインＰ２における当該画像に橙でハッチングを付すといったようにするとよい。また、ハッチングの態様の境界となる所定数は、後述のコントロールペインＰ４にて設定可能とするとよい。

測定結果表示ペインＰ３は、画像ペインＰ１に表示されている画像に欠陥が見つかった場合に欠陥の情報を表示する領域である。欠陥が複数ある場合には、全ての欠陥の情報が一覧形式で表示される。測定結果表示ペインＰ３に一覧形式で表示されている欠陥の情報がクリックされると、当該欠陥の情報を画像内における当該欠陥と関連付けられた態様で画像ペインＰ１に表示する。具体的には、画像ペインＰ１に表示された画像に重畳して欠陥とされた領域Ｄを囲う図形（例えば欠陥の輪郭線、欠陥を内包する矩形等）を表示するとともに、当該図形に対し吹き出しを設けて欠陥の情報を表示するとよい。

コントロールペインＰ４は、画像ペインＰ１に表示されている画像に対して行う画像処理や欠陥判定の条件を設定するためのユーザインタフェースが表示される領域である。また、コントロールペインＰ４には、上記のユーザインタフェースに加え、画像ペインＰ１に表示されている画像に対応するワークＷの総合的な良否を示す総合判定が表示される。

コントロールペインＰ４にて提供されるユーザインタフェースにより、画像処理のパラメータ（例えば、二値化を行う場合の閾値、輝度値反転の有無等）、エッジ検出のパラメータ（例えば、エッジとみなす輝度変化量の閾値等）、欠陥判定のパラメータ（例えば、許容される欠陥サイズ（幅、高さ、面積等）の上限値等）、及び１枚の画像に許容される欠陥数の上限値等が設定可能とされる。ユーザインタフェースは、数値を直接入力する形式のほか、スライダバー、スイッチ等のＧＵＩ（Graphical User Interface）コントロールとして提供されてもよい。

総合判定は、画像ペインＰ１に表示されている画像に対応するワークＷの総合的な判定結果を示す。例えば、判定結果が合格（ＯＫ）の場合には、判定結果表示領域Ｒ１を黄緑色とするとともに「ＯＫ」と表示し、判定結果が不合格（ＮＧ）の場合には、判定結果表示領域を赤色とするとともに「ＮＧ」と表示する、といったように判定結果を視覚的に認識しやすくするとよい。判定の基準は任意であるが、例えば、１つのワークＷに対して複数の画像が得られている場合、これら複数の画像のうち１枚でも許容されないサイズの欠陥が許容数を超えて検出されている場合には、当該ワークＷ自体の検査結果が不合格（ＮＧ）とするとよい。さらに、各画像内で検出された許容されないサイズの欠陥の数が許容数を超えていない場合でも、１つのワークＷに対応する複数の画像で検出された欠陥の数の合計値が許容数を超える場合には、当該ワークＷの検査結果が不合格（ＮＧ）としてもよい。

〔外観検査の流れ〕
続いて、図７に示すフローチャートを参照して、外観検査の手順を説明する。なお、以下の説明において、処理の主体に特に言及がない場合、コンピュータシステム１４０のＣＰＵ４０で実行されるプログラムが主体であるものと理解されたい。

外観検査を開始するに先立ち、ユーザはプログラム（測定用アプリケーションソフトウェア）において外観検査を行うためのメニューを選択する。これに応じて、ディスプレイ１４４には外観検査画面が表示される。続いてプログラムは、ユーザに外観検査の対象とする１以上の画像を指定するようユーザに促す。これに応じてユーザが画像ファイルを指定すると、画像ファイルが読み込まれ、読み込まれた全ての画像がフィルムストリップペインＰ２に表示されるとともに、先頭の画像が画像ペインＰ１に表示される。ここで、読み込まれたすべての画像には、それぞれ対応するワークＷを識別する情報が付加情報として記録されているものとする。あるいは、ワークＷを識別する情報を付加情報として記録せず、一括して読み込むよう指定された複数の画像は同じワークＷについての画像であるものとして扱うようにしてもよい。

画像ペインＰ１に表示されている画像が外観検査の対象になるところ、先頭の画像以外の画像についてユーザが外観検査を希望する場合、ユーザがフィルムストリップペインＰ２において希望の画像をダブルクリックすることで、当該希望の画像を画像ペインＰ１に表示させることができる。このようにして外観検査の対象とする画像が画像ペインＰ１に表示された状態で、外観検査が開始される。

外観検査が開始されると、はじめにプログラムは、ユーザによる各種条件の設定を受け付ける（ステップＳ１００）。具体的には、画像処理及び欠陥判定のアルゴリズムに対応するタブの選択、画像処理のパラメータ（二値化の閾値等）の設定、欠陥判定のパラメータ（許容される欠陥の幅、高さ、面積等）の設定、許容欠陥数の設定等を受け付ける。なお、これらの設定は、任意のタイミングで変更することも可能とされる。

続いて、欠陥を検出する対象領域が特定される（ステップＳ１１０）。対象領域の特定方法は任意である。例えば、ユーザの操作により領域ツールを用いて対象領域を指定してもよいし、エッジ抽出により抽出されたエッジにより仕切られた領域を自動的に対象領域として特定してもよい。あるいは、画像内に含まれる特定の形状や位置の領域を対象領域として特定してもよい。

続いて、ステップＳ１００で設定された画像処理のパラメータに基づき画像処理が実施される（ステップＳ１２０）。画像処理は画像全体に対して適用されてもよいし、対象領域にのみ適用されてもよい。ここで行われる画像処理としては、例えば、明暗の反転、ノイズ除去、二値化等が挙げられるが、欠陥の形状やサイズを特定しやすくするために画像は最終的に二値化されるものとする。

次に、ステップＳ１２０で処理され二値化された画像において、対象領域内で黒（つまり画素の値が０）の領域が欠陥として検出される（ステップＳ１３０）。黒の領域が複数ある場合には、それぞれが別の欠陥として検出される。このとき、プログラムは、検出された欠陥をユーザが認識し易くするための画面表示を行う。すなわち、画像ペインＰ１に表示された画像に重畳して欠陥とされた領域Ｄを囲う図形（例えば欠陥の輪郭線、欠陥を内包する矩形等）を表示する。また、測定結果表示ペインＰ３に一覧形式で表示されている欠陥の情報がクリックされると、当該図形に対し吹き出しを設けて欠陥の情報を表示する。

続いて、ステップＳ１３０にて検出した欠陥のそれぞれについて、ステップＳ１００で設定した欠陥判定のパラメータと照らし合わせて、許容されるサイズを超えるか否かを判定し、許容されるサイズを超える欠陥の数を計数する（ステップＳ１４０）。そして、許容されるサイズを超える欠陥の数をステップＳ１００で設定した許容欠陥数と比較し、比較結果に応じて当該画像についての合否判定を行う（ステップＳ１５０）。

また、測定用アプリケーションソフトウェアは、検出された欠陥の数及び許容欠陥数との比較結果に応じて、欠陥の検出状況をユーザが認識し易くするための画面表示を行う（ステップＳ１６０）。すなわち、検出された欠陥の数が許容欠陥数を超える場合、フィルムストリップペインＰ２におけるこの画像について、赤色等の目立つ色でハッチングを付す。また、検出された欠陥の数はゼロでないものの許容欠陥数を超えていない場合、フィルムストリップペインＰ２におけるこの画像について、許容欠陥数を超える場合に付すハッチングと比べ目立ちにくい色（例えば橙）でハッチングを付す。また、欠陥が検出されなかった場合には（検出数０）、フィルムストリップペインＰ２におけるこの画像にはハッチングを付さない。このようにして付されたハッチングは、当該画像に対する外観検査を終えた後もその状態が維持される。したがって、ユーザは外観検査を終えた複数の画像について、欠陥の検出状況を一目で認識することができる。

続いて、ステップＳ１５０にて行った当該画像についての合否判定に加え、当該画像に対応するワークＷについての総合判定を行う（ステップＳ１６０）。この総合判定は、当該画像と同じワークＷの別の画像における検出された欠陥数や合否判定の結果を集約して行われる。例えば、１枚でも合否判定の結果が不合格の画像がある場合や、個々の画像内で検出された許容されないサイズの欠陥の数が許容数を超えていないものの、各画像で検出された欠陥数の合計値が許容数を超える場合には、当該画像に対応するワークＷの検査結果を不合格とするとよい。

以上により、１枚の画像に対する外観検査を終了する。その後も読み込んだ全ての画像について、対象を適宜選択しつつ外観検査が行われる。

〔画像処理及び欠陥判定のアルゴリズムの具体例〕
続いて、画像ペインＰ１に表示されている画像に対して行われる画像処理及び欠陥判定のアルゴリズムの具体例を説明する。

［例１：Binarization］
「二値化（Binarization）」は、画像内における所定の領域内に含まれる欠陥を検出するアルゴリズムである。前掲の図６に示すように、「二値化」のアルゴリズムのタブを選択すると、設定パラメータとして、二値化の閾値（Brightness Threshold）、許容される欠陥のサイズ（Allowable defect size；幅、高さ、面積）、許容欠陥数（Allowable defect number）がコントロールペインＰ４にて設定可能とされる。適宜パラメータを設定し、フィルムストリップペインＰ２において外観検査の対象とする画像を選択すると、欠陥対象領域として画像中央部の面取り四角形の内部が対象領域として特定される。

そして、当該対象領域内が閾値に応じて二値化され、二値化の結果黒色となった領域が欠陥として検出される。検出された欠陥について、画像ペインＰ１に表示された画像に重畳して欠陥とされた領域Ｄを囲う輪郭線と欠陥を内包する矩形を表示する。また、検出された欠陥の情報を測定結果表示ペインＰ３に一覧形式で表示する。検出された欠陥について、許容されるサイズを超えるものの数が計数される。この計数値に応じて、フィルムストリップペインＰ２の当該画像にハッチングが付される。また、計数値が許容欠陥数を超える場合、当該画像に対応するワークは不合格とされる。

［例２：Area］
「エリア（Area）」は、画像内で抽出されたエッジにて仕切られた領域内に含まれる欠陥を検出するアルゴリズムである。図８に示すように、「エリア」のアルゴリズムのタブを選択すると、設定パラメータとして、二値化の閾値（Brightness Threshold）、輝度値の反転（Defective in the dark）、エッジとみなす変化量の閾値（Amount of change considered as an edge）、許容される欠陥のサイズ（Allowable defect size；幅、高さ、面積）、許容欠陥数（Allowable defect number）がコントロールペインＰ４にて設定可能とされる。適宜パラメータを設定し、フィルムストリップペインＰ２において外観検査の対象とする画像を選択すると、画像ペインＰ１に選択した画像が表示される。

画像ペインＰ１に表示された画像に対し、領域ツールによりエッジ検出をする領域を設定する。すると、設定した領域内に存在するエッジが抽出される。このエッジをフィッティングした直線によって画像が２つの領域に仕切られる。この２つの領域のうち明るい側の領域が対象領域として特定される。なお、暗い側の領域を対象領域としたい場合には、輝度値の反転を設定して明暗を逆転させる。

そして、対象領域内が二値化の閾値に応じて二値化され、二値化の結果黒色となった領域が欠陥として検出される。検出された欠陥について、画像ペインＰ１に表示された画像に重畳して欠陥とされた領域Ｄを囲う輪郭線と欠陥を内包する矩形を表示する。また、検出された欠陥の情報を測定結果表示ペインＰ３に一覧形式で表示する。検出された欠陥について、許容されるサイズを超えるものの数が計数される。この計数値に応じて、フィルムストリップペインＰ２の当該画像にハッチングが付される。また、計数値が許容欠陥数を超える場合、当該画像に対応するワークは不合格とされる。

また、当該画像における計数値が許容欠陥数を超えない場合であっても、同じワークにおける別の部位が写った画像についての計数値との合計がワーク全体としての許容欠陥数を超える場合には、当該ワークを不合格とする総合判定をするとよい。例えば、図８の例では、円形のワークの縁部が複数の画像に分けて撮像されており、これらの画像がフィルムストリップペインＰ２に表示されている。これらの画像についての計数値を集約して、ワーク全体としての欠陥数の計数値を求め、ワーク全体についての許容欠陥数と対比して総合判定が行われる。

［例３：Comparison］
「比較（Comparison）」は、画像内でエッジを抽出し、この抽出したエッジ位置を基準とするマスタ画像におけるエッジ位置と比較して欠陥を検出するアルゴリズムであり、エッジ部に生じる欠陥（欠け、バリ等）の検出に好適に用いられる。図９に示すように、「比較」のアルゴリズムのタブを選択すると、設定パラメータとして、検出されたエッジ全体としてのマスタ画像のエッジからの誤差の閾値（Master Threshold）、エッジとみなす変化量の閾値（Amount of change considered as an edge）、許容される欠陥のサイズ（Allowable defect size；長さ（連続画素数）、深さ（マスタ画像でのエッジからの誤差）、許容欠陥数（Allowable defect number）がコントロールペインＰ４にて設定可能とされる。適宜パラメータを設定し、フィルムストリップペインＰ２において外観検査の対象とする画像を選択すると、画像ペインＰ１に選択した画像が表示される。

画像ペインＰ１に表示された画像に対し、領域ツールによりエッジ検出をする領域を設定する。「比較」のアルゴリズムでは、このとき設定する領域が対象領域となる。対象領域を設定すると、プログラムは対象領域内に存在するエッジを抽出する。そして、抽出したエッジをマスタ画像で抽出されたエッジと対比して、ずれのある部分を欠陥として検出する。そして、検出された欠陥の情報を測定結果表示ペインＰ３に一覧形式で表示する。検出された欠陥について、許容されるサイズ（長さ・深さ）を超えるものの数が計数される。この計数値に応じて、フィルムストリップペインＰ２の当該画像にハッチングが付される。また、計数値が許容欠陥数を超える場合、当該画像に対応するワークは不合格とされる。

また、当該画像における計数値が許容欠陥数を超えない場合であっても、同じワークにおける別の部位が写った画像についての計数値との合計がワーク全体としての許容欠陥数を超える場合には、当該ワークを不合格とする総合判定をするとよい。また、当該画像で検出されたエッジが全体としてマスタ画像で検出されたエッジから閾値（Master Threshold）を超えてずれている場合には、総合判定を不合格としてもよい。

上記の「比較」のアルゴリズムでは、設計データ等の理想的な基準を事前に準備しなくても、多数のワークのいずれかを基準（マスタ）として欠陥の検出を行うことができる。マスタ画像の決め方は任意であるが、例えば、外観検査の対象とすべく読み込んだ複数の画像のうち、最初に外観検査を行った画像をマスタ画像とするとよい。このようにすれば、共通の基準に照らして多数の画像の欠陥を検出し外観検査を行うことできる。

あるいは、外観検査の対象とすべく読み込んだ複数の画像に対し順次外観検査を行うケースにおいて、直前に外観検査を行った画像（あるいは直前に合格判定となった画像）をマスタ画像としてもよい。この場合、複数の画像が共通の基準に照らして検査することにはならない。しかし、ワークの製造・加工プロセスの経時変化等に起因して検査対象のエッジの位置、形状等が徐々に変化することが想定される場合、製造・加工がなされた順に従って外観検査を行うというルールの下で、最初の画像ではなく直前の画像を用いることで、経時的変化の影響を排除しつつ、経時変化で想定される以上のサイズの欠陥を適切に検出して外観検査を行うことが可能となる。

［例４：Outlier］
「異常値（Outlier）」は、画像内でエッジを抽出し、この抽出したエッジを直線等の理想的なエッジと比較して欠陥を検出するアルゴリズムであり、エッジ部に生じる欠陥（欠け、バリ等）の検出に好適に用いられる。図１０に示すように、「異常値」のアルゴリズムのタブを選択すると、設定パラメータとして、基準とする理想的なエッジからの誤差の閾値（Error）、エッジとみなす変化量の閾値（Amount of change considered as an edge）、許容される欠陥のサイズ（Allowable defect size；長さ（連続画素数）、深さ（スムーズなエッジからの誤差））、許容欠陥数（Allowable defect number）がコントロールペインＰ４にて設定可能とされる。適宜パラメータを設定し、フィルムストリップペインＰ２において外観検査の対象とする画像を選択すると、画像ペインＰ１に選択した画像が表示される。

画像ペインＰ１に表示された画像に対し、領域ツールによりエッジ検出をする領域を設定する。「異常値」のアルゴリズムでは、このとき設定する領域が対象領域となる。対象領域を設定すると、プログラムは対象領域内に存在するエッジを抽出する。そして、抽出したエッジに近似される直線等の理想的なエッジを求める。そして、フィッティングにより得られた理想的なエッジに対しずれのある部分を欠陥として検出する。そして、検出された欠陥の情報を測定結果表示ペインＰ３に一覧形式で表示する。検出された欠陥について、許容されるサイズ（長さ・深さ）を超えるものの数が計数される。この計数値に応じて、フィルムストリップペインＰ２の当該画像にハッチングが付される。また、計数値が許容欠陥数を超える場合、当該画像に対応するワークは不合格とされる。

また、当該画像における計数値が許容欠陥数を超えない場合であっても、同じワークにおける別の部位が写った画像についての計数値との合計がワーク全体としての許容欠陥数を超える場合には、当該ワークを不合格とする総合判定をするとよい。また、当該画像で検出されたエッジが全体として理想的なエッジから閾値（Error）を超えてずれている場合には、総合判定を不合格としてもよい。

本実施形態の画像測定機１によれば、以上で説明したアルゴリズムを用いて、ワークの微細な欠け、変形、バリ、汚れ等といった欠陥に着目したいわゆる外観検査を行うことができる。

〔実施形態の変形〕
本発明は上記の実施形態の例に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれる。前述の実施形態またはその具体例に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含有される。

１ 画像測定機
４０ ＣＰＵ ４１ 記憶部 ４２ ワークメモリ
４３、４４ インタフェース ４５ 表示制御部
１００ ステージ
１１０ 位置取得手段
１１２ Ｘ軸エンコーダ １１４ Ｙ軸エンコーダ １１６ Ｚ軸エンコーダ
１１８ ラッチ手段
１１８ａ カウンタ １１８ｂ バッファ
１２０ 撮像ユニット
１２２ 光学系
１２４ 撮像手段
１２６、１２６ａ、１２６ｂ 光源
１３０ リモートボックス
１３２ ジョイスティック １３４ ジョグシャトル
１４０ コンピュータシステム
１４１ コンピュータ本体 １４２ キーボード １４３ マウス
１４４ ディスプレイ
Ｐ１ 画像ペイン
Ｐ２ フィルムストリップペイン
Ｐ３ 測定結果表示ペイン
Ｐ４ コントロールペイン
Ｗ ワーク

Claims (6)

1. 検査対象画像における対象領域を特定する対象領域特定ステップと、
   特定した前記対象領域に含まれる欠陥を検出する欠陥検出ステップと、
   検出した前記欠陥の数を計数する欠陥計数ステップと、
   計数された前記欠陥の数に基づき前記検査対象画像に写る対象物の合否を判定する判定ステップと
   を備え、
   １つの前記対象物について複数の前記検査対象画像が得られている場合に、前記判定ステップにおいて、各検査対象画像内で検出された欠陥の数が許容数を超えていない場合であっても、１つの前記対象物についての複数の前記検査対象画像で検出された欠陥の数の合計値が許容数を超える場合には、当該対象物を不合格とすることを特徴とする外観検査方法。
2. 前記欠陥検出ステップは、
   前記対象領域に含まれるエッジを抽出するステップと、
   抽出したエッジを基準とするマスタ画像におけるエッジと比較して欠陥を検出するステップと
   を有することを特徴とする請求項１に記載の外観検査方法。
3. 複数の検査対象画像に対し外観検査方法を適用する場合において、前記マスタ画像は前記複数の検査対象画像のうち最初に外観検査方法が適用された画像であることを特徴とする請求項２に記載の外観検査方法。
4. 複数の検査対象画像に対し外観検査方法を適用する場合において、前記マスタ画像は前記複数の検査対象画像のうち直前に外観検査方法が適用された画像であることを特徴とする請求項２に記載の外観検査方法。
5. 複数の検査対象画像に対し外観検査方法を適用する場合において、前記マスタ画像は前記複数の検査対象画像のうち、直前に外観検査方法が適用された結果合格と判定された画像であることを特徴とする請求項２に記載の外観検査方法。
6. コンピュータに請求項１から５のいずれか１項に記載の外観検査方法を実行させるためのプログラム。
   

Images