JP5564349B2 - 画像処理装置及び外観検査方法 - Google Patents

Description

本発明は、ワークをカメラで撮像して、得られた画像データを用いて計測処理を実行する画像処理装置及び外観検査方法に関する。

工場など数多くの生産現場では、人の目視に頼っていた検査を自動化・高速化するために、画像処理装置が導入されている。画像処理装置は、ベルトコンベア等の生産ラインを流れてくるワークをカメラによって撮像し、得られた画像データを用いて所定領域のエッジ検出や面積計算などの計測処理を実行する。そして、計測処理の処理結果に基づいて、ワークの欠けやバリの有無について検査を行い、ワークの良否を判定する。ＦＡ現場では、画像処理装置は、ワークの良否を判定するＦＡセンサの一つとして利用される。

このような画像処理装置を用いて、例えば印字等によりワークに所定形状の図形が正しく形成されているか否かを検査する場合には、まず、所定形状と同一の基準図形を画像処理装置に予め記憶しておく。そして、ワークをカメラによって撮像し、得られた画像データ上にて基準図形を用いたパターンマッチング処理（例えば正規化相関演算など）を行い、処理結果に基づいてワークの良否を判定する。ただし、実際の運用場面では、大量のワークの良否判定を高速に行う必要があるため、得られた画像データの全領域でパターンマッチング処理を施すのではなく、得られた画像データのうち検査したい図形が含まれる領域（検査領域）を特定して、この検査領域内でのみパターンマッチング処理を施すようにしている。これにより、検査領域外に存在する図形に起因した誤検出を防ぎ、ワークの良否判定精度を高めることができる。また、パターンマッチング処理やエッジ抽出処理など、画像処理装置における各種計測処理や前処理の演算量を減らし、ひいてはワークの良否判定の高速化を図ることができる。

ここで、生産ライン上を流れてくるワークが規則正しく整列している場合には、得られた画像データにおける検査領域は固定しておけばよい。そのため、この場合、検査領域の特定は容易である（例えば、得られた画像データの中央部分を対角線の交点とする矩形領域を検査領域とする等）。しかし、ワークが常に規則正しく整列しているとは限らず、本来あるべき位置からずれた状態、或いは、その基本姿勢から傾いた状態で流れてくることもある。このようなときには、検査したい図形も、本来あるべき位置からずれた状態、或いは、その基本姿勢から傾いた状態になってしまうことから、画像データにおける検査領域の位置や傾きを補正する必要がある。そこで、例えばワークに位置決め用のアライメントマークを予め形成しておき、このアライメントマークを利用することで、検査領域の位置や傾きを補正する技術が知られている（例えば特許文献１参照）。

具体的には、まず、ワークに位置決め用のアライメントマーク（例えば十字マーク）を形成しておく。このアライメントマークは、検査したい図形がワークに形成されている位置と一定の位置関係・角度関係を有している。例えば得られた画像データにおいて、アライメントマークが検査したい図形の重心位置から上方に５００ピクセル、左方に５００ピクセルの位置に現れるように、アライメントマークを形成しておく。実際の運用場面では、カメラによって得られた画像データからアライメントマークの位置を検出するとともに、その基準姿勢からの傾きも検出する。そして、検出したアライメントマークの位置に基づいて、検査したい図形が含まれる検査領域（例えば矩形領域）の位置を補正し、かつ、検出したアライメントマークの傾きに基づいて、その検査領域の傾きを補正する。このような補正処理を経て確定した検査領域内で、基準図形を用いてパターンマッチング処理を行い、処理結果に基づいてワークの良否を判定する。

このように、得られた画像データにおいて検査領域の位置や傾きを補正するためには、予めワークに形成したアライメントマークを得られた画像データから検出することが重要になる。

特開平０７−２７０３３１号公報

しかしながら、ワークに形成されたアライメントマークを安定して検出できない場合がある。例えば、アライメントマークが周囲の色（例えば白）と異なる色（例えば黒）で描かれた十字マークの場合には、エッジ処理等によって検出可能である。しかし、アライメントマークがプレスによる僅かな凹凸で構成される十字マークの場合には、得られた画像データのうちアライメントマーク部分の各画素の濃淡が大きく変化しないため、エッジ処理等によっても検出困難になる虞がある。アライメントマークを検出できない場合には、上述したように検査領域の位置や傾きを補正することができず、結果として、ワークの良否判定を適切に行うことができない。

この点、例えば検査時にワークを照らす照明の当て方を工夫して、凹凸に起因する陰影を検出してアライメントマークを検出することも考えられる。しかし、周囲の照明環境によって常に明瞭な陰影が検出されるとは限らないし、また、照明の当て方を工夫しなければならないとなると照明を設置する作業の手間が掛かる。

本発明は、以上の点に鑑みてなされたものであり、その目的は、安定的に検査領域を特定することが可能な画像処理装置及び外観検査方法を提供することにある。

本発明に係る画像処理装置は、ワークを撮像するカメラを有し、当該カメラから取得した画像に基づいてワーク表面における所定の検査範囲を検査し、ワークの良否を判定する画像処理装置において、各画素が、カメラの受光量に応じた濃淡値を有する濃淡画像を取得する濃淡画像取得手段と、カメラから取得した画像を用いて、カメラからワーク表面までの距離を算出する距離算出手段と、各画素が、算出された距離に応じた濃淡値を有する距離画像を生成する距離画像生成手段と、濃淡画像と距離画像の一方の画像において、他方の画像上で検査範囲に相当する検査領域を特定するための特定パターンを検出する特定パターン検出手段と、濃淡画像と距離画像の他方の画像において、特定パターン検出手段により検出された特定パターンの位置及び傾斜角度の少なくとも一方に基づいて、検査領域を特定する検査領域特定手段と、特定された検査領域から特徴量を算出する特徴量算出手段と、算出された特徴量に基づいて、ワークの良否を判定する判定手段と、を備える。

すなわち、一般的な濃淡画像と、カメラからワーク表面までの距離に応じた濃淡値を有する距離画像との一方の画像で特定パターンを検出し、他方の画像で検出した特定パターンの位置又は傾斜角度の少なくとも一方に基づいて検査領域を特定し、特定された検査領域から特徴量を算出してワークの良否を判定するようにしているので、例えば特定パターンとしてのアライメントマークが、プレスによる僅かな凹凸で構成されるような場合であっても、その凹凸の検出が可能な距離画像において、アライメントマークを検出することができる。これにより、検出されたアライメントマークの位置及び傾斜角度の少なくとも一方に基づいて濃淡画像上で検査領域を特定することができるので、安定的に検査領域を特定することができる。なお、ワークが流れてくる生産ラインの制約上、アライメントマークが傾かない場合には、アライメントマークの位置のみに基づいて検査領域を特定してもよい。逆に、アライメントマークの（重心）位置が定位置である場合には、アライメントマークの傾斜角度のみに基づいて検査領域を特定してもよい。

また、本発明に係る画像処理装置は、検査領域特定手段により検査領域を特定するにあたって、他方の画像上で特定パターンと一定の相対位置関係にある基準検査領域の設定を受け付け、一方の画像上で検出された特定パターンの位置及び傾斜角度の少なくとも一方に基づいて、他方の画像上の基準検査領域を位置補正することによって検査領域を特定してもよい。これにより、ユーザは所望の基準検査領域を設定することができるので、画像処理装置の使い勝手を向上させることができる。

また、本発明に係る画像処理装置は、検査領域特定手段により検査領域を特定するにあたって、一方の画像上で抽出されたエッジに基づくエッジパターンを特定パターンとし、この特定パターンの位置及び傾斜角度の少なくとも一方に基づいて、他方の画像上でエッジパターンに対応する領域を生成することによって検査領域を特定してもよい。これにより、ユーザは上述した基準検査領域を設定しなくても、検出領域を適切に特定することができ、設定作業の手間を省くことができる。

また、本発明に係る画像処理装置は、特定パターンを検出するための検出条件（例えば前処理に用いるフィルタの種類や、検出に用いるしきい値としてのエッジ強度の大きさ、或いは、正規化相関演算により特定パターンを検出するための基準画像など）の設定を受け付ける検出条件設定受付手段と、その検出条件を記憶する検出条件記憶手段とを備え、特定パターン検出出手段は、記憶された検出条件に基づいて、他方の画像上で検査範囲に相当する検査領域を特定するための特定パターンを検出するような構成にしてもよい。これにより、最適な検出条件を設定しておくことにより、特定パターンの検出精度を高めることができ、ひいては検出領域の特定精度を高めることができる。

また、濃淡画像を取得するカメラと距離画像の生成に用いるカメラとは同一であるような構成にしてもよい。これにより、同一ワークの同一領域について濃淡画像と距離画像を得ることができるので、カメラ内部およびカメラ間の相対的なパラメータを求める為のキャリブレーションおよび、求められたパラメータに基づいた検出位置の補正をする必要がなく、計測処理の処理負荷を軽減することができる。

また、検査領域特定手段は、濃淡画像と距離画像の一方の画像においても、特定パターン検出手段により検出された特定パターンの位置及び傾斜角度の少なくとも一方に基づいて、検査領域を特定し、特徴量算出手段は、濃淡画像及び距離画像において特定された検査領域から、それぞれ第一及び第二の特徴量を算出するとともに、判定手段は、第一及び第二の特徴量のうち少なくとも一方に基づいて、ワークの良否を判定するような構成にしてもよい。これにより、第一及び第二の特徴量のいずれか一方を用いた外観検査を行うこともできるし、第一及び第二の特徴量の両方を用いた外観検査を行うこともできるので、画像処理装置のユーザビリティを高めることができる。

また、第一及び第二の特徴量の両方に基づいてワークの良否を判定するような構成にしてもよい。これにより、ユーザは、例えば濃淡画像上で検出可能な汚れと距離画像上で検出可能な凹みとのうち、いずれか一方は許容するが他方は許容しない（例えばワークの多少の凹みは許容するが、ワークの汚れは許容しない）、といったようなバリエーション豊富な外観検査を行うことができ、ひいては使い勝手を更に向上させることができる。

以上説明したように、本発明によれば、安定的に検査領域を特定することができ、ひいては外観検査精度を高めることができる。

本発明の実施の形態に係る画像処理装置を含む画像システムのシステム構成例を示す図である。 距離画像について説明するための説明図である。 本実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。 本実施形態に係る画像処理装置の機能構成例を示す図である。 本実施形態に係る画像処理装置において検査領域が特定される様子に関する説明図である。 本実施形態に係る画像処理装置において検査領域が特定される様子に関する説明図である。 本実施形態に係る画像処理装置において検査領域が特定される様子に関する説明図である。 本実施形態に係る画像処理装置において検査領域が特定される様子に関する説明図である。 本実施形態に係る画像処理装置において検査領域が特定される様子に関する説明図である。 本実施形態に係る画像処理装置において検査領域が特定される様子に関する説明図である。 本実施形態に係る画像処理装置において検査領域が特定される様子に関する説明図である。 本実施形態に係る画像処理装置において検査領域が特定される様子に関する説明図である。 本実施形態に係る画像処理装置においてモニタに表示されるユーザインターフェース画面の一例を示す図である。 本実施形態に係る画像処理装置においてモニタに表示されるユーザインターフェース画面の一例を示す図である。 本実施形態に係る画像処理装置においてモニタに表示されるユーザインターフェース画面の一例を示す図である。 本実施形態に係る画像処理装置においてモニタに表示されるユーザインターフェース画面の一例を示す図である。 本実施形態に係る画像処理装置においてモニタに表示されるユーザインターフェース画面の一例を示す図である。 本実施形態に係る画像処理装置においてモニタに表示されるユーザインターフェース画面の一例を示す図である。 本実施形態に係る画像処理装置においてモニタに表示されるユーザインターフェース画面の一例を示す図である。 、本実施形態に係る画像処理装置の処理動作を示すフローチャートである。 図４に示す機能構成において濃淡画像取得手段と距離算出手段及び距離画像生成手段とを入れ替えたときのアプリケーション具体例を示す図である。 アライメントマークを用いずに検査領域を特定するアプリケーション具体例を示す図である。 本実施形態に係る画像処理装置の別の機能構成例を示す図である。 検査領域が特定される（検査領域が生成される）様子を示すアプリケーション具体例（外観検査例）である。 距離画像又は濃淡画像からエッジパターンを生成する方法の一例について説明するための説明図である。 濃淡画像と距離画像の両方を用いた外観検査を行うアプリケーション例である。 特徴量算出手段によって第一及び第二の特徴量が算出され、これらのうち少なくとも一方を用いるための選択画面の一例を示す図である。 特徴量算出手段によって算出された第一及び第二の特徴量の両方を用いて、ワークの良否判定を行うアプリケーション具体例を示す図である。

以下、本発明の実施の形態に係る画像処理装置について、図面に基づいて具体的に説明する。

［システム構成］
図１は、本発明の実施の形態に係る画像処理装置１０を含む画像システム１のシステム構成例を示す図である。

図１に示す画像システム１は、エッジ検出や面積計算などの計測処理を実行する画像処理装置１０と、ワーク（検査対象物）を撮像するカメラ３０と、液晶パネル等のモニタ４０と、ユーザがモニタ４０上で各種操作するためのコンソール５０と、ワークを照らす照明装置６０と、を有している。カメラ３０、モニタ４０、コンソール５０、及び照明装置６０は、画像処理装置１０と着脱可能に接続される。これらのうち照明装置６０は、距離画像（詳細は後述する）を生成するためにワークを照らす照明手段として用いられ、例えば、ワークに対してライン状のレーザ光を投光する光投影器であってもよいし、ワークに正弦波縞模様パターンを投影するためのパターン投影器であってもよい。図１では省略するが、明視野照明や暗視野照明を行うための一般的な照明装置（例えばリング照明器など）が別途設けられてもよい（照明装置６０に、一般的な照明装置としての機能をもたせることも可能である）。

画像処理装置１０は、カメラ３０から得られた画像データを用いて画像処理を実行し、外部接続されたＰＬＣ（Programmable Logic Controller）７０などの制御機器に対し、ワークの良否などの判定結果を示す信号として判定信号を出力する。

カメラ３０は、ＰＬＣ７０から入力される制御信号、例えばカメラ３０から画像データを取り込むタイミングを規定する撮像トリガ信号に基づいて、検査対象物の撮像を行う。モニタ４０は、検査対象物を撮像して得られた画像データや、その画像データを用いた計測処理の結果を表示するための表示装置である。コンソール５０は、モニタ４０上でフォーカス位置を移動させたり、メニュー項目を選択したりするための入力装置である。一般に、ユーザは、モニタ４０を視認することによって、画像処理装置１０の運転中の動作状態を確認することができる。また、後述するように、ユーザは、モニタ４０を視認しつつ、コンソール５０を操作することによって、必要に応じて各種設定や各種編集を行うことができる。

また、画像処理装置１０は、画像処理装置１０の制御プログラムを生成するためのＰＣ８０を接続することもでき、このＰＣ８０上で動作するソフトウェアによって、画像処理の処理順序を規定する処理順序プログラムを生成することができる。画像処理装置１０では、その処理順序に沿って各画像処理が順次実行される。ＰＣ８０と画像処理装置１０とは、通信ネットワークを介して接続されており、ＰＣ８０上で生成された処理順序プログラムは、例えばモニタ４０の表示態様を規定するレイアウト情報などとともに、画像処理装置１０に転送される。また逆に、画像処理装置１０から処理順序プログラムやレイアウト情報などを取り込んで、ＰＣ８０上で編集することもできる。なお、この処理順序プログラムは、ＰＣ８０だけでなく、画像処理装置１０においても生成できるようにしてもよい。

［距離画像の生成］
図１に示すカメラ３０と照明装置６０を利用することで得られる「距離画像」とは、ワークを撮像するカメラ３０から、ワークまでの距離に応じて各画素の濃淡値が変化する画像をいう。換言すれば、カメラ３０からワークまでの距離に基づいて濃淡値が決定される画像ともいえるし、ワークまでの距離に応じた濃淡値を有する多値画像ともいえるし、或いは、ワークの高さに応じた濃淡値を有する多値画像ともいえる。さらに、濃淡画像の画素ごとに、カメラ３０からの距離を濃淡値に変換した多値画像ともいえる。例えば、図２（ａ）に示すように、半径の異なる円柱が２段重なったようなワークの距離画像を考える。ワークの最上面Ｓ_１とカメラ３０までの距離はｌ_１であり、ワークの中段面Ｓ_２とカメラ３０までの距離はｌ_２であり、ワークの載置面Ｓ_３とカメラ３０までの距離はｌ_３であり、ワークの高さはＬ（＝ｌ_３−ｌ_１）である。このようなワークから、例えば図２（ｂ）に示すような距離画像を得ることができる。図２（ｂ）によれば、ワークの最上面Ｓ_１が最も濃く（例えば黒色）、ワークの載置面Ｓ_３が最も薄く（例えば白色）、ワークの中段面Ｓ_２がこれらの中間色（例えば灰色）となっている。すなわち、ワークとカメラ３０までの距離ｌ_１，ｌ_２，ｌ_３（ｌ_１＜ｌ_２＜ｌ_３）に応じて、最上面Ｓ_１，中段面Ｓ_２，載置面Ｓ_３という順番で各画素の濃淡値が小さくなっている。このように、距離画像では、カメラ３０からワークまでの距離に応じて各画素の濃淡値が変化する。

距離画像を生成するための手法としては、大きく分けて２つの方式があり、一つは、通常の画像を得るための照明条件で撮像した画像を用いて距離画像を生成するパッシブ方式（受動計測方式）、もう一つは、高さ方向の計測をするために光を能動的に照射して距離画像を生成するアクティブ方式（能動計測方式）である。パッシブ方式の代表的な手法は、ステレオ計測法である。これは、カメラ３０を２台用意し、これら２台のカメラを所定の位置関係で配置するだけで距離画像を生成できることから、濃淡画像を生成するための一般的な画像システムを利用して距離画像を生成でき、システム構築コストを抑制することができる。しかし、ステレオ計測法では、一方のカメラによって得られる画像中の一点が、他方のカメラによって得られる画像中のどの点に対応しているのかを決定しなければならず、いわゆる対応点の決定処理に時間が掛かるという問題がある。また、全画素において対応点を特定するのは困難であり、この点においても外観検査の高速化には向かない。一方で、アクティブ方式の代表的な手法は、光切断法とパターン投影法である。光切断法は、上述したステレオ計測法において、一方のカメラを光投影器に置き換えて、ワークに対してライン状のレーザ光を投光し、物体表面の形状に応じたライン光の像の歪み具合からワークの３次元形状を復元する。光切断法は、対応点の決定が容易であるため、ステレオ計測法と比べてある程度、計測処理の高速化が期待できる。しかし、それでも１回の計測で１ライン分しか計測できないため、全画素の計測値を得ようとすると、レーザ光の投光を複数回行う必要があり、且つ、対象物又はカメラを走査しなければならず、高速化に限界がある。パターン投影法は、ワークに投影された所定パターンの形状や位相などをずらして複数枚の画像を撮像し、撮像した複数枚の画像を解析することでワークの３次元形状を復元するものである。パターン投影法には幾つか種類があり、正弦波縞模様パターンの位相をずらして複数枚（最低３枚以上）の画像を撮像し、複数枚の画像から画素ごとに正弦波の位相を求め、求めた位相を利用してワーク表面上の３次元座標を求める位相シフト法や、２つの規則的なパターンが合成されるときに生じる一種の空間周波数のうなり現象を利用して３次元形状を復元するモアレポトグラフィ法などが代表的である。

本実施形態に係る画像処理装置１０では、上述した位相シフト法によって距離画像を生成することとしている。これにより、外観検査の高速化に資することができる。なお、本発明は、位相シフト法によって距離画像を生成することに限られず、位相シフト法以外の上述した方法によって距離画像を生成しても構わない。また、上述した方法以外の方法、例えば光レーダ法（タイムオブフライト）、合焦点法、共焦点法、白色光干渉法など、距離画像を生成するために考え得る如何なる手法を採用しても構わない。

［ハードウェア構成］
図３は、本実施形態に係る画像処理装置１０のハードウェア構成例を示すブロック図である。図３に示すように、画像処理装置１０は、各種プログラムに基づき数値計算や情報処理を行うとともに、ハードウェア各部の制御を行う主制御部１１を有している。主制御部１１は、例えば、中央演算処理装置としてのＣＰＵ１１ａと、主制御部１１が各種プログラムを実行する際のワークエリアとして機能するＲＡＭなどのワークメモリ１１ｂと、起動プログラムや初期化プログラムなどが格納されたＲＯＭ，フラッシュＲＯＭ，又はＥＥＰＲＯＭなどのプログラムメモリ１１ｃとを有している。

また、画像処理装置１０は、上述した距離画像を生成するために、ワークに対して正弦波縞模様パターンを位相ずらして投影するための照明制御部１２と、カメラ３０での撮像により得られた画像データを取り込むＡＳＩＣ（Application Specific Integrated Circuit）などから構成される画像入力部１３と、コンソール５０からの操作信号が入力される操作入力部１４と、液晶パネル等のモニタ４０に対して画像を表示させる表示用ＤＳＰなどから構成される表示制御部１５と、外部のＰＬＣ７０やＰＣ８０などと通信可能に接続される通信部１６と、エッジ検出や面積計算などの計測処理を実行する演算用ＤＳＰなどから構成される画像処理部１７と、を有している。なお、画像入力部１３には、画像データをバッファリングするためのフレームバッファが含まれていてもよく、画像処理部１７には、計測処理用に画像データを記憶するメモリが含まれていてもよく、表示制御部１５には、画像を表示させる際に画像データを一時記憶するＶＲＡＭなどのビデオメモリが含まれていてもよい。これらの各ハードウェアは、バスなどの電気的な通信路（配線）を介し、通信可能に接続されている。

主制御部１１内のプログラムメモリ１１ｃには、照明制御部１２、画像入力部１３、操作入力部１４、表示制御部１５、通信部１６、及び画像処理部１７の各部を、ＣＰＵ１１ａのコマンド等により制御するための制御プログラムが格納されている。また、上述した処理順序プログラム、すなわち、ＰＣ８０において生成され、ＰＣ８０から転送されてきた処理順序プログラムは、プログラムメモリ１１ｃに格納される。

通信部１６は、外部のＰＬＣ７０に接続されたセンサ（光電センサ等）でトリガ入力があったときに、ＰＬＣ７０から撮像トリガ信号を受信するインターフェース（Ｉ／Ｆ）として機能する。また、ＰＣ８０から転送されてくる画像処理装置１０の画像処理プログラムやモニタ４０の表示態様を規定するレイアウト情報などを受信するインターフェース（Ｉ／Ｆ）としても機能する。

主制御部１１のＣＰＵ１１ａは、通信部１６を介してＰＬＣ７０から撮像トリガ信号を受信すると、画像入力部１３に対して撮像指令（コマンド）を送る。また、処理順序プログラムに基づいて、画像処理部１７に対して、実行すべき画像処理を指示するコマンドを送信する。なお、撮像トリガ信号を生成する装置として、ＰＬＣ７０ではなく、光電センサなどのトリガ入力用のセンサを、通信部１６に直接接続することができるようにしてもよい。

操作入力部１４は、ユーザの操作に基づきコンソール５０からの操作信号を受信するインターフェース（Ｉ／Ｆ）として機能する。モニタ４０には、コンソール５０を用いたユーザの操作内容が表示される。具体的に説明すると、コンソール５０には、モニタ４０上に表示されるカーソルを上下左右に移動させる十字キー、決定ボタン、又はキャンセルボタンなどの各部品が配置されており、これらの各部品を操作することによって、ユーザはモニタ４０上で、画像処理の処理順序を規定するフローチャートを作成したり、各画像処理のパラメータ値を編集したり、或いは後述するように、基準検査領域の設定をしたり、特定パターンの検出条件の設定をしたりする。

画像入力部１３は、画像データの取り込みを行う。具体的には、例えばＣＰＵ１１ａからカメラ３０の撮像指令を受信すると、カメラ３０に対して画像データ取り込み信号を送信する。そして、カメラ３０で撮像が行われた後、撮像して得られた画像データを取り込む。取り込んだ画像データは、一旦バッファリング（キャッシュ）され、予め用意しておいた画像変数に代入される。なお、「画像変数」とは、数値を扱う通常の変数と異なり、対応する画像処理ユニットの入力画像として割り付けることで、計測処理や画像表示の参照先となる変数をいう。

画像処理部１７は、画像データに対する計測処理を実行する。具体的には、まず画像入力部１３が上述した画像変数を参照しつつ、フレームバッファから画像データを読み出して、画像処理部１７内のメモリへ内部転送を行う。そして、画像処理部１７は、そのメモリに記憶された画像データを読み出して、計測処理を実行する。

表示制御部１５は、ＣＰＵ１１ａから送られてきた表示指令（表示コマンド）に基づいて、モニタ４０に対して所定画像（映像）を表示させるための制御信号を送信する。例えば、計測処理前又は計測処理後の画像データを表示するために、モニタ４０に対して制御信号を送信する。また、表示制御部１５は、コンソール５０を用いたユーザの操作内容をモニタ４０に表示させるための制御信号も送信する。

［機能構成］
図４は、本実施形態に係る画像処理装置１０の機能構成例を示す図である。

図４に示すように、画像処理装置１０は、上述したＣＰＵ１１ａやプログラムメモリ１１ｃに格納された各種プログラムなどによって、ソフトウェア的に、各手段を有する構成となっている。具体的には、画像処理装置１０は、濃淡画像取得手段１１０と、距離算出手段１２０と、距離画像生成手段１３０と、検出条件設定受付手段１４０と、特定パターン検出手段１５０と、基準検査領域設定受付手段１６０と、検査領域特定手段１７０と、特徴量算出手段１８０と、判定手段１９０と、を有している。

濃淡画像取得手段１１０は、各画素が、カメラ３０の受光量に応じた濃淡値を有する濃淡画像を取得する手段である。例えば、図３に示す主制御部１１及び画像入力部１３等の機能によって具現化することができる。生成された濃淡画像は、上述した画像入力部１３のフレームバッファに記憶してもよいし、他のメモリに記憶してもよい。距離算出手段１２０は、カメラ３０から取得した画像を用いて、カメラ３０からワーク表面までの距離を算出する手段であり、距離画像生成手段１３０は、各画素が、算出された距離に応じた濃淡値を有する距離画像を生成する手段である。例えば、図３に示す主制御部１１並びに照明制御部１２及び画像入力部１３等によって具現化することができる。生成された距離画像は、上述した画像入力部１３のフレームバッファに記憶してもよいし、他のメモリに記憶してもよい。また、位相シフト法を採用して距離画像を生成する本実施形態では、照明制御部１２が、ワークに対して正弦波縞模様パターンを位相ずらして投影するように、照明６０を制御し、画像入力部１３が、それに応じて正弦波縞模様パターンの位相がずれた画像を複数枚撮像するように、カメラ３０を制御する。そして、画像入力部１３は、複数枚の画像から画素ごとに正弦波の位相を求め、求めた位相を利用して距離画像を生成する。

なお、本実施形態では画像入力部１３が距離画像の生成処理を行うようにしているが、例えば図３に示す主制御部１１や画像処理部１７などが距離画像の生成処理を担うこともできる。また、本実施形態では、濃淡画像取得手段１１０により濃淡画像を取得するカメラと、距離算出手段１２０によりワーク表面までの距離を算出するカメラとは、同一のカメラ３０で構成している。これにより、同一ワークの同一領域について濃淡画像と距離画像を得ることができるので、濃淡画像全体と距離画像全体とを別途位置補正する必要がなく、計測処理の処理負荷を軽減することができる。仮に、濃淡画像取得手段１１０により濃淡画像を取得するカメラと、距離算出手段１２０によりワーク表面までの距離を算出するカメラとを別々のカメラで構成する場合には、これらのカメラ間の位置関係から、ワークの任意の箇所について、一方のカメラ画像上の位置と他方のカメラ画像上の位置との対応関係を求めておき、その対応関係を用いて位置補正（キャリブレーション補正）すればよい。また、本実施形態では、濃淡画像取得手段１１０と距離画像生成手段１３０を分けた機能構成としているが、一の画像取得手段又は一の画像生成手段という形で纏めることも勿論可能である。

検出条件設定受付手段１４０は、ワークの検査範囲に相当する検査領域を特定するための特定パターンを検出するための検出条件の設定を受け付ける手段である。例えば、図３に示すモニタ４０及び表示制御部１５、コンソール５０及び操作入力部１４、及び主制御部１１等の機能によって具現化することができる。本実施形態では、特定パターンとして、ワークを位置決めするためのアライメントマーク（十字マークなど）を想定する。ただし、本発明はこれに限られず、ワークの検査範囲に相当する検査領域を特定するためのパターンは全て含むものとする。具体的には、第２実施形態で後述するように、距離画像から抽出されたエッジを含むエッジパターンを想定することも可能である。特定パターンを検出するための検出条件としては、種々の条件が考えられる。例えば、前処理に用いるフィルタの種類（２値化フィルタ、膨張フィルタ、収縮フィルタ、平均化フィルタ、メディアンフィルタ、エッジ強調フィルタ、ソーベルフィルタ、ラプラシアンフィルタ、ガウシアンフィルタ等）や、検出に用いるしきい値としてのエッジ強度（階調変化）の大きさ（エッジ強度の上限や下限など）などが考えられる。また、本実施形態における検出条件には、特定パターンの少なくとも一部を含むように、ユーザにより設定されるパターン領域が含まれる（パターン領域の設定については後述する）。本実施形態では、この設定されたパターン領域において、上述した前処理のうちユーザ所望の前処理を施し（前処理の省略も可能である）、上述したエッジ強度に関する情報（エッジ強度の大きさやエッジ角度など）を検出条件として予め記憶する。このとき、特定パターンを表す特徴量とみなせるエッジ強度の上限や下限の値なども併せて記憶しておくことが好ましい。このように、本実施形態に係る画像処理装置１０では、特定パターンを検出するために必要なエッジ強度等の情報を、検出条件として記憶するようにしているため、一般に容量の大きな画像データを記憶しておく必要がない。これにより、メモリ資源の有効活用（効率的に利用）することができる。なお、検出条件記憶手段に記憶される検出条件として画像データを記憶することも可能である。例えば、特定パターンを検出するための基準画像（予め画像処理装置に保存されている基準画像でもよいし、設定作業中に入力された基準画像でもよい）のデータを記憶しておいてもよい。すなわち、正規化相関演算により特定パターンを検出する場合には、正規化相関演算に用いる基準画像が必要になるため、所定の基準画像を検出条件として設定し、記憶しておくこともできる。適宜基準画像を読み出すことができれば、一度設定したパターン領域を自由に編集することができる。

図４に示すように、本実施形態に係る検出条件設定受付手段１４０は、距離画像生成手段１３０により生成された距離画像に対し、ユーザから検出条件の設定、すなわち上述した前処理の種類やエッジ強度の大きさなどを受け付けるようにしているが、もちろん、濃淡画像取得手段１１０により取得された濃淡画像に対して検出条件の設定を受け付けるようにすることもできる。また、例えば画像処理装置１０において検出条件が固定されている場合には、ユーザから検出条件の設定を受け付けること、つまり検出条件設定受付手段１４０を省略することも可能である。

特定パターン検出手段１５０は、検出条件設定受付手段１４０により設定された検出条件に基づいて、濃淡画像上で特定パターンを検出する手段である。例えば、図３に示す主制御部１１及び画像入力部１３等の機能によって具現化することができる。

基準検査領域設定受付手段１６０は、濃淡画像取得手段１１０により取得された濃淡画像において、ワークの検査範囲に相当する検査領域を特定するための特定パターンと一定の相対位置関係にある基準検査領域の設定を受け付ける手段である。例えば、図３に示すモニタ４０及び表示制御部１５、コンソール５０及び操作入力部１４、及び主制御部１１等の機能によって具現化することができる。基準検査領域が特定パターンと一定の相対位置関係にある、とは、例えば、濃淡画像上において左右にＸピクセル、上下にＹピクセルだけ離間しているとか、特定パターン（本実施形態では後述するようにパターン領域）に対して所定角度θ（一般には０度）だけ傾いている、といった相対位置関係である。つまり、本実施形態でいう相対位置関係には、Ｘ軸方向・Ｙ軸方向の相対位置関係のみならず、相対角度関係も含まれている。

検査領域特定手段１７０は、特定パターン検出手段１５０により検出された特定パターンの位置及び傾斜角度の少なくとも一方に基づいて、ワークの検査範囲に相当する検査領域を特定する手段である。例えば、図３に示す主制御部１１及び画像処理部１７等の機能によって具現化することができる。本実施形態では、特定パターン検出手段１５０により検出された特定パターンの位置及び傾斜角度の少なくとも一方に基づいて、基準検査領域設定受付手段１６０により設定された基準検査領域を位置補正することにより、検査領域を特定するようにしている。なお、この検査領域の特定については、図５以降で更に詳しく説明する。

特徴量算出手段１８０は、特定された検査領域から特徴量を算出する手段であり、判定手段１９０は、算出された特徴量に基づいて、ワークの良否を判定する手段である。これらは、例えば、図３に示す主制御部１１及び画像処理部１７等の機能によって具現化することができる。特徴量算出手段１８０による特徴量の算出には、様々なものが考えられ、例えば、検査領域内から（２値化等により）検出された計測対象の面積を計測する「エリア」、特定のパターンを検出する「パターンサーチ」、エッジの位置や幅を計測する「エッジ位置」や「エッジ幅」、濃淡変化によって傷を検出する「傷」、２値画像内で同一の濃度をもった画素の集合であるブロブの数・面積・重心位置などを計測する「ブロブ」などである。判定手段１９０は、算出された特徴量をもとに、例えば所定面積以上のブロブが存在しなかったらＯＫ判定、逆に、所定面積以上のブロブが存在したらＮＧ判定、というように、ＯＫ・ＮＧの判定を行う。また、パターンマッチングにより特定のパターンが存在したらＯＫ判定、逆に存在しなかったらＮＧ判定を行う。判定結果は、通信部１６により判定信号として外部機器（ＰＬＣ７０等）に出力される。

［検査領域の特定］
図５〜図１２は、本実施形態に係る画像処理装置１０において検査領域が特定される様子に関する説明図である。なお、図５〜図１２は、モニタ４０に表示される画面の一部である。

まず、図５〜図７を用いて、従来の濃淡画像のみを用いた従来の外観検査における検査領域の特定について説明する。図５に示すように、カメラ３０を介して取得される濃淡画像には、十字マークからなるアライメントマークＭ１と、検査対象となる文字「ＡＢＣ」とが存在している。ここでいうアライメントマークＭ１は、上述したいわゆる特定パターンの一例である。ユーザは、コンソール５０を用いてアライメントマークＭ１を囲むようにパターン領域Ｒ１を設定する。また、計測対象となる文字「ＡＢＣ」を囲むように基準となる検査領域、すなわち基準検査領域Ｒ２を設定する。このとき、基準検査領域Ｒ２は、パターン領域Ｒ１内のアライメントマークＭ１と一定の相対位置関係にあり、この相対位置関係は画像処理装置１０（例えば主制御部１１又は画像処理部１７）に記憶される。なお、基準検査領域Ｒ２とパターン領域Ｒ１との相対的位置関係を一定としてもよい。

次に、実際に画像処理装置１０の運転中において、ワークの位置や姿勢がずれて、結果的に、濃淡画像上で「ＡＢＣ」が図５に示す位置からずれる場合がある。このような場合であっても、アライメントマークＭ１が検出されれば、位置補正が可能となり、検査領域の特定が可能になる。例えば図６に示すように、濃淡画像上でワークが図の右上の方に平行移動したとしても、これに伴い右上の方に平行移動したアライメントマークＭ１（パターン領域Ｒ１’）の位置を検出して、検出したアライメントマークＭ１の位置に基づいて、基準検査領域Ｒ２を位置補正した検査領域Ｒ２’を特定することができる。また、例えば図７に示すように、濃淡画像上でワークが図の右の方に平行移動し、上の方に少し平行移動し、左回りに約２０度回転したとしても、これに伴い移動したアライメントマークＭ１（パターン領域Ｒ１’’）の位置を検出して、検出したアライメントマークＭ１の傾斜角度に基づいて、基準検査領域Ｒ２を位置補正した検査領域Ｒ２‘’を特定することができる。

しかし、アライメントマークＭ１が検出不可能なときには、検査領域の特定は困難になる。例えば図８に示すように、アライメントマークＭ１が凹凸で形成されているような場合である（説明の便宜上、凹凸で形成されたアライメントマークＭ１の輪郭部分を太い点線で示すが、実際は、図８に示す濃淡画像上にはアライメントマークＭ１は殆ど現れない）。この場合、例えば図８に示すようなパターン領域Ｒ１と基準検査領域Ｒ２を設定したとしても、画像処理装置１０の運転中に、様々な位置に移動するアライメントマークＭ１の位置の傾斜角度を検出することができない。その結果、例えば図９に示すようにアライメントマークＭ１の位置や傾斜角度を検出できず、基準検査領域Ｒ２の位置補正を行うことができない。

そこで、本実施形態に係る画像処理装置１０では、ユーザは、濃淡画像ではなく距離画像において、アライメントマークＭ１を囲むようにパターン領域Ｒ１を設定できるようになっている。図１０〜図１２を用いて、本実施形態に係る画像処理装置１０において検査領域が特定される様子について説明する。

図１０に示すように、アライメントマークＭ１の輪郭部分が凹凸で形成されているような場合であっても、距離画像にはそれが明瞭に現れる。なぜなら、距離画像はワークとカメラ３０との距離に応じた濃淡値を有するからである。図１０では、アライメントマークＭ１の輪郭部分のうち凹みの箇所の色が薄くなっている。ユーザは、図１０に示す距離画像において、コンソール５０を用いてアライメントマークＭ１を囲むようにパターン領域Ｒ１を設定する。なお、計測対象となる文字「ＡＢＣ」は、ワークに印字等されただけの平面形状からなる文字であり、凹凸形状の文字ではないため、距離画像には現れない。基準検査領域Ｒ２は、図８に示すように、文字「ＡＢＣ」が明瞭に現れる濃淡画像において設定する。

このような設定作業が完了した後、実際に画像処理装置１０の運転を開始すると、図１１に示すように、アライメントマークＭ１が明瞭に現れる距離画像を用いれば、このアライメントマークＭ１を検出することができる。そして、図１０に示すアライメントマークＭ１と、図１１に示す運転中に検出されたアライメントマークＭ１との位置および傾斜角度（の差）を計算することにより、画像処理装置１０（画像処理部１７）は、図８に示す基準検査領域Ｒ２をどれくらい位置補正すればよいか、また、どれくらい角度補正すればよいかを認識することができる。したがって、図１２に示すように、今度は濃淡画像上で、位置補正された検査領域Ｒ２’’を特定することができる。なお、本実施形態では、図８において、図１０に示すパターン領域Ｒ１の設定を行ったが、図８においてこれを行わなくてもよい。また逆に、図１０において、図８に示す基準検査領域Ｒ２の設定を行っていないが、図１０においてこれを行ってもよい。要は、少なくとも距離画像上でパターン領域の設定が行われ、少なくとも距離画像上で基準検査領域の設定が行われればよい。また、本実施形態では、パターン領域を設定する際にアライメントマークＭ１の全てを囲むように設定しているが、アライメントマークＭ１の一部を囲むように設定してもよい。

図１３〜図１９は、本実施形態に係る画像処理装置１０においてモニタ４０に表示されるユーザインターフェース画面の一例を示す図である。

図１３に示すように、ウィンドウ名「設定００００」の内部には、設定の編集１００１が表示されている。ユーザは、コンソール５０を用いて「ウィンドウ」ボタンを選択すると、その右側に、「ウィンドウ追加」なる名称の更なるウィンドウが現れる。このウィンドウには、ウィンドウ番号１００２と計測方法１００３とが表示されている。ここでは、ウィンドウ番号１００２として「０００」、計測方法１００３として「パターンサーチ」を選択し、その下方のＯＫボタンをクリックする。そうすると、図１４に示すように、ウィンドウ番号「０００」、ウィンドウ名「パターンサーチ」からなるウィンドウの詳細設定画面が現れる（この設定画面の上部バーには、「Ｗ０００：パターンサーチ」と表示されている）。この詳細設定画面では、使用画像１００６と、サーチ領域１００７と、パターン領域１００８と、前処理１００９と、詳細設定１０１０のそれぞれについて、ユーザ所望の項目を選択できるようになっている。使用画像１００６は、アライメントマークＭ１を検出するための検出条件を設定する際に使用する画像を意味しており、例えば、入力画像か登録画像かをチェックボックスにより選択可能となっている。なお、図１４では登録画像にチェックが入っているが、これは、予め画像処理装置１０に保存しておいた画像を使用する場合である。登録画像の保存は、設定の編集１００１内の「画像登録」ボタンから行うことができる（設定方法の詳細は省略する）。使用画像として登録画像を用いれば、パターン領域やサーチ領域の設定だけでなく、一度設定したパターン領域やサーチ領域の編集を、後々に自由に行うことができる。一方、使用画像にチェックを入れた場合には、パターン領域やサーチ領域を設定しようとする度に、カメラ３０から濃淡画像又は距離画像を取得しなければならないが、画像登録が不要になるため、メモリ資源を有効活用することができる。また、ユーザは、濃淡画像と登録画像をチェックボックスにより選択可能となっており、図１４では、距離画像が選択されている。したがって、まずは、距離画像に関する設定を行うことになる。また、ユーザは、画像番号を選択することも可能となり、入力画像や登録画像が複数ある場合には、どの画像を使用画像１００６とするかを選択できる。図１４では、「０００−２」が選択されているが、これは０００番の登録画像を意味している。ハイフンより後の「２」は、登録画像が濃淡画像と距離画像のうちの距離画像であることを示している。サーチ領域１００７とパターン領域１００８については、後述する。前処理１００９は、設定したパターン領域Ｒ１（図１０参照）の中からアライメントマークＭ１の特徴量を抽出しやすくするための前処理である。例えば、上述した各種フィルタのうちどのフィルタを用いるか等である。ここでは「ガウシンフィルタ」を用いるように選択している。詳細設定１０１０は、その他の詳細な設定であり、例えば、上述したエッジ強度の大きさなどが挙げられる。

次に、図１４において、サーチ領域１００７とパターン領域１００８にチェックを入れた状態でＯＫボタンをクリックすると、画面は図１５に示す画面に切り替わる。サーチ領域１００７は、上述した０００番の登録画像（距離画像）のうち、アライメントマークＭ１のサーチ対象となる領域を示すものである。パターン領域１００８は、アライメントマークＭ１の少なくとも一部を囲むように設定され、アライメントマークＭ１を検出するために設定される領域である。図１５では、既にサーチ領域Ｓ１が設定され、アライメントマークＭ１の全部を囲むようにパターン領域Ｒ１（本実施形態では、「ウィンドウＷ０００」と別称する）が設定されている。このようにしてサーチ領域１００７とパターン領域１００８の設定が終わり、ＯＫボタンをクリックすると、上述したようにアライメントマークＭ１の特徴量を抽出するための処理が行われる。具体的には、主制御部１１は、０００番の登録画像のうちウィンドウＷ０００の領域内で、例えば、ガウシアンフィルタのフィルタ処理を施してノイズを削減し、エッジ処理を施し、設定したエッジ強度を用いてエッジとみなすべき箇所を認識し、必要に応じてＸ方向又はＹ方向に投影処理を行い、処理結果をアライメントマークＭ１の特徴量としてワークメモリ１１ｂ等に記憶する。このように、本実施形態ではウィンドウＷ０００内の画像データを記憶しておくのではなく、ウィンドウＷ０００内にあるアライメントマークＭ１の特徴量を記憶している。これにより、使用メモリ容量を削減することができる。なお、ウィンドウＷ０００内の画像データをワークメモリ１１ｂ等に記憶しておいても構わない。

次に、再び図１４において、今度は濃淡画像を選択し、上述同様、サーチ領域とパターン領域の設定を行う。例えば図１６に示すように、検査対象となる「ＡＢＣ」を囲むようにパターン領域Ｒ１（本実施形態では、「ウィンドウＷ００１」と別称する）を設定する。これにより、このウィンドウＷ００１で囲まれる領域が、基準検査領域となる。つまり、ユーザは、パターン領域Ｒ１を設定し、画像上にウィンドウを設定する作業を繰り返すことによって（結果的に、濃淡画像又は距離画像に複数枚のウィンドウを設定することによって）、特定パターンとしてのアライメントマークＭ１の特徴量を検出するための領域設定を行うこともできるし（図１５のＷ０００）、検査対象となる文字等を検出するための領域設定を行うこともできるようになっている（図１６のＷ０００１）。

次に、図１７に示すように、設定の編集１００１のうち位置補正を選択し、補正元１０１１と補正先１０１２のウィンドウを選択する。補正元１０１１は、位置補正をする際の基準となるウィンドウであり、補正先１０１２は、補正元１０１１のウィンドウを用いて位置補正の対象となるウィンドウである。図１７では、補正元１０１１として、ウィンドウＷ０００が選択され、補正先１０１２として、ウィンドウＷ０００１が選択されている。また、ウィンドウＷ０００とウィンドウＷ００１の間には、Ｘ方向，Ｙ方向，θ方向（回転方向）のいずれの方向に位置補正を施すかを選択するためのチェックボックスが表示されている。図１７では、全てのチェックボックスにチェックが入っているため、水平方向の位置補正、傾斜角度の角度補正を行う設定となっている。

最後に、設定の編集１００１のうち出力設定を選択し、その右方に表示された判定ウィンドウ１０１３において、判定対象とするウィンドウを選択する。つまり、設定したウィンドウＷ０００とＷ００１のうち、基準検査領域として扱うウィンドウを選択する。図１８では、（濃淡画像上で設定された）ウィンドウＷ００１を基準検査領域として選択している。なお、仮に、（距離画像上で設定された）ウィンドウＷ０００を基準検査領域として選択すると、計測対象であった文字「ＡＢＣ」がアライメントマークになり、アライメントマークＭ１が計測対象（検査対象）になる。なお、図１３〜図１８の右上には「設定中」１００４の表示がなされており、これは、画像処理装置１０の運転を開始する前の設定作業をしている最中であることを示す。つまり、画像処理装置１０は、ユーザ又はＰＬＣ７０などから外観検査に必要な各種設定作業を受け付ける設定機能と、ワークの良否を判定する運転機能とを併有する装置であるといえる。

図１９は、本実施形態に係る画像処理装置１０において、運転中にモニタ４０に表示されるユーザインターフェース画面の一例を示す図である。図１９の右上には、運転中１０１５の表示がなされている。この表示がなされているときは、画像処理装置１０は、生産ラインを高速で流れてくるワークをカメラ３０により撮像し、距離画像を生成し、検査領域を特定（位置補正）し、各種計測処理を行う、という一連の処理を、複数のワークに対して例えば数十ｍｓ間隔で高速に行っている。なお、例えばコンソール５０の切り替えスイッチ（図示せず）を押すことによって、或いは、ＰＬＣ７０等から外部信号を受信することによって、設定中１００４の表示がなされる設定モードから、運転中１０１５の表示がなされる運転モードに切り替えることができる。

図１９に示すように、左上には設定番号が表示され、その下方には、計測回数、ＮＧ回数、計測時間、トリガ間隔、判定ウィンドウ１０１３が表示されている。この判定ウィンドウ１０１３は、Ｗ００１に設定されており、図１８を用いて設定したウィンドウである。画面上の中央から右下にかけて、カメラ３０から取得される濃淡画像が表示されている。一方、生成された距離画像は表示されていないが、裏でアライメントマークＭ１の検出が行われ、検出したアライメントマークＭ１の位置や傾斜角度に基づいて、基準検査領域Ｒ２の位置補正が行われ、検査領域Ｒ２’’が特定される。このようにして、本実施形態に係る画像処理装置１０によれば、安定的に検査領域を特定することが可能になる。

なお、図１９では、濃淡画像のみを表示させる表示態様にしているが、表示切替１０１４のボタンを操作する等により、濃淡画像と距離画像とを一画面中に分割表示させる表示態様にしてもよい。或いは、表示切替１０１４のボタン操作により、濃淡画像と距離画像の表示が交互に切り替わるような構成にしてもよい。また、ここではＷ０００もＷ００１も検査方法はパターンサーチとしているが、例えばＷ０００は傷検査にしてもよい。

図２０は、本実施形態に係る画像処理装置１０の処理動作を示すフローチャートである。

図２０に示すように、濃淡画像取得手段１１０によって濃淡画像の取得処理（ステップＳ１）が行われる一方で、距離算出手段１２０及び距離画像生成手段１３０によって距離画像の生成処理（ステップＳ２）が行われる。本フローチャートでは同時平行して行うようにしているが、例えば濃淡画像の取得処理をした後に距離画像を生成するなど、シリアル処理にしても構わない。

次いで、特定パターン検出手段１５０により特定パターンの検出が行われる（ステップＳ３）。本実施形態では、検出条件設定受付手段１４０により設定された検出条件（パターン領域やエッジ強度など）に従って（図１４、図１５参照）、特定パターンが検出される。

次いで、検査領域特定手段１７０により検査領域の特定が行われる（ステップＳ４）。本実施形態では、基準検査領域設定受付手段１６０によって設定された基準検査領域とアライメントマークＭ１とに従って（図１６参照）、検査領域が特定される。すなわち、本実施形態では、基準検査領域設定受付手段１６０によって設定された基準検査領域が、ステップＳ１５０で検出された特定パターン（アライメントマークＭ１）の位置や傾斜角度に基づいて位置補正・角度補正される。

そして、特徴量算出手段１８０により特徴量の算出が行われ（ステップＳ５）、判定手段１９０によりワークの良否判定が行われ（ステップＳ６）、一連の処理が終了する。このような一連の処理を、生産ラインを流れてくるワークの一つ一つに対して行う。すなわち、図２０に示す処理動作は、所定の間隔（例えば数十ｍｓ）で高速に繰り返し実行される。

以上説明したように、例えば特定パターンとしてのアライメントマークＭ１がプレスによる僅かな凹凸で構成されるような場合であっても（図８参照）、その凹凸の検出が可能な距離画像において、アライメントマークＭ１を検出することができるので（図１９参照）、検出されたアライメントマークＭ１の位置及び傾斜角度の少なくとも一方に基づいて、濃淡画像上で検査領域を特定することができ、ひいては安定的に検査領域を特定することができる。

［変形例］
上述した実施形態では、アライメントマークＭ１がプレスによる僅かな凹凸で構成されることにより、アライメントマークＭ１を濃淡画像上で検出できない例について説明したが、例えば図２１に示すように、アライメントマークＭ２を距離画像上で検出できないケースも考えられる。図２１は、図４に示す機能構成において濃淡画像取得手段１１０と距離算出手段１２０及び距離画像生成手段１３０とを入れ替えたときのアプリケーション具体例を示す図である。具体的には、図２１（ａ）に示すように、アライメントマークＭ２がワークの左端に（凹凸を無視できる程度で）印字されており、ワークの中央付近には、（正しい位置に形成されているか否かの）検査対象となる４個の凸部が形成されている。このようなワークの濃淡画像では、図２１（ｂ）に示すように、アライメントマークＭ２は明瞭に現れる一方、４個の凸部は明瞭に現れない。しかし、図２１（ｃ）に示すように、距離画像では、アライメントマークＭ２は全く現れないが、４個の凸部は明瞭に現れる。したがって、図２１（ｂ）に示す濃淡画像において、図１５を用いて説明したようなパターン領域Ｒ１を設定し、図２１（ｃ）に示す距離画像において、図１６を用いて説明したような基準検査領域Ｒ２−１〜Ｒ２−４を設定する。これにより、画像処理装置１０の運転中に、ワークの位置がずれたとしても、濃淡画像からアライメントマークＭ２を検出し、検出したアライメントマークＭ２に基づいて、基準検査領域Ｒ２−１〜Ｒ２−４の位置を補正することができる。

次に、上述した実施形態ではワークにアライメントマークが形成されていたが、本発明はこれに限られず、他の変形例として、ワークにアライメントマークが形成されていない場合も想定される。図２２には、アライメントマークを用いずに検査領域を特定するアプリケーション具体例を示す図である。具体的には、図２２（ａ）に示すように、上段と下段からなるワークにおいて、上段に検査対象となる文字「ＡＢＣ」が（凹凸を無視できる程度で）印字されているものとする。このようなワークの濃淡画像では、図２２（ｂ）に示すように、文字「ＡＢＣ」が明瞭に現れる一方、上段と下段の段差部分は現れない（段差に起因する影などの影響は無視するものとする。また、図２２（ｂ）中のＲ２は、濃淡画像に重ねて表示した基準検査領域を示すウィンドウであり、段差部分が画像として現れているわけではない）。一方で、距離画像では、図２２（ｃ）に示すように、上段と下段の段差部分が画像の濃淡として明瞭に現れる。したがって、図１５を用いて説明したようなパターン領域Ｒ１を予め設定しておかなくても、図２２（ｃ）に示す距離画像においてエッジ抽出し、抽出されたエッジを含むパターンをエッジパターンＲ１とし、図２２（ｂ）に示す濃淡画像上で、このエッジパターンＲ１に対応する領域を生成することによって、検査領域Ｒ２を特定することも可能である。要は、上述した実施形態のように、予め設定した基準検査領域を位置補正するのではなく、抽出されたエッジパターンに基づいて対応領域を生成することによって、検査領域を特定することも可能である。

図２３は、本実施形態に係る画像処理装置１０の別の機能構成例を示す図である。なお、図４と主に異なるところは、エッジ検出手段２００が存在することである。

エッジ検出手段２００は、図２３においては距離画像からエッジを抽出する手段である。この際、エッジ抽出条件としてエッジ強度等が挙げられるが、検出条件設定受付手段１４０により設定された検出条件を用いることが可能である。もちろん、予めエッジ抽出条件を画像処理装置１０に記憶させておくことで、ユーザが検出条件設定受付手段１４０を通じて検出条件を設定する手間を省いてもよい。

検査領域特定手段１７０は、エッジ検出手段により検出されたエッジを含むエッジパターンＲ１の位置と傾斜角度の少なくとも一方に基づいて、濃淡画像上でエッジパターンに対応する領域Ｒ２を生成する。これにより、検査領域Ｒ２を特定することが可能になる。このように、基準検査領域の設定を省いた上で、検査領域を安定的に特定することも可能である。

図２４は、図２３に示す機能構成に基づいて、基準検査領域設定受付手段１６０により基準検査領域が設定されることなく、また、検出条件設定受付手段１４０により検出条件のうちパターン領域が設定されることなく、検査領域が特定される（検査領域が生成される）様子を示すアプリケーション具体例（外観検査例）である。

図２４（ａ）に示すように、ワークが上段面Ａ１と下段面Ａ２からなる二段の平面を有する場合において、上段面Ａ１にも下段面Ａ２にも汚れが付着しているが、上段面Ａ１に汚れが付着しているか否かのみの外観検査を行いたいとする（すなわち、下段面Ａ２に汚れが付着することは許容する外観検査を行いたいとする）。このような場合において、図２４（ｂ）に示すように、ワークの濃淡画像には、汚れが２箇所付着していることが明瞭に現れる一方、図２４（ｃ）に示すように、ワークの距離画像には、汚れが付着していることは全く現れない。その代わり、上段面Ａ１と下段面Ａ２とが濃淡の差により明瞭に現れる。仮に、図２４（ｄ）のように、ワークが位置ずれし、濃淡画像上において上段面Ａ１の位置が右上の方に移動した場合には、当然のことながら、図２４（ｅ）に示すように、距離画像においても上段面Ａ１の位置が右上に移動する。

したがって、図２２及び図２３を用いて説明したように、距離画像からエッジを検出し、抽出されたエッジに基づくエッジパターンの位置及び傾斜角度に基づいて、濃淡画像上でエッジパターンに対応する領域を生成することにより、図２４（ｆ）に示すように、検査領域Ｒ３を安定的に特定することができる。検査領域Ｒ３を安定的に特定できれば、例えば上述したブロブ演算等、検査領域Ｒ３内で特徴量算出処理を行うことによって、上段面Ａ１に汚れが付着しているか否かのみの外観検査を行うことができる。なお、ここでは、距離画像からエッジを検出するようにしたが、濃淡画像からエッジを検出するような構成であってもよいことは勿論である。

ここで、距離画像又は濃淡画像からエッジパターンを生成する方法の一例について、図２５を用いて説明する。図２５は、距離画像又は濃淡画像からエッジパターンを生成する方法の一例について説明するための説明図である。

図２５（ａ）に示すように、画像上でエッジ検出領域Ｅ１〜Ｅ４の設定を行う。このエッジ検出領域は、検出条件設定受付手段１４０を通じて、ユーザがエッジを含むと思う領域にウィンドウを設定する。その結果、エッジ検出領域Ｅ１〜Ｅ４の位置情報などは、検出条件の中に含まれる。画像処理装置１０の運転時において、図２５（ｂ）に示すように、エッジ検出領域Ｅ１〜Ｅ４においてエッジが検出され、検出されたエッジを基にして４本からなるエッジを含む直線が推定される（図２５（ｃ））。そして、これら４本の直線に基づく四角枠をエッジパターンにすることができる（図２５（ｄ））。このようにして、エッジパターンを生成することができる。なお、図２４のアプリケーション例では、図２４（ｅ）に示す距離画像から生成されたエッジパターンの内部の画像領域を外観検査の検査対象としたが、例えば、図２４（ｅ）に示す距離画像から生成されたエッジパターンの外部の画像領域を外観検査の検査対象としてもよい。この場合、ワークの下段面に汚れが付着しているか否かを外観検査することができる。

図２６は、濃淡画像と距離画像の両方を用いた外観検査を行うアプリケーション例である。より具体的には、ボールグリッドアレイ（ＢＧＡ）の外観検査を行う例である。図２６（ａ）は、ＢＧＡの濃淡画像であり、図２６（ｂ）は、ＢＧＡの距離画像である。図２６（ａ）に示すように、濃淡画像には、ワークの左上にアライメントマーク（十字）が明瞭に現れている一方で、図２６（ｂ）に示すように、距離画像には、アライメントマークが明瞭に現れていない。これはアライメントマークが平面形状の十字マークだからである。このような場合には、図２６（ｃ）に示すように、濃淡画像を用いてアライメントマークの座標（ｘ_ｐ，ｙ_ｐ）を検出する。そして、上述した各実施例で検査領域を特定したように、ＢＧＡの各凸部を検査領域と考えた場合、ＢＧＡの各凸部の座標位置を座標（ｘ_ｐ，ｙ_ｐ）に基づき補正することができる。そして、補正されたＢＧＡの凸部の座標位置を（ｘ_ｂ，ｙ_ｂ）としたとき、（ｘ_ｂ，ｙ_ｂ）−（ｘ_ｐ，ｙ_ｐ）＝（ｘ_０，ｙ_０）を算出するとともに、距離画像から、座標位置（ｘ_ｂ，ｙ_ｂ）における濃淡値に基づいて凸部の高さｚを算出する。そして、算出された（ｘ_０，ｙ_０）と高さｚが所定の範囲内に収まっていれば、ワーク良品と判定する。このように、濃淡画像と距離画像の双方を用いて、安定的に検査領域の位置補正を行うとともに、ＢＧＡの各凸部の位置が正しい位置にあり、かつ、正しい高さにあるか否か、といった特殊な外観検査を行うことが可能になる。

このように、本実施形態に係る画像処理装置１０によれば、濃淡画像と距離画像の双方を用いた外観検査も可能になる。なお、例えば濃淡画像と距離画像のいずれの特徴量を用いて外観検査を行うかの選択を行うことができるようにしてもよい。図２７は、特徴量算出手段１８０によって第一及び第二の特徴量が算出され、これらのうち少なくとも一方を用いるための選択画面の一例を示す図である（例えばモニタ４０でコンソール５０を用いて選択可能としてもよい）。図２７に示すように、ウィンドウＷ０００から得られる特徴量に基づく判定がＯＫで、ウィンドウＷ００１から得られる特徴量に基づく判定がＯＫのとき、ＯＫ判定を出すか（図２７の上から２段目）、ウィンドウＷ０００から得られる特徴量に基づく判定がＯＫで、ウィンドウＷ００１から得られる特徴量に基づく判定がＮＧのとき、ＯＫ判定を出すか（図２７の上から３段目）、ウィンドウＷ０００から得られる特徴量に基づく判定がＮＧで、ウィンドウＷ００１から得られる特徴量に基づく判定がＯＫのとき、ＯＫ判定を出すか（図２７の上から４段目）、をユーザが選択できるようにしてもよい。

つまり、検査領域特定手段１７０が、濃淡画像と距離画像の両方の画像において、特定パターン検出手段１５０により検出された特定パターンの位置及び傾斜角度の少なくとも一方に基づいて、検査領域を特定し、特徴量算出手段１８０が、濃淡画像及び距離画像において特定された検査領域から、それぞれ第一及び第二の特徴量を算出し、判定手段１９０が、第一及び第二の特徴量のうち少なくとも一方に基づいて、ワークの良否を判定するようにしてもよい。

特に、上述したように第一及び第二の特徴量に基づいてワークの良否を判定するようにすれば、特殊な外観検査が可能になる。図２６とは別の例について説明する。

例えば、ワークの多少の凹みは許容するが（ＯＫ判定にしたい）、ワークの汚れは許容しない（ＮＧ判定にしたい）、という特殊な外観検査を考えた場合に、濃淡画像のみを用いた外観検査では、凹み部分に生じる影の影響で、実際には凹み部分は汚れていなくても濃淡画像上でその凹み部分に汚れが付着しているように見えるときがある。このとき、濃淡画像上で特定された検査領域から算出した第一の特徴量（例えば暗い部分の面積など）だけでは、実際に汚れている部分のみならず、上述した凹み部分もＮＧ判定となってしまい、ワークの多少の凹みを許容することができない。一方で、距離画像上で特定される検査領域から算出した第二の特徴量（例えば暗い部分の面積など）だけでは、そもそもワークの汚れをＮＧ判定にすることができない。そこで、本実施形態に係る画像処理装置１０によれば、濃淡画像上で特定された検査領域から算出した第一の特徴量に基づいて、ＮＧ判定の要因となる検査領域内の一又は複数の第一特定箇所（つまり汚れている箇所）を抽出するとともに、距離画像上で特定される検査領域から算出した第二の特徴量に基づいて、ＮＧ判定の要因となる検査領域内の位置又は複数の第二特定箇所（つまり凹んでいる箇所）を抽出することができる。したがって、第一特定箇所から第二特定箇所を差し引いてもなお第一特定箇所が残る場合には、その残った第一特定箇所は汚れてはいるが凹んではいない箇所となるため、このような第一特定箇所が存在する場合にＮＧ判定とすることにより、ワークの多少の凹みは許容するが（ＯＫ判定にしたい）、ワークの汚れは許容しない（ＮＧ判定にしたい）、という外観検査を行うことができる。

図２８は、特徴量算出手段１８０によって算出された第一及び第二の特徴量の両方を用いて、ワークの良否判定を行うアプリケーション具体例を示す図である。

図２８（ａ）に示すように、ワークの上段面には汚れと凹みがある。このときの濃淡画像は、図２８（ｂ）に示すものとなり、このときの距離画像は図２８（ｃ）に示すものとなる。図２８（ｂ）に示す濃淡画像上では、凹みの部分が影によって汚れが付着しているように見えている。ワークが位置ずれした場合には、それぞれ図２８（ｄ）、図２８（ｅ）となる。ここで、距離画像のエッジパターンに基づいて濃淡画像上の検査領域Ｒ４を特定するとともに、距離画像上においても検査領域Ｒ５を特定する（図２８（ｆ），図２８（ｇ））。そして、検査領域Ｒ４及び検査領域Ｒ５においてブロブ処理等を行えば、図２８（ｈ）及び図２８（i）に示すように、濃淡の変化を検出することができるが、上述したように、検査領域Ｒ５において検出された濃淡の変化は凹みによるものであるため、濃淡画像において、それに相当する汚れ部分を除く。その結果、図２８（ｊ）に示すように、それでも濃淡の変化（ブロブ）が残っていることから、このワークには汚れが付着していることがわかり、ＮＧ判定になる。このように、ワークの多少の凹みは許容するが（ＯＫ判定にしたい）、ワークの汚れは許容しない（ＮＧ判定にしたい）、といった外観検査を行うことができる。なお、画像処理装置１０に、外観検査における画像処理の実行条件の設定をユーザから受け付けるための実行条件設定受付手段（コンソール５０、操作入力部１４、主制御部１１等からなる）を設けて、あるウィンドウでの検査（画像処理）がＯＫだった場合に、別のウィンドウでの検査（画像処理）を行う、といった実行条件や、或いは、あるウィンドウでの検査（画像処理）がＮＧだった場合には、その後の検査は行わず検査終了にする、といった実行条件などをユーザが設定可能にしてもよい。図２８の例でいえば、距離画像を用いた検査領域Ｒ５でＮＧ判定がされたとき、ＮＧ判定の対象となった特定のブロブの位置に基づいて、検査領域Ｒ４で対応する位置にあるブロブは削除（無視）し、それ以外でもブロブが検出された場合には（図２８（i）参照）、ＮＧ判定を行う、といった実行条件を設定してもよい。その他、実行条件の設定内容は、種々の内容が考えられる。

また、他のアプリケーション例として、距離画像において、一定高さ以上の部分を計測領域とすることが考えられる。これにより、動的に変化したり変形したりする製品や、濃淡画像上不安定でノイズのある製品においても、輪郭ぎりぎりまで検査領域とすることができる。例えば、製品輪郭が垂直ではなくＲ面をもっているような製品について、凹凸検査や異物検査（濃淡変化）を画像処理によって行う場合、一定以上の高さを持つ領域を検査領域にすることによって、輪郭付近を含めてぎりぎりまで計測することができる。また、画面内の一定高さ以上を全て計測領域とする、という設定によれば、２次元空間上の位置ずれを気にすることなく、また、検査領域を２次元座標で指定することなく、目的のエリア内の検査を行うことが可能になる。設定手順としては、例えば、（１）コンソール５０等によって距離画像上で一定の高さ以上（一定の階調以上）、というパラメータを設定する、（２）画面内で一定の高さ以上の部分が切り出される、（３）切り出された一定の高さ以上の部分を検査領域として、高さ情報による凹凸検査や濃淡情報による異物（濃淡変化）検査を行う、（４）切り出された領域は固定ではなく、検査ごとに一定高さ以上の部分を領域として切り出すため、動的な製品形状変化に対し、検査領域として追従させることができる。毎回追従する必要がない場合には、マスター画像（基準距離画像）より切り出した領域をテンプレートとしてもち、検査領域とすることができる。

１０ 画像処理装置
１１ 主制御部
１２ 照明制御部
１３ 画像入力部
１４ 操作入力部
１５ 表示制御部
１６ 通信部
１７ 画像処理部
３０ カメラ
４０ モニタ
５０ コンソール
６０ 照明
７０ ＰＬＣ
８０ ＰＣ
１１０ 濃淡画像取得手段
１２０ 距離算出手段
１３０ 距離画像生成手段
１４０ 検出条件設定受付手段
１５０ 特定パターン検出手段
１６０ 基準検査領域設定受付手段
１７０ 検査領域特定手段
１８０ 特徴量算出手段
１９０ 判定手段

Claims (8)

1. ワークを撮像するカメラを有し、当該カメラから取得した画像に基づいてワーク表面における所定の検査範囲を検査し、ワークの良否を判定する画像処理装置において、
   各画素が、前記カメラの受光量に応じた濃淡値を有する濃淡画像を取得する濃淡画像取得手段と、
   前記カメラから取得した画像を用いて、前記カメラからワーク表面までの距離を算出する距離算出手段と、
   各画素が、算出された距離に応じた濃淡値を有する距離画像を生成する距離画像生成手段と、
   前記濃淡画像と前記距離画像の一方の画像において、他方の画像上で前記検査範囲に相当する検査領域を特定するための特定パターンを検出する特定パターン検出手段と、
   前記濃淡画像と前記距離画像の他方の画像において、前記特定パターンと一定の相対位置関係にある基準検査領域の設定を受け付ける基準検査領域設定受付手段と、
   前記特定パターン検出手段により前記濃淡画像と前記距離画像の一方の画像において検出された特定パターンの位置及び傾斜角度の少なくとも一方に基づいて、前記濃淡画像と前記距離画像の他方の画像において設定された前記基準検査領域を位置補正することにより前記検査領域を特定する検査領域特定手段と、
   特定された前記検査領域から特徴量を算出する特徴量算出手段と、
   算出された特徴量に基づいて、ワークの良否を判定する判定手段と、を備えることを特徴とする画像処理装置。
2. 前記濃淡画像と前記距離画像の一方の画像からエッジを抽出するエッジ抽出手段を備え、
   前記検査領域特定手段は、前記エッジ抽出手段により抽出されたエッジに基づくエッジパターンの位置及び傾斜角度の少なくとも一方に基づいて、他方の画像上で当該エッジパターンに対応する領域を生成することにより、前記検査領域を特定することを特徴とする請求項１記載の画像処理装置。
3. 前記特定パターンを検出するための検出条件の設定を受け付ける検出条件設定受付手段と、
   受け付けた検出条件を記憶する検出条件記憶手段と、を備え、
   前記特定パターン検出出手段は、前記検出条件記憶手段に記憶された検出条件に基づいて、他方の画像上で前記検査範囲に相当する検査領域を特定するための特定パターンを検出することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記検出条件は、少なくとも前記特定パターンを検出するためのエッジ強度が含まれることを特徴とする請求項３記載の画像処理装置。
5. 前記濃淡画像取得手段により受光量に応じた濃淡値を有する濃淡画像を取得するカメラと、前記距離算出手段によりワーク表面までの距離を算出するカメラとは、同一のカメラであることを特徴とする請求項１から４のいずれか記載の画像処理装置。
6. 前記検査領域特定手段は、前記濃淡画像と前記距離画像の一方の画像においても、前記特定パターン検出手段により検出された特定パターンの位置及び傾斜角度の少なくとも一方に基づいて、前記検査領域を特定し、
   前記特徴量算出手段は、前記濃淡画像及び前記距離画像において特定された検査領域から、それぞれ第一及び第二の特徴量を算出するとともに、
   前記判定手段は、前記第一及び第二の特徴量のうち少なくとも一方に基づいて、ワークの良否を判定することを特徴とする請求項１から５のいずれか記載の画像処理装置。
7. 前記判定手段は、前記第一及び第二の特徴量に基づいて、ワークの良否を判定することを特徴とする請求項６記載の画像処理装置。
8. ワークを撮像するカメラを有し、当該カメラから取得した画像に基づいてワーク表面における所定の検査範囲を検査し、ワークの良否を判定する画像処理装置を用いた外観検査方法において、
   各画素が、前記カメラの受光量に応じた濃淡値を有する濃淡画像を取得するステップと、
   前記カメラから取得した画像を用いて、前記カメラからワーク表面までの距離を算出するステップと、
   各画素が、算出された距離に応じた濃淡値を有する距離画像を生成するステップと、
   前記濃淡画像と前記距離画像の一方の画像において、他方の画像上で前記検査範囲に相当する検査領域を特定するための特定パターンを検出するステップと、
   前記濃淡画像と前記距離画像の一方の画像において検出された特定パターンの位置及び傾斜角度の少なくとも一方に基づいて、前記濃淡画像と前記距離画像の他方の画像において設定された前記特定パターンと一定の相対位置関係にある基準検査領域を位置補正することにより前記検査領域を特定するステップと、
   特定された前記検査領域から特徴量を算出するステップと、
   算出された特徴量に基づいて、ワークの良否を判定するステップと、を含むことを特徴とする画像処理装置を用いた外観検査方法。

Images