JP3666108B2

JP3666108B2 - Appearance inspection device

Info

Publication number: JP3666108B2
Application number: JP05024396A
Authority: JP
Inventors: 雅彰森; 隆宏板倉; 敏夫加藤
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 1995-03-16
Filing date: 1996-03-07
Publication date: 2005-06-29
Anticipated expiration: 2016-03-07
Also published as: JPH08313225A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばロボット等に取り付けられたカメラを用いて部品組み付け後の外観を検査するようにした外観検査装置に係り、特に検査箇所の角度変化に応じて画像処理に適した撮像位置を自動的に探索し決定する機能を備えた外観検査装置に関する。
【０００２】
また、本発明は、例えばロボット等に取り付けられたカメラを用いて部品組み付け後の外観を検査するようにした外観検査装置に係り、特にロボットでティーチングする検査箇所の角度に応じて、画像処理に適したカメラ位置を自動的に探索・決定する機能を追加し、ティーチング時間を短縮することにより、部品組み付け後の外観検査に好適する外観検査装置に関する。
【０００３】
【従来の技術】
従来、首記のような分野では、定位置に固定されたカメラ又は定位置への移動をティーチングされたロボットに取り付けたカメラ（カメラロボット）により外観検査が行われている。
【０００４】
すなわち、カメラロボットで検査箇所の座標をティーチングする場合は、まずカメラに対象を映したのち、検査のための画像処理に適した画像が得られるように、作業者が目視又は定規や治具を用いて手作業で調整を行なっている。
【０００５】
しかし、この方法では、作業者によって位置決めの精度にばらつきが生じ、また精密に設定しようとすれば、時間がかかるという問題があると共に、検査箇所が検査対象ワークの各方向にあるため、側面や、形状の複雑な箇所では治具等による作業が難しいという問題がある。
【０００６】
また、ロボットと検査面が平行に移動するだけならば、特開昭６３−１９６８０３号公報に開示されたパターン探索のように重心の位置を検出することで自動ティーチングが可能となるが、検査対象ワークが立体的でロボットと検査面が平行だけでなく、回転移動の位置にある場合には対応することができない。
【０００７】
また、外観検査を行う場合、検査対象物の平面的な位置ずれに対しては、重心を測定して位置補正する方法が特開昭６３−１９６８０３号公報に開示されている。
【０００８】
しかるに、この方法では、部品の組み付け時の角度ばらつき等立体的なずれが生じる場合には、画像の明るさや形状が変化して誤検出してしまうという問題が生じている。
【０００９】
すなわち、上記特開昭６３−１９６８０３号公報に開示されたパターン探索装置によると、視野中心から離れたパターンに対して、その重心位置に基づいてカメラをロボットにより移動し、視野中心でパターンをとらえることにより、パターン形状誤差を抑え、位置認識を正しく行える。
【００１０】
この方法では、視野中心とパターン重心位置を合わせるために、カメラをパターンの置かれている面に対して平行移動させている。
しかし、パターンの置かれている面が斜めになる等カメラに対して傾いた場合には、視野中心にパターン重心位置を合わせてもパターンは傾いたまま見えるため、パターン形状誤差がなくならず、位置認識を正しく行うことができない。
【００１１】
また、パターンの傾きに合わせてカメラを移動させようとしても、パターン重心位置の検出だけではパターンの傾きを検出できず、パターンの傾きに対してカメラ位置を補正することができない。
【００１２】
つまり、この方法を利用して、検査箇所に傾き（部品組み付け時の角度ばらつきなど）の発生する検査を行う場合、いくら視野中心にパターン（検査箇所）重心位置を合わせても検査箇所の傾きが補正されないので、この状態で検査を行っても誤検出してしまうという問題点がある。
【００１３】
【発明が解決しようとする課題】
そこで、本発明は以上のような点に鑑みてなされたもので、対象物に角度のばらつき等の傾きを含む立体的な位置ずれが生じた場合でもそれを確実に補正して誤検出が生じないようにした外観検査装置を提供することを目的としている。
【００１４】
また、本発明は以上のような点に鑑みてなされたもので、カメラを検査箇所を中心として移動させ、画像の明るさや形状等の特徴量の変化を計測することにより、画像処理に適したカメラ位置を決定し、上記問題点を解決するようにした外観検査装置を提供することを目的としている。
【００１５】
【課題を解決するための手段】
本発明によると、上記課題を解決するために、検査対象物を撮像する画像入力手段と、前記検査対象物と画像入力手段との間を円弧を描いて相対的に移動せしめる移動手段と、前記画像入力手段からの画像データに基いて前記検査対象物の検査箇所と前記画像入力手段との間の相対角度に対応する所定の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出される所定の特徴量に基いて前記検査対象物と画像入力手段との位置関係が最適であるか否かを判断する判断手段と、前記判断手段によって判断される前記検査対象物と画像入力手段との位置関係が最適となる位置関係が得られるように前記移動手段を制御する制御手段とを具備し、前記画像入力手段は同軸照明装置を有するカメラを含み、前記移動手段は前記画像入力手段に含まれる前記同軸照明装置を有するカメラを前記検査対象物の検査箇所を中心として回転移動せしめる手段を含み、前記特徴量抽出手段によって抽出される所定の特徴量が前記同軸照明装置の正反射光成分にあたる最も明るい画素の数とされるとき、前記判断手段はこの特徴量が最大となる位置関係を最適位置関係であると判断することを特徴とする外観検査装置が提供される。
【００１８】
上述した解決手段によると、検査箇所に傾きが生じる場合、移動手段により検査箇所との相対角度が変化するようにカメラ等の画像入力手段を検査箇所を中心に円弧を描いて移動させて画像を入力し、この画像から検査箇所とカメラ等の画像入力手段との相対角度の変化に応じた特徴量を特徴量抽出手段によって測定し、この特徴量から検査に適したカメラ等の画像入力手段の位置を判断手段によって判断しカメラ等の画像入力手段の位置を補正する際に、前記画像入力手段は同軸照明装置を有するカメラを含み、前記移動手段は前記画像入力手段に含まれる前記同軸照明装置を有するカメラを前記検査対象物の検査箇所を中心として回転移動せしめる手段を含み、前記特徴量抽出手段によって抽出される所定の特徴量が前記同軸照明装置の正反射光成分にあたる最も明るい画素の数とされるとき、前記判断手段はこの特徴量が最大となる位置関係を最適位置関係であると判断することにより、検査箇所の傾きに対して安定した画像が得られるので、誤検出を生じることなく検査することができる。
【００１９】
従って、以上のような本発明によれば、対象物に角度のばらつき等の傾きを含む立体的な位置ずれが生じた場合でもそれを確実に補正して誤検出が生じないようにした外観検査装置を提供することが可能となる。
【００２０】
さらに、本発明によると、検査対象物を撮像するもので、同軸照明装置を有するテレビカメラと、前記検査対象物とテレビカメラとの間を円弧を描いて相対的に移動せしめるもので、前記テレビカメラを前記検査対象物の検査箇所を中心として回転移動せしめるロボットと、前記テレビカメラからの画像データに基いて前記検査対象物の検査箇所と前記テレビカメラとの間の相対角度に対応する所定の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出される所定の特徴量に基いて前記検査対象物とテレビカメラとの位置関係が最適であるか否かを判断する判断手段と、前記判断手段によって判断される前記検査対象物とテレビカメラとの位置関係が最適となる位置関係が得られるように前記ロボットを制御する制御手段と、前記判断手段及び制御手段とにより、最適となる前記検査対象物とテレビカメラとの位置関係が得られた状態で当該検査箇所における前記テレビカメラの位置を最適位置座標として登録する自動ティーチング手段とを具備し、前記特徴量抽出手段によって抽出される所定の特徴量が前記同軸照明装置の正反射光成分にあたる最も明るい画素の数とされるとき、前記判断手段はこの特徴量が最大となる位置関係を最適位置関係であると判断することを特徴とする外観検査装置が提供される。
【００２２】
上述した解決手段によると、検査箇所に傾きが生じる場合、検査箇所との相対角度が変化するように同軸照明装置を有するテレビカメラを検査箇所を中心に円弧を描いて移動させて画像を入力し、この画像から検査箇所と前記同軸照明装置を有するテレビカメラとの相対角度の変化に応じた特徴量を特徴量抽出手段によって測定し、この特徴量から検査に適した前記同軸照明装置を有するテレビカメの位置を判断手段によって判断し同軸照明装置を有するテレビカメラの位置を補正するとともに、前記判断手段によって判断される前記検査対象物と画像入力手段との位置関係が最適となる位置関係が得られるように前記移動手段を制御手段によって制御する際に、前記特徴量抽出手段によって抽出される所定の特徴量が前記同軸照明装置の正反射光成分にあたる最も明るい画素の数とされるとき、前記判断手段はこの特徴量が最大となる位置関係を最適位置関係であると判断することにより、検査箇所の傾きに対して安定した画像が得られるので、誤検出を生じることなく検査することができると共に、特にロボットに取り付けられたカメラを用いて部品組み付け後の外観を検査するようにした外観検査装置であって、前記判断手段及び制御手段との協同により、最適となる前記検査対象物とテレビカメラとの位置関係が得られた状態で当該検査箇所における前記テレビカメラの位置を最適位置座標として登録する自動ティーチング手段を備えることにより、ロボットでティーチングする検査箇所の角度に応じて、画像処理に適したカメラ位置を自動的に探索・決定する機能を追加し、ティーチング時間を短縮することができる。
【００２３】
従って、以上のような本発明によれば、カメラを検査箇所を中心として移動させ、画像の明るさや形状等の特徴量の変化を計測することにより、画像処理に適したカメラ位置を決定し、上記問題点を解決するようにした外観検査装置を提供することが可能となる。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態につき説明する。
図１は、本発明の第１の実施例Ａによる外観検査装置のシステム構成を示す図である。
【００２５】
図１において１は、後述するテレビカメラ２及び照明装置３を移動させるためのロボットで、ロボットコントローラ６の制御により検査対象物（ワーク）４を検査するために予め教示されたカメラ位置２１へ移動することができる。
【００２６】
また、このロボット１は図２に示すようにテレビカメラ２を検査対象部品４１の検査箇所４２を中心に検査に最適カメラ位置２２まで円弧を描いて回転移動方向２３により回転移動させることができる。
【００２７】
図１において、２は画像を入力するためのテレビカメラ、３は照明装置で、検査対象物４に照明光を与えると共に検査対象物４からの反射光成分のみがテレビカメラ２に入射されるようにした同軸照明を実現している。
【００２８】
また、４は検査対象物（ワーク）、５は画像処理装置、６はロボットコントローラである。
図２は、上記テレビカメラ２の回転移動の説明図である。
【００２９】
図２において、２１は検査のために予め教示されたカメラ位置、２２はテレビカメラ２を回転移動した後の検査に最適なカメラ位置、２３はテレビカメラ２が円弧を描いて回転移動をする移動方向を示す。
【００３０】
また、図２において、４１は検査対象物４に組みつけられた検査対象部品で、組み付けによる角度ばらつきを有している。
また、図２において、４２は実際の検査箇所で、カメラ２の回転移動の中心でもある。
【００３１】
図３は、上記画像処理装置５の内部構成図である。
図３において、５１はテレビカメラ２からの画像データをアナログからデジタルへ変換するＡ／Ｄ変換器、５２はＡ／Ｄ変換器５１からのデジタル画像データから特徴量を演算する特徴抽出部、５３はその特徴量から検査に最適なカメラ位置を判断するカメラ位置判断部である。
【００３２】
また、図３において、５４は実際に検査を行なう検査処理部、５５はカメラ位置データを記憶しておくメモリである。
図４は上述した本発明の第１の実施例Ａによる外観検査装置の応用例として車両に用いられるディストリビュータのコネクタ端子検査に適用される場合の処理手順を示す。
【００３３】
この場合、検査に最適なカメラ位置２２は、テレビカメラ２と同軸照明を行う照明装置３が検査箇所４２の平面に垂直な位置にあるとする。
そして、テレビカメラ２から入力される画像中の同軸照明装置３の正反射光成分にあたる最も明るい画素（例えば濃淡階調が０〜１５であれば１５の白レベル相当部）の数を特徴量とすることにより、この特徴量が最大となる位置を後述するようにして探すことで最適なカメラ位置２２を求めることができる。
【００３４】
まず、画像処理装置５内のメモリ５５に予め記憶されている予めティーチングされたカメラ位置データを読み出し、ロボットコントローラ６にその位置への移動制御を指示する。
【００３５】
次に、ロボットコントローラ６はその指示を受け、ロボット１を移動する（ステップＳ１）。
そして、画像入力を行うテレビカメラ２により、検査箇所４２の画像を撮像する（ステップＳ２）。
【００３６】
この画像データは画像処理装置５へ転送され、Ａ／Ｄ変換器５１によりデジタル信号に変換され、特徴抽出部５２で前記特徴量を演算し、変数Ｈとして代入される（ステップＳ３）。
【００３７】
そして、カメラ位置判断部５３において、最初に０を代入しておいた（ステップＳ０）Ｈ₀ と、今回測定されたＨとを比較することで最大値を探す（ステップＳ４）。
【００３８】
Ｈ≧Ｈ₀ ならＨ₀ に新たにＨの値を代入し（ステップＳ５）、ロボットコントローラ６に図２に示すにように、テレビカメラ２を検査箇所４２を中心に円弧を描くように回転移動制御の指示を出す。
【００３９】
これにより、ロボット１はロボットコントローラ６で指示された位置へ移動し（ステップＳ６）、再びステップＳ２（画像入力）以降の処理を繰り返す。
この時のテレビカメラ２の回転移動の移動量は、誤検出することなく検査が可能な、検査箇所４２とテレビカメラ２の相対角度の範囲を予め調べておき、その角度以下に設定すればよい。
【００４０】
また、テレビカメラ２の回転移動方向２３は、まず検査対象部品４１のばらつきが生じる方向を、その部品の組み付け方法から予め推測する。
次に、推測した方向の全てについて、テレビカメラ２を図２に示すように回転移動をして、特徴量を演算する。
【００４１】
そして、その特徴量の増加が最も大きい方向を移動方向とすればよい。
ステップＳ４において、Ｈ＜Ｈ₀ ならば、現在の１つ前の位置が最大の特徴量を与えるカメラ位置であり、その位置が検査に最適なカメラ位置２２であると判断し、ロボットコントローラ６へその位置への移動制御を指示する。
【００４２】
これにより、ロボットコントローラ６はその最適なカメラ位置２２へロボット１を移動制御し（ステップＳ７）、ロボット１に取り付けられたテレビカメラ２により検査箇所４２の画像を撮像する。
【００４３】
この入力画像データは画像処理装置５へ転送され、Ａ／Ｄ変換器５１によりデジタル信号に変換され、検査処理部５４にてこの場合、コネクタの外観形状やピン数が正常であるか否か等の検査が行われる（ステップＳ８）。
【００４４】
以上により、カメラと検査箇所の相対角度を変え、そこで得られた画像の特徴量から、検査箇所のばらつきに応じて最適なカメラ位置を決定でき、誤検出することなく検査することが可能となる。
【００４５】
なお、以上の説明では最適なカメラ位置２２を決定してから検査を実行したが、まず検査を実行し誤検出があった場合にのみ最適なカメラ位置を決定し再度検査を実行する方法も可能である。
【００４６】
また、ここでは照明装置３として、同軸照明装置を使い、その正反射光成分にあたる最も明るい画素の数を特徴量としたが、斜方照明等他の照明方法を使い、検査箇所の輪郭形状等カメラと検査箇所との相対角度によって変化する特徴量や、予め記憶しておいた最適なカメラ位置での画像とのマッチング度等も特徴量として使用することもできる。
【００４７】
また、以上の説明では検査対象４を固定し、テレビカメラ２及び照明装置３をロボット１により移動したが、逆にテレビカメラ２及び照明装置３を固定して検査対象４をロボット１により移動させても同様の効果が得られる。
【００４８】
つまり、これらの両者の間で円弧を描いて相対的に移動せしめるようにしてやればよい。
また、前述の第１の実施例Ａでは、テレビカメラ２が円弧を描いて回転移動を行うようにしているが、例えば、テレビカメラ２にズーム機構を持たせるようにすることにより、テレビカメラ２と検査箇所４２との間の距離を変えて円弧以外の軌跡を描くようにしてもよい。
【００４９】
すなわち、テレビカメラ２の焦点距離に応じた軌跡で、移動可能としてやればよい。
さらに、ここではカメラ位置判断部５３や、カメラ位置を記憶しておくメモリ５５を画像処理装置５内に実現したが、これらはロボットコントローラ６や、パーソナルコンピュータ等で実現することもできる。
【００５０】
従って、以上詳述したように本発明の第１の実施例Ａによれば、対象物に角度のばらつき等の傾きを含む立体的な位置ずれが生じた場合でもそれを確実に補正して誤検出が生じないようにした外観検査装置を提供することが可能となる。
【００５１】
ところで、以上のような本発明の第１の実施例Ａでは、最適なカメラ位置を決定して検査を行なう例について説明したが、検査のために予めカメラ位置を自動的にティーチングする場合にも適用することができる。
【００５２】
なお、予め、カメラ位置をティーチングするのは、検査対象物４のすべての検査箇所が対象となる。
この場合、従来の方法では、上記従来の技術の項に記載したように、作業者はまずロボット１を操作し、テレビカメラ２に検査箇所を映した後、次に検査に最適なカメラ位置になるよう、作業者が目視又は定規や治具を用いて手作業でカメラ位置の調整を行なうことになる。
【００５３】
しかし、この方法では、作業者によって位置決めの精度にばらつきが生じ、また精密に設定しようとすれば時間がかかってしまうという問題があると共に、検査箇所は検査対象物４の各方向にあるため、側面や形状の複雑な箇所では、治具等による作業が難しいという問題がある。
【００５４】
次に、以上のような問題点を解決するために、検査のために予めカメラ位置を自動的にティーチングする場合にも適用することができるようにした本発明の第２の実施例Ｂについて説明する。
【００５５】
図５は、本発明の第２の実施例Ｂによる外観検査装置のシステム構成を示す図である。
図５において、１はカメラを移動させるためのロボット、２はロボットに取付けられたテレビカメラ、３はカメラと共に移動する照明、４は検査対象物、５は画像処理装置、６はロボットコントローラ、７は、ロボット１のティーチペンダントである。
【００５６】
図６は、本発明の第２の実施例Ｂによるティーチングの作業手順を示すもので、カメラ位置の自動ティーチングを上述した第１の実施例Ａと同様にコネクタ検査のティーチングに適用した場合の手順を示す。
【００５７】
ロボット１に取り付けられたテレビカメラ２と照明３は、作業者がティーチペンダント７を使って検査箇所がテレビカメラ２に映る位置へ移動し、最適なカメラ位置の自動ティーチングが開始される（ステップＳ１０）。
【００５８】
まず、テレビカメラ２により、検査箇所４２の画像を撮像し、画像処理装置５へ画像入力する（ステップＳ１２）。
ディストリビュータのコネクタ端子検査を例にとると、検査に最適なカメラ位置は、テレビカメラ２と同軸照明が検査面に垂直な位置にあるときで、このとき画像の中で同軸照明の正反射光成分にあたる最も明るい画素の数を特徴量とすることにより、その特徴量が最大となる位置が最適なカメラ位置となる。
【００５９】
そこで、この入力画像から特徴量を計測するために、その画像データから特徴量を演算し、変数Ｈへ代入される（ステップＳ１３）。
そして、最初にステップＳ１１で０を代入しておいた変数Ｈ₀ と、今回測定した変数Ｈとを比較することで最大値を探す（ステップＳ１４）。
【００６０】
Ｈ≧Ｈ₀ ならＨ₀ に新たにその変数Ｈの値を代入し（ステップＳ１５）、ロボットコントローラ６により、図２に示すように、テレビカメラ２が検査箇所４２を中心に円弧を描くように回転移動させ（ステップＳ１６）、再び上記ステップＳ１２以降を繰り返す。
【００６１】
Ｈ＜Ｈ₀ なら現在の１つ前の位置が最大の特徴量を与えるカメラ位置であり、その位置が検査に最適なカメラ位置２２であると判断し、ロボット１をそこへ移動する（ステップＳ１７）。
【００６２】
この位置を当該検査箇所の予めティーチングしておくべきカメラ位置のティーチング座標として登録する（ステップＳ１８）。
なお、テレビカメラ２の移動方向は、変数Ｈが増加する方向を予め探すことで決定できると共に、その移動角度は検査時のテレビカメラ２の位置決め精度から決められる。
【００６３】
また、ここでは同軸照明を使い最も明るい画素数を特徴量としたが、斜方照明等他の照明を使い対象の輪郭形状等カメラの角度によって変化する特徴量を使用することもできる。
【００６４】
以上により、テレビカメラ２と検査箇所の相対角度を変え、そこで得られた画像の特徴量から画像処理に最適なカメラ位置を決定でき、作業者は、検査箇所をカメラに映すのみで良くなり、ロボット１に対するティーチング時間を短縮することが可能となる。
【００６５】
なお、この第２の実施例Ｂでは，図２における予めティーチングされたカメラ位置２１は、ステップＳ１０でのカメラ位置に相当する。
以上により、カメラと検査箇所の相対角度を変え、そこで得られた画像の特徴量から、検査に最適なカメラ位置を決定することができ、作業者は検査箇所をカメラに映すのみで良く、カメラ位置のティーチング時間を短縮することができ、作業者による位置決めの精度のばらつきをなくすことが可能となる。
【００６６】
従って、以上詳述したように本発明の第２の実施例Ｂによれば、カメラを検査箇所を中心として移動させ、画像の明るさや形状等の特徴量の変化を計測することにより、画像処理に適したカメラ位置を決定し、上記問題点を解決するようにした外観検査装置を提供することができる。
【図面の簡単な説明】
【図１】本発明による第１の実施例Ａの全体構成を示す図。
【図２】図１に用いるテレビカメラの回転移動を示す図。
【図３】図１に用いる画像処理装置の具体例を示す図。
【図４】本発明による第１の実施例Ａの動作を説明するためのフローチャート。
【図５】本発明による第２の実施例Ｂの全体構成を示す図。
【図６】本発明による第２の実施例Ｂの動作を説明するためのフローチャート。
【符号の説明】
１…ロボット、
２…テレビカメラ、
３…照明装置、
４…検査対象物（ワーク）、
４１…検査対象部品、
４２…検査箇所、
５…画像処理装置、
５１…Ａ／Ｄ変換器、
５２…特徴抽出部、
５３…カメラ位置判断部、５
４…検査処理部、
５５…メモリ、
６…ロボットコントローラ、
７…ロボットペンダント。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an appearance inspection apparatus that inspects an appearance after assembling parts using a camera attached to a robot or the like, for example, and in particular, automatically picks up an imaging position suitable for image processing according to an angle change of an inspection place. The present invention relates to an appearance inspection apparatus having a function of searching and determining automatically.
[0002]
The present invention also relates to an appearance inspection apparatus for inspecting the appearance after assembling parts using a camera attached to a robot or the like, for example, image processing according to the angle of an inspection location taught by a robot. The present invention relates to an appearance inspection apparatus suitable for appearance inspection after assembling parts by adding a function of automatically searching for and determining a suitable camera position and reducing teaching time.
[0003]
[Prior art]
Conventionally, in the fields such as the headline, an appearance inspection is performed by a camera (camera robot) attached to a camera fixed at a fixed position or a robot taught to move to a fixed position.
[0004]
In other words, when teaching the coordinates of an inspection location with a camera robot, the operator first looks at the camera and then uses an eye or a ruler or jig so that an image suitable for image processing for inspection can be obtained. It is used for manual adjustment.
[0005]
However, in this method, there are variations in positioning accuracy depending on the operator, and there is a problem that it takes time if precise setting is made, and since the inspection point is in each direction of the work to be inspected, There is a problem that it is difficult to work with a jig or the like in a complicated shape.
[0006]
If the robot and the inspection surface only move in parallel, automatic teaching can be performed by detecting the position of the center of gravity as in the pattern search disclosed in Japanese Patent Laid-Open No. 63-196803. If the workpiece is three-dimensional and the robot and the inspection surface are not only parallel, but also in a rotational movement position, it cannot be handled.
[0007]
In addition, when performing an appearance inspection, Japanese Patent Laid-Open No. 63-196803 discloses a method of correcting the position by measuring the center of gravity with respect to the planar displacement of the inspection object.
[0008]
However, in this method, when a three-dimensional deviation such as an angle variation at the time of assembling the components occurs, there is a problem that the brightness and shape of the image change and erroneous detection occurs.
[0009]
That is, according to the pattern search device disclosed in the above Japanese Patent Laid-Open No. 63-196803, the camera is moved by the robot based on the position of the center of gravity with respect to the pattern away from the center of the field of view, and the pattern is captured at the center of the field of view. As a result, pattern shape errors can be suppressed and position recognition can be performed correctly.
[0010]
In this method, the camera is translated with respect to the surface on which the pattern is placed in order to align the center of the visual field and the position of the center of gravity of the pattern.
However, if the surface on which the pattern is placed is tilted with respect to the camera, for example, the pattern will remain tilted even if the pattern center of gravity is aligned with the center of the field of view, the pattern shape error will not disappear, The position cannot be recognized correctly.
[0011]
Even if the camera is moved in accordance with the inclination of the pattern, the inclination of the pattern cannot be detected only by detecting the position of the center of gravity of the pattern, and the camera position cannot be corrected with respect to the inclination of the pattern.
[0012]
In other words, using this method, when performing inspections that cause tilt (such as angle variations when assembling parts) at the inspection location, the inclination of the inspection location will remain even if the pattern (inspection location) center of gravity is aligned with the center of the field of view. Since the correction is not performed, there is a problem that even if the inspection is performed in this state, the detection error occurs.
[0013]
[Problems to be solved by the invention]
Therefore, the present invention has been made in view of the above points, and even when a three-dimensional positional deviation including an inclination such as a variation in angle occurs in an object, it is reliably corrected and erroneous detection occurs. It is an object of the present invention to provide a visual inspection apparatus that is not provided.
[0014]
In addition, the present invention has been made in view of the above points, and is suitable for image processing by moving a camera around an inspection location and measuring a change in a feature amount such as brightness and shape of an image. An object of the present invention is to provide an appearance inspection apparatus that determines the camera position and solves the above-described problems.
[0015]
[Means for Solving the Problems]
According to the present invention, in order to solve the above-described problem, an image input unit that captures an image of an inspection object, a moving unit that moves relatively between the inspection object and the image input unit while drawing an arc, and A feature amount extracting means for extracting a predetermined feature amount corresponding to a relative angle between the inspection location of the inspection object and the image input means based on image data from the image input means; and the feature amount extracting means. Determination means for determining whether or not the positional relationship between the inspection object and the image input means is optimal based on a predetermined feature amount extracted, and the inspection object and image input determined by the determination means positional relationship between the means and control means for controlling said moving means so that the position relation is obtained for the optimization, the image input means includes a camera having a coaxial illumination unit, said moving means said image input Means for rotating the camera having the coaxial illumination device included in the means around the inspection location of the inspection object, and the predetermined feature amount extracted by the feature amount extraction means is the regular reflection of the coaxial illumination device When the number of the brightest pixels corresponding to the light component is determined, the determination means determines that the positional relationship that maximizes the feature amount is the optimal positional relationship .
[0018]
According to the above-described solution means, when the inspection location is tilted, the image input device such as a camera is moved in an arc around the inspection location so that the relative angle with the inspection location is changed by the moving device. The feature amount corresponding to the change in relative angle between the inspection location and the image input means such as the camera is measured from the image by the feature amount extraction means, and the image input means such as the camera suitable for the inspection is determined from the feature amount. When the position is determined by the determination means and the position of the image input means such as a camera is corrected , the image input means includes a camera having a coaxial illumination device, and the moving means is the coaxial illumination device included in the image input means. Means for rotating the camera around the inspection location of the inspection object, and the predetermined feature amount extracted by the feature amount extraction means is the same as that of the coaxial illumination device. When it is the number of the brightest pixel at reflection component, the judgment unit may by determined to be optimal positional relationship positional relationship which the feature amount is maximum, stable image against the inclination of the inspection region Since it is obtained, inspection can be performed without causing erroneous detection.
[0019]
Therefore, according to the present invention as described above, even when a three-dimensional misalignment including an inclination such as a variation in angle occurs in an object, it is surely corrected so that no false detection occurs. An apparatus can be provided.
[0020]
Further, according to the present invention, the object to be inspected is imaged, and the television camera having a coaxial illumination device and the object to be inspected are relatively moved in a circular arc between the object to be inspected and the television camera. A robot that rotates the camera around the inspection location of the inspection object, and a predetermined angle corresponding to a relative angle between the inspection location of the inspection object and the television camera based on image data from the television camera. Feature amount extraction means for extracting feature amounts, and determination means for determining whether or not the positional relationship between the inspection object and the television camera is optimal based on the predetermined feature amounts extracted by the feature amount extraction means And a control means for controlling the robot so as to obtain a positional relationship in which the positional relationship between the inspection object and the television camera determined by the determining means is optimal. By said determining means and control means, and an automatic teaching means for registering the position of the TV camera in the inspection position as the optimum position coordinates at a position state where the relationship is obtained between the test object and the television camera to be optimized When the predetermined feature amount extracted by the feature amount extraction means is the number of the brightest pixels corresponding to the specularly reflected light component of the coaxial illumination device, the determination means is a position where the feature amount is maximum. There is provided an appearance inspection apparatus characterized in that a relationship is determined to be an optimal positional relationship .
[0022]
According to the above solution, when the inspection location is tilted, the television camera having the coaxial illumination device is moved in an arc around the inspection location so that the relative angle with the inspection location changes, and an image is input. Then, a feature amount corresponding to a change in relative angle between the inspection location and the television camera having the coaxial illumination device is measured from the image by a feature amount extraction means, and the television having the coaxial illumination device suitable for the inspection from the feature amount. The position of the turtle is determined by the determining means to correct the position of the television camera having the coaxial illumination device, and the positional relationship between the inspection object and the image input means determined by the determining means is optimized. When the moving means is controlled by the control means, the predetermined feature quantity extracted by the feature quantity extraction means is the correct value of the coaxial illumination device. When it is the number of the brightest pixel at Shako component, the judgment unit may by determined to be optimal positional relationship positional relationship which the feature amount is maximum, stable images obtained for the inclination of the inspection region Therefore, it is possible to inspect without causing false detection, and in particular, an appearance inspection apparatus for inspecting the appearance after assembling the parts using a camera attached to the robot , wherein the determination means and the control means By providing automatic teaching means for registering the position of the television camera at the inspection location as optimum position coordinates in a state where the optimal positional relationship between the inspection object and the television camera is obtained in cooperation with the robot, Added a function to automatically search and determine the camera position suitable for image processing according to the angle of the inspection location to teach , It is possible to shorten the teaching time.
[0023]
Therefore, according to the present invention as described above, the camera position suitable for image processing is determined by moving the camera around the inspection location and measuring the change in the feature amount such as the brightness and shape of the image. It is possible to provide an appearance inspection apparatus that solves the above problems.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a system configuration of an appearance inspection apparatus according to a first embodiment A of the present invention.
[0025]
In FIG. 1, reference numeral 1 denotes a robot for moving a TV camera 2 and an illumination device 3 to be described later. The robot moves to a camera position 21 taught in advance to inspect an inspection object (work) 4 under the control of the robot controller 6. can do.
[0026]
Further, as shown in FIG. 2, the robot 1 can rotate the television camera 2 in a rotational movement direction 23 while drawing an arc up to the optimum camera position 22 for inspection around the inspection location 42 of the inspection target component 41.
[0027]
In FIG. 1, reference numeral 2 denotes a television camera for inputting an image, and reference numeral 3 denotes an illuminating device. The illumination device gives illumination light to the inspection object 4 and only the reflected light component from the inspection object 4 is incident on the television camera 2. Realized coaxial lighting.
[0028]
Reference numeral 4 denotes an inspection object (work), 5 denotes an image processing apparatus, and 6 denotes a robot controller.
FIG. 2 is an explanatory diagram of the rotational movement of the television camera 2.
[0029]
In FIG. 2, 21 is a camera position taught in advance for inspection, 22 is an optimal camera position for inspection after rotating the TV camera 2, and 23 is a movement in which the TV camera 2 rotates while drawing an arc. Indicates direction.
[0030]
In FIG. 2, reference numeral 41 denotes an inspection target component assembled to the inspection target 4 and has an angle variation due to the assembly.
In FIG. 2, reference numeral 42 denotes an actual inspection location, which is also the center of rotational movement of the camera 2.
[0031]
FIG. 3 is an internal configuration diagram of the image processing apparatus 5.
In FIG. 3, 51 is an A / D converter that converts image data from the TV camera 2 from analog to digital, 52 is a feature extraction unit that calculates feature amounts from digital image data from the A / D converter 51, 53 Is a camera position determination unit that determines the optimum camera position for inspection from the feature amount.
[0032]
In FIG. 3, reference numeral 54 denotes an inspection processing unit for actually inspecting, and 55 denotes a memory for storing camera position data.
FIG. 4 shows a processing procedure when applied to connector terminal inspection of a distributor used in a vehicle as an application example of the appearance inspection apparatus according to the first embodiment A of the present invention described above.
[0033]
In this case, it is assumed that the optimal camera position 22 for inspection is located at a position perpendicular to the plane of the inspection location 42 with the illumination device 3 that performs coaxial illumination with the television camera 2.
Then, the number of brightest pixels (for example, a portion corresponding to 15 white levels if the grayscale is 0 to 15) corresponding to the specularly reflected light component of the coaxial illumination device 3 in the image input from the TV camera 2 is defined as the feature amount. Thus, the optimum camera position 22 can be obtained by searching for the position where the feature amount is maximized as described later.
[0034]
First, the pre-teached camera position data stored in advance in the memory 55 in the image processing apparatus 5 is read out, and the robot controller 6 is instructed to move to that position.
[0035]
Next, the robot controller 6 receives the instruction and moves the robot 1 (step S1).
And the image of the test | inspection location 42 is imaged with the television camera 2 which inputs an image (step S2).
[0036]
This image data is transferred to the image processing device 5, converted into a digital signal by the A / D converter 51, the feature extraction unit 52 calculates the feature value, and substitutes it as a variable H (step S3).
[0037]
Then, the camera position determination unit 53 searches for the maximum value by comparing H ₀ that has been initially substituted with 0 (step S 0) and H measured this time (step S 4).
[0038]
If H ≧ H ₀ , a new value of H is substituted for H ₀ (step S5), and the robot controller 6 is rotated and moved so as to draw an arc around the inspection location 42 as shown in FIG. Give control instructions.
[0039]
Thereby, the robot 1 moves to the position instructed by the robot controller 6 (step S6), and repeats the processing after step S2 (image input) again.
The moving amount of the rotational movement of the TV camera 2 at this time may be set to be equal to or less than the angle obtained by checking in advance the range of the relative angle between the inspection location 42 and the TV camera 2 that can be inspected without erroneous detection. .
[0040]
As for the rotational movement direction 23 of the television camera 2, first, the direction in which the inspection target component 41 varies is presumed in advance from the assembly method of the component.
Next, with respect to all the estimated directions, the television camera 2 is rotationally moved as shown in FIG.
[0041]
Then, the direction in which the increase in the feature amount is the largest may be set as the movement direction.
In step S4, if H <H ₀ , it is determined that the current previous position is the camera position giving the maximum feature value, and that the position is the optimal camera position 22 for inspection, and the robot controller 6 is informed. Instructs movement control to that position.
[0042]
As a result, the robot controller 6 controls the movement of the robot 1 to the optimal camera position 22 (step S7), and takes an image of the inspection location 42 by the television camera 2 attached to the robot 1.
[0043]
This input image data is transferred to the image processing apparatus 5 and converted into a digital signal by the A / D converter 51. In this case, the inspection processing unit 54 determines whether the appearance shape of the connector and the number of pins are normal. Is performed (step S8).
[0044]
As described above, the relative angle between the camera and the inspection location can be changed, and the optimum camera position can be determined from the feature amount of the image obtained there in accordance with the variation of the inspection location, allowing inspection without erroneous detection. .
[0045]
In the above description, the optimal camera position 22 is determined and then the inspection is executed. However, it is also possible to execute an inspection first and then determine the optimal camera position and execute the inspection again only when there is a false detection. It is.
[0046]
In addition, here, a coaxial illumination device is used as the illumination device 3 and the number of brightest pixels corresponding to the specularly reflected light component is used as a feature amount. However, other illumination methods such as oblique illumination are used, and the contour shape of the inspection location, etc. A feature amount that changes depending on the relative angle between the camera and the inspection location, a matching degree with an image stored at an optimal camera position stored in advance, and the like can also be used as the feature amount.
[0047]
In the above description, the inspection object 4 is fixed and the TV camera 2 and the illumination device 3 are moved by the robot 1. Conversely, the TV camera 2 and the illumination device 3 are fixed and the inspection object 4 is moved by the robot 1. However, the same effect can be obtained.
[0048]
That is, what is necessary is just to make it move relatively by drawing a circular arc between these both.
In the first embodiment A described above, the television camera 2 rotates and moves while drawing an arc. For example, when the television camera 2 is provided with a zoom mechanism, the television camera 2 is provided with a zoom mechanism. The trajectory other than the arc may be drawn by changing the distance between the inspection point 42 and the inspection point 42.
[0049]
In other words, it is only necessary to make it movable with a locus corresponding to the focal length of the television camera 2.
Furthermore, although the camera position determination unit 53 and the memory 55 for storing the camera position are realized in the image processing apparatus 5 here, these can also be realized by the robot controller 6 or a personal computer.
[0050]
Therefore, as described in detail above, according to the first embodiment A of the present invention, even if a three-dimensional positional deviation including an inclination such as a variation in angle occurs in an object, it is corrected and reliably corrected. It is possible to provide an appearance inspection apparatus that prevents detection.
[0051]
By the way, in the first embodiment A of the present invention as described above, the example in which the optimal camera position is determined and the inspection is performed has been described. However, even in the case where the camera position is automatically taught in advance for the inspection. Can be applied.
[0052]
It should be noted that teaching the camera position in advance applies to all inspection locations of the inspection object 4.
In this case, in the conventional method, as described in the above-mentioned section of the prior art, the operator first operates the robot 1 to display the inspection location on the TV camera 2 and then sets the optimal camera position for the inspection. Thus, the operator adjusts the camera position visually or manually using a ruler or a jig.
[0053]
However, in this method, the accuracy of positioning varies depending on the operator, and there is a problem that it takes time if it is set precisely, and the inspection point is in each direction of the inspection object 4, There is a problem that it is difficult to work with a jig or the like at a complicated side or shape.
[0054]
Next, in order to solve the above-described problems, a second embodiment B of the present invention that can be applied to the case where the camera position is automatically taught for inspection will be described. To do.
[0055]
FIG. 5 is a diagram showing a system configuration of an appearance inspection apparatus according to the second embodiment B of the present invention.
In FIG. 5, 1 is a robot for moving a camera, 2 is a television camera attached to the robot, 3 is an illumination that moves together with the camera, 4 is an inspection object, 5 is an image processing device, 6 is a robot controller, 7 Is a teach pendant of the robot 1.
[0056]
FIG. 6 shows the work procedure of teaching according to the second embodiment B of the present invention, and the procedure when the automatic teaching of the camera position is applied to the teaching of connector inspection as in the first embodiment A described above. Indicates.
[0057]
The TV camera 2 and the illumination 3 attached to the robot 1 are moved to a position where the inspection position is reflected on the TV camera 2 by the operator using the teach pendant 7, and automatic teaching of the optimum camera position is started (step S10). ).
[0058]
First, the television camera 2 captures an image of the inspection location 42 and inputs the image to the image processing device 5 (step S12).
Taking the distributor connector terminal inspection as an example, the optimal camera position for the inspection is when the TV camera 2 and the coaxial illumination are perpendicular to the inspection surface. At this time, the specularly reflected light component of the coaxial illumination is included in the image. By using the number of the brightest pixels corresponding to the feature amount as a feature amount, the position where the feature amount is maximized becomes the optimum camera position.
[0059]
Therefore, in order to measure the feature amount from the input image, the feature amount is calculated from the image data and substituted into the variable H (step S13).
The first variable H ₀ which had been substituted for 0 in step S11, search for the maximum value by comparing the variable H measured time (step S14).
[0060]
If H ≧ H _0, the value of the variable H is newly substituted for H ₀ (step S15), and the robot controller 6 causes the TV camera 2 to draw an arc centering on the inspection location 42 as shown in FIG. The rotational movement is performed (step S16), and the steps after step S12 are repeated.
[0061]
If H <H _0, it is determined that the current previous position is the camera position giving the maximum feature value, and that the position is the optimal camera position 22 for inspection, and the robot 1 is moved there (step S17). ).
[0062]
This position is registered as the teaching coordinate of the camera position to be taught in advance for the inspection location (step S18).
The moving direction of the TV camera 2 can be determined by searching in advance for the direction in which the variable H increases, and the moving angle is determined from the positioning accuracy of the TV camera 2 at the time of inspection.
[0063]
Here, the feature quantity is the brightest number of pixels using coaxial illumination, but a feature quantity that changes depending on the angle of the camera, such as a target contour shape, can be used using other illumination such as oblique illumination.
[0064]
As described above, the relative angle between the TV camera 2 and the inspection location can be changed, and the optimum camera position for image processing can be determined from the image feature value obtained there. The operator only has to display the inspection location on the camera, The teaching time for the robot 1 can be shortened.
[0065]
In the second embodiment B, the previously taught camera position 21 in FIG. 2 corresponds to the camera position in step S10.
As described above, the relative angle between the camera and the inspection location can be changed, and the optimal camera position for the inspection can be determined from the feature amount of the image obtained there. The operator only has to display the inspection location on the camera. Position teaching time can be shortened, and variations in positioning accuracy by the operator can be eliminated.
[0066]
Therefore, as described in detail above, according to the second embodiment B of the present invention, the image processing is performed by moving the camera around the inspection location and measuring the change in the feature amount such as the brightness and shape of the image. It is possible to provide an appearance inspection apparatus that determines a camera position suitable for the above and solves the above problems.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of a first embodiment A according to the present invention.
FIG. 2 is a diagram showing rotational movement of the television camera used in FIG. 1;
FIG. 3 is a diagram showing a specific example of the image processing apparatus used in FIG. 1;
FIG. 4 is a flowchart for explaining the operation of the first embodiment A according to the present invention.
FIG. 5 is a diagram showing an overall configuration of a second embodiment B according to the present invention.
FIG. 6 is a flowchart for explaining the operation of the second embodiment B according to the present invention.
[Explanation of symbols]
1 ... Robot,
2 ... TV camera,
3 ... lighting device,
4 ... Inspection object (work),
41 ... parts to be inspected,
42 ... inspection location,
5 ... Image processing device,
51 ... A / D converter,
52. Feature extraction unit,
53 ... Camera position determination unit, 5
4 ... inspection processing part,
55 ... Memory,
6 ... Robot controller,
7 ... Robot pendant.

Claims

Image input means for imaging an inspection object;
A moving means for moving the inspection object and the image input means relative to each other while drawing an arc;
Feature amount extraction means for extracting a predetermined feature amount corresponding to a relative angle between the inspection location of the inspection object and the image input means based on image data from the image input means;
Determining means for determining whether the positional relationship between the inspection object and the image input means is optimal based on a predetermined feature value extracted by the feature value extracting means;
Control means for controlling the moving means so as to obtain a positional relationship in which the positional relationship between the inspection object and the image input means determined by the determining means is optimal ,
The image input means includes a camera having a coaxial illumination device,
The moving means includes means for rotating the camera having the coaxial illumination device included in the image input means around the inspection location of the inspection object;
When the predetermined feature amount extracted by the feature amount extraction unit is the number of the brightest pixels corresponding to the specularly reflected light component of the coaxial illumination device, the determination unit determines the positional relationship where the feature amount is maximum as the optimum position. An appearance inspection apparatus characterized by determining that the relation is established .

An image of an inspection object, a television camera having a coaxial illumination device,
A robot that relatively moves the inspection object and the television camera while drawing an arc, and a robot that rotates the television camera around the inspection portion of the inspection object;
Feature amount extraction means for extracting a predetermined feature amount corresponding to a relative angle between the inspection location of the inspection object and the television camera based on image data from the television camera;
Determining means for determining whether the positional relationship between the inspection object and the television camera is optimal based on a predetermined feature amount extracted by the feature amount extracting means;
Control means for controlling the robot so as to obtain a positional relationship in which the positional relationship between the inspection object and the television camera determined by the determining unit is optimal;
Automatic teaching means for registering the position of the television camera at the inspection location as optimum position coordinates in a state where the optimum positional relationship between the inspection object and the television camera is obtained by the determination means and the control means. Equipped,
When the predetermined feature amount extracted by the feature amount extraction unit is the number of the brightest pixels corresponding to the specularly reflected light component of the coaxial illumination device, the determination unit determines the positional relationship where the feature amount is maximum as the optimum position. appearance inspection device you and determines that the relationship.