JP6207008B2 - 検査装置および検査方法 - Google Patents

Description

本発明は、検査技術に関し、特に搬送される被検査物を撮影した画像から検査範囲が含まれる部分画像を切り出し、部分画像に基づいて検査を行う技術に関する。
技術に関する。

従来、生産工場のラインでは生産物を搬送装置で搬送しつつ、生産物の外観検査を行っている。この検査は、検査員により目視で行われていたが、検査員の負担、検査が主観に頼ることに起因する検査精度のばらつき等の問題があった。そのため、画像処理等による自動検査が提案されている。

例えば、ペットボトル等の検査技術として特許文献１から４、容器に付されたラベルの検査技術として特許文献５がある。これらの技術はいずれも被検査物を搬送しつつ、検査部位をカメラにより撮影して画像を取得し、その画像に基づいて疵等の検査を行っている。

特許文献１および２では、疵のない検査部位の画像と被検査物の検査部位の画像とを比較する、いわゆるテンプレートマッチングにより疵の有無が検査される。一方、特許文献３から５では、被検査物の検査部位の画像を２値化し、その面積に基づいて疵の有無が検査される。

特開２００５−３０８４４１号公報 特開２００７−１１３９２３号公報 特開２００７−５７４３１号公報 特開２００８−１５７８５８号公報 特開２００８−２８１４７７号公報

上述した特許文献の技術では、画像処理により被検査物の疵の有無を自動的に検査することができる。しかしながら、これらの技術では、検査部位は画像中で同じ位置にあることを前提としている。例えば、製造ラインでは多くの製品が流れており、製品が搬送ベルト上のどの位置を流れるかによってカメラからの距離や角度が異なる。このような場合、画像中における検査部位が想定している位置からずれてしまい、検査精度が低下するおそれがある。特に、テンプレートマッチングでは検査精度はテンプレートを配置する位置の精度に依存している。位置精度の依存性をなくすためには、画像中でテンプレート位置を変更しつつテンプレートマッチングを行う必要があるが、処理時間が増大するという問題が生じる。

本発明の目的は、上記課題に鑑み、画像中の検査部位の位置が変化しても的確に検査を行うことができる検査技術を提供することである。

前記課題を解決するために、本発明の検査装置は、搬送される被検査物を撮影し画像を取得する撮影部と、前記画像中に前記被検査物の検査部位を含む検査領域を設定する検査領域設定部と、前記検査領域に含まれる前記画像の画素値を２値化し、２値画像を生成する２値画像生成部と、前記２値画像中の所定の一方の画素値を有する領域に基づいて検査マスクを生成する検査マスク生成部と、前記画像に対して前記検査マスクを設定し、当該画像中で当該検査マスクに含まれる画素の画素値に基づいて前記被検査物の瑕疵の有無を判定する疵判定部と、を備え、前記撮影部は前記被検査物に対して側方に突出する前記検査部位に対して仰角を有する仰角位置または俯角を有する俯角位置に設置されており、前記検査マスク生成部は、前記撮影部が仰角位置にある際には前記検査マスクの下端を上方に収縮させ、前記撮影部が俯角位置にある際には前記検査マスクの上端を下方に収縮させる。

この構成では、被検査物を撮影した画像中に検査領域が設定され、検査領域内の画素に基づいて瑕疵の有無が検査されるため、検査部位が検査領域内で移動しても対応することができる。また、検査領域内の画素を２値化した２値画像中の領域に基づいて検査マスクを生成し、検査マスク内の画素に基づいて瑕疵の有無を判定しているため、検査領域に検査部位以外の部位や背景が含まれていても、的確に検査部位の瑕疵を判定することができる。

この構成では、検査部位に対する撮影部の位置に応じて検査マスクを収縮させることにより、検査部位の下面または上面を含まなくしている。そのため、このような検査マスクに含まれる画素の画素値に基づいて瑕疵の有無を判定すれば、検査部位の側面の瑕疵を判定することができる。

また、本発明の検査装置の技術的特徴は、同様の検査方法にも適用することができる。例えば、撮影部により撮影された搬送される被検査物の画像の中に前記被検査物の検査部位を含む検査領域を設定する検査領域設定ステップと、前記検査領域に含まれる前記画像の画素値を２値化し、２値画像を生成する２値化ステップと、前記２値画像中の所定の一方の画素値を有する領域に基づいて検査マスクを生成する検査マスク生成ステップと、前記画像に対して前記検査マスクを設定し、当該画像中で当該検査マスクに含まれる画素の画素値に基づいて前記被検査物の瑕疵の有無を判定する疵判定ステップと、を備え、前記撮影部は前記被検査物に対して側方に突出する前記検査部位に対して仰角を有する仰角位置または俯角を有する俯角位置に設置されており、前記撮影部が仰角位置にある際には前記検査マスクの下端を上方に収縮させ、前記撮影部が俯角位置にある際には前記検査マスクの上端を下方に収縮させる検査方法に用いることができる。

本発明の検査装置の外観図である。 本発明の検査装置の機能ブロック図である。 本発明の検査装置の処理の流れを表すフローチャートである。 被検査物の検査部位を撮影した画像の例である。 図４の画像に検査領域を設定した図である。 図５の検査領域に対して２値化処理を施した２値画像である。 実施例１における検査マスクの生成処理の流れを表すフローチャートである。 図６の２値画像から得られた検査マスクを表す画像である。 図８の検査マスクを補正した検査マスクを表す画像である。 疵判定処理の流れを表すフローチャートである。 疵の位置を明示した画像である。 実施例２における検査マスクの生成処理の流れを表すフローチャートである。 実施例２における補正された検査マスクを表す画像である。

以下に、図面を用いて本発明の検査装置の実施形態を説明する。なお、本実施形態では、被検査物をペットボトル、検査部位をネックリング、瑕疵をネックリングの疵として説明する。当然ながら、被検査物および検査部位はこれらに限定されるものではなく、被検査物をビン等の容器やダンボール等の梱包資材とすることもでき、検査部位をキャップ、被検査物に付されたラベルやシール等とすることもできる。また、瑕疵とは検査部位に生じた異常を示すものであり、検査部位をラベルやシールとした場合には、疵だけでなく剥がれ等の異常状態をも含んでいる。

〔全体構成〕
図１は本発明の検査装置の外観図、図２は検査装置の機能ブロック図である。図１に示すように、被検査物であるペットボトルＰは搬送装置Ｃのベルト上に載置され、図中右方向に搬送される。搬送装置Ｃの搬送経路上にはペットボトルＰを検知するセンサＳが備えられている。センサＳの出力は後述する制御部１に入力されている。

また、搬送方向におけるセンサＳと同位置の搬送装置Ｃの側方には検査部位であるペットボトルＰのネックリングを撮影するカメラ２が設置されている。本実施形態では、カメラ２はネックリングよりも下方で、光軸がネックリングに向くように設置されている。したがって、本実施形態でのカメラ２はネックリングに対して仰角を有している。カメラ２は処理装置Ｔに接続されている。

〔処理装置〕
処理装置Ｔは汎用コンピュータからなり、その内部にソフトウェアにより各機能部が構成されている。当然ながら、各機能部はハードウェアまたはソフトウェアとハードウェアとにより構成しても構わない。

図２に示すように、処理装置Ｔは各種制御を行う制御部１、カメラ２の出力に基づき画像を取得する画像取得部３、画像取得部３により取得された画像に検査領域を設定する検査領域設定部４、検査領域に含まれる画素の画素値を２値化した２値画像を生成する２値画像生成部５、２値画像中の所定の一方の画素値を有する領域に基づいて検査マスクを生成する検査マスク生成部６、検査マスクに含まれる画素の画素値に基づいて疵の有無を判定する疵判定部７を備えている。

制御部１は、各種制御を行う機能を有している。例えば、センサＳによるペットボトルＰの検出信号を受けた際に、カメラ２および画像取得部３に対して画像を取得する指示を行う。また、疵判定部７により疵があると判定された際に、その旨をオペレータ等に通知する、図示しない排出手段に対して疵があると判定されたペットボトルＰを搬送装置Ｃから排出するように指示を出す等の制御を行う。

カメラ２は、上述したようにペットボトルＰのネックリングを下方から仰角を持って撮影する。本実施形態では、カメラ２はモノクロのデジタルスチルカメラを用いるが、カラーのデジタルスチルカメラやデジタルムービーカメラを用いても構わない。また、アナログカメラを用いても構わない。この場合には、画像取得部３はＡ／Ｄ変換機能が必要である。

画像取得部３は、カメラ２からの出力を受けて画像を取得する機能を備えている。上述したように、本実施形態ではカメラ２はモノクロのデジタルスチルカメラであるため、本実施形態の画像取得部３は単にカメラ２から出力される画像データの入力手段として機能する。カメラ２がカラーのデジタルスチルカメラであれば画像取得部３は、カメラ２から取得したカラー画像データを濃淡画像に変換する。また、カメラ２がデジタルムービーカメラの場合には、画像取得部３は動画データから所定のフレームを抽出する。なお、カメラ２および画像取得部３により、本発明の撮影部が構成されている。

検査領域設定部４は、画像取得部３により取得された画像中に検査領域を設定する機能を有している。検査領域とは、画像中で検査部位を含む領域であり、後の処理対象となる領域である。検査領域の設定は、撮影された画像を見ながらオペレータが設定することもできるが、本実施形態では予め設定されている位置、大きさの検査領域を設定する。上述したように、ペットボトルＰは搬送装置Ｃのベルト上に載置されて搬送されるため、位置ずれは所定値以下に抑えられる。したがって、ペットボトルＰが搬送方向に直交する方向の両端にずれた状態で撮影された画像中でのネックリング位置を含むように検査領域の位置および大きさを設定しておけばよい。

２値画像生成部５は、画像取得部２に取得された画像の画素のうち、検査領域に含まれる画素の画素値を２値化する機能を有している。２値化とは、画素の画素値が所定の閾値以下であればその画素の画素値を一方の画素値（例えば、０）に設定し、画素の画素値が所定の閾値よりも大きければその画素の画素値を他方の画素値（例えば、１）に設定する処理である。したがって、閾値が決定できれば画像の２値化を行うことができる。閾値の決定方法は様々な方法を用いることができる。例えば、実験的に求めてもよいし、判別分析法のような統計的な手法により求めることもできる。

検査マスク生成部６は、２値画像生成部５により生成された２値画像から検査マスクを生成する機能を有している。検査マスクとは、疵の判定時に検査部位に対応する画素以外の画素をマスキングするために用いられるマスク画像である。検査マスク生成部６は、２値画像を同じ画素値を持ち、隣接する画素からなる領域に分割し、その領域分割結果から検査マスクを生成する。

疵判定部７は、画像に対して検査マスクを設定し、画像中で検査マスクに含まれる画素の画素値に基づいて検査部位の疵の有無を判定する機能を有している。

図３は、本実施例における検査装置の処理の流れを表すフローチャートである。センサＳが搬送装置Ｃ上を搬送されるペットボトルＰを検出すると（＃０１のＹｅｓ分岐）、センサＳからの信号が制御部１に入力される。制御部１は、その信号を受けてカメラ２および画像取得部３に対して画像を取得するよう指示を送信し、カメラ２および画像取得部３はその指示を受けてペットボトルＰのネックリングを含む画像を取得する（＃０２）。図４は、このようにして撮影された画像の例である。上述したように、本実施形態ではカメラ２はネックリングより下方に仰角を有するように設置しているため、画像にはネックリングの下面および側面が含まれている。また、このネックリングには図中に円で囲む位置に疵Ｄが生じている。当然ながら、カメラ２の設置位置は被検査物、検査部位に応じて適宜変更可能である。

検査領域設定部４は、上述のようにして撮影された画像に対して検査領域Ｒを設定する（＃０３、図５参照）。図から明らかなように、検査領域Ｒの高さは画像中におけるネックリングの高さに比べて大きく設定されている。したがって、搬送装置Ｃ上のペットボトルＰの位置ずれに起因して画像中のネックリングの位置がずれても、ネックリングを検査領域Ｒに含めることができる。

２値画像生成部５は、画像中の検査領域Ｒに含まれる画素に対して２値化処理を行い、２値画像を生成する（＃０４、図６参照）。本実施例では、この２値画像は検査領域Ｒと同じサイズの画像として得られる。

上述したように、２値化閾値は種々の方法により求めることができる。判別分析法等の統計的手法によれば、望ましい閾値が変動しても的確に閾値を求めることができるが、演算量が増大するという問題点がある。一方、固定閾値では望ましい閾値が変動した際に、検査精度を低下させるおそれがある。そのため、固定閾値を中心とした所定範囲において判別分析法を適用して閾値を決定すると好適である。

図５に示すように、ネックリングは他の部分に比べて輝度値が低くなっている。そのため、本実施形態では、図６に示すように閾値以下の画素値を１（白）、閾値よりも大きい画素値を０（黒）として２値化を行っている。

検査マスク生成部６は、２値画像生成部５により生成された２値画像に基づいて検査マスクを生成する（＃０５）。具体的には、図７のフローチャートの処理が行われる。

先ず、検査マスク生成部６は２値画像中の一方の画素値を持つ画素に対してラベリング処理を行う（＃１１）。上述したように、本実施形態では、検査部位であるネックリングは２値画像中で白画素として表現されている。したがって、ここでは２値画像中の白画素に対してラベリングを行う。当然ながら、検査部位が２値画像中で黒画素として表現されている場合には、２値画像中の黒画素に対してラベリングを行う。例えば、図６の２値画像には２つの領域ｍ１，ｍ２が含まれており、ラベリングによりこれらの領域を判別することができる。

ここで図５と図６とを比較すると、領域ｍ１はネックリングであり、領域ｍ２はキャップであることが分かる。したがって、後の疵判定処理の精度を高めるためには、検査マスクにはネックリングに対応する領域ｍ１のみを含ませることが望ましい。そのため、検査マスク生成部６は、検査部位に対応しない領域（この例では領域ｍ２）を検査マスクから除外する（＃１２〜＃１５）。

検査マスク生成部６は、ラベリングにより得られた各領域の特徴量を算出する（＃１２）。特徴量とは、例えば、面積、フィレ径、外接矩形のアスペクト比等、検査部位を表現しうる値であれば種々の値を用いることができる。

検査マスク生成部６は、一の領域を選択し、その領域の特徴量と予め設定された検査部位を表す２値画像の特徴量とを比較することにより、その領域が検査マスクとして適した領域であるか否かを判定し（＃１３）、適していないと判定された場合には２値画像からその領域を削除（画素値を０に設定）する（＃１４）。上述の例の場合、図６の２値画像から領域ｍ２が除外され、図８に示す検査マスクが得られる。この処理を全ての領域に対して行う（＃１２〜＃１５）。

さらに、検査マスク生成部６は、上述の処理により得られた検査マスクを補正する（＃１６）。この補正処理は必須ではないが、ここまでの処理で得られた検査マスクは、単に２値画像を基準として生成しているため、撮影時のノイズや２値化閾値のずれ等の原因により、マスク中に穴が含まれていたり、検査マスクの輪郭線が検査部位からずれていたりしているおそれがある。それを補うために、本実施例では検査マスクの輪郭線を補正している。

本実施例では、検査マスクに対して膨張、収縮処理を施している。このようにして図８の検査マスクから図９に示す検査マスクが得られる。これらの図を対比すると明らかなように、検査マスクの上方の輪郭線が補正により滑らかな曲線となっている。当然ながら、検査マスクの補正方法はこれに限定されるものではなく、平均化＋２値化等他の方法を用いても構わない。

このようにして検査マスクが生成されと、疵判定部７は、画像上に検査マスクを設定し、検査マスクの画素値が１である画素の座標に対応する画像中の画素の画素値に基づいて疵を判定する（＃０６）。

上述したように、本実施例では２値画像は検査領域Ｒと同じサイズの画像であるため、検査マスクを表す画像も検査領域と同じサイズである。したがって、画像上に検査マスクを設定する際には、検査マスクと検査領域とが一致するように設定する。

本実施例では以下の処理により疵の有無を判定するとともに疵を表す疵画像を生成する。先ず、処理に先立ち、初期化処理が行われる（＃２１）。本実施例では、検査部位を示す画素の数を表す検査部位画素数Ｎおよび疵を示す画素の数を表す疵画素数Ｎ_Dを０で初期化するとともに疵を示す疵画像の初期化（全ての画素値を０に設定）を行う。

続いて前処理として、画像中の画素のうち検査マスクの画素値が１である画素の座標に対応する全ての画素の画素値を取得し、統計量を算出する（＃２２）。なお、本実施例では統計量として平均および標準偏差を用いる。

次に、画像中の画素のうち検査マスクの画素値が１である画素の座標に対応する一の画素を選択し（＃２３）、その画素に対して統計量に基づく評価値を計算する（＃２４）。本実施例では、評価値として偏差値を用いる。このとき、併せて検査部位画素数Ｎをインクリメントする。

選択された画素の評価値は所定の条件と比較され、その画素が疵であるか否かが判定される（＃２５）。本実施例では、標準偏差が下限閾値以下または上限閾値以上である場合に疵として判定し、疵画素数Ｎ_Dをインクリメントする（＃２６）。また、併せて疵と判定された画素の画素値を疵画像の対応する画素の画素値として設定する（＃２７）。

この処理が全ての画素に対して行われると（＃２３〜＃２８）、疵判定部７は検査部位に疵があるか否かを判定する（＃２９）。本実施例では、検査部位画素数Ｎに対する疵画素数Ｎ_Dの割合が所定の閾値以上であれば、疵があると判定している。

当然ながら、疵の判定方法はこれに限定されるものではなく、他の方法を用いても構わない。

このようにして判定された結果は制御部１に伝達される。制御部１は、検査部位に疵が生じているとの情報を取得した際には、そのペットボトルＰを搬送装置から排除するように制御してもよいし、疵がある旨をオペレータに通知する等しても構わない。また、オペレータに通知する際には、図１１に示すような疵位置を明示した画像を提示すると、オペレータが目視により疵の確認を行う際の助けとなり、好適である。この画像は疵判定処理により作成した疵画像を用いることにより作成することができる。

本実施例における処理は実施例１における処理と検査マスクの補正処理のみが異なっている。そのため、検査マスクの補正処理のみを説明する。

上述したように、本実施形態ではカメラ２はネックリングの下方から仰角を有するように設置されている。そのため、撮影された画像にはネックリングの下面および側面が含まれている。このような画像に基づいて疵を判定すると、ネックリングの側面のみに生じている疵を看過するおそれがある。特に、実施例１のように面積比で疵を判定する場合には、ネックリングの側面のみに生じている疵は看過され易くなる。そのため、本実施例では検査マスクをネックリングの側面を示す画素に適合するように補正している。

図１２は本実施例における検査マスクの生成処理の流れを表すフローチャートである。＃３１から＃３６は図７における＃１１から＃１６と同様である。本実施例では、このようにして得られた検査マスク（図９参照）に対して、再度補正を行っている。

本実施例では、検査マスクのうち下部がネックリングの下面に対応し、上部がネックリングの側面に対応している。そのため、検査マスクの下端を上方に所定割合収縮させている（＃３７）。これにより、ネックリングの側面に対応した検査マスクが得られる（図１３参照）。なお、収縮させる割合はネックリングの大きさやカメラ２の仰角に応じて適宜設定される。また、収縮させる割合は一定でなくとも構わない。例えば、中央部付近を小さく、端部付近を大きく設定しても構わない。

なお、本実施例ではカメラ２が仰角を有する位置に設置されているため検査マスクの下端を上方に収縮させたが、カメラ２が俯角を有する位置に設置されている場合には検査マスクの上端を下方に収縮させる。

本発明は、搬送されるペットボトル等の容器、ダンボール等の梱包資材の部位の疵やこれらに付されたラベルやシール等の貼付状態の検査技術に用いることができる。

Ｐ：ペットボトル（被検査物）
Ｒ：検査領域
２：カメラ（撮影部）
３：画像取得部（撮影部）
４：検査領域設定部
５：２値画像生成部
６：検査マスク生成部
７：疵判定部

Claims (2)

1. 搬送される被検査物を撮影し画像を取得する撮影部と、
   前記画像中に前記被検査物の検査部位を含む検査領域を設定する検査領域設定部と、
   前記検査領域に含まれる前記画像の画素値を２値化し、２値画像を生成する２値画像生成部と、
   前記２値画像中の所定の一方の画素値を有する領域に基づいて検査マスクを生成する検査マスク生成部と、
   前記画像に対して前記検査マスクを設定し、当該画像中で当該検査マスクに含まれる画素の画素値に基づいて前記被検査物の瑕疵の有無を判定する疵判定部と、を備え、
   前記撮影部は前記被検査物に対して側方に突出する前記検査部位に対して仰角を有する仰角位置または俯角を有する俯角位置に設置されており、
   前記検査マスク生成部は、前記撮影部が仰角位置にある際には前記検査マスクの下端を上方に収縮させ、前記撮影部が俯角位置にある際には前記検査マスクの上端を下方に収縮させることを特徴とする検査装置。
2. 撮影部により撮影された搬送される被検査物の画像の中に前記被検査物の検査部位を含む検査領域を設定する検査領域設定ステップと、
   前記検査領域に含まれる前記画像の画素値を２値化し、２値画像を生成する２値化ステップと、
   前記２値画像中の所定の一方の画素値を有する領域に基づいて検査マスクを生成する検査マスク生成ステップと、
   前記画像に対して前記検査マスクを設定し、当該画像中で当該検査マスクに含まれる画素の画素値に基づいて前記被検査物の瑕疵の有無を判定する疵判定ステップと、を備え、
   前記撮影部は前記被検査物に対して側方に突出する前記検査部位に対して仰角を有する仰角位置または俯角を有する俯角位置に設置されており、
   前記撮影部が仰角位置にある際には前記検査マスクの下端を上方に収縮させ、前記撮影部が俯角位置にある際には前記検査マスクの上端を下方に収縮させることを特徴とする検査方法。

Images