JP6945245B2

JP6945245B2 - 外観検査装置

Info

Publication number: JP6945245B2
Application number: JP2019219963A
Authority: JP
Inventors: 真一英; 裕介大森; 隼阿久澤
Original assignee: Serendipity
Current assignee: Serendipity
Priority date: 2017-02-20
Filing date: 2019-12-04
Publication date: 2021-10-06
Anticipated expiration: 2037-08-01
Also published as: JP6629455B2; JP2020042044A; US10890537B2; US20200018707A1; WO2018150607A1; JPWO2018150607A1

Description

本発明は、対象物の外観から良品と不良品を判定する外観検査装置、対象物を照明する照明装置、及びその照明装置を用いた撮影照明装置に関する。

一般的に工業製品において、その製造ラインの製造工程後に検査工程を設けて不良品の検出等の検査が行われている。検査の手法としては、機械により自動的に検査を行う自動検査、人が目視により検査を行う目視検査（外観検査）等がある。しかし、未だに人海戦術による目視検査が多く行われており、それに対して自動化を図るべく種々の検査装置が開発されている。

例えば、特許文献１には、被検査物（対象物）を異なる光学条件で撮像し複数の検査画像を取得し、取得した複数の検査画像を各々フーリエ変換して複数の検査周波数画像を作成し、作成された複数の検査周波数画像を入力信号としてニューラルネットワークに処理をさせ、ニューラルネットワークの出力信号に基づき被検査物の良否を判定する欠陥検査方法が記載されている。

また、特許文献２には、被検体（対象物）の表面の画像を撮像し、画像に含まれる複数の画素における色成分情報を求め、予め測定された金属の表面の画像に含まれる画素における色成分情報による色空間上での位置の軌跡、及び、金属の表面における色成分情報を求めた位置での酸化被膜の厚さ、の対応関係と、色成分情報の色空間上での位置と、を比較して、画素に対応する酸化被膜の厚さを求め、複数の酸化被膜の厚さに対する特定特徴量を求め、この特定特徴量を、予め測定された良品／不良品となる金属の特徴量を機械学習した良品特徴量対応関係と比較して、被検体が良品か不良品かを評価する金属の表面品質評価方法が記載されている。

さらに、特許文献３には、プリント配線基板上に実装された部品の実装状態又は半田付け状態を検査する基板検査装置が記載されている。当該特許文献３では、上側拡散板を介して基板面に上方から単色光を照射するリング状の上側照明具と、下側拡散板を介して基板面に斜め側方から白色光を照射するリング状の下側照明具と、上側照明具及び下側照明具の軸中心上方にカメラを設け、上側照明具及び下側照明具の点灯しているときにカメラにより撮影した画像に基づいて部品の実装状態や半田付け状態等の良否を判定している。

また、特許文献４には、液晶パネルの外形形状、表面及び端面の割れ、欠けを検出する外観検査装置が記載されている。当該特許文献４では、上部・中間・下部リング照明灯と、これらのリング照明灯の軸中心上方にＣＣＤカメラを配置して、各リング照明灯を点灯させたときにＣＣＤカメラで撮影を行うことで、上部リング照明灯の照明光により液晶パネルの表面の傷、欠け、割れを、中間リング照明灯と下部リング照明灯の照明光により液晶パネルの端面及び下端縁の欠け、割れを検出している。

特開２００４−１９１１１２号公報特開２０１１−１９１２５２号公報実用新案登録第３１４０４６２号公報特開２００３−２４７９５３号公報

しかしながら、上記特許文献１のように、対象物を撮像した検査画像をフーリエ変換やアフィン変換により処理した複数の検査周波数画像から特徴量を出したり、上記特許文献２のように、色成分情報に基づく酸化被膜の厚さに対する特定特徴量を出したりする方法は、良品と不良品とを判断できる特徴量を明確に定義するのが困難である。そして、予め定めた特徴量として現れない不具合を判定することはできないという問題がある。

また、上記特許文献３、４が検査対象としているようなプリント基板や液晶パネルは、元々精密に製造される精密部品であり、製造過程において傷が生じにくく、特許文献３、４のように単純に対象物を照明するだけでも傷を照らし出することが可能である。さらに、精密部品の場合は、その程度に関わらず傷が生じていれば不良品であると比較的容易に判定できる。

しかしながら、例えば自動車のブレーキパッドのプレートのような金属部品は、製造過程において割れ（クラック）、欠け、擦り傷、切り傷、打痕等、様々な不具合がある程度生じる可能性がある。そのような様々な不具合は上記特許文献１、２のような評価方法、特許文献３、４のような照明方法では正確に検出できず、不具合があることが発見できたとしても不具合の程度によっては不良品でない場合もある。

このような製品に対して、様々な不具合を検出し確実に不良品を判定することは難しく、さらに製造ラインで連続的に流れてくる製品を止めることなく検査することは、非常に困難である。

そのため、現状は目視検査により人が一つ一つの製品を検査しているが、人による検査ではその人の経験に依存する部分が大きく検査精度にバラツキが生じ、作業効率も悪いという問題がある。

本発明はこのような問題点を解決するためになされたもので、その目的とするところは、対象物に生じた様々な不具合を検出した上で目視検査レベルの検査を正確且つ効率的に行うことのできる外観検査装置を提供することにある。また、対象物に生じた様々な不具合を照らし出すことのできる照明装置、当該照明装置により照らし出された対象物の様々な不具合を撮影することのできる撮影照明装置を提供することにある。

上記した目的を達成するために、本発明に係る外観検査装置は、対象物の含まれた画像が入力される画像入力部と、前記画像入力部に入力された一枚の画像に対し、前記対象物上の不具合の種類に応じて光干渉を生じる領域に該当する色域に色空間変換を行うことで複数の色空間処理画像を生成する色空間処理部と、前記色空間処理画像に基づき前記対象物の良否判定を行う判定部と、を備える。

好ましくは、前記色空間処理部は、前記色空間変換により色空間の波長が異なる複数の前記色空間処理画像を生成する。
また、好ましくは、前記色空間処理部は、前記画像の可視波長の範囲外の波長域を可視領域の色空間領域に変換して可視画像の前記色空間処理画像を生成する。
また、好ましくは、前記画像入力部へ出力する画像を撮影する撮影照明部を、さらに有し、前記撮影照明部は、前記対象物に対しコヒーレント性を有する面光を前記対象物に照射する第１の光源と、前記第１の光源から照射する光よりも短い波長の直接光を含む光を前記対象物に照射する第２の光源と、前記第１の光源及び第２の光源により照明された前記対象物を撮影する撮影部と、を有する。
さらに好ましくは、前記撮影部は、人の目が持つ色感度の感度分布に合わせた前記画像を取得可能なカメラである。

また、好ましくは、前記判定部は、前記色空間処理画像に基づき前記対象物の良否判定を機械学習した学習済みモデルにより、前記対象物の良否判定を行う。

また、好ましくは、前記色空間処理部による前記色空間変換前に、前記画像入力部に入力された画像に対して、前記対象物の位置決め及び背景除去を行う前処理部を有する。

上記手段を用いる本発明の外観検査装置によれば、対象物に生じた様々な不具合を検出し、目視検査レベルの検査を正確且つ素早く自動的に行うことができる。また、上記手段を用いる本発明の照明装置によれば、対象物に生じた様々な不具合を照らし出すことができる。さらに、上記手段を用いる本発明の撮影照明装置によれば、照明装置により照らし出された対象物の様々な不具合を撮影することができる。

発明の一実施形態に係る外観検査装置の全体構成を示すブロック図である。撮影照明装置の一部を切り欠いた構成図である。撮影照明装置の分解図である。撮影照明装置の縦断面図である。第１の光源の発光順序を示した平面図である。第１の光源及び第２の光源の発光とカメラによる製品の撮影に関するシーケンス図である。第１の光源及び第２の光源それぞれの光路を示した説明図である。制御部により実行される学習ルーチンを示すフローチャートである。学習時における画像データの遷移を示す説明図である。制御部により実行される判定ルーチンを示すフローチャートである。変形例に係る撮影照明装置の分解図である。

以下、本発明の実施形態を図面に基づき説明する。

図１は本発明の一実施形態に係る外観検査装置の全体構成を示すブロック図である。

図１に示すように、外観検査装置１は、主に、検査対象である製品Ｔ（対象物）を照明し撮影する撮影照明装置２と、その撮影した画像データに基づき良否判定等の所定の検査処理を行う制御部３から構成されている。撮影照明装置２の構成については後述する。

図１に示すように、制御部３は、ＣＰＵ等の演算部１０、メモリ、ハードディスク等の記憶部１１、キーボードやマウス等の入力部１２、ディスプレイ等の出力部１３、を備えたパーソナルコンピュータである。

演算部１０においては、記憶部１１に記憶された検査用のプログラムに従って実行される各処理機能を、各ブロックとして示している。詳しくは、演算部１０は、撮影制御部２１（画像入力部）、前処理部２２、色空間処理部２３、不良箇所指定部２４、学習部２５、判定部２６を有している。演算部１０では、主に撮影制御部２１、前処理部２２、色空間処理部２３、不良箇所指定部２４、及び学習部２５により、製品Ｔの良否判定の学習が行われ、撮影制御部２１、前処理部２２、色空間処理部２３、及び判定部２６により、製品Ｔの良否判定が行われるよう構成されている。

撮影制御部２１は、撮影照明装置２による製品Ｔの撮影を制御するとともに、撮影された画像データを取得して前処理部２２に送る機能を有している。

前処理部２２は、学習及び判定を行う前段階として、取得した画像データの画像処理を行う機能を有している。例えば前処理部２２は、撮影された画像データ内の製品Ｔの外形を認識し、予め定められた基準画像と略同位置に位置決めし、背景を除去する。

色空間処理部２３は、位置決め及び背景除去された画像データに対して色空間処理、具体的には色空間変換（カラープロファイル変換又はスペクトル分版処理ともいう）を行い、一枚の画像から複数の色空間処理画像を生成する。色空間処理画像は、製品Ｔに生じる種々の不具合に対応し、不具合の種類に応じて光干渉を生じる波長域に該当する色域が選択合成される。例えばＶ字溝傷の場合、青色の波長におけるコントラストの急激な変化が発生するが、その界面に出現する輝度変化分布における疑似輪郭の偽色成分を強調した画像や、打痕等の場合、無彩色の均一化コントラスト面の中に面反射特性が異なることで多色相の斑状攪乱反射が発生する状況を強調した画像が生成され、以上のようにそれぞれの不具合に応じた波長域が強調されて示される。

また、特にこの色空間処理前の画像データは可視波長の範囲に限られておらず、紫外域や赤外域により捉えられた瑕疵等についても可視領域の色空間領域に変換することで色空間処理画像は可視画像となる。

不良箇所指定部２４は、色空間処理部２３にて生成された各色空間処理画像を出力部１３に出力し、作業者が入力部１２を介して画像中の不良箇所を指定していくことで、不良品教師データを生成する機能を有する。このとき、各色空間処理画像上では、例えば矩形のグリッド状の領域が指定され、グリッド単位で不良箇所が指定される。なお、不良箇所が指定されなかった色空間処理画像は、良品教師データとなる。

この不良箇所指定部２４にて生成された不良品教師データ及び良品教師データは記憶部１１に記憶される。なお、不良品教師データ及び良品教師データは制御部３とは別に準備してもよい。

学習部２５は、不良箇所指定部２４にて生成され記憶部１１に記憶された不良品教師データ及び良品教師データに基づき、機械学習（いわゆるディープラーニング）により製品Ｔの良否判定を学習して、学習済みモデルを生成する機能を有している。生成された学習済みモデルは記憶部３１に記憶される。

判定部２６は、学習部２５により生成され記憶部１１に記憶された学習済みモデルに基づき、色空間処理部２３から入力される新たな色空間処理画像について、画像に写し出された製品Ｔが良品であるか不良品であるかの判定を行い、その結果を出力部１３に出力する機能を有している。

続いて、撮影照明装置２の構成について説明する。

図２は撮影照明装置の全体構成図であり、図３は撮影照明装置の分解図、図４はその縦断面図であり、これらの図に基づき撮影照明装置の構成について説明する。

図２に示すように、検査対象である製品Ｔが運搬されるベルトコンベア４（運搬部）上に撮影照明装置２（撮影照明部）が配置されている。

本実施形態における製品Ｔは例えば自動車のブレーキパッドのプレート等の金属部品であり、製造工程にて金属板から加工され最終的な製品Ｔの形で当該外観検査装置１が設けられた検査工程に運搬されてくる。

撮影照明装置２は、直方体であるチャンバボックス３０上に六角筒状のカバー１１が立設した外観形状を成している。カバー３１は左右一対（３１ａ、３１ｂ）に分割可能であり、カバー３１の上開口部には、当該上開口部を塞ぐよう六角形状の天板３２が設けられている。

天板３２の下方には同じく六角形状の中間プレート３３が設けられている。天板３２及び中間プレート３３の周縁には下方に突出した六角筒状のリブ３２ａ、３３ａが形成されており、中間プレート３３の中央には円孔３３ｂが形成されている。

また、天板３２と中間プレート３３との間の空間内にはカメラ３４（撮影部）が設けられている。カメラ３４はレンズ部３４ａから中間プレート３３の円孔３３ｂを通して鉛直方向下方を撮影可能である。当該カメラ３４は、対角１インチ以上の大形センサを有し、ホットスポットが無く、１０ビット以上の分解能と2000万画素以上の解像度があり、人の目が持つ色感度の感度分布に合わせた画像データ、即ち人の目の感色層と同等の画像データを取得可能なデジタルカメラである。画像データのデータ形式は特に限定されず、ＲＡＷデータ、ＪＰＥＧデータ等でもよい。また、当該カメラ３４は、撮影照明装置２への設置時にシャッター、ピント等の各種可動部の設定を行った後は、撮像時に物理動作が行われないよう各種可動部を固定可能な構造を有している。

中間プレート３３よりも下方には第１の円筒体３５が配設されている。第１の円筒体３５は、撮影方向である鉛直方向を中心軸Ｏとする円筒であり、内面が光を反射し鏡筒内反射可能な銀面をなしている。第１の円筒体３５の直径は少なくとも製品Ｔよりは大きく、特に製品Ｔの長手方向の長さに対して２倍から２．５倍が好ましい。また、第１の円筒体３５の中心軸方向の長さ（筒の長さ）は直径の２／３〜１／３が好ましい。

また当該第１の円筒体３５のカメラ側（対象物から遠い側）の縁には中心軸Ｏ側に突出した円環状のリブ３５ａが形成されている。当該リブ３５ａの内面側は光の反射を抑えるよう黒色をなしている。

さらに第１の円筒体３５よりも下側（対象物側）には、第１の円筒体３５と所定の間隔を有して第２の円筒体３６が配設されている。第１の円筒体３５と第２の円筒体３６との間隔は、具体的には第１の円筒体３５の直径から直径の１／３の範囲が好ましく、特に直径の２／３から１／３が好ましい。

第２の円筒体３６は、第１の円筒体３５と同心で且つ同径の円筒であり、筒の長さは第１の円筒体３５よりも短い。第２の円筒体３６の中心軸方向の長さは直径の２／１０〜１／１０が好ましい。なお、当該第２の円筒体３６の直径は製品Ｔよりも大きい必要はあるが、第１の円筒体３５の直径よりも小さい径でもよい。また第２の円筒体３６は製品Ｔから、第２の円筒体３６の直径の１５％〜２０％の間隔を有して配置されている。

また当該第２の円筒体３６のカメラ側（対象物から遠い側）の縁には中心軸側に突出した円環状のリブ３６ａが形成されている。当該第２の円筒体３６はリブ３６ａを含め内面が銀面をなしている。

また、第１の円筒体３５と第２の円筒体３６の上下開口部は、いずれも少なくともカメラ３４の画角に入らない程度の大きさを有している。

図４に示されているように、第１の円筒体３５の内面には第１の光源３７が、第２の円筒体３６には第２の光源３８が、それぞれ環状に配設されている。第１の光源３７及び第２の光源３８は各筒体の上部に配設されている。

第１の光源３７及び第２の光源３８は、それぞれＬＥＤが円筒体の内面に沿って連続的に配列されて形成されている。第１の光源３７は白色光（第１の光）を発するＬＥＤからなり、第２の光源３８は第１の光源よりも波長の短い青色光（第２の光）を発するＬＥＤからなる。具体的には第１の光源３７からの白色光の波長は可視光の範囲、即ち400〜700ナノメートルの全域もしくはＲＧＢ輝線の中の白色光範囲、第２の光源３８からの青色光の波長は260〜450ナノメートルの狭波長が好ましい。また、第１の光源３７に対して第２の光源３８の光源エネルギーは小さく、３／４から１／４が好ましい。なお、本実施形態では第１の光源３７及び第２の光源３８をＬＥＤにより構成しているが、光源は指向性を持った光を発する光源であればこれに限られるものではなく、例えばレーザであってもよい。また波長域は紫外線、赤外線域に至る波長を選択することもできる。

第１の光源３７の各ＬＥＤから発せられる白色光の光軸は第１の円筒体３５の中心軸Ｏと直行する方向、即ち径方向に向くように設置されている。一方、第２の光源３８の各ＬＥＤから発せられる青色光の光軸は製品Ｔのある下方に向くように設置されている。

また、ここで図５を参照すると第１の光源３７の発光順序を示した平面図が示されおり、同図に示すように、第１の光源３７は、その円周方向において均等に３分割した範囲３７ａ、３７ｂ、３７ｃに区分されており、各範囲において複数個（本実施形態では各範囲にｎ個）のＬＥＤ３７ａ_１〜３７ａ_ｎ、３７ｂ_１〜３７ｂ_ｎ、３７ｃ_１〜３７ｃ_ｎが設けられている。第１の光源３７は１度の発光でこれら３つの範囲３７ａ、３７ｂ、３７ｃのそれぞれにおいて、一端のＬＥＤ３７ａ_１、３７ｂ_１、３７ｃ_１から他端のＬＥＤ３７ａ_ｎ、３７ｂ_ｎ、３７ｃ_ｎへと各ＬＥＤが円周方向に順次発光する。この第１の光源３７の発光時間、即ち各範囲３７ａ、３７ｂ、３７ｃの一端のＬＥＤ３７ａ_１、３７ｂ_１、３７ｃ_１の発光から他端のＬＥＤ３７ａ_ｎ、３７ｂ_ｎ、３７ｃ_ｎの発光が終了するまでの時間は、少なくともベルトコンベア４により搬送される製品Ｔを撮影可能な時間に設定される。例えば本実施形態では、製品Ｔの運搬速度が７ｍ/分であるのに対し、第１の光源３７の発光時間は1/1000秒である。なお、図示しないが第２の光源３８についても、第１の光源３７と同様に３分割されており、第１の光源３７と同期して順次発光するものとする。

第２の円筒体３６は、チャンバボックス３０上面にて略円形に開口した開口部３０ａに設けられている。チャンバボックス３０の底面には矩形の底部窓３０ｂが形成されており、当該底部窓３０ｂの下を製品Ｔが流れる。

このように構成された撮影照明装置２は、チャンバボックス３０及びカバー３１により覆われることで内部が半暗室状態となっている。

図４に示すように、上述した制御部３の撮影制御部２１は、撮影照明装置２のカメラ３４、第１の光源３７、第２の光源３８と電気的に接続されている。また、撮影制御部２１は、製品Ｔが底部窓１０ｂを通るタイミングを検知する製品検知センサ３９等とも接続されている。

このように構成された外観検査装置１は、制御部３の撮影制御部２１により製品Ｔが底部窓１０ｂの直下に位置するタイミングで第１の光源３７と第２の光源３８とを発光させて、カメラ３４により製品Ｔの外観を撮影させる。

図６を参照すると、第１の光源３７と第２の光源３８の発光とカメラ３４による製品Ｔの撮影に関するシーケンス図が示されている。

同図に示すように、制御部３の撮影制御部２１は、製品検知センサ３９により製品Ｔ１が底部窓３０ｂに入ってくるのを検知すると（時刻ｔ１）、製品Ｔ１が中心軸Ｏ上を通過するタイミングで第１の光源３７及び第２の光源３８の発光を開始させる（時刻ｔ２）。

この第１の光源３７及び第２の光源３８はそれぞれの３つの範囲３７ａ〜３７ｃ、３８ａ〜３８ｃにおいて、一端から他端へとｎ個のＬＥＤが順次発光し、カメラ３４はこの第１の光源３７及び第２の光源３８の発光期間（時刻ｔ２〜ｔ３）に撮影された画像を製品Ｔの画像として取得する。なお、図６では、理解しやすくするために時刻ｔ２〜ｔ３の時間間隔を拡大して図示している。

製品Ｔが底部窓３０ｂの範囲から抜けると、１つの製品Ｔの撮影が終了し（ｔ５）、引き続き搬送されてくる製品Ｔに対しても同じようにして第１の光源３７及び第２の光源３８の発光に伴うカメラ３４による撮影が行われる。つまり、カメラ３４は物理的なシャッターは開かれた状態で固定されており、暗箱であるチャンバボックス３０により暗く設定された撮影視野（底部窓３０ｂ）に対して、この第１の光源３７及び第２の光源３８の発光が実質的なシャッターの役割を果たして撮影を行っている。

ここで、図７を参照すると、第１の光源３７から発せられる白色光Ｌ１（点線）及び第２の光源３８から発せられる青色光Ｌ２（実線）の光路を示した説明図が示されており、以下同図に基づき、本実施形態の撮影照明装置２の作用効果について説明する。

第１の光源３７は光軸が第１の円筒体３５の径方向に向くよう設置されており、第１の円筒体３５の内周面は銀面であることで、第１の光源３７が発光するとその白色光Ｌ１の大部分は第１の円筒体３５内にて鏡筒内反射を繰り返してコヒーレント性を有する面光（以下、コヒーレント面光という）となって製品Ｔに当たる。つまり、白色光Ｌ１の大部分からなる径方向に向かった光は、鏡筒内反射を繰り返した光線の束からなるコヒーレント面光となり、これは直接光よりも高い分散度で製品Ｔの表面に当たることとなる。

なお、第１の光源３７から上方に向かう一部の白色光Ｌ１は、第１の円筒体３５の上端の内面黒色のリブ３５ａに当たることで吸収される。また、第１の光源３７から下方に向かう一部の白色光Ｌ１は、第１の円筒体３５内で反射することなく直射光として製品Ｔに当たる。カメラ３４は、少なくともこの白色光Ｌ１が製品Ｔに当たって反射した光、即ち第１の光源３７からの直接反射光が画像に入り込まない画角及び位置にあるのが好ましい。

一方、第２の光源３８は光軸が製品Ｔの方向を向くよう設置されていることから、第２の光源３８が発光するとその青色光Ｌ２の大部分は直接製品Ｔの表面に当たる。また、一部の青色光Ｌ２は、第２の円筒体３６はリブ３６ａを含めて内面が銀面であることから、当該リブ３６ａや内周面にて１度又は数回程度反射して製品Ｔに当たる。第２の光源３８は第１の光源３７よりも製品Ｔに近い位置にあることから青色光Ｌ２は直射光であっても、白色光Ｌ１の直射光よりも中心軸Ｏ（製品Ｔ表面に対する垂線）に対して大きい角度で製品Ｔに当たることとなる。

このように、撮影照明装置２は、第１の光源３７から主に径方向に発せられた白色光Ｌ１が第１の円筒体３５による鏡筒内反射を繰り返すことにより、拡散板により生成される散乱光とは異なるコヒーレント性を有する面光を生成し、このコヒーレント面光を製品Ｔに照射する。さらに、製品Ｔに近い第２の光源３８からは直射光又は第２の円筒体３６により１又は数回反射した光である青色光Ｌ２を白色光Ｌ１の直接光よりも中心軸Ｏに対して大きい角度で製品Ｔに当てることができる。このような白色光Ｌ１及び青色光Ｌ２により照明された製品Ｔは、凹凸部における斜面や垂直面での照明色相が変化する為、製品Ｔの割れ（クラック）、欠け、擦り傷、切り傷、打痕等の様々な不具合を照らし出すことができる。そして、これをカメラ３４により撮影することで、これらの不具合を色相差として分離が可能となる画像を撮影することができる。

特に、第１の光源３７から発せられる光が白色光Ｌ１であり、第２の光源３８から発せられる光が白色光Ｌ１よりも波長が短い青色光Ｌ２であることで、白色光Ｌ１により目視できる最大限の範囲で製品Ｔを照らし出すことができる上、青色光Ｌ２により傷等の析出解像度を高く設定できることから製品Ｔにおいてより多くの種類の傷をより細かく分離すことができる。

また第１の光源３７及び第２の光源３８は３分割した範囲で順次発光することから各範囲が正対して発光せず、対面光による解像度低下、フレア、ゴーストの発生、光回折による画像劣化を防ぐことができ、製品Ｔの傷をより鮮明に照らし出すことができる。

さらに、第１の円筒体３５は内面が黒色のリブ３５ａを有していることで、カメラ３４側に向かう白色光Ｌ１を抑え、より効率的に製品Ｔに向かうコヒーレント面光を生成することができる。

また、第２の円筒体３６はリブ３６ａを有していることで、青色光Ｌ２を製品Ｔの中央にまで均等に照射させることができる。

そして、白色光Ｌ１及び青色光Ｌ２が製品Ｔの表面にて反射された光がカメラ３４のレンズ部３４ａを介して画像素子３４ｂに受光されることで撮影される。カメラ３４は撮影時には各種可動部を固定して第１の光源３７及び第２の光源３８の発光により製品Ｔを撮影し、人の目が持つ色感度の感度分布に合わせた画像データを取得可能であることで、目視検査レベルの画像データを得ることができる。

外観検査装置１の制御部３としては、上述のようにして撮影された画像データに基づいて検査処理を行うことで、目視検査レベルの検査を行うことができる。

詳しくは後述するが、取得した画像データに対して色空間処理して製品Ｔの表面の不具合を検出することで、様々な不具合をより正確に検出することができる。

また、当該外観検査装置１は、第１の光源１７及び第２の光源１８を発光させる短時間で製品Ｔの撮影を行い、その画像データに基づき検査処理を行えることから、製造ラインの流れの中で、ベルトコンベア４を止めることもなく検査を行うことができる。これにより、検査の作業効率を向上させることができる。

ここで、撮影照明装置２により撮影された画像データに基づいて、制御部３において実行される良否判定の学習及び良否判定について、より具体的に説明する。

まず、図８、９を参照すると、図８には制御部３による学習ルーチンを示すフローチャートが、図９には図８の画像データの遷移を示す説明図が示されている。図８のフローチャートに沿って制御部３による製品Ｔの良否判定の学習手順について説明し、その後図９の画像例に基づき画像データの遷移について説明する。

まず図８のステップＳ１としては、制御部３の撮影制御部２１により、撮影照明装置２により製品Ｔを撮影し、画像データを取得する。

ステップＳ２では、制御部３の前処理部２２により、撮影された画像データ内の製品Ｔの外形を認識し、予め定められた基準画像と略同位置に位置決めし、且つ背景を除去する。

ステップＳ３では、制御部３の色空間処理部２３により、画像データに対し色空間処理を行い複数の色空間処理画像を生成する。

ステップＳ４では、制御部３の不良箇所指定部２４により、色空間処理画像を出力部１３に出力し、画像中に不良箇所がある場合には作業者がその不良箇所をグリッド単位で指定し、その不良箇所を含むグリッドに基づいて不良品教師データを生成する。一方、不良箇所が指定されなかった色空間処理画像は良品教師データとなる。ここで生成された不良品教師データ及び良品教師データは、記憶部１１に記憶される。

ステップＳ５では、制御部３の学習部２５により、不良箇所指定部２４により生成され記憶部１１に記憶された不良品教師データ及び良品教師データに基づき、機械学習により製品Ｔの良否判定を学習して、学習済みモデルを生成する。なお、当該ステップＳ５は、一定数以上の不良品教師データ及び良品教師データが記憶部１１に蓄積されてから実行するのが効率的に好ましいが、一つの不良品教師データ又は良品教師データが生成されるたびに、ステップＳ５の学習を行っていってもよい。

次に、図９に基づき、学習時における画像データの遷移について説明する。

まず、図９の画像Ｐ１は、撮影照明装置２により撮影した画像データである。画像Ｐ１として示されるように、撮影照明装置２により撮影された段階では、製品Ｔの位置や向きは一定とは限らず、画像内において偏った位置にあったり、向きも画像枠に対して傾いていたりする場合がある。

そこで、前処理部２２が、基準画像に倣って、画像Ｐ２に示すように製品Ｔが画像中心に位置し且つ向きが正しい向きとなるように位置決めを行う（ステップＳ２）。さらに前処理部２２は、画像Ｐ３にて斜線で示すように、製品Ｔに対して背景となる部分を除去する（ステップＳ２）。

続いて、色空間処理部２３が、１枚の画像Ｐ３からを色空間処理して色空間処理画像を生成する（ステップＳ３）。図９では第１の色空間処理画像Ｐ４ａから第３の色空間処理画像Ｐ４ｃの３種類の色空間処理画像を示している。上述したように、各色空間処理画像Ｐ４ａ、Ｐ４ｂ、Ｐ４ｃでは、選択された波長に応じて、傷や打痕等の不具合が強調されて表示され、例えば第１の色空間処理画像Ｐ４ａではＶ字溝傷Ｓ１が、第３の色空間処理画像Ｐ４ｃでは打痕Ｓ２が強調されている。第２の色空間処理画像Ｐ４ｂでは特に不具合は表れていない。

次に、図９の画像Ｐ５ａ、Ｐ５ｃとして示すように、不良箇所指定部２４が、各色空間処理画像Ｐ４ａ、Ｐ４ｂ、Ｐ４ｃを出力部１３に出力し、作業者が入力部１２を介して指定した不具合箇所がグリッド単位で抽出される（ステップＳ４）。例えば図９の画像Ｐ５ａではＶ字溝傷Ｓ１に対して、その一端部から他端部までが第１のグリッドＧ１から第３のグリッドＧ３により指定されている。また、画像Ｐ５ｃでは打痕Ｓ２に対してその全域が含まれるように第４のグリッドＧ４から第６のグリッドＧ６により指定されている。このように指定された図９に示す各グリッドＧ１〜Ｇ６が、不良品教師データとして記憶部１１に記憶される（ステップＳ４）。

このように、色空間処理画像にて強調された不具合がグリッド単位で不良品教師データとして蓄積され、学習部２５での機会学習に用いられる（ステップＳ５）。

なお、図９では、３つの色空間処理画像と、不良箇所を示す６つのグリッドを示したが、色空間処理により生成する色空間処理画像の数はこれに限られるものではなく、不良箇所の数もこれに限られるものではない。また、不良箇所を示す範囲もグリッドに限られるものではなく、円形等の他の形状で指定してもよいし、別の範囲指定手段を有していてもよい。

続いて図１０を参照すると、制御部３による判定ルーチンを示すフローチャートが示されており、以下同フローチャートに基づき製品Ｔの良否判定手順を説明する。

図１０におけるステップＳ１１からステップＳ１３までは、上述した図８におけるステップＳ１からステップＳ３とほぼ同じ処理であり、撮影照明装置２により撮影を行い（Ｓ１１）、その画像データを位置決め及び背景除去した後（Ｓ１２）、色空間処理画像に変換する（Ｓ１３）。

ステップＳ１４では、制御部３の判定部２６が学習済み判定モデルを用いて、入力された色空間処理画像に写し出された製品Ｔが良品であるか不良品であるかを判定して、その結果を出力部１３に出力する。

以上のように、本実施形態に係る外観検査装置１は、制御部３において、撮影照明装置２により撮影された画像を取得し、製品Ｔ上の不具合が強調された色空間処理画像を生成することで、製品Ｔに対して目視検査レベルの検査を正確且つ効率的に行うことができる。

詳しくは、色空間処理部２３において、色空間の波長が異なる複数の色空間処理画像を生成することで、各波長に応じた傷や打痕等の様々な不具合を強調することができ、各色空間処理画像を参照すること、目視検査で製品Ｔを様々な角度から見るように、様々な不具合を検出することができる。

また、判定部２６は、色空間処理画像に基づき製品Ｔの良否判定を機械学習した学習済みモデルにより製品Ｔの良否判定を行うことで、人海戦術によることなく正確に且つ効率的な検査を行うことができる。

さらに、前処理部２２にて、画像内の製品Ｔの位置決めを行うことで他の画像の製品Ｔとの位置関係の整合性を取ることができ、背景除去も行うことで製品Ｔの情報のみを抽出することができる。このような前処理によって、学習部２５における学習効率の向上及び学習精度の向上が図られ、判定部２６においてもより正確で効率的な判定を行うことができるようになる。

特に、上述したコヒーレント面光を照射する第１の光源１７と、直接光を含む光を製品Ｔに照射する第２の光源１８と、これらの光源により照明された対象物を撮影するカメラ１４を有する撮影照明装置２により、製品Ｔを撮影することで、様々な不具合を色相差として分離できる画像データを得ることができる。このような画像に対して色空間処理を行うことで、様々な色空間画像を鮮明に生成することができ、検査精度をより向上させることができる。

以上のことから、本実施形態に係る外観検査装置１によれば、製品Ｔに生じた様々な不具合を検出し、目視検査レベルの検査を正確且つ効率的に行うことができる。

以上で本発明の実施形態の説明を終えるが、本発明の態様はこの実施形態に限定されるものではない。

上記実施形態では、検査対象である製品Ｔをブレーキパッドのプレートとしているが、検査対象となる対象物はこれに限られるものではなく、種々の製品を対象物として適用可能である。また、上記実施形態では、検査として傷及び打痕等の不具合に基づく良否判定を行っているが、検査内容は良否判定に限られるものではなく、色空間処理により対象物上の所定の特徴を強調して判断する検査であれば他の検査にも適用可能である。

また、上記実施形態では、色空間処理画像に基づき製品Ｔの良否判定を機械学習した学習済みモデルを用いた判定部２６により良否判定を行っているが、判定部２６はこれに限られるものではない。例えば、色空間処理画像を出力部に出力して、作業者が入力部を介してこの色空間処理画像に基づいた良否判定を行う判定部としてもよい。このように、対象物の不具合が強調された色空間処理画像に基づき作業者が良否判定を行うとしても、色空間処理画像によって作業者の良否判定が正確且つ容易となり、検査効率を向上させることができる。

また、上記実施形態では、制御部３は、撮影照明装置２により撮影された画像データに基づいて対象物の検査処理（良否判定）を行っているが、制御部３が検査処理に用いる画像データは必ずしも上記実施形態の撮影照明装置に撮影された画像データに限られるものではなく、他の装置により撮影された画像データから検査処理を行うことも可能である。

また、撮影照明装置２についても、上記実施形態の制御部に画像データに提供するものに限られず、他の装置に画像データを提供することも可能である。

また、上記実施形態の第１の円筒体３５には上端にリブ３５ａが形成されているが、このリブを省き完全な円筒としてもよい。

また、第１の円筒体３５の上端開口部を覆うように反射板を設けてもよく、図１１には上記実施形態の変形例として、反射板を設けた撮影照明装置についての分解図が示されている。なお、反射板４０以外の構成で上記実施形態と同じものは同じ符号を付して説明は省略する。

図１１に示すように、変形例における外観検査装置１’は、第１の円筒体３５の上端開口部に反射板４０が取り付けられる。反射板４０は、第１の円筒体３５と同径の円板であり、中央には、少なくともカメラ３４の画角よりも大きい孔４０ａが形成されている。また、反射板４０の第１の円筒体３５側の面（下面）は光を反射可能な銀面をなしている。なお、当該変形例においては第１の円筒体３５のリブ３５ａも内面が銀面をなしている。

このように第１の円筒体３５の上端開口部に反射板４０を設けると、第１の光源３７から上方に向かう一部の白色光Ｌ１を反射して、下方に向かわせる。したがって、第１の円筒体３５で鏡筒内反射により生成されるコヒーレント面光の光量が増加し、より強い光として製品Ｔに当たることとなる。

これにより、例えば上記実施形態よりも製品Ｔの中央側まで明るく照らすことができる。また、検出する必要がない微細な傷を目立たなくすることができる。

以上のことから、第１の円筒体３５の上端開口部に対して、上記実施形態のように内面黒色のリブ３５ａを形成することで光量を抑えたり、上記変形例のように反射板４０を設けることで光量を増やしたりすることができる。つまり、検査対象の種類、検査対象表面の状態、検出する傷の種類等に応じて、第１の円筒体３５の上端開口部にリブ３５ａや反射板４０のような光量調整部を形成することでコヒーレント面光の光量を調整することができる。

なお、上記変形例では、反射板４０は第１の円筒体３５と別体であるが、リブに代えて反射板を一体に備えた第１の円筒体としてもよい。

また上記実施形態では、第１の光源１７及び第２の光源１８が円周方向において３分割され順次発光する構成であるが、この分割数は３分割が上述した効果を発揮するのに最も好ましいが、その他の分割数としたり、分割しなくてもよい。特に、３分割、６分割等、正対する光源範囲が存在しない分割数が好ましい。

また上記実施形態の外観検査装置１では、撮影照明装置２がベルトコンベア４上に設けられており、検査対象である製品Ｔが撮影照明装置２に対して移動しているが、移動困難な検査対象である場合等は、撮影照明装置の方を対象物に対して移動させてもよい。

１、１’ 外観検査装置
２撮影照明装置
３制御部
４ベルトコンベア（運搬部）
１０演算部
１１記憶部
１２入力部
１３出力部
２１撮影制御部（画像入力部）
２２前処理部
２３色空間処理部
２４不良箇所指定部
２５学習部
２６判定部
３０チャンバボックス
３１（３１ａ、３１ｂ）カバー
３２天板
３３中間プレート
３４カメラ（撮影部）
３５第１の円筒体
３６第２の円筒体
３７第１の光源
３８第２の光源
３９製品検知センサ
４０反射板
Ｔ製品
Ｏ中心軸
Ｌ１白色光（第１の光）
Ｌ２青色光（第２の光）

Claims

対象物の含まれた画像が入力される画像入力部と、
前記画像入力部に入力された一枚の画像に対し、前記対象物上の不具合の種類に応じて光干渉を生じる領域に該当する色域に色空間変換を行うことで複数の色空間処理画像を生成する色空間処理部と、
前記色空間処理画像に基づき前記対象物の良否判定を行う判定部と、
を備える外観検査装置。
前記色空間処理部は、前記色空間変換により色空間の波長が異なる複数の前記色空間処理画像を生成する請求項１記載の外観検査装置。
前記色空間処理部は、前記画像の可視波長の範囲外の波長域を可視領域の色空間領域に変換して可視画像の前記色空間処理画像を生成する請求項１又は２に記載の外観検査装置。
前記画像入力部へ出力する画像を撮影する撮影照明部を、さらに有し、
前記撮影照明部は、
前記対象物に対しコヒーレント性を有する面光を前記対象物に照射する第１の光源と、
前記第１の光源から照射する光よりも短い波長の直接光を含む光を前記対象物に照射する第２の光源と、
前記第１の光源及び第２の光源により照明された前記対象物を撮影する撮影部と、
を有する請求項１から３のいずれか一項に記載の外観検査装置。
前記撮影部は、人の目が持つ色感度の感度分布に合わせた前記画像を取得可能なカメラである請求項４記載の外観検査装置。
前記判定部は、前記色空間処理画像に基づき前記対象物の良否判定を機械学習した学習済みモデルにより、前記対象物の良否判定を行う請求項１から５のいずれか一項に記載の外観検査装置。
前記色空間処理部による前記色空間変換前に、前記画像入力部に入力された画像に対して、前記対象物の位置決め及び背景除去を行う前処理部を有する請求項１から６のいずれか一項に記載の外観検査装置。