JP2017049974A - 識別器生成装置、良否判定方法、およびプログラム - Google Patents

Abstract

【課題】 検査対象物の外観の良否を高精度に且つ短時間で判定する。【解決手段】 外観の良否が既知の対象物に対して少なくとも２つ以上の異なる撮像条件で撮像した画像に基づく少なくとも２つの画像の夫々から、複数の特徴量を抽出する。そして、抽出した各画像の特徴量を跨る特徴量から、対象物の良否を判定するための特徴量を選択し、選択した特徴量に基づいて、対象物の良否を判定する識別器を生成する。そして、検査用画像から抽出した特徴量と識別器とに基づいて、対象物の外観の良否を判定する。【選択図】 図２

Description

本発明は、識別器生成装置、良否判定方法、およびプログラムに関し、特に、撮像された物体の画像に基づいて、当該物体の良否を判定するために用いて好適なものである。

一般に工場等で製造された製品については、良品か不良品かの外観検査が実施される。不良品に含まれる欠陥の出現の仕方（強度、大きさ、および位置等）が予め分かっている場合、検査対象物を撮像した画像に対する画像処理の結果に基づいて当該検査対象物の欠陥を検出する方法が提案されている。しかし、実際の欠陥の出現の仕方は不定な場合が多く、欠陥の強度、大きさ、および位置等は多様である。従って、現状は、目視による外観検査が多く行われており、外観検査の自動化はほとんど実用化されていない。

不定な欠陥に対する検査を自動化する方法の一つに、多数の特徴量を用いた検査方法がある。具体的には、学習用に用意した複数の良品と不良品のサンプルを撮影し、それらの画像から、画素値の平均、分散、および最大値や、コントラストといった多数の特徴量を抽出し、多次元の特徴量空間に対して良品と不良品を分類する識別器を作成する。そして、実際の検査対象物に対して、この識別器を用いて良品か不良品かを判定する。

ここで、学習用のサンプル数に対して特徴量が多くなると、学習時に識別器がサンプルの良品と不良品に対してオーバーフィッティングして、検査対象物に対する汎化誤差が増大する問題が発生する。また、特徴量が多いと冗長な特徴量が含まれる場合があるため、学習に要する処理時間が増大する問題が発生する。そこで、多数の特徴量の中から適切な特徴量を選択することにより、汎化誤差を低減させ、演算処理を高速化させる手法を用いることが望まれる。特許文献１では、参照画像から複数の特徴量を抽出し、抽出した複数の特徴量から検査画像の判別に用いる特徴量を選択し、選択した特徴量に基づいて検査画像から検査対象物の良否を判別する技術が開示されている。
さらに高感度に欠陥を検査して分類する方法として、複数の撮像条件にて検査対象物を撮像して検査する手法がある。特許文献２では、複数の撮像条件で画像を取得し、各撮像条件で欠陥候補を含む部分画像を抽出し、当該部分画像における欠陥候補の特徴量を求め、座標が同じで撮像条件が異なる欠陥候補の特徴量に基づいて欠陥候補から欠陥を抽出する技術が開示されている。

特開２００５−３０９８７８号公報 特開２０１４−１４９１７７号公報

一般に、撮像条件（例えば照明方法）と欠陥の種類には相関があり、撮像条件ごとに可視化される欠陥は異なる。従って、高精度に欠陥の良否を判定するうえでは、複数の撮像条件で撮像して欠陥をより明瞭に可視化して検査した方がよい。しかし、特許文献１では、複数の撮像条件での撮像を実施していない。このため、高精度な欠陥の良否判定は困難となる。また、特許文献２では、複数の撮像条件で撮像しているが、前述したような良否の分離に有効な特徴量の選択を実施していない。さらに特許文献１と特許文献２を単純に組み合わせた場合、複数の撮像条件で撮像して検査するため、撮像条件の数分だけ検査を実施しなくてはならない。このため、検査時間が増加する。また、撮像条件ごとに可視化される欠陥は異なるため、学習に用いる画像を撮像条件ごとに選択しなければならない。加えて、欠陥の可視化具合によって、学習に用いる画像の選択が困難な場合、特徴量の選択時に冗長な特徴量を選択してしまう。従って、検査時間の増加だけではなく、良否の分離性能の劣化を引き起こす可能性がある。

本発明は、以上の課題に鑑みてなされたものであり、検査対象物の外観の良否を高精度に且つ短時間で判定することを目的とする。

本発明の識別器生成装置は、外観の良否が既知の対象物に対して、少なくとも２つの異なる撮像条件で撮像された画像に基づく少なくとも２つの画像のそれぞれから、複数の特徴量を抽出する学習用抽出手段と、前記学習用抽出手段により前記少なくとも２つの画像から抽出された特徴量を跨る特徴量から、対象物の良否を判定するための特徴量を選択する選択手段と、前記選択手段により選択された前記特徴量に基づいて、対象物の良否を判定する識別器を生成する生成手段と、を有することを特徴とする。

本発明によれば、検査対象物の外観の良否を高精度に且つ短時間で判定することができる。

良否判定装置が実装されるハードウェア構成を示す図である。 良否判定装置の機能構成を示す図である。 学習時の良否判定装置の処理を説明するフローチャートである。 検査時の良否判定装置の処理を説明するフローチャートである。 撮像装置と対象物との関係の第一の例を示す図である。 照明条件の一例を示す図である。 各照明条件における欠陥部分の画像を示す図である。 学習用画像の形態を示す図である。 ピラミッド階層画像の作成方法を説明する図である。 ウェイブレット変換を説明するための画素番号を示す図である。 キズ欠陥を強調する特徴量の算出方法を説明する図である。 ムラ欠陥を強調する特徴量の算出方法を説明する図である。 特徴量の一覧を示す図である。 結合後の特徴量の一覧を示す図である。 特徴量の結合を実施する場合としない場合の作業の流れを示す図である。 撮像装置と対象物との関係の第二の例を示す図である。 図１５に示す撮像装置と対象物との関係を立体的に示す図である。 撮像装置と対象物との関係の第三の例を示す図である。 撮像装置と対象物との関係の第四の例を示す図である。 撮像装置と対象物との関係の第五の例を示す図である。 撮像装置と対象物との関係の第六の例を示す図である。

以下、図面を参照しながら、複数の実施形態を説明する。以下の各実施形態では、少なくとも２つの異なる撮像条件で撮像された対象物の画像データを用いて学習および検査を行う。撮像条件には、例えば、撮像装置に関する条件、撮像時の撮像装置の周囲の環境に関する条件、および対象物に関する条件の少なくとも何れか１つが含まれる。第一の実施形態では、その第一の例として、少なくとも２つの異なる照明条件で対象物を撮像することを撮像条件として採用する。第二の実施形態では、その第二の例として、少なくとも２つの異なる撮像部で対象物を撮像することを撮像条件として採用する。第三の実施形態では、その第三の例として、対象物の領域であって、少なくとも２つの異なる領域を同一の画像で撮像することを撮像条件として採用する。第四の実施形態では、その第四の例として、同一の対象物の少なくとも２つの異なる部位を撮像することを撮像条件として採用する。

（第一の実施形態）
まず、第一の実施形態について説明する。
本実施形態では、まず、良否判定装置のハードウェア構成と機能構成の一例について説明し、次に学習と検査の各フローチャート（ステップ）について説明し、最後に本実施形形態の効果について説明する。

（ハードウェア構成および機能構成）
図１に、本実施形態における良否判定装置が実装されるハードウェア構成の一例を示す。図１において、ＣＰＵ１１０は、バス１００を介して接続される各デバイスを統括的に制御する。ＣＰＵ１１０は、読み出し専用メモリ（ＲＯＭ）１２０に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ１２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）１３０に一時的に記憶され、ＣＰＵ１１０によって適宜実行される。また、入力Ｉ／Ｆ１４０は、撮像装置等の外部の装置から、良否判定装置で処理可能な形式で入力信号を入力する。また、出力Ｉ／Ｆ１５０は、表示装置等の外部の装置が処理可能な形式で出力信号を出力する。

図２に、本実施形態における良否判定装置の機能構成の一例を示す。図２において、本実施形態の良否判定装置２００は、画像取得部２０１、画像合成部２０２、網羅的特徴量抽出部２０３、特徴量結合部２０４、特徴量選択部２０５、識別器生成部２０６、選択特徴量保存部２０７、および識別器保存部２０８を有する。さらに良否判定装置２００は、選択特徴量抽出部２０９、判定部２１０、および出力部２１１を有する。また、良否判定装置２００は、撮像装置２２０および表示装置２３０に接続される。良否判定装置２００は、良品か不良品かが既知の検査対象物に対して機械学習を行うことにより識別器を作成し、作成した識別器を用いて良品か不良品かが未知の検査対象物の外観の良否の判定を下す装置である。図２において、学習時の動作順序を実線の矢印で、検査時の動作順序を点線の矢印で示す。

画像取得部２０１は、撮像装置２２０から画像を取得する。本実施形態において撮像装置２２０は、一つの対象物に対して少なくとも２つ以上の照明条件で撮像することを前提とする。この点の詳細は後述する。学習時において撮像装置２２０で撮像される対象物には、予めユーザにより良品または不良品のラベルが与えられている。一方、検査時においては一般に撮像装置２２０で撮像される物体の良否は未知である。本実施形態では、良否判定装置２００が、撮像装置２２０に接続され、撮像された対象物の画像を撮像装置２２０から取得する場合を例に挙げて説明する。しかしながら、必ずしもこのようにする必要はない。例えば、予め撮像された対象物の画像を記憶媒体に記憶しておき、撮像された対象物の画像を当該記憶媒体から読み出すことによって取得しても構わない。

画像合成部２０２は、画像取得部２０１から、相互に異なる少なくとも２つの照明条件で撮像された対象物の画像を受領したうえで合成し、合成画像を作成する。ここで、学習時に撮像された画像または合成された画像を学習用画像と称し、検査時に撮像された画像または合成された画像を検査用画像と称する。画像合成部２０２の詳細は後述する。

網羅的特徴量抽出部２０３は、学習用抽出処理を行う。具体的に網羅的特徴量抽出部２０３は、画像取得部２０１で取得された学習用画像と、画像合成部２０２で合成された学習用画像と、のうち、少なくとも２つ以上の画像の各々に対して、画像の統計量を始めとする特徴量を網羅的に抽出する。網羅的特徴量抽出部２０３の詳細は後述する。このとき、画像取得部２０１で取得された学習用画像と、画像合成部２０２で合成された学習用画像のうち、画像取得部２０１で取得された学習用画像のみを特徴量の抽出の対象とすることができる。これとは逆に、画像取得部２０１で取得された学習用画像と、画像合成部２０２で合成された学習用画像のうち、画像合成部２０２で合成された学習用画像のみを、特徴量の抽出の対象とすることができる。また、画像取得部２０１で取得された学習用画像と、画像合成部２０２で合成された学習用画像との双方を特徴量の抽出の対象とすることができる。
特徴量結合部２０４は、網羅的特徴量抽出部２０３で抽出された各画像の特徴量を一つに結合する。特徴量結合部２０４の詳細は後述する。

特徴量選択部２０５は、特徴量結合部２０４で結合された特徴量から、良品と不良品を分離するのに有効な特徴量を選択する。特徴量選択部２０５で選択された特徴量の種類は、選択特徴量保存部２０７に保存される。特徴量選択部２０５の詳細は後述する。
識別器生成部２０６は、特徴量選択部２０５で選択された特徴量を用いて、良品と不良品とを識別する識別器を作成する。識別器生成部２０６で生成された識別器は、識別器保存部２０８に保存される。識別器生成部２０６の詳細は後述する。

選択特徴量抽出部２０９は、検査用抽出処理を行う。具体的に選択特徴量抽出部２０９は、画像取得部２０１で取得された検査用画像、または画像合成部２０２で合成された検査用画像から、選択特徴量保存部２０７に保存されている種類の特徴量、すなわち、特徴量選択部２０５で選択された特徴量を抽出する。選択特徴量抽出部２０９の詳細は後述する。
判定部２１０は、選択特徴量抽出部２０９で抽出された特徴量と、識別器保存部２０８に保存されている識別器とに基づいて、対象物の外観の良否を判定する。

出力部２１１は、不図示のインターフェースを介して、外部の表示装置２３０が表示可能な形式で、対象物の外観の良否の判定結果を表示装置２３０に送出する。尚、出力部２１１は、対象物の外観の良否の判定に用いた検査画像等を、対象物の外観の良否の判定結果に合わせて表示装置２３０に送出してもよい。

表示装置２３０は、出力部２１１によって出力された、対象物の外観の良否の判定結果を表示する。対象物の外観の良否の判定結果の表示は、例えば、良、不良のテキスト表示により実現することができる。ただし、対象物の外観の良否の判定結果の表示形態は、テキスト表示に限定されない。例えば、良、不良を色で区別して表示しても良い。また、このような表示に加えてまたは代えて音を使って良、不良を出力しても良い。表示装置２３０は、例えば、液晶ディスプレイやＣＲＴディスプレイが用いられる。表示装置２３０の表示は、図１のＣＰＵ１１０によって表示制御される。

（フローチャート）
図３Ａ、図３Ｂに本実施形態におけるフローチャートを示す。具体的に図３Ａは、学習時の良否判定装置２００の処理の一例を説明するフローチャートである。図３Ｂは、検査時の良否判定装置２００の処理の一例を説明するフローチャートである。以下、図３Ａ、図３Ｂのフローチャートに従って、良否判定装置２００の処理の一例を説明する。図３Ａ、図３Ｂに示すように、本実施形態における良否判定装置２００処理には大きく二つのステップ、すなわち学習ステップＳ１と、検査ステップＳ２がある。以下、各ステップを詳細に説明する。

まず、図３Ａの学習ステップＳ１について説明する。
（ステップＳ１０１）
ステップＳ１０１において、画像取得部２０１は、学習で用いる複数の照明条件の画像を撮像装置２２０から取得する。図４に、本実施形態における撮像装置２２０（図内の点線内部）と対象物４５０の断面図（図４（ｂ））と、撮像装置２２０の上面図（図４（ａ））の一例を示す。図４（ｂ）は、図４（ａ）のＩ−Ｉ´断面図である。

図４（ｂ）に示すように、撮像装置２２０は、カメラ４４０を備える。カメラ４４０の光軸は、対象物４５０の板面に対して垂直な方向である。さらに撮像装置２２０は、緯度方向の位置（高さ位置）が異なる照明４１０ａ〜４１０ｈ、４２０ａ〜４２０ｈ、４３０ａ〜４３０ｈを経度方向（周方向）８方位に備える。前述した通り本実施形態において撮像装置２２０は、一つの対象物４５０に対して少なくとも２つ以上の照明条件で撮像することを前提とする。例えば、使用する照明４１０ａ〜４１０ｈ、４２０ａ〜４２０ｈ、４３０ａ〜４３０ｈ（照射方向）と、照明４１０ａ〜４１０ｈ、４２０ａ〜４２０ｈ、４３０ａ〜４３０ｈの光量と、カメラ４４０の撮像素子の露光時間の少なくとも１つを変更する。このようにすることで複数の照明条件での撮像を実施する。照明条件の例は後述する。また、カメラ４４０は産業用カメラ等を用い、モノクロ／カラーのどちらの画像を撮像してもよい。ステップＳ１０１では、学習で用いる画像を取得するため、良品であるか不良品であるかが予め既知である製品（対象物４５０）の外観部分を撮影し、その画像を取得する。その対象物４５０が良品であるか不良品であるかは、予めユーザによって良否判定装置２００に与えられているものとする。尚、対象物４５０は、同一の材質で形成されているものとする。

（ステップＳ１０２）
ステップＳ１０２において、画像取得部２０１は、良否判定装置２００に予め設定された全ての照明条件による画像の取得を完了したか否かを判定する。この判定の結果、全ての照明条件による画像を取得していない場合には、ステップＳ１０１に戻り撮像を繰り返す。図５に、本実施形態における照明条件の一例を示す。本実施形態では、図５に示すように、使用する照明４１０ａ〜４１０ｈ、４２０ａ〜４２０ｈ、４３０ａ〜４３０ｈを変更することで照明条件を変更する場合を例に挙げて示す。図５では、図４（ａ）に示した撮像装置２２０の上面図を簡略化して示しており、使用する照明は黒色に塗りつぶすことで表現するものとする。本実施形態においては、照明条件は７種類としてある。

複数の照明条件を準備して撮像するのは、照明条件によってキズや打痕のような欠陥が強調されたり、塗装ムラのような欠陥が強調されたりするためである。例えば、照明条件１〜４による画像はキズ欠陥が強調され、照明条件５〜７による画像はムラ欠陥が強調される。図６に本実施形態における各照明条件における欠陥部分の画像の一例を示す。照明条件１〜４による画像においては、点灯している２つの照明を結ぶ方向とは垂直な方向のキズ欠陥が強調されやすい。これはキズ欠陥に垂直な方向で且つ緯度が低い方向からの照明によって、キズ欠陥の部分の反射率が大きく変化するからである。図６においては、照明条件３による画像が最もキズ欠陥が可視化されている。一方、照明条件５〜７による画像においては、ムラ欠陥が強調されやすい。これは照明条件５〜７が経度方向に均一な照明であるため、照明ムラが発生しづらい分、ムラ欠陥が強調されるためである。図６においては、照明条件７による画像が最もムラ欠陥が可視化されている。照明条件５〜７のうちどの照明条件が最もムラ欠陥を強調するかは、ムラの発生要因や種類等に依存する。全７つの照明条件の撮像が完了すれば、次のステップＳ１０３へ進む。本実施形態では、使用する照明４１０ａ〜４１０ｈ、４２０ａ〜４２０ｈ、４３０ａ〜４３０ｈを変更することで照明条件を変更した。しかしながら、照明条件は、使用する照明４１０ａ〜４１０ｈ、４２０ａ〜４２０ｈ、４３０ａ〜４３０ｈに限定されない。前述したように、例えば、照明４１０ａ〜４１０ｈ、４２０ａ〜４２０ｈ、４３０ａ〜４３０ｈの光量やカメラ４４０の露光時間を変更することで照明条件を変更してもよい。

（ステップＳ１０３）
ステップＳ１０３において、画像取得部２０１は、学習に必要な対象物数の画像の取得を完了したか否かを判定する。この判定の結果、学習に必要な対象物数の画像を取得できていない場合にはステップＳ１０１に戻り撮像を繰り返す。本実施形態では、１つの照明条件で、学習用画像として良品画像を１５０枚、不良品画像を５０枚程度取得する。従って、ステップＳ１０３が完了するときに、良品については１５０×７枚、不良品については５０×７枚の学習用画像を取得することになる。これらの枚数の画像の取得が完了すれば、次のステップＳ１０４へ進む。以下のステップＳ１０４〜Ｓ１０７の処理は、２００個の対象物のそれぞれについて１つずつ行われる。

（ステップＳ１０４）
ステップＳ１０４において、画像合成部２０２は、同一の対象物に対する照明条件１〜７の７枚の画像のうち、照明条件１〜４による画像を合成する。このように本実施形態では、画像合成部２０２は、照明条件１〜４による画像を合成して学習用画像として出力し、照明条件５〜７による画像は合成せずにそのまま学習用画像として出力する。前述したように、照明条件１〜４は照明の使用方向に関して方位角に依存性がある為、強調されるキズ欠陥の方向はそれぞれの照明条件で異なる。従って、照明条件１〜４による画像の相互に対応する位置の画素値の和をとった合成画像を生成することで、様々な角度のキズ欠陥が強調された画像を生成できる。ここでは簡単のために、照明条件１〜４による画像の和をとることにより合成画像を作成する方法を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はない。例えば、四則演算を始めとする画像処理を施すことで、より欠陥を強調することが可能な合成画像を生成してもよい。例えば、照明条件１〜４による画像の画素値に加えてまたは替えて、照明条件１〜４による画像の統計量と、照明条件１〜４による画像のうち複数の画像間の統計量とを用いた演算を行うことにより合成画像を生成することができる。

図７に、本実施形態における学習用画像の形態の一例を示す。図７において、学習用画像１は、照明条件１〜４による画像を合成したものであることを示し、学習用画像２〜４は、照明条件５〜７の画像そのものであることを示す。このように本実施形態では、同一の対象物について学習用画像は合計で４種類作成される。

（ステップＳ１０５）
ステップＳ１０５において、網羅的特徴量抽出部２０３は、ある対象物の学習用画像に対して網羅的に特徴量を抽出する。網羅的特徴量抽出部２０３は、ある対象物の学習用画像から、周波数的に異なるピラミッド階層画像を作成した後、各ピラミッド階層画像に対して統計演算やフィルタリング処理等を施して特徴量を抽出する。

まず、ピラミッド階層画像の作成方法の一例について詳細に説明する。本実施形態ではウェイブレット変換（周波数変換）を用いてピラミッド階層画像を作成する。図８に、本実施形態におけるピラミッド階層画像の作成方法の一例を示す。まず、網羅的特徴量抽出部２０３は、ステップＳ１０４で得た学習用画像を原画像８０１とし、原画像８０１から、低周波画像８０２、縦周波画像８０３、横周波画像８０４、および対角周波画像８０５の４種類の画像を作成する。４種類の画像は全て原画像８０１の１／４倍に縮小されている。図９に、ウェイブレット変換を説明するための画素番号を示す。ここで、図９に示すように、左上の画素をａ、右上の画素をｂ、左下の画素をｃ、右下の画素をｄとする。この場合、低周波画像８０２、縦周波画像８０３、横周波画像８０４、対角周波画像８０５はそれぞれ、原画像８０１に対して以下の（１）式、（２）式、（３）式、（４）式の画素値の変換を行うことにより作成される。
（ａ＋ｂ＋ｃ＋ｄ）／４ ・・・（１）
（ａ＋ｂ−ｃ−ｄ）／４ ・・・（２）
（ａ−ｂ＋ｃ−ｄ）／４ ・・・（３）
（ａ−ｂ−ｃ＋ｄ）／４ ・・・（４）

さらに、網羅的特徴量抽出部２０３は、以上のようにして作成した、縦周波画像８０３、横周波画像８０４、および対角周波画像８０５の３種類の画像から、以下の４種類の画像を作成する。すなわち、網羅的特徴量抽出部２０３は、縦周波画像の絶対値画像８０６、横周波画像の絶対値画像８０７、対角周波画像の絶対値画像８０８、および縦・横・対角周波画像の二乗和画像８０９の４種類の画像を作成する。縦周波画像の絶対値画像８０６、横周波画像の絶対値画像８０７、対角周波画像の絶対値画像８０８は、それぞれ、縦周波画像８０３、横周波画像８０４、対角周波画像８０５の各画像の絶対値をとることで作成される。また、網羅的特徴量抽出部２０３は、縦周波画像８０３、横周波画像８０４、および対角周波画像８０５の二乗和を計算することで作成される。すなわち、網羅的特徴量抽出部２０３は、縦周波画像８０３、横周波画像８０４、および対角周波画像８０５の各位置（画素）の値の二乗を求める。そして、網羅的特徴量抽出部２０３は、縦周波画像８０３、横周波画像８０４、および対角周波画像８０５の相互に対応する位置における当該二乗した値を加算することで、縦・横・対角周波画像の二乗和画像８０９を作成する。

図８において、原画像８０１から得られる低周波画像８０２〜縦・横・対角周波画像の二乗和画像８０９の８種類の画像を１階層目の画像群と称する。
次に、網羅的特徴量抽出部２０３は、１階層目の画像群を作成したのと同じ画像変換を、低周波画像８０２に対して行い、２階層目の画像群として前述した８種類の画像を作成する。さらに網羅的特徴量抽出部２０３は、２階層目の低周波画像に対しても同様の処理を行って３階層目の画像群として前述した８種類の画像を作成する。以上の８種類の画像（各階層の画像群）の作成を、各階層の低周波画像に対して、低周波画像のサイズが一定値以下になるまで繰り返す。繰り返しを実施している部分を図８内の破線部８１０に示す。この作業を繰り返すことで、各階層に対してそれぞれ８種類の画像が作成される。例えば、この作業を１０階層まで繰り返した場合、１枚の画像に対して８１種類（原画像１枚＋１０階層×８種類）の画像が作成される。以上がピラミッド階層画像の作成についての説明である。本実施形態ではウェイブレット変換を用いてピラミッド階層画像（原画像に対し異なる周波数の画像）を作成する場合を例に挙げて説明した。しかしながら、ピラミッド階層画像（原画像に対し異なる周波数の画像）を作成する方法は、ウェイブレット変換を用いる方法に限定されない。例えば、原画像に対してフーリエ変換を行うことにより、ピラミッド階層画像（原画像に対し異なる周波数の画像）を作成してもよい。

次に、各ピラミッド階層画像に対して、統計演算やフィルタリング処理等を施して特徴量を抽出する方法の一例について詳細に説明する。
まず、統計演算について説明する。網羅的特徴量抽出部２０３は、各ピラミッド階層画像の平均・分散・尖度・歪度・最大値・最小値を算出して、これらを特徴量とする。ここに挙げたもの以外の統計量を特徴量としてもよい。

次に、フィルタリング処理等を施して抽出する特徴量について説明する。ここでは、キズ欠陥とムラ欠陥を強調する２つのフィルタリング処理を行って算出した結果を特徴量とする。以下順に説明する。
第一にキズ欠陥を強調する特徴量について説明する。キズ欠陥は、対象物が生産時に何かしら突起のあるものに引っ掻かれてできてしまう場合が多く、一方向に長い線状の欠陥となりやすい。図１０に本実施形態におけるキズ欠陥を強調する特徴量の算出方法の一例の模式図を示す。図１０において、実線の矩形枠１００１は、ピラミッド階層画像の一つである。網羅的特徴量抽出部２０３は、この矩形枠（ピラミッド階層画像）１００１に対して、矩形領域１００２（図１０の破線の矩形枠）と、一方向に連続した長い線状の矩形領域１００３（図１０の一点鎖線の矩形枠）とを用いて畳み込み演算を行う。この畳み込み演算により、キズ欠陥を強調する特徴量が抽出される。

本実施形態では、網羅的特徴量抽出部２０３は、矩形枠（ピラミッド階層画像）１００１全体をスキャンする（図１０の矢印を参照）。そして、網羅的特徴量抽出部２０３は、線状の矩形領域１００３を除いた矩形領域１００２内の各画素の平均値と線状の矩形領域１００３の各画素の平均値との比を算出する。そして、その最大値および最小値を特徴量とする。矩形領域１００３は線状であるため、キズ欠陥がより強調される特徴量を抽出することが可能となる。また図１０では、矩形枠（ピラミッド階層画像）１００１と線状の矩形領域１００３とが平行である場合を例に挙げて示す。しかしながら、線状の欠陥は３６０度様々な方向に発生する可能性がある。このため、網羅的特徴量抽出部２０３は、例えば１５度ごと２４方向に、矩形枠（ピラミッド階層画像）１００１を回転させ、それぞれの特徴量を算出する。またフィルタサイズを複数準備する。

第二にムラ欠陥を強調する特徴量について説明する。ムラ欠陥は、塗装での塗りムラや樹脂成型の過程等によって発生し、面積的に大きなものになりやすい。図１１に本実施形態におけるムラ欠陥を強調する特徴量の算出方法の一例の模式図を示す。矩形領域１１０１（図１１の実線の矩形枠）は、ピラミッド階層画像の一つである。網羅的特徴量抽出部２０３は、矩形領域（ピラミッド階層画像）１１０１に対して、矩形領域１１０２（図１１の破線の矩形枠）と矩形領域１１０３（図１１の一点鎖線の矩形枠）とを用いて畳み込み演算を行う。この畳み込み演算により、ムラ欠陥を強調する特徴量が抽出される。ここで、矩形領域１１０３（図１１の一点鎖線の矩形枠）は、矩形領域１１０２の内部のムラ状の欠陥を含む領域である。

本実施形態では、網羅的特徴量抽出部２０３は、矩形領域１１０３を除いた矩形領域１１０２内の各画素の平均値と、矩形領域１１０３の各画素の平均値との比を矩形領域１１０１全体に対してスキャンして算出する（図１１の矢印を参照）。そして、網羅的特徴量抽出部２０３は、その最大値および最小値を特徴量とする。矩形領域１１０３はムラ欠陥を含むような領域であるため、ムラ欠陥がより強調される特徴量を算出することが可能となる。また、キズ欠陥の特徴量と同様に、フィルタサイズを複数準備する。

ここでは特徴量では、平均値の比を算出する場合を例に挙げて説明した。しかしながら、特徴量は平均値の比に限定されない。例えば、分散や標準偏差の比を特徴量として用いてもよいし、比ではなく差を特徴量として用いてもよい。また、本実施形態ではスキャンした後に、最大値および最小値を算出する場合を例に挙げて説明した。しかしながら、必ずしも最大値および最小値を算出する必要はない。スキャンの結果から、平均や分散等他の統計量を算出してもよい。

また、本実施形態では、ピラミッド階層画像を作成する場合を例に挙げて説明した。しかしながら、必ずしもピラミッド階層画像を作成する必要はない。例えば、原画像からのみ特徴量を抽出するだけでもよい。また、特徴量の種類は、本実施形態において列挙したものに限定されない。例えば、ピラミッド階層画像や原画像に対し、統計演算、畳み込み演算、２値化処理、および微分演算の少なくとも何れか１つを行うことにより特徴量を算出することができる。

網羅的特徴量抽出部２０３は、以上のようにして導出した特徴量に、それぞれ番号を付けて、当該特徴量と共にメモリに一時的に保存しておく。図１２に、本実施形態における特徴量の一覧の一例を示す。特徴量の種類が膨大になるため、図１２においては、表内の大部分を省略してある。また、後述する説明のために、学習用画像１枚に対して、階層Ｘのピラミッド階層画像Ｙのムラ欠陥用特徴量でフィルタサイズがＺの特徴量まで抽出するものとして、合計の特徴量番号をＮとしている。以上のように網羅的特徴量抽出部２０３は、学習用画像からＮ＝４０００程度の特徴量を網羅的に抽出する。

（ステップＳ１０６）
ステップＳ１０６において、網羅的特徴量抽出部２０３は、ステップＳ１０５における特徴量の抽出がステップＳ１０４で作成した４種類の学習用画像１〜４において完了したか否かを判定するか否かを判定する。この判定の結果、特徴量の抽出が４種類の学習用画像１〜４において完了していない場合には、ステップＳ１０５に戻り、特徴量の抽出を繰り返す。そして、全４種類の学習用画像１〜４の網羅的な特徴量の抽出が完了すると、次のステップＳ１０７へ進む。

（ステップＳ１０７）
ステップＳ１０７において、特徴量結合部２０４は、ステップＳ１０５、Ｓ１０６の処理で抽出した全４種類の学習用画像１〜４の網羅的な特徴量を結合する。図１３に、結合後の特徴量の一覧の一例を示す。ここで、特徴量番号は１から４Ｎまでとなる。本実施形態においては、ステップＳ１０７における特徴量の結合において、特徴量１〜４Ｎの全ての特徴量を結合する場合を例に挙げて説明する。しかしながら、必ずしも特徴量１〜４Ｎの全ての特徴量を結合する必要はない。例えば、明らかに不要な特徴量が最初から既知である場合、当該特徴量を結合する必要はない。

（ステップＳ１０８）
ステップＳ１０８において、特徴量結合部２０４は、学習に必要な対象物数分の特徴量の結合を完了したか否かを判定する。この判定の結果、学習に必要な対象物数分の特徴量の結合を完了していない場合には、ステップＳ１０４に戻り、学習に必要な対象物数分の特徴量の結合を完了するまで、ステップＳ１０４〜Ｓ１０８の処理を繰り返す。ステップＳ１０３で述べたように、良品においては１５０個分、不良品においては５０個分の特徴量の結合を実施する。学習に必要な対象物数分の特徴量の結合を完了すると、次のステップＳ１０９へ進む。

（ステップＳ１０９）
ステップＳ１０９において、特徴量選択部２０５は、ステップＳ１０８までで結合した特徴量のうち、良品と不良品とを分離するのに有効な特徴量を選択、すなわち検査時に用いる特徴量の種類を決定する。具体的には、良品と不良品とを分離するのに有効な特徴量の種類のランキングを作成し、ランキングの上位から何番目までの特徴量を使用するか（すなわち使用する特徴量の数）を決定することで、特徴量の選択を行う。
まず、ランキングの作成方法の一例について説明する。学習に用いた対象物の番号をｊ（ｊ＝１、２、・・・、２００。ただし、１〜１５０までが良品、１５１〜２００を不良品とする）、特徴量を結合した後のｉ番目（ｉ＝１、２、・・・、４Ｎ）の特徴量をｘ_i、_jとする。特徴量選択部２０５は、各特徴量の種類に対して、良品１５０個分における平均ｘ_{ave_i}と標準偏差σ_{ave_i}を算出し、特徴量ｘ_i、_jが発生する確率密度関数ｆ（ｘ_i、_j）を正規化分布と仮定して作成する。このとき確率密度関数ｆ（ｘ_i、_j）は、以下の（５）式で与えられる。

次に、特徴量選択部２０５は、学習に用いた全ての不良品の確率密度関数ｆ（ｘ_i、_j）の積を算出し、これをランキング作成のための評価値ｇ（ｉ）とする。ここで、評価値ｇ（ｉ）は、以下の（６）式で与えられる。

評価値ｇ（ｉ）は、値が小さいものほど良品と不良品とを分離するのに有効な特徴量である。このため、特徴量選択部２０５は、評価値ｇ（ｉ）をソートし、評価値ｇ（ｉ）の値が小さいものから順番に特徴量の種類のランキングを作成し、順位づけを行う。
ランキングの作成方法として、特徴量そのものに替えて特徴量の組み合わせを評価してもよい。特徴量の組み合わせを評価する場合には、組み合わせる特徴量の次元数分の確率密度関数を作成して評価する。例えばｉ番目とｋ番目の２次元の特徴量の組み合わせであれば、（５）式、（６）式を２次元化させ、確率密度関数ｆ（ｘ_i、_j，ｘ_k、_j）、評価値ｇ（ｉ，ｋ）を、それぞれ以下の（７）式、（８）式とする。

１つの特徴量ｋ（ｋ番目の特徴量）を固定してソートし、評価値ｇ（ｉ、ｋ）の値が小さいものから順番に点数づけを行う。例えば、ある特徴量ｋにおいて、評価値ｇ（ｉ、ｋ）の値が最も小さくなるｉ番目の特徴量に１０点、評価値ｇ（ｉ'、ｋ）の値が次に小さくなるｉ'番目の特徴量に９点、と、上位１０個の特徴量について点数づけを行う。この点数づけを全ての特徴量ｋについて行うことで、結合した特徴量の種類に対して、特徴量の組み合わせを考慮したランキングが作成される。

次に、特徴量選択部２０５は、ランキングの上位から何番目までの特徴量の種類を使用するか（すなわち使用する特徴量の数）を決定する。まず、特徴量選択部２０５は、学習に用いた全ての対象物に対して、使用する特徴量の数をパラメータとして、スコアを算出する。具体的には、使用する特徴量の数をｐ、ランキング順にソートされた特徴量の種類をｍとし、ｊ番目の対象物のスコアｈ（ｐ、ｊ）を以下の（９）式で表すものとする。

特徴量選択部２０５は、このスコアｈ（ｐ、ｊ）をもとに、学習に用いた全ての対象物をスコア順に並べることを、使用する特徴量の数毎に行う。学習に用いた対象物は良品および不良品の何れであるかが既知である。スコア順に対象物に並べると、良品および不良品もこのスコア順に並べられる。このようなデータが、使用する特徴量の数ｐの候補の数分だけ得られる。特徴量選択部２０５は、使用する特徴量の数ｐの候補の数分のデータのそれぞれについての分離度（良品と不良品をどの程度正確に分離できるかを示す値）を評価値とし、最も高い評価値が得られるデータから、使用する特徴量の数ｐを決定する。データの分離度として、ROC（Receiver Operating Characteristic curve）曲線のAUC（Area Under the Curve）を用いることができる。また、学習データの不良品の見逃しをゼロとしたときの良品の通過率（対象物の総数に対する良品の数の比）をデータの分離度として用いてもよい。特徴量選択部２０５は、これらの方法を用いることで、結合した特徴量の種類４Ｎ（Ｎ＝４０００ならば１６０００個の特徴量の種類）の中から、使用する特徴量の種類を５０個〜１００個程度選択する。ここでは使用する特徴量の数も含めて決定したが、使用する特徴量の数は固定値でも良い。選択した特徴量の種類は、選択特徴量保存部２０７に保存される。

（ステップＳ１１０）
ステップＳ１１０において、識別器生成部２０６は、識別器を作成する。具体的に識別器生成部２０６は、（９）式を用いて算出されるスコアに対して、検査時に良品か不良品かを判定する閾値を決定する。ここで、不良品の見逃しを一部許す場合や、不良品の見逃しを許さない場合等、良品と不良品を分離するスコアに対する閾値は、生産ラインの状況に応じてユーザにより決定される。そして、識別器保存部２０８は、生成した識別器を保存する。以上が学習時のステップＳ１である。

次に、図３Ｂの検査ステップＳ２について説明する。
（ステップＳ２０１）
ステップＳ２０１において、画像取得部２０１は、検査で用いる複数の照明条件の画像を撮像装置２２０から取得する。検査時は学習時とは異なり、対象物が良品または不良品であるかは、未知である。

（ステップＳ２０２）
ステップＳ２０２において、画像取得部２０１は、良否判定装置２００に予め設定された全ての照明条件による画像の取得を完了したか否かを判定する。この判定の結果、全ての照明条件による画像を取得していない場合には、ステップＳ２０１に戻り撮像を繰り返す。本実施形態では、７種類の照明条件による画像の取得が完了すれば、次のステップＳ２０３へ進む。

（ステップＳ２０３）
ステップＳ２０３において、画像合成部２０２は、対象物の画像７枚を用いて、画像を合成する。本実施形態では、学習用と同様に、画像合成部２０２は、照明条件１〜４による画像を合成して出力し、照明条件５〜７による画像については合成せずそのまま出力する。従って、検査用画像は合計で４種類作成される。

（ステップＳ２０４）
ステップＳ２０４において、選択特徴量抽出部２０９は、選択特徴量保存部２０７から、特徴量選択部２０５で選択された特徴量の種類を受け取り、その特徴量の種類に基づいて、検査用画像から、特徴量の値を算出する。各特徴量の値の算出方法は、ステップＳ１０５に記載した方法と同様である。

（ステップＳ２０５）
ステップＳ２０５において、選択特徴量抽出部２０９は、ステップＳ２０４における特徴量の抽出が、ステップＳ２０３で作成された４種類の検査用画像において完了したか否かを判定する。この判定の結果、４種類の検査用画像の特徴量の抽出が完了していない場合には、ステップＳ２０４に戻り、特徴量の抽出を繰り返す。そして、全４種類の検査用画像の特徴量の抽出が完了すると、次のステップＳ２０６へ進む。

本実施形態では、ステップＳ２０２〜２０５に関しては、学習時と同様に全７種類の照明条件で撮像を行い、そのうちの照明条件１〜４で撮像された画像の合成を行って検査用画像を４種類作成する場合を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はない。例えば、特徴量選択部２０５で選択された特徴量によって、必要のない照明条件や検査用画像があれば、それらを省いてもよい。

（ステップＳ２０６）
ステップＳ２０６において、判定部２１０は、ステップ２０５までで算出された特徴量の値を（９）式に挿入することで、検査対象物のスコアを算出する。そして、判定部２１０は、検査対象物のスコアと、識別器保存部２０８に保存されている閾値とを比較し、その比較の結果に基づいて検査対象物が良品か不良品かを判定する。この際、出力部２１１を通して、表示装置２３０へ、その判定の結果を示す情報を出力する。

（ステップＳ２０７）
ステップＳ２０７において、判定部２１０は、検査対象物の検査を全て完了したか否かを判定する。この判定の結果、検査対象物の検査を全て完了していない場合には、ステップＳ２０１に戻り、他の検査対象物について、撮像から繰り返す。
以上が各ステップの詳細な説明である。

（本実施形態の効果の説明）
次に、本実施形態の効果について詳細に説明する。説明のため、ステップＳ１０７における特徴量の結合なしに学習・検査した場合と比較して述べる。
図１４に本実施形態におけるステップＳ１０７において特徴量の結合を実施する場合（図１４（ｂ））としない場合（図１４（ａ））の作業の流れの一例を示す。図１４（ａ）に示すように、特徴量の結合を実施しない場合、４種類の学習用画像１〜４のそれぞれに対して、不良品の画像の選択をする必要がある（図内の画像の選択１〜４）。例えば、学習用画像１は、図７で示した通り、照明条件１〜４の画像を合成したものであり、照明条件１〜４はキズ欠陥が可視化されやすく、逆にいえば、学習用画像１ではムラ欠陥は可視化されづらい傾向にある。欠陥が可視化されていない画像は、たとえ対象物のラベルは不良品であっても不良品の画像としては扱えないため、このような画像は不良品の画像からは除く必要がある。

また、前述した不良品の画像の選択は困難である場合が多い。例えば、対象物内の同一欠陥に対して、学習用画像１ではその欠陥が強く可視化されていて、学習用画像２では良品の画像における画素値のバラツキ程度にしかその欠陥が可視化されていない場合を考える。このとき、学習用画像１は、不良品の画像として学習に用いればよいが、学習用画像２を不良品画像として学習に用いると、良品と不良品とを分離するのに有効な特徴量を選択する際に、冗長な特徴量を選択しやすくなる。その結果として、識別器の性能の劣化を引き起こす可能性がある。

さらに、ステップＳ１０９での特徴量の選択は、４種類の学習用画像１〜４のそれぞれに対して実施することとなり、特徴量の選択の結果も４つ作成されることとなる。従って、検査を４回繰り返す必要がある。一般には４回の検査結果を総合して評価し、全ての検査において良品であるとの判定が下されたものを良品とする総合評価を実施する。

一方で、特徴量の結合を実施する場合は、以上の問題を解決する。特徴量を結合してから特徴量を選択するため、学習用画像１〜４のどこかに欠陥が可視化されていればよく、特徴量の結合をしない場合のような不良品の画像の選択は不要となる。さらに、キズ欠陥を強調するような特徴量は学習用画像１から選択され、ムラ欠陥を強調するような特徴量は学習用画像２〜４の中から選択されやすくなる。従って、欠陥が強く可視化されている画像があれば、良品の画像における画素値のバラツキ程度にしか欠陥が可視化されていない画像があったとしても、その画像から特徴量を選択する必要もなくなり、結果として冗長な特徴量を選択しなくなる。よって、高精度な分離性能を達成することが可能となる。さらに、特徴量を結合することで特徴量の選択結果は１つだけであるため、検査も１回で済む。

以上のように本実施形態では、外観の良否が既知の対象物に対して少なくとも２つ以上の異なる照明条件で撮像した画像に基づく少なくとも２つの画像の夫々から、複数の特徴量を抽出する。そして、抽出した各画像の特徴量を跨る特徴量から、対象物の良否を判定するための特徴量を選択し、選択した特徴量に基づいて、対象物の良否を判定する識別器を生成する。そして、検査用画像から抽出した特徴量と識別器とに基づいて、対象物の外観の良否を判定する。従って、複数の照明条件で対象物の画像を撮像した場合に、照明条件ごとに学習に用いる画像の選択が不要となり、複数の照明条件に対して検査を一度で行うことができる。さらに、冗長な特徴量の選択がないため高性能に検査対象物の良否を判定することができる。よって、検査対象物の外観の良否を高精度に且つ短時間で判定することができる。

尚、本実施形態では、学習と検査とを同一の装置（良否判定装置２００）で行う場合を例に挙げて説明した。しかしながら、必ずしも学習と検査とを同一の装置で行う必要はない。例えば、識別器の生成（学習）を行う識別器生成装置と、検査を行う検査装置を構成し、学習と検査を別々の装置で実現してもよい。この場合、例えば、画像取得部２０１〜識別器保存部２０８の機能が識別器生成装置に含まれ、画像取得部２０１、画像合成部２０２、選択特徴量抽出部２０９〜出力部２１１の機能が検査装置に含まれる。このとき、識別器生成装置と検査装置とが直接通信することにより、検査装置が、識別器や特徴量の情報を取得することができる。また、このようにせずに、例えば、識別器生成装置が識別器や特徴量の情報を可搬型の記憶媒体に記憶し、検査装置が当該記憶媒体からこれらの情報を読み出すことで、識別器や特徴量の情報を取得してもよい。

（第二の実施形態）
次に第二の実施形態を説明する。第一の実施形態では、少なくとも２つの異なる照明条件で撮像された画像データを用いて学習および検査を行う場合を例に挙げて説明した。これに対し、本実施形態では、少なくとも２つの異なる撮像部で撮像された画像データを用いて学習および検査を行う場合について説明する。このように本実施形態と第一の実施形態では、使用する学習データが異なることによる構成および処理が主として異なる。したがって、本実施形態の説明において、第一の実施形態と同一の部分については、図１〜図１４に付した符号と同一の符号を付す等して詳細な説明を省略する。

図１５に、本実施形態における撮像装置１５００（図内の点線内部）と対象物４５０の断面図（図１５（ｂ））と、撮像装置１５００の上面図（図１５（ａ））の一例を示す。図１５（ｂ）は、図１５（ａ）のＩ−Ｉ´断面図である。

図１５に示すように、本実施形態の撮像装置１５００は、第一の実施形態の撮像装置２２０と類似しているが、カメラ４４０に加え、カメラ４４０とは異なる別のカメラ４６０（図内の太線）を有している点が異なる。カメラ４４０の光軸は、対象物４５０の板面に対して垂直な方向である。一方、カメラ４６０の光軸は、対象物４５０の板面の方向および当該板面に対して垂直な方向のそれぞれに対して傾斜した方向である。また、本実施形態の撮像装置１５００は、照明を備えていない。第一の実施形態では、少なくとも２つの異なる照明条件で撮像された画像データを用いて得られる特徴量を結合する例を示した。これに対し、本実施形態では、少なくとも２つの異なる撮像部（カメラ４４０、４６０）で撮像された画像データを用いて得られる特徴量を結合する。尚、図１５においては、カメラを２つとしているが、カメラの数は複数であれば、３以上であってもよい。

図１６に、図１５に示すカメラ４４０、４６０と対象物４５０を立体的に見た（俯瞰した）様子を示す。相互に異なる撮像方向からカメラ４４０とカメラ４６０の２つで対象物４５０の同一領域を撮像し、画像データを取得する。このように異なる複数のカメラを用いる利点は、対象物４５０に対する結像方向が複数の方向の画像データを得ることによって、可視化が困難な欠陥に対してもいずれかのカメラで撮像される可能性が高くなることである。これは複数の照明条件について説明した考えと類似しており、図６で示した照明条件によって可視化されやすい欠陥があるように、対象物４５０に対する撮像部の撮像方向（光軸）によっても可視化されやすい欠陥がある。

学習時および検査時の良否判定装置の処理（フロー）は、第一の実施形態と同様である。ただし、第一の実施形態では、ステップＳ１０２において、１つの対象物４５０を複数の照明条件で照明した場合の画像を取得する。これに対し、本実施形態においては、１つの対象物４５０を複数の撮像部で異なる撮像方向から撮像した場合の画像を取得する。具体的には、カメラ４４０で取得した対象物４５０の画像と、カメラ４６０で取得した対象物４５０の画像である。

また、ステップＳ１０５において、カメラ４４０、４６０で取得した２つの画像に対して、それぞれ網羅的に特徴量が抽出され、それらの特徴量は、ステップＳ１０７において結合される。その後ステップＳ１０９において特徴量の選択が実施される。尚、カメラの撮像方向（光軸）に応じて、ステップＳ１０４の画像の合成を行ってもよい。検査時の良否判定装置の処理（フロー）についても同様であり、詳細な説明は省略する。この結果、第一の実施形態と同様に、撮像部ごとに取得した画像に対して学習に用いる画像の選択が不要となり、複数の撮像部で撮像された画像に対して検査を一度で行うことができる。さらに、冗長な特徴量の選択がないため高性能に検査対象物の良否を判定することができる。
尚、本実施形態においても、第一の実施形態で説明した種々の変形例を採用することができる。例えば、第一の実施形態と同様に、一つの対象物４５０に対して少なくとも２つ以上の照明条件で少なくとも２つの異なる撮像部で撮像してもよい。具体的には、第一の実施形態の図４と同様に、照明４１０ａ〜４１０ｈ、４２０ａ〜４２０ｈ、４３０ａ〜４３０ｈを用意し、それぞれの照明の照射方向、光量を変更することにより複数の照明条件で複数の撮像部での撮像ができる。そして、それぞれの照明条件で上記少なくとも２つの異なる撮像部で撮像すればよい。撮像部ごとに学習に用いる画像の選択が不要となるのに加え、照明条件ごとに学習に用いる画像の選択が不要となり、複数の撮像部および複数の照明条件に対して検査を一度で行うことができる。

（第三の実施形態）
次に、第三の実施形態を説明する。第一の実施形態では、少なくとも２つの異なる照明条件で撮像された画像データを用いて学習および検査を行う場合を例に挙げて説明した。これに対し、本実施形態では、同一画像内の少なくとも２つの異なる領域の画像データを用いて学習および検査を行う場合について説明する。このように本実施形態と第一の実施形態では、使用する学習データが異なることによる構成および処理が主として異なる。したがって、本実施形態の説明において、第一の実施形態と同一の部分については、図１〜図１４に付した符号と同一の符号を付す等して詳細な説明を省略する。

図１７に、カメラ４４０と対象物１７００を立体的に見た（俯瞰した）様子の一例と（図１７（ａ））、対象物１７００を撮像した画像の一例（図１７（ｂ））を示す。また、第一の実施形態の対象物４５０は、同一の材質であるが、図１７に示す対象物１７００は、２つの材質を有する。図１７において、領域１７００ａの材質を材質Ａとし、領域１７００ｂの材質を材質Ｂとする。

第一の実施形態では、少なくとも２つの異なる照明条件で撮像された画像データを用いて得られる特徴量を結合する例を示した。これに対し、本実施形態では、カメラ４４０で撮像された同一画像内の異なる領域の画像データを用いて得られる特徴量を結合する。図１７（ｂ）に示す例では、材質Ａに対応する領域１７００ａと、材質Ｂに対応する１７００ｂの２つの領域が検査領域になる。尚、図１７においては、検査領域を２つとしているが、検査領域の数は複数であれば、３以上であってもよい。

学習時および検査時の良否判定装置の処理（フロー）は、第一の実施形態と同様である。ただし、本実施形態では、ステップＳ１０２において、１つの対象物１７００の２つの領域１７００ａ、１７００ｂの画像を取得する。また、ステップＳ１０５において、２つの領域１７００ａ、１７００ｂの画像に対して、それぞれ網羅的に特徴量が抽出され、それらの特徴量は、ステップＳ１０７において結合とされる。尚、領域に応じて、ステップＳ１０４の画像の合成を行ってもよい。検査時の良否判定装置の処理（フロー）についても同様であり、詳細な説明は省略する。本実施形態の利点は、従来、領域１７００ａ、１７００ｂで学習結果が独立に存在したため、学習と検査の回数がそれぞれ２回必要であるのに対し、本実施形態によれば学習と検査ともに１回で済むという点である。
尚、本実施形態においても、第一の実施形態で説明した種々の変形例を採用することができる。

（第四の実施形態）
次に、第四の実施形態を説明する。第一の実施形態では、少なくとも２つの異なる照明条件で撮像された画像データを用いて学習および検査を行う場合を例に挙げて説明した。これに対し、本実施形態では、同一の対象物の少なくとも２つの異なる部位の画像データを用いて学習および検査を行う場合について説明する。このように本実施形態と第一の実施形態では、使用する学習データが異なることによる構成および処理が主として異なる。したがって、本実施形態の説明において、第一の実施形態と同一の部分については、図１〜図１４に付した符号と同一の符号を付す等して詳細な説明を省略する。

図１８に、カメラ４４０、４６１と対象物４５０を立体的に見た（俯瞰した）様子の一例と（図１８（ａ））、対象物４５０を撮像した画像の一例（図１８（ｂ））を示す。本実施形態の撮像装置は、第一の実施形態の撮像装置２２０と類似しているが、カメラ４４０に加え、カメラ４４０とは別のカメラを有している点が異なる。カメラ４４０、４６１の光軸は、何れも対象物４５０の板面に対して垂直な方向である。カメラ４４０、４６１は、対象物４５０の異なる領域を撮像する。後述する説明のため、図１８では、対象物４５０の左側にあえて欠陥を図示している。尚、図１８においては、カメラを２つとしているが、カメラの数は複数であれば、３以上であってもよい。また、図１８に示す対象物４５０は、同一の材質で形成されているものとする。

本実施形態では、ステップＳ１０５において、同一の対象物４５０の異なる部位の画像データに対して、それぞれ網羅的に特徴量が抽出され、ステップＳ１０７において、それらの特徴量が結合される。具体的には、図１８（ａ）内の左側にあるカメラ４４０が対象物４５０の左側の領域４５０ａを撮像し、右側にあるカメラ４６１が対象物４５０の右側の領域４５０ｂを撮像する。その後、特徴量の結合として、対象物４５０の左側の領域４５０ａで網羅的に抽出した特徴量と、右側の領域４５０ｂで網羅的に抽出した特徴量とを結合する。尚、領域に応じて、ステップＳ１０４の画像の合成を行ってもよい。検査時の良否判定装置の処理（フロー）についても同様であり、詳細な説明は省略する。

本実施形態の利点は、第三の実施形態で示したように学習と検査の回数が減るということに加え、学習のための良品と不良品のラベルづけが容易になるという点である。以下、この利点について詳細に説明する。
図１８（ｂ）に示すように、例えば左側のカメラ４４０で撮像された領域４５０ａの画像には欠陥があり、右側のカメラ４６１で撮像された領域４５０ｂの画像には欠陥がないとする。また、図１８（ｂ）に示す例では、領域４５０ａと領域４５０ｂの一部がオーバーラップしているが、オーバーラップしていなくてもよい。

さて、第一の実施形態で詳細に記載したように、良品と不良品を学習する。もし、特徴量の結合という考え方がない場合、領域４５０ａと領域４５０ｂをそれぞれで学習する必要がある。図１８（ｂ）に示した対象物４５０には欠陥が含まれるため、明らかに不良品であるが、領域４５０ａの学習で用いる際は不良品、領域４５０ｂの学習で用いる際は良品の扱いとなる。よって、対象物４５０そのものがもつ良品・不良品のラベルと、学習時のラベルとが異なる場合が発生する。
これに対し、本実施形態のように領域４５０ａと領域４５０ｂの特徴量を結合することで、領域４５０ａ、４５０ｂごとに良品と不良品のラベルを変更し直す必要がなくなる。これは学習時のユーザビリティを著しく向上させる。

次に、本実施形態の変形例を示す。図１９に、カメラ４４０と対象物４５０を立体的に見た（俯瞰した）様子の変形例を示す。また、第一の実施形態では、対象物４５０は動かない状態としたが、本実施形態の変形例では、対象物４５０が駆動式のステージ１９００に搭載される。本実施形態の変形例では、図１９の左側で示すように、まずカメラ４４０で対象物４５０の右側の領域を撮像する。そして、駆動式のステージ１９００を用いて対象物４５０を移動させ、図１９の右側で示すように、対象物４５０の左側の領域をカメラ４４０で撮像する。その後、特徴量の結合として、対象物４５０の右側の領域で網羅的に抽出した特徴量と、左側で網羅的に抽出した特徴量とを結合する。図１９に示す例では、ステージ１９００が駆動することで同一の対象物４５０の異なる部位を１つのカメラ４４０で撮像する。しかしながら、カメラ４４０と対象物４５０の少なくとも何れか一方が動くことにより、カメラ４４０が対象物４５０の異なる部位を撮像するようにしてれいば、必ずしもこのようにする必要はない。例えば、対象物４５０を固定し、カメラ４４０を駆動してもよい。

（その他の実施形態）

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

例えば、以上の説明では、説明の簡易化のため、第一から第四の実施形態を独立なものとしたが、これらの少なくとも２つの実施形態が組み合わされていてもよい。その具体例を図２０に示す。図２０は、第三の実施形態と同様に、異なる材質をもつ対象物１７００を２つのカメラ４４０、４６０で撮像する例を示す。カメラ４４０、４６０の配置は、図１６に示した配置（第二の実施形態）と同じである。このように図２０は、第二の実施形態と第三の実施形態との組み合わせであり、この場合は４つの領域の特徴量を結合する。具体的には、カメラ４４０で撮像した対象物１７００の右側の領域および左側の領域で抽出した２つの特徴量と、カメラ４６０で撮像した対象物１７００の右側の領域および左側の領域で抽出した２つの特徴量とを結合する。また、これにさらに、第一の実施形態で説明した照明条件（すなわち、使用照明や照明光量、露光時間）を変更し、網羅的に特徴量を抽出する画像データの数を増やしてもよい。また、この例では、４つの領域での特徴量を全て結合したが、このうち３つだけを結合するなど、分離精度やユーザの検査必要精度などに応じて、結合する特徴量を変更してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

２００：良否判定装置、２２０：撮像装置：２３０：表示装置

Claims (14)

1. 外観の良否が既知の対象物に対して、少なくとも２つの異なる撮像条件で撮像された画像に基づく少なくとも２つの画像のそれぞれから、当該画像の特徴量を抽出する学習用抽出手段と、
   前記学習用抽出手段により前記少なくとも２つの画像から抽出された特徴量を跨る特徴量から、対象物の良否を判定するための特徴量を選択する選択手段と、
   前記選択手段により選択された前記特徴量に基づいて、対象物の良否を判定する識別器を生成する生成手段と、を有することを特徴とする識別器生成装置。
2. 前記外観の良否が既知の対象物に対して少なくとも２つの異なる撮像条件で撮像された複数の画像を合成する合成手段を更に有し、
   前記外観の良否が既知の対象物に対して少なくとも２つの異なる撮像条件で撮像された画像に基づく少なくとも２つの画像は、前記合成手段により合成された画像と、前記外観の良否が既知の対象物に対して少なくとも２つの異なる撮像条件で撮像された画像のうち、前記合成手段により合成の対象となっていない画像と、のうち少なくともいずれか一方を含むことを特徴とする請求項１に記載の識別器生成装置。
3. 前記合成手段は、外観の良否が既知の対象物に対して少なくとも２つの異なる撮像条件で撮像された画像のそれぞれの画素値、当該画像の統計量、複数の当該画像の間の統計量を用いて演算することにより、当該画像を合成することを特徴とする請求項２に記載の識別器生成装置。
4. 前記学習用抽出手段は、前記外観の良否が既知の対象物に対して、少なくとも２つの異なる撮像条件で撮像された画像に基づく少なくとも２つの画像のそれぞれについて、異なる周波数の複数の画像を生成し、当該生成した周波数の複数の画像のそれぞれから特徴量を抽出することを特徴とする請求項１〜３の何れか１項に記載の識別器生成装置。
5. 前記学習用抽出手段は、ウェイブレット変換、または、フーリエ変換を用いて、前記異なる周波数の複数の画像を生成することを特徴とする請求項４に記載の識別器生成装置。
6. 前記学習用抽出手段は、前記異なる周波数の複数の画像に対して、統計演算、畳み込み演算、微分演算、および２値化処理の少なくとも１つを行うことにより前記特徴量を抽出することを特徴とする請求項４または５に記載の識別器生成装置。
7. 前記選択手段は、前記学習用抽出手段により抽出された前記特徴量を跨る特徴量のそれぞれ、または、前記学習用抽出手段により抽出された前記特徴量を跨る複数の特徴量の組み合わせに対する評価値を算出し、算出した評価値に基づいて、前記学習用抽出手段により抽出された前記特徴量を跨る特徴量のそれぞれ、または、前記学習用抽出手段により抽出された前記特徴量を跨る複数の特徴量の組み合わせのそれぞれに対して順位づけを行い、当該順位に従って、前記対象物の良否を判定するための特徴量を選択することを特徴とする請求項１〜６の何れか１項に記載の識別器生成装置。
8. 前記選択手段は、前記外観の良否が既知の複数の前記対象物に対して、前記対象物の良否を判定するための特徴量の数をパラメータとして含むスコアを算出し、前記特徴量の数毎に、前記外観の良否が既知の複数の前記対象物を前記スコアの順に並へ、並べた前記対象物の並び順を当該対象物の外観の良否に基づいて評価し、評価した結果に基づいて、前記対象物の良否を判定するための特徴量として選択する数を導出し、前記順位が高いものから当該導出した数だけ、前記学習用抽出手段により抽出された前記特徴量を跨る特徴量、または、前記学習用抽出手段により抽出された前記特徴量を跨る複数の特徴量の組み合わせを選択することを特徴とする請求項７に記載の識別器生成装置。
9. 前記少なくとも２つの異なる撮像条件は、少なくとも２つの異なる照明条件で撮像することと、少なくとも２つの異なる撮像方向から撮像することと、前記対象物の少なくとも２つの異なる領域を撮像することと、のうち少なくとも何れか１つを含むことを特徴とする請求項１〜８の何れか１項に記載の識別器生成装置。
10. 前記照明条件は、前記対象物に対する照明の光量と、前記対象物への照明の照射方向と、前記撮像を行う撮像素子の露光時間と、のうち少なくとも何れか１つを含むことを特徴とする請求項９に記載の識別器生成装置。
11. 外観の良否が未知の対象物に対して、請求項１に記載の前記撮像条件と同じ撮像条件で撮像された画像に基づく少なくとも２つの画像のそれぞれから、複数の特徴量を抽出する検査用抽出手段と、
    前記検査用抽出手段により抽出された特徴量と、請求項１〜１０の何れか１項に記載の識別器生成装置で生成された前記識別器とに基づいて、前記対象物の外観の良否を判定する判定手段と、を有することを特徴とする検査装置。
12. 前記外観の良否が未知の対象物に対して少なくとも２つの異なる撮像条件で撮像された複数の画像を、請求項２または３に記載の識別器生成装置に記載の前記合成手段による合成と同じ方法で合成する合成手段を更に有し、
    前記外観の良否が未知の対象物に対して少なくとも２つの異なる撮像条件で撮像された画像に基づく少なくとも２つの画像は、前記合成手段により合成された画像と、前記外観の良否が未知の対象物に対して少なくとも２つの異なる撮像条件で撮像された画像のうち、前記合成手段により合成の対象となっていない画像と、を含むことを特徴とする請求項１１に記載の検査装置。
13. 外観の良否が既知の対象物に対して、少なくとも２つの異なる撮像条件で撮像された画像に基づく少なくとも２つの画像のそれぞれから、複数の特徴量を抽出する学習用抽出工程と、
    前記学習用抽出工程により前記少なくとも２つの画像から抽出された特徴量を跨る特徴量から、対象物の良否を判定するための特徴量を選択する選択工程と、
    前記選択工程により選択された前記特徴量に基づいて、対象物の良否を判定する識別器を生成する生成工程と、
    外観の良否が未知の対象物に対して、前記撮像条件と同じ撮像条件で撮像された画像に基づく少なくとも２つの画像のそれぞれから、複数の特徴量を抽出する検査用抽出工程と、
    前記検査用抽出工程により抽出された特徴量と、前記生成工程により生成された前記識別器とに基づいて、前記対象物の外観の良否を判定する判定工程と、を有することを特徴とする良否判定方法。
14. 請求項１〜１０の何れか１項に記載の識別器生成装置の各手段としてコンピュータを機能させることを特徴とするプログラム。