JP7718429B2 - 指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラム - Google Patents

Description

本発明は、指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラムに関する。

生産ラインにおける生産対象物（ワーク）を撮影した入力画像を用いてワークの良／不良を判定する画像処理機能を備えた検査装置が知られている。このような検査装置では、画像処理アルゴリズムを利用して、入力画像の特徴量を抽出し、良品／不良品を分離する閾値に基づいて、ワークの良／不良を判定する。

これに関連して、下記特許文献１には、検査精度を向上させるため、ワークの良／不良の判定方法を規定するルールや閾値（検査ロジック）を生産環境の変動に応じて動的に設定することが開示されている。

特開２００７－３２７８４８号公報

しかし、特許文献１の技術では、入力画像に対して画像処理を直接実施することにより特徴を抽出し、抽出された特徴に基づいてワークの良／不良を判定している。このため、ワークに欠陥があり、この欠陥の特徴が、良品のワークが元々備えている構造的な特徴と類似している場合には、抽出された特徴が欠陥であるのか、あるいは構造的な特徴であるのかを区別できず、欠陥検出の精度が低いという問題がある。

本発明は、このような問題を解決するためになされたものであり、欠陥検出の精度を向上させた指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラムを提供することを目的とする。

本発明の上記課題は、以下の手段によって解決される。

（１）複数の良品の入力データを用いて学習した生成モデルにより、前記入力データに基づいて、前記入力データに対応する再構成データを生成するデータ再構成部と、良品および不良品の複数の入力データと、複数の前記再構成データと、に基づいて、複数の指標による良品および不良品の異常スコアを算出するスコア算出部と、前記良品および不良品の異常スコアに応じて、前記複数の指標のうちのいずれか１つを選択する指標選択部と、を有する、指標選択装置。

（２）前記異常スコアは、良品および不良品の各々について、前記入力データを用いて前記指標を算出した結果と、前記参照データを用いて前記指標を算出した結果との差分である、上記（１）に記載の指標選択装置。

（３）前記指標選択部は、前記複数の入力データおよび前記参照データに対する、前記良品の異常スコアの分布と前記不良品の異常スコアの分布との差異が最も大きくなる指標を選択する、上記（１）または（２）に記載の指標選択装置。

（４）前記指標選択部は、良品および不良品の複数の入力データの特徴量を説明変数とし、前記良品の異常スコアの分布と前記不良品の異常スコアの分布の差異を目的変数として、前記差異が最も大きくなるように学習された学習済みモデルを使用して、前記複数の指標のうちのいずれか１つを選択する、上記（１）～（３）のいずれか１つに記載の指標選択装置。

（５）前記入力データは、カラーの画像データであり、前記スコア算出部は、前記指標として色相、および／または彩度による異常スコアを算出する、上記（１）～（４）のいずれか１つに記載の指標選択装置。

（６）入力データを取得する入力データ取得部と、前記入力データ取得部によって取得された入力データと、前記入力データに対応する参照データと、上記（１）～（５）のいずれか１項に記載の指標選択装置によって選択された指標と、に基づいて異常スコアを算出するスコア算出部を有する、情報処理装置。

（７）上記（６）に記載の情報処理装置の出力した異常スコアに基づいて、良品または不良品の判定を行う判定部を有する検査装置。

（８）上記（６）に記載の情報処理装置と、前記スコア算出部による異常スコアを表示する表示装置と、を有する情報処理システム。

（９）上記（７）に記載の検査装置と、前記判定部による判定結果を表示する表示装置と、を有する検査システム。

（１０）複数の良品の入力データを用いて学習した生成モデルにより、前記入力データに基づいて、前記入力データに対応する再構成データを生成するステップ（ａ）と、良品および不良品の複数の入力データと、複数の前記再構成データと、に基づいて複数の指標による良品および不良品の異常スコアを算出するステップ（ｂ）と、前記良品および不良品の異常スコアに応じて、前記複数の指標のうちのいずれか１つを選択するステップ（ｃ）と、を有する、指標選択方法。

（１１）前記異常スコアは、良品および不良品の各々について、前記入力データを用いて前記指標を算出した結果と、前記参照データを用いて前記指標を算出した結果との差分である、上記（１０）に記載の指標選択方法。

（１２）前記ステップ（ｃ）において、複数の前記入力データおよび前記参照データに対する、前記良品の異常スコアの分布と前記不良品の異常スコアの分布との差異が最も大きくなる指標を選択する、上記（１０）または（１１）に記載の指標選択方法。

（１３）前記ステップ（ｃ）において、良品および不良品の複数の入力データの特徴量を説明変数とし、前記良品の異常スコアの分布と前記不良品の異常スコアの分布との差異を目的変数として、前記差異が最も大きくなるように学習された学習済みモデルを使用して、前記複数の指標のうちのいずれか１つを選択する、上記（１０）～（１２）のいずれか１つに記載の指標選択方法。

（１４）前記入力データは、カラーの画像データであり、前記ステップ（ｂ）において、前記指標として色相、および／または彩度による異常スコアを算出する、上記（１０）～（１３）のいずれか１つに記載の指標選択方法。

（１５）上記（１０）～（１４）のいずれか１つに記載の指標選択方法が含む処理をコンピューターに実行させるための指標選択プログラム。

本発明の指標選択装置によれば、良品および不良品の異常スコアに応じて、複数の指標のうちのいずれか１つを選択するので、良品／不良品の分離に有効な指標が得られる。これにより、情報処理装置は、指標選択装置によって選択された指標を用いて異常スコアを算出するので、ユーザーは、ディスプレイに表示された異常スコアマップから検査対象の異常の位置や領域を確認できる。さらに、検査装置は、情報処理装置によって算出された異常スコアに基づいて、検査対象の良品／不良品の判定精度を向上させることができる。

一実施形態に係る情報処理装置のハードウェア構成を例示する概略ブロック図である。 情報処理装置が指標選択装置として機能する場合における制御部の主要な機能を例示する機能ブロック図である。 図２に示す制御部の機能を例示する概略ブロック図である。 図２に示すスコア算出部による異常スコアの算出を説明するための模式図である。 指標パラメーター１～Ｎによる異常スコア１～Ｎの算出結果を例示する模式図である。 情報処理装置が情報処理装置として機能する場合における制御部の主要な機能を例示する機能ブロック図である。 図６に示す制御部の機能を例示する概略ブロック図である。 図７に示すスコア算出部の機能を例示する機能ブロック図である。 情報処理装置が検査装置として機能する場合における制御部の主要な機能を例示する機能ブロック図である。 一実施形態の指標選択方法の処理手順を例示するフローチャートである。 一実施形態の検査方法の処理手順を例示するフローチャートである。 過検出の防止について説明するための模式図である。

以下、図面を参照して、本発明の実施形態に係る指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラムについて説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。

図１は一実施形態に係る情報処理装置１００のハードウェア構成を例示する概略ブロック図であり、図２は情報処理装置１００が指標選択装置として機能する場合における制御部１１０の主要な機能を例示する機能ブロック図である。また、図３は図２に示す制御部１１０の機能を例示する概略ブロック図であり、図４は図２に示すスコア算出部２３０による異常スコアの算出を説明するための模式図である。また、図５は、指標パラメーター１～Ｎによる異常スコア１～Ｎの算出結果を例示する模式図である。

＜指標選択装置の構成＞
情報処理装置１００は、複数の入力画像と、これらの入力画像に対応する複数の参照画像とに基づいて、複数の指標パラメーター（指標）による異常スコアを算出し、異常スコアに応じて複数の指標パラメーターのうちのいずれか１つを選択する指標選択装置として機能する。入力画像は、良品（正常な検査対象）または不良品（欠陥等の異常を含む検査対象）のラベルが付けられており、指標パラメーターを学習（深層学習または機械学習）することにより、良品と不良品とを分離するのに有効な指標パラメーターが選択される。指標パラメーターは、例えば、入力画像および再構成画像の色の属性である色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、濃度、オブジェクトの形状、大きさ等を各々単独、あるいはそれらを組み合わせとして設定されうる。異常スコアの算出方法の詳細については後述する。

また、検査対象は、特に限定されるものではないが、例えば、工業製品に使用される部品等が挙げられる。検査には、折れ、曲げ、欠け、傷、および汚れ等の異常の検出が含まれる。また、情報処理装置１００は、良品の入力画像（以下、「正常入力画像」ともいう）を複数枚取得し、これらの画像を正解画像として学習し、入力画像から再構成画像を生成する深層学習モデル（生成モデル）を生成する。参照画像は、入力画像の再構成画像でありうる。

図１に示すように、情報処理装置１００は、制御部１１０、通信部１２０、および操作表示部１３０を有する。これらの構成要素は、バス１０１を介して互いに接続される。情報処理装置１００は、例えば、パーソナルコンピューター、サーバー等のコンピューターでありうる。

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１３、および補助記憶部１１４を有する。

ＣＰＵ１１１は、ＲＡＭ１１２に展開されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、指標選択プログラム、検査プログラム等のプログラムを実行し、情報処理装置１００の動作制御を行う。指標選択プログラムおよび検査プログラムは、ＲＯＭ１１３または補助記憶部１１４に予め保存されている。また、ＲＡＭ１１２は、ＣＰＵ１１１の処理によって一時的に生じたデータ等を格納する。ＲＯＭ１１３は、ＣＰＵ１１１によって実行されるプログラムや、プログラムの実行に使用されるデータ、パラメーター等を記憶する。補助記憶部１１４は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を有する。

図２に示すように、制御部１１０は、ＣＰＵ１１１が指標選択プログラムを実行することにより、画像取得部２１０、画像再構成部２２０、スコア算出部２３０、および指標選択部２４０として機能する。画像取得部２１０は、入力データ取得部として機能し、通信部１２０と協働することにより、入力画像（入力データ）を取得する。

画像再構成部２２０は、データ再構成部として機能し、同じ検査対象に関する複数の良品の入力画像を用いて学習した生成モデルにより、画像取得部２１０で取得した入力画像に基づいて、参照データとしての再構成画像（再構成データ）を生成する。より具体には、画像再構成部２２０は、学習済みの第１のニューラルネットワークによって、入力画像から特徴量を抽出し、抽出された特徴量に基づいて、入力画像を再構成（復元）して再構成画像を生成する。

第１のニューラルネットワークは、多層の畳み込みニューラルネットワークを有し、学習時において、再構成画像と入力画像との差が無くなる、または限りなく小さくなるように、教師あり学習によって予め学習されている。

第１のニューラルネットワークは、例えば、エンコーダー・デコーダー構造を有する生成モデルとして機能する。本実施形態では、生成モデルとして、例えば、オートエンコーダー（ＡＥ：ＡｕｔｏＥｎｃｏｄｅｒ）、または変分オートエンコーダー（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ ＡｕｔｏＥｎｃｏｄｅｒ）が好適に使用されうる。ＡＥおよびＶＡＥに関しては公知の技術であるので、詳細な説明を省略する。

図３に示すように、画像再構成部２２０は、生成モデルとして、例えば、エンコーダー２２１およびデコーダー２２２を含むＶＡＥを有する。ＶＡＥは、入力画像の特徴を抽出することにより、入力画像が有する本質的な要素のみを抜き出し、抽出された特徴量を用いて再構成することにより、入力画像における本質的ではない要素が除外された再構成画像を生成して出力する。すなわち、ＶＡＥは、正常入力画像のみで学習するため、正常入力画像に対して、対応する特徴量が生成可能なように構成されており、不良品、すなわち欠陥や傷等の異常を含む検査対象の入力画像（以下、「異常入力画像」ともいう）に対しては、異常に対応する特徴量を生成できず、再現性を有しない。

図３に示す例では、入力画像は、検査対象としての部材Ｍ１の画像を含んでいる。部材Ｍ１は、線状のテクスチャーＴ１を元々備えている。また、部材Ｍ１は、不良品である場合、例えば、製造工程の途中で発生した傷Ｓ１を含む。入力画像の再構成処理が実行されると、部材Ｍ１の画像が再構成された再構成画像が出力される。再構成画像は、入力画像の部材Ｍ１の画像から本質的な要素のみが残され、不要な要素が除去された画像となる。テクスチャーＴ１は、部材Ｍ１が元々備えているもの（本質的な要素）なので再構成される。一方で、傷Ｓ１は、異常な（本質的な要素ではない）ので再構成されない。

このように、画像再構成部２２０は、入力画像における本質的ではない要素が除外された再構成画像を生成して出力するので、良品よりも不良品の場合に入力画像と再構成画像との差異が大きくなる。

また、入力画像の再構成画像を参照画像として使用する場合について例示して説明したが、同じ検査対象に関する所定の画像を再構成画像の代わりに参照画像として使用することもできる。所定の画像は、例えば、入力画像に使用されない、同じ検査対象に関する典型的な良品の画像でありうる。ただし、入力画像と所定の画像との間において位置ずれや、大きさ（倍率）に違いがある場合は、位置ずれや大きさに対する補正処理を行うことが必要である。これに対して、再構成画像を参照画像として使用する場合は、上記補正処理の必要はない。

スコア算出部２３０は、良品および不良品の複数の入力画像と、入力画像に対応する複数の再構成画像と、に基づいて、複数の指標パラメーターによる異常スコアを算出する。図４に示すように、スコア算出部２３０は、例えば、良品または不良品のラベルが付けられた複数の入力画像と、これらの入力画像に対応する複数の再構成画像と、に基づいて、指標パラメーター１～Ｎによる、良品および不良品の異常スコア１～Ｎを算出する。異常スコアは、良品および不良品の各々について、入力画像を用いて指標パラメーターの値を算出した結果と、再構成画像を用いて指標パラメーターの値を算出した結果との差分でありうる。
上述のように、本実施形態では、色相、彩度を指標パラメーターとして使用しうる。これにより、例えば、検出対象が、輝度値のみでは検出することが困難な微細な色の変化を含む欠陥を有する場合であっても、欠陥領域を検出できる。

図５には、正規化された異常スコア、および指標パラメーターの選択に利用されたサンプル（入力画像）の数を各々横軸および縦軸にとった直交座標における、良品および不良品についての異常スコアの値の分布が例示されている。指標パラメーター１～Ｎによる異常スコアは、各々異常スコア１～Ｎに対応する。良品のサンプルは、正規化された異常スコアが比較的小さい領域に多く分布し、不良品のサンプルは、正規化された異常スコアが比較的大きい領域に多く分布している。異常スコア１～Ｎのデータは、補助記憶部１１４に保存される。

指標選択部２４０は、良品および不良品の異常スコア１～Ｎに応じて、指標パラメーター１～Ｎのうちのいずれか１つを選択する。図５に示す例では、異常スコア１、２では、良品の異常スコア（同図の斜線の部分）と不良品の異常スコア（同図のグレーの部分）とが重なっており、両者を分離しにくい。一方、異常スコアＮでは、良品の異常スコアと不良品の異常スコアとの重なりが少ないので、両者を分離しやすい。したがって、指標選択部２４０は、良品の異常スコアの分布と不良品の異常スコアの分布との差異が最も大きくなる指標パラメーターＮを選択する。本実施形態では、指標パラメーターの選択は、深層学習を行うことによって選択される。

より具体的には、指標選択部２４０は、例えば、多層の畳み込みニューラルネットワーク（第２のニューラルネットワーク）を有し、同じ検査対象に関する良品および不良品の複数の入力画像について指標パラメーターを深層学習（または機械学習）する。同じ検査対象の入力画像が複数入力されることにより、入力画像および参照画像のペア毎に異常スコアが蓄積され、指標パラメーターの学習が深まる。

本実施形態では、指標選択部２４０は、良品および不良品の複数の入力画像の特徴量を説明変数とし、良品の異常スコアの分布と不良品の異常スコアの分布との差異（すなわち良品の異常スコアの統計量と不良品の異常スコアの統計量との間の距離）を目的変数として、上記差異（距離）が最も大きくなるように第２のニューラルネットワークを学習し、学習済みモデルを生成する。統計量は、例えばヒストグラム等でありうる。

また、良品の誤検知率が小さくなるように指標パラメーターを学習するように構成してもよい。

また、指標パラメーターを深層学習する場合を例示して説明したが、このような場合に限定されず、深層学習する場合と同様に説明変数および目的変数を設定した上で回帰分析を行い、上記差異（距離）が最も大きくなるように指標パラメーターを選択してもよい。

そして、指標選択部２４０は、１つの検査対象について、学習済みモデルを使用して、複数の指標パラメーターのうちのいずれか１つ（図５の例では指標パラメーターＮ）を選択する。

通信部１２０は、ネットワークを介して、外部の装置と通信するためのインターフェース回路（例えばＬＡＮカード等）である。

操作表示部１３０は、入力部および出力部を有する。入力部は、例えば、キーボード、マウス等を備え、キーボード、マウス等による文字入力、各種設定等の各種指示（入力）をユーザーが行うために利用される。また、出力部は、ディスプレイ（表示装置）を備え、入力画像等を表示する。

また、図示を省略しているが、検査対象は、例えば、カメラ等の撮像装置によって撮影される。撮像装置は、撮影された検査対象の画像データを情報処理装置１００に送信する。情報処理装置１００は、画像データを入力画像として取得する。また、撮像装置によって予め撮影された検査対象の画像は、情報処理装置１００の外部にある記憶装置に保存され、情報処理装置１００は、記憶装置に保存されている所定枚数の検査対象の画像を入力画像として順次取得するように構成することもできる。

撮像装置は、例えば、検査対象が工業製品の部品である場合、検査工程に設置され、検査対象を包含する撮影範囲を撮影し、検査対象が含まれる画像のデータを出力する。撮像装置は、例えば、所定ピクセル（例えば、１２８ピクセル×１２８ピクセル）の検査対象の白黒画像またはカラー画像のデータを出力する。

＜情報処理装置、情報処理システムの構成＞
図６は情報処理装置１００が情報処理装置として機能する場合における制御部１１０の主要な機能を例示する機能ブロック図である。また、図７は図６に示す制御部１１０の機能を例示する概略ブロック図であり、図８は図７に示すスコア算出部３３０の機能を例示する機能ブロック図である。

図６に示すように、制御部１１０は、ＣＰＵ１１１が検査プログラムを実行することにより、画像取得部３１０、画像再構成部３２０、およびスコア算出部３３０として機能する。

画像取得部３１０は、入力データ取得部として機能し、通信部１２０と協働することにより、入力画像（入力データ）を取得する。

図７に示すように、画像再構成部３２０は、データ再構成部として機能し、複数の良品の入力画像を用いて学習した生成モデルにより、画像取得部３１０で取得した入力画像に基づいて、参照データとしての再構成画像（再構成データ）を生成する。より具体には、画像再構成部３２０は、学習済みの第１のニューラルネットワークによって、入力画像から特徴量を抽出し、抽出された特徴量に基づいて、入力画像を再構成（復元）して再構成画像を生成する。

なお、後述するように、判定部３４０において良品／不良品の判定を行うが、入力画像がノイズを含んでいる場合、ノイズに起因して異常スコアが適切に算出されない可能性がある。これに対処するため、入力画像および再構成画像に対して予めフィルター処理を施すように構成することもできる。フィルターは、ノイズ除去フィルター（例えば、ローパスフィルター、ハイパスフィルター、またはバンドパスフィルター）でありうる。このように構成することにより、異常スコアに対するノイズによる影響が緩和され、良品／不良品の判定性能（分離性能）がノイズに起因して低下することを防止または抑制できる。

スコア算出部３３０は、画像取得部３１０によって取得された入力画像と、画像再構成部３２０によって再構成された再構成画像との間において異常スコアを算出する。図８に示すように、スコア算出部３３０は、演算処理部３３１を有する。演算処理部３３１は、指標パラメーター１～Ｎのうちの少なくともいずれかの異常スコアを使用して、スコア算出部３３０の出力としての異常スコアを算出する。

スコア算出部３３０は、指標パラメーター１～Ｎのうち、演算処理部３３１によって使用される指標パラメーターの値を算出し、指標パラメーターの値に基づいて異常スコアを算出する。例えば、スコア算出部３３０は、指標パラメーター１（同図では輝度）の異常スコアのみが使用されるように設定された場合、入力画像および再構成画像について指標パラメーター１の値と、その異常スコアとを算出する。この場合、演算処理部３３１は、指標パラメーター１の異常スコアのみに基づいて、スコア算出部３３０の出力としての異常スコアを算出する。指標パラメーター１の異常スコアは、例えば、入力画像の輝度値と再構成画像の輝度値との差分でありうる。

また、指標パラメーター２～Ｎのうちいずれかが単独で使用される場合についても同様である。指標パラメーター２の異常スコアは、例えば、入力画像を用いて指標パラメーター２を算出した結果と、再構成画像を用いて指標パラメーター２を算出した結果との差分でありうる。また、他の指標パラメーターの異常スコアの算出方法も同様である。

演算処理部３３１は、指標選択装置によって選択されＲＡＭ２１２に記憶されている指標パラメーターに基づいて、各々の指標パラメーター１～Ｎの異常スコアについて使用／不使用を設定しうる。

また、例えば、指標パラメーター１の異常スコアに加えて、指標パラメーター２（同図では色相）の異常スコアが使用されるように設定された場合、演算処理部３３１は、指標パラメーター１の異常スコア、および指標パラメーター２の異常スコアの両方の指標の異常スコアに基づいて、スコア算出部３３０の出力としての異常スコアを算出する。例えば、スコア算出部３３０の異常スコアは、指標パラメーター１の異常スコアと、指標パラメーター２の異常スコアとに、各々所定係数で重み付けし、足し合わせることによって算出されうる。

操作表示部１３０は、スコア算出部３３０によって算出された異常スコア（異常スコアマップ）をディスプレイに表示する。これにより、ユーザーは、ディスプレイに表示された異常スコアマップから検査対象の異常の位置や領域を確認できる。制御部１１０および操作表示部１３０は、情報処理システムを構成する。

＜検査装置、検査システムの構成＞
図９は、情報処理装置が検査装置として機能する場合における制御部の主要な機能を例示する機能ブロック図である。制御部１１０は、画像取得部３１０、画像再構成部３２０、およびスコア算出部３３０に加えて、判定部３４０を有する。

判定部３４０は、スコア算出部３３０によって算出された異常スコアに基づいて、検査対象が良品であるか、あるいは不良品であるかを判定する。例えば、判定部３４０は、スコア算出部３３０において指標パラメーター１の異常スコアのみが使用されるように設定された場合、輝度の異常スコア（異常スコアマップ）の最大値が、予め設定された所定の第１閾値以下である場合、検査対象が良品であると判定し、第１閾値を超える場合、検査対象が不良品であると判定しうる。したがって、異常スコアマップにおいて、第１閾値を超える領域は、検査対象における傷等の欠陥領域であると推定される。第１閾値は、例えば、良品および不良品を含む複数の検査対象の画像について算出した異常スコアマップに基づいて、ユーザーによって実験的に決定されうる。

また、判定部３４０は、輝度の異常スコアのみを使用して良品／不良品を判定できるが、例えば、輝度の異常スコアのみで欠陥領域の検出が困難である場合は、指標パラメーター１の輝度の異常スコアと、指標パラメーター２の色相の異常スコアに基づいて算出された異常スコアを使用して良品／不良品を判定できる。あるいは、判定部３４０は、指標パラメーター２の異常スコアのみを使用して良品／不良品を判定することもできる。

判定部３４０は、指標選択装置のスコア算出部２３０で算出された良品および不良品の異常スコアの分布に基づいて、指標パラメーター毎に良品と不良品とを分離するための第２閾値を予め設定する。判定部３４０は、スコア算出部３３０によって算出された指標パラメーターによる異常スコア（異常スコアマップ）の最大値が、第２閾値以下である場合、検査対象は良品であると判定し、第２閾値を超えている場合、検査対象は不良品であると判定しうる。したがって、異常スコアマップにおいて、第２閾値を超える領域は、検査対象における傷等の欠陥領域であると推定される。また、スコア算出部３３０が出力する異常スコアが複数の指標パラメーターの異常スコアに基づいて算出されている場合、第２閾値は、例えば、良品および不良品を含む複数の検査対象の画像について算出した異常スコアに基づいて、ユーザーによって実験的に決定されうる。判定結果は、ＲＡＭ１１２に保存される。また、操作表示部１３０のディスプレイに判定結果が表示されうる。情報処理装置１００は、検査システムを構成する。

＜指標選択方法＞
図１０は、本実施形態の指標選択方法の処理手順を例示するフローチャートである。図１０のフローチャートの処理は、ＣＰＵ１１１が指標選択プログラムを実行することにより実現される。

まず、入力画像を取得する（ステップＳ１０１）。画像取得部２１０は、例えば、情報処理装置１００の外部の撮像装置または記憶装置から、検査対象の複数の入力画像を取得する。これらの入力画像には、予め良品または不良品のラベルが付されている。画像取得部２１０は、画像再構成部２２０、およびスコア算出部２３０に複数の入力画像を送信する。

次に、再構成画像を生成する（ステップＳ１０２）。画像再構成部２２０は、画像取得部２１０で取得した複数の入力画像に基づいて、生成モデルにより、複数の入力画像に対応する複数の再構成画像を生成する。

次に、良品および不良品の異常スコアを算出する（ステップＳ１０３）。スコア算出部２３０は、良品および不良品の複数の入力画像と、入力画像に対応する複数の再構成画像と、に基づいて、指標パラメーター１～Ｎによる異常スコア１～Ｎを算出する。

次に、指標パラメーターを選択する（ステップＳ１０４）。指標選択部２４０は、良品および不良品の異常スコア１～Ｎに応じて、指標パラメーター１～Ｎのうちのいずれか１つを選択する。より具体的には、指標選択部２４０は、例えば、良品および不良品の複数の入力画像について指標パラメーターを学習し、指標パラメーター１～Ｎから、良品の異常スコアの分布と不良品の異常スコアの分布との差異が最も大きくなる指標パラメーターを選択する。

＜検査方法＞
図１１は、本実施形態の検査方法の処理手順を例示するフローチャートである。図１１のフローチャートの処理は、ＣＰＵ１１１が検査プログラムを実行することにより実現される。また、図１２は、過検出の防止について説明するための模式図である。

まず、図９に示すように、入力画像を取得する（ステップＳ２０１）。画像取得部３１０は、例えば、情報処理装置１００の外部の撮像装置または記憶装置から検査対象の入力画像を取得する。入力画像は、良品／不良品が判定されていない（未知の）検査対象の画像である。画像取得部３１０は、画像再構成部３２０、およびスコア算出部３３０に入力画像を送信する。

次に、再構成画像を生成する（ステップＳ２０２）。画像再構成部３２０は、画像取得部３１０により取得した入力画像に基づいて、生成モデルにより、入力画像に対応する再構成画像を生成する。

次に、異常スコアを算出する（ステップＳ２０３）。スコア算出部３３０は、入力画像と、入力画像に対応する再構成画像と、に基づいて、輝度の異常スコアを算出する。また、スコア算出部３３０は、入力画像と、入力画像に対応する再構成画像と、上記指標選択方法のステップＳ１０４において選択された指標パラメーターと、に基づいて、指標パラメーターによる異常スコアを算出する。指標パラメーターは、検査対象毎に選択されている。

次に、検査対象の良／不良を判定する（ステップＳ２０４）。判定部３４０は、スコア算出部３３０によって算出された輝度の異常スコアと、指標パラメーターによる異常スコアとに基づいて、検査対象が良品であるか、あるいは不良品であるかを判定する。図７に示す例では、指標パラメーターによる異常スコアマップにおいて、傷Ｓ１に対応する領域が第２閾値を超えているので、検査対象は不良品であると判定される。

また、本実施形態では、入力画像の輝度値と、再構成画像の輝度値との差分に対して、欠陥検出を行うことができる。図１０に示すように、例えば、入力画像ＩＭ１が、良品が元々備えている線状の特徴Ｃに加えて、製造工程において付加された線状の欠陥Ｆを含んでいる場合について想定する。入力画像ＩＭ１に対応する再構成画像ＩＭ２においては、入力画像ＩＭ１の特徴Ｃについては再構成されているが、欠陥Ｆについては再構成されていない。したがって、入力画像ＩＭ１の輝度値から再構成画像ＩＭ２の輝度値を差し引くことにより、差分画像ＩＭ３が生成され、差分画像ＩＭ３には欠陥Ｆが残される。

差分画像ＩＭ３には、良品の特徴Ｃが含まれていないので、例えば、線状欠陥検知アルゴリズム等により、線状の欠陥Ｆを検知できる。これに対して、入力画像ＩＭ１に対して画像処理を直接実施する従来技術では、線状欠陥検知アルゴリズムを使用しても、入力画像ＩＭ１には良品の特徴Ｃおよび線状の欠陥Ｆが含まれているため、欠陥Ｆだけではなく、特徴Ｃについても欠陥として検出するおそれがある。

このように、本実施形態では、欠陥検出を行う際に、入力画像の輝度値と再構成画像の輝度値との差分に対して、検出アルゴリズムを使用できる。したがって、良品の特徴と欠陥の特徴とが一致、または類似している場合であっても、従来技術と比較して、良品の過検出をより効果的に防止または抑制できる。

以上で説明した本実施形態の指標選択装置、情報処理装置、および検査装置によれば、下記の効果を奏することができる。

指標選択装置は、良品および不良品の異常スコアに応じて、複数の指標のうちのいずれか１つを選択するので、良品／不良品の分離に有効な指標が得られる。これにより、情報処理装置は、指標選択装置によって選択された指標を用いて異常スコアを算出するので、ユーザーは、ディスプレイに表示された異常スコアマップから検査対象の異常の位置や領域を確認できる。さらに、検査装置は、情報処理装置によって算出された異常スコアに基づいて、検査対象の良品／不良品の判定精度を向上させることができる。また、様々な検査対象や欠陥種に対して、ロバスト性、および欠陥検出の精度を向上させることができる。

上述した指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラムは、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な検査装置等が備える構成を排除するものではない。

例えば、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。

また、上述した実施形態では、情報処理装置１００が指標選択装置、情報処理装置、および検査装置を兼ねる場合について説明したが、このような場合に限定されず、指標選択装置、情報処理装置、および検査装置を別々のハードウェア上で実現してもよい。

また、上述した装置における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能として指標選択装置、情報処理装置等の装置のソフトウエアに組み込まれてもよい。

本出願は、２０２０年１２月１６日に出願された日本国特許出願番号２０２０－２０８４７６号に基づいており、その開示内容は、参照により全体として組み入れられている。

１００ 情報処理装置、
１１０ 制御部、
１１１ ＣＰＵ、
１１２ ＲＡＭ、
１１３ ＲＯＭ、
１１４ 補助記憶部、
１２０ 通信部、
１３０ 操作表示部、
２１０ 画像取得部、
２２０ 画像再構成部、
２２１ エンコーダー、
２２２ デコーダー、
２３０ スコア算出部、
２４０ 指標選択部、
３１０ 画像取得部、
３２０ 画像再構成部、
３２１ エンコーダー、
３２２ デコーダー、
３３０ スコア算出部、
３３１ 演算処理部、
３４０ 判定部。

Claims (15)

1. 複数の良品の入力データを用いて学習した生成モデルにより、前記入力データに基づいて、前記入力データに対応する再構成データを生成するデータ再構成部と、
   良品および不良品の複数の入力データと、複数の前記再構成データと、に基づいて、複数の指標による良品および不良品の異常スコアを算出するスコア算出部と、
   前記良品および不良品の異常スコアに応じて、前記複数の指標のうちのいずれか１つを選択する指標選択部と、を有する、指標選択装置。
2. 前記異常スコアは、良品および不良品の各々について、前記入力データを用いて前記指標を算出した結果と、前記再構成データを用いて前記指標を算出した結果との差分である、請求項１に記載の指標選択装置。
3. 前記指標選択部は、前記複数の入力データおよび前記複数の再構成データに対する、前記良品の異常スコアの分布と前記不良品の異常スコアの分布との差異が最も大きくなる指標を選択する、請求項１または２に記載の指標選択装置。
4. 前記指標選択部は、
   良品および不良品の複数の入力データの特徴量を説明変数とし、前記良品の異常スコアの分布と前記不良品の異常スコアの分布との差異を目的変数として、前記差異が最も大きくなるように学習された学習済みモデルを使用して、前記複数の指標のうちのいずれか１つを選択する、請求項１～３のいずれか１項に記載の指標選択装置。
5. 前記入力データは、カラーの画像データであり、
   前記スコア算出部は、前記指標として色相、および／または彩度による異常スコアを算出する、請求項１～４のいずれか１項に記載の指標選択装置。
6. 入力データを取得する入力データ取得部と、
   前記入力データ取得部によって取得された入力データと、前記入力データに対応する再構成データと、請求項１～５のいずれか１項に記載の指標選択装置によって選択された指標と、に基づいて異常スコアを算出するスコア算出部を有する、情報処理装置。
7. 請求項６に記載の情報処理装置の出力した異常スコアに基づいて、良品または不良品の判定を行う判定部を有する検査装置。
8. 請求項６に記載の情報処理装置と、
   前記スコア算出部による異常スコアを表示する表示装置と、を有する情報処理システム。
9. 請求項７に記載の検査装置と、
   前記判定部による判定結果を表示する表示装置と、を有する検査システム。
10. 複数の良品の入力データを用いて学習した生成モデルにより、前記入力データに基づいて、前記入力データに対応する再構成データを生成するステップ（ａ）と、
    良品および不良品の複数の入力データと、複数の前記再構成データと、に基づいて複数の指標による良品および不良品の異常スコアを算出するステップ（ｂ）と、
    前記良品および不良品の異常スコアに応じて、前記複数の指標のうちのいずれか１つを選択するステップ（ｃ）と、を有する、指標選択方法。
11. 前記異常スコアは、良品および不良品の各々について、前記入力データを用いて前記指標を算出した結果と、前記再構成データを用いて前記指標を算出した結果との差分である、請求項１０に記載の指標選択方法。
12. 前記ステップ（ｃ）において、前記複数の入力データおよび前記複数の再構成データに対する、前記良品の異常スコアの分布と前記不良品の異常スコアの分布との差異が最も大きくなる指標を選択する、請求項１０または１１に記載の指標選択方法。
13. 前記ステップ（ｃ）において、良品および不良品の複数の入力データの特徴量を説明変数とし、前記良品の異常スコアの分布と前記不良品の異常スコアの分布との差異を目的変数として、前記差異が最も大きくなるように学習された学習済みモデルを使用して、前記複数の指標のうちのいずれか１つを選択する、請求項１０～１２のいずれか１項に記載の指標選択方法。
14. 前記入力データは、カラーの画像データであり、
    前記ステップ（ｂ）において、前記指標として色相、および／または彩度による異常スコアを算出する、請求項１０～１３のいずれか１項に記載の指標選択方法。
15. 請求項１０～１４のいずれか１項に記載の指標選択方法が含む処理をコンピューターに実行させるための指標選択プログラム。