CN116804637A - 检查系统、教师数据生成装置、教师数据生成方法及存储介质 - Google Patents

Abstract

检查系统(1)包括：检查部(20)，以不使用机器学习的方式检查对对象物进行拍摄而得到的图像来检测缺陷；分类部(52)，具有预先生成的已学习模型，通过将表示缺陷的图像输入到已学习模型，对缺陷的缺陷类别进行分类；以及分类要否确定部(53)，基于在检测缺陷时由检查部(20)取得或利用的缺陷关联信息，来确定是否需要由检查部(20)检测出的缺陷在分类部(52)中分类。由此，能够实现避免已学习模型中的严重的误分类以及缩短分类处理所需的时间。

Description

检查系统、教师数据生成装置、教师数据生成方法及存储介质

技术领域

本发明涉及检查对象物的技术。

背景技术

以往，使用对印刷电路板等对象物进行拍摄来检测缺陷的检查系统。在日本特开2021-177154号公报的检查系统中，设置有：一次检查部，基于对对象物进行拍摄而得到的图像，以不使用机器学习的方式进行不良判定；和二次检查部，基于由一次检查部判定为不良的对象物的图像，使用机器学习模型，将真正的不良品和过度判定品分开。由此，能够抑制因发生过度判定品而引起的生产率的降低。

如上所述，在将已学习模型(机器学习模型)用于真缺陷或假缺陷的分类时，需要事先使用多个教师数据进行学习，生成该已学习模型。在这种情况下，操作者通过对预先准备的缺陷图像判定真缺陷或假缺陷(即，通过标注)，生成在该缺陷图像上标记了真缺陷或假缺陷的教师数据。

但是，由于印刷电路板上的缺陷根据其位置、状态等对印刷电路板的动作、性能等有很大的影响，所以有时基于已学习模型的分类错误(在此为将真缺陷作为假缺陷的误分类)是不可接受的。为了避免已学习模型中的严重误分类，考虑使用多个教师数据进行学习，但在这种情况下，操作者的标记作业需要很长时间，并且学习所需的时间也变长。另外，完全避免已学习模型中的误分类是不可能的。进而，在将检测出的全部缺陷输入到已学习模型的情况下，分类处理所需的时间变长。

发明内容

本发明面向检查系统，其目的在于实现避免已学习模型中的严重的误分类以及缩短分类处理所需的时间，并缩短在教师数据的生成中进行标记作业以及学习所需的时间。

本发明的检查系统包括：检查部，以不使用机器学习的方式检查对对象物进行拍摄而得到的图像来检测缺陷；分类部，具有预先生成的已学习模型，通过将表示缺陷的图像输入到所述已学习模型，对所述缺陷的缺陷类别进行分类；以及分类要否确定部，基于在检测所述缺陷时由所述检查部取得或利用的缺陷关联信息，来确定是否需要由所述检查部检测出的缺陷在所述分类部中分类。

根据本发明，能够实现避免已学习模型中的严重的误分类并缩短分类处理所需的时间。

优选地，所述分类部将由所述检查部检测出的缺陷分类为真缺陷或假缺陷，所述检查部在检测缺陷时取得所述缺陷的缺陷类别，在所述缺陷关联信息中包含所述缺陷类别，所述分类要否确定部将作为特定的缺陷类别的缺陷确定为不需要在所述分类部中分类。

优选是，所述检查部具备：第一检查处理部，通过第一检查处理检测缺陷，取得包含所述缺陷的缺陷图像；以及第二检查处理部，通过与所述第一检查处理不同第二检查处理检测缺陷，取得包含所述缺陷的缺陷图像。所述第一检查处理部能够取得比所述第二检查处理部更详细的缺陷图像中的缺陷的位置信息，在所述缺陷关联信息中包含由所述第一检查处理部取得的所述位置信息，所述分类要否确定部将由所述第一检查处理部检测出缺陷确定为需要在所述分类部中分类，并且将由所述第二检查处理部检测出的缺陷确定为不需要在所述分类部中分类，所述分类部将基于缺陷的位置信息而从缺陷图像中剪切出所述缺陷的区域而得到的图像输入到所述已学习模型。

优选地，对所述对象物的各位置设定多个检查灵敏度中的一个检查灵敏度，表示所述检查部在检测缺陷时利用的检查灵敏度的信息包含在所述缺陷关联信息中，所述分类要否确定部将以特定的检查灵敏度检测出的缺陷确定为不需要在所述分类部中分类。

本发明还面向生成教师数据的教师数据生成装置。本发明的教师数据生成装置包括：图像接受部，从以不使用机器学习的方式检查对对象物进行拍摄而得到的图像的检查部，接受包含缺陷的缺陷图像和在检测所述缺陷时取得或利用的缺陷关联信息；图像要否确定部，基于所述缺陷关联信息来确定是否将所述缺陷图像用于教师数据；显示控制部，在显示器上显示用于教师数的据缺陷图像；判定结果接受部，接受操作者对显示在所述显示器上的所述缺陷图像的缺陷类别的判定结果的输入；以及教师数据生成部，对所述缺陷图像标注所述判定结果来生成教师数据。根据本发明，能够缩短在教师数据的生成中标记作业及学习所需的时间。

优选地，所述判定结果接受部接受由操作者进行真缺陷或假缺陷的判定结果的输入，在所述检查部中检测缺陷时取得的所述缺陷的缺陷类别包含在所述缺陷关联信息中，所述图像要否确定部确定为不将包含作为特定的缺陷类别的缺陷的缺陷图像用于教师数据。

优选地，所述检查部具备：第一检查处理部，通过第一检查处理检测缺陷，取得包含所述缺陷的缺陷图像；以及第二检查处理部，通过与所述第一检查处理不同第二检查处理检测缺陷，取得包含所述缺陷的缺陷图像。所述第一检查处理部能够取得比所述第二检查处理部更详细的缺陷图像中的缺陷的位置信息，在所述缺陷关联信息中包含由所述第一检查处理部取得的所述位置信息，所述图像要否确定部确定为将由所述第一检查处理部检测出缺陷的缺陷图像用于教师数据，并且确定为不将由所述第二检查处理部检测出的缺陷的缺陷图像用于教师数据，所述教师数据生成部生成包含基于缺陷的位置信息而从缺陷图像中剪切出所述缺陷的区域而得到的图像的教师数据。

优选地，对所述对象物的各位置设定多个检查灵敏度中的一个检查灵敏度，表示所述检查部在检测缺陷时所利用的检查灵敏度的信息包含在所述缺陷关联信息中，所述图像要否确定部确定为不将包含以特定的检查灵敏度检测出的缺陷的缺陷图像用于教师数据。

本发明还面向生成教师数据的教师数据生成方法。本发明教师数据生成方法具备：a)从以不使用机器学习的方式检查对对象物进行拍摄而得到的图像的检查部，接受包含缺陷的缺陷图像和在检测所述缺陷时取得或利用的缺陷关联信息的工序；b)基于所述缺陷关联信息来确定是否将所述缺陷图像用于教师数据的工序；c)在显示器上显示用于教师数据缺陷图像的工序；d)接受操作者对显示在所述显示器上的所述缺陷图像进行的缺陷类别的判定结果的输入的工序；以及e)对所述缺陷图像标注所述判定结果来生成教师数据的工序。

本发明还面向存储有使计算机生成教师数据的程序的存储介质。本发明程序的由计算机执行的工序，具备：a)从以不使用机器学习的方式检查对对象物进行拍摄而得到的图像的检查部接受包含缺陷的缺陷图像和在检测所述缺陷时取得或利用的缺陷关联信息的工序；b)基于所述缺陷关联信息来确定是否将所述缺陷图像用于教师数据的工序；c)在显示器上显示用于教师数据的缺陷图像的工序；d)接受操作者对显示在所述显示器上的所述缺陷图像进行的缺陷类别的判定结果的输入的工序；并且e)对所述缺陷图像标注所述判定结果来生成教师数据的工序。

通过下面参考附图对本发明的详细描述来阐明上述目的和其它目的、特征、方面和优点。

附图说明

图1是示出检查系统的结构的图。

图2是示出计算机的结构的图。

图3是示出教师数据生成装置的结构的图。

图4是用于说明第一检查处理的图。

图5是示出通过第一检查处理能够检测出的缺陷类别的图。

图6是用于说明第一检查处理的其他示例的图。

图7是示出二值的分割图像和主图像的图。

图8是用于说明第二检查处理的图。

图9是示出生成教师数据的处理流程的图。

图10是示出检查印刷电路板的处理流程的图。

图11是示出印刷电路板的图。

图12是示出印刷电路板的一部分的图。

附图标记说明

1：检查系统

3：计算机

4：教师数据生成装置

9：印刷电路板

20：检查部

21：第一检查处理部

22：第二检查处理部

35：显示器

41：图像接受部

42：图像要否确定部

43：显示控制部

44：判定结果接受部

45：教师数据生成部

52：分类部

53：分类要否确定部

69：缺陷

71：拍摄图像

521：分类器

811：程序

S11～S15、S21～S25：步骤

具体实施方式

(第一实施方式)

图1是示出本发明的第一实施方式的检查系统1的结构的图。检查系统1检查作为对象物的印刷电路板。检查系统1包括检查装置2、计算机3和缺陷确认装置11。在图1中，用虚线的矩形包围计算机3实现的功能结构。

检查装置2具有省略图示的拍摄部和移动机构。拍摄部对印刷电路板进行拍摄。移动机构使印刷电路板相对于拍摄部移动。检查装置2还具备检查部20。检查部20例如由计算机或/和电路实现。检查部20具有第一检查处理部21和第二检查处理部22。第一检查处理部21和第二检查处理部22对从拍摄部输出的拍摄图像执行相互不同的检查处理，从该拍摄图像中检测缺陷。当在第一检查处理部21或第二检查处理部22中检测出缺陷时，将包含该缺陷的区域在内的缺陷图像输出到计算机3。由检查装置2进行检查后的印刷电路板被搬入到缺陷确认装置11中。缺陷确认装置11基于从计算机3输入的信息，对印刷电路板中的缺陷区域进行拍摄并显示在显示器上，使操作者确认缺陷。

图2是示出计算机3的结构的图。计算机3具有包括CPU31、ROM32、RAM33、固定磁盘34、显示器35、输入部36、读取装置37、通信部38、GPU39和总线30的一般的计算机系统的结构。CPU31进行各种运算处理。GPU39进行与图像处理相关的各种运算处理。ROM32存储基本程序。RAM 33和固定磁盘34存储各种信息。显示器35进行图像等各种信息的显示。输入部36具有接受来自操作者的输入的键盘36a和鼠标36b。读取装置37从光盘、磁盘、磁光盘、存储卡等计算机可读取的存储介质81进行信息的读取。通信部38在与检查系统1的其他结构以及与外部装置之间收发信号。总线30是连接CPU31、GPU39、ROM32、RAM33、固定磁盘34、显示器35、输入部36、读取装置37以及通信部38的信号电路。

在计算机3中，程序811事先经由读取装置37从作为程序产品的存储介质81读出并存储在固定磁盘34中。程序811可以经由网络存储在固定磁盘34中。CPU31和GPU39按照程序811在利用RAM33和固定磁盘34的同时执行运算处理。CPU31和GPU39在计算机3中作为运算部发挥功能。除了CPU31和GPU39以外，也可以采用作为运算部发挥功能的其他结构。

在检查系统1中，计算机3按照程序811执行运算处理等，由此实现图1中用虚线包围的功能结构。即，计算机3的CPU31、GPU39、ROM32、RAM33、固定磁盘34以及它们的周边结构实现教师数据生成装置4、学习部51、分类部52、分类要否确定部53。这些功能的全部或一部分可以通过专用的电路来实现，这些功能也可以通过单独的程序来实现。另外，也可以通过多台计算机实现这些功能。

分类部52具有分类器521，该分类器521通过输入表示缺陷的图像，将该缺陷分类为真缺陷或伪缺陷(也称为虚报或伪缺陷。)。分类要否确定部53针对从检查部20输入的缺陷图像所表示的缺陷，确定是否需要在分类部52中分类。学习部51通过使用后述的多个教师数据进行学习，生成作为已学习模型的上述分类器521。教师数据生成装置4生成用于学习部51的教师数据。

图3是示出教师数据生成装置4的结构的图。教师数据生成装置4具备：图像接受部41、图像要否确定部42、显示控制部43、判定结果接受部44和教师数据生成部45。图像接受部41与检查部20连接，接受来自检查部20的缺陷图像等的输入。图像要否确定部42确定是否将各缺陷图像用于教师数据。显示控制部43与显示器35连接，在显示器35上显示缺陷图像等。判定结果接受部44与输入部36连接，接受操作者经由输入部36的输入。教师数据生成部45对缺陷图像进行标记，生成教师数据。

在此，对检查部20检测缺陷的处理进行说明。如上所述，在检查装置2中，取得拍摄图像，通过检查部20的第一检查处理部21和第二检查处理部22对拍摄图像执行相互不同的检查处理。在检查部20的检查中，不使用机器学习，通过例如规则库等来检测出缺陷。用于检查的阈值等的确定也可以通过机器学习来进行。这里，假设拍摄图像是灰度图像，但也可以是彩色图像。

图4是用于说明第一检查处理部21执行的第一检查处理的图，示出拍摄图像的一部分。在图4中，示出了由铜等金属形成的布线区域61和作为印刷电路板的基材表面等的区域62(以下称为“背景区域62”。)。例如，布线区域61和背景区域62可以通过规定的阈值来区分。

在第一检查处理的一例中，测量线宽。例如，基于设计数据等，在布线区域61上预先设定多个检查位置，在拍摄图像中，将位于各检查位置的像素确定为对象像素。检查位置例如是布线区域61的宽度(即，与布线区域61的长度方向垂直的方向的宽度)的大致中央的位置。接着，以等角度间隔设定以对象像素为中心的16个方向的直线，求出各直线与布线区域61重叠的长度(即，在直线上与布线区域61的两个边缘重叠的位置间的长度)。并且，取得16条直线中的最小长度作为测量距离。测定距离与规定的下限距离及上限距离进行比较。在该测定距离小于下限距离或大于上限距离的情况下，该检查位置的缺陷的存在被检测出。在图4的示例中，由于标注附图标记A1的箭头所示的测定距离比下限距离小，所以作为布线区域61的缺陷的缺陷69被检测出。

这样，通过取得各检查位置的测定距离，能够检测出图5所示的各种种类的缺陷。在图5的左侧的示例中，在邻接的多个检查位置，测定距离比下限距离小，检测出作为线变细缺陷的缺陷69。在图5的中央的示例中，在邻接的多个检查位置，测定距离比上限距离大，检测出线变粗缺陷(焊盘部分的线变粗)即缺陷69。在图5的右侧的示例中，在一个检查位置测定距离比下限距离小的缺口缺陷和在一个检查位置测定距离比上限距离大的突起缺陷分别被检测为缺陷69。

如上所述，在第一检查处理部21中，能够以检查位置为单位详细地(比进行后述的第二检查处理的第二检查处理部22更详细地)取得缺陷的位置信息。当在第一检查处理部21中检测出缺陷69时，从拍摄图像中剪切出包含缺陷69的规定尺寸的缺陷图像。另外，还取得表示缺陷图像中的缺陷69的位置的位置信息(以下也称为“缺陷位置信息”)和缺陷69的缺陷类别，生成包含两者的缺陷关联信息。缺陷图像和缺陷相关信息相互关联并被输出到计算机3。需要说明的是，缺陷关联信息中也包含缺陷图像所示的印刷电路板上的位置(以下同样)。

在本处理例中，检测布线区域61的开路(断路)缺陷以及短路缺陷的其他第一检查处理也由第一检查处理部21进行。在该其他的第一检查处理中，在图6的右侧所示的拍摄图像71中，确认布线区域61的连接性。例如，在布线区域61中，通过确定各检查位置(也可以是与上述处理中的检查位置不同的位置)和经由布线区域61连续的其他检查位置，能够确认布线区域61的连接性。在第一检查处理部21中，如图6的左侧所示，还准备表示与拍摄图像71相同的区域的主图像70(例如，根据设计数据生成的二值图像)，与上述同样地确认主图像70中的布线区域61的连接性(检查位置间的连接关系)。并且，在拍摄图像71中的布线区域61的连接性与主图像70中的布线区域61的连接性不同的情况下，将产生不同的部分检测为缺陷。

在图6的示例中，由于在拍摄图像71中产生了不存在于主图像70中的连接性(检查位置间的连接)(参照箭头A2)，所以产生该连接性的部分被检测为短路缺陷即缺陷69。在第一检查处理部21中，从拍摄图像71剪切出包含缺陷69的规定尺寸的缺陷图像。此外，生成包含缺陷图像中的缺陷位置信息和缺陷69的缺陷类别在内的缺陷关联信息。然后，缺陷图像和缺陷相关信息相互关联，并输出到计算机3。另一方面，在主图像中存在的连接性在拍摄图像中缺失(未发生)的情况下，将该连接性缺失的部分检测为开路缺陷即缺陷。然后，包含该缺陷的规定尺寸的缺陷图像、和包含缺陷位置信息及缺陷类别在内的缺陷关联信息被输出到计算机3。

接着，对第二检查处理部22执行的第二检查处理的一例进行说明。在第二检查处理中，将多灰度的拍摄图像分割为规定尺寸的多个图像(以下称为“分割图像”。)。然后，比较将各分割图像以规定的阈值二值化后的图像(以下称为“二值的分割图像”)与二值的主图像的对应区域。在图7中，在右侧表示二值的分割图像72，在左侧表示与该分割图像对应的主图像70的区域。使用矩阵进行二值的分割图像72和主图像70的比较。

图8是示出二值的分割图像的各像素与二值的主图像的对应像素的异或的图像，图8中的附加平行斜线的像素表示在两图像中像素值不同的像素(以下称为“相异像素”)。在图8中，为了便于说明，使用与图7不同的二值的分割图像以及主图像。在二值的分割图像与主图像的比较中，概念上，在图8的图像中，在使矩阵M1在行方向和列方向扫描的同时，包含在矩阵M1内的像素中的相异像素的个数的比例超过允许值的情况下，检测出缺陷的存在。在图8的示例中，矩阵M1的尺寸为4×4个像素，允许值为75％。因此，在图8中以细虚线表示的矩阵M1的位置，相异像素的比例不超过允许值，但在图8中以粗虚线表示的矩阵M1的位置，相异像素的比例超过允许值。由此，在分割图像中检测出缺陷的存在。矩阵M1尺寸可以适当变更为2×2像素、3×3像素等，也可以变更允许值。

实际上，在图7的二值的分割图像72中，求出配置在各位置的矩阵M1内所包含的像素中、像素值与主图像70的所对应的像素不同的像素的个数的比例。并且，在该比例超过允许值的情况下，在分割图像中检测出缺陷的存在。在图7的示例中，在二值的分割图像72中，用粗实线包围与主图像70的所对应的像素的值不同的像素(以下，与图8同样地称为“相异像素”)。在使用矩阵M1的本处理例中，在二值的分割图像72中孤立存在的相异像素不影响(忽略)缺陷的检测，但一定数量的相异像素的集合容易被检测为缺陷(参照位于二值的分割图像72的中央附近的相异像素组)。

当在二值的分割图像72中检测到缺陷的存在时，将对应的多灰度的分割图像作为缺陷图像输出到计算机3。在第二检查处理部22中，不取得分割图像(缺陷图像)中的缺陷的详细位置，也不取得缺陷类别。因此，与第一检查处理部21不同，向计算机3输出不包含缺陷位置信息和缺陷类别在内的缺陷关联信息。如上所述，缺陷相关信息包含缺陷图像所示的印刷电路板上的位置。缺陷关联信息可以包括表示通过第二检查处理检测到的信息。

图9是示出教师数据生成装置4生成教师数据的处理流程的图。首先，在图3的图像接受部41中，从检查部20接受缺陷图像和缺陷关联信息(步骤S11)。在本处理例中，由检查部20从多个印刷电路板的多个拍摄图像中预先取得多个缺陷图像，多个缺陷图像和与该多个缺陷图像对应的缺陷关联信息在图像接受部41中被接受。多个缺陷图像的缺陷相关信息可以以分别与多个缺陷图像相关联的状态包含在一个列表中。如上所述，在由第一检查处理部21检测出的缺陷的缺陷关联信息中，包含缺陷位置信息和缺陷类别。另一方面，在由第二检查处理部22检测出的缺陷的缺陷关联信息中不包含缺陷位置信息和缺陷类别。

接着，在图像要否确定部42中，基于缺陷关联信息来确定是否将各缺陷图像用于教师数据(步骤S12)。在本处理例中，对于作为特定的缺陷类别的缺陷的缺陷图像而言，不用于教师数据。特定的缺陷类别的一个示例是开路缺陷和短路缺陷。另外，由第二检查处理部22检测出的缺陷的缺陷图像、即缺陷关联信息中不包含缺陷位置信息和缺陷类别的缺陷图像也不用于教师数据。除了这些缺陷图像之外的剩余缺陷图像被确定为用于教师数据的缺陷图像。另外，在后面描述不将开路缺陷和短路缺陷等特定的缺陷类别的缺陷图像、以及由第二检查处理部22检测出的缺陷的缺陷图像用于教师数据的理由。

在显示控制部43中，在显示器35上显示用于教师数据的缺陷图像(步骤S13)。显示在显示器35上的图像可以是缺陷图像的全部或一部分。即，显示控制部43在显示器35上显示缺陷图像的至少一部分。在一个示例中，在显示器35上的窗口排列显示多个缺陷图像的缩略图，通过操作者经由输入部36选择一个缺陷图像的缩略图，在显示器35上显示该缺陷图像(以下称为“选择缺陷图像”)的至少一部分。显示在显示器35上的缺陷图像的选择可以通过各种公知的方法来进行。

在判定结果接受部44中，接受操作者对显示在显示器35上的选择缺陷图像的真缺陷或假缺陷的判定结果的输入(步骤S14)。在一个示例中，在显示器35上的窗口中，与选择缺陷图像一起设置表示“真缺陷”的按钮和表示“假缺陷”的按钮。通过操作者确认选择缺陷图像并经由输入部36选择任意一个按钮，进行表示选择缺陷图像所示的缺陷是真缺陷还是假缺陷的判定结果的输入。该判定结果的输入由判定结果接受部44接受。操作者可以通过各种公知的方法输入确定结果。

在教师数据生成部45中，通过对缺陷图像标注判定结果，生成教师数据(步骤S15)。教师数据是包含缺陷图像和操作者对该缺陷图像的判定结果的数据。如上所述，用于教师数据的缺陷图像的缺陷关联信息中包含缺陷位置信息，优选基于缺陷位置信息而从缺陷图像中剪切出缺陷区域而得到的图像(以下，同样也称为“缺陷图像”)包含在教师数据中。由此，能够抑制缺陷区域以外的不需要的区域的特征用于后述的学习，能够提高分类器521的分类精度。实际上，操作者对多个缺陷图像输入判定结果，生成多个教师数据。由此，完成教师数据生成处理，得到多个教师数据(学习用数据集)。

当生成多个教师数据时，在图1的学习部51中，以使针对多个教师数据中的缺陷图像的输入而进行的分类器的输出与多个教师数据所表示的判定结果(真缺陷或假缺陷)大致相同的方式进行机器学习，并生成分类器。分类器是将图像所示的缺陷分类为真缺陷或假缺陷的已学习模型，在分类器的生成中，确定分类器所包含的参数的值、分类器的结构。机器学习例如通过使用神经网络的深度学习来进行。该机器学习可以通过深度学习以外的公知的方法进行。分类器(实际上是参数的值、表示分类器的结构的信息)被传送到分类部52而被导入。

图10是示出检查系统1检查印刷电路板的处理流程的图。在进行图10的处理时，通过上述处理预先生成作为已学习模型的分类器521。在印刷电路板的检查中，在检查装置2中，取得表示印刷电路板的多个位置的多个拍摄图像，通过检查部20检查多个拍摄图像中有无缺陷。当检测到缺陷时(步骤S21)，包含缺陷的缺陷图像和缺陷相关信息被输出到分类要否确定部53。如上所述，在由第一检查处理部21检测出的缺陷的缺陷关联信息中，包含缺陷位置信息(即缺陷图像中的缺陷的位置信息)以及缺陷类别。另一方面，由第二检查处理部22检测出的缺陷的缺陷关联信息中不包含缺陷位置信息和缺陷类别。

接着，在分类要否确定部53中，基于缺陷关联信息来确定缺陷图像所示的缺陷在分类部52中的分类需要与否。在本处理例中，对于作为特定的缺陷类别的缺陷，确定为不需要分类部52中的分类(步骤S22)。特定的缺陷类别的一个示例是开路缺陷和短路缺陷。另外，由第二检查处理部22检测出的缺陷，即缺陷关联信息中不包含缺陷位置信息和缺陷类别的缺陷也确定为不需要分类部52中的分类。在后面描述将对于开路缺陷和短路缺陷等特定的缺陷类别的缺陷、以及对于由第二检查处理部22检测出的缺陷确定为不需要在分类部52中分类的理由。

被确定为不需要分类的缺陷的缺陷图像以及缺陷关联信息被输出到缺陷确认装置11。如上所述，缺陷相关信息包含缺陷图像所示的印刷电路板上的位置(即，印刷电路板上的缺陷图像的位置信息)。在缺陷确认装置11中，参照缺陷关联信息对印刷电路板上的该缺陷图像的区域进行拍摄，并显示在显示器上。操作者通过确认所显示的图像中包含的缺陷，进行该缺陷是真缺陷还是假缺陷的最终确定(步骤S23)。另外，也可以在该显示器上与由缺陷确认装置11拍摄的图像一起显示缺陷图像(以下同样)。

另一方面，在分类要否确定部53中，对于由第一检查处理部21检测出且不是特定的缺陷类别的缺陷，确定为需要分类部52中的分类(步骤S22)。被确定为需要分类的缺陷的缺陷图像和缺陷关联信息被输出到分类部52。在分类部52中，通过将缺陷图像输入到分类器521，缺陷图像所示的缺陷被分类为真缺陷或假缺陷(步骤S24)。在优选的分类部52中，取得基于缺陷位置信息而从缺陷图像中剪切出缺陷区域而得到的图像，并将该图像输入到分类器521。由此，能够抑制缺陷的区域以外的不需要的区域的特征被用于分类器521的分类处理，能够更高精度地对该缺陷是真缺陷还是假缺陷进行分类。

在通过分类部52将缺陷分类为真缺陷的情况下(步骤S25)，将该缺陷的缺陷图像和缺陷关联信息输出到缺陷确认装置11。在缺陷确认装置11中，对印刷电路板上的该缺陷图像的区域进行拍摄，并显示在显示器上。操作者通过确认所显示的图像中包含的缺陷，进行该缺陷是真缺陷还是假缺陷的最终确定(步骤S23)。在通过分类部52将缺陷分类为假缺陷的情况下(步骤S25)，该缺陷的缺陷图像和缺陷关联信息不输出给缺陷确认装置11，并结束对该缺陷的处理。这样，对于由分类部52分类为假缺陷的缺陷，通过省略操作者的确认，能够削减缺陷的确认所需的操作者的工时。

在此，说明对于开路缺陷和短路缺陷等特定的缺陷类别的缺陷、以及由第二检查处理部22检测出的缺陷，确定为不需要分类部52中的分类的理由。由于诸如开路缺陷和短路缺陷之类的特定的缺陷类别的缺陷对印刷电路板的动作、性能有很大的影响，因此常常不能允许分类器521的分类错误(在此，将真缺陷误分类为假缺陷)。因此，对于特定的缺陷类别的缺陷，为了避免分类器521中的严重的误分类，优选不进行分类器521的分类，而在缺陷确认装置11由操作者确认，进行该缺陷是真缺陷还是假缺陷的最终确定。这样，由于不通过分类器521对开路缺陷和短路缺陷等特定的缺陷类别的缺陷进行分类，所以作为教师数据，也优选不使用该特定的缺陷类别的缺陷图像。

另外，由于在由第二检查处理部22检测出的缺陷的缺陷关联信息中不包含缺陷位置信息，所以在分类部52中，不能取得从缺陷图像中剪切出缺陷区域而得到的图像。在这种情况下，如果将缺陷图像直接输入分类器521，则缺陷区域以外的不需要的区域的特征会被用于分类处理。其结果，对于由第二检查处理部22检测出的缺陷，分类器521中的分类精度降低，容易产生误分类。因此，对于由第二检查处理部22检测出的缺陷，优选不进行分类器521的分类，而在缺陷确认装置11进行操作者确认，最终确定该缺陷是真缺陷还是假缺陷。这样，由于不通过分类器521对由第二检查处理部22检测出的缺陷进行分类，所以作为教师数据，也优选不使用由第二检查处理部22检测出的缺陷的缺陷图像。

如以上说明那样，在图1的检查系统1中设有检查部20，以不使用机器学习的方式检查对印刷电路板拍摄而得到的图像来检测缺陷；和分类部52，通过将表示缺陷的图像输入分类器521，对该缺陷的缺陷类别(在上述处理中为真缺陷或假缺陷)进行分类。另外，在分类要否确定部53中，基于在检测该缺陷时由检查部20取得的缺陷关联信息来确定由检查部20检测出的缺陷是否需要在分类部52中分类。在检查系统1中，能够容易地从分类对象中排除不适合分类器521分类的缺陷，能够实现分类器521中的严重的误分类的避免以及分类处理所需的时间的缩短。

优选地，在分类部52中，由检查部20检测出的缺陷被分类为真缺陷或假缺陷。在检查部20中，在缺陷的检测时取得该缺陷的缺陷类别(在此为除真缺陷和假缺陷以外的缺陷类别)，在缺陷关联信息中包含该缺陷类别。在分类要否确定部53中，将作为特定的缺陷类别的缺陷确定为不需要分类部52中的分类。由此，能够容易地防止不允许出现分类错误的缺陷类别的缺陷(即重要缺陷)的误分类。在上述特定的缺陷类别包含开路缺陷和短路缺陷的情况下，能够容易地防止开路缺陷和短路缺陷的误分类。

优选地，在检查部20中设置有：第一检查处理部21，通过第一检查处理检测缺陷，取得包含该缺陷的缺陷图像；第二检查处理部22，通过与第一检查处理不同的第二检查处理检测缺陷，取得包含该缺陷的缺陷图像。在第一检查处理部21中，能够取得比第二检查处理部22更详细的缺陷图像中的缺陷的位置信息，缺陷关联信息中包含由第一检查处理部21取得的该位置信息。在分类要否确定部53中，确定为需要对由第一检查处理部21检测出的缺陷进行分类部52中的分类，并且确定为不需要对由第二检查处理部22检测出的缺陷进行分类部52中的分类。另外，在分类部52中，基于缺陷的位置信息而从缺陷图像中剪切出该缺陷的区域而得到的图像被输入到分类器521。通过这样的结构，能够容易地从分类对象中排除未取得缺陷的详细位置(缺陷位置信息)且分类器521的分类精度变低的缺陷，能够更可靠地实现分类器521中的误分类的减少以及分类处理所需的时间的缩短。

在图3的教师数据生成装置4中，从检查部20输入包含缺陷的缺陷图像和在检测该缺陷时取得的缺陷关联信息，由图像接受部41接受。在图像要否确定部42中，基于缺陷关联信息来确定是否将缺陷图像用于教师数据。用于教师数据的缺陷图像由显示控制部43显示在显示器35上，由判定结果接受部44接受由操作者对所显示的缺陷图像的缺陷类别(在上述处理中为真缺陷或假缺陷)的判定结果的输入。然后，由教师数据生成部45在缺陷图像上标记该判定结果，生成教师数据。在教师数据生成装置4中，能够容易地排除不适合教师数据的图像，能够缩短标记作业和学习所需的时间。

优选地，在判定结果接受部44中，接受操作者对真缺陷或假缺陷的判定结果的输入。在检查部20中，在缺陷的检测时取得的该缺陷的缺陷类别被包含在缺陷关联信息中。在图像要否确定部42中，确定为不将包含作为特定的缺陷类别的缺陷在内的缺陷图像用于教师数据。由此，能够生成以不进行上述特定的缺陷类别的缺陷的分类为前提的优选的分类器521。在上述特定的缺陷类别包含开路缺陷和短路缺陷的情况下，能够生成以不进行开路缺陷和短路缺陷的分类为前提的优选分类器521。

优选地，在检查部20中设置有上述第一检查处理部21和第二检查处理部22。在第一检查处理部21中，能够取得比第二检查处理部22更详细的缺陷图像中的缺陷的位置信息，缺陷关联信息中包含由第一检查处理部21取得的该位置信息。在图像要否确定部42中，确定为将由第一检查处理部21检测出的缺陷的缺陷图像用于教师数据，并且确定为不将由第二检查处理部22检测出的缺陷的缺陷图像用于教师数据。此外，在教师数据生成部45中，生成包含基于缺陷的位置信息而从缺陷图像中剪切出该缺陷的区域而得到的图像在内的教师数据。通过这样的结构，能够生成以不进行未取得缺陷图像中的详细位置的缺陷(分类精度变低的缺陷)的分类为前提的优选的分类器521。

(第二实施方式)

接着，对本发明的第二实施方式的检查系统1的处理进行说明。图11是示出印刷电路板9的整体的图。在制造中途的印刷电路板9中，包含在最终产品中被除去的部分即废弃电路板区域92。在图11中，对废弃电路板区域92标注平行斜线。图12是放大表示在图11的印刷电路板9中被虚线包围的部分B1的图。在图12中，用粗虚线包围废弃电路板区域92。

如图12所示，在印刷电路板9中，小的镀敷区域紧密排列，或者存在设置有细的布线图案的区域91(图12中由细的虚线包围的区域)。由于存在于区域91的缺陷对印刷电路板9的动作有很大的影响，所以在本处理例的检查部20中，对区域91设定比其他区域严格的第一检查灵敏度。以下，将区域91称为“第一灵敏度设定区域91”。另一方面，存在于上述的废弃电路板区域92中的缺陷对印刷电路板9的动作几乎没有影响，因此对废弃电路板区域92，设定比其他区域宽松的第二检查灵敏度。以下，将废弃电路板区域92称为“第二灵敏度设定区域92”。另外，在除第一灵敏度设定区域91和第二灵敏度设定区域92以外的区域93中，设定中间的第三检查灵敏度。以下，将区域93称为“第三灵敏度设定区域93”。如上所述，在印刷电路板9的各位置设定有多个检查灵敏度中的任意一个。

在检查部20的检查处理中，根据检查灵敏度检测出缺陷。例如，在参照图8说明的第二检查处理中，与矩阵M1内的相异像素的比例相比较的允许值根据检查灵敏度而变化。具体而言，通过参照设计数据(CAM数据等)，确定分割了拍摄图像的上述分割图像所表示的位置属于第一灵敏度设定区域91、第二灵敏度设定区域92和第三灵敏度设定区域93中的哪一个，并取得应利用的允许值。在第一灵敏度设定区域91中，取得比其他区域小的允许值，在第二灵敏度设定区域92中，取得比其他区域大的允许值。然后，将矩阵M1内的相异像素的比例与该允许值进行比较，在超过允许值的情况下，检测出缺陷的存在。

当检测到缺陷的存在时，包含该缺陷的缺陷图像(多灰度的分割图像)以及缺陷关联信息被输出到计算机3。此时，缺陷关联信息中包含表示在该缺陷的检测时利用的检查灵敏度的检查灵敏度信息。例如，检查灵敏度信息是示出第一检查灵敏度、第二检查灵敏度和第三检查灵敏度中的任一个的信息、或者表示第一灵敏度设定区域91、第二灵敏度设定区域92和第三灵敏度设定区域93中的任一个的信息。在第一检查处理部21中也同样，根据检查灵敏度检测缺陷，将包含缺陷的缺陷图像及包含检查灵敏度信息的缺陷关联信息输出到计算机3。在缺陷的检测中，可以使用各种方法，检查灵敏度的设定方法根据缺陷的检测方法适当变更。

在教师数据生成装置4的教师数据的生成中，在图像接受部41中，从检查部20接受缺陷图像和缺陷关联信息(图9：步骤S11)。如上所述，缺陷相关信息包含检查灵敏度信息。在图像要否确定部42中，基于缺陷关联信息来确定是否将各缺陷图像用于教师数据(步骤S12)。在本处理例中，对于包含以特定的检查灵敏度检测出的缺陷在内的缺陷图像而言，不用于教师数据。特定的检查灵敏度的一个示例是设定在第一灵敏度设定区域91中的第一检查灵敏度。包含以第二检查灵敏度和第三检查灵敏度检测到的缺陷在内的缺陷图像被确定为用于教师数据的缺陷图像。在后面描述以特定的检查灵敏度检测出的缺陷的缺陷图像不用于教师数据的理由。

在将用于教师数据的缺陷图像显示在显示器35上之后(步骤S13)，操作者进行针对缺陷图像的真缺陷或假缺陷的判定结果的输入，并接受该输入(步骤S14)。然后，通过对缺陷图像标注判定结果，生成教师数据(步骤S15)。然后，与上述处理例同样，使用多个教师数据生成分类器521。

在检查系统1中的印刷电路板9的检查中，如果在检查部20中检测出缺陷(图10：步骤S21)，则包含该缺陷的缺陷图像以及缺陷关联信息被输出到分类要否确定部53。如上所述，缺陷相关信息包括检查灵敏度信息。接着，在分类要否确定部53中，基于缺陷关联信息来确定该缺陷图像所示的缺陷是否需要在分类部52中分类。在本处理例中，对于以特定的检查灵敏度检测出的缺陷，确定为不需要分类部52中的分类(步骤S22)。特定的检查灵敏度的一个示例是设定在第一灵敏度设定区域91中的第一检查灵敏度。对于以特定的检查灵敏度检测出的缺陷，在后面描述确定为不需要分类部52中的分类的理由。

被确定为不需要分类的缺陷的缺陷图像以及缺陷关联信息被输出到缺陷确认装置11。在缺陷确认装置11中，对印刷电路板9上的该缺陷图像的区域进行拍摄并显示在显示器上。操作者通过确认所显示的图像中包含的缺陷，进行该缺陷是真缺陷还是假缺陷的最终确定(步骤S23)。

另一方面，对于以除特定的检查灵敏度以外的检查灵敏度检测出的缺陷，确定为需要在分类部52中进行分类(步骤S22)。被确定为需要分类的缺陷的缺陷图像和缺陷关联信息被输出到分类部52。在分类部52中，通过将缺陷图像输入到分类器521，缺陷图像所示的缺陷被分类为真缺陷或假缺陷(步骤S24)。在通过分类部52将缺陷分类为真缺陷的情况下(步骤S25)，将该缺陷的缺陷图像以及缺陷关联信息输出到缺陷确认装置11，由操作者进行该缺陷是真缺陷还是假缺陷的最终确定(步骤S23)。在通过分类部52将缺陷分类为假缺陷的情况下(步骤S25)，该缺陷的缺陷图像和缺陷关联信息不输出到缺陷确认装置11，并结束对该缺陷的处理。

在此，对针对以特定的检查灵敏度检测出的缺陷，确定为不需要分类部52中的分类的理由进行说明。如上所述，存在于第一灵敏度设定区域91中的缺陷对印刷电路板9的动作有很大的影响，因此有时不能允许分类器521的分类错误(在此为将真缺陷作为假缺陷的误分类)。因此，对于在第一灵敏度设定区域91中检测出缺陷、即以特定的检查灵敏度检测出的缺陷，为了避免分类器521中的严重的误分类，不进行分类器521的分类，而优选地操作者通过缺陷确认装置11确认，并进行该缺陷是真缺陷还是假缺陷的最终确定。这样，由于不通过分类器521对以特定的检查灵敏度检测出的缺陷进行分类，所以作为教师数据，也优选不使用以该特定的检查灵敏度检测出的缺陷的缺陷图像。

如上所述，在检查系统1的本处理例中，对印刷电路板9的各位置设定多个检查灵敏度中的一个检查灵敏度，并在缺陷关联信息中包含表示检查部20检测缺陷时利用的检查灵敏度的信息。在分类要否确定部53中，将以特定的检查灵敏度检测出的缺陷确定为不需要分类部52中的分类。由此，能够容易地防止不允许分类错误的、检查灵敏度高的区域中的缺陷的误分类。另外，在教师数据生成装置4的图像要否确定部42中，将包含以特定的检查灵敏度检测出的缺陷在内的缺陷图像确定为不用于教师数据。由此，能够生成以不进行检查灵敏度高的区域中的缺陷的分类为前提的优选的分类器521。

在上述处理例中，以第二检查灵敏度检测出的缺陷以及以第三检查灵敏度检测出的缺陷由同一分类器521分类，但也可以生成各检查灵敏度用的分类器。例如，生成以第二检查灵敏度检测出的缺陷的多个教师数据，通过使用该多个教师数据进行机器学习，生成第二检查灵敏度用的分类器。同样生成用于第三检查灵敏度的分类器。在检查系统1中的印刷电路板的检查中，对于以第二检查灵敏度检测出的缺陷，确定为需要分类部52中的分类，通过第二检查灵敏度用的分类器将该缺陷分类为真缺陷或假缺陷。对于以第三检查灵敏度检测出的缺陷，也确定为需要分类部52中的分类，通过第三检查灵敏度用的分类器将该缺陷分类为真缺陷或假缺陷。在检查系统1中，也可以生成由检查部20取得的各缺陷类别用的分类器(分类为真缺陷或假缺陷的分类器)。

在上述检查系统1、教师数据生成装置4以及教师数据生成方法中可以进行各种变形。

在印刷电路板中，由于根据型号，线/空间、材料、工艺等不同，所以也可以基于由检查部20检测出缺陷的印刷电路板的型号，由分类要否确定部53确定是否需要该缺陷在分类部52中分类。另外，也可以基于检测出缺陷的印刷电路板之前的工序的种类来确定是否需要该缺陷在分类部52中的分类。例如，在检测出缺陷时，在检查部20中取得表示印刷电路板的型号或/及工序的种类的识别编号，并包含在缺陷关联信息中。在分类要否确定部53中，按每个型号或/及识别编号存储有表示是否需要分类的表，通过使用缺陷关联信息中包含的型号或/及识别编号并参照该表，确定是否需要缺陷在分类部52中的分类。在教师数据生成装置4的图像要否确定部42中是同样的。

分类部52中不需要分类的缺陷类别不限于开路缺陷和短路缺陷，例如，也可以将外装电路板中的阻焊剂剥落等其他缺陷类别包含在不需要分类的特定的缺陷类别中。在确定不用于教师数据的缺陷图像的情况下也是同样的。

在上述第一实施方式中的分类要否确定部53中，不必将特定的缺陷类别的缺陷以及由第二检查处理部22检测出的缺陷这两者确定为不需要分类部52中的分类，也可以仅将一者确定为不需要分类部52中的分类。在教师数据生成装置4的图像要否确定部42中是同样的。

在检查部20中，不一定需要取得缺陷的缺陷类别。另外，也可以仅设置第一检查处理部21和第二检查处理部22中的一者。第一检查处理部21中的第一检查处理也可以是能够取得缺陷位置信息的其他处理。第二检查处理部22中的第二检查处理也可以是除上述处理以外的处理。

在上述第一实施方式和第二实施方式中，在图9的步骤S14中，由操作者输入针对缺陷图像的真缺陷或假缺陷的判定结果，但也可以输入除真缺陷和假缺陷以外的缺陷类别(例如异物附着、膜剥落等)的判定结果。即，在判定结果接受部44中，接受操作者对显示器35上显示的缺陷图像的缺陷类别的判定结果(包括真缺陷或假缺陷的判定结果)的输入。同样，在分类部52中，缺陷也可以被分类为除真缺陷和假缺陷以外的缺陷类别。

在检查系统1中，分类要否确定部53的功能也可以设置在检查装置2中。另外，教师数据生成装置4中的图像接受部41以及图像要否确定部42的功能也可以设置在检查装置2中。

检查部20中的检查对象物除了印刷电路板以外，还可以是半导体电路板、玻璃电路板等电路板。另外，也可以通过检查部20检测机械部件等除电路板以外的对象物的缺陷。检查系统1和教师数据生成装置4可用于各种对象的检查。

上述实施方式及各变形例的结构只要相互不矛盾，可以适当组合。

虽然对发明进行了详细描述和描述，但上述描述是示例性的而非限制性的。因此，只要不脱离本发明的范围，可以说可以进行多个变形或形态。

Claims (10)

1.一种检查系统，其特征在于，具备：

检查部，以不使用机器学习的方式检查对对象物进行拍摄而得到的图像，来检测缺陷；

分类部，具有预先生成的已学习模型，通过将表示缺陷的图像输入到所述已学习模型，对所述缺陷的缺陷类别进行分类；以及

分类要否确定部，基于在检测所述缺陷时由所述检查部取得或利用的缺陷关联信息，来确定是否需要由所述检查部检测出的缺陷在所述分类部中分类。

2.根据权利要求1所述的检查系统，其特征在于，

所述分类部将由所述检查部检测出的缺陷分类为真缺陷或假缺陷，

所述检查部在检测缺陷时取得所述缺陷的缺陷类别，在所述缺陷关联信息中包含所述缺陷类别，

所述分类要否确定部将作为特定的缺陷类别的缺陷确定为不需要在所述分类部中分类。

3.根据权利要求1或2所述的检查系统，其特征在于，

所述检查部具备：

第一检查处理部，通过第一检查处理检测缺陷，取得包含所述缺陷的缺陷图像；以及

第二检查处理部，通过与所述第一检查处理不同的第二检查处理检测缺陷，取得包含所述缺陷的缺陷图像，

所述第一检查处理部能够取得比所述第二检查处理部更详细的缺陷图像中的缺陷的位置信息，在所述缺陷关联信息中包含由所述第一检查处理部取得的所述位置信息，

所述分类要否确定部将由所述第一检查处理部检测出缺陷确定为需要在所述分类部中分类，并且将由所述第二检查处理部检测出的缺陷确定为不需要在所述分类部中分类，

所述分类部将基于缺陷的位置信息而从缺陷图像中剪切出所述缺陷的区域而得到的图像输入到所述已学习模型。

4.根据权利要求1或2所述的检查系统，其特征在于，

对所述对象物的各位置设定多个检查灵敏度中的一个检查灵敏度，

表示所述检查部在检测缺陷时所利用的检查灵敏度的信息包含在所述缺陷关联信息中，

所述分类要否确定部将以特定的检查灵敏度检测出的缺陷确定为不需要在所述分类部中分类。

5.一种教师数据生成装置，用于生成教师数据，其特征在于，具备：

图像接受部，从以不使用机器学习的方式检查对对象物进行拍摄而得到的图像的检查部，接受包含缺陷的缺陷图像和在检测所述缺陷时取得或利用的缺陷关联信息；

图像要否确定部，基于所述缺陷关联信息来确定是否将所述缺陷图像用于教师数据；

显示控制部，在显示器上显示用于教师数据的缺陷图像；

判定结果接受部，接受操作者对显示在所述显示器上的所述缺陷图像进行的缺陷类别的判定结果的输入；以及

教师数据生成部，对所述缺陷图像标注所述判定结果来生成教师数据。

6.根据权利要求5所述的教师数据生成装置，其特征在于，

所述判定结果接受部接受由操作者进行的真缺陷或假缺陷的判定结果的输入，

在所述检查部中检测缺陷时取得的所述缺陷的缺陷类别包含在所述缺陷关联信息中，

所述图像要否确定部确定为不将包含作为特定的缺陷类别的缺陷的缺陷图像用于教师数据。

7.根据权利要求5或6所述的教师数据生成装置，其特征在于，

所述检查部具备：

第一检查处理部，通过第一检查处理检测缺陷，取得包含所述缺陷的缺陷图像；以及

第二检查处理部，通过与所述第一检查处理不同的第二检查处理检测缺陷，取得包含所述缺陷的缺陷图像，

所述第一检查处理部能够取得比所述第二检查处理部更详细的缺陷图像中的缺陷的位置信息，在所述缺陷关联信息中包含由所述第一检查处理部取得的所述位置信息，

所述图像要否确定部确定为将由所述第一检查处理部检测出缺陷的缺陷图像用于教师数据，并且确定为不将由所述第二检查处理部检测出的缺陷的缺陷图像用于教师数据，

所述教师数据生成部生成包含基于缺陷的位置信息而从缺陷图像中剪切出所述缺陷的区域而得到的图像的教师数据。

8.根据权利要求5或6所述的教师数据生成装置，其特征在于，

对所述对象物的各位置设定多个检查灵敏度中的一个检查灵敏度，

表示所述检查部在检测缺陷时所利用的检查灵敏度的信息包含在所述缺陷关联信息中，

所述图像要否确定部确定为不将包含以特定的检查灵敏度检测出的缺陷的缺陷图像用于教师数据。

9.一种教师数据生成方法，用于生成教师数据，其特征在于，具备：

a)工序，从以不使用机器学习的方式检查对对象物进行拍摄而得到的图像的检查部，接受包含缺陷的缺陷图像和在检测所述缺陷时取得或利用的缺陷关联信息；

b)工序，基于所述缺陷关联信息来确定是否将所述缺陷图像用于教师数据；

c)工序，在显示器上显示用于教师数据的缺陷图像；

d)工序，接受操作者对显示在所述显示器上的所述缺陷图像进行的缺陷类别的判定结果的输入；以及

e)工序，对所述缺陷图像标注所述判定结果来生成教师数据。

10.一种存储介质，存储有使计算机生成教师数据的程序，其特征在于，所述程序由计算机执行，并使所述计算机执行：

a)工序，从以不使用机器学习的方式检查对对象物进行拍摄而得到的图像的检查部，接受包含缺陷的缺陷图像和在检测所述缺陷时取得或利用的缺陷关联信息；

b)工序，基于所述缺陷关联信息来确定是否将所述缺陷图像用于教师数据；

c)工序，在显示器上显示用于教师数据的缺陷图像；

d)工序，接受操作者对显示在所述显示器上的所述缺陷图像进行的缺陷类别的判定结果的输入；以及

e)工序，对所述缺陷图像标注所述判定结果来生成教师数据。