CN111160432A - 一种面板生产制造缺陷的自动分类方法及系统 - Google Patents

Abstract

本发明公开了一种面板生产制造缺陷的自动分类方法及系统，包括：采集面板缺陷图片及缺陷图片对应的缺陷类别编码信息；对缺陷图片的缺陷位置打标，将打标后的缺陷图片上传至样本库；从样本库中抽取缺陷图片作为学习样本；利用学习样本训练深度学习目标检测类算法模型，生成缺陷检测模型；抽取待分类自动光学检测图片并输入缺陷检测模型，模型自动识别出AOI图片中缺陷的位置，并输出对应缺陷类别编码的置信度水平；过滤置信度小于设定阈值的缺陷图片。通过本方法及系统，可有效缩短检测时间，提升检测效率；节约企业成本；最终实现提升产品品质。

Description

一种面板生产制造缺陷的自动分类方法及系统

技术领域

本发明涉及智能制造与人工智能技术领域，具体地，涉及一种面板生产制造缺陷的自动分类方法及系统。

背景技术

现有面板制造生产过程通常包含Array、TFT、Cell和模组等流程，其中Array生产会逐层叠加生产最终生成阵列基板。在每个生产阶段通过AOI设备对产品拍照，识别出其中可能有问题的位置，对应位置是否确实有缺陷及缺陷类别编码则需要通过人工肉眼判断的方式辨识。这种传统分类方式效率低、成本高、容易受人工疲劳影响波动等。

现有的计算机面板制造缺陷识别分类技术通常采用人工提取图像特征的方式，仅适用于识别特定缺陷，无法有效处理生产制造过程的缺陷多样性问题。本发明提出了一种面板生产制造缺陷的自动分类方法及系统。

发明内容

本发明提供了一种面板生产制造缺陷的自动分类方法及系统，目的是解决传统缺陷分类方式效率低、成本高、容易受人工疲劳影响波动的技术问题。

为实现上述发明目的，本发明提供了一种面板生产制造缺陷的自动分类方法，所述方法包括：

步骤1：从自动光学检测(AOI)检测站点采集面板缺陷图片及缺陷图片对应的缺陷类别编码信息；

步骤2：对缺陷图片的缺陷位置打标，将打标后的缺陷图片上传至样本库；

步骤3：基于指定的AOI检测站点及若干个缺陷类别编码，从样本库抽取对应的缺陷图片作为学习样本；利用学习样本训练深度学习目标检测类算法模型，生成缺陷检测模型；

步骤4：抽取待分类AOI图片并输入缺陷检测模型，缺陷检测模型自动识别出AOI图片的缺陷位置，并输出对应缺陷类别编码的置信度水平；

步骤5：过滤置信度小于预设阈值的缺陷图片。

其中，本发明中的面板生产制造缺陷的自动分类方法及系统，使用AOI设备的历史检测图像数据构建缺陷学习样本，并利用学习样本训练实现缺陷自动定位和分类的深度学习模型，最终将输出的结果和现有的业务系统如制造执行系统MES等进行交互，从而实现缺陷图片的自动分类。通过该方法及系统，可有效减少检测时间，提升检测效率；为企业节省人力成本；最终实现提升产品品质。

优选的，对缺陷图片的缺陷位置打标，采用矩形框标注缺陷位置并给出对应缺陷的类别编码信息；将打标后的缺陷图片及标注文件上传到样本库。

优选的，步骤1中采集的缺陷图片以及步骤4中抽取的AOI图片均是从缺陷文件系统DFS系统获得。

优选的，所述步骤4还包括：对缺陷检测模型执行上线操作。

优选的，在步骤5中，当一张缺陷图片中存在多个缺陷时，根据设定的缺陷优先级顺序，选择优先级最高的缺陷类别编码作为该缺陷图片的缺陷类别编码。

优选的，所述方法还包括步骤6：设定人工判定的置信度水平α，将缺陷类别编码的置信度水平低于α的缺陷图片自动转为人工判定缺陷类别。

优选的，所述步骤3采用的深度学习目标检测类算法为Yolo V3或SSD或Faster R-CNN算法模型。

优选的，缺陷检测模型采用特征金字塔网络FPN，同时将主干网络(如残差网络)不同层的特征Map融合。

优选的，步骤4中缺陷检测模型输出缺陷位置及所属不同缺陷类别编码的置信度列表，即

{(code_1,conf_1),…,(code_n,conf_n)}

其中，code_i表示第i种缺陷类别编码，conf_i表示对应缺陷位置属于code_i的置信度。其中：

对应位置的缺陷类别为置信度最大值对应的缺陷类别编码，即：

code＝argmax_i{conf_i}

即缺陷位置的缺陷类别编码为置信度最高值所对应的缺陷类别编码。

另一方面，与本方法对应，本发明还提供了一种面板生产制造缺陷的自动分类系统，所述系统包括：

缺陷图片采集单元，用于从AOI检测站点采集面板缺陷图片及缺陷图片对应的缺陷类别编码信息；

缺陷图片打标单元，用于对缺陷图片的缺陷位置打标，将打标后的缺陷图片上传至样本库；

模型构建及训练单元，用于基于指定的AOI检测站点及若干个缺陷类别编码，从样本库抽取对应的缺陷图片作为学习样本；利用学习样本训练深度学习目标检测类算法模型，生成缺陷检测模型；

缺陷识别单元，用于抽取待分类AOI图片并输入缺陷检测模型，模型自动识别出AOI图片的缺陷位置，并输出对应缺陷类别编码的置信度水平；

缺陷图片过滤单元，用于过滤置信度小于预设阈值的缺陷图片。

本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

通过本发明中的面板生产制造缺陷的自动分类方法及系统，可以自动识别AOI输出图片的缺陷位置并给出缺陷类别编码信息；置信度比较高的大部分AOI图片无需再由人工进行目检，帮助企业节省人力成本；同时基于深度学习的算法模型在保证高准确性的前提下，可有效节省检测时间，提升品质，提高生产效益。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；

图1是本发明中面板生产制造缺陷的自动分类方法的流程示意图；

图2是本发明中面板生产制造缺陷的自动分类系统的组成示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本发明实施例提供了一种面板生产制造缺陷的自动分类方法及系统，针对生产过程的各AOI检测站点，独立训练模型并进行缺陷的自动分类检测。通过图片打标单元对历史AOI图片人工分类打标并规整，形成模型学习样本；在模型建立及训练单元中，首先指定模型对应的检测站点，然后确定模型需要学习的缺陷类别编码以及对应的标记样本，最后基于深度学习模型训练出对应站点的缺陷检测及分类模型；在缺陷识别单元中，通过上线流程部署所训练站点模型并实现实时预测，将相关预测结果输出到系统并与MES系统等进行交互；利用监控单元对上述模型输出结果进行人工抽样复检，通过对比AI模型输出结果和人工抽判结果实现对模型准确性的有效监控。

请参考图1，一种面板生产制造缺陷的自动分类方法，所述方法包括：

步骤1，从缺陷文件系统DFS、数据分析EDA等系统采集指定站点的面板缺陷图片及对应的缺陷类别编码信息；

步骤2，对缺陷图片中缺陷的位置打标，用矩形框标出缺陷位置并给出缺陷对应的缺陷类别编码信息；将打标后的缺陷图片及标注文件上传到管理模块的样本库中；

步骤3，指定检测站点及需自动检测的多个缺陷类别编码，从样本库中抽取对应的学习样本；利用学习样本训练深度学习目标检测类算法模型，生成缺陷检测模型；

步骤4，对训练出的模型执行上线操作，自动从DFS系统中实时抽取待分类AOI图片并输入模型。模型将自动识别出图片的缺陷位置，并输出对应缺陷类别编码的置信度水平。

步骤5，对于每张图片的缺陷位置及置信度，使用阈值θ过滤。自动过滤置信度小于θ的缺陷；对于一张图片中存在多个缺陷的情形，根据面板检测业务规则设定的缺陷优先级顺序，选择优先级最高的一个缺陷类别编码作为本张图片的缺陷类别编码。如在面板领域中缺陷磨破FB的优先级要高于Particle颗粒的优先级，当同时出现磨破和particle时，将图片的Code设置为FB。

步骤6，设定人工判定的置信度水平α，将缺陷类别编码的置信度水平低于α的图片自动转为人工判定，从而提升整体识别的准确性。

作为上述实施例的优化方案，所述步骤3采用的深度学习目标检测类算法可采用Yolo V3，SSD，Faster R-CNN等算法模型。Faster R-CNN等深度学习算法模型可基于不同站点的缺陷难易情况采用不同的主干网络，如ResNet50或ResNet101等。

对于上述目标检测模型，为实现不同尺度的缺陷识别能力，模型采用特征金字塔思想网络FPN，同时将主干网络(如残差网络)不同层的特征Map融合，从而实现不同大小缺陷的有效识别。

对于上述步骤4所输出的类别信息，模型可输出对应缺陷位置的所属不同类别的置信度列表，即

{(code_1,conf_1),…,(code_n,conf_n)}

其中，code_i表示第i种缺陷类别编码，conf_i表示对应缺陷位置属于code_i的置信度。

其中，

对应位置的缺陷类别为置信度最大值对应的缺陷类别编码，即：

code_i＝arg max_i{conf_i}。

即缺陷位置的缺陷类别编码为置信度最高值所对应的缺陷类别编码。

请参考图2，本发明实施例提供了一种面板生产制造缺陷的自动分类系统，所述系统包括：

缺陷图片采集单元，用于从AOI检测站点采集面板缺陷图片及缺陷图片对应的缺陷类别编码信息；

缺陷图片打标单元，用于对缺陷图片的缺陷位置打标，将打标后的缺陷图片上传至样本库中；

模型构建及训练单元，用于基于指定的AOI检测站点及若干个缺陷类别编码，从样本库中抽取对应的缺陷图片作为学习样本；利用学习样本训练深度学习目标检测类算法模型，生成缺陷检测模型；

缺陷识别单元，用于抽取待分类AOI图片并输入缺陷检测模型，模型自动识别出AOI图片的缺陷位置，并输出对应缺陷类别编码的置信度水平；

缺陷图片过滤单元，用于过滤置信度小于阈值θ的缺陷图片。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种面板生产制造缺陷的自动分类方法，其特征在于，所述方法包括：

步骤1：从AOI检测站点采集面板缺陷图片及缺陷图片对应的缺陷类别编码信息；

步骤2：对缺陷图片的缺陷位置打标，将打标后的缺陷图片上传至样本库中；

步骤3：基于指定的AOI检测站点及若干个缺陷类别编码，从样本库抽取对应的缺陷图片作为学习样本；利用学习样本训练深度学习目标检测类算法模型，生成缺陷检测模型；

步骤4：抽取待分类AOI图片并输入缺陷检测模型，模型自动识别出AOI图片的缺陷位置，并输出对应缺陷类别编码的置信度水平；

步骤5：过滤置信度小于预设阈值的缺陷图片。

2.根据权利要求1所述的一种面板生产制造缺陷的自动分类方法，其特征在于，对缺陷图片的缺陷位置打标，用矩形框标注缺陷位置并给出缺陷对应的类别编码信息；将打标后的缺陷图片及标注文件上传到样本库。

3.根据权利要求1所述的一种面板生产制造缺陷的自动分类方法，其特征在于，所述步骤4还包括：对缺陷检测模型执行上线操作。

4.根据权利要求1所述的一种面板生产制造缺陷的自动分类方法，其特征在于，步骤1中采集的缺陷图片以及步骤4中抽取的AOI图片均是从缺陷文件系统DFS获得。

5.根据权利要求1所述的一种面板生产制造缺陷的自动分类方法，其特征在于，在步骤5中，当一张缺陷图片中存在多个缺陷时，根据设定的缺陷优先级顺序，选择优先级最高的缺陷类别编码作为该缺陷图片的缺陷类别编码。

6.根据权利要求1所述的一种面板生产制造缺陷的自动分类方法，其特征在于，所述方法还包括步骤6：设定人工判定的置信度水平α，将缺陷类别编码的置信度水平低于α的缺陷图片自动转为人工判定缺陷类别。

7.根据权利要求1所述的一种面板生产制造缺陷的自动分类方法，其特征在于，所述步骤3采用的深度学习目标检测类算法为Yolo V3或SSD或Faster R-CNN算法模型。

8.根据权利要求7所述的一种面板生产制造缺陷的自动分类方法，其特征在于，缺陷检测模型采用特征金字塔网络FPN，同时将主干网络不同层的特征Map融合。

9.根据权利要求1-8中任意一个所述的一种面板生产制造缺陷的自动分类方法，其特征在于，步骤4中缺陷检测模型输出缺陷位置及所属不同缺陷类别编码的置信度列表，即

{(code_1,conf_1),…,(code_n,conf_n)}

其中，code_i表示第i种缺陷类别编码，conf_i表示对应缺陷位置属于code_i的置信度；其中，

对应位置的缺陷类别为置信度最大值对应的缺陷类别编码，即：

code＝argmax_i{conf_i}

即缺陷位置的缺陷类别编码为置信度最高值所对应的缺陷类别编码。

10.一种面板生产制造缺陷的自动分类系统，其特征在于，所述系统包括：

缺陷图片采集单元，用于从AOI检测站点采集面板缺陷图片及缺陷图片对应的缺陷类别编码信息；

缺陷图片打标单元，用于对缺陷图片的缺陷位置打标，将打标后的缺陷图片上传至样本库；

模型构建及训练单元，用于基于指定的AOI检测站点及若干个缺陷类别编码，从样本库抽取对应的缺陷图片作为学习样本；利用学习样本训练深度学习目标检测类算法模型，生成缺陷检测模型；

缺陷识别单元，用于抽取待分类AOI图片并输入缺陷检测模型，模型自动识别出AOI图片的缺陷位置，并输出对应缺陷类别编码的置信度水平；

缺陷图片过滤单元，用于过滤置信度小于预设阈值的缺陷图片。

Images