CN113506243A - Pcb焊接缺陷检测方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种PCB焊接缺陷检测方法、装置及存储介质，涉及自动检测技术领域。该PCB焊接缺陷检测方法包括：获取检测点图像；将检测点图像输入像素分类器，得到检测点图像对应的像素级分割结果；像素级分割结果用于指示检测点图像中焊盘和填充异常区域的边界、引脚的所在区域；像素级分类器在构建过程中引入了先验知识；根据检测点图像对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判别信息，缺陷判别信息包括产品识别结果；解决了目前自动化检测PCB时，焊锡填充异常缺陷和引脚不过板缺陷容易出现误报的问题；达到了提高缺陷检测准确度的效果。

Description

PCB焊接缺陷检测方法、装置及存储介质

技术领域

本申请涉及自动检测技术领域，具体涉及一种PCB焊接缺陷检测方法、装置及存储介质。

背景技术

随着科学技术和经济的不断发展，人们对电子产品的需求也越来越大，PCB(printed circuit board，印刷电路板)产品的应用也越来越广泛。

PCB产品的加工工序中通常涉及到贴片元件的回流焊接工艺和分立插件元件的选择性波峰焊接工艺。在焊接后，为保证PCB产品质量，需要对焊接后的PCB产品进行检测。目前，AOI(Automated Optical Inspection，自动光学检测)取代了大部分的人工检测。产线上通常会用到线边的AOI设备来检测可能的焊接缺陷，比如：翘脚、缺件、桥接、贴反等。传统的AOI设备供应商，比如

会用到传统的机器视觉检测技术，大量使用手工特征作为检测依据。

在选择焊的缺陷自动化检测中，有两种焊接缺陷较难被机器理解，一种是焊锡填充异常(solder skips)，另一种是引脚不过板(pin not over component)，即机器在检测这两种缺陷时的关注区域不稳定，针对这两种缺陷，机器检测结果容易出现误报。

发明内容

为了解决相关技术中的问题，本申请提供了一种PCB焊接缺陷检测方法、装置及存储介质。该技术方案如下：

第一方面，本申请实施例提供了一种PCB焊接缺陷检测方法，该方法包括：

获取检测点图像；

将检测点图像输入像素分类器，得到检测点图像对应的像素级分割结果；像素级分割结果用于指示检测点图像中引脚、焊盘和填充异常区域的边界、背景的所在区域；像素分类器在构建过程中引入了先验知识；

根据检测点图像对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判别信息，缺陷判别信息包括产品识别结果。

通过获取检测点图像，将检测点图像输入像素分类器，得到检测点图像对应的像素级分割结果，根据检测点图像对应的像素级分割结果和缺陷检测图片分类器得到检测点的缺陷判别信息；像素分类器在构建过程中引入了先验知识，规整了检测过程中对检测点图像的关注区域，解决了目前自动化检测PCB时，焊锡填充异常缺陷和引脚不过板缺陷容易出现误报的问题；达到了提高缺陷检测准确度的效果。

可选的，将检测点图像输入像素分类器之前，该方法还包括：

获取样本检测点图像；

对样本检测点图像进行人工标注，得到样本检测点图像对应的标注样张；

根据样本检测点图像对应的标注样张生成样本检测点图像对应的像素级分割结果；

构建语义分割网络模型；

基于样本检测点图像和样本检测点图像对应的像素级分割结果，训练语义分割网络模型，得到像素分类器。

可选的，当样本检测点图像对应的检测点的缺陷类型为焊锡填充异常时，标注样张包括标注引脚的样张、标注焊盘的样张、标注填充异常区域的样张；

当样本检测点图像对应的检测点的缺陷类型为引脚不过板时，标注样张包括标注引脚的样张。

可选的，语义分割网络模型包括编码模块、embedding模块、解码模块，编码模块的输入为检测点图像，编码模块具有n个编码输出，每个编码输出与解码模块之间设置有一个embedding模块；n为正整数，2ⁿ不大于所述检测点图像的尺寸大小；

在解码模块中，n个编码输出分别进行上卷积处理；第i个编码输出进行i次上卷积，i＝1,2,...,n；

解码模块的输出为像素级分割结果；

其中，每个embedding模块包括2个级联的embedding block，每个embeddingblock依次包括一层pixel卷积层、一层batch normalization层、一层非线性激活层。

可选的，编码模块对检测点图像进行的处理包括Max Pooling处理、Conv处理、Bottleneck处理。

可选的，解码模块进行的处理依次为上卷积处理、Conv处理、Softmax处理、Argmax处理。

可选的，解码模块进行的处理依次为上卷积处理、Conv处理、Softmax处理。

可选的，根据检测点图形对应的像素级分割结果和缺陷检测图片分类器得到检测点的缺陷判别结果，包括：

根据检测点图像对应的像素级分割结果提取手工特征，手工特征至少包括孔径大小、成像算法类别、预测引脚区域的像素个数、预测引脚区域凸包区域的外周长、预测引脚区域的圆度、预测焊盘和填充异常区域边界部分的像素数目、预测焊盘和填充异常区域部分的发散角、图片像素灰度分布的偏度、图片的前景比率、引脚法向扩展特征；

将手工特征输入缺陷检测图片分类器，得到检测点的缺陷判别信息；

其中，引脚法向扩展特征为在像素级分割结果中，对引脚沿外轮廓法向拓展K个像素后，得到的扩展区域中的灰度中值与引脚区域最大灰度值之差。

可选的，将手工特征输入缺陷检测图片分类器，得到检测点的缺陷判别信息之前，该方法还包括：

根据样本检测点图像对应的像素级分割结果和样本检测点图像的元信息提取样本手工特征；

根据样本手工特征和人工经验设计缺陷检测图片分类器。

可选的，将手工特征输入缺陷检测图片分类器，得到检测点的缺陷判别信息之前，该方法还包括：

根据样本检测点图像对应的像素级分割结果和样本检测点图像的元信息提取样本手工特征；

构建缺陷检测分类模型；

基于样本手工特征和样本检测点的产品识别结果训练缺陷检测分类模型，得到缺陷检测图片分类器。

可选的，根据检测点图像对应的像素级分割结果和缺陷检测图片分类器得到检测点的缺陷判别信息之前，该方法还包括：

获取样本检测点图像和样本检测点图像对应的像素级分割结果；

构建缺陷检测分类模型；

基于样本检测点图像对应的像素级分割结果和样本检测点的产品识别结果训练缺陷检测分类模型，得到缺陷检测图片分类器。

第二方面，本申请实施例提供了一种PCB焊接缺陷检测装置，该装置包括：

图像获取模块，用于获取检测点图像；

分割模块，用于将检测点图像输入像素分类器，得到检测点图像对应的像素级分割结果；像素级分割结果用于指示检测点图像中焊盘和填充异常区域的边界、引脚的所在区域；像素分类器在构建过程中引入了先验知识；

判别模块，用于根据检测点图像对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判别信息，缺陷判别信息包括产品识别结果。

第三方面，本申请实施例提供了一种PCB焊接缺陷检测装置，该装置包括处理器和存储器；该存储器中存储有程序，该程序由所述处理器加载并执行以实现上述第一方面所示的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，该存储介质中存储有程序，该程序由处理器加载并执行以实现上述第一方面所示的方法。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1、图2、图3是检测点图像样张；

图4是本申请实施例提供的一种PCB焊接缺陷检测方法的流程图；

图5是一种PCB图片样张；

图6、图7、图8是专家标注后的标注样张；

图9是一种PCB图片样张；

图10是专家标注后的标注样张；

图11是一种PCB图片样张；

图12是本申请实施例提供的一种像素级分割结果的可视化图片；

图13是一种PCB图片样张；

图14是本申请实施例提供的一种像素级分割结果的可视化图片；

图15是本申请一实施例提供的语义分割网络模型的结构示意图；

图16是本申请另一实施例提供的语义分割网络模型的结构示意图；

图17是一种PCB图片样张；

图18是本申请一实施例提供的缺陷判别信息的示意图；

图19是本申请实施例提供的一种PCB焊接缺陷检测装置的框图；

图20是本申请实施例提供的PCB焊接缺陷检测装置的结构方框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在不做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电气连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

在利用自动光学检测手段结合深度学习手段检测PCB选择焊缺陷时，针对焊锡填充异常(solder skips)缺陷和引脚不过板(pin not over component)缺陷，受成像因素(比如：光照)的影响，机器判别过程中对图片上的关注区域不稳定，容易造成误判。为了提升PCB自动光学检测的结果准确性，本申请实施例提供的PCB焊接缺陷检测方法在检测中引入了专家的先验知识。

在PCB选择焊场景中，针对焊锡填充异常缺陷和引脚不过板缺陷，专家在进行人工检验时的判断方式如下：

1、焊锡填充异常缺陷

在焊锡填充异常缺陷的检测中，比较难以界定出填充异常区域的范围。在此类缺陷的实际样张中，多件的是引脚(pin针)正常过板，有部分区域焊锡填充不充分。

图1示出了PCB板上某一检测点对应的图片样张，该检测点的缺陷类型为填充异常缺陷。结合图1，焊盘(pad)均呈现为圆弧状的较亮区域，区域11为焊锡填充补充的区域。

专家在人工检验时，首先会观察图片中是否有明显的圆弧状高亮区域，然后再判断圆弧状高亮区域内侧是否有月牙形的阴影区域，若有月牙形的阴影区域，则根据月牙形的阴影区域的形状大小等特征判断该检测点是否有填充异常缺陷。

2、引脚不过板

在引脚不过板缺陷的检测中，比较难以界定出引脚的区域。

图2和图3为PCB检测过程中的实际采集到的图片，图2为PCB板上某一检测点对应的图片样张，图3为PCB板上某一检测点对应的图片样张，图2中检测点真实地具有引脚不过板的缺陷，图3中的检测点真实地不具有引脚不过板的缺陷，但被机器误报为具有引脚不过板的缺陷。如图2所示，焊盘上锡填充过量，引脚未过板，但焊盘中心区域可见零散的高亮区域；如图3所示，引脚有过板，但是引脚的像素灰度和周围锡的灰度差别不大，在图片上呈现出部分黏连的特征。

专家在人工检验时，首先会在图片中尽力识别出引脚部分，然后判断是否有引脚不过板的缺陷。

由于专家人工对焊锡填充异常和引脚不过板这两类缺陷的检测结果更加准确，在利用自动光学检测手段结合深度学习手段检测PCB选择焊缺陷时，期望机器在判别过程中对图片上的关注区域无限接近于专家人工检验时对图片上的关注区域。

请参考图4，其示出了本申请实施例提供的一种PCB焊接缺陷检测方法的流程图，该方法至少包括如下步骤：

在步骤101中，获取检测点图像。

在PCB封装产线，检测设备按照预定的成像算法拍摄PCB图片，PCB图片用于检测检测点是否存在焊接缺陷。

可选的，通过AOI设备拍摄PCB图片，AOI设备拍摄的PCB图片存储在res文件中，从res文件中获取PCB图片；res文件中还包括PCB图片的元信息。

PCB图片包括检测点和检测点以外的区域。

可选的，从PCB图片中获取检测点图像。一个检测点图像对应PCB上的一个检测点。

可选的，检测点图像为灰度图。

在步骤102中，将检测点图像输入像素分类器，得到检测点图像对应的像素级分割结果。

像素级分割结果用于指示检测点图像中焊盘和填充异常区域的边界、引脚的所在区域。

像素级分割结果中还包括背景。

像素级分割结果中的焊盘和填充异常区域的边界、引脚为机器判别的关注区域。

在对PCB进行焊接缺陷检测的过程中，像素级分割结果有助于稳定机器判别过程所涉及的图片关注区域，比如：热点图中的热点区域。

由于检测点图像中高亮的焊盘区域和由阴影区域表征的填充异常区域的边界通常比较容易被识别，因此，将焊盘的边界和填充异常区域的边界作为识别的目标。

每个检测点图像对应的像素级分割结果为与检测点图像的尺寸大小一样的掩膜，该掩膜上的每个像素经像素分类器预测有标值，一个标值对应一个标签种类。比如：标值1对应引脚，标值2对应焊盘和填充异常区域的边界，标值0对应背景。

像素分类器在构建过程中引入了专家(技术人员)的先验知识；利用像素分类器得到的检测点图像对应的像素级分割结果更接近专家人工判别时的关注区域。

在步骤103中，根据检测点图像对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判别信息，缺陷判别信息包括产品识别结果。

缺陷检测图片分类器基于检测点图像对应的像素级分割结果进行缺陷判别，并输出产品识别结果，产品识别结果为良品或缺陷件。

可选的，缺陷判别信息包括产品识别结果和像素级分割结果。

综上所述，本申请实施例提供的PCB焊接缺陷检测方法，通过获取PCB图片，从PCB图片中获取检测点图像，将检测点图像输入像素分类器，得到检测点图像对应的像素级分割结果，根据检测点图像对应的像素级分割结果和缺陷检测图片分类器得到检测点的缺陷判别信息；像素分类器在构建过程中引入了先验知识，规整了检测过程中对检测点图像的关注区域，解决了目前自动化检测PCB时，焊锡填充异常缺陷和引脚不过板缺陷容易出现误报的问题；达到了提高缺陷检测准确度的效果。

在利用像素分类器和缺陷检测图片分类器对PCB进行缺陷检测之前，该PCB焊接缺陷检测方法还包括设计像素分类器和缺陷检测图片分类器，像素分类器在缺陷检测图片分类器之前设计，缺陷检测图片分类器的设计参数基于像素分类器的输出结果确定。

一、像素分类器的设计

在基于图1所示实施例的可选实施例中，在将检测点图像输入像素分类器之前，还需要设计出像素分类器，即在步骤101之前，该方法还包括下述步骤：

在步骤201中，获取样本检测点图像。

选取若干张有焊锡填充异常缺陷的检测点对应的样本PCB图片、若干张有引脚不过板缺陷的检测点对应的样本PCB图片，将有焊锡填充异常缺陷的检测点对应的样本PCB图片记为SP图片，将有引脚不过板缺陷的检测点对应的样本PCB图片记为WP图片。

从SP图片和WP图片中获取样本检测点图像。

在步骤202中，对样本检测点图像进行人工标注，得到样本检测点图像对应的标注样张。

由专家对样本检测点图像进行精细地人工标注，在SP图片对应的样本检测点图像中标出引脚、焊盘和填充异常区域，在WP图片对应的样本检测点图像中标出引脚。

当样本检测点图像对应的检测点的缺陷类型为焊锡填充异常时，标注样张包括标注引脚的样张、标注焊盘的样张、标注填充异常区域的样张；也即对于SP图片，专家标注后的标注样张有三张，分别对应引脚、焊盘、填充异常区域。

当样本检测点图像对应的检测点的缺陷类型为引脚不过板时，标注样张包括标注引脚的样张；也即对于WP图片，专家标注后的标注样张有一张，对应引脚。

在一个例子中，图5为一张SP图片，SP图片中被框出的部分51为样本检测点图像，专家标注后的标注样张如图6、图7、图8所示，图6为标出引脚后的标注样张，图7为标出焊盘后的标注样张，图8为标出填充异常区域后的标注样张。

在另一个例子中，图9为一张WP图片，WP图片中被框出的部分61为样本检测点图像，专家标注后的标注样张如图10所示，图10为标出引脚后的标注样张。

在步骤203中，根据样本检测点图像对应的标注样张生成样本检测点图像对应的像素级分割结果。

对于SP图片对应的检测点图像，根据标注后得到的三张标注样张生成检测点图像对应的像素级分割结果。

对于WP图片对应的检测点图像，根据标注后得到的一张标注样张生成检测点图像对应的像素级分割结果。

对于SP图片来说，对填充异常区域的标注极大地依赖专家的主观判断，标注区域中存在极大的噪声。在检测点图像中，高亮的焊盘的边界和由阴影区域表征的填充异常区域的边界比较容易被识别，焊盘的边界和填充异常区域的边界有明显的语义特征，因此，为了降低标注噪声对像素分类器的影响，将专家标注的焊盘的边界和填充异常区域的边界作为一类区域。

在设计像素分类器时，像素分类器所对应的网络模型需要学习的目标区域分为两类，一类为焊盘的边界和填充异常区域的边界，另一类为引脚。

可选的，利用图像处理方法提取标注样张中的焊盘的边界和填充异常区域的边界。

利用图像处理方法提取出专家标注中的语义部分，降低了标注噪声对后续语义分割网络模型训练的影响。

在一个例子中，图11为SP图片，图12为图11中样本检测点图像对应的像素级分割结果的可视化图片，区域13表示焊盘区域和填充异常区域的边界，区域14表示引脚区域；在另一个例子中，图13为SP图片，图14为图13中样本检测点图像对应的像素级分割结果的可视化图片，区域15表示焊盘区域和填充异常区域的边界，区域16表示引脚区域。

在步骤204中，构建语义分割网络模型。

需要说明是，步骤204还可以在步骤201之前执行，本申请实施例对此不作限定。

在一个例子中，语义分割网络模型包括编码模块、embedding模块、解码模块；编码模块的输入为检测点图像，编码模块有n个编码输出，每个编码输出与解码模块之间设置有一个embedding模块，如图15所示；n为正整数，2ⁿ不大于检测点图像的尺寸大小。

每个编码输出的特征图的尺寸大小不同。

在上卷积模块中个，n个编码输出分别进行上卷积处理。每个编码输出经过上卷积处理后，得到一个上卷积结果。第i个编码输出进行i次上卷积，i＝1,2,...,n。

经过上卷积处理后的编码输出为尺寸大小相同的特征图。

解码模块的输出为像素级分割结果。

其中，每个embedding模块包括2个级联的embedding block，每个embeddingblock依次包括一层pixel卷积层、一层batch normalization层、一层非线性激活层。

通过embedding模块，增加了语义分割网络模型的描述能力。

编码模块对检测点图像进行的处理包括Max Pooling处理、Conv处理、Bottleneck处理。

可选的，解码模块进行的处理依次为上卷积处理、Conv处理、Softmax处理、Argmax处理。

可选的，解码模块进行的处理依次为上卷积处理、Conv处理、Softmax处理。

在一个例子中，以n＝6，解码模块进行的处理依次为上卷积处理、Conv处理、Softmax处理、Argmax处理为例，语义分割网络模型的结构如图16所示，编码模块对检测点图像进行的处理依次为：Max Pooling处理、Conv处理、Max Pooling处理、Bottleneck处理、Max Pooling处理、Bottleneck处理、Max Pooling处理、Bottleneck处理、Max Pooling处理、Bottleneck处理、Max Pooling处理、Bottleneck处理，Conv处理输出第1个编码输出，后续的每个Bottleneck处理均输出一个编码输出，上卷积结果#1至#6的尺寸大小均相同。

在另一个例子中，语义分割网络模型为Unet网络模型。

在步骤205中，基于样本检测点图像和样本检测点图像对应的像素级分割结果，训练语义分割网络模型，得到像素分类器。

像素分类器的输入为检测点图像，像素分类器的输出为像素级分割结果。

利用样本检测点图像和样本检测点图像对应的像素级分割结果作为样本数据训练语义分割网络模型，确定出语义分割网络模型的参数，即得到像素分类器。

二、缺陷检测图片分类器的设计

缺陷检测图片分类器的设计可以由如下3种方式实现：

(1)方式1、根据样本检测点图像对应的像素级分割结果、样本检测点图像的元信息提取手工特征，根据手工特征和人工经验设计出缺陷检测图片分类器。具体步骤如下：

在步骤301中，根据样本检测点图像对应的像素级分割结果和样本检测点图像的元信息提取样本手工特征。

获取样本检测点图像，利用设计好的像素分类器获取样本检测点图像对应的像素级分割结果。

需要说明是，用于设计缺陷检测图片分类器的样本检测点图像可以与用于设计像素分类器的样本检测点图像不同。

手工特征至少包括孔径大小、成像算法类别、预测引脚区域的像素个数、预测引脚区域凸包区域的外周长、预测引脚区域的圆度、预测焊盘和填充异常区域边界部分的像素数目、预测焊盘和填充异常区域部分的发散角、图片像素灰度分布的偏度、图片的前景比率、引脚法向扩展特征。

预测引脚区域指的是像素级结果标签中被标注为引脚的区域。

从样本检测点图像对应的像素级分割结果中自动获取样本手工特征；样本检测点图像对应的手工特征即为样本手工特征

检测点图像的元信息从检测点对应的res文件中获取。

可选的，从检测点图像对应的原始res文件中获取孔径大小。

可选的，从检测点图像对应的原始res文件中获取成像算法类别。

可选的，从像素级分割结果中获取预测引脚区域的像素个数、预测引脚区域凸包区域的外周长、预测引脚区域的圆度、预测焊盘和填充异常区域边界部分的像素数目、预测焊盘和填充异常区域部分的发散角、图片像素灰度分布的偏度。

可选的，图片的前景比率为对图片用大律法二值化后的前景比率。

可选的，从像素级分割结果中获取引脚法向扩展特征(ddMedian)。

在焊接正常的检测点对应的检测点图像中，引脚的周围会有一圈阴影区域，这个阴影区域是焊锡沿着引脚呈锥形包裹后，在灯光照射下形成的；基于该先验知识，在手工特征中引入引脚法向扩展特征。

引脚法向扩展特征为在像素级分割结果中，对引脚沿外轮廓法向拓展K个像素后，得到的扩展区域中的灰度中值与引脚区域最大灰度值之差。K为正整数。

其中，扩展区域由边界1和边界2限定，边界1为引脚外轮廓，边界2为引脚沿外轮廓的法向扩展了K个像素的位置。

如果焊锡正常包裹引脚形成一圈阴影，引脚法向扩展特征会是一个比较小的负数。对于引脚法向扩展特征，选定一个阈值，用于判断引脚激活区域是否是真实的引脚，还是误激活。

引脚区域误激活，指的是在像素级分割结果上，被指示为引脚的某一区域对应PCB上的位置并不是真实的引脚。

结合专家的先验知识，设置引脚法向扩展特征可以有效地防止引脚区域误激活对缺陷判别造成的影响。

在步骤302中，根据样本手工特征和人工经验设计缺陷检测图片分类器。

不使用深度学习算法，根据样本手工特征和人工经验，直接设计缺陷检测图片分类器的参数，得到缺陷检测图片分类器。

(2)方式2、根据样本检测点图像对应的像素级分割结果、样本检测点图像的元信息提取手工特征，利用手工特征和样本检测点的产品识别结果，基于深度学习算法训练得到缺陷检测图片分类器。具体步骤如下：

在步骤401中，根据样本检测点图像对应的像素级分割结果和样本检测点图像的元信息提取样本手工特征。

该步骤在上述步骤301中进行了阐述，这里不再赘述。

在步骤402中，构建缺陷检测分类模型。

可选的，基于深度学习算法构建缺陷检测分类模型。

需要说明是，步骤402还可以在步骤401之前执行，本申请实施例对此不作限定。

在步骤403中，基于样本手工特征和样本检测点的产品识别结果训练缺陷检测分类模型，得到缺陷检测图片分类器。

缺陷分类器的输入为手工特征，输出为产品识别结果。

产品识别结果为良品或缺陷件。

样本检测点的产品识别结果已知，样本检测点的产品识别结果为产品真实的缺陷情况。

以样本手工特征和样本检测点的产品识别结果作为样本数据训练缺陷检测分类模型，得到缺陷检测分类模型的参数，即得到缺陷检测图片分类器。

(3)方式3、根据样本检测点图像对应的像素级分割结果和样本检测点的产品识别结果，基于深度学习算法训练得到缺陷检测图片分类器。具体步骤如下：

在步骤501中，获取样本检测点图像和样本检测点图像对应的像素级分割结果。

获取样本检测点图像。

需要说明是，用于设计缺陷检测图片分类器的样本检测点图像可以与用于设计像素分类器的样本检测点图像不同。

利用设计好的像素分类器，获取样本检测点图像对应的像素级分割结果。

在步骤502中，构建缺陷检测分类模型。

可选的，基于深度学习算法构建缺陷检测图片分类器。

需要说明是，步骤502还可以在步骤501之前执行，本申请实施例对此不作限定。

在步骤503中，基于样本检测点图像对应的像素级分割结果和样本检测点的产品识别结果训练缺陷检测分类模型，得到缺陷检测图片分类器。

缺陷检测图片分类器的输入为像素级分割结果，输出为产品识别结果。

产品识别结果为良品或缺陷件。

以样本检测点图像对应的像素级分割结果和样本检测点的产品识别结果作为样本数据训练缺陷检测分类模型，得到缺陷检测分类模型的参数，即得到缺陷检测图片分类器。

在基于图1所示实施例的可选实施例中，在执行步骤103，即执行步骤“根据检测点图像对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判别信息，缺陷判别信息包括产品识别结果”时，所使用的缺陷检测图片分类器为利用上述方式1或方式2或方式3设计得到的。

若缺陷检测图片分类器为利用方式1或方式2设计得到的，则上述步骤103可以由如下方式实现：

在步骤1031中，根据检测点图像对应的像素级分割结果和检测点图像对应的元信息提取手工特征。

手工特征至少包括孔径大小、成像算法类别、预测引脚区域的像素个数、预测引脚区域凸包区域的外周长、预测引脚区域的圆度、预测焊盘和填充异常区域边界部分的像素数目、预测焊盘和填充异常区域部分的发散角、图片像素灰度分布的偏度、图片的前景比率、引脚法向扩展特征。

可选的，利用预先设置的手工特征提取算法自动提取出手工标签。

该步骤在上述步骤301中进行了阐述，这里不再赘述。

在步骤1032中，将手工特征输入缺陷检测图片分类器，得到检测点的缺陷判别信息。

将手工特征输入缺陷检测图片分类器，缺陷检测图片分类器输出检测点的产品识别结果，根据产品识别结果生成缺陷判别信息。

可选的，缺陷检测图片分类器输出检测点的像素级分割结果和产品识别结果；检测点的像素级分割结果和产品识别结果共同构成缺陷检测图片分类器输出的缺陷判别信息。

在一个例子中，PCB图片如图17所示，PCB图片中框出的部分为检测点图像71，经过像素分类器和缺件检测图片分类器判别后，得到的检测点的缺陷判别信息如图18所示，缺陷判别信息中包括像素级分割结果72和产品识别结果，产品识别结果为NG(缺陷件)；缺陷判别信息中还包括部分手工特征，比如，引脚法向扩展特征(图18中表示为dd)的值为-4.3，预测引脚区域的圆度(图18中表示为pin roundness)为0.68。

在图17所示的PCB图片对应的PCB中，检测点图像72对应的检测点具有引脚不过板缺陷，但是由于焊锡表面不光滑，图17中呈现了条索状的阴影部分，在像素分类器输出的像素级分割结果中造成了部分引脚激活区域误激活，但是由于提取了手工特征“引脚法向扩展特征”和“预测引脚区域的圆度”，在经过缺陷检测图片分类器判别后，仍输出了正确的产品识别结果(NG)，即机器检测没有出现误判的情况。

若缺陷分类器为利用方式3设计得到的，则上述步骤103可以由如下方式实现：

在步骤1031a中，将检测点图像对应的像素级分割结果输入缺陷检测图片分类器，得到检测点的缺陷判别信息。

将检测点图像对应的像素级分割结果输入缺陷检测图片分类器，缺陷检测图片分类器输出检测点的缺陷判别信息。

可选的，缺陷检测图片分类器输出检测点的像素级分割结果和产品识别结果。

图19是本申请一个实施例提供的PCB焊接缺陷检测装置的框图。该装置至少包括以下几个模块：图像获取模块310、分割模块320、判别模块330。

图像获取模块310，用于获取检测点图像；

分割模块320，用于将检测点图像输入像素分类器，得到检测点图像对应的像素级分割结果；像素级分割结果用于指示检测点图像中焊盘和填充异常区域的边界、引脚的所在区域；像素分类器在构建过程中引入了先验知识；

判别模块330，用于根据检测点图像对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判别信息，缺陷判别信息包括产品识别结果。

可选的，该装置还包括模型构建模块，用于获取样本检测点图像；

对样本检测点图像进行人工标注，得到样本检测点图像对应的标注样张；

根据样本检测点图像对应的标注样张生成样本检测点图像对应的像素级分割结果；

构建语义分割网络模型；

基于样本检测点图像和样本检测点图像对应的像素级分割结果，训练语义分割网络模型，得到像素分类器。

可选的，当样本检测点图像对应的检测点的缺陷类型为焊锡填充异常时，标注样张包括标注引脚的样张、标注焊盘的样张、标注填充异常区域的样张；

当样本检测点图像对应的检测点的缺陷类型为引脚不过板时，标注样张包括标注引脚的样张。

可选的，语义分割网络模型包括编码模块、embedding模块、解码模块；

编码模块的输入为检测点图像，编码模块具有n个编码输出，每个编码输出与上卷积模块之间设置有一个embedding模块；n为正整数，2ⁿ不大于所述检测点图像的尺寸大小；

在解码模块中，对n个编码输出分别进行上卷积处理；第i个编码输出进行i次上卷积，i＝1,2,...,n；

解码模块的输出为像素级分割结果；

其中，每个embedding模块包括2个级联的embedding block，每个embeddingblock依次包括一层pixel卷积层、一层batch normalization层、一层非线性激活层。

可选的，编码模块对检测点图像进行的处理包括Max Pooling处理、Conv处理、Bottleneck处理。

可选的，解码模块进行的处理依次为上卷积处理、Conv处理、Softmax处理、Argmax处理。

可选的，解码模块进行的处理依次为上卷积处理、Conv处理、Softmax处理。

可选的，判别模块，用于根据检测点图像对应的像素级分割结果和检测点图像的元信息提取手工特征，手工特征至少包括孔径大小、成像算法类别、预测引脚区域的像素个数、预测引脚区域凸包区域的外周长、预测引脚区域的圆度、预测焊盘和填充异常区域边界部分的像素数目、预测焊盘和填充异常区域部分的发散角、图片像素灰度分布的偏度、图片的前景比率、引脚法向扩展特征；

将手工特征输入缺陷检测图片分类器，得到检测点的缺陷判别信息；

其中，引脚法向扩展特征为在像素级分割结果中，对引脚沿外轮廓法向拓展K个像素后，得到的扩展区域中的灰度中值与引脚区域最大灰度值之差。

可选的，该装置还包括模型构建模块；

模型构建模块，用于根据样本检测点图像对应的像素级分割结果和样本检测点图像的元信息提取样本手工特征；

根据样本手工特征和人工经验设计缺陷检测图片分类器。

可选的，该装置还包括模型构建模块；

模型构建模块，用于根据样本检测点图像对应的像素级分割结果和样本检测点图像的元信息提取样本手工特征；

构建缺陷检测分类模型；

基于样本手工特征和样本检测点的产品识别结果训练缺陷检测分类模型，得到缺陷检测图片分类器。

可选的，该装置还包括模型构建模块；

模型构建模块，用于获取样本检测点图像和样本检测点图像对应的像素级分割结果；

构建缺陷检测分类模型；

基于样本检测点图像对应的像素级分割结果和样本检测点的产品识别结果训练缺陷检测分类模型，得到缺陷检测图片分类器。

需要说明的是：上述实施例中提供的PCB焊接缺陷检测装置在进行PCB焊接缺陷检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将PCB焊接缺陷检测装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的PCB焊接缺陷检测装置与PCB焊接缺陷检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

请参考图20，其示出了本申请一个示例性实施例提供的PCB焊接缺陷检测装置的结构方框图。本申请中的终端可以包括一个或多个如下部件：处理器410和存储器420。

处理器410可以包括一个或者多个处理核心。处理器410利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器420内的指令、程序、代码集或指令集，以及调用存储在存储器420内的数据，执行终端的各种功能和处理数据。可选地，处理器410可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器410可集成中央处理器(CentralProcessing Unit，CPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统和应用程序等；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器410中，单独通过一块芯片进行实现。

可选地，处理器410执行存储器420中的程序指令时实现上述各个方法实施例提供的PCB焊接缺陷检测方法。

存储器420可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选地，该存储器420包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器420可用于存储指令、程序、代码、代码集或指令集。存储器420可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令、用于实现上述各个方法实施例的指令等；存储数据区可存储根据终端的使用所创建的数据等。

需要补充说明的是，上述终端仅是示意性地，在实际实现时，终端还可以包括更少或更多的部件，比如：设备还包括触摸显示屏、通信组件、传感器组件等，本实施例在此不再一一限定。

需要说明的是，上述执行步骤101至步骤103的装置与执行上述步骤201至步骤205为同一个装置，或者，上述执行步骤101至步骤103的装置与执行上述步骤201至步骤205为不同的装置；上述执行步骤101至步骤103的装置与执行上述步骤301或步骤401至步骤403或步骤501至步骤503为同一个装置，或者，上述执行步骤101至步骤103的装置与执行上述步骤301或步骤401至步骤403或步骤501至步骤503为不同的装置；本申请实施例对此不作限定。

可选地，本申请还提供有一种计算机可读存储介质，该计算机可读存储介质中存储有程序，该程序由处理器加载并执行以实现上述方法实施例的PCB焊接缺陷检测方法。

可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，该计算机可读存储介质中存储有程序，该程序由处理器加载并执行以实现上述方法实施例的PCB焊接缺陷检测方法。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本申请创造的保护范围之中。

Claims (24)

1.一种PCB焊接缺陷检测方法，其特征在于，所述方法包括：

获取检测点图像；

将所述检测点图像输入像素分类器，得到所述检测点图像对应的像素级分割结果；像素级分割结果用于指示检测点图像中焊盘和填充异常区域的边界、引脚的所在区域；所述像素分类器在构建过程中引入了先验知识；

根据所述检测点图像对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判别信息，所述缺陷判别信息包括产品识别结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述检测点图像输入像素分类器之前，所述方法还包括：

获取样本检测点图像；

对所述样本检测点图像进行人工标注，得到所述样本检测点图像对应的标注样张；

根据所述样本检测点图像对应的标注样张生成所述样本检测点图像对应的像素级分割结果；

构建语义分割网络模型；

基于所述样本检测点图像和所述样本检测点图像对应的像素级分割结果，训练所述语义分割网络模型，得到所述像素分类器。

3.根据权利要求2所述的方法，其特征在于，当所述样本检测点图像对应的检测点的缺陷类型为焊锡填充异常时，所述标注样张包括标注引脚的样张、标注焊盘的样张、标注填充异常区域的样张；

当所述样本检测点图像对应的检测点的缺陷类型为引脚不过板时，所述标注样张包括标注引脚的样张。

4.根据权利要求2所述的方法，其特征在于，所述语义分割网络模型包括编码模块、embedding模块、解码模块；

所述编码模块的输入为检测点图像，所述编码模块具有n个编码输出，每个编码输出与所述解码模块之间设置有一个embedding模块；n为正整数，2ⁿ不大于所述检测点图像的尺寸大小；

在所述解码模块中，所述n个编码输出分别进行上卷积处理；第i个编码输出进行i次上卷积，i＝1,2,...,n；

所述解码模块的输出为像素级分割结果；

其中，每个embedding模块包括2个级联的embedding block，每个embedding block依次包括一层pixel卷积层、一层batch normalization层、一层非线性激活层。

5.根据权利要求4所述的方法，其特征在于，所述编码模块对所述检测点图像进行的处理包括Max Pooling处理、Conv处理、Bottleneck处理。

6.根据权利要求4或5所述的方法，其特征在于，所述解码模块进行的处理依次为上卷积处理、Conv处理、Softmax处理、Argmax处理。

7.根据权利要求4或5所述的方法，其特征在于，所述解码模块进行的处理依次为上卷积处理、Conv处理、Softmax处理。

8.根据权利要求1至7任一所述的方法，其特征在于，所述根据所述检测点图形对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判别结果，包括：

根据所述检测点图像对应的像素级分割结果和所述检测点图像的元信息，提取手工特征，所述手工特征至少包括孔径大小、成像算法类别、预测引脚区域的像素个数、预测引脚区域凸包区域的外周长、预测引脚区域的圆度、预测焊盘和填充异常区域边界部分的像素数目、预测焊盘和填充异常区域部分的发散角、图片像素灰度分布的偏度、图片的前景比率、引脚法向扩展特征；

将所述手工特征输入所述缺陷检测图片分类器，得到所述检测点的缺陷判别信息；

其中，所述引脚法向扩展特征为在所述像素级分割结果中，对引脚沿外轮廓法向拓展K个像素后，得到的扩展区域中的灰度中值与引脚区域最大灰度值之差。

9.根据权利要求8所述的方法，其特征在于，所述将所述手工特征输入所述缺陷检测图片分类器，得到所述检测点的缺陷判别信息之前，所述方法还包括：

根据样本检测点图像对应的像素级分割结果和所述样本检测点图像的元信息提取样本手工特征；

根据所述样本手工特征和人工经验设计所述缺陷检测图片分类器。

10.根据权利要求8所述的方法，其特征在于，所述将所述手工特征输入所述缺陷检测图片分类器，得到所述检测点的缺陷判别信息之前，所述方法还包括：

根据样本检测点图像对应的像素级分割结果和所述样本检测点图像的元信息提取样本手工特征；

构建缺陷检测分类模型；

基于所述样本手工特征和样本检测点的产品识别结果训练所述缺陷检测分类模型，得到所述缺陷检测图片分类器。

11.根据权利要求1至7任一所述的方法，其特征在于，所述根据所述检测点图像对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判别信息之前，所述方法还包括：

获取样本检测点图像和所述样本检测点图像对应的像素级分割结果；

构建缺陷检测分类模型；

基于样本检测点图像对应的像素级分割结果和样本检测点的产品识别结果训练所述缺陷检测分类模型，得到所述缺陷检测图片分类器。

12.一种PCB焊接缺陷检测装置，其特征在于，所述装置包括：

图像获取模块，用于获取检测点图像；

分割模块，用于将所述检测点图像输入像素分类器，得到所述检测点图像对应的像素级分割结果；像素级分割结果用于指示检测点图像中焊盘和填充异常区域、引脚的边界的所在区域；所述像素分类器在构建过程中引入了先验知识；

判别模块，用于根据所述检测点图像对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判别信息，所述缺陷判别信息包括产品识别结果。

13.根据权利要求12所述的装置，其特征在于，所述装置还包括模型构建模块，用于获取样本检测点图像；

对所述样本检测点图像进行人工标注，得到所述样本检测点图像对应的标注样张；

根据所述样本检测点图像对应的标注样张生成所述样本检测点图像对应的像素级分割结果；

构建语义分割网络模型；

基于所述样本检测点图像和所述样本检测点图像对应的像素级分割结果，训练所述语义分割网络模型，得到所述像素分类器。

14.根据权利要求13所述的装置，其特征在于，当所述样本检测点图像对应的检测点的缺陷类型为焊锡填充异常时，所述标注样张包括标注引脚的样张、标注焊盘的样张、标注填充异常区域的样张；

当所述样本检测点图像对应的检测点的缺陷类型为引脚不过板时，所述标注样张包括标注引脚的样张。

15.根据权利要求13所述的装置，其特征在于，所述语义分割网络模型包括编码模块、embedding模块、解码模块；

所述编码模块的输入为检测点图像，所述编码模块具有n个编码输出，每个编码输出与所述解码模块之间设置有一个embedding模块；n为正整数，2ⁿ不大于所述检测点图像的尺寸大小；

在所述解码模块中，所述n个编码输出分别进行上卷积处理；第i个编码输出进行i次上卷积，i＝1,2,...,n；

所述解码模块的输出为像素级分割结果；

其中，每个embedding模块包括2个级联的embedding block，每个embedding block依次包括一层pixel卷积层、一层batch normalization层、一层非线性激活层。

16.根据权利要求15所述的装置，其特征在于，所述编码模块对所述检测点图像进行的处理包括Max Pooling处理、Conv处理、Bottleneck处理。

17.根据权利要求15或16所述的装置，其特征在于，所述解码模块进行的处理依次为上卷积处理、Conv处理、Softmax处理、Argmax处理。

18.根据权利要求15或16所述的装置，其特征在于，所述解码模块进行的处理依次为上卷积处理、Conv处理、Softmax处理。

19.根据权利要求12至18任一所述的装置，其特征在于，所述判别模块，用于根据所述检测点图像对应的像素级分割结果和所述检测点图像的元信息提取手工特征，所述手工特征至少包括孔径大小、成像算法类别、预测引脚区域的像素个数、预测引脚区域凸包区域的外周长、预测引脚区域的圆度、预测焊盘和填充异常区域边界部分的像素数目、预测焊盘和填充异常区域部分的发散角、图片像素灰度分布的偏度、图片的前景比率、引脚法向扩展特征；

将所述手工特征输入所述缺陷检测图片分类器，得到所述检测点的缺陷判别信息；

其中，所述引脚法向扩展特征为在所述像素级分割结果中，对引脚沿外轮廓法向拓展K个像素后，得到的扩展区域中的灰度中值与引脚区域最大灰度值之差。

20.根据权利要求19所述的装置，其特征在于，所述装置还包括模型构建模块；

所述模型构建模块，用于根据样本检测点图像对应的像素级分割结果和所述样本检测点图像的元信息提取样本手工特征；

根据所述样本手工特征和人工经验设计所述缺陷检测图片分类器。

21.根据权利要求19所述的装置，其特征在于，所述装置还包括模型构建模块；

所述模型构建模块，用于根据样本检测点图像对应的像素级分割结果和所述样本检测点图像的元信息提取样本手工特征；

构建缺陷检测分类模型；

基于所述样本手工特征和样本检测点的产品识别结果训练所述缺陷检测分类模型，得到所述缺陷检测图片分类器。

22.根据权利要求13至19任一所述的装置，其特征在于，所述装置还包括模型构建模块；

所述模型构建模块，用于获取样本检测点图像和所述样本检测点图像对应的像素级分割结果；

构建缺陷检测分类模型；

基于样本检测点图像对应的像素级分割结果和样本检测点的产品识别结果训练所述缺陷检测分类模型，得到所述缺陷检测图片分类器。

23.一种PCB焊接缺陷检测装置，其特征在于，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如权利要求1至11任一项所述的方法。

24.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序由处理器加载并执行以实现如权利要求1至11任一项所述的方法。

Images