CN115690051A - Pcb缺陷检测方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请提供了一种PCB缺陷检测方法、装置、计算机设备及存储介质，涉及缺陷检测技术领域，该方法包括：根据印刷电路板的设计图像对标准印刷电路板的图像进行第一对齐处理，得到第一图像，该第一图像与标准印刷电路板的图像对应；获取待检测印刷电路板的图像；根据第一图像对待检测印刷电路板的图像进行第二对齐处理，得到第二图像，该第二图像与待检测印刷电路板的图像对应；基于第一图像和第二图像，对待检测印刷电路板进行缺陷检测，得到缺陷检测结果。采用本申请实施例能够提升PCB缺陷检测的效率与准确性。

Description

PCB缺陷检测方法、装置、计算机设备及存储介质

技术领域

本申请涉及缺陷检测技术领域，并且更具体地，涉及一种PCB缺陷检测方法、装置、计算机设备及存储介质。

背景技术

印刷电路板(printed circuit board，PCB)又称印刷线路板，由于其具有良好的产品一致性、易于标准化设计，有利于在生产过程中实现机械化和自动化。同时，整块经过装配调试的PCB可作为一个独立的备件，便于整机产品的互换与维修，已广泛地应用在各类电子产品的生产制造中。

目前，产业上PCB缺陷检测方法主要为人工检测与电子检测；其中，电子检测可分为针床式检测和飞针式检测。人工检测由于个体经验的差异而存在检测效率低、误检率高、人力成本高等缺点，难以满足企业大规模自动化的生产需求，而电子检测属于接触式检测，需要检测传感器与被检测对象之间进行直接接触，存在因接触导致的机器故障的风险，并且同样存在检测效率低下的问题。为了提高PCB缺陷检测的准确率与效率，可选用二维图像检测的方法进行，即将预处理后的待测PCB的图像与标准PCB的图像进行对比，在对比前，通常需要根据PCB的定位孔将待测PCB的缺陷区域与标准PCB的图像对应的区域进行对齐。然而，在实际生产过程中，PCB会因温度的变化存在热胀冷缩的问题，在此情况下，选用PCB定位孔来确定缺陷位置会导致实际拍摄的PCB的缺陷位置图像与标准PCB对应的区块位置存在图像比例的不一致问题，从而导致缺陷检测的准确率下降。

发明内容

本申请实施例提供了一种PCB缺陷检测方法、装置、计算机设备及存储介质，在提升检测效率的同时，可有效克服因印刷电路板热胀冷缩导致的图像比例大小不一致的问题，进而降低误检率。

第一方面，提供了一种PCB缺陷检测方法，包括：

根据印刷电路板的设计图像对标准印刷电路板的图像进行第一对齐处理，得到第一图像，第一图像与标准印刷电路板的图像对应；

获取待检测印刷电路板的图像；

根据第一图像对待检测印刷电路板的图像进行第二对齐处理，得到第二图像，第二图像与待检测印刷电路板的图像对应；

基于第一图像和第二图像，对待检测印刷电路板进行缺陷检测，得到缺陷检测结果。

根据本申请实施例提供的PCB缺陷检测方法，通过先将标准PCB板与PCB板的设计图像进行第一次对齐处理，随后再根据对齐处理后的标准PCB的图像对待检测的PCB的图像进行第二次对齐处理，从而有助于后续的缺陷检测流程，有效提升检测效率与精确度，并克服因印刷电路板热胀冷缩导致的图像比例大小不一致的问题，进而减少检测误差。

结合第一方面，在第一方面的某些实现方式中，根据印刷电路板的设计图像对标准印刷电路板的图像进行第一对齐处理，得到第一图像，包括：确定印刷电路板的设计图像中的N个第一区域，N个第一区域与N个第二区域一一对应，N个第二区域为标准印刷电路板的图像中的区域，N为大于或等于1的整数；基于N个第一区域和N个第二区域对标准印刷电路板的图像进行第一对齐处理，得到第一图像。

结合第一方面，在第一方面的某些实现方式中，根据第一图像对待检测印刷电路板的图像进行第二对齐处理，得到第二图像，包括：确定第一图像中的M个第三区域，M个第三区域与M个第四区域一一对应，M个第四区域为待检测印刷电路板的图像中的区域，M为大于或等于1的整数；基于M个第三区域和M个第四区域，对待检测印刷电路板的图像进行第二对齐处理，得到第二图像。

应理解，上述区域包括以下中的一项或者多项：金面区域、油墨区域、文字区域、外形区域。

还应理解，上述第一对齐处理或第二对齐处理包括以下操作中的一项或者多项：平移、旋转、拉伸、缩放。

通过对待检测印刷电路板的图像进行平移、旋转、拉伸或者缩放处理，可使得待检测印刷电路板的图像与标准印刷电路板的图像之间得到有效的对齐，从而有助于后续的缺陷检测，以及克服因印刷电路板热胀冷缩而导致的图像比例大小不一致的问题。

结合第一方面，在第一方面的某些实现方式中，基于第一图像和第二图像，对待检测印刷电路板进行缺陷检测，得到缺陷检测结果，包括：通过第一神经网络模型进行缺陷检测，得到缺陷检测结果；其中，第一神经网络模型的输入为第一图像和第二图像。

根据本申请实施例提供的PCB缺陷检测方法，通过先将标准PCB板与PCB板的设计图像进行第一次对齐处理，随后再根据对齐处理后的标准PCB的图像对待检测的PCB的图像进行第二次对齐处理，随后将对齐处理后的待检测的PCB的图像输入训练后的神经网络模型来进行特征识别，以输出待检测PCB的图像的缺陷检测结果，可在克服因印刷电路板热胀冷缩导致的图像比例大小不一致的问题的同时，可有效提高检测效率，并降低误检率与人工检测成本。

结合第一方面，在第一方面的某些实现方式中，该PCB缺陷检测方法还包括：对待检测印刷电路板的图像和标准印刷电路板的图像进行预处理；其中，该预处理包括：灰度化处理和高斯滤波处理。

通过对获取的待检测印刷电路板和标准印刷电路板的二维图像进行预处理，即灰度化处理和高斯滤波去噪处理，可有利于避免前期拍摄过程中的误差对后续缺陷检测造成的影响，从而有助于检测效率的提升及误检率的降低。

第二方面，提供了一种PCB缺陷检测装置，包括：

第一对齐模块，用于根据印刷电路板的设计图像对标准印刷电路板的图像进行第一对齐处理，得到第一图像，第一图像与标准印刷电路板的图像对应；

图像获取模块，用于获取待检测印刷电路板的图像；

第二对齐模块，用于根据第一图像对待检测印刷电路板的图像进行第二对齐处理，得到第二图像，第二图像与待检测印刷电路板的图像对应；

缺陷检测模块，用于基于第一图像和第二图像，对待检测印刷电路板进行缺陷检测，得到缺陷检测结果。

根据本申请实施例提供的PCB缺陷检测装置，通过先将标准PCB板与PCB板的设计图像进行第一次对齐处理，随后再根据对齐处理后的标准PCB的图像对待检测的PCB的图像进行第二次对齐处理，从而有助于后续的缺陷检测流程，有效提升检测效率与精确度，并克服因印刷电路板热胀冷缩导致的图像比例大小不一致的问题，进而减少检测误差。

结合第二方面，在第二方面的某些实现方式中，在根据印刷电路板的设计图像对标准印刷电路板的图像进行第一对齐处理，得到第一图像方面，第一对齐模块具体用于：

确定印刷电路板的设计图像中的N个第一区域，N个第一区域与N个第二区域一一对应，N个第二区域为标准印刷电路板的图像中的区域，N为大于或等于1的整数；

基于N个第一区域和N个第二区域对标准印刷电路板的图像进行第一对齐处理，得到第一图像。

结合第二方面，在第二方面的某些实现方式中，在根据第一图像对待检测印刷电路板的图像进行第二处理，得到第二图像方面，第二对齐模块具体用于：

确定第一图像中的M个第三区域，M个第三区域与M个第四区域一一对应，M个第四区域为待检测印刷电路板的图像中的区域，M为大于或等于1的整数；

基于M个第三区域和M个第四区域，对待检测印刷电路板的图像进行第二对齐处理，得到第二图像。

应理解，上述区域包括以下中的一项或者多项：金面区域、油墨区域、文字区域、外形区域。

还应理解，上述第一对齐处理或第二对齐处理包括以下操作中的一项或者多项：平移、旋转、拉伸、缩放。

通过对待检测印刷电路板的图像进行平移、旋转、拉伸或者缩放处理，可使得待检测印刷电路板的图像与标准印刷电路板的图像之间得到有效的对齐，从而有助于后续的缺陷检测，以及克服因印刷电路板热胀冷缩而导致的图像比例大小不一致的问题。

结合第二方面，在第二方面的某些实现方式中，在基于第一图像和第二图像，对待检测印刷电路板进行缺陷检测，得到缺陷检测结果方面，上述缺陷检测模块具体用于：

通过第一神经网络模型进行缺陷检测，得到缺陷检测结果；其中，第一神经网络模型的输入为第一图像和第二图像。

根据本申请实施例提供的PCB缺陷检测装置，通过先将标准PCB板与PCB板的设计图像进行第一次对齐处理，随后再根据对齐处理后的标准PCB的图像对待检测PCB的图像进行第二次对齐处理，随后将对齐处理后的待检测PCB的图像输入训练后的神经网络模型来进行特征识别，以输出待检测PCB的图像的检测结果，在克服因印刷电路板热胀冷缩导致的图像比例大小不一致的问题的同时，可有效提高检测效率，并降低误检率与人工检测成本。

结合第二方面，在第二方面的某些实现方式中，该PCB缺陷检测装置还包括预处理模块，该预处理模块用于对待检测印刷电路板的图像和标准印刷电路板的图像进行预处理；其中，该预处理包括：灰度化处理和高斯滤波处理。

通过对获取的待检测印刷电路板和标准印刷电路板的二维图像进行预处理步骤，可有利于避免前期拍摄过程中的误差对后续缺陷检测造成的影响，从而有助于检测效率的提升及误检率的降低。

第三方面，提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现第一方面中的任意一种实现方式中的方法。

第四方面，提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现第一方面中的任意一种实现方式中的方法。

第五方面，提供一种计算机程序产品，该计算机程序产品包括计算机程序，计算机程序被处理器执行时实现上述第一方面中的任意一种实现方式中的方法。

第六方面，提供一种芯片，芯片包括处理器与数据接口，处理器通过数据接口读取存储器上存储的指令，执行上述第一方面中的任意一种实现方式中的方法。

在一些可能的实现方式中，芯片还可以包括存储器，存储器中存储有指令，处理器用于执行存储器上存储的指令，当指令被执行时，处理器用于执行第一方面中的任意一种实现方式中的方法。

上述芯片具体可以是现场可编程门阵列(field-programmable gate array，FPGA)或者专用集成电路(application-specific integrated circuit，ASIC)。

附图说明

图1是本申请实施例提供的一例PCB缺陷检测方法的示意性流程框图。

图2是本申请实施例提供的另一例PCB缺陷检测方法的示意性流程框图。

图3为了本申请实施例提供的一例神经网络模型的系统架构300的示意图。

图4为本申请实施例涉及的一种卷积神经网络模型的示意性结构图。

图5为本申请实施例涉及的另一种卷积神经网络模型的示意性结构图。

图6为本申请实施例提供的一例PCB缺陷检测装置的结构框图。

图7为本申请实施例提供的一例PCB缺陷检测系统的示意性框图。

图8为本申请实施例提供的一例计算机设备的示意性框图；

图9为本申请实施例提供的一例计算机可读存储介质的示意性框图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行描述。

图1是本申请实施例提供的一例PCB缺陷检测方法的示意性流程框图。如图1所示，该方法包括步骤S101至S105，下面对每个步骤进行具体描述。

S101，计算机设备根据印刷电路板的设计图像对标准印刷电路板的图像进行第一对齐处理，得到第一图像，该第一图像与标准印刷电路板的图像对应。

具体地，在本申请实施例中，计算机设备可先确定PCB的设计图像中的N个第一区域，根据该N个第一区域在标准PCB的图像中确定N个第二区域，该N个第一区域与N个第二区域一一对应，N为大于或等于1整数。随后基于上述N个第一区域和N个第二区域，对标准PCB的图像进行第一对齐处理，得到第一图像。

应理解，上述的区域可包括以下中的一项或者多项：金面区域、油墨区域、文字区域、外形区域。例如，上述PCB的设计图像中的N个第一区域可以为金面区域。

还应理解，上述第一对齐处理包括以下操作中的一项或者多项：平移、旋转、拉伸、缩放。

S102，计算机设备获取待检测印刷电路板的图像。

具体地，可通过二维彩色图像采集设备(例如时间延迟积分电荷耦合器件(timedelay integration charge coupled devices，TDICCD))采集待检测PCB和标准PCB的二维彩色图像。

应理解，本申请实施例不对待检测PCB的图像和标准PCB的图像的数量进行限定，例如，通过二维彩色图像设备获取的待检测的PCB的图像的数量可以为一个或者多个。

在一些可能的实现方式中，上述获取待检测PCB的图像和标准PCB的图像还包括：获取待检测PCB的深度灰度图像和标准PCB的深度灰度图像。

具体地，可通过深度信息采集设备采集待检测PCB和标准PCB的三维点云信息，并基于该三维点云信息中的深度信息转换为深度灰度图像。

可选地，计算机设备可对获取的待检测PCB的图像和标准PCB的图像进行预处理。

具体地，在本申请实施例中，在获取待检测PCB的图像和标准PCB的图像后，还需对其进行灰度化处理和高斯滤波去噪处理等预处理过程。

S103，计算机设备根据第一图像对待检测印刷电路板的图像进行第二对齐处理，得到第二图像，该第二图像与待检测印刷电路板的图像对应。

具体地，在本申请实施例中，计算机设备可先确定第一图像中的M个第三区域，根据该M个第三区域在待检测PCB的图像中确定M个第四区域，该M个第三区域与M个第四区域一一对应，M为大于等于1的整数。随后基于上述M个第三区域和M个第四区域，对待检测PCB的图像进行第二对齐处理，得到第二图像。

应理解，上述的区域可包括以下中的一项或者多项：金面区域、油墨区域、文字区域、外形区域。例如，上述与标准印刷电路板对应的第一图像中的M个第三区域可以为金面区域。

还应理解，上述第二对齐处理包括以下操作中的一项或者多项：平移、旋转、拉伸、缩放。

在一些可能的实现方式中，上述第二对齐处理还包括将待检测PCB的图像和第一图像进行对比，并判断其位置、光线、颜色和亮度是否一致，若不一致，可通过算法对待检测PCB的图像进行校正处理。

可选地，将对齐处理后的待检测PCB的图像和第一图像进行分割处理。在一些可能的实现方式中，可根据灰度阈值分割法将对齐处理后的待检测PCB的图像和第一图像进行分割，例如，可获得不同零件对应的分割区域。

S104，计算机设备基于第一图像和第二图像，对待检测印刷电路板进行缺陷检测，得到缺陷检测结果。

在一些可能的实现方式中，将对齐处理后的第二图像中的M个第四区域和第一图像中的M个第三区域进行对比，得到M个第三区域与M个第四区域之间的像素偏差，初步确定缺陷的位置。例如，第2个第三区域与第2个第四区域之间的像素偏差大于预设值，则判定该待检测PCB存在缺陷，且该待测PCB的图像(即第二图像)上的第2个第四区域为缺陷所在的位置。

具体地，在另一些可能的实现方式中，对齐处理后的待检测PCB的图像和标准PCB的图像进行区域分割后，若需要对PCB上的电容进行缺陷检测，则需要分析待检测PCB和标准PCB的图像中电容所在的分割区域的各点的灰度值分布的差异是否超出预设阈值，若待检测PCB和标准PCB的图像中电容所在的分割区域的各点的灰度值分布的差异超出预设阈值，则可判断待检测PCB上的电容存在缺陷。

根据本申请实施例提供的PCB缺陷检测方法，通过先将标准PCB板与PCB板的设计图像进行第一次对齐处理，随后再根据对齐处理后的标准PCB的图像对待检测的PCB的图像进行第二次对齐处理，从而有效提升检测效率与精确度，并克服因PCB热胀冷缩导致的图像比例大小不一致的问题，进而减少检测误差。

图2是本申请实施例提供的另一例PCB缺陷检测方法的示意性流程框图。如图2所示，该方法包括步骤S201至S205，下面对每个步骤进行具体描述。

S201，计算机设备根据印刷电路板的设计图像对标准印刷电路板的图像进行第一对齐处理，得到第一图像，该第一图像与标准印刷电路板的图像对应。

应理解，方法200中的步骤S201与上述方法100中的步骤S101相似，此处为了简洁，不再赘述。

S202，计算机设备获取待检测印刷电路板的图像。

具体地，可通过二维彩色图像采集设备(例如，TDICCD))采集待检测PCB和标准PCB的二维彩色图像。

应理解，本申请实施例不对待检测PCB的图像和标准PCB的图像的数量进行限定，例如，通过二维彩色图像设备获取的待检测的PCB的图像的数量可以为一个或者多个。

在一些可能的实现方式中，上述获取待检测PCB的图像和标准PCB的图像还包括：获取待检测PCB的深度灰度图像和标准PCB的深度灰度图像。

具体地，可通过深度信息采集设备采集待检测PCB和标准PCB的三维点云信息，并基于该三维点云信息中的深度信息转换为深度灰度图像。

可选地，计算机设备对获取的待检测PCB的图像和标准PCB的图像进行预处理。

具体地，在本申请实施例中，在获取待检测PCB的图像和标准PCB的图像后，还需对其进行灰度化处理和高斯滤波去噪处理等预处理。

S203，计算机设备根据第一图像对待检测印刷电路板的图像进行第二对齐处理，得到第二图像，该第二图像与待检测印刷电路板的图像对应。

应理解，方法200中的步骤S203与上述方法100中的步骤S103相似，此处为了简洁，不再赘述。

S204，计算机设备将第一图像和第二图像输入至第一神经网络模型进行处理，输出缺陷检测结果。

应理解，本申请实施例中的第一神经网络模型可称为图像检测网络模型或者图像检测神经网络模型，本申请实施例对此不做限定。

图3示出了本申请实施例提供的一例神经网络模型的系统架构300的示意图。如图3所示，数据采集设备360用于采集训练数据。示例性地，针对用于图像分类的神经网络模型而言，训练数据可以包括训练图像以及训练图像对应的分类结果；其中，训练图像的结果可以是人工预先标注的结果。

在采集到训练数据之后，数据采集设备360将该训练数据存入数据库330中，训练设备320基于数据库330中的训练数据训练得到目标模型/规则301。

下面对训练设备320基于训练数据得到目标模型/规则301的过程进行描述，训练设备320对输入的原始图像进行处理，并将输出的图像与原始图像进行对比，直到训练设备320输出的图像与原始图像的差值小于一定的预设阈值，从而完成目标模型/规则301的训练过程。

在一些可能的实现方式中，训练设备320可用于获取预训练的网络模型，基于目标数据集迁移预训练的网络模型，并在迁移后的网络模型中搜索子网络模型，以得到目标模型/规则301。该目标数据集可以存储于数据库330中。其中，训练设备320也可以用于预训练网络模型。该网络模型是基于源数据集训练得到的，该源数据集也可以存储于数据库330中。

本申请实施例中的目标模型/规则301具体可以为神经网络模型。例如，卷积神经网络、循环神经网络或者深度神经网络。需要说明的是，在实际的应用中，数据库330中维护的训练数据不一定都来自于数据采集设备360的采集，也有可能是从其他设备接收得到的，例如由客户设备340输入的目标数据集。另外需要说明的是，训练设备320也不一定完全基于数据库330维护的训练数据进行目标模型/规则301的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。

根据训练设备320训练得到的目标模型/规则301可以应用于不同的系统或设备中，例如应用于图3所示的执行设备310，执行设备310可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，AR)AR/虚拟现实(virtual reality，VR)，车载终端等，还可以是服务器或者云端等。如图3所示，执行设备310配置输入/输出(input/output，I/O)接口312，用于与外部设备进行数据交互，用户可以通过客户设备340向I/O接口312输入数据，例如，输入数据可以包括：客户设备输入的待处理的图像。

可选地，执行设备310中还可以包括预处理模块313，该预处理模块313用于根据I/O接口312接收到的输入数据(例如：图片数据)进行预处理，如果不需要对输入数据进行预处理，则直接将从I/O接口312接收的输入数据(例如：直接采集获得的图片数据)输入到执行设备310中进行处理。

在执行设备310对输入数据进行预处理，或者在执行设备310的计算模块311执行计算等相关的处理过程中，执行设备310可以调用数据存储系统350中的数据、代码等以用于进行相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统350中。

随后，I/O接口312将处理后的结果提供给用户设备340，例如上述得到的图像的分类结果返回给客户设备340以供客户使用。

应理解，训练设备320可以针对不同的目标或者不同的任务需求，基于不同的训练数据生成相应的目标模型/规则301，该相应的目标模型/规则601即可以用于实现上述目标或完成上述任务，从而为用户提供所需的处理结果。

在图3中所示出情况下，用户可以手动给定输入数据，该手动给定的数据可以通过I/O接口312提供的界面进行操作。在另一种可能实现的方式中，客户设备340可以自动地向I/O接口312发送输入数据，如果要求客户设备340自动发送输入数据需要获得用户的授权，则用户可以在客户设备340中设置相应权限。用户可以在客户设备340查看执行设备310输出的结果，具体的呈现形式可以是显示、声音、动作等具体的方式。客户设备340也可以作为数据采集端，采集如图所示输入I/O接口312的输入数据及输出I/O接口312的输出结果作为新的样本数据，并存入数据库330。当然，也可以不经过客户设备340进行采集，而是由I/O接口312直接将如图3所示输入I/O接口312的输入数据及输出I/O接口312的输出结果，作为新的样本数据存入数据库330。

还应理解，图3示出的是本申请实施例提供的一种系统架构的示意图，本申请对该系统架构中的设备、器件、模块等之间的位置关系不构成任何限制，例如，在图3示出的神经网络模型的系统架构中，数据存储系统350相对执行设备310是外部存储器，在其它可能的情况下，也可以将数据存储系统350置于执行设备310中。

如图3所示，根据训练设备320训练可得到目标模型/规则301，该目标模型/规则301可以是本申请实施例中的神经网络模型，具体的，本申请实施例构建的神经网络模型可以包括CNN、深度神经网络模型(deep neural networks，DNN)、深度卷积神经网络模型(deep convolutional neural networks，DCNN)、循环神经网络模型(recurrent neuralnetwork，RNN)等等，本申请实施例对此不做限定。

在一些可能的实现方式中，本申请实施例涉及的第一神经网络模型为卷积神经网络。其中，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，具有表征学习的能力，能够按照其阶层结构对输入的信息进行平移不变分类。

具体地，在本申请实施例中，可通过卷积神经网络模型来检测待检测PCB的图像中的特征信息，进而对该待检测PCB的图像进行特征识别，以确定待检测PCB的图像对应的缺陷检测结果。其中，可将卷积神经网络模型最后一层全连接层的输出结果作为该待检测PCB的图像对应的特征数据的缺陷检测结果。

图4为本申请实施例涉及的一种卷积神经网络模型的示意性结构图。如图4所示，该卷积神经网络模型(CNN)400可以包括输入层410，卷积层/池化层420(其中池化层为可选的)，以及神经网络模型层430。例如，输入层410可以获取待处理的图像，并将获取到的待处理图像交由卷积层/池化层420以及后面的神经网络模型层430进行处理。下面对图4中的CNN 400中内部的层结构进行详细的介绍。

卷积层/池化层420：

卷积层：

如图4所示卷积层/池化层420可以包括如示例的421-426层，例如：在一些可能的实现方式中，421层为卷积层，422层为池化层，423层为卷积层，424层为池化层，425为卷积层，426为池化层；在另一种可能的实现方式中，421与422层为卷积层，423为池化层，424与425为卷积层，426为池化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。

下面将以卷积层421为例结合图像处理的方式，详细介绍一层卷积层的内部工作原理。

卷积层421可以包括多个卷积算子，卷积算子也可称为卷积核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或者两个像素接着两个像素，这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的。在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行×列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中的噪点信息进行提取等。该多个权重矩阵尺寸(行×列)相同，经过该多个尺寸相同的权重矩阵提取后的卷积特征图的尺寸也相同，再将提取到的多个尺寸相同的卷积特征图合并形成卷积运算的输出。

这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络模型400进行正确的预测。

当卷积神经网络模型400有多个卷积层的时候，初始的卷积层(例如421层)往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络模型400深度的加深，越往后的卷积层(例如426层)提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。

池化层：

由于常常需要减少训练参数的数量，因此在卷积层之后常常需要周期性的引入池化层，即如图4中420所示例的421-426各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的目的就是减少图像的空间大小。池化层可以包括平均池化算子或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，与卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。

神经网络模型层430：

在经过卷积层/池化层420的处理后，卷积神经网络模型400还不足以输出所需要的输出信息。如前所述，卷积层/池化层420只会提取特征，并减少输入图像带来的参数。为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络模型400需要利用神经网络模型层430来生成一个或者一组所需要的类的数量的输出。因此，在神经网络模型层730中可以包括多层隐含层(如图4所示的431、432至43n)以及输出层440，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像的超分辨率重建等等。

在神经网络模型层430中的多层隐含层之后，也就是整个卷积神经网络模型400的最后层为输出层440，该输出层440具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络模型400的前向传播(如图4由410至440方向的传播为前向传播)完成，反向传播(如图4由440至410方向的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络模型400的损失，以及卷积神经网络模型400通过输出层输出的结果和目标结果之间的误差。

本申请实施例提供的一种卷积神经网络模型的结构示意图可以如图5所示。在图5所示的卷积神经网络模型(CNN)500可以包括输入层510，卷积层/池化层520(其中池化层为可选的)，以及神经网络模型层530。与图4相比，图5中的卷积层/池化层520中的多个卷积层/池化层并行，将分别提取的特征均输入给神经网络模型层530进行处理。

应理解，图4和图5所示的卷积神经网络模型仅作为一种神经网络模型的结构性示例。在具体的应用中，卷积神经网络模型还可以以其他网络模型的形式存在，本申请实施例对此不做限定。

还应理解，上述第一模型可理解为预训练的神经网络模型，例如，当任务需求为图像检测时，可根据源数据集(如，经对其处理后的待检测PCB的图像和标准PCB的图像)训练得到符合需求的神经网络模型。其中，该预训练的神经网络模型可以在离线阶段完成，也可以在线完成。示例性的，当预训练的神经网络模型是在离线阶段完成的情况下，根据任务需求获取神经网络模型时，可以直接获取已经训练过的神经网络模型，而无需在线执行预训练的操作。

可选地，在本申请实施例中，上述卷积神经网络模型提取待检测PCB的图像中的特征可包括：颜色特征、轮廓特征、形状特征、大小特征、语义特征等。

在一些可能的实现方式中，可通过第一神经网络模型来提取或识别待检测PCB的图像中的至少一个特征(即颜色特征、轮廓特征、形状特征、大小特征、语义特征)，并进行检测分析获得检测结果。

具体地，第一神经网络模型(例，卷积神经网络模型)完成对待检测PCB的图像的检测，可确定待检测PCB是否存在缺陷。若该待检测PCB的图像存在缺陷，则进一步确定该待检测PCB的图像上缺陷的位置及类别。

应理解，在本申请实施例中，待检测PCB上的缺陷类型可包括：零件缺失、错位、错焊等。作为示例，本申请实施例对此不做限定。

根据本申请实施例提供的PCB缺陷检测方法，通过先将标准PCB板与PCB板的设计图像进行第一次对齐处理，随后再根据对齐处理后的标准PCB的图像对待检测的PCB的图像进行第二次对齐处理，随后将对齐处理后的待检测的PCB的图像输入训练后的神经网络模型来进行特征识别，以输出待检测PCB的图像的缺陷检测结果，在克服因PCB热胀冷缩导致的图像比例大小不一致的问题的同时，可有效提高检测效率，并降低误检率与人工检测成本。

图6示出了本申请实施例提供的一例PCB缺陷检测装置的结构框图，该PCB缺陷检测装置600可包括：

第一对齐模块601，用于根据PCB的设计图像对标准PCB的图像进行第一对齐处理，得到第一图像，该第一图像与该标准PCB的图像对应。

具体地，该第一对齐处理模块，还用于确定PCB的设计图像中的N个第一区域，N个第一区域与N个第二区域一一对应，N个第二区域为标准PCB的图像中的区域，N为大于或等于1的整数；基于N个第一区域和N个第二区域，对标准PCB的图像进行第一对齐处理，得到第一图像。

具体地，图像获取模块602，用于获取待检测PCB的图像。

第二对齐模块603，用于根据第一图像对待检测PCB的图像进行第二对齐处理，得到第二图像，该第二图像与待检测PCB的图像对应。

具体地，该第二对齐模块还用于确定第一图像中的M个第三区域，该M个第三区域与M个第四区域一一对应，M个第四区域为待检测PCB的图像中的区域，M为大于或等于1的整数；基于M个第三区域和M个第四区域，对待检测PCB的图像进行第二对齐处理，得到第二图像。

应理解，上述区域包括以下中的一项或者多项：金面区域、油墨区域、文字区域、外形区域。

还应理解，上述第一对齐处理或第二对齐处理包括以下操作中的一项或者多项：平移、旋转、拉伸、缩放。

可选地，在第二对齐模块603之后还可包括预处理模块605，该预处理模块605用于对待检测PCB的图像和标准PCB的图像进行灰度化处理和高斯滤波处理。

缺陷检测模块604，用于基于第一图像和第二图像，对待检测PCB进行缺陷检测，得到缺陷检测结果。

该缺陷检测模块604，还用于通过第一神经网络模型进行缺陷检测，得到缺陷检测结果；其中，第一神经网络模型的输入为第一图像和第二图像。

可选地，在缺陷检测模块604之前，还可包括分割模块606，该分割模块606用于将对齐处理后的第一的像和第二图像根据灰度阈值分割法进行区域分割处理，以便于后续的缺陷对比。

图7示出了本申请实施例提供的一例PCB缺陷检测系统的示意性框图。图7所示的PCB缺陷检测系统包括处理单元710和获取单元720。

处理单元710和获取单元720可以用于执行本申请实施例的PCB缺陷检测方法，例如，可以用于执行上述图1中的方法100和图2中的方法200。

具体地，处理单元710，用于根据PCB的设计图像对标准PCB的图像进行第一对齐处理，得到第一图像，该第一图像与该标准PCB的图像对应。

在一些可能的实现方式中，该处理单元710，还用于确定PCB的设计图像中的N个第一区域，N个第一区域与N个第二区域一一对应，N个第二区域为标准PCB的图像中的区域，N为大于或等于1的整数；基于N个第一区域和N个第二区域对标准PCB的图像进行第一对齐处理，得到第一图像。

具体地，获取单元720，用于获取待检测PCB的图像。

处理单元710，还用于根据第一图像对待检测PCB的图像进行第二对齐处理，得到第二图像，该第二图像与待检测PCB的图像对应。

在一些可能的实现方式中，该处理单元710，还用于确定第一图像中的M个第三区域，该M个第三区域与M个第四区域一一对应，M个第四区域为待检测PCB的图像中的区域，M为大于或等于1的整数；基于M个第三区域和M个第四区域对待检测PCB的图像进行第二对齐处理，得到第二图像。

应理解，上述区域包括以下中的一项或者多项：金面区域、油墨区域、文字区域、外形区域。

还应理解，上述第一对齐处理或第二对齐处理包括以下操作中的一项或者多项：平移、旋转、拉伸、缩放。

处理单元710，还用于基于第一图像和第二图像，对待检测PCB进行缺陷检测，得到缺陷检测结果。

可选地，该处理单元710还用于对待检测PCB的图像和标准PCB的图像进行预处理；其中，预处理步骤可包括灰度化处理和高斯滤波处理。

可选地，该处理单元710，还用于通过第一神经网络模型进行缺陷检测，得到缺陷检测结果；其中，第一神经网络模型的输入为第一图像和第二图像。

可选地，该处理单元710还用于将对齐处理后的第一图像和第二图像根据灰度阈值分割法进行区域分割处理，以便于后续的缺陷对比。

需要说明的是，上述装置以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

图8示出了本申请实施例提供的一例计算机设备的示意性框图。图8所示的计算机设备800包括存储器810、处理器820以及总线840。可选地，该计算机设备800还包括通信接口830。其中，存储器810、处理器820、通信接口830通过总线840实现彼此之间的通信连接。

存储器810可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器810可以存储程序，当存储器810中存储的程序被处理器820执行时，处理器820用于执行本申请实施例的神经网络模型的训练方法的各个步骤。具体地，处理器820可以执行上文中图1或图2所示的方法。

处理器820可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请方法实施例的神经网络模型的训练方法。

处理器820还可以是一种集成电路芯片，具有信号的处理能力，在实现过程中，本申请的神经网络模型的训练方法的各个步骤可以通过处理器820中的硬件的集成逻辑电路或者软件形式的指令完成。

上述处理器820还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所涉及的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器810，处理器820读取存储器810中的信息，结合其硬件完成图7所示的装置中包括的单元所需执行的功能，或者，执行本申请方法实施例的图1或图2所示的方法。

通信接口830使用例如但不限于收发器一类的收发装置，来实现装置800与其他设备或通信网络之间的通信。例如，可以通过通信接口830获取训练数据。

总线840可包括在装置800各个部件(例如，存储器810、处理器820、通信接口830)之间传送信息的通路。

应注意，尽管上述装置800仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置800还可以包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置800还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置800也可仅仅包括实现本申请实施例所必须的器件，而不必包括图8中所示的全部器件。

应理解，本申请实施例中的处理器可以为中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random accessmemory，RAM)可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

图9为本申请实施例提供的一例计算机可读存储介质的示意性框图。图9所示的计算机可读存储介质900包括计算机程序910。该计算机程序910被处理器执行时可实现上述图1或图2所示的方法。

具体地，计算机可读存储介质900可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。

在本申请实施例中，上述实施例可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行计算机指令或计算机程序时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种PCB缺陷检测方法，其特征在于，包括：

根据印刷电路板的设计图像对标准印刷电路板的图像进行第一对齐处理，得到第一图像，所述第一图像与所述标准印刷电路板的图像对应；

获取待检测印刷电路板的图像；

根据所述第一图像对所述待检测印刷电路板的图像进行第二对齐处理，得到第二图像，所述第二图像与所述待检测印刷电路板的图像对应；

基于所述第一图像和所述第二图像，对所述待检测印刷电路板进行缺陷检测，得到缺陷检测结果。

2.根据权利要求1所述的方法，其特征在于，所述根据印刷电路板的设计图像对标准印刷电路板的图像进行第一对齐处理，得到第一图像，包括：

确定印刷电路板的设计图像中的N个第一区域，所述N个第一区域与N个第二区域一一对应，所述N个第二区域为标准印刷电路板的图像中的区域，N为大于或等于1的整数；

基于所述N个第一区域和所述N个第二区域，对所述标准印刷电路板的图像进行第一对齐处理，得到第一图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像对所述待检测印刷电路板的图像进行第二对齐处理，得到第二图像，包括：

确定所述第一图像中的M个第三区域，所述M个第三区域与M个第四区域一一对应，所述M个第四区域为所述待检测印刷电路板的图像中的区域，M为大于或等于1的整数；

基于所述M个第三区域和所述M个第四区域，对所述待检测印刷电路板的图像进行第二对齐处理，得到第二图像。

4.根据权利要求2或3所述的方法，其特征在于，所述区域包括以下中的一项或者多项：金面区域、油墨区域、文字区域、外形区域。

5.根据权利要求4所述的方法，其特征在于，所述第一对齐处理或所述第二对齐处理包括以下操作中的一项或者多项：平移、旋转、拉伸、缩放。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一图像和所述第二图像，对所述待检测印刷电路板进行缺陷检测，得到缺陷检测结果，包括：

通过第一神经网络模型进行缺陷检测，得到缺陷检测结果；其中，所述第一神经网络模型的输入为所述第一图像和所述第二图像。

7.一种PCB缺陷检测装置，其特征在于，包括：

第一对齐模块，用于根据印刷电路板的设计图像对标准印刷电路板的图像进行第一对齐处理，得到第一图像，所述第一图像与所述标准印刷电路板的图像对应；

图像获取模块，用于获取待检测印刷电路板的图像；

第二对齐模块，用于根据所述第一图像对所述待检测印刷电路板的图像进行第二对齐处理，得到第二图像，所述第二图像与所述待检测印刷电路板的图像对应；

缺陷检测模块，用于基于所述第一图像和所述第二图像，对所述待检测印刷电路板进行缺陷检测，得到缺陷检测结果。

8.根据权利要求7所述的装置，其特征在于，在根据印刷电路板的设计图像对标准印刷电路板的图像进行第一对齐处理，得到第一图像方面，所述第一对齐模块具体用于：

确定印刷电路板的设计图像中的N个第一区域，所述N个第一区域与N个第二区域一一对应，所述N个第二区域为标准印刷电路板的图像中的区域，N为大于或等于1的整数；

基于所述N个第一区域和所述N个第二区域对所述标准印刷电路板的图像进行第一对齐处理，得到第一图像。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。

Images