[go: up one dir, main page]

CN114782431B - 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法 - Google Patents

一种印刷电路板缺陷检测模型训练方法及缺陷检测方法 Download PDF

Info

Publication number
CN114782431B
CN114782431B CN202210694133.8A CN202210694133A CN114782431B CN 114782431 B CN114782431 B CN 114782431B CN 202210694133 A CN202210694133 A CN 202210694133A CN 114782431 B CN114782431 B CN 114782431B
Authority
CN
China
Prior art keywords
learning
printed circuit
circuit board
sample
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210694133.8A
Other languages
English (en)
Other versions
CN114782431A (zh
Inventor
诺尼·弗依斯沃瑟
凡·柯布兰
阿米尔·卓里
胡冰峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Kangdai Intelligent Technology Co ltd
Original Assignee
Suzhou Kangdai Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Kangdai Intelligent Technology Co ltd filed Critical Suzhou Kangdai Intelligent Technology Co ltd
Priority to CN202210694133.8A priority Critical patent/CN114782431B/zh
Publication of CN114782431A publication Critical patent/CN114782431A/zh
Application granted granted Critical
Publication of CN114782431B publication Critical patent/CN114782431B/zh
Priority to TW111147431A priority patent/TWI840006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种印刷电路板缺陷检测模型训练方法及缺陷检测方法,训练方法包括:获取印刷电路板的设计文档信息,设计文档信息包括印刷电路板的区域信息;并利用扫描相机设备对印刷电路板进行扫描,得到印刷电路板的扫描图像;基于印刷电路板的扫描图像和区域信息,生成学习样本,每个学习样本包括样本图像及对应的标签,包括:截取扫描图像中的局部图像,得到样本图像,并对样本图像进行人工打标,其中,人工打标所得到的标签包括区域信息以及缺陷信息;建立样本库,包括按照上述步骤收集并存储基于多个印刷电路板各自生成的学习样本;利用样本库的学习样本,对基础模型进行训练,得到印刷电路板缺陷检测模型。

Description

一种印刷电路板缺陷检测模型训练方法及缺陷检测方法
技术领域
本发明涉及PCB缺陷检测领域,尤其涉及一种印刷电路板缺陷检测模型训练方法及缺陷检测方法。
背景技术
自动光学检测(Automated Optical Inspection,简称AOI)设备现已成为电子制造业确保产品质量的重要检测工具和过程质量控制工具,AOI设备的检测原理为:当自动检测时,AOI设备通过高清CCD摄像头自动扫描PCB产品以采集图像,测试的检测点与数据库中的合格参数进行比较,经过图像处理,检查出被测产品上的缺陷。
通常由AOI设备检测到缺陷后,就会将缺陷信息发送给检修工进行检修。但是AOI设备的检测精度较低,比如电路板上的灰尘或者污点都会被AOI设备误判为缺陷,因此,需要提高现有技术中的PCB缺陷精测精度。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案,其并不必然属于本专利申请的现有技术,也不必然会给出技术教导;在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的目的是提供一种印刷电路板缺陷检测模型的训练方法,以训练得到改进的AI模型,能够精确并快速地识别出电路板的缺陷。
为达到上述目的,本发明采用的技术方案如下:
一种印刷电路板缺陷检测模型训练方法,包括以下步骤:
获取印刷电路板的设计文档信息,所述设计文档信息包括所述印刷电路板的层信息和/或区域块位置信息;并利用扫描相机设备对所述印刷电路板进行扫描,得到所述印刷电路板的扫描图像;
基于所述印刷电路板的扫描图像和设计文档信息,生成一个或多个学习样本,每个学习样本包括样本图像及对应的标签,包括:截取所述扫描图像中的局部图像,得到样本图像,并对所述样本图像进行人工打标,其中,人工打标所得到的标签包括层信息、区域块位置信息中的一种或两种信息以及缺陷信息;
建立样本库,包括按照上述步骤收集并存储基于多个印刷电路板各自生成的学习样本;
利用所述样本库的学习样本,对基础模型进行训练,得到印刷电路板缺陷检测模型。
进一步地,所述基础模型配置有第一学习子模块和第二学习子模块,其中,
所述第一学习子模块基于学习样本中的样本图像和标签中的缺陷信息进行学习训练,得到中间模型;
所述第二学习子模块基于学习样本中的标签,学习所述层信息、区域块位置信息中的一种或两种信息与缺陷信息之间的特征信息;并且,
所述中间模型结合所述第二学习子模块学习到的特征信息,对所述学习样本中的样本图像进行再学习,得到所述印刷电路板缺陷检测模型。
进一步地,所述中间模型结合所述第二学习子模块学习到的特征信息,对所述学习样本中的样本图像进行再学习包括:
若样本图像对应的层信息为电源层或接地层,则所述中间模型的学习目标为将样本图像中的特征学习为非短路的特征。
进一步地,所述中间模型结合所述第二学习子模块学习到的特征信息,对所述学习样本中的样本图像进行再学习包括:
若样本图像对应的层信息为线路层或对应的区域块位置信息为铜面区域,则所述中间模型将学习注意力集中在特定学习样本上,所述特定学习样本的标签中的缺陷信息为有缺陷,且缺陷类型为短路、断路以外的其他类型,或者所述特定学习样本的标签中的缺陷信息为无缺陷。
进一步地,所述中间模型学习所述特定学习样本的方法为:
若所述特定学习样本的样本图像中存在两个分开的铜特征或连接着两根排线的线特征,则弱化该样本图像中两个分开的铜特征的识别力或连接着两根排线的线特征的识别力。
进一步地,所述中间模型结合所述第二学习子模块学习到的特征信息,对所述学习样本中的样本图像进行再学习包括:
若样本图像对应的层信息为线路层或对应的区域块位置信息为铜面区域,则所述中间模型学习缺陷类型为短路的缺陷信息所对应的样本图像的方法为:强化该样本图像中两个分开的铜特征的识别力,或者,强化该样本图像中连接着两根排线的线特征的识别力。
进一步地,所述中间模型结合所述第二学习子模块学习到的特征信息,对所述学习样本中的样本图像进行再学习包括:
若样本图像对应的层信息为线路层或对应的区域块位置信息为铜面区域,则所述中间模型学习缺陷类型为断路的缺陷信息所对应的样本图像的方法为:强化该样本图像中排线上存在缺口的特征的识别力。
进一步地,对所述样本库进行预处理,包括:遍历样本库中的样本图像,若样本图像对应的层信息为线路层或对应的区域块位置信息为铜面区域,则利用图像处理器对该样本图像中的电子器件和铜导线分别标记不同的颜色;
利用完成预处理后的样本库的学习样本,对基础模型进行训练,得到印刷电路板缺陷检测模型。
进一步地,所述扫描相机设备集成在AOI设备上,所述印刷电路板的设计文档信息被输入至所述AOI设备,所述基础模型为所述AOI设备的检测模型或其后端的AI模型。
进一步地,利用所述样本库构建训练集和测试集,利用所述训练集对所述基础模型进行多轮次的训练;
利用所述测试集对训练后的模型进行验证,包括:利用均方差误差损失函数或平均绝对值误差损失函数来计算训练后的模型的损失值;并且根据预测结果与标签一致的预测次数以及预测总次数来计算训练后的模型的准确率;
验证所述损失值和准确率是否均满足预设的训练目标,则将当前训练后的模型作为所述印刷电路板缺陷检测模型;否则利用所述训练集进行迭代训练,直至迭代训练得到的模型的损失值和准确率均通过验证。
根据本发明的另一方面,提供了一种印刷电路板缺陷检测方法,包括以下步骤:
获取待检测的印刷电路板的图像及其层信息和/或区域块位置信息;
将所述印刷电路板的图像及其层信息和/或区域块位置信息输入预先完成训练的印刷电路板缺陷检测模型;
所述印刷电路板缺陷检测模型输出检测结果;
其中,所述印刷电路板缺陷检测模型通过以下步骤完成训练:
获取印刷电路板的设计文档信息,所述设计文档信息包括所述印刷电路板的层信息和/或区域块位置信息;并利用扫描相机设备对所述印刷电路板进行扫描,得到所述印刷电路板的扫描图像;
基于所述印刷电路板的扫描图像和设计文档信息,生成一个或多个学习样本,每个学习样本包括样本图像及对应的标签,包括:截取所述扫描图像中的局部图像,得到样本图像,并对所述样本图像进行人工打标,其中,人工打标所得到的标签包括层信息、区域块位置信息中的一种或两种信息以及缺陷信息;
建立样本库,包括按照上述步骤收集并存储基于多个印刷电路板各自生成的学习样本;
利用所述样本库的学习样本,对基础模型进行训练,所述基础模型配置有第一学习子模块和第二学习子模块,所述第一学习子模块基于学习样本中的样本图像和标签中的缺陷信息进行学习训练,得到中间模型;所述第二学习子模块基于学习样本中的标签,学习所述层信息、区域块位置信息中的一种或两种信息与缺陷信息之间的特征信息;所述中间模型结合所述第二学习子模块学习到的特征信息,对所述学习样本中的样本图像进行再学习,得到所述印刷电路板缺陷检测模型。
进一步地,所述印刷电路板缺陷检测模型通过如上所述的印刷电路板缺陷检测模型训练方法训练得到。
本发明提供的技术方案带来的有益效果如下:
a. 充分利用电路板的区域信息,去学习区域信息与缺陷之间的规律,训练得到改进的AI模型,改进后的AI模型结合电路板的区域信息对电路板图像进行精准识别;
b. 掌握电路板区域与电路板缺陷的关联特征,可以快速排除某些区域不可能存在的缺陷类型,提高缺陷检测效率和检测结果的精准度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一个示例性实施例提供的构思图;
图2为本发明的一个示例性实施例提供的印刷电路板缺陷检测模型训练的流程示意图;
图3为本发明的一个示例性实施例提供的利用电路板区域信息对AI基础模型进行训练的流程示意图;
图4为本发明的一个示例性实施例提供的印刷电路板缺陷检测的信息流图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
在印刷电路板(PCB)缺陷检测中,通常是将电路板的扫描图像输入AI模型,通过图像分析技术去提取图像中的特征,分析是否符合缺陷的特征,也就是说,目前的缺陷检测技术中,仅对电路板图像进行分析检测。本发明提出了一种电路板图像结合其相应区域信息来作出缺陷检测的技术,利用电路板的整层所属区域信息或局部所属区域信息来协助AI模型更快、更准地得出PCB缺陷检测结果。如图1所示,每个电路板/每种类型的电路板均有相应的设计文档,里面会详细记录电路板的各个层信息,以及每层上的分布设计信息,称之为区域块位置信息;在利用AOI设备对电路板进行扫描之前,将设计文档输入AOI设备,AOI设备按照设计文档逐一地对对应的PCB各层进行扫描,本发明实施例中,AOI设备将扫描的PCB图像与相应的PCB区域信息(层信息和/或区域块位置信息)发送给后端的AI模型,AI模型根据这两个输入信息,得到PCB缺陷检测结果,在本发明的一个实施例中,AOI具备缺陷初步识别的功能,相应地,将AOI设备识别到有缺陷的区域截取出来,得到PCB子图像,再传给后端的AI模型。
PCB扫描图像上稍有异常的局部区域被AOI设备识别,根据经验,其中会有被误判的情况,比如一些灰尘或者污点,而被截取出的子图像发送给AI模型,由其结合各个PCB子图像的区域信息对各个PCB子图像进行精确识别,有效排除AOI设备误识别的假缺陷。不同于其他PCB缺陷检测模型,本发明中的AI模型是一种结合区域信息对PCB图像进行AI识别的模型,为此,本发明提出了一种对其训练的方法,如图2所示,印刷电路板缺陷检测模型训练方法包括以下步骤:
获取印刷电路板的设计文档信息,所述设计文档信息包括所述印刷电路板的层信息和/或区域块位置信息;并利用扫描相机设备对所述印刷电路板进行扫描,得到所述印刷电路板的扫描图像;
基于所述印刷电路板的扫描图像和设计文档信息,生成一个或多个学习样本,每个学习样本包括样本图像及对应的标签,包括:截取所述扫描图像中的局部图像,得到样本图像,并对所述样本图像进行人工打标,其中,人工打标所得到的标签包括层信息、区域块位置信息中的一种或两种信息以及缺陷信息;
建立样本库,包括按照上述步骤收集并存储基于多个印刷电路板各自生成的学习样本;
利用所述样本库的学习样本,对基础模型进行训练,得到印刷电路板缺陷检测模型。
利用具有印刷电路板的层信息和/或区域块位置信息(在图3中简称为区域信息)的学习样本,对AI基础模型进行训练的具体方式如下:参见图3,所述基础模型配置有第一学习子模块和第二学习子模块,其中,
所述第一学习子模块基于学习样本中的样本图像和标签中的缺陷信息进行学习训练,得到中间模型;
所述第二学习子模块基于学习样本中的标签,学习所述层信息、区域块位置信息中的一种或两种信息与缺陷信息之间的特征信息;并且,
所述中间模型结合所述第二学习子模块学习到的特征信息,对所述学习样本中的样本图像进行再学习,得到所述印刷电路板缺陷检测模型。
其中,所述中间模型结合所述第二学习子模块学习到的特征信息,对所述学习样本中的样本图像进行再学习包括以下几个方面:
第一方面、第二学习子模块学习到电源层或接地层的PCB图像不存在短路缺陷的特征信息,基于此学习成果,中间模型在学习层信息为电源层或接地层的样本图像时,中间模型的学习目标为将样本图像中的特征学习为非短路的特征。
第二方面、第二学习子模块学习到层信息为线路层或对应的区域块位置信息为铜面区域的图像中,缺陷类型大概率集中在短路、断路两大类型,基于此学习成果,中间模型在学习线路层或对应的区域块位置信息为铜面区域的样本图像时,中间模型将学习注意力集中在特定学习样本上,所述特定学习样本的标签中的缺陷信息为有缺陷,且缺陷类型为短路、断路以外的其他类型,或者所述特定学习样本的标签中的缺陷信息为无缺陷。即对小概率的缺陷类型进行学习,降低将线路层或铜面区域的图像中的缺陷误识别为短路或断路类型的概率,提高识别正确率。
具体地,中间模型学习所述特定学习样本的方法为:若所述特定学习样本的样本图像中存在两个分开的铜特征或连接着两根排线的线特征,则弱化该样本图像中两个分开的铜特征的识别力或连接着两根排线的线特征的识别力。
第三方面、除了第二方面的将学习注意力集中在特定学习样本上,同样也需要对非特定学习样本(即标签中的缺陷信息为短路或断路类型)进行学习,对于短路类型的样本图像,中间模型强化该样本图像中两个分开的铜特征的识别力;或者,中间模型强化该样本图像中连接着两根排线的线特征的识别力。对于断路类型的样本图像,所述中间模型结合所述第二学习子模块学习到的特征信息,强化该样本图像中排线上存在缺口的特征的识别力。
在本发明的一个实施例中,电路板的区域信息可以用来对所述样本库进行预处理,包括:遍历样本库中的样本图像,若样本图像对应的层信息为线路层或对应的区域块位置信息为铜面区域,则利用图像处理器对该样本图像中的电子器件和铜导线分别标记不同的颜色;利用完成预处理后的样本库的学习样本,对基础模型进行训练,得到印刷电路板缺陷检测模型。通过获知哪些区域是电子器件的所在区域,哪些区域是铜导线的所在区域,可以对电子器件和铜导线分别标记不同的颜色,可以使得模型更容易区分电子器件和铜导线,进一步提高缺陷识别的效率和精确度。
在印刷电路板缺陷检测模型的训练过程中,还涉及模型的收敛和验证:利用所述样本库构建训练集和测试集,利用所述训练集对所述基础模型进行多轮次的训练;
利用所述测试集对训练后的模型进行验证,包括:利用均方差误差损失函数或平均绝对值误差损失函数来计算训练后的模型的损失值;并且根据预测结果与标签一致的预测次数以及预测总次数来计算训练后的模型的准确率:
Figure DEST_PATH_IMAGE002
验证所述损失值和准确率是否均满足预设的训练目标,则将当前训练后的模型作为所述印刷电路板缺陷检测模型;否则利用所述训练集进行迭代训练,直至迭代训练得到的模型的损失值和准确率均通过验证。
在本发明的一个实施例中,提供了一种印刷电路板缺陷检测方法,如图4所示,检测方法包括以下步骤:
获取待检测的印刷电路板的图像及其层信息和/或区域块位置信息;
将所述印刷电路板的图像及其层信息和/或区域块位置信息输入预先完成训练的印刷电路板缺陷检测模型;
所述印刷电路板缺陷检测模型输出检测结果;
其中,所述印刷电路板缺陷检测模型通过以下步骤完成训练:
获取印刷电路板的设计文档信息,所述设计文档信息包括所述印刷电路板的层信息和/或区域块位置信息;并利用扫描相机设备对所述印刷电路板进行扫描,得到所述印刷电路板的扫描图像;
基于所述印刷电路板的扫描图像和设计文档信息,生成一个或多个学习样本,每个学习样本包括样本图像及对应的标签,包括:截取所述扫描图像中的局部图像,得到样本图像,并对所述样本图像进行人工打标,其中,人工打标所得到的标签包括层信息、区域块位置信息中的一种或两种信息以及缺陷信息;
建立样本库,包括按照上述步骤收集并存储基于多个印刷电路板各自生成的学习样本;
利用所述样本库的学习样本,对基础模型进行训练,所述基础模型配置有第一学习子模块和第二学习子模块,所述第一学习子模块基于学习样本中的样本图像和标签中的缺陷信息进行学习训练,得到中间模型;所述第二学习子模块基于学习样本中的标签,学习所述层信息、区域块位置信息中的一种或两种信息与缺陷信息之间的特征信息;所述中间模型结合所述第二学习子模块学习到的特征信息,对所述学习样本中的样本图像进行再学习,得到所述印刷电路板缺陷检测模型。
本缺陷检测方法实施例是利用上述训练方法实施例所训练得到的印刷电路板缺陷检测模型对输入的待检测的印刷电路板的图像及其层信息和/或区域块位置信息进行AI识别,进而输出缺陷检测结果。将上述印刷电路板缺陷检测模型训练方法实施例的全部内容通过引入本印刷电路板缺陷检测方法实施例。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种印刷电路板缺陷检测模型训练方法,其特征在于,包括以下步骤:
获取印刷电路板的设计文档信息,所述设计文档信息包括所述印刷电路板的层信息和/或区域块位置信息;并利用扫描相机设备对所述印刷电路板进行扫描,得到所述印刷电路板的扫描图像;
基于所述印刷电路板的扫描图像和设计文档信息,生成一个或多个学习样本,每个学习样本包括样本图像及对应的标签,包括:截取所述扫描图像中的局部图像,得到样本图像,并对所述样本图像进行人工打标,其中,人工打标所得到的标签包括层信息、区域块位置信息中的一种或两种信息以及缺陷信息;
建立样本库,包括按照上述步骤收集并存储基于多个印刷电路板各自生成的学习样本;
利用所述样本库的学习样本,对基础模型进行训练,得到印刷电路板缺陷检测模型,包括:所述基础模型配置有第一学习子模块和第二学习子模块,其中,所述第一学习子模块基于学习样本中的样本图像和标签中的缺陷信息进行学习训练,得到中间模型;所述第二学习子模块基于学习样本中的标签,学习所述层信息、区域块位置信息中的一种或两种信息与缺陷信息之间的特征信息;并且,所述中间模型结合所述第二学习子模块学习到的特征信息,对所述学习样本中的样本图像进行再学习,得到所述印刷电路板缺陷检测模型。
2.根据权利要求1所述的印刷电路板缺陷检测模型训练方法,其特征在于,所述中间模型结合所述第二学习子模块学习到的特征信息,对所述学习样本中的样本图像进行再学习包括:
若样本图像对应的层信息为电源层或接地层,则所述中间模型的学习目标为将样本图像中的特征学习为非短路的特征。
3.根据权利要求1所述的印刷电路板缺陷检测模型训练方法,其特征在于,所述中间模型结合所述第二学习子模块学习到的特征信息,对所述学习样本中的样本图像进行再学习包括:
若样本图像对应的层信息为线路层或对应的区域块位置信息为铜面区域,则所述中间模型将学习注意力集中在特定学习样本上,所述特定学习样本的标签中的缺陷信息为有缺陷,且缺陷类型为短路、断路以外的其他类型,或者所述特定学习样本的标签中的缺陷信息为无缺陷。
4.根据权利要求3所述的印刷电路板缺陷检测模型训练方法,其特征在于,所述中间模型学习所述特定学习样本的方法为:
若所述特定学习样本的样本图像中存在两个分开的铜特征或连接着两根排线的线特征,则弱化该样本图像中两个分开的铜特征的识别力或连接着两根排线的线特征的识别力。
5.根据权利要求1所述的印刷电路板缺陷检测模型训练方法,其特征在于,所述中间模型结合所述第二学习子模块学习到的特征信息,对所述学习样本中的样本图像进行再学习包括:
若样本图像对应的层信息为线路层或对应的区域块位置信息为铜面区域,则所述中间模型学习缺陷类型为短路的缺陷信息所对应的样本图像的方法为:强化该样本图像中两个分开的铜特征的识别力,或者,强化该样本图像中连接着两根排线的线特征的识别力。
6.根据权利要求1所述的印刷电路板缺陷检测模型训练方法,其特征在于,所述中间模型结合所述第二学习子模块学习到的特征信息,对所述学习样本中的样本图像进行再学习包括:
若样本图像对应的层信息为线路层或对应的区域块位置信息为铜面区域,则所述中间模型学习缺陷类型为断路的缺陷信息所对应的样本图像的方法为:强化该样本图像中排线上存在缺口的特征的识别力。
7.根据权利要求1至6中任一项所述的印刷电路板缺陷检测模型训练方法,其特征在于,对所述样本库进行预处理,包括:遍历样本库中的样本图像,若样本图像对应的层信息为线路层或对应的区域块位置信息为铜面区域,则利用图像处理器对该样本图像中的电子器件和铜导线分别标记不同的颜色;
利用完成预处理后的样本库的学习样本,对基础模型进行训练,得到印刷电路板缺陷检测模型。
8.根据权利要求1至6中任一项所述的印刷电路板缺陷检测模型训练方法,其特征在于,所述扫描相机设备集成在AOI设备上,所述印刷电路板的设计文档信息被输入至所述AOI设备,所述基础模型为所述AOI设备的检测模型或其后端的AI模型。
9.根据权利要求1至6中任一项所述的印刷电路板缺陷检测模型训练方法,其特征在于,利用所述样本库构建训练集和测试集,利用所述训练集对所述基础模型进行多轮次的训练;
利用所述测试集对训练后的模型进行验证,包括:利用均方差误差损失函数或平均绝对值误差损失函数来计算训练后的模型的损失值;并且根据预测结果与标签一致的预测次数以及预测总次数来计算训练后的模型的准确率;
验证所述损失值和准确率是否均满足预设的训练目标,则将当前训练后的模型作为所述印刷电路板缺陷检测模型;否则利用所述训练集进行迭代训练,直至迭代训练得到的模型的损失值和准确率均通过验证。
10.一种印刷电路板缺陷检测方法,其特征在于,包括以下步骤:
获取待检测的印刷电路板的图像及其层信息和/或区域块位置信息;
将所述印刷电路板的图像及其层信息和/或区域块位置信息输入预先完成训练的印刷电路板缺陷检测模型;
所述印刷电路板缺陷检测模型输出检测结果;
其中,所述印刷电路板缺陷检测模型通过以下步骤完成训练:
获取印刷电路板的设计文档信息,所述设计文档信息包括所述印刷电路板的层信息和/或区域块位置信息;并利用扫描相机设备对所述印刷电路板进行扫描,得到所述印刷电路板的扫描图像;
基于所述印刷电路板的扫描图像和设计文档信息,生成一个或多个学习样本,每个学习样本包括样本图像及对应的标签,包括:截取所述扫描图像中的局部图像,得到样本图像,并对所述样本图像进行人工打标,其中,人工打标所得到的标签包括层信息、区域块位置信息中的一种或两种信息以及缺陷信息;
建立样本库,包括按照上述步骤收集并存储基于多个印刷电路板各自生成的学习样本;
利用所述样本库的学习样本,对基础模型进行训练,所述基础模型配置有第一学习子模块和第二学习子模块,所述第一学习子模块基于学习样本中的样本图像和标签中的缺陷信息进行学习训练,得到中间模型;所述第二学习子模块基于学习样本中的标签,学习所述层信息、区域块位置信息中的一种或两种信息与缺陷信息之间的特征信息;所述中间模型结合所述第二学习子模块学习到的特征信息,对所述学习样本中的样本图像进行再学习,得到所述印刷电路板缺陷检测模型。
CN202210694133.8A 2022-06-20 2022-06-20 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法 Active CN114782431B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210694133.8A CN114782431B (zh) 2022-06-20 2022-06-20 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法
TW111147431A TWI840006B (zh) 2022-06-20 2022-12-09 印刷電路板缺陷檢測模型訓練方法及缺陷檢測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210694133.8A CN114782431B (zh) 2022-06-20 2022-06-20 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法

Publications (2)

Publication Number Publication Date
CN114782431A CN114782431A (zh) 2022-07-22
CN114782431B true CN114782431B (zh) 2022-10-14

Family

ID=82421972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210694133.8A Active CN114782431B (zh) 2022-06-20 2022-06-20 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法

Country Status (2)

Country Link
CN (1) CN114782431B (zh)
TW (1) TWI840006B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116967615B (zh) * 2023-07-31 2024-04-12 上海感图网络科技有限公司 电路板复检打标方法、装置、设备及存储介质
CN118762222B (zh) * 2024-06-27 2025-05-02 昆山龙雨智能科技有限公司 一种基于自学习模型的产品分类方法及装置
CN119067972B (zh) * 2024-11-04 2025-03-28 深圳思谋信息科技有限公司 缺陷检测模型训练方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109239102A (zh) * 2018-08-21 2019-01-18 南京理工大学 一种基于cnn的柔性电路板外观缺陷检测方法
CN111862067A (zh) * 2020-07-28 2020-10-30 中山佳维电子有限公司 一种焊接缺陷检测方法、装置、电子设备以及存储介质
CN114549512A (zh) * 2022-03-01 2022-05-27 成都数之联科技股份有限公司 一种电路板缺陷检测方法、装置、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110579479B (zh) * 2019-08-09 2024-07-16 苏州康代智能科技股份有限公司 一种基于假点缺陷检测的pcb检修系统及检修方法
US11810284B2 (en) * 2020-08-21 2023-11-07 Kla Corporation Unsupervised learning for repeater-defect detection
TWI755953B (zh) * 2020-12-01 2022-02-21 凌華科技股份有限公司 自動檢測系統及其操作方法
TWI772989B (zh) * 2020-12-01 2022-08-01 由田新技股份有限公司 基板資訊分析系統及方法
CN114445365B (zh) * 2022-01-25 2025-04-25 深圳市中钞科信金融科技有限公司 基于深度学习算法的钞票印刷质量检查方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109239102A (zh) * 2018-08-21 2019-01-18 南京理工大学 一种基于cnn的柔性电路板外观缺陷检测方法
CN111862067A (zh) * 2020-07-28 2020-10-30 中山佳维电子有限公司 一种焊接缺陷检测方法、装置、电子设备以及存储介质
CN114549512A (zh) * 2022-03-01 2022-05-27 成都数之联科技股份有限公司 一种电路板缺陷检测方法、装置、设备及介质

Also Published As

Publication number Publication date
TWI840006B (zh) 2024-04-21
CN114782431A (zh) 2022-07-22
TW202402117A (zh) 2024-01-01

Similar Documents

Publication Publication Date Title
CN114782431B (zh) 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法
CN112053318B (zh) 基于深度学习的二维pcb缺陷实时自动检测与分类装置
Mahalingam et al. Pcb-metal: A pcb image dataset for advanced computer vision machine learning component analysis
CN114004815B (zh) 一种pcba外观检测方法及装置
WO2023080587A1 (ko) 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법
KR20200006028A (ko) 인쇄 회로 기판 검사 장치, 스크린 프린터의 결함 유형 결정 방법 및 컴퓨터 판독 가능한 기록 매체
CN116718600B (zh) 一种用于对线束产品进行智能化检测的检测装置
Londe et al. Automatic PCB defects detection and classification using MATLAB
CN119574582B (zh) 一种基于ai图像识别的smt表面缺陷视觉检测装置
Leta et al. Computer vision system for printed circuit board inspection
Khare et al. PCB-fire: Automated classification and fault detection in PCB
CN113191362A (zh) 一种变电设备油渗漏缺陷检测装置及方法
CN118212350A (zh) 电路板组件的建模方法、建模装置和计算机可读存储介质
Anitha et al. Solder joint defect detection in PCBA chip components based on the histogram analysis
JP7423368B2 (ja) 不良検出装置及び不良検出方法
CN117011878A (zh) 控制柜智能视觉识别检测方法、系统
KR20230138869A (ko) 검사 시스템, 교사 데이터 생성 장치, 교사 데이터 생성 방법 및 기록 매체에 기록된 프로그램
CN115937555A (zh) 一种基于标准化流模型的工业缺陷检测算法
EP4358020A1 (en) Method of detecting errors in the placement of elements in the pcb
JPH10302049A (ja) 画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体
CN115035101B (zh) 半导体芯片载板的缺陷验证方法、检测方法及aoi设备
Singh et al. Automatic detection of pcb defects
Snehith et al. Convolutional neural network for printed circuit board verification
CN111539933B (zh) 一种直插元件检测方法及系统
JP2024110453A (ja) 検査装置および検査方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant