[go: up one dir, main page]

CN113222913B - 一种电路板缺陷检测定位方法、装置和存储介质 - Google Patents

一种电路板缺陷检测定位方法、装置和存储介质 Download PDF

Info

Publication number
CN113222913B
CN113222913B CN202110463780.3A CN202110463780A CN113222913B CN 113222913 B CN113222913 B CN 113222913B CN 202110463780 A CN202110463780 A CN 202110463780A CN 113222913 B CN113222913 B CN 113222913B
Authority
CN
China
Prior art keywords
circuit board
image
defect
defect part
whole
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110463780.3A
Other languages
English (en)
Other versions
CN113222913A (zh
Inventor
曾凯
贾建梅
陈宏君
李响
王翔
刘国伟
刘坤
叶立文
顾欢欢
张敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NR Electric Co Ltd
NARI Group Corp
Original Assignee
NR Electric Co Ltd
NARI Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NR Electric Co Ltd, NARI Group Corp filed Critical NR Electric Co Ltd
Priority to CN202110463780.3A priority Critical patent/CN113222913B/zh
Publication of CN113222913A publication Critical patent/CN113222913A/zh
Application granted granted Critical
Publication of CN113222913B publication Critical patent/CN113222913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

本发明公开一种电路板缺陷检测定位方法、装置和存储介质，方法包括：利用机器学习算法对电路板进行缺陷检测，得到存在缺陷的电路板的缺陷部位图像信息，存储缺陷部位元件名称；将缺陷部位的局部放大图像输入预先训练的深度学习网络检测模型，得到其异常类型信息以及异常位置区域；获取待检测电路板的元件实际坐标文件数据，以及预先确定的电路板整板图像中元件像素坐标与元件实际坐标之间的关系表达式；根据缺陷部位元件名称和关系表达式，计算缺陷部位在电路板整板图像中的像素坐标；最后将缺陷部位的异常类型以及异常位置区域信息，和缺陷部位在电路板整板图像中的定位位置输出至人机交互界面。利用本发明能够快速定位和展示电路板上的缺陷位置，提高板卡检测的效率和可靠性。

Description

一种电路板缺陷检测定位方法、装置和存储介质
技术领域
本发明涉及电路板板卡缺陷检测技术领域，特别是一种电路板缺陷检测定位方法、装置和存储介质。
背景技术
在PCB焊接检测中自动光学检测技术的应用由来已久，当前正在从传统的机器视觉方法转变到基于深度学习技术来检测焊接缺陷，在实际应用中取得了较好的效果。由于PCB板上元件的集成度非常高，元件尺寸很小，目前焊接缺陷检测仪器导出的图像一般是用缺陷区域特写的方式来处理。该局部图可以体现基于传统机器视觉方法检测出的焊接缺陷情况，但是往往存在准确率不高、阈值参数不好设置等问题。运用基于深度学习图像检测技术对缺陷图进行二次智能分析，可以大大提升检测的准确率，提升检测效率。但是在实际应用过程中，虽然智能分析方法可以对图像中的缺陷进行分类及缺陷位置识别，但是由于分析的目标图像是缺陷的局部图，生产人员仍然需要根据缺陷局部图去PCB整板图中凭经验或者肉眼定位识别。
发明内容
本发明的目的是提供一种电路板缺陷检测定位方法，能够快速定位和展示电路板上的缺陷位置，方便生产人员的检查，提高板卡检测的效率和可靠性。本发明采用的技术方案如下。
一方面，本发明提供一种电路板缺陷检测定位方法，包括：
利用机器学习算法对电路板进行缺陷检测，得到存在缺陷的电路板的缺陷部位图像信息，存储缺陷部位元件名称；
获取缺陷部位的局部放大图像，输入预先训练的深度学习网络检测模型，得到缺陷部位的异常类型信息以及异常位置区域；
获取待检测电路板的元件实际坐标文件数据，以及预先确定的电路板整板图像中元件像素坐标与元件实际坐标之间的关系表达式；
根据已存储的缺陷部位元件名称和元件实际坐标文件数据，确定缺陷部位的实际坐标；
根据缺陷部位的实际坐标和所述关系表达式，计算缺陷部位在电路板整板图像中的像素坐标，以确定缺陷部位在电路板整板图像中的定位位置；
将通过深度学习网络检测模型得到的缺陷部位的异常类型信息以及异常位置区域，和缺陷部位在电路板整板图像中的定位位置输出至人机交互界面。
以上技术方案，机器学习算法可采用现有算法。深度学习网络检测模型可采用YOLO系列、SSD系列等常用的目标检测算法，通过采集大量焊接异常图像样本数据并进行训练得到PCB焊接异常检测模型，以将需要进行智能化图像分析的电路板局部图为输入，进行二次校验分析得到输入的局部图像中焊接异常的异常分类、异常位置等。
本发明通过将传统机器学习算法与深度学习算法进行结合，能够实现对电路板进行不同层次的缺陷检测，对于仅有少量电路板存在缺陷的情形，仅需经过机器学习算法即可筛出无需进一步检测的电路板，再对存在缺陷或可能存在缺陷的电路板通过深度学习网络进行深入的检测，得到缺陷部位的异常类型信息以及具体异常位置区域。能够大大减少电路板缺陷检测的计算负荷，提高检测效率特别是提高批量电路板缺陷检测的效率。
可选的，所述电路板整板图像中元件像素坐标与元件实际坐标之间的关系表达式的确定包括：
获取待检测电路板的整板图像及其元件坐标文件数据，所述元件坐标文件数据包括各元件名称及其对应的元件在电路板上的实际坐标；
获取外部输入的对于待检测电路板整板图像中各元件的标注数据，所述标注数据包括元件名称信息以及元件像素坐标信息；
根据元件坐标文件数据以及标注数据中的元件名称，将各元件在电路板整板图像中的像素坐标与在元件坐标文件中的实际坐标进行关联，得到元件像素坐标与元件实际坐标之间的关系表达式。
可选的，所述标注数据的获取包括：
通过人机界面分别输出元件可供选择的电路板整板图像，以及各元件名称可供选择的元件名称列表；
接收用户对电路板整板图像和元件名称列表的选择操作信息，获取被选择的电路板整板图像中的像素坐标，和被选择的元件名称，将被选择的像素坐标作为被选择的元件在电路板整板图像中的像素坐标，得到电路板上多个元件在电路板整板图像中的像素坐标。
可选的，用户通过人机界面选择电路板整板图像上的元件时，首先点选图像上元件的中心区域，然后从元件名称列表中选择对应的元件名称。可使得缺陷检测定位结果输出时显示更加准确，方便观察。
可选的，所述标注数据包括至少三个元件在电路板整板图像中的像素坐标和元件名称信息；
所述根据元件坐标文件数据以及标注数据中的元件名称，将各元件在电路板整板图像中的像素坐标与在元件坐标文件中的实际坐标进行关联，得到元件像素坐标与元件实际坐标之间的关系表达式，包括：
定义关系表达式为：
其中yp表示图像中某元件的像素y坐标值，yf表示坐标文件中某元件的实际y坐标值，xp表示图像中某元件的像素x坐标值，xf表示坐标文件中某元件的实际x坐标值，k1、k2、b1、b2为一元线性回归方程的参数；
获取标注数据中已得到像素坐标的至少三个元件在元件坐标文件中的实际坐标，将所述至少三个元件的像素坐标和实际坐标带入所定义的关系表达式，计算得到k1、k2、b1、b2，则得到关系表达式。
可选的，本发明将通过深度学习网络检测模型得到的缺陷部位的异常类型信息以及异常位置区域，和缺陷部位在电路板整板图像中的定位位置输出至人机交互界面时，采用并列展示的输出形式；
输出内容包括：缺陷部位的局部图像，局部图像中用矩形框包围的异常位置区域，缺陷部位的异常类型，以及缺陷部位元件的像素坐标位置用明显标记来标识的电路板整板图像。
第二方面，本发明提供一种电路板缺陷检测定位装置，包括：
缺陷电路板筛选模块，被配置用于利用机器学习算法对电路板进行缺陷检测，得到存在缺陷的电路板的缺陷部位图像信息，存储缺陷部位元件名称；
局部异常检测模块，被配置用于获取缺陷部位的局部放大图像，输入预先训练的深度学习网络检测模型，得到缺陷部位的异常类型信息以及异常位置区域；
缺陷定位模块，被配置用于：获取待检测电路板的元件实际坐标文件数据，以及预先确定的电路板整板图像中元件像素坐标与元件实际坐标之间的关系表达式；根据已存储的缺陷部位元件名称和元件实际坐标文件数据，确定缺陷部位的实际坐标；根据缺陷部位的实际坐标和所述关系表达式，计算缺陷部位在电路板整板图像中的像素坐标，以确定缺陷部位在电路板整板图像中的定位位置；
以及检测定位结果输出模块，被配置用于将通过深度学习网络检测模型得到的缺陷部位的异常类型信息以及异常位置区域，和缺陷部位在电路板整板图像中的定位位置输出至人机交互界面。
第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面所述电路板缺陷检测定位方法的步骤。
有益效果
本发明将传统机器学习与深度学习进行结合，首先利用传统及其学习算法筛选含有焊接缺陷的电路板，然后利用基于深度学习的图像分析技术对PCB焊接缺陷局部图进行分析，确定局部图中焊接是否确实存在异常以及异常种类、异常位置信息。基于对PCB整板图像文件的标注以及元件的实际坐标文件，采用一元线性回归算法计算出整板图中元件像素坐标与坐标文件中元件实际坐标之间的关联函数，进而根据元件名称和所述关联函数即可推算出缺陷部位元件在PCB整板图像中的准确位置，并在桌面应用程序界面中并行显示缺陷识别结果及缺陷部位元件在PCB整板图中的定位信息，避免了人工凭经验或者人工目检导致的检测效率低下，且检测定位结果的可靠性较高，能够大幅提升电路板的生产效率。
附图说明
图1所示为本发明电路板缺陷检测定位方法的一种实施方式流程示意图；
图2所示为利用本发明方法的一种对PCB整板图中元件进行标记获取像素坐标的界面示意图；
图3所示为利用本发明方法的一种PCB焊接缺陷检测系统主界面示意图。
具体实施方式
以下结合附图和具体实施例进一步描述。
实施例1
参考图1所示，本实施例介绍一种电路板缺陷检测定位方法，包括：
利用机器学习算法对电路板进行缺陷检测，得到存在缺陷的电路板的缺陷部位图像信息，存储缺陷部位元件名称；
获取缺陷部位的局部放大图像，输入预先训练的深度学习网络检测模型，得到缺陷部位的异常类型信息以及异常位置区域；
获取待检测电路板的元件实际坐标文件数据，以及预先确定的电路板整板图像中元件像素坐标与元件实际坐标之间的关系表达式；
根据已存储的缺陷部位元件名称和元件实际坐标文件数据，确定缺陷部位的实际坐标；
根据缺陷部位的实际坐标和所述关系表达式，计算缺陷部位在电路板整板图像中的像素坐标，以确定缺陷部位在电路板整板图像中的定位位置；
将通过深度学习网络检测模型得到的缺陷部位的异常类型信息以及异常位置区域，和缺陷部位在电路板整板图像中的定位位置输出至人机交互界面。
本实施例中，机器学习算法可采用传统机器学习算法算法。深度学习网络检测模型可采用YOLO系列、SSD系列等常用的目标检测算法，通过采集大量焊接异常图像样本数据并进行训练得到PCB焊接异常检测模型，以将需要进行智能化图像分析的电路板局部图为输入，进行二次校验分析得到输入的局部图像中焊接异常的异常分类、异常位置等。
通过将传统机器学习算法与深度学习算法进行结合，本实施例能够实现对电路板进行不同层次的缺陷检测，对与存在缺陷或可能存在缺陷的电路板才需要通过深度学习网络进行深入的检测，因此能够大大减少电路板缺陷检测的计算负荷，提高检测效率特别是提高批量电路板缺陷检测的效率。
实施例1-1
与实施例1基于相同的发明构思，在实施例1的基础上，本实施例实现电路板焊接缺陷的检测定位过程具体如下所述。以下过程中电路板以最常见的PCB板为例进行说明。
一、传统机器学习算法进行缺陷PCB筛选
作为初始检测策略，利用传统机器学习算法进行检测可以初步筛查判断PCB板上焊接的器件引脚是否存在虚焊、桥接、焊锡过少、焊锡过多等焊接异常的问题。
若存在PCB焊接缺陷，传统机器学习算法可获得缺陷部位信息并输出，缺陷部位的元件名称信息可进一步由计算机根据预设元件名称与位置坐标的对应信息得到，或者由用户根据传统机器学习算法的输出来确定，用于后续的检测和定位。计算机可对缺陷部位进行局部放大处理，得到缺陷部位的局部放大图像，作为后续深度识别模型的输入图像。
二、深度识别网络检测模型进行异常类型和异常位置区域识别
可以采用YOLO系列、SSD系列等常用的目标检测算法，通过采集大量焊接异常图像样本数据并进行训练得到PCB焊接异常检测模型。将初次筛选得到的可能存在焊接缺陷的PCB元件局部放大图像作为输入，分析得到输入图像中是否确实存在焊接异常，以及异常所属分类、异常位置等。
目标检测领域的深度学习方法主要分为两类：two stage的目标检测算法；onestage的目标检测算法。前者是先由算法生成一系列作为样本的候选框，再通过卷积神经网络进行样本分类；后者则不用产生候选框，直接将目标边框定位的问题转化为回归问题处理。正是由于两种方法的差异，在性能上也有不同，一般来说前者在检测准确率和定位精度上占优，后者在算法速度上占优。本实施例中，采用的是YOLO系列或者SSD系列目标检测算法，它们虽然属于one stage的目标检测算法，但是随着算法的迭代更新，在实际运用过程中表现出准确率和速度上都非常优秀的特性。
三、缺陷部位元件的定位
要实现对已识别的缺陷部位在PCB整板图像中进行定位，关键在于将元件在PCB板中的实际坐标与元件在PCB板图像中的像素坐标进行关联，本实施例通过以下方式实现坐标关联。
3.1在桌面应用程序界面中导入PCB焊接异常局部图所属的PCB整板图像文件，并导入PCB元件坐标文本文件。PCB整板图像文件，是PCB板设计完毕后，通过高清摄像设备所采集的高像素图像文件，即PCB板的整体外观图。在桌面应用程序界面中导入的PCB整板图像文件可以是采集的原图，或者是原图经过裁切、翻转、缩放等处理后的图片。PCB元件坐标文本文件也是在设计完成阶段后导出的，它记录了在某个坐标系下各焊接元件的分布位置信息，包含元件名称、元件的横向纵向坐标。
3.2由用户在PCB整板图像界面中点击以标记若干枚元件的位置，从而获取多组包含元件名称及对应图像坐标的标注数据。参考图2所示，PCB整板图像界面是指在桌面应用程序中提供了展示PCB整板图的完整图像的界面。在标记时，用户优选为点击整板图中元件的中心区域，然后可在候选列表中选择当前点击元件的名称，计算机即可得到标记元件的名称及图像坐标信息。元件名称候选列表可来源于导入的PCB元件坐标文本文件中提取的元件名称的集合。
3.3根据获取的多个元件的图像坐标，以及元件在PCB元件坐标文本文件中的实际坐标，利用一元线性回归算法进行元件像素坐标与是坐标的拟合。
关联关系表达式可以表示为：
其中yp表示图像中某元件的像素y坐标值，yf表示坐标文件中某元件的实际y坐标值，xp表示图像中某元件的像素x坐标值，xf表示坐标文件中某元件的实际x坐标值，k1、k2、b1、b2为一元线性回归方程的参数。
通过三组或以上的元件像素坐标和实际坐标信息，即可拟合出y坐标、x坐标的线性图，计算得到k1、k2、b1、b2的参数值，从而确定关联关系表达式。
3.4关联关系表达式确定后，即可根据传统机器学习算法后已存储的缺陷部位元件名称，查找元件实际坐标文件，得到缺陷部位元件的实际坐标；
然后根据缺陷部位元件的实际坐标和关系表达式，计算缺陷部位元件在电路板整板图像中的像素坐标，以确定缺陷部位元件在电路板整板图像中的定位位置。
四、检测定位结果的输出
如图3所示，本实施例在桌面应用程序界面中并列展示PCB焊接缺陷局部图像的智能识别结果以及该局部图像在PCB整板图中的定位位置。智能识别结果包含了局部图像、焊接缺陷的类型、缺陷区域的矩形包围框等信息；局部图像在PCB整板图中的定位位置，采用在PCB整板图像中绘制明显标记来标识计算出的元件像素坐标的位置。将智能识别结果与局部图像在PCB整板图中定位图进行并列展示，达到可以在PCB整板上快速掌握异常位置的目的。
实施例2
本实施例介绍一种电路板缺陷检测定位装置，包括：
缺陷电路板筛选模块，被配置用于利用机器学习算法对电路板进行缺陷检测，得到存在缺陷的电路板的缺陷部位图像信息，存储缺陷部位元件名称；
局部异常检测模块，被配置用于获取缺陷部位的局部放大图像，输入预先训练的深度学习网络检测模型，得到缺陷部位的异常类型信息以及异常位置区域；
缺陷定位模块，被配置用于：获取待检测电路板的元件实际坐标文件数据，以及预先确定的电路板整板图像中元件像素坐标与元件实际坐标之间的关系表达式；根据已存储的缺陷部位元件名称和元件实际坐标文件数据，确定缺陷部位的实际坐标；根据缺陷部位的实际坐标和所述关系表达式，计算缺陷部位在电路板整板图像中的像素坐标，以确定缺陷部位在电路板整板图像中的定位位置；
以及检测定位结果输出模块，被配置用于将通过深度学习网络检测模型得到的缺陷部位的异常类型信息以及异常位置区域，和缺陷部位在电路板整板图像中的定位位置输出至人机交互界面。
以上各功能模块的具体功能实现参考实施例1-1的相关内容。
实施例3
本实施例介绍一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如实施例1所述的电路板缺陷检测定位方法的内容。
综上实施例，本发明能够实现快速定位和展示电路板上的缺陷位置，方便生产人员的检查，提高板卡检测的效率和可靠性。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (6)

1.一种电路板缺陷检测定位方法，其特征是，包括：
利用机器学习算法对电路板进行缺陷检测，得到存在缺陷的电路板的缺陷部位图像信息，存储缺陷部位元件名称；
获取缺陷部位的局部放大图像，输入预先训练的深度学习网络检测模型，得到缺陷部位的异常类型信息以及异常位置区域；
获取待检测电路板的元件实际坐标文件数据，以及预先确定的电路板整板图像中元件像素坐标与元件实际坐标之间的关系表达式；
根据已存储的缺陷部位元件名称和元件实际坐标文件数据，确定缺陷部位的实际坐标；
根据缺陷部位的实际坐标和所述关系表达式，计算缺陷部位在电路板整板图像中的像素坐标，以确定缺陷部位在电路板整板图像中的定位位置；
将通过深度学习网络检测模型得到的缺陷部位的异常类型信息以及异常位置区域，和缺陷部位在电路板整板图像中的定位位置输出至人机交互界面；
其中，所述关系表达式的确定包括：
获取待检测电路板的整板图像及其元件坐标文件数据，所述元件坐标文件数据包括各元件名称及其对应的元件在电路板上的实际坐标；
获取外部输入的对于待检测电路板整板图像中各元件的标注数据，所述标注数据包括元件名称信息以及元件像素坐标信息；
根据元件坐标文件数据以及标注数据中的元件名称，将各元件在电路板整板图像中的像素坐标与在元件坐标文件中的实际坐标进行关联，得到元件像素坐标与元件实际坐标之间的关系表达式；
所述标注数据的获取包括：
通过人机界面分别输出元件可供选择的电路板整板图像，以及各元件名称可供选择的元件名称列表；
接收用户对电路板整板图像和元件名称列表的选择操作信息，获取被选择的电路板整板图像中的像素坐标，和被选择的元件名称，将被选择的像素坐标作为被选择的元件在电路板整板图像中的像素坐标，得到电路板上多个元件在电路板整板图像中的像素坐标。
2.根据权利要求1所述的方法，其特征是，用户通过人机界面选择电路板整板图像上的元件时，首先点选图像上元件的中心区域，然后从元件名称列表中选择对应的元件名称。
3.根据权利要求1或2所述的方法，其特征是，所述标注数据包括至少三个元件在电路板整板图像中的像素坐标和元件名称信息；
所述根据元件坐标文件数据以及标注数据中的元件名称，将各元件在电路板整板图像中的像素坐标与在元件坐标文件中的实际坐标进行关联，得到元件像素坐标与元件实际坐标之间的关系表达式，包括：
定义关系表达式为：，
其中y p 表示图像中某元件的像素y坐标值，y f 表示坐标文件中某元件的实际y坐标值，x p 表示图像中某元件的像素x坐标值，x f 表示坐标文件中某元件的实际x坐标值，k1、k2、b1、b2为一元线性回归方程的参数；
获取标注数据中已得到像素坐标的至少三个元件在元件坐标文件中的实际坐标，将所述至少三个元件的像素坐标和实际坐标带入所定义的关系表达式，计算得到k1、k2、b1、b2，则得到关系表达式。
4.根据权利要求1所述的方法，其特征是，通过深度学习网络检测模型得到的缺陷部位的异常类型信息以及异常位置区域，和缺陷部位在电路板整板图像中的定位位置输出至人机交互界面时，采用并列展示的输出形式；
输出内容包括：缺陷部位的局部图像，局部图像中用矩形框包围的异常位置区域，缺陷部位的异常类型，以及缺陷部位元件的像素坐标位置用明显标记来标识的电路板整板图像。
5.一种电路板缺陷检测定位装置，其特征是，包括：
缺陷电路板筛选模块，被配置用于利用机器学习算法对电路板进行缺陷检测，得到存在缺陷的电路板的缺陷部位图像信息，存储缺陷部位元件名称；
局部异常检测模块，被配置用于获取缺陷部位的局部放大图像，输入预先训练的深度学习网络检测模型，得到缺陷部位的异常类型信息以及异常位置区域；
缺陷定位模块，被配置用于：获取待检测电路板的元件实际坐标文件数据，以及预先确定的电路板整板图像中元件像素坐标与元件实际坐标之间的关系表达式；根据已存储的缺陷部位元件名称和元件实际坐标文件数据，确定缺陷部位的实际坐标；根据缺陷部位的实际坐标和所述关系表达式，计算缺陷部位在电路板整板图像中的像素坐标，以确定缺陷部位在电路板整板图像中的定位位置；
以及检测定位结果输出模块，被配置用于将通过深度学习网络检测模型得到的缺陷部位的异常类型信息以及异常位置区域，和缺陷部位在电路板整板图像中的定位位置输出至人机交互界面；
其中，所述关系表达式的确定包括：
获取待检测电路板的整板图像及其元件坐标文件数据，所述元件坐标文件数据包括各元件名称及其对应的元件在电路板上的实际坐标；
获取外部输入的对于待检测电路板整板图像中各元件的标注数据，所述标注数据包括元件名称信息以及元件像素坐标信息；
根据元件坐标文件数据以及标注数据中的元件名称，将各元件在电路板整板图像中的像素坐标与在元件坐标文件中的实际坐标进行关联，得到元件像素坐标与元件实际坐标之间的关系表达式；
所述标注数据的获取包括：
通过人机界面分别输出元件可供选择的电路板整板图像，以及各元件名称可供选择的元件名称列表；
接收用户对电路板整板图像和元件名称列表的选择操作信息，获取被选择的电路板整板图像中的像素坐标，和被选择的元件名称，将被选择的像素坐标作为被选择的元件在电路板整板图像中的像素坐标，得到电路板上多个元件在电路板整板图像中的像素坐标。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该计算机程序被处理器执行时，实现如权利要求1-4任一项所述电路板缺陷检测定位方法的步骤。
CN202110463780.3A 2021-04-28 2021-04-28 一种电路板缺陷检测定位方法、装置和存储介质 Active CN113222913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110463780.3A CN113222913B (zh) 2021-04-28 2021-04-28 一种电路板缺陷检测定位方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110463780.3A CN113222913B (zh) 2021-04-28 2021-04-28 一种电路板缺陷检测定位方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN113222913A CN113222913A (zh) 2021-08-06
CN113222913B true CN113222913B (zh) 2024-04-12

Family

ID=77089412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110463780.3A Active CN113222913B (zh) 2021-04-28 2021-04-28 一种电路板缺陷检测定位方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN113222913B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022407A (zh) * 2021-09-18 2022-02-08 国营芜湖机械厂 一种基于红外热像和深度学习的电路板智能检测诊断方法
CN113888533A (zh) * 2021-11-17 2022-01-04 京东方科技集团股份有限公司 显示面板的缺陷识别装置、方法、电子设备及介质
CN114324350A (zh) * 2021-12-10 2022-04-12 巢湖学院 基于机器视觉的五孔插座面板缺陷智能检测方法及系统
CN114463331A (zh) * 2022-04-12 2022-05-10 四川英创力电子科技股份有限公司 印制电路板aoi检修报表自动生成方法及装置
CN116500048B (zh) * 2023-06-28 2023-09-15 四川联畅信通科技有限公司 一种线缆卡具缺陷检测方法、装置、设备及介质
CN117710306B (zh) * 2023-12-13 2024-07-26 江苏宜兴德融科技有限公司 用于半导体器件缺陷的定位方法、处理器及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871895A (zh) * 2019-02-22 2019-06-11 北京百度网讯科技有限公司 电路板的缺陷检测方法和装置
CN109886950A (zh) * 2019-02-22 2019-06-14 北京百度网讯科技有限公司 电路板的缺陷检测方法和装置
CN111768363A (zh) * 2020-05-13 2020-10-13 华南农业大学 基于深度学习的电路板表面缺陷检测方法及检测系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2296143A1 (fr) * 2000-01-18 2001-07-18 9071 9410 Quebec Inc. Systeme d'inspection optique

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871895A (zh) * 2019-02-22 2019-06-11 北京百度网讯科技有限公司 电路板的缺陷检测方法和装置
CN109886950A (zh) * 2019-02-22 2019-06-14 北京百度网讯科技有限公司 电路板的缺陷检测方法和装置
CN111768363A (zh) * 2020-05-13 2020-10-13 华南农业大学 基于深度学习的电路板表面缺陷检测方法及检测系统

Also Published As

Publication number Publication date
CN113222913A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN111091538B (zh) 一种管道焊缝自动识别、缺陷检测方法及装置
CN109671058B (zh) 一种大分辨率图像的缺陷检测方法及系统
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
JP5718781B2 (ja) 画像分類装置および画像分類方法
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN101915769A (zh) 一种印刷电路板中带电阻元件的自动光学检测方法
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
JP2011158373A (ja) 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
TW202127014A (zh) 智能產線監測系統及監測方法
CN1323369C (zh) 图像识别装置和方法以及图像识别装置的示教装置和方法
CN114627089B (zh) 缺陷识别方法、装置、计算机设备及计算机可读存储介质
CN103150558B (zh) 一种基于机器视觉的显示终端操作响应匹配检测方法
TWI715051B (zh) 機器學習方法及應用機器學習方法的自動光學檢測設備
WO2017107533A1 (zh) 一种电子元件样本标注方法及装置
TW202449740A (zh) 缺陷檢測模型的訓練方法、缺陷影像分類方法、裝置及電子設備
CN109685756A (zh) 影像特征自动辨识装置、系统及方法
CN114429445A (zh) 一种基于MAIRNet的PCB缺陷检测与识别方法
TW202219494A (zh) 缺陷檢測方法及檢測裝置
CN114240928B (zh) 板卡质量的分区检测方法、装置、设备及可读存储介质
CN118397285B (zh) 一种数据标注方法、装置、计算设备及计算机存储介质
CN113420839B (zh) 用于堆叠平面目标物体的半自动标注方法及分割定位系统
CN117593244A (zh) 一种基于改进注意力机制的膜产品缺陷检测方法
CN118446984B (zh) 一种珐琅彩瓷的缺陷检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant