[go: up one dir, main page]

CN110658198B - 光学检测方法、光学检测装置及光学检测系统 - Google Patents

光学检测方法、光学检测装置及光学检测系统 Download PDF

Info

Publication number
CN110658198B
CN110658198B CN201811366351.9A CN201811366351A CN110658198B CN 110658198 B CN110658198 B CN 110658198B CN 201811366351 A CN201811366351 A CN 201811366351A CN 110658198 B CN110658198 B CN 110658198B
Authority
CN
China
Prior art keywords
image
defect
pattern
clear
defective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811366351.9A
Other languages
English (en)
Other versions
CN110658198A (zh
Inventor
亚鲁木鲁甘 安比卡帕
安比卡帕亚鲁木鲁甘
徐敏堂
陆家樑
方志恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Utechzone Co Ltd
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Publication of CN110658198A publication Critical patent/CN110658198A/zh
Application granted granted Critical
Publication of CN110658198B publication Critical patent/CN110658198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Vascular Medicine (AREA)
  • Textile Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)

Abstract

本发明的实施例提供一种光学检测方法，其用于包括光学镜头的光学检测装置。所述方法包括：经由所述光学镜头获取待测物的第一图像；对所述第一图像执行边缘检测，以获得具有边缘图案的第二图像；以及基于神经网络架构对所述第二图像执行瑕疵检测操作，以检测所述第二图像中的瑕疵图案。此外，本发明的实施例也提供一种光学检测装置与光学检测系统。

Description

光学检测方法、光学检测装置及光学检测系统
技术领域
本发明涉及瑕疵图案检测技术，尤其涉及一种光学检测方法、光学检测装置及光学检测系统。
背景技术
在电子元件出厂前，一般是由资深目检人员对其进行肉眼检测，以确认所生产的电子元件是否存在瑕疵(defect)。随着科技的进步，人工智能逐渐被设计为具有自动化的瑕疵识别能力，以尝试减少目检人员的工作负担。然而，现有的自动化缺陷检测技术存在很高的错误率，故电子元件经过自动化检测后还是需要由目检人员进行双重确认。
发明内容
本发明提供一种光学检测方法、光学检测装置及光学检测系统，可有效提高光学检测装置对于瑕疵图案的检测精确性。
本发明的实施例提供一种光学检测方法，其用于包括光学镜头的光学检测装置。所述光学检测方法包括：经由所述光学镜头获取待测物的第一图像；对所述第一图像执行边缘检测，以获得具有边缘图案的第二图像；以及基于神经网络架构对所述第二图像执行瑕疵检测操作，以检测所述第二图像中的瑕疵图案。
本发明的实施例另提供一种光学检测装置，其包括光学镜头与处理电路。所述光学镜头用以获取待测物的第一图像。所述处理电路连接至所述光学镜头并且用以对所述第一图像执行边缘检测，以获得具有边缘图案的第二图像。所述处理电路还用以基于神经网络架构对所述第二图像执行瑕疵检测操作，以检测所述第二图像中的瑕疵图案。
本发明的实施例另提供一种光学检测系统，其包括光学检测装置与伺服器。所述光学检测装置用以获取待测物的第一图像并对所述第一图像执行边缘检测，以获得具有边缘图案的第二图像。所述伺服器连接至所述光学检测装置并用以基于神经网络架构对所述第二图像执行瑕疵检测操作，以检测所述第二图像中的瑕疵图案。
基于上述，在经由光学检测装置的光学镜头获取待测物的第一图像后，可对所述第一图像执行边缘检测以获得具有边缘图案的第二图像。然后，可基于神经网络架构对所述第二图像执行瑕疵检测操作，以检测所述第二图像中的瑕疵图案。藉此，可有效提高光学检测装置对于瑕疵图案的检测正确性。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是根据本发明的一实施例所示出的光学检测系统的示意图。
图2是根据本发明的一实施例所示出的光学检测装置的示意图。
图3A是根据本发明的一实施例所示出的第一图像的示意图。
图3B是根据本发明的一实施例所示出的第二图像的示意图。
图4是根据本发明的一实施例所示出的根据样本图像产生无瑕图像与瑕疵图像的示意图。
图5是根据本发明的一实施例所示出的根据样本图像产生无瑕图像与瑕疵图像的示意图。
图6是根据本发明的一实施例所示出的随机产生瑕疵图案的示意图。
图7是根据本发明的一实施例所示出的神经网络架构的示意图。
图8是根据本发明的一实施例所示出的光学检测系统的示意图。
图9是根据本发明的一实施例所示出的光学检测方法的流程图。
图10是根据本发明的一实施例所示出的光学检测方法的流程图。
符号说明：
10、80：光学检测系统
11、81：光学检测装置
111：光学镜头
12：移载装置
13：辅助光源装置
101：待测物
112：处理电路
113：存储电路
114：输入/输出接口电路
31、32：图像
301：瑕疵
302、303：边缘图案
41、51：样本图像
410、420、430、61：图像区域
411(1)～411(P)、421(1)～421(Q)、431(1)～431(R)、511(1)～511(4)：瑕疵图像
412(1)～412(P)、422(1)～422(Q)、432(1)～432(R)、512(1)～512(4)：无瑕图像
501～504、604：瑕疵图案
601、602：像素
603：图案遮罩
71：神经网络架构
710：成对图像
720：特征提取器
701：卷积层
702：线性整流单元
703：池化层
730：全连接层
740：正规化输出层
750：分类结果
760：比较模块
770：权重调整模块
82：伺服器
801：网络
S901～S903、S1001～S1003：步骤
具体实施方式
图1是根据本发明的一实施例所示出的光学检测系统的示意图。图2是根据本发明的一实施例所示出的光学检测装置的示意图。请参照图1与图2，光学检测系统10可应用于自动光学检测(Automated Optical Inspection,AOI)设备上，以对半导体芯片、晶圆、面板、电路板(PCB、FPC、陶瓷电路板)等待测物工件进行表面瑕疵检测。换言之，光学检测系统10可用于检测待测物表面的瑕疵。
光学检测系统10可包括光学检测装置11、移载装置12及辅助光源装置13。光学检测装置11具有光学镜头111。光学镜头111可包括面扫描摄影机(Area Scan Camera)与线扫描摄影机(Line Scan Camera)的至少其中之一。线扫描摄影机较常用于动态检测，在待测物101移动的同时进行拍摄，可确保检测流程的连续性。移载装置12用于实现全自动化检测。例如，移载装置12可将待测物101移载至检测区域，经由设置于该检测区域一侧的光学镜头111进行拍摄，以获取待测物101的图像并进行图像分析。
辅助光源装置13用以提供光源以对待测物101进行照明。例如，辅助光源装置13的类型可为平行光灯具、漫射光灯具、穹形灯等，本发明不加以限制。针对不同类型的待测物101，辅助光源装置13的类型可对应改变。此外，辅助光源装置13可发出白光、红光、绿光、蓝光、紫外光、红外光等各类型光线。须注意的是，本发明不限制光学检测装置11、移载装置12及辅助光源装置13的数目。在一实施例中，光学检测装置11可发送控制信号以控制光学镜头111、移载装置12及辅助光源装置13的至少其中之一。
光学检测装置11可分析光学镜头111所获取的图像，以经由图像检测待测物101表面上的瑕疵。在经由光学镜头111获取图像后，光学检测装置11可将所述图像进行前处理(例如执行图像强化、去除噪声、加强对比、加强边缘、获取特征、图像压缩、图像转换等操作)，并将输出的图像经由视觉软件工具和算法进行分析，以获得判定结果并将判定结果输出或存储于数据库。
在自动光学检测中，待测物101上的异尘及瑕疵不管是经由人工检测的方式或是机器视觉检测(也称为自动检测)的方式经常有混淆误认的情况，主要原因在于机器视觉中对于异尘及瑕疵的定义都是相对母片而言的噪点。虽然异尘及瑕疵在特性上尚有一些差异(例如异尘通常是立体、突出于表面上，瑕疵例如刮痕、碎亮点通常形成于内侧)，但对于一般机器视觉而言，两者均是与母片不相同的部分，一般的识别逻辑难以分出区别。因此，早期的方式通常是由机器检出缺陷后，再由人工检测的方式进行确认。然而在大量制程(massproduction)中，产品生产的数量可能是以每小时数万计，人检相较于机器视觉在效率及可靠度上就不是那么的合适。此外，人检所花费的时间往往较机器视觉检测所花费的时间多。在一实施例中，光学检测装置11可自动完成整个检测程序，从而减少人检所需的人力资源消耗。
光学检测装置11包括光学镜头111、处理电路112、存储电路113及输入/输出(Input/Ouput,I/O)接口电路114。光学镜头111可包括一或多个光学透镜，且本发明不限制光学镜头111的类型。处理电路112可以是中央处理单元(Central Processing Unit,CPU)、图形处理器(graphics processing unit,GPU)、或是其他可程序化之一般用途或特殊用途的微处理器、数字信号处理器(Digital Signal Processor,DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits,ASIC)、可程序化逻辑装置(Programmable Logic Device,PLD)或其他类似装置或这些装置的组合。处理电路112可负责光学检测装置11的整体或部分运作。
存储电路113可包括挥发性存储媒体和/或非挥发性存储媒体并可用于存储数据。例如，挥发性存储媒体可以是随机存取存储器(RAM)，而非挥发性存储媒体可以是只读存储器(ROM)、固态硬盘(SSD)或传统硬盘(HDD)等。输入/输出接口电路114可包括显示器、投影机、喇叭等信号输出装置、和/或鼠标、键盘、触控板、遥控器、麦克风等信号输入装置。在一实施例中，输入/输出接口电路114也可包括触控屏幕和/或网络接口卡等信号输入/输出装置。
在经由光学镜头111获取待测物101的图像(也称为第一图像)后，处理电路112可对第一图像执行边缘检测，以获得具有边缘图案的另一图像(也称为第二图像)。例如，所述边缘检测可检测第一图像(即原始图像)中至少部分图案的边缘(也称为轮廓)并将所检测到的边缘以额外产生的边缘图案的形式呈现在第二图像中。例如，处理电路112可检测第一图像中亮度明显变化的点作为第二图像中边缘图案的至少一部分。本发明不限制处理电路112执行边缘检测所采用的图像分析技术。此外，处理电路112可对第二图像中非属于边缘图案的其他图像数据进行淡化处理或将其移除，以突显第二图像中的边缘图案。
一般来说，由光学镜头111摄得的第一图像中可呈现所拍摄的电子元件的图案，但第一图像中并不具有前述经边缘检测而额外产生的边缘图案。从另一角度来看，处理电路112可将原始由光学镜头111获得的不具有边缘图案的第一图像转换为具有边缘图案的第二图像。在一实施例中，经由边缘检测，可提高处理电路112识别瑕疵图案的精准度。例如，相对于直接对第一图像进行瑕疵检测，对第二图像进行瑕疵图案的检测可具有较高的准确度。
图3A是根据本发明的一实施例所示出的第一图像的示意图。图3B是根据本发明的一实施例所示出的第二图像的示意图。请参照图3A与图3B，假设图像31为第一图像且图像31中具有不明显的瑕疵301。基于图像31，无论是人工检测或自动检测，图像31中的瑕疵301可能都不容易被测得。在对图像31执行边缘检测后，图像32(即第二图像)可被产生。相对于图像31，图像32具有所拍摄的电子元件的边缘图案302与瑕疵301的边缘图案303(即瑕疵图案)。相对于图3A中的瑕疵301，图3B中瑕疵301的边缘图案303更加明显且更加容易地被识别。
请回到图2，处理电路112可基于正常模式对第一图像执行边缘检测以获得具有边缘图案的第二图像。例如，在正常模式中，处理电路112可使用第一图像中各像素原始的R值、G值及B值对第一图像执行边缘检测。
在一实施例中，处理电路112也可基于三原色光模式(RGB color model)中的红色模式、绿色模式及蓝色模式的至少其中之一，来对第一图像执行边缘检测以获得具有边缘图案的第二图像。例如，在红色模式中，处理电路112可使用图像颜色调整技术保留第一图像中各像素的R值并将各像素的G值与B值设为0(或接近0的数值)，并对调整后的第一图像执行边缘检测。在绿色模式中，处理电路112可使用图像颜色调整技术保留第一图像中各像素的G值并将各像素的R值与B值设为0(或接近0的数值)，并对调整后的第一图像执行边缘检测。在蓝色模式中，处理电路112可使用图像颜色调整技术保留第一图像中各像素的B值并将各像素的R值与G值设为0(或接近0的数值)，并对调整后的第一图像执行边缘检测。
对于某些类型的瑕疵来说，以前述正常模式对第一图像进行边缘检测可能无法产生明显的瑕疵的边缘图案。然而，若采用红色模式、绿色模式及蓝色模式的至少其中之一进行边缘检测，则有可能在某一种模式中让瑕疵的边缘图案(即瑕疵图案)更加清晰地呈现在第二图像中。藉此，可提高对于瑕疵的自动检测的精确度。
在获得第二图像后，处理电路112可基于神经网络(Neural Network)(也称为人工神经网络或类神经网络)架构对第二图像执行瑕疵检测操作，以检测第二图像中的瑕疵图案。在经过深度学习后，神经网络架构对于瑕疵图案的检测准确度可逐渐提高。例如，通过深度学习，神经网络架构可自动地学习并找出重要的特征信息。此特征信息可应用于检测第二图像中的瑕疵图案。换言之，训练后的神经网络架构可自动检测第二图像中的瑕疵图案。
在一实施例中，神经网络架构可基于LeNet模型、AlexNet模型、GoogleNet模型或VGG模型(Visual Geometry Group)进行修改及扩充。不需要经由人员挑选特征，神经网络架构可主动识别其认为重要的特征信息，从而大幅减少运用于训练的人力成本。
在一实施例中，为了训练神经网络架构，处理电路112可获得一个样本图像。例如，此样本图像可符合用于图像检测的一标准规格。此外，此样本图像不具有瑕疵。换言之，此样本图像只具有经实际拍摄或模拟产生的正常的电子零组件的图像。
处理电路112可根据此样本图像产生至少一组成对的无瑕图像与瑕疵图像。一组成对的无瑕图像与瑕疵图像也称为成对图像。例如，处理电路112可对样本图像执行边缘检测以产生所述无瑕图像与瑕疵图像。此外，处理电路112也可基于正常模式、红色模式、绿色模式及蓝色模式等颜色模式来对样本图像执行边缘检测以产生所述无瑕图像与瑕疵图像。
须注意的是，瑕疵图像具有至少一瑕疵图案，且无瑕图像不具有任何瑕疵图案。一组成对图像对应于样本图像中的同一个图像区域。处理电路112可根据至少一组成对图像训练所述神经网络架构，以提高神经网络架构对瑕疵图案的检测精确度。
在一实施例中，处理电路112可对样本图像执行色度调整操作、亮度调整操作及图案缩放操作的至少其中之一，以产生所述无瑕图像与瑕疵图像。色度调整操作用以调整样本图像的色度(也称为饱和度或彩度)，以产生具有不同色度的无瑕图像和/或瑕疵图像。亮度调整操作用以调整样本图像的亮度，以产生具有不同亮度的无瑕图像和/或瑕疵图像。图案缩放操作用以调整样本图像中图案的尺寸和/或缩放比例，以产生具有不同图案尺寸的无瑕图像和/或瑕疵图像。
须注意的是，一组成对图像将具有相同的色度、相同的亮度和/或相同的图案尺寸。此外，处理电路112可随机在所选定的图像区域中加入瑕疵图案，以产生瑕疵图像。
图4是根据本发明的一实施例所示出的根据样本图像产生无瑕图像与瑕疵图像的示意图。请参照图2与图4，样本图像41包括图像区域410、420及430。样本图像41中不存在瑕疵。须注意的是，在另一实施例中，样本图像41还可以被划分为包含更多或更少的图像区域，本发明不加以限制。
瑕疵图像411(1)～411(P)及无瑕图像412(1)～412(P)皆对应于图像区域410。瑕疵图像411(A)与无瑕图像412(A)为一组成对图像，且A为1与P之间的任意整数。处理电路112可对图像区域410中的图像执行色度调整操作、亮度调整操作及图案缩放操作的至少其中之一，以产生瑕疵图像411(1)～411(P)及无瑕图像412(1)～412(P)。此外，处理电路112可随机在图像区域410中加入至少一个瑕疵图案，以产生瑕疵图像411(1)～411(P)。
瑕疵图像421(1)～421(Q)及无瑕图像422(1)～422(Q)皆对应于图像区域420。瑕疵图像421(B)与无瑕图像422(B)为一组成对图像，且B为1与Q之间的任意整数。处理电路112可对图像区域420中的图像执行色度调整操作、亮度调整操作及图案缩放操作的至少其中之一，以产生瑕疵图像421(1)～421(Q)及无瑕图像422(1)～422(Q)。此外，处理电路112可随机在图像区域420中加入至少一个瑕疵图案，以产生瑕疵图像421(1)～421(Q)。
瑕疵图像431(1)～431(R)及无瑕图像432(1)～432(R)皆对应于图像区域430。瑕疵图像431(C)与无瑕图像432(C)为一组成对图像，且C为1与R之间的任意整数。P、Q及R可为相同数值或不同数值，本发明不加以限制。处理电路112可对图像区域430中的图像执行色度调整操作、亮度调整操作及图案缩放操作的至少其中之一，以产生瑕疵图像431(1)～431(R)及无瑕图像432(1)～432(R)。此外，处理电路112可随机在图像区域430中加入至少一个瑕疵图案，以产生瑕疵图像431(1)～431(R)。
在一实施例中，对应于同一图像区域的多个瑕疵图像(或无瑕图像)是基于对此图像区域执行色度调整操作、亮度调整操作及图案缩放操作的至少其中一者而产生，故对应于同一图像区域的多个瑕疵图像(或无瑕图像)彼此间可具有色度差异、亮度差异及图案尺寸差异中的至少一种差异。
以图4为例，瑕疵图像411(1)～411(P)中的两个瑕疵图像之间可具有色度差异、亮度差异及图案尺寸差异中的至少一种差异，且无瑕图像412(1)～412(P)中的两个无瑕图像之间也可具有色度差异、亮度差异及图案尺寸差异中的至少一种差异。例如，瑕疵图像411(1)可具有某一色度(也称为第一色度)，瑕疵图像411(2)可具有另一色度(也称为第二色度)，第一色度的值(也称为第一色度值)不同于第二色度的值(也称为第二色度值)，且第一色度与第二色度之间的差异(或第一色度值与第二色度值之间的差异)即为所述色度差异。
此外，多组成对图像之间也可具有色度差异、亮度差异及图案尺寸差异中的至少一种差异。以图4为例，瑕疵图像411(1)与无瑕图像412(1)可具有某一亮度(也称为第一亮度)，且瑕疵图像411(2)与无瑕图像412(2)可具有另一亮度(也称为第二亮度)，第一亮度的值(也称为第一亮度值)不同于第二亮度的值(也称为第二亮度值)，且第一亮度与第二亮度之间的差异(或第一亮度值与第二亮度值之间的差异)即为所述亮度差异。
在一实施例中，对应于同一图像区域的多个瑕疵图像中的瑕疵图案皆是随机产生，故此些瑕疵图像中的瑕疵图案可相同或不同。以图4为例，瑕疵图像411(1)～411(P)中的两个瑕疵图像可具有不同的瑕疵图案。须注意的是，所述不同的瑕疵图案可以是指具有不同尺寸、不同形状和/或不同所在位置的瑕疵图案。
图5是根据本发明的一实施例所示出的根据样本图像产生无瑕图像与瑕疵图像的示意图。请参照图5，根据样本图像51，瑕疵图像511(1)～511(4)及无瑕图像512(1)～512(4)可被产生。瑕疵图像511(1)～511(4)及无瑕图像512(1)～512(4)皆对应于样本图像51中相同的图像区域。瑕疵图像511(1)～511(4)及无瑕图像512(1)～512(4)可用于训练神经网络架构。
具体而言，瑕疵图像511(1)与无瑕图像512(1)为一组成对图像，故瑕疵图像511(1)与无瑕图像512(1)具有相同的色度、相同的亮度及相同的图案尺寸。瑕疵图像511(1)具有瑕疵图案501，而无瑕图像512(1)不具有瑕疵图案501。
瑕疵图像511(2)与无瑕图像512(2)为一组成对图像，故瑕疵图像511(2)与无瑕图像512(2)具有相同的色度、相同的亮度及相同的图案尺寸。瑕疵图像511(2)具有瑕疵图案502，而无瑕图像512(2)不具有瑕疵图案502。
瑕疵图像511(3)与无瑕图像512(3)为一组成对图像，故瑕疵图像511(3)与无瑕图像512(3)具有相同的色度、相同的亮度及相同的图案尺寸。瑕疵图像511(3)具有瑕疵图案503，而无瑕图像512(3)不具有瑕疵图案503。
须注意的是，瑕疵图像511(3)与无瑕图像512(3)中的电子零组件的图案尺寸分别大于瑕疵图像511(1)与无瑕图像512(1)中的电子零组件的图案尺寸，如图5所示。例如，相对于瑕疵图像511(1)与无瑕图像512(1)，瑕疵图像511(3)与无瑕图像512(3)是基于较大的图案缩放倍率(例如，原始图案尺寸×2)放大样本图像51而产生。
瑕疵图像511(4)与无瑕图像512(4)为一组成对图像，故瑕疵图像511(4)与无瑕图像512(4)具有相同的色度、相同的亮度及相同的图案尺寸。瑕疵图像511(4)具有瑕疵图案504，而无瑕图像512(4)不具有瑕疵图案504。
须注意的是，瑕疵图像511(4)与无瑕图像512(4)中的电子零组件的图案尺寸分别小于瑕疵图像511(1)与无瑕图像512(1)中的电子零组件的图案尺寸，如图5所示。例如，相对于瑕疵图像511(1)与无瑕图像512(1)，瑕疵图像511(4)与无瑕图像512(4)是基于较小的图案缩放倍率(例如，原始图案尺寸×0.5)缩小样本图像51而产生。
从另一角度来看，在一组成对图像中，瑕疵图像与无瑕图像的差异(仅)在于是否具有蓄意产生的瑕疵图案，而其余亮度、色度、和/或图案尺寸等可影响瑕疵图案在成对图像中的识别结果的参数皆不变。
图6是根据本发明的一实施例所示出的随机产生瑕疵图案的示意图。请参照图2与图6，处理电路112可在图像区域61中随机选择N个像素(也称为第一像素)601。N可为任意正整数。须注意的是，选择第一像素的操作可用于决定所产生的瑕疵图案在瑕疵图像中的位置。
在选定第一像素601后，处理电路112可在图像区域61中随机选择与第一像素601相邻的M个像素(也称为第二像素)602。M可为任意正整数。须注意的是，选择第二像素602的操作可用于决定所产生的瑕疵图案的概略尺寸和/或概略形状。例如，处理电路112可以是以第一像素601为中心，沿着某一个行或某一个列向外延伸一个随机的长度，并选择所延伸的路径上的至少一个像素作为第二像素602。
处理电路112可根据第一像素601与第二像素602产生瑕疵图案。例如，处理电路112可在第一像素601与第二像素602的所在位置加上图案遮罩603。然后，处理电路112可对图案遮罩603的多个端点进行连结与平滑处理，以形成瑕疵图案604。
须注意的是，图6的实施例仅为产生瑕疵图案的其中一个范例，处理电路112还可以根据其他的技术手段产生瑕疵图案。例如，在一实施例中，处理电路112可随机在图像区域61中选择多个像素并直接在所选择的像素上加上遮罩而形成瑕疵图案。或者，在一实施例中，存储电路113中存储有至少一个瑕疵图案的模型。处理电路112可从存储电路113中随机选择一个瑕疵图案的模型并根据此模型在图像区域61中选择相应的像素并加上遮罩以形成瑕疵图案。
图7是根据本发明的一实施例所示出的神经网络架构的示意图。请参照图7，神经网络架构71可为卷积神经网络架构(Convolutional Neural Networks,CNN)，其主要包括多个特征提取器720、全连接层730、正规化输出层740、比较模块760及权重调整模块770。特征提取器720可包括卷积层(Multi-Convolutional Layer)701、线性整流单元(RectifiedLinear Unit,ReLU)702及池化(pooling)群层703。全连接层730可包括一或多个全连接层(fully connected layers)。此外，正规化输出层740可执行softmax运算。
在训练神经网络架构71时，包含瑕疵图像与无瑕图像的至少一组成对图像710可被输入至神经网络架构71，并经由反向传播算法(Backpropagation)训练全连接层730的权重。成对图像710对应于一个输入值(即图像数据)与预期输出(即良品、NG品、瑕疵品或瑕疵品的瑕疵种类等)。经过卷积层701、线性整流单元702、池化层703进行特征强化及图像压缩处理后，全连接层730依据权重比例对此输入值进行分类。然后，由正规化输出层740输出分类结果750。分类结果750可包括良品、NG品、瑕疵品或瑕疵品的瑕疵种类等。
在取得分类结果750后，比较模块760可将分类结果750与预期输出进行比对并判断分类结果750是否符合预期。若不符合预期，比较模块760可将所获得的误差值输出至权重调整模块770。权重调整模块770可基于反向传播算法计算并调整全连接层730的权重。经由重复上述操作，可逐步训练神经网络架构71，从而提高神经网络架构712对于瑕疵图案的检测正确率。
在基于神经网络架构71对第二图像进行瑕疵检测操作时，经由特征提取器720、全连接层730及正规化输出层740的运算，对应于第二图像的分类结果750可被产生。此分类结果750可表示第二图像所对应的待测物(例如图1的待测物101)为良品、NG品、瑕疵品和/或所测得的瑕疵图案的种类等。
在一实施例中，神经网络架构71是实作于图1的光学检测装置11。例如，神经网络架构71可以是以软件、固件或硬件形式与图2的处理电路112结合。或者，在另一实施例中，神经网络架构71则是实作于另一个伺服器(也称为伺服器网络)。此伺服器可执行所述瑕疵图案的自动检测。
图8是根据本发明的一实施例所示出的光学检测系统的示意图。请参照图8，光学检测系统80包括光学检测装置81与伺服器82。光学检测装置81经由网络801连接至伺服器82。网络801可以是有线网络或无线网络。此外，网络801可以是本地区域网络或网际网络(Internet)。
在本实施例中，伺服器82可具有中央处理器、存储电路及各式输入/输出接口电路，以协同运作执行所需的操作功能。特别是，伺服器82具有用以自动检测瑕疵图案的神经网络架构(例如图7的神经网络架构71)。光学检测装置81可经由光学镜头获取待测物的第一图像并对第一图像执行边缘检测，以获得具有边缘图案的第二图像。光学检测装置81可经由网络801将第二图像传送至伺服器82。伺服器82可基于经训练的神经网络架构对第二图像执行瑕疵检测操作，以检测第二图像中的瑕疵图案。
在本实施例中，伺服器82可自动地基于样本图像产生至少一组成对图像并根据此成对图像对神经网络架构进行训练。或者，在一实施例中，根据样本图像产生成对图像的操作也可以是由光学检测装置81或其他的电脑装置执行，并可经由网络801将成对图像提供给伺服器82进行训练。相关的操作细节皆已详述于上，在此便不赘述。
图9是根据本发明的一实施例所示出的光学检测方法的流程图。请参照图9，在步骤S901中，经由光学镜头获取待测物的第一图像。在步骤S902中，对所述第一图像执行边缘检测，以获得具有边缘图案的第二图像。在步骤S903中，基于神经网络架构对所述第二图像执行瑕疵检测操作，以检测所述第二图像中的瑕疵图案。
图10是根据本发明的一实施例所示出的光学检测方法的流程图。请参照图10，在步骤S1001中，获得样本图像。在步骤S1002中，根据所述样本图像产生无瑕图像与瑕疵图像。在步骤S1003中，根据所述无瑕图像与所述瑕疵图像训练神经网络架构。
须注意的是，图9与图10中各步骤已详细说明如上，在此便不再赘述。此外，图9与图10中各步骤可以实作为多个程序码或是电路，本发明不加以限制。进一步，图9与图10中的方法可以搭配以上范例实施例使用，也可以单独使用，本发明不加以限制。在图1的一实施例中，处理电路112与存储电路113的组合也可以实作为至少一个功能模块(也称为光学检测模块)。所述光学检测模块可包括软件模块、固件模块和/或硬件模块并可执行图9和/或图10中的各步骤。相关操作细节皆已详述于上，在此便不赘述。
综上所述，本发明实施例可有效提高光学检测装置或光学检测系统对于瑕疵图案的检测正确性。在一实施例中，由于对于瑕疵图案的检测正确性提高，故所述光学检测装置或光学检测系统的检测结果可不需经目检人员双重确认，有效提高检测效率。此外，通过自动且随机产生对应于样本图像的成对图像，可以有效提升对于神经网络架构的训练效率。例如，相对于以人工方式产生具有瑕疵的训练样本对神经网络架构进行训练，本发明实施例所提供的自动产生成对图像并对神经网络架构进行训练，可大幅减少对于神经网络架构进行训练所需的时间，并可减少人力成本。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视所附的权利要求所界定者为准。

Claims (9)

1.一种光学检测方法，其特征在于，用于包括光学镜头的光学检测装置，所述光学检测方法包括：
经由所述光学镜头获取待测物的第一图像；
对所述第一图像执行边缘检测，以获得具有边缘图案的第二图像；
基于神经网络架构对所述第二图像执行瑕疵检测操作，以检测所述第二图像中的瑕疵图案；
获得样本图像；
根据所述样本图像产生第一无瑕图像、第一瑕疵图像、第二无瑕图像及第二瑕疵图像；以及
根据所述第一无瑕图像、所述第一瑕疵图像、所述第二无瑕图像及所述第二瑕疵图像训练所述神经网络架构；
其中，所述第一瑕疵图像具有第一瑕疵图案，所述第一无瑕图像不具有所述第一瑕疵图案，所述第二瑕疵图像具有第二瑕疵图案，所述第二无瑕图像不具有所述第二瑕疵图案，所述第一无瑕图像、所述第一瑕疵图像、所述第二无瑕图像及所述第二瑕疵图像皆对应于所述样本图像中的第一图像区域，所述第一无瑕图像与所述第二无瑕图像之间具有色度差异、亮度差异及图案尺寸差异的至少其中之一，且所述第一瑕疵图像与所述第二瑕疵图像之间具有所述色度差异、所述亮度差异及所述图案尺寸差异的所述至少其中之一。
2.根据权利要求1所述的光学检测方法，其中对所述第一图像执行所述边缘检测以获得具有所述边缘图案的所述第二图像的步骤包括：
基于三原色光模式中的红色模式、绿色模式及蓝色模式的至少其中之一来对所述第一图像执行所述边缘检测以获得具有所述边缘图案的所述第二图像。
3.根据权利要求1所述的光学检测方法，还包括：
随机在所述第一图像区域中加入所述第一瑕疵图案，以产生所述第一瑕疵图像，
其中随机在所述第一图像区域中加入所述第一瑕疵图案的步骤包括：
选择所述第一图像区域中的至少一第一像素；
选择所述第一图像区域中与所述至少一第一像素中的至少一者相邻的至少一第二像素；以及
根据所述至少一第一像素与所述至少一第二像素产生所述第一瑕疵图案。
4.根据权利要求1所述的光学检测方法，还包括：
根据所述样本图像产生第三无瑕图像与第三瑕疵图像，其中所述第三瑕疵图像具有第三瑕疵图案，所述第三无瑕图像不具有所述第三瑕疵图案，所述第三无瑕图像与所述第三瑕疵图像皆对应于所述样本图像中的所述第一图像区域，且所述第三瑕疵图案不同于所述第一瑕疵图案；以及
根据所述第三无瑕图像与所述第三瑕疵图像训练所述神经网络架构。
5.一种光学检测装置，其特征在于，包括：
光学镜头，用以获取待测物的第一图像；以及
处理电路，连接至所述光学镜头并且用以对所述第一图像执行边缘检测，以获得具有边缘图案的第二图像；
其中，所述处理电路还用以基于神经网络架构对所述第二图像执行瑕疵检测操作，以检测所述第二图像中的瑕疵图案，
所述处理电路还用以：
获得样本图像；
根据所述样本图像产生第一无瑕图像、第一瑕疵图像、第二无瑕图像及第二瑕疵图像；以及
根据所述第一无瑕图像、所述第一瑕疵图像、所述第二无瑕图像及所述第二瑕疵图像训练所述神经网络架构；
其中，所述第一瑕疵图像具有第一瑕疵图案，所述第一无瑕图像不具有所述第一瑕疵图案，所述第二瑕疵图像具有第二瑕疵图案，所述第二无瑕图像不具有所述第二瑕疵图案，所述第一无瑕图像、所述第一瑕疵图像、所述第二无瑕图像及所述第二瑕疵图像皆对应于所述样本图像中的第一图像区域，所述第一无瑕图像与所述第二无瑕图像之间具有色度差异、亮度差异及图案尺寸差异的至少其中之一，且所述第一瑕疵图像与所述第二瑕疵图像之间具有所述色度差异、所述亮度差异及所述图案尺寸差异的所述至少其中之一。
6.根据权利要求5所述的光学检测装置，其中所述处理电路对所述第一图像执行所述边缘检测以获得具有所述边缘图案的所述第二图像的操作包括：
基于三原色光模式中的红色模式、绿色模式及蓝色模式的至少其中之一来对所述第一图像执行所述边缘检测以获得具有所述边缘图案的所述第二图像。
7.根据权利要求5所述的光学检测装置，其中所述处理电路还用以：
随机在所述第一图像区域中加入所述第一瑕疵图案，以产生所述第一瑕疵图像，
其中所述处理电路随机在所述第一图像区域中加入所述第一瑕疵图案的操作包括：
选择所述第一图像区域中的至少一第一像素；
选择所述第一图像区域中与所述至少一第一像素中的至少一者相邻的至少一第二像素；以及
根据所述至少一第一像素与所述至少一第二像素产生所述第一瑕疵图案。
8.根据权利要求5所述的光学检测装置，其中所述处理电路还用以：
根据所述样本图像产生第三无瑕图像与第三瑕疵图像，其中所述第三瑕疵图像具有第三瑕疵图案，所述第三无瑕图像不具有所述第三瑕疵图案，所述第三无瑕图像与所述第三瑕疵图像皆对应于所述样本图像中的所述第一图像区域，且所述第三瑕疵图案不同于所述第一瑕疵图案；以及
根据所述第三无瑕图像与所述第三瑕疵图像训练所述神经网络架构。
9.一种光学检测系统，其特征在于，包括：
光学检测装置，用以获取待测物的第一图像并对所述第一图像执行边缘检测，以获得具有边缘图案的第二图像；以及
伺服器，连接至所述光学检测装置并用以基于神经网络架构对所述第二图像执行瑕疵检测操作，以检测所述第二图像中的瑕疵图案，
其中，所述伺服器还用以获得样本图像，根据所述样本图像产生第一无瑕图像、第一瑕疵图像、第二无瑕图像及第二瑕疵图像，所述第一瑕疵图像具有第一瑕疵图案，所述第一无瑕图像不具有所述第一瑕疵图案，所述第二瑕疵图像具有第二瑕疵图案，所述第二无瑕图像不具有所述第二瑕疵图案，所述第一无瑕图像、所述第一瑕疵图像、所述第二无瑕图像及所述第二瑕疵图像皆对应于所述样本图像中的第一图像区域，所述第一无瑕图像与所述第二无瑕图像之间具有色度差异、亮度差异及图案尺寸差异的至少其中之一，且所述第一瑕疵图像与所述第二瑕疵图像之间具有所述色度差异、所述亮度差异及所述图案尺寸差异的所述至少其中之一，以及根据所述第一无瑕图像、所述第一瑕疵图像、所述第二无瑕图像及所述第二瑕疵图像训练训练所述神经网络架构。
CN201811366351.9A 2018-06-29 2018-11-16 光学检测方法、光学检测装置及光学检测系统 Active CN110658198B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107122594A TWI787296B (zh) 2018-06-29 2018-06-29 光學檢測方法、光學檢測裝置及光學檢測系統
TW107122594 2018-06-29

Publications (2)

Publication Number Publication Date
CN110658198A CN110658198A (zh) 2020-01-07
CN110658198B true CN110658198B (zh) 2023-04-18

Family

ID=69028561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811366351.9A Active CN110658198B (zh) 2018-06-29 2018-11-16 光学检测方法、光学检测装置及光学检测系统

Country Status (3)

Country Link
US (1) US11017259B2 (zh)
CN (1) CN110658198B (zh)
TW (1) TWI787296B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI653605B (zh) * 2017-12-25 2019-03-11 由田新技股份有限公司 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統
CH716479A1 (de) * 2019-08-02 2021-02-15 Finatec Holding Ag Verfahren und Vorrichtung zur optischen Prüfung von Hohlkörpern.
CN111311542B (zh) * 2020-01-15 2023-09-19 歌尔股份有限公司 一种产品质量检测方法及装置
JP2023058758A (ja) * 2020-03-19 2023-04-26 ソニーセミコンダクタソリューションズ株式会社 データ生成方法、学習方法、推定方法、データ生成装置及びプログラム
US11774371B2 (en) 2020-05-22 2023-10-03 Kla Corporation Defect size measurement using deep learning methods
DE102020120257A1 (de) 2020-07-31 2022-02-03 Smartvision Gmbh Verfahren und Analysevorrichtung zum Erzeugen von Trainings- oder Korrekturdaten für ein künstliches neuronales Netz
CN114184138B (zh) * 2020-08-24 2024-06-04 深圳中科飞测科技股份有限公司 一种检测装置和检测方法
CN111929309B (zh) * 2020-09-14 2021-01-08 成都卓识维景科技有限公司 一种基于机器视觉的铸造件外观缺陷检测方法及系统
US11900581B2 (en) 2020-09-22 2024-02-13 Future Dial, Inc. Cosmetic inspection system
US11836912B2 (en) * 2020-09-22 2023-12-05 Future Dial, Inc. Grading cosmetic appearance of a test object based on multi-region determination of cosmetic defects
TWI777307B (zh) * 2020-11-20 2022-09-11 南臺學校財團法人南臺科技大學 在太陽能模組影像中以深度學習進行太陽能電池瑕疵辨識的方法、電腦程式及電腦可讀取媒體
DE102020216289A1 (de) 2020-12-18 2022-06-23 Fresenius Medical Care Deutschland Gmbh Verfahren zur klassifizierung von bildern und verfahren zur optischen prüfung eines objekts
CN112304960B (zh) * 2020-12-30 2021-08-10 中国人民解放军国防科技大学 一种基于深度学习的高分辨率图像物体表面缺陷检测方法
TWI798650B (zh) * 2021-02-25 2023-04-11 環球晶圓股份有限公司 自動光學檢測方法、自動光學檢測系統及記錄媒體
CN113111946A (zh) * 2021-04-15 2021-07-13 宁波九纵智能科技有限公司 一种集手眼脑于一体的品质管控方法及其系统
CN112987356B (zh) * 2021-04-16 2021-08-31 高视科技(苏州)有限公司 液晶面板底部异物滤除装置
TWI802873B (zh) * 2021-04-26 2023-05-21 威盛電子股份有限公司 透明基板薄膜的瑕疵檢測方法及其系統
US12183068B2 (en) * 2021-11-04 2024-12-31 Modern Cleaning Concept L.P. System and method for randomized verification of services performed
TWI848253B (zh) * 2021-12-24 2024-07-11 友達光電股份有限公司 瑕疵檢查方法及系統
DE102023108878A1 (de) 2023-04-06 2024-10-10 Audi Aktiengesellschaft Verfahren und Vorrichtung zum Prüfen einer flexiblen Leiterplatte, insbesondere bei Herstellung, auf Fehler

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3485052B2 (ja) * 1999-12-16 2004-01-13 日本電気株式会社 参照画像作成方法、パターン検査装置及び参照画像作成プログラムを記録した記録媒体
US7522763B2 (en) * 2004-07-30 2009-04-21 Mitutoyo Corporation Method of measuring occluded features for high precision machine vision metrology
TW201043947A (en) * 2009-06-11 2010-12-16 Zhi-Bin Sun Inspection method, inspection device and mobile phone having the inspection device
CN104899871B (zh) * 2015-05-15 2017-08-29 广东工业大学 一种ic元件焊点空焊检测方法
CN106409711B (zh) * 2016-09-12 2019-03-12 佛山市南海区广工大数控装备协同创新研究院 一种太阳能硅晶片缺陷检测系统及方法
US11047806B2 (en) * 2016-11-30 2021-06-29 Kla-Tencor Corporation Defect discovery and recipe optimization for inspection of three-dimensional semiconductor structures
CN108038843A (zh) * 2017-11-29 2018-05-15 英特尔产品（成都）有限公司 一种用于缺陷检测的方法、装置和设备
JP6924413B2 (ja) * 2017-12-25 2021-08-25 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム

Also Published As

Publication number Publication date
US11017259B2 (en) 2021-05-25
CN110658198A (zh) 2020-01-07
US20200005070A1 (en) 2020-01-02
TWI787296B (zh) 2022-12-21
TW202001798A (zh) 2020-01-01

Similar Documents

Publication Publication Date Title
CN110658198B (zh) 光学检测方法、光学检测装置及光学检测系统
JP6945245B2 (ja) 外観検査装置
US7978903B2 (en) Defect detecting method and defect detecting device
JP2004294202A (ja) 画面の欠陥検出方法及び装置
TWI798650B (zh) 自動光學檢測方法、自動光學檢測系統及記錄媒體
JP2014095711A (ja) ソルダージョイントの検査方法
CN110610199A (zh) 基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法
KR101261016B1 (ko) 평판패널 기판의 자동광학검사 방법 및 그 장치
JP2018004272A (ja) パターン検査装置およびパターン検査方法
Suhasini et al. PCB defect detection using image subtraction algorithm
JP2020112483A (ja) 外観検査システム、計算モデル構築方法及び計算モデル構築プログラム
JP2007147442A (ja) 木材の検査方法及び装置及びプログラム
TWI493177B (zh) 一種檢測具週期性結構光學薄膜的瑕疵檢測方法及其檢測裝置
JP4015436B2 (ja) 金めっき欠陥検査装置
JP2006145228A (ja) ムラ欠陥検出方法及び装置
JP2006258713A (ja) シミ欠陥検出方法及び装置
JP2004219072A (ja) 画面のスジ欠陥検出方法及び装置
WO2020158630A1 (ja) 検出装置、学習器、コンピュータプログラム、検出方法及び学習器の生成方法
Anu et al. Automatic visual inspection of PCB using CAD information
JP2021148678A (ja) 不良検出装置及び不良検出方法
CN113298864B (zh) 检测面板线段瑕疵的设备及方法
KR101053779B1 (ko) 디스플레이 수단의 메탈 마스크 검사 방법
JP4889018B2 (ja) 外観検査方法
Vaidya Automatic Optical Inspection-Based PCB Fault Detection Using Image Processing
Singh et al. Automatic detection of pcb defects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant