CN113592841A - 基于图像分割的透明待检物缺陷识别方法 - Google Patents
基于图像分割的透明待检物缺陷识别方法 Download PDFInfo
- Publication number
- CN113592841A CN113592841A CN202110909232.9A CN202110909232A CN113592841A CN 113592841 A CN113592841 A CN 113592841A CN 202110909232 A CN202110909232 A CN 202110909232A CN 113592841 A CN113592841 A CN 113592841A
- Authority
- CN
- China
- Prior art keywords
- image
- bright spot
- segmentation
- defect
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请是关于一种基于图像分割的透明待检物缺陷识别方法。该方法包括:获取第一处理图像;对所述第一处理图像进行对比度增强处理以及样本方差阈值分割,得到第二处理图像;根据所述第一处理图像的亮斑图像进行区域分割,得到分割位置信息和区域分割图像;对所述区域分割图像进行局部自适应阈值分割,得到第三处理图像;根据所述第三处理图像对应的分割位置信息,确定所述第二处理图像在相应图像位置是否存在局部潜在缺陷图像;若存在局部潜在缺陷图像,则根据所述局部潜在缺陷图像去除所述第三处理图像中的潜在缺陷的图像信息,得到仅体现潜在倒影的待识别图像;根据所述第二处理图像和所述待识别图像进行透明待检物的缺陷类型识别。
Description
技术领域
本申请涉及机器视觉检测技术领域,尤其涉及一种基于图像分割的透明待检物缺陷识别方法。
背景技术
在流水线生产中,需要对玻璃等透明物或半透明物进行质量检测。在检测过程中,需求区分的缺陷类型主要有两种:内部异物和表面异物。若产品存在内部异物,则会被归为瑕疵品,无法上市流通。但在日常生产时,无法避免产品表面会附着灰尘等杂质这类表面异物。如果无法将内部异物与表面异物区分开,则可能会错将表面异物当成内部异物,导致错将良品识别为瑕疵品;或是将内部异物当成表面异物,造成漏检。
在产品检测的过程中,透明待检物具有“透明”和“反光”的特殊属性,导致有缺陷的透明待检物的光学成像会出现多种不同类型的“亮斑”;并且,在光源的照射下,某些局部位置还可能会产生光晕和虚影,使得基于计算机视觉的缺陷识别方案难以进行有效识别。
因此,在对透明待检物进行缺陷识别之前,需要对代表不同类型的亮斑图像进行有效地分割处理,以便于后续能够基于分割后的图像进行准确地缺陷类型识别。
发明内容
为克服相关技术中存在的问题,本申请提供一种基于图像分割的透明待检物缺陷识别方法,能够对代表不同类型的亮斑图像进行有效地分割处理,进而基于分割后的图像进行准确地缺陷类型识别。
本申请提供一种基于图像分割的透明待检物缺陷识别方法,包括:
获取第一处理图像,所述第一处理图像为透明待检物的拍摄图像;
对所述第一处理图像进行对比度增强处理以及样本方差阈值分割,得到第二处理图像,所述第二处理图像为潜在缺陷对应的图像;
根据所述第一处理图像的亮斑图像进行区域分割,得到分割位置信息和区域分割图像;
对所述区域分割图像进行局部自适应阈值分割,得到第三处理图像,所述第三处理图像为潜在缺陷和潜在倒影对应的图像;
根据所述第三处理图像对应的分割位置信息,确定所述第二处理图像在相应图像位置是否存在局部潜在缺陷图像;若存在局部潜在缺陷图像,则根据所述局部潜在缺陷图像去除所述第三处理图像中的潜在缺陷的图像信息,得到仅体现潜在倒影的待识别图像;
根据所述第二处理图像和所述待识别图像进行透明待检物的缺陷类型识别。
在一种实施方式中,所述对所述第一处理图像进行对比度增强处理以及样本方差阈值分割之前,包括:
对所述第一处理图像进行高斯滤波,得到降噪后的第一处理图像。
在一种实施方式中,所述对比度增强处理为gamma对比度增强处理;所述样本方差阈值分割为var-threshold阈值分割。
在一种实施方式中,所述根据所述第一处理图像的亮斑图像进行区域分割,得到分割位置信息和区域分割图像,包括:
S1、获取所述第一处理图像中的一块亮斑图像;
S2、以当前亮斑图像的中心点为中心,在所述第一处理图像中设定区域分割框,得到当前亮斑图像对应的区域分割图像;
S3、判断所述第一处理图像中是否还有亮斑图像未执行区域分割;若是,则执行步骤S1;若否,则执行步骤S4;
S4、根据所述第一处理图像中所有亮斑图像的区域分割图像,确定每个亮斑图像对应的分割位置信息。
在一种实施方式中,所述区域分割框的尺寸根据以下公式确定,包括:
其中,n为所述透明待检物的折射率。
在一种实施方式中,所述根据所述第二处理图像和所述待识别图像进行透明待检物的缺陷类型识别,包括:
分析所述待识别图像和所述局部潜在缺陷图像中亮斑图像的关联关系,所述局部潜在缺陷图像包括第一亮斑图像和/或第二亮斑图像,所述待识别图像包括第三亮斑图像,其中,所述第三亮斑图像的灰度值小于所述第一亮斑图像或所述第二亮斑图像;
若存在所述第三亮斑图像为所述局部潜在缺陷图像的其中一个亮斑图像的倒影,则确定该其中一个亮斑图像为第一亮斑图像,确定所述第一亮斑图像相对应位置的缺陷为表面异物;
确定所述局部潜在缺陷图像中除所述第一亮斑图像之外,其余的亮斑图像为第二亮斑图像,确定所述第二亮斑图像相对应位置的缺陷为内部异物。
在一种实施方式中,所述分析所述待识别图像和所述局部潜在缺陷图像中亮斑图像的关联关系,包括:
确定所述第三亮斑图像与所述局部潜在缺陷图像的亮斑图像,是否分布在倒影成像分界线的两侧;所述倒影成像分界线为在光源照射下,表面异物成像和表面异物倒影成像的对称轴线;
若否,则确定当前对比的局部潜在缺陷图像的亮斑图像为第二亮斑图像。
在一种实施方式中,所述确定所述第三亮斑图像与所述局部潜在缺陷图像的亮斑图像,是否分布在倒影成像分界线的两侧之后,包括:
若所述第三亮斑图像与所述局部潜在缺陷图像的亮斑图像,分布在倒影成像分界线的两侧,则确定所述第三亮斑图像是否小于所述局部潜在缺陷图像的亮斑图像;
若否,则确定当前对比的局部潜在缺陷图像的亮斑图像为第二亮斑图像。
在一种实施方式中,所述确定所述第三亮斑图像是否小于所述局部潜在缺陷图像的亮斑图像之后,包括:
若所述第三亮斑图像小于所述局部潜在缺陷图像的亮斑图像,判断所述第三亮斑图像的图像完整度是否满足完整度阈值;
若是,则确定当前对比的局部潜在缺陷图像的亮斑图像为第一亮斑图像;
若否,则确定当前对比的局部潜在缺陷图像的亮斑图像为第二亮斑图像。
本申请提供的技术方案包括以下有益效果:
在本申请实施例的方案中,分别对原始图像(即,第一处理图像)进行两个分支的处理,第一分支是对原始图像进行对比度增强处理,锐化原始图像中各种亮斑图像(分别对应潜在缺陷和潜在倒影)的边缘轮廓,再进行样本方差阈值分割,由于潜在缺陷和潜在倒影对应的亮斑在亮度上有区别,因此,经本方案的处理能够有效地区分两者(进而分割出独立的潜在缺陷图像)且去除图像边界的干扰,使得分割更加准确;第二分支是对原始图像进行局部自适应阈值分割,得到第三处理图像为潜在缺陷和潜在对应的图像,然后将两个分支得到的图像对应相减,则可以得到精确的仅体现潜在倒影的待分析图像,以便于后续能够基于该待分析图像进行准确的缺陷类型识别。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述,本申请的上述以及其它目的、特征和优势将变得更加明显,其中,在本申请示例性实施方式中,相同的参考标号通常代表相同部件。
图1是本申请实施例示出的基于图像分割的透明待检物缺陷识别方法的一流程示意图;
图2是本申请实施例示出的光照系统示意图;
图3是本申请实施例示出的潜在缺陷分割的逻辑示意图;
图4是本申请实施例示出的潜在倒影分割的逻辑示意图;
图5是本申请实施例示出的感兴趣区域分割的流程示意图;
图6是本申请实施例示出的设置区域分割框尺寸原理的一个示意图;
图7是本申请实施例示出的设置区域分割框尺寸的一个示意图;
图8是本申请实施例示出的基于图像分割的透明待检物缺陷识别方法的另一流程示意图。
具体实施方式
下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式,然而应该理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本申请更加透彻和完整,并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在产品检测的过程中,透明待检物具有“透明”和“反光”的特殊属性,导致有缺陷的透明待检物的光学成像会出现多种不同类型的“亮斑”;并且,在光源的照射下,某些局部位置还可能会产生光晕和虚影,使得基于计算机视觉的缺陷识别方案难以进行有效识别。
针对上述问题,本申请实施例提供一种基于图像分割的透明待检物缺陷识别方法,能够对代表不同类型的亮斑图像进行有效地分割处理,进而基于分割后的图像进行准确地缺陷类型识别。
实施例一
本申请实施例示出的是基于图像分割的透明待检物缺陷识别方法的流程。参考图1,本申请实施例中基于图像分割的透明待检物缺陷识别方法的实施例包括:
101、获取第一处理图像,所述第一处理图像为透明待检物的拍摄图像;
具体的,第一处理图像可以为工业相机对透明待检物(如,玻璃)拍摄后得到的直接成像;也可以为通过感兴趣区域(ROI,region of interest)对拍摄图像进行检测区域提取后的图像(在实际应用中,可能不需要对整一块玻璃进行检测,因此可以先从拍摄图像提取局部的检测区域)。
在实际应用中,将透明待检物放置于光照系统中,利用工业相机在线扫光源的照射下拍摄透明待检物,进而得到第一处理图像。通过光照系统中线扫光源的照射,若透明待检物存在表面异物(主要为灰尘),那么在第一处理图像中就会出现倒影对应的亮斑图像(相比于内部异物对应的亮斑图像,较为暗一点)。在本申请实施例中,光照系统为区分异物存在于表面还是内部创造区分条件。
工业相机:工业相机是机器视觉系统中的一个关键组件,其最本质的功能就是将光信号转变成有序的电信号。
线扫光源:又称线性光源,为一个能够发出连续的可见光的点状发光源,如果它的光在空间中只向一个方向成线性传播,那么这个发光点就被称为线光源。该定义只是理想状态下的,现实中比如汽车远光灯、探照灯、激光笔等多少有点向周边散射,但都可以被当作线光源。
示例性的,请参考图2,透明待检物为玻璃屏幕,异物类型为灰尘。图2中采用线扫光源照射玻璃,采用工业相机拍摄玻璃获取玻璃图像,线扫光源的颜色、工业相机的品牌并不限定。
线扫光源与玻璃的距离L1在60毫米至80毫米范围内,本实施例中设置为70毫米,线扫光源的入射角度γ为15°至30°范围内,本实施例中设置为20°。
其中,线扫光源与玻璃的距离为直线距离,线扫光源的入射角度为线扫光源的照射光线与玻璃法线的夹角。
工业相机与玻璃的距离L2在360毫米至400毫米范围内,本实施例中设置为380毫米,相机与玻璃的法线之间的拍摄角度δ在0°至45°范围内,本实施例中设置为25°。
其中,工业相机与玻璃的距离为直线距离,相机与玻璃的法线之间的拍摄角度为相机镜头照射方向的延长线与玻璃的法线之间的夹角。
将透明待检物放置在光照系统中,可以将灰尘异物照射出倒影图像。光照系统的参数设置在预设范围内,可以更好的发挥光照系统的效果,以及使相机能有更清晰高效的拍摄效果,并且预设好的光照系统参数使检测人员对后续区域分割框的设置提供了参数支持。
102、对所述第一处理图像进行对比度增强处理以及样本方差阈值分割,得到第二处理图像,所述第二处理图像为潜在缺陷对应的图像;
在本申请实施例中,对第一处理图像进行对比度增强处理,可以锐化第一处理图像中亮斑图像的图像细节,使得无论是表面异物对应的亮斑图像(即,第一亮斑图像),还是内部异物对应的亮斑图像(即,第二亮斑图像),亦或是表面异物倒影对应的亮斑图像(即,第三亮斑图像)都能够被清晰的显现出来。示例性的,该对比度增强处理为gamma对比度增强处理。
在本申请实施例中,对比度增强处理后,进一步进行样本方差阈值分割,由于“倒影对应的亮斑图像相比于内部异物对应的亮斑图像,较为暗一点”,因此第三亮斑图像的灰度值会明显的低一个级别,样本方差阈值分割能够准确的将重叠的亮斑图像(第一亮斑图像与第三亮斑图像存在交叉部分,或第二亮斑图像与第三亮斑图像存在交叉部分)中潜在倒影对应的图像部分去除。
示例性的,样本方差阈值分割为var-threshold阈值分割。相较于局部自适应阈值分割(计算领域内均值减去设定的偏差值),var样本方差阈值分割是计算领域内的标准方差乘以标准差因子,再与设定的阈值比较,由于图像边缘的像素点计算标准方差后的值比较大,var样本方差阈值分割能够去掉图像边缘干扰。
示例性的,步骤102的逻辑示意图可以请参考图3,可以理解的是,其中的椭圆形和方形仅用于区分缺陷对应的亮斑图像以及倒影对应的亮斑图像,而并不代表亮斑图像本身的外形结构;在实际应用中,亮斑图像可以为不规则图形。
可选的,为了避免后续对比度增强处理的过程中,把一些图像噪点也一并增强,可以在步骤102之前,对所述第一处理图像进行高斯滤波,得到降噪后的第一处理图像,排除图像噪点的干扰。
103、根据所述第一处理图像的亮斑图像进行区域分割,得到分割位置信息和区域分割图像;
在本申请实施例中,第一处理图像中的各个亮斑图像为基准,进行感兴趣区域分割,将一整张第一处理图像分割成N个亮斑图像对应区域分割图像,N为第一处理图像中提取到的亮斑图像的数量。
所述分割位置信息为N个分割图像对应的位置和尺寸信息。
本申请实施例中感兴趣区域分割的具体实施方式可以参考实施例二,此处不再赘述。
可以理解的是,步骤102和步骤103之间没有严格的先后次序,步骤103的执行也不依赖于步骤102的输出结构,即,步骤102和步骤103可以并行执行。
104、对所述区域分割图像进行局部自适应阈值分割,得到第三处理图像,所述第三处理图像为潜在缺陷和潜在倒影对应的图像;
在本申请实施例中可以通过局部自适应阈值分割,将区域分割图像中所有的亮斑图像(包括第一亮斑图像,第二亮斑图像和第三亮斑图像,即潜在缺陷和潜在倒影对应的图像)都提取出来,形成第三处理图像。
在实际应用中,由于步骤103进行的感兴趣区域分割所提取出来的区域分割图像覆盖了一定的范围,可能将基准亮斑图像附近的亮斑图像,或与基准亮斑图像重叠的亮斑图像都提取了进来,此时这些亮斑图像究竟为第一亮斑图像、第二亮斑图像还是第三亮斑图像暂时是不清楚的。
105、根据所述第三处理图像对应的分割位置信息,确定所述第二处理图像在相应图像位置是否存在局部潜在缺陷图像;若存在局部潜在缺陷图像,则根据所述局部潜在缺陷图像去除所述第三处理图像中的潜在缺陷的图像信息,得到仅体现潜在倒影的待识别图像;
在本申请实施例中,由于第三处理图像是基于区域分割图像进行亮斑提取的局部图像,而第二处理图像是基于第一处理图像得到的仅体现潜在缺陷的整张大图,因此,需要根据第三处理图像对应的分割位置信息,对第二处理图像的局部位置进行分析,若存在局部潜在缺陷图像,则根据所述局部潜在缺陷图像去除所述第三处理图像中的潜在缺陷的图像信息,得到仅体现潜在倒影的待识别图像。示例性的,可以参考图4,其中利用局部潜在缺陷图像中的“缺陷本身”,可以得到完整的倒影图像(即,待识别图像)。在实际应用中,待识别图像中可以包括有一个以上的第三亮斑图像。
其中,所述相应图像位置为所述待识别图像在第一处理图像中对应的分割位置信息。
106、根据所述第二处理图像和所述待识别图像进行透明待检物的缺陷类型识别。
在步骤106中,可以逐一获取待识别图像的第三亮斑图像,并将当前获取到的第三亮斑图像,与对所述第二处理图像中相应位置的局部潜在缺陷图像(其中可能存在一个以上的亮斑图像)进行逐一比对分析,确定所述待识别图像和所述局部潜在缺陷图像中亮斑图像的关联关系,若存在所述第三亮斑图像为所述局部潜在缺陷图像的其中一个亮斑图像的倒影,则确定该其中一个亮斑图像为第一亮斑图像,确定所述第一亮斑图像相对应位置的缺陷为表面异物,确定所述局部潜在缺陷图像中除所述第一亮斑图像之外,其余的亮斑图像为第二亮斑图像,确定所述第二亮斑图像相对应位置的缺陷为内部异物。
直至待识别图像中的每一个第三亮斑图像,都分别与局部潜在缺陷图像中的每一个亮斑图像都比对完成,当前的分析识别步骤结束。
可以理解的是,在进行分析识别前,仅知道区分局部潜在缺陷图像会包含有第一亮斑图像和/或第二亮斑图像,但不清楚具体哪个亮斑图像是第一亮斑图像,哪个亮斑图像是第二亮斑图像。
在实际应用中,由于透明待测物复杂的光学成像环境,有可能会产生光晕和虚影,并且这些光晕和虚影可能与亮斑图像重叠在一起,可能增大亮斑图像的面积,或干扰亮斑图像的边缘,使得比对待识别图像和局部潜在缺陷图像中亮斑图像的关联关系时,产生偏差。
本申请实施例分别对原始图像(即,第一处理图像)进行两个分支的处理,第一分支是对原始图像进行对比度增强处理,锐化原始图像中各种亮斑图像(分别对应潜在缺陷和潜在倒影)的边缘轮廓,再进行样本方差阈值分割,由于潜在缺陷和潜在倒影对应的亮斑在亮度上有区别,因此,经本方案的处理能够有效地区分两者(进而分割出独立的潜在缺陷图像)且去除图像边界的干扰,使得分割更加准确;第二分支是对原始图像进行局部自适应阈值分割,得到第三处理图像为潜在缺陷和潜在对应的图像,然后将两个分支得到的图像对应相减,则可以得到精确的仅体现潜在倒影的待分析图像,能够有效的排除光晕和虚影的干扰,以便于后续能够基于该待分析图像进行准确的缺陷类型识别。
实施例二
请参阅图5,以下实施例描述感兴趣区域分割的具体实施方式,包括:
201、获取所述第一处理图像中的一块亮斑图像;
在本申请实施例中,可以依次遍历第一处理图像中亮斑图像,直至所有的亮斑图像都完成感兴趣区域分割。
202、以当前亮斑图像的中心点为中心,在所述第一处理图像中设定区域分割框,得到当前亮斑图像对应的区域分割图像;
示例性的,在本申请实施例中,透明待检物为玻璃屏幕,异物类型为灰尘。请参阅图6,由线扫光源照射玻璃,形成的光影成像,依照其光学原理来计算区域分割框的尺寸。区域分割框为矩形区域(在一种优选方案中,该区域分割框的矩形为正方形),该矩形区域内最大内切圆的半径为R。参考图6说明,R的值即为灰尘相对线扫光源的自身成像点与倒影最远成像点的距离。请参阅图7,其中,T为亮斑图像的中心点,图7为以最大内切圆的半径设置区域分割框的示意图。
区域分割框的尺寸根据以下公式确定,包括:
其中,R为区域分割框内最大内切圆的半径,
L为潜在表面异物高度(本申请实施例中为灰尘粒,可以取值为0.4毫米),
h为所述透明待检物的厚度,本实施例中取为0.9毫米。
其中,n为所述透明待检物的折射率。根据透明待检物的不同,其折射率会有所不同,本实施例中透明待检物为玻璃屏幕,在本实施例中折射率取值为1.5。
203、判断所述第一处理图像中是否还有亮斑图像未执行区域分割;
若是,则返回执行步骤201;若否,则执行步骤204。
204、根据所述第一处理图像中所有亮斑图像的区域分割图像,确定每个亮斑图像对应的分割位置信息。
在本申请实施例中,由于该最大内接圆的半径R为该基准亮斑图像对应的潜在倒影图像的最远距离。即,在被分割后的得到的区域分割图像内,包含了所有基准亮斑图像的潜在倒影图像,通过区域分割框的设置可以集中对框内图像进行分析处理,可以排除与作为基准的透明待检物图像中的基准亮斑图像无关的图像区域,减少工作量,提高检测效率。此外,根据该区域分割框所截取的区域分割图像,能够尽可能涵盖基准亮斑图像的潜在倒影图像,提高了后续分析的准确率。
实施例三。
请参与图8,以下实施例描述分析所述待识别图像和所述局部潜在缺陷图像中亮斑图像的关联关系的具体实施方式,包括:
301、确定所述第三亮斑图像与所述局部潜在缺陷图像的亮斑图像是否分布在倒影成像分界线的两侧;
可以参考图5,所述倒影成像分界线为在光源照射下,表面异物成像和表面异物倒影成像的对称轴线。
若是,则执行步骤302。
若否,则执行步骤305,确定当前对比的局部潜在缺陷图像的亮斑图像为第二亮斑图像。
在实际应用中,表面异物成像和表面异物倒影成像肯定分别在倒影成像分界线的两侧,不是分布在倒影成像分界线两侧的图像,两者的关联关系肯定不是表面异物和表面异物倒影的关系。
302、确定所述第三亮斑图像是否小于所述局部潜在缺陷图像的亮斑图像;
若所述第三亮斑图像与所述局部潜在缺陷图像的亮斑图像,分布在倒影成像分界线的两侧,则确定所述第三亮斑图像是否小于所述局部潜在缺陷图像的亮斑图像;
若是,则执行步骤303。
若否,则执行步骤305,确定当前对比的局部潜在缺陷图像的亮斑图像为第二亮斑图像。
在实际应用中,根据光线特性,表面异物成像的面积肯定大于表面异物倒影成像的面积,因此,若第三亮斑图像的面积大于或等于在缺陷图像的亮斑图像,两者的关联关系肯定不是表面异物和表面异物倒影的关系。
303、判断所述第三亮斑图像的图像完整度是否满足完整度阈值;
若所述第三亮斑图像小于所述局部潜在缺陷图像的亮斑图像,判断所述第三亮斑图像的图像完整度是否满足完整度阈值;
若是,则执行步骤304,确定当前对比的局部潜在缺陷图像的亮斑图像为第一亮斑图像。
若否,则执行步骤305,确定当前对比的局部潜在缺陷图像的亮斑图像为第二亮斑图像。
在实际应用中,区域分割框的边界可能在某些亮斑图像的图像范围内,因为区域分割框的尺寸能够将最远端的倒影图像(即,第三亮斑图像)包含,因此区域分割框的边界不可能分割到基准亮斑图像对应的第三亮斑图像;反之,区域分割框的边界若在某个亮斑图像的图像范围内,该亮斑图像就不可能是基准亮斑图像对应的第三亮斑图像(基准亮斑图像的倒影)。
判断第三亮斑图像的图像完整度,可以比对局部潜在缺陷图像的亮斑图像的形状,判断第三亮斑图像是否是局部潜在缺陷图像的亮斑图像的形状成比例放缩,若形状不完整,有缺失,则为图像完整度不足。具体方法可以为:一,该第三亮斑图像的中心像素点,离区域分割框边缘的最短距离小于一个阈值(该阈值可根据实际情况设置)。二,该第三亮斑图像上的像素点与区域分割框边缘的像素点相邻。满足至少以上一个判据则认为该第三亮斑图像与该亮块区域图像的边缘相邻。
304、确定当前对比的局部潜在缺陷图像的亮斑图像为第一亮斑图像;
305、确定当前对比的局部潜在缺陷图像的亮斑图像为第二亮斑图像。
在本申请实施例中,从多角度多方面对第三亮斑图像和局部潜在缺陷图像的亮斑图像的关联关系进行了分析,配合实施例一的潜在倒影图像和潜在缺陷图像的精确分割结果,很大程度的提高了异物类似检测结果的正确性,避免错将表面异物当成内部异物,导致错将良品识别为瑕疵品;或是将内部异物当成表面异物,造成漏检。
上文中已经参考附图详细描述了本申请的方案。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其他实施例的相关描述。本领域技术人员也应该知悉,说明书中所涉及的动作和系统并不一定是本申请所必需的。另外,可以理解,本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减,本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
此外,根据本申请的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者,本申请还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质),其上存储有可执行代码(或计算机程序、或计算机指令代码),当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或电子设备、服务器等)的处理器执行时,使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。
本领域技术人员还将明白的是,结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种基于图像分割的透明待检物缺陷识别方法,其特征在于,包括:
获取第一处理图像,所述第一处理图像为透明待检物的拍摄图像;
对所述第一处理图像进行对比度增强处理以及样本方差阈值分割,得到第二处理图像,所述第二处理图像为潜在缺陷对应的图像;
根据所述第一处理图像的亮斑图像进行区域分割,得到分割位置信息和区域分割图像;
对所述区域分割图像进行局部自适应阈值分割,得到第三处理图像,所述第三处理图像为潜在缺陷和潜在倒影对应的图像;
根据所述第三处理图像对应的分割位置信息,确定所述第二处理图像在相应图像位置是否存在局部潜在缺陷图像;若存在局部潜在缺陷图像,则根据所述局部潜在缺陷图像去除所述第三处理图像中的潜在缺陷的图像信息,得到仅体现潜在倒影的待识别图像;
根据所述第二处理图像和所述待识别图像进行透明待检物的缺陷类型识别。
2.根据权利要求1所述的基于图像分割的透明待检物缺陷识别方法,其特征在于,所述对所述第一处理图像进行对比度增强处理以及样本方差阈值分割之前,包括:
对所述第一处理图像进行高斯滤波,得到降噪后的第一处理图像。
3.根据权利要求1所述的基于图像分割的透明待检物缺陷识别方法,其特征在于,
所述对比度增强处理为gamma对比度增强处理;
所述样本方差阈值分割为var-threshold阈值分割。
4.根据权利要求1所述的基于图像分割的透明待检物缺陷识别方法,其特征在于,所述根据所述第一处理图像的亮斑图像进行区域分割,得到分割位置信息和区域分割图像,包括:
S1、获取所述第一处理图像中的一块亮斑图像;
S2、以当前亮斑图像的中心点为中心,在所述第一处理图像中设定区域分割框,得到当前亮斑图像对应的区域分割图像;
S3、判断所述第一处理图像中是否还有亮斑图像未执行区域分割;若是,则执行步骤S1;若否,则执行步骤S4;
S4、根据所述第一处理图像中所有亮斑图像的区域分割图像,确定每个亮斑图像对应的分割位置信息。
7.根据权利要求1所述基于图像分割的透明待检物缺陷识别方法,其特征在于,所述根据所述第二处理图像和所述待识别图像进行透明待检物的缺陷类型识别,包括:
分析所述待识别图像和所述局部潜在缺陷图像中亮斑图像的关联关系,所述局部潜在缺陷图像包括第一亮斑图像和/或第二亮斑图像,所述待识别图像包括第三亮斑图像,其中,所述第三亮斑图像的灰度值小于所述第一亮斑图像或所述第二亮斑图像;
若存在所述第三亮斑图像为所述局部潜在缺陷图像的其中一个亮斑图像的倒影,则确定该其中一个亮斑图像为第一亮斑图像,确定所述第一亮斑图像相对应位置的缺陷为表面异物;
确定所述局部潜在缺陷图像中除所述第一亮斑图像之外,其余的亮斑图像为第二亮斑图像,确定所述第二亮斑图像相对应位置的缺陷为内部异物。
8.根据权利要求7所述基于图像分割的透明待检物缺陷识别方法,其特征在于,所述分析所述待识别图像和所述局部潜在缺陷图像中亮斑图像的关联关系,包括:
确定所述第三亮斑图像与所述局部潜在缺陷图像的亮斑图像,是否分布在倒影成像分界线的两侧;所述倒影成像分界线为在光源照射下,表面异物成像和表面异物倒影成像的对称轴线;
若否,则确定当前对比的局部潜在缺陷图像的亮斑图像为第二亮斑图像。
9.根据权利要求8所述基于图像分割的透明待检物缺陷识别方法,其特征在于,所述确定所述第三亮斑图像与所述局部潜在缺陷图像的亮斑图像,是否分布在倒影成像分界线的两侧之后,包括:
若所述第三亮斑图像与所述局部潜在缺陷图像的亮斑图像,分布在倒影成像分界线的两侧,则确定所述第三亮斑图像是否小于所述局部潜在缺陷图像的亮斑图像;
若否,则确定当前对比的局部潜在缺陷图像的亮斑图像为第二亮斑图像。
10.根据权利要求9所述基于图像分割的透明待检物缺陷识别方法,其特征在于,所述确定所述第三亮斑图像是否小于所述局部潜在缺陷图像的亮斑图像之后,包括:
若所述第三亮斑图像小于所述局部潜在缺陷图像的亮斑图像,判断所述第三亮斑图像的图像完整度是否满足要求;
若是,则确定当前对比的局部潜在缺陷图像的亮斑图像为第一亮斑图像;
若否,则确定当前对比的局部潜在缺陷图像的亮斑图像为第二亮斑图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110909232.9A CN113592841B (zh) | 2021-08-09 | 2021-08-09 | 基于图像分割的透明待检物缺陷识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110909232.9A CN113592841B (zh) | 2021-08-09 | 2021-08-09 | 基于图像分割的透明待检物缺陷识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113592841A true CN113592841A (zh) | 2021-11-02 |
CN113592841B CN113592841B (zh) | 2024-09-24 |
Family
ID=78256510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110909232.9A Active CN113592841B (zh) | 2021-08-09 | 2021-08-09 | 基于图像分割的透明待检物缺陷识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113592841B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114881958A (zh) * | 2022-04-29 | 2022-08-09 | 深圳市青虹激光科技有限公司 | 刃口检测方法、系统以及计算机可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010249552A (ja) * | 2009-04-13 | 2010-11-04 | Central Glass Co Ltd | ガラス板の欠陥識別方法および装置 |
CN110208269A (zh) * | 2019-05-17 | 2019-09-06 | 惠州高视科技有限公司 | 一种玻璃表面异物与内部异物区分的方法及系统 |
-
2021
- 2021-08-09 CN CN202110909232.9A patent/CN113592841B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010249552A (ja) * | 2009-04-13 | 2010-11-04 | Central Glass Co Ltd | ガラス板の欠陥識別方法および装置 |
CN110208269A (zh) * | 2019-05-17 | 2019-09-06 | 惠州高视科技有限公司 | 一种玻璃表面异物与内部异物区分的方法及系统 |
Non-Patent Citations (2)
Title |
---|
DJALLEL BELHADJ 等: "Kurtosis-based connected components method for detecting small and transparent foreign objects in semiopaque bottles", 《JOURNAL OF ELECTRONIC IMAGING》, vol. 29, no. 4, 21 February 2020 (2020-02-21), pages 1 - 15 * |
简川霞: "手机玻璃屏表面缺陷机器视觉检测与分类方法研究", 《中国博士学位论文全文数据库 信息科技辑》, 15 March 2018 (2018-03-15), pages 138 - 31 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114881958A (zh) * | 2022-04-29 | 2022-08-09 | 深圳市青虹激光科技有限公司 | 刃口检测方法、系统以及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113592841B (zh) | 2024-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109816644B (zh) | 一种基于多角度光源影像的轴承缺陷自动检测系统 | |
KR102009494B1 (ko) | 웨이퍼 검사를 위한 분할 | |
CN113252568A (zh) | 基于机器视觉的镜片表面缺陷检测方法、系统、产品、终端 | |
CN107545565B (zh) | 一种太阳能网版检测方法 | |
CN111474179A (zh) | 镜片表面清洁度检测装置及方法 | |
JP2015081844A (ja) | 透明体検査方法および透明体検査装置 | |
CN110706224A (zh) | 基于暗场图像的光学元件弱划痕检测方法、系统和装置 | |
CN114881990A (zh) | 掩模版缺陷检测方法、装置、电子设备及存储介质 | |
CN107980094B (zh) | 一种视觉检测系统及方法 | |
CN112987356B (zh) | 液晶面板底部异物滤除装置 | |
CN113592841B (zh) | 基于图像分割的透明待检物缺陷识别方法 | |
CN118858293A (zh) | 基于光度立体算法的石墨片组件外观缺陷检测方法 | |
CN110186929A (zh) | 一种实时的产品瑕疵定位方法 | |
JP2017166957A (ja) | 欠陥検出装置、欠陥検出方法およびプログラム | |
CN111833350A (zh) | 机器视觉检测方法与系统 | |
CN114155179A (zh) | 光源缺陷检测方法、装置、设备和存储介质 | |
CN114930158A (zh) | 基于激光的夹杂物检测系统及方法 | |
CN116908185B (zh) | 物品的外观缺陷检测方法、装置、电子设备及存储介质 | |
CN111563869B (zh) | 用于摄像模组质检的污点测试方法 | |
Prabha et al. | Defect detection of industrial products using image segmentation and saliency | |
CN117173107A (zh) | 产品缺陷检测方法、装置、设备、系统和可读存储介质 | |
JP2008171142A (ja) | シミ欠陥検出方法及び装置 | |
CN111179248B (zh) | 一种透明平滑曲面缺陷识别方法及检测装置 | |
CN114926675A (zh) | 外壳污损缺陷检测方法、装置、计算机设备及存储介质 | |
JP2006145228A (ja) | ムラ欠陥検出方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 215129 Rooms 101, 102, 901, 902, Floor 9, Building 11, No. 198, Jialing River Road, High tech Zone, Suzhou City, Jiangsu Province Applicant after: Gaoshi Technology (Suzhou) Co.,Ltd. Address before: 215000 Room 101, Room 102, room 901 and room 902, floor 9, building 11, No. 198, Jialingjiang Road, high tech Zone, Suzhou, Jiangsu Applicant before: Gaoshi Technology (Suzhou) Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |