CN118858293A - 基于光度立体算法的石墨片组件外观缺陷检测方法 - Google Patents
基于光度立体算法的石墨片组件外观缺陷检测方法 Download PDFInfo
- Publication number
- CN118858293A CN118858293A CN202410997492.XA CN202410997492A CN118858293A CN 118858293 A CN118858293 A CN 118858293A CN 202410997492 A CN202410997492 A CN 202410997492A CN 118858293 A CN118858293 A CN 118858293A
- Authority
- CN
- China
- Prior art keywords
- defects
- area
- graphite sheet
- image
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 147
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 title claims abstract description 79
- 229910002804 graphite Inorganic materials 0.000 title claims abstract description 79
- 239000010439 graphite Substances 0.000 title claims abstract description 79
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims abstract description 20
- 238000013135 deep learning Methods 0.000 claims abstract description 18
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 claims description 88
- 239000013598 vector Substances 0.000 claims description 76
- 229910052759 nickel Inorganic materials 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 11
- 238000002310 reflectometry Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000007373 indentation Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000037303 wrinkles Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 239000003292 glue Substances 0.000 claims description 6
- 230000002950 deficient Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000032258 transport Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开基于光度立体算法的石墨片组件外观缺陷检测方法，涉及自动检测领域，包括a)、在S1工位利用线扫相机A拍摄石墨片组件的工件表面，在S2工位利用线扫相机B拍摄石墨片组件的工件表面，利用深度学习网络判定石墨片组件为OK品或者NG品，对判定为NG品中的凹点、凸点缺陷记录为待判定缺陷；b)、在S3工位利用彩色线扫相机C垂直拍摄，通过分时频闪曝光获得两张不同曝光的图片；c)、在S4工位采用远心镜头近似正投影模型的面阵相机D，利用光度立体成像法检测步骤a)中的凹点、凸点缺陷类型。本发明能够区分外观缺陷在高度方向上的凹凸属性，凹属性外观缺陷灰度偏暗，凸属性外观缺陷灰度偏亮，漏检数量较传统检测方法降低98％，过检数量降低72％。
Description
技术领域
本发明涉及自动检测区域，具体涉及基于光度立体算法的石墨片组件外观缺陷检测方法。
背景技术
石墨片作为电子产品(IPAD等)的散热部件，其表面精度要求较高，但其成型工艺中可能伴随变形、划伤、压痕、褶皱、凹点、凸点、气泡、脏污等缺陷。由于装配工艺的需求，针对凹凸类缺陷，石墨片上的凹点和凸起的容忍度不同，凹点容忍度比凸点容忍度高，凸点会妨碍工件与其他工件的组装，这就要求凹点和凸起的成像要有差异。然而目前市场上通常采用传统光度立体成像技术，光源是单一点光源，同时待检测产品的表面满足郎伯反射特性，传统的立体成像技术无法检测石墨片组件的各类微小缺陷，特别是难以判别凹凸属性。因此，对于石墨片组件的各类缺陷判别的需求，尤其是凹凸缺陷的识别，提出一种改进的光度立体成像技术应用于石墨片组件缺陷的视觉检测中，是急需解决的技术问题。
发明内容
为解决上述技术问题，本发明提供了基于光度立体算法的石墨片组件外观缺陷检测方法，用于检测石墨片组件的各类缺陷，尤其是判别凹凸点缺陷类型。
本发明的技术方案是：基于光度立体算法的石墨片组件外观缺陷检测方法，石墨片组件包括石墨片区域和镍片区域，包括以下步骤：
a)、在S1工位利用线扫相机A斜角拍摄石墨片组件的工件表面，在S2工位利用线扫相机B垂直拍摄石墨片组件的工件表面，从线扫相机A拍摄的线扫图像获取石墨片区域的变形、划伤、压痕、褶皱、凹点、凸点等缺陷，从线扫相机B拍摄的线扫图像获取镍片区域上的气泡、划伤、压痕、褶皱、凹点、凸点、脏污等缺陷，利用深度学习网络判定石墨片组件为OK品或者NG品，对判定为NG品中的凹点、凸点缺陷记录为待判定缺陷；
b)、在S3工位利用彩色线扫相机C垂直拍摄，通过分时频闪曝光获得两张不同曝光的图片，检测镍片区域毛丝、镍片区域溢胶、石墨片区域破损等缺陷；
c)、在S4工位采用远心镜头近似正投影模型的面阵相机D，光源采用四面条状光源，所述四面条状光源同一高度等间隔90度分布，依次打开四面条状光源，利用四面条状光源分别拍摄四张图像，计算每张图像下每一个像素点的法向量，并将每一个像素点的法向量合并得到整张图像的法向量，利用光度立体成像法检测步骤a)中的凹点、凸点缺陷类型；
d)、下料模组根据输出结果将OK品和NG品分别输送至不同的流线。
进一步的，步骤a)中包括以下步骤：
a1)、使用预处理算法对线扫相机A、B分别获得的线扫图像进行高斯滤波去噪，使用边缘提取算法得到镍片准确的外边缘，根据产品2条外边缘的交点作为原点，以宽度方向为X轴建立产品的工件坐标系，在工件坐标系下设定检测ROI区域，并区分镍片区域和石墨片区域，将镍片区域和石墨片区域发送给深度学习网络；
a2)、深度学习包括两级学习网路，一级学习网络(语义分割模型Deeplabv3+)遍历石墨片区域和镍片区域发送的若干小块图像的所有缺陷，根据检测对象的不同，划分为石墨片区缺陷和镍片区缺陷；
若一级学习网络输出OK，对应的石墨片组件视为合格产品，若一级学习网络输出NG，根据一级学习网络输出的缺陷的长、宽、面积等参数进行初步筛选，对于不满足条件的缺陷，对应的石墨片组件仍视为合格产品；
对于满足条件的缺陷图像，发送给二级学习网络进行复检(分类模型ResNet50)，若二级学习网络输出OK，对应的石墨片组件视为合格产品；对二级学习网络输出NG图像进行分析，根据缺陷位置和个数进行质量筛选，若缺陷超出预先设定条件，对应的石墨片组件判定为最终的NG产品；
a3)、分析步骤a2)中的结果，将标签为凹点缺陷、凸点缺陷的区域，合并为同一类区域，作为待判定缺陷，同时工件坐标系下确定凹点缺陷、凸点缺陷的坐标值、面积、尺寸信息。
进一步的，步骤b)中包括以下步骤：
b1)、采用预处理算法对彩色线扫图片进行高动态图片融合；
b2)、对镍片外边缘使用边缘提取算法得到准确的边，根据两条边的交点作为原点，以宽度方向为X轴建立关于产品镍片区域的工件坐标系，在工件坐标系下设定检测ROI区域，区分镍片区域和覆盖其上的石墨片区域；最后送给深度学习网络；
b3)、深度学习网络采用二级学习网络结构，一级学习网络使用分割网络，检测镍片区域毛丝、镍片区域溢胶、石墨片区域破损等缺陷；对于一级学习网络的输出的NG品，再根据缺陷的长、宽和面积进行初步过滤，排除部分明显的误检缺陷；二级学习网络使用分类网络，对于满足设定缺陷条件的待判断缺陷，根据缺陷位置和个数进行更一步筛选，对于不满足条件的缺陷判为最终的NG品。
进一步的，步骤c)中，计算每张图像下每一个像素点的法向量，并将每一个像素点法向量合并得到整张图像的法向量，包括：
c1)、计算四个条状光源的光源方向，并读取光源方向计算环节中得到的四个条状光源的方向向量；
c2)、读取每一个光源对应采集到的图像，记录图像的长宽；
c3)、将每张图像的光源强度归一化；
c4)、得到图像的归一化矩阵；
c5)、遍历图像的行列坐标，对于每一个像素坐标计算其对应的法向量；
c6)、归一化每一个像素点的法向量，得到四张图像下每一像素点的单位法向量；
c7)、所有的图像坐标点的单位法向量合并起来，获得整张图像的法向量；
进一步的，步骤c1)中，读取四个条状光源方向的向量，并读取光源方向计算环节中得到的四个光源方向组成的向量，包括：
c1-1)、通过图像处理技术分析较高反射率的塑料球的图像，确定光度立体成像中每一条状光源方向L；
c1-2)、依次打开四面条状光源，按上述方法获取到每一条状光源的光源方向，将每一条状光源的光源方向放在表示光源方向的向量中，以备后续操作使用。
进一步的，步骤c1-1)中通过图像处理技术分析较高反射率的塑料球的图像，确定光度立体成像中每一条状光源的方向，包括步骤：
c1-1-1)、在成像环境设定阶段，尽可能去除环境干扰，获取图像后，使用高斯滤波去除噪声，计算整张图像的灰度均值，加上适当的偏移量作为阈值，本发明中偏移量设定为+30,得到高亮区域后，形态学开运算对高亮区域进行去干扰处理，按最大面积筛选得到目标区域，最后计算其外接圆，目标区域外接圆圆心设定为高亮点坐标(Px，Py),并计算塑料球的外接圆圆心即为球心坐标(Cx，Cy)，方法同目标区域外接圆圆心坐标的获取；
c1-1-2)、计算球表面法向量N，N＝N(Nx，Ny，Nz)＝(Px-Cx，Py-Cy，)，其中r为球体半径；
c1-1-3)、设定光源反射方向的单位向量R设为(0，0，1)，则光源方向L的表达式为：
其中|N|为球表面法向量N的标量值。
进一步的，步骤c6)中，归一化每一个像素点的法向量，得到四张图像下每一像素点的单位法向量，包括：计算物体表面点的反射率Pij，
Pij＝ρi(Ni*Lj)lj，其中Pij表示光源j照射在图像上第i点坐标的像素灰度值，在图像上可以得到该值；Ni表第i点表面单位法向量；ρi表示第i点的反射率；Lj表示第j个光源方向上的单位向量，在步骤c1)中得到；lj表示第j个光源的强度，在相机及光源相对位置不变的情况下，可以将该值设为1；
进一步的，当光源个数为4时，四面条状光源同一高度等间隔90度分布，光源方向矩阵L＝[L1,L2,L3,L4]T，对应的四张图像上第i点的像素灰度值构成的向量为Pi＝[Pi1,Pi2,Pi3,Pi4]T，则
ρi＝|(LT*L)-1*LT*Pi|
进一步的，步骤c)中，利用光度立体成像检测步骤a)中的凹点、凸点缺陷，还包括：
c8)、根据S1工位输出的待判定缺陷位置，经过线扫相机A、B和面阵相机D间的矩阵变换，将缺陷坐标映射到面阵相机的图片上，
其中(c,r)为缺陷在线扫相机图像中的坐标，(c’,r’)为缺陷在面阵相机中的坐标，c_sh ift和r_sh ift分别为列方向和行方向上的偏移量，θ为旋转角度，s为线扫相机图像和面阵相机图像单像素精度之比；
根据缺陷位置设定局部ROI区域，在该区域内对梯度场进行分析，用高斯滤波检测梯度变化差异；
c9、由步骤c8的对缺陷的分析，使用固定阈值分割，阈值设定为局部区域的平均灰度值，提取过亮或过暗的异常区域，凹状缺陷呈现的灰度值明显低于区域平均灰度值，而凸状缺陷呈现的灰度值明显高于区域的平均灰度值，对于临近的缺陷区域，由于切图后一个缺陷切成了多个区域分布在不同图片上，因此采用先合并检测ROI再进行后续检测的原则进行处理，从而判定凹点或凸点的缺陷类型。
本发明的有益技术效果是：
本发明在iPad石墨片组件产品的外观缺陷的检测方法已批量使用，经量产测试，可直接通过光度立体法得到的图片上的缺陷灰度特征，经图像处理后，区分外观缺陷在高度方向上的凹凸属性，凹属性外观缺陷灰度偏暗，凸属性外观缺陷灰度偏亮，漏检数量较传统检测方法降低98％，过检数量降低72％。
附图说明
图1是工位布局示意图；
图2是光源方向计算示意图一；
图3是光源方向求解示意图二；
图4是法向量求解示意图；
图5是法向量计算流程图；
图6是分别为四面条状光源下的拍摄图像；
图7是利用光度立体算法的合成图像。
具体实施方式
为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
参见图1-7，本具体实施例公开了基于光度立体算法的石墨片组件外观缺陷检测方法，石墨片组件包括石墨片区域和镍片区域，包括以下步骤：
a)、在S1工位利用线扫相机A斜角拍摄石墨片组件的工件表面，在S2工位利用线扫相机B垂直拍摄石墨片组件的工件表面，从线扫相机A拍摄的线扫图像获取石墨片区域的变形、划伤、压痕、褶皱、凹点、凸点等缺陷，从线扫相机B拍摄的线扫图像获取镍片区域上的气泡、划伤、压痕、褶皱、凹点、凸点、脏污等缺陷，利用深度学习网络判定石墨片组件为OK品或者NG品，对判定为NG品中的凹点、凸点缺陷记录为待判定缺陷；其中，S1工位利用线扫相机A斜角拍摄能够更为精准捕捉石墨片区域的变形情况；
b)、在S3工位利用彩色线扫相机C垂直拍摄，通过分时频闪曝光获得两张不同曝光的图片，检测镍片区域毛丝、镍片区域溢胶、石墨片区域破损等缺陷；
c)、在S4工位采用远心镜头近似正投影模型的面阵相机D，光源采用四面条状光源，所述四面条状光源同一高度等间隔90度分布，依次打开四面条状光源，利用四面条状光源分别拍摄四张图像，计算每张图像下每一个像素点的法向量，并将每一个像素点的法向量合并得到整张图像的法向量，利用光度立体成像法检测步骤a)中的凹点、凸点缺陷类型；
d)、下料模组根据输出结果将OK品和NG品分别输送至不同的流线。
更具体的，步骤a)中进一步包括：
a1)、使用预处理算法对线扫相机A、B分别获得的线扫图像进行高斯滤波去噪，使用边缘提取算法得到镍片准确的外边缘，根据产品2条外边缘的交点作为原点，以宽度方向为X轴建立产品的工件坐标系，在工件坐标系下设定检测ROI区域，并区分镍片区域和石墨片区域，将镍片区域和石墨片区域发送给深度学习网络；
a2)、深度学习包括两级学习网路，一级学习网络(语义分割模型Deeplabv3+)遍历石墨片区域和镍片区域发送的若干小块图像的所有缺陷，根据检测对象的不同，划分为石墨片区缺陷和镍片区缺陷；
若一级学习网络输出OK，对应的石墨片组件视为合格产品，若一级学习网络输出NG，根据一级学习网络输出的缺陷的长、宽、面积等参数进行初步筛选，对于不满足条件的缺陷，对应的石墨片组件仍视为合格产品；
对于满足条件的缺陷图像，发送给二级学习网络进行复检(分类模型ResNet50)，若二级学习网络输出OK，对应的石墨片组件视为合格产品；对二级学习网络输出NG图像进行分析，根据缺陷位置和个数进行质量筛选，若缺陷超出预先设定条件，对应的石墨片组件判定为最终的NG产品；
a3)、分析步骤a2)中的结果，将标签为凹点缺陷、凸点缺陷的区域，合并为同一类区域，作为待判定缺陷，同时工件坐标系下确定凹点缺陷、凸点缺陷的坐标值、面积、尺寸信息。
本具体实施例中，步骤a)中，S1和S2工位(线扫相机A和线扫相机B工位)优化原石墨片缺陷的检测方法，即在预处理算法+深度学习算法(检出所有缺陷)+缺陷特征分析后处理的检测体系中，将深度学习算法检出的点状缺陷归类记录为一种待判定缺陷，并且在后处理环节把待判定凹凸类缺陷的坐标通过工件坐标系转换成实际坐标保存下来，为后续的坐标配准做准备。
更具体的，步骤b)的判别方法同步骤a)，具体包括：
b1)、采用预处理算法对彩色线扫图片进行高动态图片融合；
b2)、对镍片外边缘使用边缘提取算法得到准确的边，根据两条边的交点作为原点，以宽度方向为X轴建立关于产品镍片区域的工件坐标系，在工件坐标系下设定检测ROI区域，区分镍片区域和覆盖其上的石墨片区域；最后送给深度学习网络。
b3)、深度学习算法采用二级学习网络结构。一级学习网络使用分割网络(语义分割模型Deeplabv3+)，检测镍片区域毛丝、镍片区域溢胶、石墨片区域破损等缺陷。对于分割网络的输出的NG品，再根据缺陷的长、宽和面积进行初步过滤，排除部分明显的误检缺陷。第二级使用分类网络(分类模型ResNet50)，对于满足设定缺陷条件的待判断缺陷(即前一级的输出NG品)，根据缺陷位置和个数进行更一步筛选，对于不满足条件的缺陷判为最终的NG品。
更具体的，步骤c)中，计算每张图像下每一个像素点的法向量，并将每一个像素点法向量合并得到整张图像的法向量，包括：
c1)、计算四个条状光源的光源方向，并读取光源方向计算环节中得到的四个条状光源的方向向量；
c2)、读取每一个光源对应采集到的图像，记录图像的长宽；
c3)、将每张图像的光源强度归一化；
c4)、得到图像的归一化矩阵；
c5)、遍历图像的行列坐标，对于每一个像素坐标计算其对应的法向量；
c6)、归一化每一个像素点的法向量，得到四张图像下每一像素点的单位法向量；
c7)、所有的图像坐标点的单位法向量合并起来，获得整张图像的法向量；
本具体实施例中，步骤c1)中，读取四个条状光源方向的向量，并读取光源方向计算环节中得到的四个光源方向组成的向量，包括：
c1-1)、通过图像处理技术分析较高反射率的塑料球的图像，确定光度立体成像中每一条状光源的方向,具体计算过程如下：
如附图2所示，面阵相机D使用远心镜头模拟正投影模型，光源照射在反光的塑料球上，计算最亮的区域的中心点的朝向即可视为光源方向L；
步骤c1-1-1)、在成像环境设定阶段，尽可能去除环境干扰，获取图像后，使用高斯滤波去除噪声，计算整张图像的灰度均值，加上适当的偏移量作为阈值，本发明中偏移量设定为+30,得到高亮区域后，形态学开运算对高亮区域进行去干扰处理，按最大面积筛选得到目标区域，最后计算其外接圆，目标区域外接圆圆心设定为高亮点坐标(Px，Py),并计算塑料球的外接圆圆心即为球心坐标(Cx，Cy)，方法同目标区域外接圆圆心坐标的获取；
步骤c1-1-2)、计算球表面法向量N:
N＝N(Nx，Ny，Nz)＝(Px-Cx，Py-Cy，)，其中r为塑料球球体半径；
步骤c1-1-3)、设定光源L反射方向的单位向量R设为(0，0，1)，则光源方向L的表达式为：
其中|N|为球表面法向量N的标量值。
本实施例中公式一的计算过程如下，根据图3可知，
R+L＝N＝2S
L＝2S-R，式中S是R在N上的投影，
根据坐标系的转换，基于S是R在N上的投影，根据向量投影计算公式可以得到：
带入表达式L＝2S-R可以得到：
步骤c1-2)、依次打开四面条状光源，按上述方法获取到每一条状光源的光源方向，将每一条状光源的光源方向放在表示光源方向的向量中，以备后续操作使用。
本具体实施例中，步骤c6)中，归一化每一个像素点的法向量，得到四张图像下每一像素点的单位法向量，包括：计算物体表面点的反射率Pij，
Pij＝ρi(Ni*Lj)lj公式二
该公式二反映了像素值与光源以及物体表面法向量的关系，其中Pij表示光源j照射在图像上第i点坐标的像素灰度值，在图像上可以得到该值；Ni表第i点表面单位法向量；ρi表示第i点的反射率；Lj表示第j个光源方向上的单位向量，在步骤c1)中得到；lj表示第j个光源的强度，在相机及光源相对位置不变的情况下，可以将该值设为1；
本具体实施例中可以通过至少三个光源照射第i点，来求解N和ρ。当光源个数为3时，设光源方向矩阵L＝[L1,L2,L3]T，对应的三张图像上的像素值构成的向量为Pi，
则ρi＝|L-1*Pi|
从而得到
同理，当光源个数为4时，四面条状光源同一高度等间隔90度分布，光源方向矩阵L＝[L1,L2,L3,L4]T，对应的四张图像上第i点的像素灰度值构成的向量为Pi＝[Pi1,Pi2,Pi3,Pi4]T，则公式二变成超定方程组，求解该超定方程组的最小二乘解为：
ρi＝|(LT*L)-1*LT*Pi|公式三
更具体的，步骤c)中，利用光度立体成像检测步骤a)中的凹点、凸点缺陷，还包括：
c8)、根据S1工位输出的待判定缺陷位置，经过线扫相机A、B和面阵相机D间的矩阵变换，将缺陷坐标映射到面阵相机的图片上，
其中(c,r)为缺陷在线扫相机图像中的坐标，(c’,r’)为缺陷在面阵相机中的坐标，c_sh ift和r_sh ift分别为列方向和行方向上的偏移量，θ为旋转角度，s为线扫相机图像和面阵相机图像单像素精度之比；
根据缺陷位置设定局部ROI区域，在该区域内对梯度场进行分析，用高斯滤波检测梯度变化差异；
c9、由步骤c8的对缺陷的分析，使用固定阈值分割，阈值设定为局部区域的平均灰度值，提取过亮或过暗的异常区域，凹状缺陷呈现的灰度值明显低于区域平均灰度值，而凸状缺陷呈现的灰度值明显高于区域的平均灰度值，对于临近的缺陷区域，由于切图后一个缺陷切成了多个区域分布在不同图片上，因此采用先合并检测ROI再进行后续检测的原则进行处理，从而判定凹点或凸点的缺陷类型。
本具体实施例中，如图6所示，分别为四面条灯下依次打开每一个灯的成像效果，利用4张图计算每一个像素点的法向量，合并整张图像的法向量，就可以表示当前位置产品表面的梯度场，设定合适的Sigma(平滑系数)，计算其高斯曲率，根据表面梯度变化的差异，缺陷区域就能比较明显体现在结果图上，如图7所示。
以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (10)
1.基于光度立体算法的石墨片组件外观缺陷检测方法，石墨片组件包括石墨片区域和镍片区域，其特征在于，包括以下步骤：
a)、在S1工位利用线扫相机A斜角拍摄石墨片组件的工件表面，在S2工位利用线扫相机B垂直拍摄石墨片组件的工件表面，从线扫相机A拍摄的线扫图像获取石墨片区域的变形、划伤、压痕、褶皱、凹点、凸点等缺陷，从线扫相机B拍摄的线扫图像获取镍片区域上的气泡、划伤、压痕、褶皱、凹点、凸点、脏污等缺陷，利用深度学习网络判定石墨片组件为OK品或者NG品，对判定为NG品中的凹点、凸点缺陷记录为待判定缺陷；
b)、在S3工位利用彩色线扫相机C垂直拍摄，通过分时频闪曝光获得两张不同曝光的图片，检测镍片区域毛丝、镍片区域溢胶、石墨片区域破损等缺陷；
c)、在S4工位采用远心镜头近似正投影模型的面阵相机D，光源采用四面条状光源，所述四面条状光源同一高度等间隔90度分布，依次打开四面条状光源，利用四面条状光源分别拍摄四张图像，计算每张图像下每一个像素点的法向量，并将每一个像素点的法向量合并得到整张图像的法向量，利用光度立体成像法检测步骤a)中的凹点、凸点缺陷类型；
d)、下料模组根据输出结果将OK品和NG品分别输送至不同的流线。
2.根据权利要求1所述基于光度立体算法的石墨片组件外观缺陷检测方法，其特征在于，步骤a)中包括以下步骤：
a1)、使用预处理算法对线扫相机A、B分别获得的线扫图像进行高斯滤波去噪，使用边缘提取算法得到镍片准确的外边缘，根据产品两条外边缘的交点作为原点，以宽度方向为X轴建立产品的工件坐标系，在工件坐标系下设定检测ROI区域，并区分镍片区域和石墨片区域，将镍片区域和石墨片区域发送给深度学习网络；
a2)、深度学习包括两级学习网路，一级学习网络遍历石墨片区域和镍片区域发送的若干小块图像的所有缺陷，根据检测对象的不同，划分为石墨片区缺陷和镍片区缺陷；
若一级学习网络输出OK，对应的石墨片组件视为合格产品，若一级学习网络输出NG，根据一级学习网络输出的缺陷的长、宽、面积等参数进行初步筛选，对于不满足条件的缺陷，对应的石墨片组件仍视为合格产品；
对于满足条件的缺陷图像，发送给二级学习网络进行复检，若二级学习网络输出OK，对应的石墨片组件视为合格产品；对二级学习网络输出NG图像进行分析，根据缺陷位置和个数进行质量筛选，若缺陷超出预先设定条件，对应的石墨片组件判定为最终的NG产品；
a3)、分析步骤a2)中的结果，将标签为凹点缺陷、凸点缺陷的区域，合并为同一类区域，作为待判定缺陷，同时工件坐标系下确定凹点缺陷、凸点缺陷的坐标值、面积、尺寸信息。
3.根据权利要求2所述基于光度立体算法的石墨片组件外观缺陷检测方法，其特征在于，步骤b)中包括以下步骤：
b1)、采用预处理算法对彩色线扫图片进行高动态图片融合；
b2)、对镍片外边缘使用边缘提取算法得到准确的边，根据两条边的交点作为原点，以宽度方向为X轴建立关于产品镍片区域的工件坐标系，在工件坐标系下设定检测ROI区域，区分镍片区域和覆盖其上的石墨片区域；最后送给深度学习网络；
b3)、深度学习网络采用二级学习网络结构，一级学习网络使用分割网络，检测镍片区域毛丝、镍片区域溢胶、石墨片区域破损等缺陷；对于一级学习网络的输出的NG品，再根据缺陷的长、宽和面积进行初步过滤，排除部分明显的误检缺陷；二级学习网络使用分类网络，对于满足设定缺陷条件的待判断缺陷，根据缺陷位置和个数进行更一步筛选，对于不满足条件的缺陷判为最终的NG品。
4.根据权利要求3所述基于光度立体算法的石墨片组件外观缺陷检测方法，其特征在于，步骤c)中，计算每张图像下每一个像素点的法向量，并将每一个像素点法向量合并得到整张图像的法向量，包括：
c1)、计算四个条状光源的光源方向，并读取光源方向计算环节中得到的四个条状光源的方向向量；
c2)、读取每一个光源对应采集到的图像，记录图像的长宽；
c3)、将每张图像的光源强度归一化；
c4)、得到图像的归一化矩阵；
c5)、遍历图像的行列坐标，对于每一个像素坐标计算其对应的法向量；
c6)、归一化每一个像素点的法向量，得到四张图像下每一像素点的单位法向量；
c7)、所有的图像坐标点的单位法向量合并起来，获得整张图像的法向量。
5.根据权利要求4所述基于光度立体算法的石墨片组件外观缺陷检测方法，其特征在于，步骤c1)中，读取四个条状光源方向的向量，并读取光源方向计算环节中得到的四个光源方向组成的向量，包括步骤：
c1-1)、通过图像处理技术分析较高反射率的塑料球的图像，确定光度立体成像中每一条状光源方向L；
c1-2)、依次打开四面条状光源，按上述方法获取到每一条状光源的光源方向，将每一条状光源的光源方向放在表示光源方向的向量中，以备后续操作使用。
6.根据权利要求5所述基于光度立体算法的石墨片组件外观缺陷检测方法，其特征在于，步骤c1-1)中通过图像处理技术分析较高反射率的塑料球的图像，确定光度立体成像中每一条状光源的方向L，包括步骤：
c1-1-1)、在成像环境设定阶段，尽可能去除环境干扰，获取图像后，使用高斯滤波去除噪声，计算整张图像的灰度均值，加上适当的偏移量作为阈值，得到高亮区域后，运用形态学开运算对高亮区域进行去干扰处理，按最大面积筛选得到目标区域，最后计算其外接圆，目标区域外接圆圆心设定为高亮点坐标(Px，Py),并用相同方法计算塑料球的外接圆圆心即为球心坐标(Cx，Cy)；
c1-1-2)、计算球表面法向量N，其中r为球体半径；
c1-1-3)、设定光源反射方向的单位向量R设为(0，0，1)，则光源方向L的表达式为：
其中|N|为球表面法向量N的标量值。
7.根据权利要求4所述基于光度立体算法的石墨片组件外观缺陷检测方法，其特征在于，步骤c6)中，归一化每一个像素点的法向量，得到四张图像下每一像素点的单位法向量，包括：计算物体表面点的反射率Pij，
Pij＝ρi(Ni*Lj)lj，
其中Pij表示光源j照射在图像上第i点坐标的像素灰度值，在图像上可以得到该值；Ni表第i点表面单位法向量；ρi表示第i点的反射率；Lj表示第j个光源方向上的单位向量，在步骤c1)中得到；lj表示第j个光源的强度，在相机及光源相对位置不变的情况下，该值设为1。
8.根据权利要求7所述基于光度立体算法的石墨片组件外观缺陷检测方法，其特征在于，当光源个数为4，设光源方向矩阵L＝[L1,L2,L3,L4]T，对应的四张图像上第i点的像素灰度值构成的向量为Pi＝[Pi1,Pi2,Pi3,Pi4]T，则
ρi＝|(LT*L)-1*LT*Pi|,
9.根据权利要求1所述基于光度立体算法的石墨片组件外观缺陷检测方法，其特征在于，步骤c)中，利用光度立体成像检测步骤a)中的凹点、凸点缺陷，还包括步骤：
c8)、根据S1工位输出的待判定缺陷位置，经过线扫相机A、B和面阵相机D间的矩阵变换，将缺陷坐标映射到面阵相机的图片上，
其中(c,r)为缺陷在线扫相机图像中的坐标，(c’,r’)为缺陷在面阵相机中的坐标，c_shift和r_shift分别为列方向和行方向上的偏移量，θ为旋转角度，s为线扫相机图像和面阵相机图像单像素精度之比；根据缺陷位置设定局部ROI区域，在该区域内对梯度场进行分析，用高斯滤波检测梯度变化差异；
c9)、由步骤c8的对缺陷的分析，使用固定阈值分割，阈值设定为局部区域的平均灰度值，提取过亮或过暗的异常区域，判定凹点或凸点的缺陷类型。
10.根据权利要求6所述基于光度立体算法的石墨片组件外观缺陷检测方法，其特征在于，偏移量设定为+30。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410997492.XA CN118858293A (zh) | 2024-07-24 | 2024-07-24 | 基于光度立体算法的石墨片组件外观缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410997492.XA CN118858293A (zh) | 2024-07-24 | 2024-07-24 | 基于光度立体算法的石墨片组件外观缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118858293A true CN118858293A (zh) | 2024-10-29 |
Family
ID=93175864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410997492.XA Pending CN118858293A (zh) | 2024-07-24 | 2024-07-24 | 基于光度立体算法的石墨片组件外观缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118858293A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119164960A (zh) * | 2024-11-21 | 2024-12-20 | 宁波百世伟业印务有限公司 | 一种基于压痕的瓦楞纸质量检测方法、介质、设备 |
-
2024
- 2024-07-24 CN CN202410997492.XA patent/CN118858293A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119164960A (zh) * | 2024-11-21 | 2024-12-20 | 宁波百世伟业印务有限公司 | 一种基于压痕的瓦楞纸质量检测方法、介质、设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109816644B (zh) | 一种基于多角度光源影像的轴承缺陷自动检测系统 | |
| CN103286081B (zh) | 基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置 | |
| CN105973148A (zh) | 基于机器视觉的笔头外观尺寸标准化检测系统 | |
| CN106501272B (zh) | 机器视觉焊锡定位检测系统 | |
| CN109584215A (zh) | 一种电路板在线视觉检测系统 | |
| CN119091236B (zh) | 基于视觉检测和元学习的陶瓷封装基板检测方法及系统 | |
| CN118858293A (zh) | 基于光度立体算法的石墨片组件外观缺陷检测方法 | |
| CN111739003A (zh) | 一种用于外观检测的机器视觉算法 | |
| CN119715569B (zh) | 一种2.5d成像与ai结合的安全扣全外观视觉检测方法及系统 | |
| CN118837379A (zh) | 一种智能眼镜的高精度缺陷检测方法及系统 | |
| CN117173107A (zh) | 产品缺陷检测方法、装置、设备、系统和可读存储介质 | |
| CN117274040A (zh) | 一种适用于自动化图像缺陷检测的图像获取方法与其应用 | |
| CN117542301A (zh) | 一种显示屏的检测方法及系统 | |
| CN110426395B (zh) | 一种太阳能el电池硅片表面检测方法及装置 | |
| JP2017166957A (ja) | 欠陥検出装置、欠陥検出方法およびプログラム | |
| CN107246841A (zh) | 一种汽车零部件的多视点检测分选装置 | |
| CN118570208A (zh) | 基于机器视觉的镜片组件缺陷识别方法及系统 | |
| CN117274209B (zh) | 瓶身缺陷检测方法、系统、介质及电子设备 | |
| CN111833350A (zh) | 机器视觉检测方法与系统 | |
| CN107742287A (zh) | 护套检测系统及方法 | |
| CN117974587A (zh) | 一种基于线阵相机的磁粉探伤检测方法 | |
| CN113592841B (zh) | 基于图像分割的透明待检物缺陷识别方法 | |
| CN112798608B (zh) | 手机摄像头支架内腔侧壁的光学检测装置及光学检测方法 | |
| TWI712991B (zh) | 兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置 | |
| CN116523882B (zh) | 一种基于视觉的光学目标区域准确率检测方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |