[go: up one dir, main page]

CN112233116A - 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法 - Google Patents

基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法 Download PDF

Info

Publication number
CN112233116A
CN112233116A CN202011438083.4A CN202011438083A CN112233116A CN 112233116 A CN112233116 A CN 112233116A CN 202011438083 A CN202011438083 A CN 202011438083A CN 112233116 A CN112233116 A CN 112233116A
Authority
CN
China
Prior art keywords
image
concave
gray level
occurrence matrix
convex marks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011438083.4A
Other languages
English (en)
Other versions
CN112233116B (zh
Inventor
邱增帅
王罡
潘正颐
侯大为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Weiyi Smart Manufacturing Technology Co ltd
Original Assignee
Changzhou Weiyizhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Weiyizhi Technology Co Ltd filed Critical Changzhou Weiyizhi Technology Co Ltd
Priority to CN202011438083.4A priority Critical patent/CN112233116B/zh
Publication of CN112233116A publication Critical patent/CN112233116A/zh
Application granted granted Critical
Publication of CN112233116B publication Critical patent/CN112233116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，具有步骤是：第一步骤、对原图像进行阈值化处理；第二步骤、目标图像提取；第三步骤、目标图像拟合；第四步骤、目标图像校正；第五步骤、凹凸痕识别。该基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，通过边缘提取方法提取工件的轮廓，再通过特征提取、聚类、直线拟合方法优化工件轮廓，解决了工件偏移的问题，然后映射到标准矩形图像中，再通过特征判断和多模板匹配的方法检测凹凸痕，有效提高了工件表面凹凸痕的检出率，具有极大的实用价值。

Description

基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法
技术领域
本发明涉及工业流水线机器视觉检测表面缺陷的技术领域，尤其是一种基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法。
背景技术
人工目测是最常用的缺陷检测方法，但是人工检测比较耗时，人工检测结果会因为不同情况产生偏差，达不到工业化生产高效和精确检测的要求。
划痕、凹凸痕经常出现在物体表面上，其长度、方向和深度不一，往往受产品表面的自然纹理或图案所干扰，很难准确提取划痕特征。
边缘检测算法通常采用Laplacian、Canny、Sobel、Prewitt算子对产品表面的划痕进行检测，这些边缘检测算法在特定划痕图像上具有很好的检测效果，但是当待测物表面具有复杂纹理或者划痕对比度低时，边缘特征不易提取，极易导致误检或漏检。
Kokaram算法是最常用的划痕检测方法之一，首先它构造划痕亮度衰减的余弦分布，并利用中值滤波和Hough变换实现筛选，然后利用Gibbs采样获取划痕的骨架，以确定它是真划痕还是误测，但是这种方法容易受到噪音干扰且耗时长。
模板匹配法是缺陷检测另一常用方法，根据标准图像创建模板，然后采用基于形状的模板匹配进行划痕检测，该方法通常用于具有复杂背景的缺陷检测，但容易受到图像灰度变化的影响，且当匹配目标发生旋转时，该算法不适用。
中国发明专利文献CN107462587A（申请号：CN201710775649.4，申请日：2017年08月31日，申请人：华南理工大学）公开了一种柔性IC基板凹凸痕缺陷的精密视觉检测系统及方法，获取完整密集点云数据，分割提取候选点区域，然后分析是否为凹凸痕。然而，该专利的设备十分复杂，成本较高。
发明内容
本发明要解决的技术问题是：为了解决上述背景技术中存在的问题，提供一种基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，能够克服因暗光环境、目标物体偏移以及拍摄角度等问题而造成的识别误差较大的问题，有效提高了工件表面凹凸痕的检出率，具有极大的实用价值。
本发明解决其技术问题所采用的技术方案是：一种基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，具有以下步骤：
第一步骤、对原图像进行阈值化处理；
第二步骤、目标图像提取；
第三步骤、目标图像拟合；
第四步骤、目标图像校正；
第五步骤、凹凸痕识别。
进一步具体地说，上述技术方案中，在所述的第一步骤中，将原图像进行局部自适应阈值化处理，变成二值化图像。
进一步具体地说，上述技术方案中，在所述的第二步骤中，通过边缘提取算法对二值化图像进行边缘提取，就可以分割出目标图像。
进一步具体地说，上述技术方案中，在所述的第三步骤中，根据目标图像，识别目标图像的直线像素v1,v2,…,vn，直线像素的表达式为
Figure 659173DEST_PATH_IMAGE001
，b为斜率，a为截距，根据a和b对vn进行聚类。
进一步具体地说，上述技术方案中，聚类结果为四类，分别为Ll,Lr,Rl,Rr，然后分别拟合Ll,Lr,Rl,Rr中的直线，拟合后为
Figure 388094DEST_PATH_IMAGE002
、
Figure 404592DEST_PATH_IMAGE003
、
Figure 902569DEST_PATH_IMAGE004
、
Figure 611899DEST_PATH_IMAGE005
直线，四条直线的交点为四个，分别为：左上角的坐标为(xlu,ylu), 左下角的坐标为(xld,yld), 右上角的坐标为(xru,yru), 右下角的坐标为(xrd,yrd)，拟合后图像为不规则四边形图像。
进一步具体地说，上述技术方案中，根据四个交点，首先求四边形竖边距离
Figure 4615DEST_PATH_IMAGE006
、
Figure 887121DEST_PATH_IMAGE007
，然后求竖边的平均值距离
Figure 177288DEST_PATH_IMAGE008
。
进一步具体地说，上述技术方案中，根据四个交点，首先求四边形横边距离
Figure 119836DEST_PATH_IMAGE009
、
Figure 557771DEST_PATH_IMAGE010
，然后求横边的平均值距离
Figure 916071DEST_PATH_IMAGE011
。
进一步具体地说，上述技术方案中，把
Figure 326323DEST_PATH_IMAGE012
、
Figure 439773DEST_PATH_IMAGE013
作为矩形的长、宽，然后通过图像校正的方法把原不规则四边形图像映射到矩形图像中。
进一步具体地说，上述技术方案中，先提取图像纹理，提取特征，模板为矩形，长L∈[1,
Figure 801222DEST_PATH_IMAGE013
]，宽W∈[1,
Figure 25530DEST_PATH_IMAGE012
]，模板一共有
Figure 87027DEST_PATH_IMAGE013
×
Figure 309061DEST_PATH_IMAGE012
个，每个模板都在矩形图像中遍历，通过相似度比较进行判断凹凸痕。
本发明的有益效果是：本发明的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，即基于邻域决策与灰度共生矩阵描述的工业部件凹凸痕视觉检测方法，通过边缘提取方法提取工件的轮廓，再通过特征提取、聚类、直线拟合方法优化工件轮廓，解决了工件偏移的问题，然后映射到标准矩形图像中，再通过特征判断和多模板匹配的方法检测凹凸痕，有效提高了工件表面凹凸痕的检出率，具有极大的实用价值；本发明能较好地避免旋转、平移、缩放等引起的缺陷误报，对凹凸痕缺陷及其他缺陷有较好的识别能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是原图像。
图2是二值化图像。
图3是边缘提取后的图像。
图4映射到的矩阵图像。
图5是凹凸痕视觉检测方法的流程图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
见图5，一种基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，用于自动生产线上检测表面凹凸痕，涉及到图像识别、分割与特征提取技术，特别涉及到倾斜图像映射到矩形图像变换方法以及凹凸痕检测方法，具体具有以下步骤：
第一步骤、对原图像进行阈值化处理：将原图像进行局部自适应阈值化处理，变成二值化图像，即变成黑白图像。
二值化方法为局部自适应阈值法。阈值化图像其实就是对灰度图像进行二值化操作，根本原理是利用设定的阈值判断图像像素为0还是255，所以在图像二值化中阈值的设置很重要。图像的二值化分为全局二值化和局部自适应二值化，其区别在于阈值是否在一张图像进行统一。为了更好地处理图像，选用局部二值化。
一个理想的自适应阈值算法对光照不均匀的图像也能产生很好的效果。为了补偿亮度，每个像素的亮度需要正规化，正规化才能决定某个像素时黑色还是白色。本发明采用基于Wall算法的自适应阈值。其算法原理如下：
算法基本的思想就是遍历图像，计算像素平均值。如果某个像素明显的低于这个平均值，则设置为黑色，否则设置为白色。
假设
Figure 659271DEST_PATH_IMAGE014
是点n处最后s个像素的总和：
Figure 687269DEST_PATH_IMAGE015
（1）
其中，i为图像点的个数，
Figure 806535DEST_PATH_IMAGE016
为图像中位于点n-i处的像素。
通过比较点
Figure 996208DEST_PATH_IMAGE017
像素值与
Figure 896031DEST_PATH_IMAGE014
平均像素值的份额大小来判定
Figure 898360DEST_PATH_IMAGE018
，如果
Figure 200028DEST_PATH_IMAGE019
大于
Figure 498285DEST_PATH_IMAGE020
，图像
Figure 885404DEST_PATH_IMAGE021
为0，如果
Figure 192889DEST_PATH_IMAGE019
小于
Figure 83485DEST_PATH_IMAGE022
，图像
Figure 818222DEST_PATH_IMAGE021
为1。
Figure 427058DEST_PATH_IMAGE023
（2）
其中，
Figure 600551DEST_PATH_IMAGE017
为图像中位于点n处的像素，
Figure 47450DEST_PATH_IMAGE024
，t为设定值。
第二步骤、目标图像提取：通过边缘提取算法对二值化图像进行边缘提取，就可以分割出目标图像。边缘提取算法为Canny算子边缘提取算法。
图像的边缘是指图像局部区域亮度变化显著的部分，该区域的灰度剖面一般可以看作是一个阶跃，既从一个灰度值在很小的缓冲区域内急剧变化到另一个灰度相差较大的灰度值。图像的边缘部分集中了图像的大部分信息。所以，需要对图像进行边缘提取，本发明采用Canny边缘检测算法。其算法原理如下：
一、用一个高斯滤波器平滑输入图像；
令
Figure 15406DEST_PATH_IMAGE025
表示输入图像，
Figure 49221DEST_PATH_IMAGE026
表示高斯函数：
Figure 760825DEST_PATH_IMAGE027
（3）
卷积形成一幅平滑的图像：
Figure 563696DEST_PATH_IMAGE028
（4）
二、计算梯度幅度图像和角度图像；
Figure 702554DEST_PATH_IMAGE029
（5）
Figure 223665DEST_PATH_IMAGE030
（6）
Figure 739677DEST_PATH_IMAGE031
对梯度幅度图像应用非最大抑制；
a、寻找最接近的
Figure 724950DEST_PATH_IMAGE032
方向
Figure 972392DEST_PATH_IMAGE033
b、若
Figure 43116DEST_PATH_IMAGE034
的值至少小于沿
Figure 34206DEST_PATH_IMAGE033
的两个零邻居之一，零
Figure 873986DEST_PATH_IMAGE035
(抑制)；否则令
Figure 666231DEST_PATH_IMAGE036
，得到最大非抑制后的图像
Figure 958672DEST_PATH_IMAGE037
。
四、用双阈值处理和连接分析来检测并连接边缘；
对
Figure 753452DEST_PATH_IMAGE038
进行阈值处理，以便减少伪边缘点，Canny算法使用两个阈值：低阈值
Figure 447739DEST_PATH_IMAGE039
和高阈值
Figure 36983DEST_PATH_IMAGE040
(Canny建议高低阈值比为2:1或3:1)
Figure 82300DEST_PATH_IMAGE041
（7）
Figure 477509DEST_PATH_IMAGE042
（8）
Figure 462520DEST_PATH_IMAGE043
（9）
Figure 550562DEST_PATH_IMAGE044
和
Figure 755278DEST_PATH_IMAGE045
的非零像素可分别视为“强”和“弱”边缘像素。其中
Figure 954178DEST_PATH_IMAGE044
为边缘点，
Figure 357478DEST_PATH_IMAGE045
为候选点，对于候选点，如果与边缘点邻近，就标记为边缘点。具体步骤是：
Figure 554104DEST_PATH_IMAGE046
在
Figure 246116DEST_PATH_IMAGE044
中定位下一个未被访问的边缘像素p；
Figure 983128DEST_PATH_IMAGE047
Figure 942732DEST_PATH_IMAGE045
中与p是8邻接的像素标记为有效边缘像素；
Figure 372576DEST_PATH_IMAGE048
若
Figure 348622DEST_PATH_IMAGE044
中的所有非零像素已被访问，则跳到步骤4，否则返回步骤1；
Figure 827008DEST_PATH_IMAGE049
将
Figure 470479DEST_PATH_IMAGE045
中未标记为有效边缘像素的所有像素置零。
第三步骤、目标图像拟合：
识别直线方法为Hough变换。边缘提取后的图像，本发明采用Hough变换检测直线。
Hough变换的基本原理在于利用点与线的对偶性，将原始图像空间的给定的曲线通过曲线表达形式变为参数空间的一个点。这样就把原始图像中给定曲线的检测问题转化为寻找参数空间中的峰值问题。也即把检测整体特性转化为检测局部特性。
设已知一黑白图像上画了一条直线，要求出这条直线所在的位置。直线的方程可以用y=kx+b来表示，其中k和b是参数，分别是斜率和截距。过某一点(x0,y0)的所有直线的参数都会满足方程y0=kx0+b。即点(x0,y0)确定了一簇直线。方程y0=kx0+b在参数k-b平面上是一条直线，(也可以是方程b=-x0*k+y0对应的直线)。这样，图像x-y平面上的一个前景像素点就对应到参数平面上的一条直线。
通过Hough变换，可以检测到图像中的所有直线像素簇，直线像素簇的表达式为
Figure 743329DEST_PATH_IMAGE001
，
Figure 472250DEST_PATH_IMAGE050
为斜率，
Figure 551065DEST_PATH_IMAGE051
为截距。根据
Figure 986725DEST_PATH_IMAGE051
和
Figure 934871DEST_PATH_IMAGE050
对
Figure 151088DEST_PATH_IMAGE052
进行聚类。本发明采用的聚类算法为K-Means算法。该算法的实现步骤为：
Figure 33594DEST_PATH_IMAGE046
随机选取k个点，作为聚类中心；
Figure 323761DEST_PATH_IMAGE047
计算每个点分别到k个聚类中心的聚类，然后将该点分到最近的聚类中心，这样就行成了k个簇；
Figure 266309DEST_PATH_IMAGE048
再重新计算每个簇的质心（均值）；
Figure 641927DEST_PATH_IMAGE049
重复以上2～4步，直到质心的位置不再发生变化或者达到设定的迭代次数。
根据目标图像，识别目标图像的直线像素v1,v2,…,vn，直线像素的表达式（设
Figure 62544DEST_PATH_IMAGE053
和
Figure 535113DEST_PATH_IMAGE054
之间的函数关系）为：
Figure 320667DEST_PATH_IMAGE001
（10）
式中有两个待定参数，
Figure 245897DEST_PATH_IMAGE055
代表截距，
Figure 470205DEST_PATH_IMAGE056
代表斜率，像素簇中包括
Figure 233500DEST_PATH_IMAGE057
组数据
Figure 455534DEST_PATH_IMAGE058
，
Figure 868060DEST_PATH_IMAGE059
，根据a和b对vn进行聚类。聚类结果为四类，即图像中的所有像素簇可以聚类成四类，分别为Ll,Lr,Rl,Rr，然后分别拟合Ll,Lr,Rl,Rr中的直线，拟合后为
Figure 568163DEST_PATH_IMAGE002
、
Figure 749746DEST_PATH_IMAGE003
、
Figure 204998DEST_PATH_IMAGE004
、
Figure 42504DEST_PATH_IMAGE005
直线。
最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
本发明利用最小二乘法把观测数据拟合为直线。用最小二乘法估计参数时，要求观测值
Figure 608614DEST_PATH_IMAGE060
的偏差的加权平方和为最小。对于直线拟合来说，可使下式的值最小：
Figure 80922DEST_PATH_IMAGE061
（11）
其中m为给定待拟合的离散点数量，上式对
Figure 644758DEST_PATH_IMAGE062
分别求偏导数得：
Figure 31877DEST_PATH_IMAGE063
（12）
Figure 73783DEST_PATH_IMAGE064
（13）
整理得方程组为：
Figure 229958DEST_PATH_IMAGE065
（14）
求解上述方程组，可以求得直线参数
Figure 964695DEST_PATH_IMAGE066
的最佳估计值
Figure 573531DEST_PATH_IMAGE067
和
Figure 747024DEST_PATH_IMAGE068
。
Figure 193923DEST_PATH_IMAGE069
（15）
Figure 161879DEST_PATH_IMAGE070
（16）
分别对Ll,Lr,Rl,Rr进行最小二乘法拟合直线，可以得到
Figure 195694DEST_PATH_IMAGE002
、
Figure 641719DEST_PATH_IMAGE003
、
Figure 772486DEST_PATH_IMAGE004
、
Figure 849027DEST_PATH_IMAGE005
直线：
Figure 370138DEST_PATH_IMAGE071
（17）
四条直线的交点为四个，分别为：左上角的坐标为(xlu,ylu), 左下角的坐标为(xld,yld), 右上角的坐标为(xru,yru), 右下角的坐标为(xrd,yrd)，拟合后图像为不规则四边形图像。
第四步骤、目标图像校正：
根据四个交点，首先求四边形图像四边距离
Figure 619853DEST_PATH_IMAGE072
、
Figure 35486DEST_PATH_IMAGE073
、
Figure 282928DEST_PATH_IMAGE074
、
Figure 353652DEST_PATH_IMAGE075
：
Figure 282425DEST_PATH_IMAGE076
（18）
其中，
Figure 122205DEST_PATH_IMAGE072
、
Figure 602865DEST_PATH_IMAGE073
为四边形图像的竖边距离，
Figure 331524DEST_PATH_IMAGE074
、
Figure 126305DEST_PATH_IMAGE075
为四边形图像的横边距离。
然后求竖边的平均值距离：
Figure 820591DEST_PATH_IMAGE008
（19）
横边的平均值
Figure 409835DEST_PATH_IMAGE077
：
Figure 455152DEST_PATH_IMAGE011
（20）
把
Figure 850361DEST_PATH_IMAGE012
、
Figure 336837DEST_PATH_IMAGE013
作为矩形的长、宽。将矩形的左上角坐标设为（0，0），其他三点的坐标分别为（
Figure 424879DEST_PATH_IMAGE012
，0），（0，-
Figure 691912DEST_PATH_IMAGE013
），（
Figure 61451DEST_PATH_IMAGE012
，-
Figure 730330DEST_PATH_IMAGE013
）。然后通过图像校正的方法把原不规则四边形图像映射到矩形图像中。本发明使用仿射变换。
仿射变换是从二维坐标到二维坐标之间的线性变换，且可以保持二维图形的“平直性”和“平行性”。仿射变换可以通过一系列的原子变换的复合来实现，包括平移，缩放，翻转，旋转和剪切。这类变换可以用一个3×3的矩阵来表示，矩阵将
Figure 926956DEST_PATH_IMAGE078
的原坐标变换为
Figure 415706DEST_PATH_IMAGE079
的新坐标，即
Figure 355981DEST_PATH_IMAGE080
（21）
通过仿射变换，将仿射矩形内的图像区域转换成直角矩形图像，实现图像的校正，同时可以对背景部分进行裁剪，并保留目标区域，为进一步的图像处理节省大量时间，并减少一些错误检测。
第五步骤、凹凸痕识别：
遍历方法为滑动窗口法。特征提取方法为灰度共生矩阵。
本发明利用灰度共生矩阵提取图像纹理，假设图像分辨率为
Figure 879366DEST_PATH_IMAGE081
，则灰度共生矩阵的元素为
Figure 981314DEST_PATH_IMAGE082
Figure 222940DEST_PATH_IMAGE083
（22）
式中：
Figure 763642DEST_PATH_IMAGE084
为参考点；
Figure 577752DEST_PATH_IMAGE085
为偏移点；
Figure 178498DEST_PATH_IMAGE086
表示参考点的灰度值为
Figure 641840DEST_PATH_IMAGE087
；
Figure 923917DEST_PATH_IMAGE088
表示偏移点的灰度值为
Figure 421894DEST_PATH_IMAGE089
；
Figure 865645DEST_PATH_IMAGE090
为偏移点的偏移量；
Figure 81863DEST_PATH_IMAGE091
为偏移点的偏移角度。
选用灰度共生矩阵的对比度、熵、能量和逆差分矩作为特征值。
对比度反映图像纹理沟纹深浅程度和清晰度。对比度越大，表明图像纹理沟纹越深，视觉效果越清晰；对比度越小，表明图像纹理沟纹越浅，视觉效果越模糊。对比度表达式为
Figure 902051DEST_PATH_IMAGE092
（23）
熵反映图像包含的信息量。熵越大，表明图像包含的信息量越大；熵越小，表明图像包含的信息量越小。熵表达式为
Figure 254535DEST_PATH_IMAGE093
（24）
能量反映图像灰度分布均匀程度。图像灰度分布越集中，能量越大；图像灰度分布越分散，能量越小。能量表达式为
Figure 373582DEST_PATH_IMAGE094
(25)
逆差分矩反应图像纹理的同质性，度量图像纹理局部变化的多少。其值大则说明图像纹理的不同区域间缺少变化，局部均匀。
Figure 811517DEST_PATH_IMAGE095
(26)
分别计算偏移角度
Figure 435396DEST_PATH_IMAGE091
为0°，45°，90°，135°时，对比度、熵、逆差分矩和能量的特征值，并且计算偏移角度各特征值的平均值
Figure 642386DEST_PATH_IMAGE096
、
Figure 755836DEST_PATH_IMAGE097
、
Figure 618750DEST_PATH_IMAGE098
、
Figure 843058DEST_PATH_IMAGE012
：
Figure 170134DEST_PATH_IMAGE099
（27）
其中
Figure 828386DEST_PATH_IMAGE100
（i=1,2,3,4）是
Figure 913017DEST_PATH_IMAGE091
为0°，45°，90°和135°对应的对比度，
Figure 941015DEST_PATH_IMAGE101
为熵，
Figure 122598DEST_PATH_IMAGE102
为能量，
Figure 515533DEST_PATH_IMAGE103
为逆差分矩。
把各倾斜角度对应的特征值与各特征值的平均值组成特征向量，作为下面特征的判断依据。该特征向量一共有20个特征值。
由于图像上凹凸痕的大小是不一样的，所以，本发明采用多模板扫描，保证检测准确。先提取图像纹理，提取特征，模板为矩形，长L∈[1,
Figure 415356DEST_PATH_IMAGE013
]，宽W∈[1,
Figure 981467DEST_PATH_IMAGE012
]，模板一共有
Figure 955239DEST_PATH_IMAGE013
×
Figure 581392DEST_PATH_IMAGE012
个，每个模板都在矩形图像中遍历，通过相似度比较进行判断凹凸痕。
本发明可以将不规则多边形图像映射到矩形中，即可以将倾斜的图像映射到矩形图像中，对模板进行特征提取，获得特征向量，计算其与八邻域特征向量的欧式距离，然后与标准阈值进行比较，通过多模板滑动遍历对八邻域进行投票判断，如果中心模板的特征向量与其八邻域的特征向量的欧式距离小于给定的阈值则投正票，反之则投反票；最后通过统计正票数和反票数来决定该中心模板的凹凸痕属性。如果正票数大于（等于）反票数，则就不是凹凸痕；如果反票数大于正票数，则就是凹凸痕。本发明可用在工业流水线视觉检测表面凹凸痕工业现场。
本发明利用机器视觉检测表面缺陷，具有很高的检测精度和识别效率，能够克服光照较暗、图像偏移这些不利条件，计算快速并且不需要训练数据，符合工业生产检测需求。
为了验证本方法的有效性，利用工业流水线视觉相机对表面缺陷进行检测的验证。通过单目摄像头自动采集图像数据，然后这些数据信息都将传送到计算机。摄像头采集到的图像为图1。图像为检测物体的表面。首先，需要采集到的图像进行自适应阈值化处理得到图2。然后对二值化后图像进行Canny边缘提取，提取出检测物体的轮廓。原图像的形状为不规则多边形，如图3所示。采用Hough变换提取图像中的直线。然后通过聚类算法对直线进行分类。可以分为四类。然后分别通过最小二乘法对这四类直线进行直线拟合。拟合后四条直线为：
Figure 139150DEST_PATH_IMAGE104
（28）
交点分别为：（609,-5757）、（4091,-5668）、（522,-289）、（4066,-299）。然后求其竖边的距离横边距离，以及竖边的平均值和横边的平均值。把竖边平均值作为矩形的竖边，横边的平均值作为矩形的横边。然后通过仿射变换将仿射四边形内的图像区域转换成直角矩形图像，如图4所示。
选用灰度共生矩阵
Figure 508952DEST_PATH_IMAGE091
为0°，45°，90°，135°的对比度、熵、能量、逆差分矩和各特征值的平均值作为特征值。
由于图像上凹凸痕的大小是不一样的，所以，本发明采用多模板扫描，保证检测准确。模板为矩形，长L∈[1,
Figure 665127DEST_PATH_IMAGE013
]，宽W∈[1,
Figure 399865DEST_PATH_IMAGE012
]。模板一共有
Figure 884067DEST_PATH_IMAGE013
×
Figure 791980DEST_PATH_IMAGE012
个。分别对矩形图像进行遍历。
模板进行特征提取，获得特征向量，计算其与八邻域特征向量的欧式距离，然后与标准阈值进行比较，如图4所示，正票数大于反票数，该区域是凹凸痕。
以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于，具有以下步骤：
第一步骤、对原图像进行阈值化处理；
第二步骤、目标图像提取；
第三步骤、目标图像拟合；
第四步骤、目标图像校正；
第五步骤、凹凸痕识别。
2.根据权利要求1所述的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于：在所述的第一步骤中，将原图像进行局部自适应阈值化处理，变成二值化图像。
3.根据权利要求2所述的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于：在所述的第二步骤中，通过边缘提取算法对二值化图像进行边缘提取，就可以分割出目标图像。
4.根据权利要求1所述的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于：在所述的第三步骤中，根据目标图像，识别目标图像的直线像素v1,v2,…,vn，直线像素的表达式为
Figure 332256DEST_PATH_IMAGE001
，b为斜率，a为截距，根据a和b对vn进行聚类。
5.根据权利要求4所述的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于：聚类结果为四类，分别为Ll,Lr,Rl,Rr，然后分别拟合Ll,Lr,Rl,Rr中的直线，拟合后为
Figure 249397DEST_PATH_IMAGE002
、
Figure 459493DEST_PATH_IMAGE003
、
Figure 854702DEST_PATH_IMAGE004
、
Figure 669074DEST_PATH_IMAGE005
直线，四条直线的交点为四个，分别为：左上角的坐标为(xlu,ylu), 左下角的坐标为(xld,yld), 右上角的坐标为(xru,yru), 右下角的坐标为(xrd,yrd)，拟合后图像为不规则四边形图像。
6.根据权利要求5所述的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于：根据四个交点，首先求四边形竖边距离
Figure 429220DEST_PATH_IMAGE006
、
Figure 696253DEST_PATH_IMAGE007
，然后求竖边的平均值距离
Figure 895154DEST_PATH_IMAGE008
。
7.根据权利要求6所述的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于：根据四个交点，首先求四边形横边距离
Figure 501715DEST_PATH_IMAGE009
、
Figure 432762DEST_PATH_IMAGE010
，然后求横边的平均值距离
Figure 187092DEST_PATH_IMAGE011
。
8.根据权利要求7所述的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于：把
Figure 924103DEST_PATH_IMAGE012
、
Figure 883707DEST_PATH_IMAGE013
作为矩形的长、宽，然后通过图像校正的方法把原不规则四边形图像映射到矩形图像中。
9.根据权利要求8所述的基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法，其特征在于：先提取图像纹理，提取特征，模板为矩形，长L∈[1,
Figure 313551DEST_PATH_IMAGE013
]，宽W∈[1,
Figure 555177DEST_PATH_IMAGE012
]，模板一共有
Figure 767983DEST_PATH_IMAGE013
×
Figure 411454DEST_PATH_IMAGE012
个，每个模板都在矩形图像中遍历，通过相似度比较进行判断凹凸痕。
CN202011438083.4A 2020-12-11 2020-12-11 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法 Active CN112233116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011438083.4A CN112233116B (zh) 2020-12-11 2020-12-11 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011438083.4A CN112233116B (zh) 2020-12-11 2020-12-11 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法

Publications (2)

Publication Number Publication Date
CN112233116A true CN112233116A (zh) 2021-01-15
CN112233116B CN112233116B (zh) 2021-08-03

Family

ID=74124603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011438083.4A Active CN112233116B (zh) 2020-12-11 2020-12-11 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法

Country Status (1)

Country Link
CN (1) CN112233116B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114111652A (zh) * 2021-12-24 2022-03-01 格林美股份有限公司 一种基于机器视觉的电池模组平整度检测装置及方法
CN114359190A (zh) * 2021-12-23 2022-04-15 武汉金丰塑业有限公司 一种基于图像处理的塑料制品成型控制方法
CN114596271A (zh) * 2022-03-02 2022-06-07 中国航空工业集团公司北京长城计量测试技术研究所 一种高反光表面腐蚀特征提取方法
CN114972575A (zh) * 2022-04-08 2022-08-30 湖南科技大学 一种基于轮廓边缘的直线拟合算法
CN115131322A (zh) * 2022-07-04 2022-09-30 浙江省武林建筑装饰集团有限公司 一种建筑外立面铝板表面缺陷检测方法
CN115147733A (zh) * 2022-09-05 2022-10-04 山东东盛澜渔业有限公司 一种基于人工智能的海洋垃圾识别回收方法
CN116990323A (zh) * 2023-09-26 2023-11-03 睿同科技有限公司 一种高精密印刷版视觉检测系统
CN119963544A (zh) * 2025-04-08 2025-05-09 陕西华晨航空科技有限公司 一种零件铣床加工检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101135652A (zh) * 2007-10-15 2008-03-05 清华大学 基于纹理分割的焊缝识别方法
CN104050481A (zh) * 2014-06-17 2014-09-17 权东晓 多模板轮廓特征和灰度相结合的红外图像实时行人检测
CN105938563A (zh) * 2016-04-14 2016-09-14 北京工业大学 一种基于图像纹理的焊缝表面缺陷识别方法
CN106355185A (zh) * 2016-08-30 2017-01-25 兰州交通大学 一种振动条件下快速提取钢轨表面区域的方法
EP3528261A1 (en) * 2018-02-14 2019-08-21 China Medical University Hospital Prediction model for grouping hepatocellular carcinoma, prediction system thereof, and method for determining hepatocellular carcinoma group
CN111062915A (zh) * 2019-12-03 2020-04-24 浙江工业大学 一种基于改进YOLOv3模型的实时钢管缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101135652A (zh) * 2007-10-15 2008-03-05 清华大学 基于纹理分割的焊缝识别方法
CN104050481A (zh) * 2014-06-17 2014-09-17 权东晓 多模板轮廓特征和灰度相结合的红外图像实时行人检测
CN105938563A (zh) * 2016-04-14 2016-09-14 北京工业大学 一种基于图像纹理的焊缝表面缺陷识别方法
CN106355185A (zh) * 2016-08-30 2017-01-25 兰州交通大学 一种振动条件下快速提取钢轨表面区域的方法
EP3528261A1 (en) * 2018-02-14 2019-08-21 China Medical University Hospital Prediction model for grouping hepatocellular carcinoma, prediction system thereof, and method for determining hepatocellular carcinoma group
CN111062915A (zh) * 2019-12-03 2020-04-24 浙江工业大学 一种基于改进YOLOv3模型的实时钢管缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHOU XING 等: "Defect Segmentation of Ultrasonic Aluminum Bonding Joint Based on Region Growing and Level-Set", 《2018 20TH INTERNATIONAL CONFERENCE ON ELECTRONIC MATERIALS AND PACKAGING》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359190A (zh) * 2021-12-23 2022-04-15 武汉金丰塑业有限公司 一种基于图像处理的塑料制品成型控制方法
CN114111652A (zh) * 2021-12-24 2022-03-01 格林美股份有限公司 一种基于机器视觉的电池模组平整度检测装置及方法
CN114596271A (zh) * 2022-03-02 2022-06-07 中国航空工业集团公司北京长城计量测试技术研究所 一种高反光表面腐蚀特征提取方法
CN114596271B (zh) * 2022-03-02 2025-06-17 中国航空工业集团公司北京长城计量测试技术研究所 一种高反光表面腐蚀特征提取方法
CN114972575A (zh) * 2022-04-08 2022-08-30 湖南科技大学 一种基于轮廓边缘的直线拟合算法
CN115131322A (zh) * 2022-07-04 2022-09-30 浙江省武林建筑装饰集团有限公司 一种建筑外立面铝板表面缺陷检测方法
CN115147733A (zh) * 2022-09-05 2022-10-04 山东东盛澜渔业有限公司 一种基于人工智能的海洋垃圾识别回收方法
CN115147733B (zh) * 2022-09-05 2022-11-25 山东东盛澜渔业有限公司 一种基于人工智能的海洋垃圾识别回收方法
CN116990323A (zh) * 2023-09-26 2023-11-03 睿同科技有限公司 一种高精密印刷版视觉检测系统
CN116990323B (zh) * 2023-09-26 2023-12-05 睿同科技有限公司 一种高精密印刷版视觉检测系统
CN119963544A (zh) * 2025-04-08 2025-05-09 陕西华晨航空科技有限公司 一种零件铣床加工检测方法及系统
CN119963544B (zh) * 2025-04-08 2025-07-22 陕西华晨航空科技有限公司 一种零件铣床加工检测方法及系统

Also Published As

Publication number Publication date
CN112233116B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN112233116B (zh) 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法
CN110866924B (zh) 一种线结构光中心线提取方法及存储介质
CN107301661B (zh) 基于边缘点特征的高分辨率遥感图像配准方法
CN108389179B (zh) 一种基于机器视觉的罐盖表面缺陷检测方法
CN105046252B (zh) 一种人民币冠字码识别方法
CN115170669B (zh) 基于边缘特征点集配准的识别定位方法及系统、存储介质
CN112651968B (zh) 一种基于深度信息的木板形变与凹坑检测方法
CN106446894B (zh) 一种基于轮廓识别球型目标物位置的方法
CN107545207A (zh) 基于图像处理的dm二维码识别方法及装置
CN106056020B (zh) 一种基于机器视觉系统的条码检测识别方法及系统
CN104568986A (zh) 基于surf算法的遥控器面板印刷缺陷自动检测方法
CN104899888B (zh) 一种基于Legendre矩的图像亚像素边缘检测方法
CN113689429B (zh) 一种基于计算机视觉的木板缺陷检测方法
CN105740829A (zh) 一种基于扫描线处理的指针式仪表自动读数方法
CN109540925B (zh) 基于差影法与局部方差测量算子的复杂瓷砖表面缺陷检测方法
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN107452030A (zh) 基于轮廓检测和特征匹配的图像配准方法
CN112734729B (zh) 适用于夜间补光条件的水尺水位线图像检测方法、装置及存储介质
CN111860501A (zh) 基于形状匹配的高铁高度调整杆脱出故障图像识别方法
CN109190434B (zh) 一种基于亚像素级角点检测的条码识别算法
CN104408721B (zh) 基于背景密度估计的印章图像提取方法
CN113554695A (zh) 零件孔位智能识别定位方法
Wankhede et al. A low cost surface strain measurement system using image processing for sheet metal forming applications
CN113284158A (zh) 一种基于结构约束聚类的图像边缘提取方法及系统
CN116596987A (zh) 一种基于双目视觉的工件三维尺寸高精度测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 213100 Jiangsu Province Changzhou City Yulong South Road 280 Building 4 2nd Floor

Patentee after: Changzhou Weiyi Smart Manufacturing Technology Co.,Ltd.

Country or region after: China

Address before: 213100 Jiangsu Province Changzhou City Yulong South Road 280 Building 4 2nd Floor

Patentee before: Changzhou Weiyizhi Technology Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address