CN117853765B - 一种表面瑕疵检测方法、系统、设备及终端 - Google Patents

Abstract

本发明属于机器视觉技术领域，公开了一种表面瑕疵检测方法、系统、设备及终端，包括：S1，LBP算子：将基准图像与实际拍摄图像进行对比前首先采用LBP纹理特征提取算法进行预处理；S2，Sift特征点匹配：加入Sift特征点匹配算法，计算图像中的关键特征点，并将特征点的空间信息进行比对；S3，瑕疵检测：当拍摄图片的局部特征点与基准图库中的某张图片比对成功后，会对两张图片进行详细比对，从而找出差异点，并完成瑕疵检测。本发明预先将各种图像处理方法进行融合，无需用户进行任何设置，一键运行系统后便可全自动进行检测，大量降低了人员培训成本。本发明结构组成简单，成本低。基础构成仅需电脑、相机、光源即可搭建完成，使用方便，可移动性好。

Description

一种表面瑕疵检测方法、系统、设备及终端

技术领域

本发明属于机器视觉技术领域，尤其涉及一种表面瑕疵检测方法、系统、设备及终端。

背景技术

机器视觉瑕疵检测是工业生产中的一样必备需求，许多物品在生产的时候由于各种因素会导致物品外表面产生一定的瑕疵，例如钢材表面会出现油污以及划痕，布匹表面会出现破洞或者勾丝，包装盒表面印刷错误或者有其他的破损等等。采用机器视觉检测主要目的在于改善传统人工肉眼分辨瑕疵的现状，使检测更加科学化数字化。我国利用机器视觉瑕疵检测的研究比发达国家起步晚，1990年以前相关研究只是在高校和科学研究所里进行。随着机器视觉技术的快速发展，制造业自动化生产线上应用机器视觉来检测目标表面瑕疵的软件和应用越来越多，生产效率得到了很大提高。2009年上海举行的亚洲国际标签展中，展示了将流程控制与质量控制融为一体的Print STAR印刷检测系统。国内东富达科技公司也具备各类产品表面瑕疵检测系统，例如钢材检测、无纺布检测、薄膜检测、锂电池检测等，国外品牌例如基恩士以及康耐视更是在准确率以及检测速度上完全符合实际生产需求。

通过上述分析，现有技术存在的问题及缺陷为：

1.现有多数软件系统虽然在准确率上均有着较为良好的表现，但多数采用深度学习训练模型的方式只针对某种特定物品进行检测，无法实现通用，每当受检测的物体发生变动时都需要重新训练模型，此时需要大量数据集支撑，人工以及时间成本较高。

2.使用传统视觉算法的检测系统往往存在稳定性差，抗外界干扰能力弱的问题。

3.软件体量较大，使用方式较为复杂，目前多数软件由于内嵌模型，或者流程较为复杂，导致软件整体体量较大，许多参数需要一线工人操作并设置，对于工人来讲学习成本较高。

发明内容

针对现有技术存在的问题，本发明提供了一种表面瑕疵检测方法、系统、设备及终端。

本发明是这样实现的，一种表面瑕疵检测方法，包括：

S1，LBP算子：将基准图像与实际拍摄图像进行对比前首先采用LBP纹理特征提取算法进行预处理；

S2，改进Sift特征点匹配：加入改进后的Sift特征点匹配算法，开发梯度方向公式，计算图像中的关键特征点，并将特征点的空间信息进行比对；

S3，瑕疵检测：当拍摄图片的局部特征点与基准图库中的某张图片比对成功后，会根据多色彩融合比对方式对两张图片进行详细比对，从而找出差异点，并完成瑕疵检测。

进一步，S1中，普通LBP公式实现如下：

其中LBP代表像素点及其周围8个相邻点之间的像素差值，因此当光照发生变化时，像素和周围像素值同时增加或减少，因此差值保持不变，这样增加了抗外界光干扰的能力，P代表采中心点周围的像素数目，R代表网格半径大小，像素网格可根据需要扩增至任意网格大小；

Rot为旋转的不同角度，ROR(x,i)指沿顺时针方向旋转LBP算子i次，整个公式所表达的意思是不断旋转圆形邻域得到一系列初始定义的LBP值，取其最小值作为该邻域的LBP值，通过这种方式保证了图像的旋转不变性，从而实现受检物体即使发生一定的偏移或旋转也是可以正常与基准图例进行匹配检测。

但实际拍摄中，图片往往存在大量噪声，这样简单的处理无法达到匹配要求，为此，我们引入η作为有效特征临界值。

进一步，S2具体包括：

S201，构建高斯金字塔；

S202，建立DOG高斯差分金字塔；

S203，关键点的精确定位；

S204，关键点的主方向分配；

S205，关键点的特征描述；

S206，通过原始SIFT算法的关键点匹配完成特征点的匹配。

进一步，S201具体包括：

Sift特征点匹配算法首先要构建图像金字塔模型，图像的金字塔模型是指将原始图像不断降阶采样，得到一系列大小不一的图像，由大到小，从下到上构成的塔状模型；原图像为金子塔的第一层，每次降采样所得到的新图像为金字塔的上一层(每层一张图像)，每个金字塔共n层；金字塔的层数根据图像的原始大小和塔顶图像的大小共同决定，为了让尺度体现其连续性，高斯金字塔在简单降采样的基础上加入高斯模糊，使得金字塔每层的图像变为多张高斯模糊图像，这多张图像合称为一组(Octave)；

高斯金字塔共有o组、s层，则有：

σ(s)＝σ₀2^s/s

其中σ表示尺度空间坐标，s表示sub-level层坐标，σ₀表示初始尺度，S表示每组层数。

进一步，S204具体包括：关键点的方向实际上就是图像局部的梯度方向，对于在DOG金字塔中检测的关键点，采集其所在高斯金字塔图像3σ邻域窗口内像素的梯度和方向分布特征。首先计算图像尺度空间：

其中x,y,σ分别表示像素所在的x，y坐标以及维度，I表示所对应的原图像像素，*表示卷积操作。

L(x,y,σ)＝G(x,y,σ)*I(x,y)

再计算梯度的幅值和方向：

梯度幅值：

梯度方向：

在计算出关键点的所有梯度方向后，采取峰值作为主方向，并取高于峰值百分之八十的作为辅助方向；

对于具备多个梯度方向的关键点本发明重新计算了主方向及幅值，采用公式为：

其中代表方向个数，nor代表归一化处理，归一化处理后得出每个方向的权重值，max代表主方向的幅值，通过这种方式对主方向以及辅助方向进行按权重处理，计算出新的主方向，由于最终将多梯度方向进行合并，因此每一个特征点最终只具备一个梯度方向，这样的方式显著提高了特征点比对成功的机率。

进一步，S205具体包括：对于每一个关键点，拥有三个信息：位置、尺度以及方向；为每个关键点建立一个描述符，用一组向量将这个关键点描述出来，使其不随各种变化而改变，这个描述子不但包括关键点，也包含关键点周围对其有贡献的像素点，并且描述符应该有较高的独特性，以便于提高特征点正确匹配的概率。

进一步，S3中，具体对比规则如下：

1、绘制图片色域分布图，确认颜色整体分布基本相似，并将图像RGB值分别存入数组当中；

2、对基准图片以及拍摄图片进行二值化操作，将像素分别存入两组数组当中，并逐个比对，算出两组数组差异度，计算出差异点比例；

3、最终按照计算公式判定是否为合格产品；

其中α，β，γ分别代表三个权重参数，这里根据实际应用场景进行调整，R1,G1,B1,ε1分别代表基准图像RGB三通道色彩值以及灰度值，R2,G2,B2，ε2分别代表受检图像的三通道值以及灰度值，这里采用彩色图以及灰度图像素综合比对的原因是即便是某些色彩不同的物品，将其灰度化后像素值有可能会相同，因此采用灰度图结合RGB共同比对的方式进行判定。

本发明的另一目的在于提供一种应用所述表面瑕疵检测方法的表面瑕疵检测系统，包括：

LBP算子模块：将基准图像与实际拍摄图像进行对比前首先采用LBP纹理特征提取算法进行预处理；

Sift特征点匹配模块：用于加入Sift特征点匹配算法，计算图像中的关键特征点，并将特征点的空间信息进行比对；

可视化自学习模块：简化增加基准图库的操作，降低检测系统的使用难度。通过该模块，使用者可以手动选择后续需要进行检测的区域。

瑕疵检测模块：当拍摄图片的局部特征点与基准图库中的某张图片比对成功后，会对两张图片进行详细比对，从而找出差异点，并完成瑕疵检测。

本发明的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的表面瑕疵检测方法的步骤。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的表面瑕疵检测方法的步骤。

本发明的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述的表面瑕疵检测系统。

结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

第一，针对上述现有技术存在的技术问题以及解决该问题的难度，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：

1.本发明采用完全的opencv图像处理算法，而不选择深度学习训练模型的方法进行检测，因此不需要进行模型训练即可进行图像比对，只需通过简单的操作设定好基准图像，之后采用模板匹配的方式自动匹配所要检测的物体和基准图像，由于采用改进SIFT算法图像特征点匹配的方式进行检测，因此不需要考虑受检测物体的种类，只需对比是否和图库中的基准图像相同，并计算出两者之间的差异度，即可得出检测结果，这种方式使本发明的适用面更广。

2.本发明预先将各种图像处理方法进行融合，无需用户进行任何设置，一键运行系统后便可全自动进行检测，大量降低了人员培训成本。

3.由于没有内嵌模型，且没有使用深度学习框架，因此本发明体量较小，可适用于多种配置的电脑。

4.本发明提供一种简单易用的轻体量“自学习”模块，方便使用者对基准图库进行操作，简化了更换受检物体时的复杂操作。

5.本发明结构组成简单，成本低。基础构成仅需电脑、相机、光源即可搭建完成，使用方便，可移动性好。

第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：

1、本发明提出使用模板匹配的方式使产品具备一定“通用性”的同时缩小了应用体量。

2、本发明针对刚体材质瑕疵检测改良了SIFT特征点匹配算法梯度方向计算公式，提升了准确率。

3、本发明提出新的瑕疵检测判定标准，不仅仅通过灰度图像进行比对，也将图像的色彩影响加入比对公式中，避免了灰度化后不同颜色呈现相同的色值的情况发生。

4、本发明根据模板匹配所需基准图库开发了一组简化增加基准图片操作的“自学习”模组，该模组改良了本发明的使用体验感，并且降低了本发明的使用难度。

5、本发明根据改进SIFT特征提取算法开发了一整套工业瑕疵检测解决方案，包括硬件解决方案以及软件解决方案。

第三，本发明的技术方案转化后的预期收益和商业价值为：目前市场所具备的瑕疵检测设备单台价值约20-40W，而本发明所采用硬件成本低，因此在满足生产需求的前提下价格较低，单台硬件成本1W元，销售单价仅为5万元，因此能够迅速占领中小型企业市场，并在未来三年内实现年销售额3000万元。本发明体积小，灵活度高，通用性好，适配多种不同产线，可真正做到即插即用。

本发明的技术方案填补了国内外业内技术空白：在我们的调查范围内，国内外均未有其他发明使用改进后的SIFT匹配算法进行模板匹配并瑕疵检测，该方法兼容了通用性的同时保证了时效性，本发明所采用的像素多指标衡量方法提高了检测的准确率，通过两种策略的综合应用，本发明填补了国内外缺乏兼顾时效、准确、通用的瑕疵检测系统的空白。

本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：以往的方法主要分为两种，一种是实时监测速度较快的深度学习方法，该方法虽然检测的速度极快，甚至能达到80fps，但是通常需要大量有效数据集来支撑，人工成本极高，且准确率和灵活性都较差，平均每次更换模型需要一周以上；另一种方法是采用普通的像素比对方法，该方法在准确率方面虽然表现较为良好，但耗时普遍偏高。因此人们急需一种能够在保证准确率的同时能够提高时效性的方法，而本发明解决了该问题。

发明的技术方案克服了技术偏见：在传统认知中，人们往往认为不使用深度学习的情况下瑕疵检测的速度无法达到生产需要，或者认为普通的瑕疵检测方法不能检测微小瑕疵，但按照本发明的处理流程，可以大幅度提高检测的准确率，并且节约大量时间。

·SIFT特征匹配算法在计算梯度方向时按照从前的处理方式单个特征点会有多个梯度方向，这样的好处是能够完整的获取特征点信息，在一些特征点较多的图片例如人脸，或是复杂景观图中表现效果较好，但在画面相较单一的各类产品包装或是生产信息标签这类物品上的表现并不良好，因此本发明选择放弃多梯度同时存在，仅保留单个重点梯度，通过这种方式来提高瑕疵检测准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的表面瑕疵检测方法流程图；

图2是本发明实施例提供的表面瑕疵检测系统结构图；

图3是本发明实施例提供的硬件解决方案整体构成示意图；

图4是本发明实施例提供的工作流程图；

图5是本发明实施例提供的LBP示意图；其中，(a)LBP₈ ¹，(b)LBP₁₆ ²，(c)LBP₈ ²；

图6是本发明实施例提供的图像金字塔模型示意图；

图7是本发明实施例提供的关键点的主方向分配示意图；

图8是本发明实施例提供的路由器外包装盒印刷检测示意图；

图9是本发明实施例提供的检测结果示意图；

图10是本发明实施例提供的缺陷放大图；其中，(a)有缺陷，(b)无缺陷；

图11是本发明实施例提供的更改为焊条贴纸印刷示意图；

图12是本发明实施例提供的瑕疵检测示意图；

图13是本发明实施例提供的瑕疵展示示意图；

图14是本发明实施例提供的路由器逻辑图案印刷检测示意图；

图15是本发明实施例提供的500W像素摄像头示意图；

图16是本发明实施例提供的光电传感器嵌入进检测台底座示意图，(a)光电传感器嵌入进检测台底座示意图，(b)环形光源示意图；

图17是本发明实施例提供的设备整体布控图；

图18是本发明实施例提供的部分检测样例图，(a)标签检测合格图，(b)标签检测不合格图，(c)焊锡标签合格图，(d)焊锡标签检测合格图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种表面瑕疵检测方法、系统、设备及终端，下面结合附图对本发明作详细的描述。

本发明实施例的两个具体应用实施例为：

实施例1：汽车制造行业的车身表面检测

本实施例用于汽车车身的生产线检测，能够快速、准确地识别出划痕、凹陷或其他表面瑕疵，从而确保车身的高品质和一致性。

在汽车制造过程中，车身表面质量至关重要。首先，使用LBP算子对汽车车身的基准图像和实际拍摄图像进行预处理，以增强图像的抗光照变化能力。

接着，应用Sift特征点匹配算法，开发梯度方向公式来计算图像中的关键特征点，并进行空间信息比对，从而确保精确匹配。

最后，在两张图片进行特征点匹配成功后，系统将进行详细比对，以识别出任何微小的表面瑕疵或不一致之处。

实施例2：电子产品装配线的元件表面检测

在电子产品装配线中，本实施例可以用于检测电路板、芯片等元件的表面质量，快速识别任何裂纹、划痕或其他瑕疵，保证元件和最终产品的高质量标准。

在电子产品的装配线上，元件的表面质量直接关系到整个产品的性能。使用LBP算子对电子元件的基准图像和生产线上拍摄的实际图像进行预处理，以提高图像的稳定性。

采用Sift特征点匹配算法，计算图像中的关键特征点，并将这些特征点的空间信息进行比对，以确保准确的匹配。

在特征点匹配成功后，对两张图片进行详细比对，以发现任何潜在的瑕疵或异常。

本发明主要针对以下现有技术的问题和缺陷进行改进，实现显著的技术进步：

光照条件敏感性：传统的图像处理方法在面对不同光照条件时容易失效，因为光照变化会导致像素值变化，影响瑕疵检测的准确性。

旋转和尺度变化敏感性：当物体在拍摄过程中发生旋转或尺度变化时，传统的图像处理方法难以准确匹配和识别瑕疵。

瑕疵检测效率不高：以往的瑕疵检测方法在处理大量或复杂的图像数据时效率较低，难以满足工业生产的高速度和高精度要求。

针对现有技术存在的问题，本发明采用的技术方案为：

LBP算子的应用(S1)：采用LBP算子进行图像预处理，增强了方法对光照变化的鲁棒性。LBP算子通过计算像素点及其周围点的像素差值，使得方法在光照发生变化时仍能保持稳定。

Sift特征点匹配算法的融合(S2)：引入Sift算法进行特征点匹配，提高了方法对旋转和尺度变化的适应性。Sift算法通过构建高斯金字塔和DOG金字塔，精确定位关键点，并进行主方向分配和特征描述，从而有效匹配特征点。

提高瑕疵检测的精度和效率(S3)：通过结合LBP算子和Sift特征点匹配算法，本发明在保持旋转不变性和光照不变性的同时，能够更准确、快速地检测出图像中的瑕疵。

适用性广泛：本发明的方法适用于各种复杂和变化的环境条件下的瑕疵检测，特别是在工业制造领域，能够提供更为可靠和高效的质量控制手段。

如图1所示，本发明实施例提供的表面瑕疵检测方法，包括：

S1，LBP算子：将基准图像与实际拍摄图像进行对比前首先采用LBP纹理特征提取算法进行预处理；

S2，Sift特征点匹配：加入Sift特征点匹配算法，计算图像中的关键特征点，并将特征点的空间信息进行比对；

S3，瑕疵检测：当拍摄图片的局部特征点与基准图库中的某张图片比对成功后，会对两张图片进行详细比对，从而找出差异点，并完成瑕疵检测。

如图2所示，本发明实施例提供的表面瑕疵检测系统，包括：

LBP算子模块：将基准图像与实际拍摄图像进行对比前首先采用LBP纹理特征提取算法进行预处理；

Sift特征点匹配模块：用于加入Sift特征点匹配算法，计算图像中的关键特征点，并将特征点的空间信息进行比对；

瑕疵检测模块：当拍摄图片的局部特征点与基准图库中的某张图片比对成功后，会对两张图片进行详细比对，从而找出差异点，并完成瑕疵检测。

本发明提出了一套通过opencv图像处理实现对多种物品进行瑕疵检测的工业生产解决方案，包括软件以及配套硬件解决方案。

如图3所示为硬件解决方案整体构成

硬件主要构成为海康威视MV-CS050-60GM工业相机、工业环形光源24cm直径、光电传感器、设备安装工作台、个人电脑(cpu：英特尔i3处理器以上，操作系统：windows7以上，内存2G以上)。

具体工作流程如图4所示：

一、LBP算子

为了使瑕疵检测解决方案整体轻量化，本发明采用opencv作为主要技术栈，但如果直接将普通的opencv图像处理算法应用于实际生产，往往会出现由于物品在产线上发生偏移，从而导致检测错误的情况发生。为了解决这类问题，本发明在将基准图像与实际拍摄图像进行对比前首先采用LBP纹理特征提取算法进行预处理。LBP纹理特征提取算子具备旋转不变性以及灰度不变性的显著优点，其中旋转不变性保证了物体在发生小幅度偏移后依旧能够正常匹配到基准图像，而灰度不变性则降低了光照对于拍摄的影响，使得检测算法对外界的干扰更加不敏感，提升了检测的稳定性。

如图5所示，LBP公式实现如下：

其中LBP代表像素点及其周围8个相邻点之间的像素差值，因此当光照发生变化时，像素和周围像素值同时增加或减少，因此差值保持不变，这样增加了抗外界光干扰的能力，P代表采中心点周围的像素数目，R代表网格半径大小，像素网格可根据需要扩增至任意网格大小，如下图所示分别是像素采样点数为8，1，8半径为1，2，2的LBP算子实例。

Rot为旋转的不同角度，ROR(x,i)指沿顺时针方向旋转LBP算子i次，整个公式所表达的意思是不断旋转圆形邻域得到一系列初始定义的LBP值，取其最小值作为该邻域的LBP值。通过这种方式保证了图像的旋转不变性，从而实现受检物体即使发生一定的偏移或旋转也是可以正常与基准图例进行匹配检测。

二、Sift特征点匹配

通过LBP纹理特征匹配算法本发明解决了拍摄物体如果发生偏移便无法正常进行检测的情况，但如果有整体外型相似度较高的图像，LBP算法便无法很好的进行识别匹配，因此本发明额外加入Sift特征点匹配算法，计算图像中的关键特征点，并将特征点的空间信息进行比对；

(1)构建高斯金字塔

如图6所示，Sift特征点匹配算法首先要构建图像金字塔模型，图像的金字塔模型是指将原始图像不断降阶采样，得到一系列大小不一的图像，由大到小，从下到上构成的塔状模型。原图像为金子塔的第一层，每次降采样所得到的新图像为金字塔的上一层(每层一张图像)，每个金字塔共n层。金字塔的层数根据图像的原始大小和塔顶图像的大小共同决定。为了让尺度体现其连续性，高斯金字塔在简单降采样的基础上加入高斯模糊，使得金字塔每层的图像变为多张高斯模糊图像，这多张图像合称为一组(Octave)。

高斯金字塔共有o组、s层，则有：

σ(s)＝σ₀2^s/s

其中σ表示尺度空间坐标，s表示sub-level层坐标，σ₀表示初始尺度，S表示每组层数。

(2)建立DOG高斯差分金字塔

为了能有效提取图中稳定的关键点，利用不同尺度的高斯差分核与卷积生成。

之后根据DOG图像进行局部极值预测，比较每一个像素点和它所有的相邻点，看其是否比它的图像域和尺度域的相邻点大或者小。

(3)关键点的精确定位为了提高关键点的稳定性，需要对尺度空间DOG函数进行曲线拟合。利用DOG函数在尺度空间的

其中求导并让方程等于零，即可得到极值点的偏移量。当偏移量大于0.5时，说明插值中心已经偏移至临近点，此时需要更改关键点位置，按照这种方式反复迭代(在Lowe的论文中进行了五次迭代)后就可以获得特征点的准确位置。

(4)关键点的主方向分配

关键点的方向实际上就是图像局部的梯度方向，对于在DOG金字塔中检测的关键点，采集其所在高斯金字塔图像3σ邻域窗口内像素的梯度和方向分布特征。首先计算图像尺度空间：

L(x,y,σ)＝G(x,y,σ)*I(x,y)

其中x,y,σ分别表示像素所在的x，y坐标以及维度，I表示所对应的原图像像素，*表示卷积操作。

再计算梯度的幅值和方向：

梯度幅值：

梯度方向：

如图7所示，在计算出关键点的所有梯度方向后，采取峰值作为主方向，并取高于峰值百分之八十的作为辅助方向。

对于具备多个梯度方向的关键点本发明重新计算了主方向及幅值，采用公式为：

其中代表方向个数，nor代表归一化处理，归一化处理后得出每个方向的权重值，max代表主方向的幅值，通过这种方式本发明对主方向以及辅助方向进行按权重处理，计算出新的主方向，由于最终将多梯度方向进行合并，因此每一个特征点最终只具备一个梯度方向，这样的方式显著提高了特征点比对成功的机率。

(5)关键点的特征描述

通过以上步骤，对于每一个关键点，拥有三个信息：位置、尺度以及方向。接下来就是为每个关键点建立一个描述符，用一组向量将这个关键点描述出来，使其不随各种变化而改变，比如光照变化、视角变化等。这个描述子不但包括关键点，也包含关键点周围对其有贡献的像素点，并且描述符应该有较高的独特性，以便于提高特征点正确匹配的概率。

SIFT描述子是关键点邻域高斯图像梯度统计结果的一种表示。通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。

(6)最后通过原始SIFT算法的关键点匹配完成特征点的匹配。

三、瑕疵检测

当拍摄图片的局部特征点与基准图库中的某张图片比对成功后，会对两张图片进行详细比对，从而找出差异点，并完成瑕疵检测。

具体对比规则如下：

1、绘制图片色域分布图，确认颜色整体分布基本相似，并将图像RGB值分别存入数组当中。

2、对基准图片以及拍摄图片进行二值化操作，将像素分别存入两组数组当中，并逐个比对，算出两组数组差异度，计算出差异点比例。

3、最终按照计算公式判定是否为合格产品。

其中α，β，γ分别代表三个权重参数，这里根据实际应用场景进行调整，R1,G1,B1,ε1分别代表基准图像RGB三通道色彩值以及灰度值，R2,G2,B2，ε2分别代表受检图像的三通道值以及灰度值，这里采用彩色图以及灰度图像素综合比对的原因是即便是某些色彩不同的物品，将其灰度化后像素值有可能会相同，因此采用灰度图结合RGB共同比对的方式进行判定。

首先提前在基准图库页面设置好基准图库，框选出所要检测的区域，系统会截取该部分内容作为基准图片存入图库当中，整个过程几秒钟即可完成，之后便可以开始进行检测。

示例一：如图8所示，为路由器外包装盒印刷检测。

如图9所示，将受检物体放入拍摄范围内，硬件触发系统会自动触发检测，系统会检测图片中是否存在与基准图库中相同的部位，若不存在，则证明拍摄物体并非所要检测物体，因此会报告该物品不合格；若匹配成功则将图片与图库中的基准图片进行详细比对，若差异度超过规定范围，则说明该物体存在瑕疵，属于不合格产品。

缺陷放大图展示如图10所示。

示例二：如图11所示为更改为焊条贴纸印刷。

如图12所示，由检测示例一路由器包装盒更改为检测示例二焊条贴纸，

仅需几秒钟的时间，便可完成瑕疵检测。

瑕疵展示如图13所示。

示例三：如图14所示为路由器逻辑图案印刷检测

最终效果如下：

单个基准图例制作耗时：3秒

单张图片检测耗时：0.66秒

1500张图片经过普通SIFT算法匹配准确率：95％

1500张图片经过改良SIFT算法匹配准确率：99％

1500张图片检测准确率：99.7％

图15是500W像素摄像头，用于采集图像以供检测使用。

图16(a)为光电传感器嵌入进检测台底座，从而实现自动触发检测，当物体放置于检测台之上时，由于遮挡光敏传感器，因此检测到光照发生变化，从而触发检测。

图16(b)为环形光源，解决拍摄阴影或成像色度不均匀等问题。

图17为设备整体布控图，作为整个生产流程的硬件解决方案。

本发明的应用实施例提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行方法的步骤。

本发明的应用实施例提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行方法的步骤。

本发明的应用实施例提供了一种信息数据处理终端，信息数据处理终端用于实现系统。

本发明已经应用于市场，目前主要应用场景为产品外包装出厂前瑕疵检测，主要应用案例为路由器外包装盒，以及瓶盖或其他物品表面缺陷检测。可检测瑕疵种类包括错印漏印、刮蹭脏污、颜色错误等。

本发明“自学习”模组(用来增加新的被检测物体的功能模块)可实现快速收录新种类的受检物体，在实际应用中已经得到证实，使用者经过简易的可视化操作后不需要任何专业知识即可完成基准图库的增添。

为证明本发明在准确率以及通用性方面有着优秀的性能，我们设计证明实验选用三种不同受检物体进行交替检测，每种物体采用随机投放的方式进行乱序检测。

1、实验结果统计表

2、部分检测样例图展示如图18所示。

通过上述图例可以证明本发明对于瑕疵较为敏感，在4032*3036像素的图片上可识别低于100*100像素的瑕疵，且准确率较高，并且实验中采用多种不同的受检物体进行测试，也证明了本发明具备良好的通用性，添加新的受检物体时不需要进行长时间的模型训练，仅需秒级耗时即可完成操作。

3、对比实验

为证明本发明确实存在准确率以及时间上的优势，我们与其他目前较为成

熟的方法进行对比，测量指标分为：

·方法名称：所用到的检测方法。

·准确率：不同物体或检测部位多次测量准确率的平均值；

·匹配新模板所需时间：指受检区域与基准图库比对成功所需时间。

·平均检测时间：仅检测算法部分所消耗时间

通过上述实验对比表格可以看出，深度学习的方法由于使用的是预训练模型，因此在速度上相比传统算法有着十分明显的优势，但传统算法在准确率上普遍要明显高于深度学习，而本发明所采用的改进SIFT特征匹配算法不论是在准确率亦或者是速度上相比传统算法都有着较为良好的表现，虽然在时间上相比使用预训练模型较慢，但秒级时延所换来的准确率在生产当中更为重要。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种表面瑕疵检测方法，其特征在于，包括：

S1，LBP算子的应用：将基准图像与实际拍摄图像进行对比前首先采用LBP纹理特征提取算法使用LBP算子对所述基准图像和实际拍摄图像进行预处理；

S2，Sift特征点匹配：加入Sift特征点匹配算法，开发梯度方向公式，计算图像中的关键特征点，并将特征点的空间信息进行比对；

S3，瑕疵检测：当拍摄图片的局部特征点与基准图库中的某张图片比对成功后，会对两张图片进行详细比对，从而找出差异点，并完成瑕疵检测；

S2具体包括：

S201，构建高斯金字塔；

S202，建立DOG高斯差分金字塔；

S203，关键点的精确定位；

S204，关键点的主方向分配；

S205，关键点的特征描述；

S206，通过原始SIFT算法的关键点匹配完成特征点的匹配；

S204具体包括：关键点的方向实际上就是图像局部的梯度方向，对于在DOG高斯差分金字塔中检测的关键点，采集其所在高斯金字塔图像3σ邻域窗口内像素的梯度和方向分布特征；首先计算图像尺度空间L(x，y，σ)；

其中x,y,σ分别表示像素所在的x，y坐标以及维度；

再计算梯度的幅值和方向：

梯度幅值：

梯度方向：

在计算出关键点的所有梯度方向后，采取峰值作为主方向，并取高于峰值百分之八十的作为辅助方向；

对于具备多个梯度方向的关键点重新计算主方向及幅值，对主方向以及辅助方向进行按权重处理，计算出新的主方向，由于最终将多梯度方向进行合并，因此每一个特征点最终只具备一个梯度方向，这样的方式显著提高了特征点比对成功的机率。

2.如权利要求1所述的表面瑕疵检测方法，其特征在于，S1中，LBP公式实现如下：

其中LBP代表像素点及其周围8个相邻点之间的像素差值，因此当光照发生变化时，像素和周围像素值同时增加或减少，因此差值保持不变，这样增加了抗外界光干扰的能力，P代表中心点周围的像素数目，R代表网格半径大小，像素网格能根据需要扩增至任意网格大小；

rot为旋转的不同角度，ROR(LBP_P,R,i)指沿顺时针方向旋转LBP算子i次，整个公式所表达的意思是不断旋转圆形邻域得到一系列初始定义的LBP值，取其最小值作为该邻域的LBP值，通过这种方式保证了图像的旋转不变性，从而实现受检物体即使发生一定的偏移或旋转也能正常与基准图例进行匹配检测。

3.如权利要求1所述的表面瑕疵检测方法，其特征在于，S205具体包括：对于每一个关键点，拥有三个信息：位置、尺度以及方向；为每个关键点建立一个描述符，用一组向量将这个关键点描述出来，使其不随各种变化而改变，这个描述符不但包括关键点，也包含关键点周围对其有贡献的像素点，其中，所述描述符是关键点邻域高斯图像梯度统计结果的一种表示，通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。

4.一种应用如权利要求1～3任意一项所述表面瑕疵检测方法的表面瑕疵检测系统，其特征在于，包括：

LBP算子模块：将基准图像与实际拍摄图像进行对比前首先采用LBP纹理特征提取算法使用LBP算子对所述基准图像和实际拍摄图像进行预处理；

Sift特征点匹配模块：用于加入Sift特征点匹配算法，计算图像中的关键特征点，并将特征点的空间信息进行比对；

可视化自学习模块：简化增加基准图库的操作，降低检测系统的使用难度；通过该模块，使用者手动选择后续需要进行检测的区域；

瑕疵检测模块：当拍摄图片的局部特征点与基准图库中的某张图片比对成功后，会对两张图片进行详细比对，从而找出差异点，并完成瑕疵检测。

5.一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～3任意一项所述的表面瑕疵检测方法的步骤。

6.一种信息数据处理终端，信息数据处理终端包括如权利要求4所述的表面瑕疵检测系统。