CN111652852B

CN111652852B - 一种产品表面缺陷检测方法和装置及设备

Info

Publication number: CN111652852B
Application number: CN202010382866.9A
Authority: CN
Inventors: 崔浩; 黄虎
Original assignee: Zhejiang Huaray Technology Co Ltd
Current assignee: Zhejiang Huaray Technology Co Ltd
Priority date: 2020-05-08
Filing date: 2020-05-08
Publication date: 2024-03-29
Anticipated expiration: 2040-05-08
Also published as: CN111652852A

Abstract

本发明提供一种产品表面缺陷检测方法和装置及设备，包括：获取图像并确定图像是否为需要检测指定类型缺陷的待检测图像；若是，通过预训练的缺陷检测模型利用滑动窗口对待检测图像进行滑动采样，并对采样的窗口区域进行缺陷检测，输出待检测图像中存在缺陷的窗口区域位置标识；利用图像分割算法对存在缺陷的窗口区域进行图像分割，得到存在缺陷的窗口区域内各缺陷的轮廓区域；通过区域生长算法将相邻的轮廓区域进行连接，得到待检测图像中存在的缺陷的形态和数目。本发明可以对图像进行滑动采样检测的方式，解决现有技术费时费力、无法检测表面细小缺陷且定位性差的问题。

Description

一种产品表面缺陷检测方法和装置及设备

技术领域

本发明涉及计算机技术领域，具体涉及一种产品表面缺陷检测方法和装置及设备。

背景技术

随着我国制造业的飞速发展，工业生产的产品数量和种类也日益增多。人们对产品的质量要求也越来越高，产品表面的质量不仅会影响产品的外观，更严重的功能性瑕疵会直接导致产品商业价值贬值。在化纤产品的生产中由于设备和工艺的影响，化纤产品中经常出现特别细小的缺陷，甚至有些缺陷的宽度只有一个像素的大小。当待测的细小物体运动时，人眼无法很好的辨别待测物体的形态甚至无法察觉到待测的细小物体。传统的人工挑选缺陷产品的方法不仅费时、费力，而且分辨率有限，易疲劳的人眼可能会产生漏检和误检的情况。这一系列的问题必然会导致产品质量的下降和企业运营成本的增加。

随着深度学习技术的发展，计算机在图像上的处理技术得到了飞跃。通过非接触式的视觉技术，来解决工业生产线上一系列问题，从而实现工厂工业生产自动化。解决依靠人工所产生的劳动力成本和工人自身主观性对产品缺陷的误判漏判等问题。因此如何快速的检测出产品表面的缺陷来提高产线效率和产品质量成为了亟待解决的问题。由于化纤产品表面缺陷目标相对细小且干扰较大，依赖于传统的机器学习和图像处理方法很难对该类特征进行有效地提取。

现有过程在检测化纤产品表面缺陷时，采用人工挑选化纤产品表面缺陷的方法，不仅费时费力，还有可能受到人眼分辨率和缺陷较细小等因素产生的误检漏检问题。

发明内容

本发明提供一种产品表面缺陷检测方法和装置及设备，用以解决现有技术在进行化纤产品表面缺陷检测时，费时费力、无法检测表面细小缺陷且定位性差的问题。

根据本申请实施例的第一方面，提供一种产品表面缺陷检测方法，该方法包括：

获取图像并确定所述图像是否为需要检测指定类型缺陷的待检测图像；

若是，通过预训练的缺陷检测模型利用滑动窗口对所述待检测图像进行滑动采样，并对采样的窗口区域进行缺陷检测，输出所述待检测图像中存在缺陷的窗口区域位置标识；

利用图像分割算法对存在缺陷的窗口区域进行图像分割，得到所述存在缺陷的窗口区域内各缺陷的轮廓区域；

通过区域生长算法将相邻的轮廓区域进行连接，得到所述待检测图像中存在的缺陷的形态和数目。

可选地，所述预训练的缺陷检测模型通过以下训练方式生成：

初始化包括采样部分和检测部分的网络模型，所述采样部分用于利用滑动窗口对图像进行滑动采样，所述检测部分用于对所述窗口区域进行缺陷检测；

获取包括多个样本的样本集，每个样本包括图像及标注的缺陷位置；

将所述多个样本中的图像输入到初始化网络模型，根据所述初始化网络模型输出的缺陷位置及标注的缺陷位置，对所述初始化网络模型的参数进行调整，达到训练结束条件时结束参数调整，得到所述预训练的缺陷检测模型。

可选地，所述利用滑动窗口对图像进行滑动采样，包括如下至少一个步骤：

利用滑动窗口对图像进行水平方向的滑动采样；

利用滑动窗口对图像进行竖直方向的滑动采样；

利用滑动窗口在水平方向/竖直方向滑动时，按照单位时间内移动固定长度的速度，对图像进行滑动采样，其中，所述固定长度由该滑动窗口水平方向/竖直方向边长的固定比例确定。

可选地，初始化包括采样部分和检测部分的网络模型，包括如下至少一个步骤：

初始化所述采样部分采用的滑动窗口的高度和宽度；

初始化所述采样部分采用的滑动窗口的滑动方向；

初始化所述采样部分利用滑动窗口在水平方向/竖直方向滑动时，单位时间内移动的固定长度，其中，所述固定长度由该滑动窗口水平方向/竖直方向边长的固定比例确定。

可选地，根据所述网络模型输出的缺陷位置及标注的缺陷位置，对当前网络模型的参数进行调整，包括：

对当前网络模型中采样部分采用的滑动窗口的高度和/或宽度进行调整；

对当前网络模型中检测部分的神经网络层参数进行调整。

可选地，对当前网络模型的参数进行调整，达到训练结束条件时结束参数调整，包括如下至少一个步骤：

根据所述网络模型输出的缺陷位置及标注的缺陷位置确定检测精度，根据所述检测精度进行参数调整，在所述检测精度满足要求时结束参数调整；

根据所述网络模型输出的缺陷位置及标注的缺陷位置确定检测精度，根据图像的大小及检测时间确定检测速度，根据所述检测精度和所述检测速度的加权求和值进行参数调整，在所述加权求和值满足要求时结束参数调整。

可选地，利用图像分割算法对存在缺陷的窗口区域进行图像分割，包括：

在U-Net网络框架的跳跃传输层进行输出运算时，通过注意力机制对来自上采样层的输入x_up加入权重系数，得到跳跃传输层的输出x_final，所述U-Net网络框架包括下采样层、上采样层及连接所述下采样层和上采样层的跳跃传输层。

可选地，通过注意力机制对来自上采样层的输入x_up加入权重系数，包括：

对x_conv和x_up的关联性进行卷积核大小为1的卷积操作，并通过第一激活函数计算得到所述权重系数，计算公式如下：

W_att＝Sigmoid(Conv_1×1(R))

其中，W_att为所述权重系数，Sigmoid为所述第一激活函数，Conv_1×1为卷积核为1的卷积操作，x_conv为所述跳跃传输层来自下采样层的输入，R为x_conv和x_up的关联性。

确定所述x_conv和x_up的关联性，包括：

分别对x_conv和x_up进行卷积核大小为1的卷积操作并求和，通过第二激活函数对所述求和结果进行计算，得到x_conv和x_up的关联性R，计算公式如下：

R＝ReLU(Conv_1×1(x_conv)+Conv_1×1(x_up))

其中，ReLU为所述第二激活函数。

可选地，获取图像并确定所述图像是否为需要检测指定类型缺陷的待检测图像，包括：

获取图像并输入分类预测模型，其中，利用包括多个图像及标注的缺陷类型的训练样本，将图像作为网络分类模型输入，以输出所述图像的标注的缺陷类型为目标进行模型训练得到所述分类预测模型；

根据所述分类预测模型的分类结果，确定所述图像是否为需要检测指定类型缺陷的待检测图像。

根据本申请实施例的第二方面，提供一种产品表面缺陷检测装置，该装置包括：

确定模块，用于获取图像并确定所述图像是否为需要检测指定类型缺陷的待检测图像；

检测模块，用于若确定所述图像为需要检测指定类型缺陷的待检测图像，通过预训练的缺陷检测模型利用滑动窗口对所述待检测图像进行滑动采样，并对采样的窗口区域进行缺陷检测，输出所述待检测图像中存在缺陷的窗口区域位置标识；

分割模块，用于利用图像分割算法对存在缺陷的窗口区域进行图像分割，得到所述存在缺陷的窗口区域内各缺陷的轮廓区域；

连接模块，用于通过区域生长算法将相邻的轮廓区域进行连接，得到所述待检测图像中存在的缺陷的形态和数目。

可选地，所述检测模块用于，所述预训练的缺陷检测模型通过以下训练方式生成：

可选地，所述检测模块用于利用滑动窗口对图像进行滑动采样，包括如下至少一个步骤：

利用滑动窗口对图像进行水平方向的滑动采样；

利用滑动窗口对图像进行竖直方向的滑动采样；

可选地，所述检测模块用于初始化包括采样部分和检测部分的网络模型，包括如下至少一个步骤：

初始化所述采样部分采用的滑动窗口的高度和宽度；

初始化所述采样部分采用的滑动窗口的滑动方向；

可选地，所述检测模块用于根据所述网络模型输出的缺陷位置及标注的缺陷位置，对当前网络模型的参数进行调整，包括：

对当前网络模型中检测部分的神经网络层参数进行调整。

可选地，所述检测模块用于对当前网络模型的参数进行调整，达到训练结束条件时结束参数调整，包括如下至少一个步骤：

可选地，所述分割模块用于利用图像分割算法对存在缺陷的窗口区域进行图像分割，包括：

可选地，所述分割模块用于通过注意力机制对来自上采样层的输入x_up加入权重系数，包括：

W_att＝Sigmoid(Conv_1×1(R))

可选地，所述分割模块用于确定所述x_conv和x_up的关联性，包括：

R＝ReLU(Conv_1×1(x_conv)+Conv_1×1(x_up))

其中，ReLU为所述第二激活函数。

可选地，所述确定模块用于获取图像并确定所述图像是否为需要检测指定类型缺陷的待检测图像，包括：

根据本申请实施例的第三方面，提供一种产品表面缺陷检测设备，包括：处理器和存储器，其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，使得计算机执行本申请实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。

可选的，所述设备还包括：

底座及位于所述底座上方与底座连接的产品固定模块，所述底座用于保持传送模块平稳滑动，所述产品固定模块用于对产品进行固定；

传送模块，位于所述底座下面，用于传送产品；

图像采集模块和光学模块，所述图像采集模块位于所述光学模块顶部或底部，用于采集所述产品的表面图像，所述光学模块用于发出光照，辅助所述图像采集模块进行图像采集。

可选地，所述图像采集模块和光学模块，包括：

位于所述产品固定模块顶部的上图像采集模块和上光学模块，位于所述产品固定装置底部的下图像采集模块和下光学模块。

根据本申请实施例的第四方面，提供一种芯片，所述芯片与用户设备中的存储器耦合，使得所述芯片在运行时调用所述存储器中存储的程序指令，实现本申请实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。

根据本申请实施例的第五方面，提供一种计算机可读存储介质，该计算机存储介质存储有程序指令，当其在计算机上运行时，使得计算机执行本申请实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。

根据本申请实施例的第六方面，提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本申请实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。

另外，第二方面至第六方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。

利用本发明提供的一种产品表面缺陷检测方法和装置及设备，具有以下有益效果：

本发明提供的一种产品表面缺陷检测方法和装置及设备，在缺陷检测模型输入待检测图像后，通过滑动采样和对采样的窗口区域进行缺陷检测的方式，检测到存在缺陷的窗口区域后，通过图像分割算法和区域生长算法得到待检测图像中存在的缺陷的形态和数目，能够节省计算机的计算资源，避免深度神经网络对输入图像大小的限制，更好的识别细小的缺陷，增加缺陷检测模型的检测精度和速度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种产品表面缺陷检测方法示意图；

图2为本发明实施例提供的一种分类检测模型的预训练方法示意图；

图3为本发明实施例提供的一种缺陷检测模型的网络结构示意图；

图4为本发明实施例提供的一种缺陷检测模型的预训练方法示意图；

图5为本发明实施例提供的一种产品表面缺陷检测装置示意图；

图6为本发明实施例提供的一种产品表面缺陷检测设备示意图；

图7为本发明实施例提供的一种产品表面缺陷检测设备示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

如何快速的检测出产品表面的缺陷来提高产线效率和产品质量成为了亟待解决的问题。由于化纤产品表面缺陷目标相对细小且干扰较大，依赖于传统的机器学习和图像处理方法很难对该类特征进行有效地提取，导致对于该方面的检测没有较大的突破，绊丝作为化纤产品生产中常见的一种缺陷，它的形成与产线的工艺、机械状态和生产管理控制密不可分。绊丝的出现不仅会影响化纤产品的外观，严重者会影响产品退绕的性能从而影响下游厂商的生产。现有过程在检测化纤产品表面缺陷的方法，存在以下问题：

1)采用人工挑选化纤产品表面缺陷的方法，不仅费时费力，还有可能受到人眼分辨率和缺陷较细小等因素产生的误检漏检问题；

2)传统的机器学习和图像处理方法在检测化纤产品表面细小缺陷时，无法提取有效的细小特征、算法适应性差和鲁棒性差；

3)传统的机器学习和图像处理方法无法对化纤产品的高分辨率图像表面上的细小缺陷进行快速定位。

具体的，采用卷积神经网络进行对整个区域进行矩形扫描分类，来确定某个矩形内是否有绊丝，再通过直线特征提取和传统图像分割算法获取绊丝位置的方法，存在以下问题：

1)在应对高分辨率图像时检测效率会大大降低；

2)采用阈值分割和形状拟合来定位丝饼区域对环境光要求较高，光照不均和光照变化都会对丝饼的定位造成严重影响；

3)采用基于卷积神经网络(Visual Geometry Group，VGG)分类的方式进行矩形滑动分类的方式，很难设置矩形的大小，矩形设置太大不利于细小缺陷的分类和后期的绊丝拼接，矩形设置过小将导致算法整体速度降低且无法区分正常的丝状纹理和绊丝纹理。

现有技术中还通过构建有瑕疵图像和无瑕疵图像的一种非线性灰度共生矩阵特征，再通过有瑕疵图像和无瑕疵图像的特征相似度度量定位缺陷区域的方式，但同样存在以下问题：

1)采用这种全局的特征无法很好地描述织物表面细小缺陷，必然会导细小瑕疵的漏检；

2)基于灰度共生矩阵的传统图像处理方法对环境的要求比较高，鲁棒性差。

针对上述问题，本申请提供一种产品表面缺陷检测方法，能够将需要检测指定类型缺陷的图像检测出来，之后通过本申请提出的缺陷检测模型利用滑动窗口对待检测图像进行滑动采样，并对采样的窗口进行缺陷检测，利用图像分割算法和区域生长算法，得到待检测图像中存在的缺陷的形态和数目。

本申请实施例提出的方法能够有效的检测绊丝并进行像素级分割和数目统计。利用该方法统计得到的绊丝缺陷，调整产线的工艺和设备的运行状态，减少绊丝缺陷的出现，从而提高产品的质量和产线的效率。克服了现有技术中存在的人工挑选细小绊丝缺陷费时、费力、漏检误检严重以及现有方法抗干扰能力差、检测效率低和细小绊丝缺陷漏检错检等问题。

如图1所示，为本申请实施例提供的一种产品表面缺陷检测方法，包括：

步骤S101，获取图像并确定所述图像是否为需要检测指定类型缺陷的待检测图像；

本申请实施例提出的一种产品表面缺陷检测方法可以针对化纤产品表面的多种缺陷进行检测，可选地，主要应用在绊丝缺陷检测方面，上述指定类型缺陷为绊丝类型的缺陷；

本申请实施例通过检测获取的图像内容确定图像是否为需要检测指定类型缺陷的待检测图像，在图像采集时通常对化纤产品纸筒的上底面、下底面或侧面的图像进行采集，而绊丝缺陷主要出现在化纤产品的上底面和下底面，因此确定获取的图像为化纤产品上底面和下底面的图像，即确定为需要检测指定类型缺陷的待检测图像，具体的，采集到的化纤产品上底面和下底面的图像内的化纤产品通常为圆形或者半圆形，采集到的化纤产品侧面的图像内化纤产品通常为矩形，根据上述方法可以确定获取的图像是否为需要检测指定类型缺陷的待检测图像。

确定获取的图像是否为需要检测指定类型缺陷的待检测图像的方法，可以为预先设置化纤产品上底面、下底面和侧面的图像特征，将获取的图像与上述特征进行比对，确定获取的图像是否为待检测图像，可选地，可以利用预先训练得到的分类预测模型，将获取的图像输入分类预测模型，根据所述分类预测模型的分类结果，确定所述图像是否为需要检测指定类型缺陷的待检测图像。其中，利用包括多个图像及标注的缺陷类型的训练样本，将图像作为网络分类模型输入，以输出所述图像的标注的缺陷类型为目标进行模型训练得到所述分类预测模型，标注的缺陷类型即根据图像内容标注的绊丝缺陷或者其他缺陷类型。本申请实施例采用ResNet50作为上述分类预测模型，基于梯度下降和分段式学习率的方法对分类预测模型进行预训练。

步骤S102，若是，通过预训练的缺陷检测模型利用滑动窗口对所述待检测图像进行滑动采样，并对采样的窗口区域进行缺陷检测，输出所述待检测图像中存在缺陷的窗口区域位置标识；

若确定获取到的图像为绊丝缺陷类型的待检测图像，则将待检测图像输入通过预训练的缺陷检测模型，通过对待检测图像进行滑动采样及对采样窗口区域进行缺陷检测，输出待检测图像中存在缺陷的窗口区域位置标识。

其中，所述缺陷检测模型包括采样部分和检测部分，采样部分利用滑动窗口对输入缺陷检测模型的待检测图像进行滑动采样，检测部分对滑动采样得到的窗口区域进行缺陷检测。

所述缺陷检测模型在进行滑动采样和检测之前需要进行预训练，预训练过程中首先需要初始化包括采样部分和检测部分的网络模型，之后利用包括多个图像和标注的缺陷位置作为训练样本，根据所述网络模型输出的缺陷位置及标注的缺陷位置，对当前网络模型的参数进行调整，达到训练结束条件时结束参数调整，得到缺陷检测模型。

上述参数调整包括对采样部分和检测部分进行参数调整，具体的，采样部分的参数调整包括对滑动窗口的高度和/或宽度进行调整，检测部分为对滑动取样得到的窗口区域进行检测时，以更好检测缺陷为目标对检测部分进行参数调整。达到训练结束条件即当前网络模型的检测速度或检测精度或其他能够表征缺陷检测模型性能的参数指标能够满足预设要求，则此时结束参数调整，得到上述缺陷检测模型。

本申请实施例中输出的待检测图像中存在缺陷的窗口区域位置标识，是通过水平滑动和竖直滑动时，滑动窗口所滑动的长度大小确定的。

现有技术中，大分辨率图像输入到深度神经网络中主要有以下三个问题：

1)深度神经网络模型对图像尺寸大小的限制；

2)大分辨率图像输入到深度神经网络模型易导致计算机计算资源枯竭；

3)深度网络无法从大分辨率图像中有效地提取细小目标特征。

针对上述问题，本申请提出上述滑动检测的方式，避免了深度神经网络模型对图像尺寸大小的限制，避免大分辨图像导致计算机计算资源枯竭的问题，且能够更加有效的提取细小的目标特征，更好的检测出图像中的缺陷特征。

步骤S103，利用图像分割算法对存在缺陷的窗口区域进行图像分割，得到所述存在缺陷的窗口区域内各缺陷的轮廓区域；

其中，在U-Net网络框架的跳跃传输层进行输出运算时，通过注意力机制对来自上采样层的输入x_up加入权重系数，得到跳跃传输层的输出x_final，所述U-Net网络框架包括下采样层、上采样层及连接所述下采样层和上采样层的跳跃传输层。

神经网络中的注意力机制(Attention Mechanism)是在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题的一种资源分配方案。在神经网络学习中，一般而言模型的参数越多则模型的表达能力越强，模型所存储的信息量也越大，但这会带来信息过载的问题。那么通过引入注意力机制，在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，就可以解决信息过载问题，并提高任务处理的效率和准确性，通过在现有的U-Net网络框架中引入注意力机制模型，可以解决细小缺陷特征不明显的问题，使跳跃传输层的输出更好得到图像中缺陷的特征。

步骤S104，通过区域生长算法将相邻的轮廓区域进行连接，得到所述待检测图像中存在的缺陷的形态和数目。

在图像分割时，由于中间区域不明显，可能得到一个缺陷两边的轮廓区域，或者在滑动采样时，一个窗口区域内只能采集到缺陷的一部分，因此需要通过区域生长算法将相邻的轮廓区域进行连接，得到待检测图像中存在的缺陷的形态和数目。

下面结合具体实施例对本申请实施例的过程进行详细描述。

本申请实施例通过分类预测模型确定图像是否为需要检测指定类型缺陷的待检测图像，所述分类预测模型需要进行预训练，具体实施过程如图2所示：

步骤S201，获取图像并输入分类预测模型，其中，利用包括多个图像及标注的缺陷类型的训练样本，将图像作为网络分类模型输入，以输出所述图像的标注的缺陷类型为目标进行模型训练；

上述标注缺陷类型即根据图像内容确定是绊丝类型的缺陷，还是其他类型缺陷；

本申请实施例采用ResNet50作为分类预测模型的网络模型。通过ResNet网络中的残差连接方式进行分类预测，公式表示如下所示：

x_cur＝F(x_pre,W_conv)+W_samx_pre

其中，x_pre为上一层的特征图(Feature Map)；W_conv为下一层学习参数；F表示下一层的运算规则(包含卷积、池化、ReLu和BN等)；W_sam为上一层模型采样操作(卷积或者池化)为了保证F(x_pre,W_conv)的输出维度x_pre保持一致；x_cur为目标层的输出特征图。

上述网络模型采用了softmax分类器的交叉熵损失函数，基于梯度下降和分段式学习率对分类预测模型进行参数调整。假设网络的输出x＝[x₁,x₂……x_i]，样本的标签信息为y＝[y₁,y₂,……，y_i]，经过softmax分类器的每个维度输出结果为：

则softmax分类器的输出结果为模型最终的损失函数L为：

得到损失函数后，采用梯度下降法进行模型的参数调整，网络模型的参数W表示为：

其中，W为网络模型的参数；η代表学习率；L与相关，/>与x_i相关，x_i与W相关。

步骤S202，满足结束模型参数调整条件时，结束训练得到分类预测模型。

上述确定获取图像为待检测图像后，将所述待检测图像输入缺陷检测模型进行缺陷检测，如图3所示为所述缺陷检测模型的网络结构示意图，所述缺陷检测模型包括采样部分301和检测部分302，采样部分用于利用滑动窗口对图像进行滑动采样，检测部分用于对所述窗口区域进行缺陷检测，具体地，在滑动采样时，可以仅对待检测图像进行水平滑动取样或者竖直滑动取样，作为一种可选的实施方式，可以先利用滑动窗口对图像进行水平方向的滑动采样，再利用滑动窗口对图像进行竖直方向的滑动采样，或者，先利用滑动窗口对图像进行竖直方向的滑动采样，再利用滑动窗口对图像进行水平方向的滑动采样，或者，利用两个滑动窗口同时对图像进行水平方向和竖直方向的滑动采样；

利用滑动窗口在水平方向/竖直方向滑动时，按照单位时间内移动固定长度的速度，对图像进行滑动采样，其中，所述固定长度由该滑动窗口水平方向/竖直方向边长的固定比例确定，具体的，所述固定比例为预先指定的数值，具体可以为[0-1]之间的数值，本领域技术人员可以根据实际需求进行设定，滑动窗口整体区域减去整体区域乘以固定比例，能够得到相邻两个滑动窗口区域重叠的区域。

通过缺陷检测模型利用滑动窗口对所述待检测图像进行滑动采样，并对采样的窗口区域进行缺陷检测之前，首先需要对缺陷检测模型进行预训练，如图4所示，包括：

步骤S401，初始化包括采样部分和检测部分的网络模型；

其中，初始化采样部分的参数包括：

初始化采样部分采用的滑动窗口的高度和宽度，所述初始化的滑动窗口的高度和宽度为上述网络模型输入的高度和宽度；

初始化所述采样部分采用的滑动窗口的滑动方向，滑动方向为水平方向和竖直方向；

初始化所述采样部分利用滑动窗口在水平方向/竖直方向滑动时，单位时间内移动的固定长度，其中，所述固定长度由该滑动窗口水平方向/竖直方向边长的固定比例确定。上述固定比例为预先设定的数值，由本领域技术人员根据实际需求进行设定。

步骤S402，获取包括多个样本的样本集，每个样本包括图像及标注的缺陷位置；

上述多个样本为确定检测指定缺陷类型的化纤产品表面图像，及标注的每个图像上缺陷的位置。

其中，训练时通过调整图像角度、饱和度、曝光度和色调来产生更多的样本，以提高所述缺陷检测模型的检测精度。

步骤S403，将所述多个样本中的图像输入到初始化网络模型，根据所述初始化网络模型输出的缺陷位置及标注的缺陷位置，对所述初始化网络模型的参数进行调整，达到训练结束条件时结束参数调整，得到所述预训练的缺陷检测模型；

其中，参数调整包括对初始化网络模型中采样部分采用的滑动窗口的高度和/或宽度进行调整；对初始化网络模型中检测部分的神经网络层参数进行调整。

对初始化网络模型的参数进行调整时，对于初始化网络模型的采样部分，可以仅对水平方向滑动的滑动窗口的(水平方向)宽度进行调整，或者仅对竖直方向滑动的滑动窗口的(竖直方向)高度进行调整，作为一种可选地实施方式，对滑动窗口的高度和宽度同时进行调整，具体的，预先设置多个比例，进行调整时在初始化滑动窗口宽度和高度的基础上，通过不同的比例改变滑动窗口的宽度和高度，需要注意的是，对滑动窗口的高度和宽度同时进行调整时，高度和宽度调整的比例相同。

对初始化网络模型中检测部分的神经网络层参数进行调整。

本申请实施例中达到训练结束条件具体包括以下两种方式：

1)根据所述网络模型输出的缺陷位置及标注的缺陷位置确定检测精度，根据所述检测精度进行参数调整，在所述检测精度满足要求时结束参数调整；

通过上述网络模型能够检测出图像中缺陷的位置，通过输出的缺陷位置及标注的缺陷位置确定上述检测模型的检测精度，其中，上述检测精度可以通过多个滑动窗口的检测精度求平均值得到，也可以为任一滑动窗口区域对应的检测精度，检测精度可以为[0-1]之间的数值；

上述检测精度满足条件，可以为通过多次调整上述多个参数，此时检测精度也会相应改变，选取检测精度最高对应的参数作为缺陷检测模型对应的参数，作为一种可选地实施方式，预先设置检测精度阈值，当网络模型的检测精度超过上述阈值时，选取对应的参数作为缺陷检测模型对应的参数。

2)根据所述网络模型输出的缺陷位置及标注的缺陷位置确定检测精度，根据图像的大小及检测时间确定检测速度，根据所述检测精度和所述检测速度的加权求和值进行参数调整，在所述加权求和值满足要求时结束参数调整。

上述将检测精度和检测速度进行加权求和，其中检测精度和检测速度分别对应的权重为预先设置的值，可以根据本领域技术人员的实际需求进行设定，且检测精度和检测速度对应的权重之和为1，作为一种可选地实施方式，将检测速度进行归一化处理，优选的，映射为一个[0-1]之间的数值，这样检测速度越快、检测精度越高对应的滑动窗口的大小是最优的。

同样的，加权求和值满足要求时，可以为通过多次调整上述多个参数，此时检测精度和检测精度也会相应改变，选取上述加权求和值最高对应的参数作为缺陷检测模型对应的参数，作为一种可选地实施方式，预先设置加权求和值对应的阈值，当上述加权求和值超过上述阈值时，选取对应的参数作为缺陷检测模型对应的参数。

本申请实施例采用带有反馈信息的重叠滑动检测方法，该方法根据每次训练得到的检测精度和检测速度，自动的设置滑动窗口的大小，以此来决策网络模型检测速度、检测精度和滑动窗口设置的问题。

下面结合具体的实施例来介绍上述缺陷检测模型的预训练过程：

1)初始化包括采样部分和检测部分的网络模型具体包括：

本申请实施例中，初始化滑动窗口的宽度和高度分别记做w和h(通常初始化为网络输入的宽和高)，获取的训练样本中图像的宽和高分别记为W和H，将滑动窗每次水平滑动和竖直滑动的固定比例分别记做Rx和Ry，将调整滑动窗口大小的比例设置为N＝[0.6,0.7,0.8,0.9,1.0,1.1,1.2,1.3,1.4]，将网络模型效果权重因子设置为α，将模型的检测速度设置为V，检测精度设置为P，检测速度和检测精度进行加权求和得到的模型总体性能为Perf，设置训练的次数times∈[0,len(N)]，其中，len(N)表示N的值。

2)获取包括多个样本的样本集，每个样本包括图像及标注的缺陷位置；

3)将样本中的图像输入到当前网络模型，根据所述网络模型输出的缺陷位置及标注的缺陷位置对当前网络模型的参数进行调整具体包括：

将样本中的图像输入到当前网络模型，得到网络模型的检测速度V和检测精度P，计算网络模型的总体性能，可表示为：

Perf＝αP+(1-α)V

分别根据调整滑动窗口大小的比例调整滑动窗口的宽和高分别为w和h，得到w和h分别如下所示：

w＝w*N[times]

h＝h*N[times]

根据Perf最大的原则选取最优的滑动窗口大小，对当前网络模型的参数进行调整。

其中，得到的缺陷检测模型输出的待检测图像中存在缺陷的窗口区域位置标识的方法如下所示：

计算滑动窗口滑动水平滑动和竖直滑动的步长，水平方向步长：Sx＝(1-Rx)*w；竖直方向步长：Sy＝(1-Ry)*h。假设水平方向上的第i个滑动窗口、竖直方向上的第j个滑动窗的作为(i,j)，则滑动窗矩形区域Rect＝[Point(i*Sx，j*Sy)，Width＝w，Height＝h]，Rect表示输出的滑动窗口区域标识，Point表示矩形窗Rect起始点，Width和Height分别表示矩形窗Rect的宽和高。

本申请实施例采用了目标检测模型Yolov3-tiny作为本申请实施例检测部分的网络模型，网络模型经过预训练后，还需要通过微调方法对缺陷检测模型进行参数调整，具体采用带有动量momentum的梯度下降算法并采用分段式学习率的学习策略，具体策略如下式：

W＝W-ηv_i

其中v_i和v_i-1分别表示当前和过去的梯度值；β表示动量因子；η表示学习率；W表示上述网络模型参数；

本申请实施例通过加入采样部分，通过滑动取样解决图像分辨率大造成的问题，在训练过程中加入反馈信息，以此来调整滑动窗口的大小，现有技术中细小的绊丝缺陷全部进行人工标注需要耗费大量的时间，而且标注者的主观性也会影响标注质量。本申请实施例采用在预训练网络模型基础上对缺陷检测模型进行微调，使模型能够自动对缺陷进行标注，减小了人工标注绊丝的难度。

为对本申请实施例进行详细的介绍，首先对现有的U-Net网络框架进行介绍，现有的包括U-Net网络框架一个编码器和一个解码器，编码器也即下采样层，一个解码器也即上采样层。编码器有四个子模块，每个子模块包含两个卷积层，每个子模块之后有一个通过最大池化层(max pool)实现下采样。若输入图像的分辨率是572x572，第1-4个模块的分辨率分别是284x284，140x140，68x68和32x32。由于卷积使用的是valid模式，故这里后一个子模块的分辨率等于(前一个子模块的分辨率-4)/2。

解码器包含四个子模块，分辨率通过上采样操作依次上升，直到与输入图像的分辨率一致(由于卷积使用的是valid模式，实际输出比输入图像小一些)。该网络还使用了跳跃传输层，将上采样的结果与编码器中具有相同分辨率的子模块的输出进行连接，作为解码器中下一个子模块的输入。

本申请实施例中，在U-Net网络框架的跳跃传输层进行输出运算时，通过注意力机制对来自上采样层的输入x_up加入权重系数，得到跳跃传输层的输出x_final，其中具体实施过程如下：

1)通过注意力机制运算法则对上述跳跃传输层的输入进行计算，得到跳跃传输层的输出，具体为对来自上采样层的输入x_up加入权重系数，计算公式如下：

x_final＝ψ(x_conv，x_up)＝W_att×x_up

其中，x_final为所述跳跃传输层的输出，ψ(x_conv，x_up)为注意力机制的运算法则，x_conv为所述跳跃传输层来自下采样层的输入，x_up为所述跳跃传输层来自上采样层的输入，W_att为所述权重系数。

2)对x_conv和x_up的关联性进行卷积核大小为1的卷积操作，并通过第一激活函数计算得到所述权重系数，计算公式如下：

W_att＝Sigmoid(Conv_1×1(R))

其中，Sigmoid为所述第一激活函数，Conv_1×1为卷积核为1的卷积操作，R为x_conv和x_up的关联性。

3)分别对x_conv和x_up进行卷积核大小为1的卷积操作并求和，通过第二激活函数对所述求和结果进行计算，得到x_conv和x_up的关联性R，公式如下：

R＝ReLU(Conv_1×1(x_conv)+Conv_1×1(x_up))

其中，ReLU为所述第二激活函数。

本申请实施例中第一激活函数和第二激活函数用于神经网络中两层神经元之间，在多层的神经网络中，上一层的神经元(neuron)信号，即线性单元wx+b算出的结果需要输入到下一层，但是这个信号在输入到下一层之前需要一次激活f＝sigmoid(wx+b)，或f＝ReLU(wx+b)，也即经过上述第一激活函数和第二激活函数后，再输入到下一层神经元。

本申请实施例中U-Net网络框架在跳跃传输层将上采样的结果与编码器中具有相同分辨率的子模块的输出进行连接时，加入权重系数，作为解码器中下一个子模块的输入，计算过程及具体的实施过程如上所示，在此不再赘述。

以上对本发明中一种产品表面缺陷检测方法进行说明，以下对执行上述产品表面缺陷检测装置进行说明。

请参阅图5本发明实施例提供的一种产品表面缺陷检测装置，包括：

确定模块501，用于获取图像并确定所述图像是否为需要检测指定类型缺陷的待检测图像；

检测模块502，用于若确定所述图像为需要检测指定类型缺陷的待检测图像，通过预训练的缺陷检测模型利用滑动窗口对所述待检测图像进行滑动采样，并对采样的窗口区域进行缺陷检测，输出所述待检测图像中存在缺陷的窗口区域位置标识；

分割模块503，用于利用图像分割算法对存在缺陷的窗口区域进行图像分割，得到所述存在缺陷的窗口区域内各缺陷的轮廓区域；

连接模块504，用于通过区域生长算法将相邻的轮廓区域进行连接，得到所述待检测图像中存在的缺陷的形态和数目。

利用滑动窗口对图像进行水平方向的滑动采样；

利用滑动窗口对图像进行竖直方向的滑动采样；

初始化所述采样部分采用的滑动窗口的高度和宽度；

初始化所述采样部分采用的滑动窗口的滑动方向；

对当前网络模型中检测部分的神经网络层参数进行调整。

W_att＝Sigmoid(Conv_1×1(R))

R＝ReLU(Conv_1×1(x_conv)+Conv_1×1(x_up))

其中，ReLU为所述第二激活函数。

上面从模块化功能实体的角度对本申请实施例中的一种产品表面缺陷检测装置进行了描述，下面从硬件处理的角度对本申请实施例中的一种产品表面缺陷检测设备进行描述。

请参阅图6，本申请实施例中一种产品表面缺陷检测设备，至少一个处理器601和至少一个存储器602，以及总线系统609；

其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行下列过程：

图6是本申请实施例提供的一种产品表面缺陷检测设备示意图，该设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(英文全称：centralprocessing units，英文简称：CPU)601(例如，一个或一个以上处理器)和存储器602，一个或一个以上存储应用程序604或数据605的存储介质603(例如一个或一个以上海量存储设备)。其中，存储器602和存储介质603可以是短暂存储或持久存储。存储在存储介质603的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对信息处理装置中的一系列指令操作。更进一步地，处理器601可以设置为与存储介质603通信，在设备600上执行存储介质603中的一系列指令操作。

设备600还可以包括一个或一个以上有线或无线网络接口607，一个或一个以上输入输出接口608，和/或，一个或一个以上操作系统606，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等。

可选地，所述处理器用于利用滑动窗口对图像进行滑动采样，包括如下至少一个步骤：

利用滑动窗口对图像进行水平方向的滑动采样；

利用滑动窗口对图像进行竖直方向的滑动采样；

可选地，所述处理器用于初始化包括采样部分和检测部分的网络模型，包括如下至少一个步骤：

初始化所述采样部分采用的滑动窗口的高度和宽度；

初始化所述采样部分采用的滑动窗口的滑动方向；

可选地，所述处理器用于根据所述网络模型输出的缺陷位置及标注的缺陷位置，对当前网络模型的参数进行调整，包括：

对当前网络模型中检测部分的神经网络层参数进行调整。

可选地，所述处理器用于对当前网络模型的参数进行调整，达到训练结束条件时结束参数调整，包括如下至少一个步骤：

可选地，所述处理器用于利用图像分割算法对存在缺陷的窗口区域进行图像分割，包括：

可选地，所述处理器用于通过注意力机制对来自上采样层的输入x_up加入权重系数，包括：

W_att＝Sigmoid(Conv_1×1(R))

可选地，所述处理器用于确定所述x_conv和x_up的关联性，包括：

R＝ReLU(Conv_1×1(x_conv)+Conv_1×1(x_up))

其中，ReLU为所述第二激活函数。

可选地，所述处理器用于获取图像并确定所述图像是否为需要检测指定类型缺陷的待检测图像，包括：

如图7所示，所述设备还包括：

底座702及位于所述底座上方与底座连接的产品固定模块705，所述底座用于保持传送模块平稳滑动，所述产品固定模块用于对产品进行固定；

传送模块701，位于所述底座下面，用于传送产品；

图像采集模块703和光学模块704，所述图像采集模块位于所述光学模块顶部或底部，用于采集所述产品的表面图像，所述光学模块用于发出光照，辅助所述图像采集模块进行图像采集。

所述图像采集模块和光学模块，包括：

位于所述产品固定模块顶部的上图像采集模块7031和上光学模块7041，位于所述产品固定装置底部的下图像采集模块7032和下光学模块7042。

本申请实施例在进行产品缺陷检测时，首先通过传送模块将待检产品样本传送至图像采集区域，当待检测样本通过图像采集模块时，触发设备的图形采集模块，配合光学模块，完成高分辨率绊丝缺陷图片的采集，最后通过处理器对采集的图像进行处理，得到待检产品样本的缺陷形态及数量。

本发明实施例还提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述实施例提供的一种产品表面缺陷检测方法。

本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行上述实施例提供的一种产品表面缺陷检测方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

以上对本申请所提供的技术方案进行了详细介绍，本申请中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种产品表面缺陷检测方法，其特征在于，所述产品包括化纤产品，该方法包括：

若是，通过预训练的缺陷检测模型的采样部分利用滑动窗口对所述待检测图像进行滑动采样，并通过所述预训练的缺陷检测模型的检测部分对采样的窗口区域进行缺陷检测，输出所述待检测图像中存在缺陷的窗口区域位置标识；

通过区域生长算法将相邻的轮廓区域进行连接，得到所述待检测图像中存在的缺陷的形态和数目；

利用图像分割算法对存在缺陷的窗口区域进行图像分割，包括：

在U-Net网络框架的跳跃传输层进行输出运算时，通过注意力机制对来自上采样层的输入x_up加入权重系数，得到跳跃传输层的输出x_final，所述U-Net网络框架包括下采样层、上采样层及连接所述下采样层和上采样层的跳跃传输层；

所述预训练的缺陷检测模型通过以下训练方式生成：

将所述多个样本中的图像输入到初始化网络模型，根据所述初始化网络模型输出的缺陷位置及标注的缺陷位置，对所述初始化网络模型的参数进行调整，达到训练结束条件时结束参数调整，得到所述预训练的缺陷检测模型；

根据所述网络模型输出的缺陷位置及标注的缺陷位置，对当前网络模型的参数进行调整，包括：

对当前网络模型中采样部分采用的滑动窗口的高度和/或宽度进行调整；其中，对当前网络模型中采样部分采用的滑动窗口的高度和宽度同时进行调整时，高度和宽度调整的比例相同；

对当前网络模型中检测部分的神经网络层参数进行调整。

2.根据权利要求1所述的方法，其特征在于，所述利用滑动窗口对图像进行滑动采样，包括如下至少一个步骤：

利用滑动窗口对图像进行水平方向的滑动采样；

利用滑动窗口对图像进行竖直方向的滑动采样；

3.根据权利要求1所述的方法，其特征在于，初始化包括采样部分和检测部分的网络模型，包括如下至少一个步骤：

初始化所述采样部分采用的滑动窗口的高度和宽度；

初始化所述采样部分采用的滑动窗口的滑动方向；

4.根据权利要求1所述的方法，其特征在于，对当前网络模型的参数进行调整，达到训练结束条件时结束参数调整，包括如下至少一个步骤：

5.根据权利要求1所述的方法，其特征在于，通过注意力机制对来自上采样层的输入x_up加入权重系数，包括：

W_att＝Sigmoid(Conv_1×1(R))

6.根据权利要求5所述的方法，其特征在于，确定所述x_conv和x_up的关联性，包括：

分别对x_conv和x_up进行卷积核大小为1的卷积操作并求和，通过第二激活函数对所述求和的结果进行计算，得到x_conv和x_up的关联性R，计算公式如下：

R＝ReLU(Conv_1×1(x_conv)+Conv_1×1(x_up))

其中，ReLU为所述第二激活函数。

7.根据权利要求1所述的方法，其特征在于，获取图像并确定所述图像是否为需要检测指定类型缺陷的待检测图像，包括：

8.一种产品表面缺陷检测装置，其特征在于，所述产品包括化纤产品，该装置包括：

检测模块，用于若确定所述图像为需要检测指定类型缺陷的待检测图像，通过预训练的缺陷检测模型的采样部分利用滑动窗口对所述待检测图像进行滑动采样，并通过所述预训练的缺陷检测模型的检测部分对采样的窗口区域进行缺陷检测，输出所述待检测图像中存在缺陷的窗口区域位置标识；

连接模块，用于通过区域生长算法将相邻的轮廓区域进行连接，得到所述待检测图像中存在的缺陷的形态和数目；

所述分割模块用于利用图像分割算法对存在缺陷的窗口区域进行图像分割，包括：

所述预训练的缺陷检测模型通过以下训练方式生成：

对当前网络模型中检测部分的神经网络层参数进行调整。

9.一种产品表面缺陷检测设备，其特征在于，包括：处理器和存储器，其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，使得计算机执行如权利要求1至7中任一项所述的方法。

10.根据权利要求9所述的设备，其特征在于，还包括：

传送模块，位于所述底座下面，用于传送产品；

11.根据权利要求10所述的设备，其特征在于，所述图像采集模块和光学模块，包括：

位于所述产品固定模块顶部的上图像采集模块和上光学模块，位于所述产品固定模块底部的下图像采集模块和下光学模块。

12.一种计算机可读存储介质，其特征在于，包括计算机程序指令，当其在计算机上运行时，使得计算机执行如权利要求1至7中任一项所述的方法。