CN117934419B - 一种螺栓组件缺陷视觉检测方法及系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种螺栓组件缺陷视觉检测方法及系统，该方法包括：采集螺栓图像，根据像素点的邻域灰度差异得到各像素点的螺栓亮度差异系数，获取螺栓区域内各像素点的局部波动因子，根据局部波动因子得到螺栓区域的疑似损毁像素点，获取疑似损毁像素点的螺栓损毁渐变系数及螺栓局部昏暗度，结合局部波动因子及螺栓亮度差异系数得到各疑似损毁像素点的螺栓局部离散度，结合螺栓损毁渐变系数、螺栓局部昏暗度及螺栓局部离散度得到各疑似损毁像素点的螺栓局部损毁度，进而得到各像素点的增强权重，利用神经网络完成螺栓缺陷检测。本发明旨在提高螺栓组件缺陷检测的准确率，实现螺栓组件缺陷的精确检测。

Description

一种螺栓组件缺陷视觉检测方法及系统

技术领域

本发明涉及图像处理技术领域，具体涉及一种螺栓组件缺陷视觉检测方法及系统。

背景技术

螺栓是工业生产中常用的紧固件，如果螺栓存在缺陷，例如裂纹、变形、气泡等，会影响其紧固效果和承载能力，从而引发事故。因此，对螺栓进行缺陷检测对于保障生产安全和提高产品质量具有重要意义，能够确保螺栓的质量，避免出现安全事故和设备损坏。同时，利用视觉检测技术可以提高生产效率，减少人工检测的工作量和时间成本。

螺栓图像增强在螺栓缺陷检测中起着重要作用。通过应用图像增强技术，可以提高螺栓图像的质量和清晰度，减少噪声和干扰，使得缺陷更加明显可见。目前常用的图像增强算法是多尺度MSR算法，螺栓图像通常具有较为复杂的结构和纹理，多尺度MSR算法在对螺栓图像增强时易造成局部的失真与伪影，影响螺栓缺陷的可见性与识别准确性。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种螺栓组件缺陷视觉检测方法及系统，所采用的技术方案具体如下：

第一方面，本发明实施例提供了一种螺栓组件缺陷视觉检测方法，该方法包括以下步骤：

采集螺栓图像；

根据螺栓图像中各像素点与邻域内像素点的灰度差异得到各像素点的螺栓亮度差异系数；将螺栓亮度差异系数大于等于预设第一阈值的像素点所在区域作为螺栓区域；根据螺栓区域内各像素点的邻域像素点的灰度最值差异得到螺栓区域内各像素点的局部波动因子；将局部波动因子大于等于预设第二阈值的像素点作为疑似损毁像素点；根据疑似损毁像素点的纹理特征得到各疑似损毁像素点的螺栓损毁渐变系数；根据疑似损毁像素点的亮度差异得到各疑似损毁像素点的螺栓局部昏暗度；结合局部波动因子及螺栓亮度差异系数得到各疑似损毁像素点的螺栓局部离散度；结合螺栓损毁渐变系数、螺栓局部昏暗度及螺栓局部离散度得到各疑似损毁像素点的螺栓局部损毁度；结合局部波动因子及螺栓局部损毁度得到螺栓区域内各像素点的增强权重；根据各像素点的增强权重及神经网络模型完成螺栓组件缺陷检测。

优选的，所述根据螺栓图像中各像素点与邻域内像素点的灰度差异得到各像素点的螺栓亮度差异系数，包括：

针对螺栓图像中的各像素点，计算与邻域内其他像素点灰度的差值绝对值，将邻域内所有差值绝对值的均值的归一化值作为各像素点的螺栓亮度差异系数。

优选的，所述根据螺栓区域内各像素点的邻域像素点的灰度最值差异得到螺栓区域内各像素点的局部波动因子，包括：

针对螺栓区域内的各像素点，计算邻域内像素点灰度最大值与最小值的差值，记为第一差值，计算邻域内所有像素点的灰度均值，计算邻域内各像素点的灰度值与所述灰度均值的差值的平方，计算邻域内所有所述平方的均值，记为第一均值，将所述第一均值开平方根的结果与所述第一差值的乘积作为螺栓区域内各像素点的局部波动因子。

优选的，所述根据疑似损毁像素点的纹理特征得到各疑似损毁像素点的螺栓损毁渐变系数，包括：

针对所有疑似损毁像素点，利用霍夫直线检测算法获取位于螺栓区域分割线上的疑似损毁像素点，将所述位于螺栓区域分割线上的疑似损毁像素点进行连通域提取得到螺栓区域的分割线，对各分割线上的像素点进行采样得到各采样像素点，计算各采样像素点的海森矩阵，将所有采样像素点的海森矩阵对应位置相加求均值得到所有采样像素点的均值海森矩阵，将所有海森矩阵的两个特征值分别记为特征值1、特征值2；

各疑似损毁像素点的螺栓损毁渐变系数的表达式为：

G_i＝‖λ₁P₁-λ_u1P_u1‖+‖λ₂P₂-λ_u2P_u2‖

式中，G_i表示疑似损毁像素点i的螺栓损毁渐变系数，λ₁与λ₂分别表示疑似损毁像素点i的海森矩阵的特征值1、特征值2，P₁与P₂分别表示疑似损毁像素点i的海森矩阵的特征值1、特征值2对应的特征向量，λ_u1表示均值海森矩阵的特征值1，λ_u2表示均值海森矩阵的特征值2，P_u1表示均值海森矩阵的特征值1对应的特征向量，P_u2表示均值海森矩阵的特征值2对应的特征向量。

优选的，所述根据疑似损毁像素点的亮度差异得到各疑似损毁像素点的螺栓局部昏暗度，包括：

针对各疑似损毁像素点构建邻域窗口，将邻域窗口内的所有像素点进行阈值分割得到第四阈值，将邻域窗口内小于第四阈值的像素点作为昏暗像素点，计算所述昏暗像素点的个数与邻域窗口内所有像素点个数的比值作为各疑似损毁像素点的螺栓局部昏暗度。

优选的，所述结合局部波动因子及螺栓亮度差异系数得到各疑似损毁像素点的螺栓局部离散度，包括：

针对各疑似损毁像素点，将局部波动因子与螺栓亮度差异系数的乘积作为各疑似损毁像素点的螺栓局部离散度。

优选的，所述结合螺栓损毁渐变系数、螺栓局部昏暗度及螺栓局部离散度得到各疑似损毁像素点的螺栓局部损毁度，表达式为：

式中，S_i表示疑似损毁像素点i的螺栓局部损毁度，G_z表示第z个疑似损毁像素点的螺栓损毁渐变系数，G_i表示疑似损毁像素点i的螺栓损毁渐变系数，n表示疑似损毁像素点的个数，r_i表示疑似损毁像素点i的螺栓局部离散度，r_z表示第z个疑似损毁像素点的螺栓局部离散度，C_i表示疑似损毁像素点i的螺栓局部昏暗度，C_z表示第z个疑似损毁像素点的螺栓局部昏暗度，k表示调节参数，Norm表示归一化函数。

优选的，所述结合局部波动因子及螺栓局部损毁度得到螺栓区域内各像素点的增强权重，包括：

将各分割线上任选一疑似损毁像素点向相邻的分割线上做垂线，在所述垂线上等间隔采样各像素点，计算采样的所有像素点的灰度均值，若所述灰度均值大于等于预设第三阈值，将对应两分割线间的区域作为螺纹区域，反之，将对应两分割线间的区域作为凹槽区域；

螺栓区域内各像素点的增强权重的表达式为：

式中，W_m表示螺栓区域中像素点m的增强权重，θ_m表示螺栓区域中像素点m的局部波动因子，S_m表示螺栓区域中像素点m的螺栓局部损毁度，m∈H表示像素点m属于非疑似损毁像素点且位于螺栓区域中的凹槽区域，m∈L表示像素点m属于非疑似损毁像素点且位于螺栓区域中的螺纹区域，m∈HB表示像素点m属于疑似损毁像素点且位于螺栓区域中的凹槽区域，m∈LB表示像素点m属于疑似损毁像素点且位于螺栓区域中的螺纹区域，P表示位于螺栓区域中凹槽区域的非疑似损毁像素点的个数，θ_p表示位于螺栓区域中凹槽区域的第p个非疑似损毁像素点，θ_z表示位于螺栓区域中凹槽区域的第z个疑似损毁像素点，n′表示位于螺栓区域中凹槽区域的疑似损毁像素点个数，e表示自然常数。

优选的，所述根据各像素点的增强权重及神经网络模型完成螺栓组件缺陷检测，包括：

计算螺栓区域内各像素点的增强权重与预设原始增强尺度的乘积，得到螺栓区域中各像素点的自适应增强尺度，根据自适应增强尺度利用MSR算法对螺栓图像进行图像增强，将增强后的螺栓图像作为神经网络模型的输入，输出为标记缺陷区域的螺栓图像。

第二方面，本发明实施例还提供了一种螺栓组件缺陷视觉检测系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。

本发明至少具有如下有益效果：

本发明通过构建螺栓区域中各像素点的局部波动因子，以此获取螺栓区域的疑似损毁像素点，结合像素点的灰度差异，加大疑似损毁像素点的区别特征，为后续损毁像素点的确定缩小范围，通过构建各疑似损毁像素点的海森矩阵，得到各疑似损毁像素点的螺栓损毁渐变系数，表征疑似损毁像素点的纹理特征，提高了疑似损毁像素点中包含的分割线上的像素点与真正损毁像素点的区别度，最后构建螺栓区域各像素点的自适应增强尺度，对螺栓图像进行图像增强，解决了螺栓图像由于形状及纹理较为复杂，且因为照明不均、反射等因素导致图像对比度降低，细节不清晰影响缺陷检测精度的问题，利用自适应增强尺度提高了螺栓图像的增强效果，进而提高了缺陷检测的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例提供的一种螺栓组件缺陷视觉检测方法的步骤流程图；

图2为螺栓区域增强权重获取流程图；

图3为螺栓区域分割线示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种螺栓组件缺陷视觉检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种螺栓组件缺陷视觉检测方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种螺栓组件缺陷视觉检测方法的步骤流程图，该方法包括以下步骤：

步骤S001，通过图像采集装置获取螺栓图像，并进行预处理。

具体的，首先本实施例将通过使用CCD相机在均匀的光线条件下拍摄螺栓RGB图像，作为螺栓组件缺陷视觉检测的数据来源，需要说明的是，螺栓图像的获取方法有很多，具体的图像获取方法可通过现有技术实现，不在本实施例保护范围内，不做相关详细阐述；

然后，将螺栓RGB图像转化为灰度图像，具体方法为平均值法，其次，对螺栓灰度图像使用导向滤波去噪算法进行去噪，去除噪声干扰，由于平均值法、导向滤波去噪算法均为现有公知技术，在此不做详细陈述。

至此，即可根据本实施例上述方法获取螺栓去噪灰度图像，作为后续螺栓缺陷视觉检测的数据基础。

步骤S002，根据螺栓图像中各像素点的螺栓亮度差异系数划分螺栓区域，根据螺栓区域中各像素点的局部波动因子得到疑似损毁像素点，获取各疑似损毁像素点的螺栓损毁渐变系数及螺栓局部损毁度，进而得到螺栓区域中各像素点的增强权重。

具体的，本实施例将采集螺栓图像，根据像素点的邻域灰度差异得到各像素点的螺栓亮度差异系数，获取螺栓区域内各像素点的局部波动因子，根据局部波动因子得到螺栓区域的疑似损毁像素点，获取疑似损毁像素点的螺栓损毁渐变系数及螺栓局部昏暗度，结合局部波动因子及螺栓亮度差异系数得到各疑似损毁像素点的螺栓局部离散度，结合螺栓损毁渐变系数、螺栓局部昏暗度及螺栓局部离散度得到各疑似损毁像素点的螺栓局部损毁度，进而得到各像素点的增强权重，利用神经网络完成螺栓缺陷检测，螺栓区域增强权重获取流程图如图2所示。螺栓区域中各像素点的自适应增强尺度的构建过程具体为：

目前常用的图像增强算法是多尺度MSR算法，但多尺度MSR算法是对图像进行整体增强，并没有对图像中的不同部分进行区分，而螺栓图像中存在着明显的凹槽区域及螺纹区域，且凹槽区域及与螺纹区域具有较大的对比度差异，若对螺栓图像进行整体增强，并不能达到较好的效果，因此，本实施例对螺栓图像中的凹槽区域及与螺纹区域进行识别区分，进行分区域图像增强。

首先，为保证准确的对螺栓图像中的凹槽区域及与螺纹区域进行识别，需要剔除螺栓图像中的背景区域，获取螺栓图像目标区域，针对螺栓图像中的各像素点，获取τ×τ的邻域，本实施例中τ＝5，实施者可根据实际情况自行设定，本实施例对此不做限制，构建各像素点的变化程度，具体表达式为：

式中，d_i表示螺栓图像中像素点i的螺栓亮度差异系数，Norm表示归一化函数，τ²表示像素点i的邻域内像素点总个数，a_i表示像素点i的灰度值，a_m表示像素点i的邻域内第m个像素点的灰度值。

得到螺栓图像中各像素点的螺栓亮度差异系数后，设定第一阈值d_T，将螺栓亮度差异系数大于等于第一阈值的像素点作为螺栓区域，将螺栓亮度差异系数小于第一阈值的像素点作为螺栓图像的背景区域，本实施例中d_T＝0.65，实施者可根据实际情况自行设定，本实施例对此不做限制。

至此，可得到螺栓图像中的螺栓区域，后续分析仅针对螺栓区域。

由于螺栓属于金属材质，具有反光特性，故在螺栓的灰度图像中，螺纹区域和凹槽区域的灰度值会存在差异。获取到螺栓区域后，进一步，需要识别出凹槽区域与螺纹区域，针对螺栓区域的各像素点，同样构建τ×τ的邻域，根据邻域内各像素点的灰度分布，构建各像素点的局部波动因子，具体表达式为：

式中，θ_i表示螺栓区域中像素点i的局部波动因子，max(a_j)表示像素点i的邻域内的像素点灰度最大值，min(a_j′)表示像素点i的邻域内的像素点灰度最小值，a_z表示像素点i的邻域内第z个像素点的灰度值，μ表示像素点i的邻域内所有像素点的灰度均值，τ²表示像素点i的邻域内像素点总个数。将max(a_j)-min(a_j′)记为第一差值，记为第一均值。

由于若螺栓出现缺损，则缺损部分的像素点与周围像素点的灰度分布将存在明显差异，则局部波动因子将越大，除此之外，螺栓区域的分割线上的像素点也存在与周围像素点较大的亮度差异，局部波动因子也越大。因此，设定第二阈值θ_T，将局部波动因子大于等于第二阈值的像素点作为螺栓区域的疑似损毁像素点，本实施例中θ_T＝30，实施者可根据实际情况自行设定，本实施例对此不做限制。针对所有的疑似损毁像素点，进行霍夫直线检测，得到位于螺栓区域分割线上的疑似损毁像素点，将所述位于螺栓区域分割线上的疑似损毁像素点进行连通域提取得到螺栓区域的分割线，所述分割线将螺栓区域划分为螺纹区域与凹槽区域，由于螺栓的螺纹区域通常具有较为复杂的几何形状，而凹槽区域相对较平坦，螺栓区域分割线示意图如图3所示。这种不同的表面形状会导致光线在两个区域上的反射方式不同，从而造成螺纹区域与凹槽区域像素点的灰度值存在较大差异，为区分螺纹区域的像素点与凹槽区域的像素点，本实施例在所有相邻的两分割线间做垂线，并在垂线上等间隔采样k个像素点，并计算k个像素点的灰度均值，本实施例中k＝20，实施者可根据实际情况自行设定，本实施例对此不做限制。设置第三阈值X_T，若所述灰度均值大于等于第三阈值X_T，则将两分割线间的区域作为螺纹区域，若所述灰度均值小于第三阈值X_T，则将两分割线间的区域作为凹槽区域，本实施例中X_T＝50，实施者可根据实际情况自行设定，本实施例对此不做限制。

为进一步提取损毁像素点的特征，针对螺栓区域检测到的各个疑似损毁像素点，构建b×b的邻域，根据各疑似损毁像素点的邻域梯度特征，构建各疑似损毁像素点的海森矩阵，本实施例中b＝3，实施者可根据实际情况自行设定，本实施例对此不做限制。海森矩阵能够体现出像素点的灰度突变特征，其中海森矩阵的构建为现有公知技术，本实施例在此不做详细赘述。海森矩阵是一个2×2的矩阵，有2个特征值和特征向量，将每个海森矩阵的2个特征值分别随机记为特征值1、特征值2，2个特征值表示图像在两个特征向量方向上图像的各向异性，因此可以利用特征值和特征向量表征分割线的纹理信息。故本实施例针对螺栓区域检测到的各条分割线，分别采样ε个像素点，本实施例中ε＝1，实施者可根据实际情况自行设定，本实施例对此不做限制，针对采样的各像素点，构建b×b的邻域，计算各像素点的海森矩阵，将分割线上采样的所有像素点的海森矩阵对应位置相加求均值，得到一个可以表征螺栓图像中所有分割线的纹理走向特征的矩阵，记为均值海森矩阵。

根据各疑似损毁像素点的海森矩阵，表征疑似损毁像素点的纹理信息，构建各疑似损毁像素点的螺栓损毁渐变系数，表达式为：

G_i＝‖λ₁P₁-λ_u1P_u1‖+‖λ₂P₂-λ_u2P_u2‖

式中，G_i表示疑似损毁像素点i的螺栓损毁渐变系数，λ₁与λ₂分别表示疑似损毁像素点i的海森矩阵的特征值1、特征值2，P₁与P₂分别表示疑似损毁像素点i的海森矩阵的特征值1、特征值2对应的特征向量，λ_u1表示均值海森矩阵的特征值1，λ_u2表示均值海森矩阵的特征值2，P_u1表示均值海森矩阵的特征值1对应的特征向量，P_u2表示均值海森矩阵的特征值2对应的特征向量。

其次，根据疑似损毁像素点与周围邻域像素点的差异及像素点灰度值的离散程度对螺栓区域的损毁状态进行分析，针对各个疑似损毁像素点，构建c×c的邻域窗口，本实施例中c＝5，实施者可根据实际情况自行设定，本实施例对此不做限制，针对邻域窗口内的所有像素点，根据灰度值差异利用大津阈值OTSU算法获取邻域窗口内的阈值，记为第四阈值Y，将灰度值小于阈值Y的像素点作为邻域窗口的昏暗像素点，根据邻域窗口内昏暗像素点的个数构建螺栓局部昏暗度，表达式为：

式中，C_i表示疑似损毁像素点i的螺栓局部昏暗度，B_i表示疑似损毁像素点i的邻域窗口内昏暗像素点的个数，c表示疑似损毁像素点i的邻域窗口尺寸。

同时，结合各疑似损毁像素点的局部波动因子及螺栓亮度差异系数，构建各疑似损毁像素点的螺栓局部离散度，表达式为：

r_i＝θ_i×d_i

式中，r_i表示疑似损毁像素点i的螺栓局部离散度，θ_i表示螺栓区域中像素点i的局部波动因子，d_i表示螺栓图像中像素点i的螺栓亮度差异系数。

根据疑似损毁像素点的螺栓损毁渐变系数、螺栓局部昏暗度及螺栓局部离散度构建各疑似损毁像素点的螺栓局部损毁度，表达式为：

式中，S_i表示疑似损毁像素点i的螺栓局部损毁度，G_z表示第z个疑似损毁像素点的螺栓损毁渐变系数，G_i表示疑似损毁像素点i的螺栓损毁渐变系数，n表示疑似损毁像素点的个数，r_i表示疑似损毁像素点i的螺栓局部离散度，r_z表示第z个疑似损毁像素点的螺栓局部离散度，C_i表示疑似损毁像素点i的螺栓局部昏暗度，C_z表示第z个疑似损毁像素点的螺栓局部昏暗度，k表示调节参数，本实施例中k＝0.2，实施者可根据实际情况自行设定，本实施例对此不做限制，Norm表示归一化常数。

根据螺栓图像中疑似损毁像素点的分布，将螺栓图像中像素点划分为螺纹区域像素点，凹槽区域像素点及疑似损毁像素点，构建螺栓区域中各像素点的增强权重，表达式为：

式中，W_m表示螺栓区域中像素点m的增强权重，θ_m表示螺栓区域中像素点m的局部波动因子，S_m表示螺栓区域中像素点m的螺栓局部损毁度，m∈H表示像素点m属于非疑似损毁像素点且位于螺栓区域中的凹槽区域，m∈L表示像素点m属于非疑似损毁像素点且位于螺栓区域中的螺纹区域，m∈HB表示像素点m属于疑似损毁像素点且位于螺栓区域中的凹槽区域，m∈LB表示像素点m属于疑似损毁像素点且位于螺栓区域中的螺纹区域，P表示位于螺栓区域中凹槽区域的非疑似损毁像素点的个数，θ_p表示位于螺栓区域中凹槽区域的第p个非疑似损毁像素点，θ_z表示位于螺栓区域中凹槽区域的第z个疑似损毁像素点，n′表示位于螺栓区域中凹槽区域的疑似损毁像素点个数，e表示自然常数。

由于螺栓图像中凹槽区域及损毁区域的亮度与其他区域的亮度存在差异，导致螺栓图像在进行缺陷检测时出现误差，因此在对螺栓图像进行图像增强时，需要赋予像素点不同的权重，当像素点的增强权重越大时，表示像素点越可能是位于凹槽区域的损毁像素点，因此，在采用多尺度MSR算法进行图像增强时，需要的增强强度更大，以此构建各像素点的自适应增强尺度，表达式为：

σ′_m＝σ_m×W_m

式中，σ′_m表示螺栓区域中像素点m的自适应增强尺度，σ_m表示MSR算法中像素点m的原始增强尺度，W_m表示螺栓区域中像素点m的增强权重。

本实施例MSR算法中像素点m的原始增强尺度设定为100，实施者可根据实际情况自行设定，本实施例对此不做限制。且多尺度MSR算法为现有公知技术，本实施例在此不做详细赘述。

步骤S003，将图像增强后的螺栓图像利用神经网络模型进行缺陷检测。

进一步，本实施例利用神经网络模型对图像增强后的螺栓图像进行缺陷检测，其中神经网络模型为卷积神经网络，实施者可根据实际情况自行设定，本实施例对此不做限制，卷积神经网络的损失函数采样交叉熵损失函数，卷积神经网络模型的输出为标注出缺陷区域的螺栓图像，卷积神经网络及卷积神经网络的训练过程均为现有公知技术，本实施例在此不做详细赘述。至此，完成螺栓组件的缺陷视觉检测。

基于与上述方法相同的发明构思，本发明实施例还提供了一种螺栓组件缺陷视觉检测系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种螺栓组件缺陷视觉检测方法中任意一项所述方法的步骤。

综上所述，本发明实施例解决了螺栓图像由于形状及纹理较为复杂，且因为照明不均、反射等因素导致图像对比度降低，细节不清晰影响缺陷检测精度的问题，本发明通过结合MSR图像增强算法，改进MSR图像增强算法中的增强尺度，利用自适应增强尺度提高了螺栓图像的增强效果，进而提高了缺陷检测的准确率。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种螺栓组件缺陷视觉检测方法，其特征在于，该方法包括以下步骤：

采集螺栓图像；

根据螺栓图像中各像素点与邻域内像素点的灰度差异得到各像素点的螺栓亮度差异系数；将螺栓亮度差异系数大于等于预设第一阈值的像素点所在区域作为螺栓区域；根据螺栓区域内各像素点的邻域像素点的灰度最值差异得到螺栓区域内各像素点的局部波动因子；将局部波动因子大于等于预设第二阈值的像素点作为疑似损毁像素点；根据疑似损毁像素点的纹理特征得到各疑似损毁像素点的螺栓损毁渐变系数；根据疑似损毁像素点的亮度差异得到各疑似损毁像素点的螺栓局部昏暗度；结合局部波动因子及螺栓亮度差异系数得到各疑似损毁像素点的螺栓局部离散度；结合螺栓损毁渐变系数、螺栓局部昏暗度及螺栓局部离散度得到各疑似损毁像素点的螺栓局部损毁度；结合局部波动因子及螺栓局部损毁度得到螺栓区域内各像素点的增强权重；根据各像素点的增强权重及神经网络模型完成螺栓组件缺陷检测；

所述根据螺栓图像中各像素点与邻域内像素点的灰度差异得到各像素点的螺栓亮度差异系数，包括：

针对螺栓图像中的各像素点，计算与邻域内其他像素点灰度的差值绝对值，将邻域内所有差值绝对值的均值的归一化值作为各像素点的螺栓亮度差异系数；

所述根据螺栓区域内各像素点的邻域像素点的灰度最值差异得到螺栓区域内各像素点的局部波动因子，包括：

针对螺栓区域内的各像素点，计算邻域内像素点灰度最大值与最小值的差值，记为第一差值，计算邻域内所有像素点的灰度均值，计算邻域内各像素点的灰度值与所述灰度均值的差值的平方，计算邻域内所有所述平方的均值，记为第一均值，将所述第一均值开平方根的结果与所述第一差值的乘积作为螺栓区域内各像素点的局部波动因子；

所述根据疑似损毁像素点的纹理特征得到各疑似损毁像素点的螺栓损毁渐变系数，包括：

针对所有疑似损毁像素点，利用霍夫直线检测算法获取位于螺栓区域分割线上的疑似损毁像素点，将所述位于螺栓区域分割线上的疑似损毁像素点进行连通域提取得到螺栓区域的分割线，对各分割线上的像素点进行采样得到各采样像素点，计算各采样像素点的海森矩阵，将所有采样像素点的海森矩阵对应位置相加求均值得到所有采样像素点的均值海森矩阵，将所有海森矩阵的两个特征值分别记为特征值1、特征值2；

各疑似损毁像素点的螺栓损毁渐变系数的表达式为：

G_i＝‖λ₁P₁-λ_u1P_u1‖+‖λ₂P₂-λ_u2P_u2‖

式中，G_i表示疑似损毁像素点i的螺栓损毁渐变系数，λ₁与λ₂分别表示疑似损毁像素点i的海森矩阵的特征值1、特征值2，P₁与P₂分别表示疑似损毁像素点i的海森矩阵的特征值1、特征值2对应的特征向量，λ_u1表示均值海森矩阵的特征值1，λ_u2表示均值海森矩阵的特征值2，P_u1表示均值海森矩阵的特征值1对应的特征向量，P_u2表示均值海森矩阵的特征值2对应的特征向量；

所述结合螺栓损毁渐变系数、螺栓局部昏暗度及螺栓局部离散度得到各疑似损毁像素点的螺栓局部损毁度，表达式为：

式中，S_i表示疑似损毁像素点i的螺栓局部损毁度，G_z表示第z个疑似损毁像素点的螺栓损毁渐变系数，G_i表示疑似损毁像素点i的螺栓损毁渐变系数，n表示疑似损毁像素点的个数，r_i表示疑似损毁像素点i的螺栓局部离散度，r_z表示第z个疑似损毁像素点的螺栓局部离散度，C_i表示疑似损毁像素点i的螺栓局部昏暗度，C_z表示第z个疑似损毁像素点的螺栓局部昏暗度，k表示调节参数，Norm表示归一化函数；

所述结合局部波动因子及螺栓局部损毁度得到螺栓区域内各像素点的增强权重，包括：

将各分割线上任选一疑似损毁像素点向相邻的分割线上做垂线，在所述垂线上等间隔采样各像素点，计算采样的所有像素点的灰度均值，若所述灰度均值大于等于预设第三阈值，将对应两分割线间的区域作为螺纹区域，反之，将对应两分割线间的区域作为凹槽区域；

螺栓区域内各像素点的增强权重的表达式为：

式中，W_m表示螺栓区域中像素点m的增强权重，θ_m表示螺栓区域中像素点m的局部波动因子，S_m表示螺栓区域中像素点m的螺栓局部损毁度，m∈H表示像素点m属于非疑似损毁像素点且位于螺栓区域中的凹槽区域，m∈L表示像素点m属于非疑似损毁像素点且位于螺栓区域中的螺纹区域，m∈HB表示像素点m属于疑似损毁像素点且位于螺栓区域中的凹槽区域，m∈LB表示像素点m属于疑似损毁像素点且位于螺栓区域中的螺纹区域，P表示位于螺栓区域中凹槽区域的非疑似损毁像素点的个数，θ_p表示位于螺栓区域中凹槽区域的第p个非疑似损毁像素点，θ_z表示位于螺栓区域中凹槽区域的第z个疑似损毁像素点，n^′表示位于螺栓区域中凹槽区域的疑似损毁像素点个数，e表示自然常数。

2.根据权利要求1所述的一种螺栓组件缺陷视觉检测方法，其特征在于，所述根据疑似损毁像素点的亮度差异得到各疑似损毁像素点的螺栓局部昏暗度，包括：

针对各疑似损毁像素点构建邻域窗口，将邻域窗口内的所有像素点进行阈值分割得到第四阈值，将邻域窗口内小于第四阈值的像素点作为昏暗像素点，计算所述昏暗像素点的个数与邻域窗口内所有像素点个数的比值作为各疑似损毁像素点的螺栓局部昏暗度。

3.根据权利要求1所述的一种螺栓组件缺陷视觉检测方法，其特征在于，所述结合局部波动因子及螺栓亮度差异系数得到各疑似损毁像素点的螺栓局部离散度，包括：

针对各疑似损毁像素点，将局部波动因子与螺栓亮度差异系数的乘积作为各疑似损毁像素点的螺栓局部离散度。

4.根据权利要求1所述的一种螺栓组件缺陷视觉检测方法，其特征在于，所述根据各像素点的增强权重及神经网络模型完成螺栓组件缺陷检测，包括：

计算螺栓区域内各像素点的增强权重与预设原始增强尺度的乘积，得到螺栓区域中各像素点的自适应增强尺度，根据自适应增强尺度利用MSR算法对螺栓图像进行图像增强，将增强后的螺栓图像作为神经网络模型的输入，输出为标记缺陷区域的螺栓图像。

5.一种螺栓组件缺陷视觉检测系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4任意一项所述方法的步骤。