[go: up one dir, main page]

CN118887196A - 一种智能化焊装夹具可视化检测方法 - Google Patents

一种智能化焊装夹具可视化检测方法 Download PDF

Info

Publication number
CN118887196A
CN118887196A CN202411075358.0A CN202411075358A CN118887196A CN 118887196 A CN118887196 A CN 118887196A CN 202411075358 A CN202411075358 A CN 202411075358A CN 118887196 A CN118887196 A CN 118887196A
Authority
CN
China
Prior art keywords
image
loss
welding fixture
model
visual detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202411075358.0A
Other languages
English (en)
Other versions
CN118887196B (zh
Inventor
杨伟俊
覃少经
刘颂耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Bocheng Intelligent Technology Co ltd
Original Assignee
Guangzhou Bocheng Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Bocheng Intelligent Technology Co ltd filed Critical Guangzhou Bocheng Intelligent Technology Co ltd
Priority to CN202411075358.0A priority Critical patent/CN118887196B/zh
Publication of CN118887196A publication Critical patent/CN118887196A/zh
Application granted granted Critical
Publication of CN118887196B publication Critical patent/CN118887196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种智能化焊装夹具可视化检测方法，方法包括图像采集、图像增强、建立焊装夹具可视化检测模型和焊装夹具可视化检测。本发明属于焊接检测技术领域，具体是指一种智能化焊装夹具可视化检测方法，本方案基于双边滤波提取低频分量以去除图像中的高频噪声；通过设计高斯权重和激活函数进而构建自适应优化单元进行颜色校正；通过动态调整定义上下限阈值，进而引导图像校正；进而使得焊装夹具可视化检测准确性提高；基于源域构建单元动态更新聚类中，提升模型的泛化能力；基于源域计算单元计算距离矩阵和源域和目标域损失；构建损失设计单元，使得模型优化更全面和精准；使得焊装夹具可视化检测模型做出更加稳定和可靠的最终预测。

Description

一种智能化焊装夹具可视化检测方法
技术领域
本发明涉及焊接检测技术领域，具体是指一种智能化焊装夹具可视化检测方法。
背景技术
焊装夹具可视化检测方法是指利用图像处理和计算机视觉技术对焊装夹具进行自动化检测和分析的方法。该方法通过对焊装夹具的图像进行处理和分析，帮助实现夹具状态的实时监控、焊接质量控制、缺陷检测和维护管理。但是一般焊装夹具可视化检测方法存在原始图像存在大量噪声影响，对图像增强时无法保持边缘信息，颜色校正单一化，增强效果弱，进而使得识别准确性差的问题；一般焊装夹具可视化检测方法存在模型的泛化能力弱，对焊装夹具图像的特征提取能力不足及系统损失设定单一导致模型的准确性和稳定性差的问题。
发明内容
针对上述情况，为克服现有技术的缺陷，本发明提供了一种智能化焊装夹具可视化检测方法，针对一般焊装夹具可视化检测方法存在原始图像存在大量噪声影响，对图像增强时无法保持边缘信息，颜色校正单一化，增强效果弱，进而使得识别准确性差的问题，本方案基于双边滤波提取低频分量以去除图像中的高频噪声；通过设计高斯权重和激活函数进而构建自适应优化进行颜色校正；通过动态调整定义上下限阈值，进而引导图像校正；在标准U-Net的基础上引入密集跳跃连接和级联操作，以融合不同层次的特征，提高模型对细节的保留能力和增强图像质量；进而使得焊装夹具可视化检测准确性提高；针对一般焊装夹具可视化检测方法存在模型的泛化能力弱，对焊装夹具图像的特征提取能力不足及系统损失设定单一导致模型的准确性和稳定性差的问题，本方案基于源域构建单元动态更新聚类中心，并用网络输出和softmax函数为目标域数据生成伪标签，提升模型的泛化能力；基于源域计算单元计算距离矩阵和源域和目标域损失，衡量模型在不同领域上的表现，并优化模型；综合考虑了源域样本损失、目标域样本损失、聚类中心间距离损失和一致性损失构建损失设计单元，使得模型优化更全面和精准；使得焊装夹具可视化检测模型做出更加稳定和可靠的最终预测。
本发明采取的技术方案如下：本发明提供的一种智能化焊装夹具可视化检测方法，该方法包括以下步骤：
步骤S1：图像采集；
步骤S2：图像增强；
步骤S3：建立焊装夹具可视化检测模型；
步骤S4：焊装夹具可视化检测。
进一步地，在步骤S1中，所述图像采集是采集历史焊装夹具图像和实时焊装夹具图像；并对历史焊装夹具图像进行数据标注，表述类型为焊接质量检测结果。
进一步地，在步骤S2中，所述图像增强具体包括以下步骤：
步骤S21：图像分解；基于双边滤波获取历史焊装夹具图像的低频分量，所用公式如下：
；
式中，是低频分量；BF(·)是双边滤波操作；B是输入图像；
步骤S22：自适应优化；预先将低频分量转换到HSI颜色空间；自适应优化具体包括：
步骤S221：定义颜色校正函数；颜色校正函数包括基本颜色差异、颜色引导图像的高斯权重和激活函数；表示如下：
；
式中，E(I)是颜色校正函数的能量表示；是HSI颜色空间中的分量；x和y 是图像中的像素位置；是基本颜色差异的参考值；是当前图像在颜色分量θ上的 值；是调节参数；G(·)是高斯权重函数；H(·)是激活函数；是饱和度分量的值；w(·) 是权重函数；β是控制亮度成分在颜色校正中权重的参数；是亮度分量的值；
步骤S222：定义高斯权重函数；高斯权重函数用于表示规则项的自适应调整比例，以防止像素溢出；表示如下：
；
式中，是图像在颜色分量上的值；t是尺度参数；
步骤S223：设计激活函数；激活函数用于确定高斯权重开始生效的时间；表示如下：
；
；
式中，是图像在位置x处的颜色值向量；是阶跃函数；是图像在颜色 分量上的值；c2是激活条件；
步骤S224：颜色引导图像校正；基于图像均值和均方差，生成颜色引导图像校正的上下限阈值；表示如下：
；
式中，和分别是上限阈值和下限阈值；avg(·)是均值；mse(·)是均方差；是控制均方差在计算阈值中权重的参数；
步骤S225：颜色校正图像；所用公式如下：
；
式中，是颜色校正函数；
步骤S226：迭代优化；构建终止迭代过程的标准；表示如下：
；
式中，和分别是第和次迭代中得到的图像；是迭代终止阈值；
步骤S23：建立图像增强模型；预先将自适应优化后的历史焊装夹具图像作为原始数据集，并划分为准训练集和准测试集；建立图像增强模型具体包括：
步骤S231：模型结构设计；在标准U-net的基础上进行结构优化，在传统U-Net中，跳跃连接直接将编码器的特征图传递到解码器的相应层；每对编码器和解码器层之间通过简单的拼接操作连接；而所建立的图像增强模型不仅仅连接相邻的层，还通过密集的跳跃连接将多个编码器层的特征图融合到解码器层；并且在每个跳跃连接中，图像增强模型增加了密集卷积模块，每个跳跃连接中的密集卷积模块由多个卷积层组成；并且在跳跃连接中增加了级联操作，即将编码器和解码器的特征图通过多个卷积层进行处理，再进行连接；引入特征融合策略，在解码器阶段，将来自不同编码器层的特征图进行融合，在密集卷积模块中，结合局部特征以增强细节保留；并且在解码器中引入了额外的卷积层和密集模块；
步骤S232：设计损失函数，基于重建损失、反射分量一致性损失和二元交叉熵进行损失函数设计，表示如下：
；
式中，L(·)是总损失函数；Y是真实图像；是增强后图像；是权重参数；N是像 素数量；和分别是第b个像素点的真实图像值和模型输出图像值；是反射分量的估 计；是预处理的输入图像；是反射图像的目标值；是用于平衡各项损失的参数；是 用于控制反射分量和一致性的参数；是用于控制梯度损失的参数；l和n是图像的不 同层；是梯度算子；Ix是图像饱和度；是用于控制梯度损失的参数；
步骤S233：图像增强模型判定；当图像增强模型对准训练集的损失收敛时，图像增强模型训练完成；基于峰值信噪比评估经图像增强模型处理后的准测试集，预先设有增强阈值，若准测试集图像增强前后的峰值信噪比高于增强阈值，则图像增强模型建立完成，基于建立完成的图像增强模型处理原始数据集，并划分为测试集和训练集；否则调整模型参数并重新划分原始数据集训练图像增强模型。
进一步地，在步骤S3中，所述建立焊装夹具可视化检测模型具体包括以下步骤：
步骤S31：数据定义；定义源领域数据实例及其标签，以及目标领域无标签的数据实例；
步骤S32：特征提取；基于预训练深度迁移模型BreNet提取低层特征、中层特征和高层特征，并进行全局平均池化；表示如下：
；
；
式中，F是特征表示的集合；l是特征层的索引，是特征层集合；是全局平均 池化操作；是特征图；是尺寸；K(·)表示是否将该层的特征进行融合；fusion是进行特 征融合；withoutfusion是不进行特征融合；
步骤S33：源域构建；用于计算源域的聚类中心并更新；对于源领域数据，通过其标签计算源域的聚类中心，并通过移动平均规则更新聚类中心；表示如下：
；
式中，是第k个聚类中心向量；和分别是第n1次迭代和第n1-1次迭代 后第k个聚类中心的更新值；是属于第k类样本的第i3个特征向量；α4是移动平均的平滑 因子；
对于目标域数据，使用网络输出z和softmax函数获得类别概率，并定 义伪标签；是属于第t类样本的第i4个特征向量；
步骤S34：源域计算；用于计算源域和目标域的样本与聚类中心之间的距离矩阵， 并计算损失；聚类中心是源域数据中每个类别的中心特征向量；对于源域数据，构建样本与 聚类中心之间的距离矩阵；建立源域样本与聚类中心之间的距离损失，表示为；对于目标域数据，计算样本与聚类中心之间的距离矩阵；通 过熵值加权矩阵，建立损失函数，表示为：；其中，是源域中的样本总数；是sigmoid激活函数；H(·)是熵函数；是目标域中的样本总 数；
步骤S35：损失设计；用于设计综合损失函数来优化模型；构建源域聚类中心之间 的距离矩阵，矩阵元素表示为；并计算交叉熵损失，表示为：；进而构建联合损失函数，表示为：；基于源域数据基于自身标签来建立交叉熵损失，表示 为：；对于源域和目标域的聚类中心，构建对齐损失函数， 表示为：；对于聚类中心和网络神经元，构建一致性损失，表示 为：；最终构建焊装夹具质量检测损失，表示为：；其中，c是聚类中心的数量；是softmax激活 函数；和分别是属于第s类样本和第t类样本的源域聚类中心之间的距离矩阵的交叉 熵损失；是源域样本的特征向量；和分别是源域和目标域的第k个聚类中心；、 和都是损失项的权重系数；是第k个聚类中心通过网络最后一层得到的输出；
步骤S36：最终预测；对于每个类别c1，计算所有该类别上的分类概率之和，找出最大概率和对应的类别；若预测的焊接质量检测结果为不合格，则进行可视化展示焊接接口处图像；最终预测表示如下：
；
式中，是最终预测的类别标签；是第i3个样本在第c1个类别上的概率值。
进一步地，在步骤S4中，所述焊装夹具可视化检测是基于建立完成的焊装夹具可视化检测模型，将实时焊装夹具图像输入至焊装夹具可视化检测模型中，基于焊装夹具可视化检测输出实现焊装夹具可视化检测结果。
采用上述方案本发明取得的有益效果如下：
（1）针对一般焊装夹具可视化检测方法存在原始图像存在大量噪声影响，对图像增强时无法保持边缘信息，颜色校正单一化，增强效果弱，进而使得识别准确性差的问题，本方案基于双边滤波提取低频分量以去除图像中的高频噪声；通过设计高斯权重和激活函数进而构建自适应优化进行颜色校正；通过动态调整定义上下限阈值，进而引导图像校正；在标准U-Net的基础上引入密集跳跃连接和级联操作，以融合不同层次的特征，提高模型对细节的保留能力和增强图像质量；进而使得焊装夹具可视化检测准确性提高。
（2）针对一般焊装夹具可视化检测方法存在模型的泛化能力弱，对焊装夹具图像的特征提取能力不足及系统损失设定单一导致模型的准确性和稳定性差的问题，本方案基于源域构建单元动态更新聚类中心，并用网络输出和softmax函数为目标域数据生成伪标签，提升模型的泛化能力；基于源域计算单元计算距离矩阵和源域和目标域损失，衡量模型在不同领域上的表现，并优化模型；综合考虑了源域样本损失、目标域样本损失、聚类中心间距离损失和一致性损失构建损失设计单元，使得模型优化更全面和精准；使得焊装夹具可视化检测模型做出更加稳定和可靠的最终预测。
附图说明
图1为本发明提供的一种智能化焊装夹具可视化检测方法的流程示意图；
图2为步骤S2的流程示意图；
图3为步骤S22的流程示意图。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例一，参阅图1，本发明提供的一种智能化焊装夹具可视化检测方法，该方法包括以下步骤：
步骤S1：图像采集，采集历史焊装夹具图像和实时焊装夹具图像；
步骤S2：图像增强，基于双边滤波提取低频分量以去除图像中的高频噪声；通过设计高斯权重和激活函数进而构建自适应优化进行颜色校正；通过动态调整定义上下限阈值，进而引导图像校正；在标准U-Net的基础上引入密集跳跃连接和级联操作；进行实现对焊装夹具图像的增强操作；
步骤S3：建立焊装夹具可视化检测模型，基于源域构建单元动态更新聚类中心，并用网络输出和softmax函数为目标域数据生成伪标；基于源域计算单元计算距离矩阵和源域和目标域损失；综合考虑了源域样本损失、目标域样本损失、聚类中心间距离损失和一致性损失构建损失设计单元，进而完成焊装夹具可视化检测模型的建立；
步骤S4：焊装夹具可视化检测。
实施例二，参阅图1，该实施例基于上述实施例，在步骤S1中，对历史焊装夹具图像进行数据标注，表述类型为焊接质量检测结果。
实施例三，参阅图1、图2和图3，该实施例基于上述实施例，在步骤S2中，图像增强具体包括以下步骤：
步骤S21：图像分解；基于双边滤波获取历史焊装夹具图像的低频分量，所用公式如下：
；
式中，是低频分量；BF(·)是双边滤波操作；B是输入图像；
步骤S22：自适应优化；预先将低频分量转换到HSI颜色空间；自适应优化具体包括：
步骤S221：定义颜色校正函数；颜色校正函数包括基本颜色差异、颜色引导图像的高斯权重和激活函数；表示如下：
；
式中，E(I)是颜色校正函数的能量表示；是HSI颜色空间中的分量；x和y 是图像中的像素位置；是基本颜色差异的参考值；是当前图像在颜色分量θ上的 值；是调节参数；G(·)是高斯权重函数；H(·)是激活函数；是饱和度分量的值；w(·) 是权重函数；β是控制亮度成分在颜色校正中权重的参数；是亮度分量的值；
步骤S222：定义高斯权重函数；高斯权重函数用于表示规则项的自适应调整比例，以防止像素溢出；表示如下：
；
式中，是图像在颜色分量上的值；t是尺度参数；
步骤S223：设计激活函数；激活函数用于确定高斯权重开始生效的时间；表示如下：
；
；
式中，是图像在位置x处的颜色值向量；是阶跃函数；是图像在颜色 分量上的值；c2是激活条件；
步骤S224：颜色引导图像校正；基于图像均值和均方差，生成颜色引导图像校正的上下限阈值；表示如下：
；
式中，和分别是上限阈值和下限阈值；avg(·)是均值；mse(·)是均方差；是控制均方差在计算阈值中权重的参数；
步骤S225：颜色校正图像；所用公式如下：
；
式中，是颜色校正函数；
步骤S226：迭代优化；构建终止迭代过程的标准；表示如下：
；
式中，和分别是第和次迭代中得到的图像；是迭代终止阈值；
步骤S23：建立图像增强模型；预先将自适应优化后的历史焊装夹具图像作为原始数据集，并划分为准训练集和准测试集；建立图像增强模型具体包括：
步骤S231：模型结构设计；在标准U-net的基础上进行结构优化，在传统U-Net中，跳跃连接直接将编码器的特征图传递到解码器的相应层；每对编码器和解码器层之间通过简单的拼接操作连接；而所建立的图像增强模型不仅仅连接相邻的层，还通过密集的跳跃连接将多个编码器层的特征图融合到解码器层；并且在每个跳跃连接中，图像增强模型增加了密集卷积模块，每个跳跃连接中的密集卷积模块由多个卷积层组成；并且在跳跃连接中增加了级联操作，即将编码器和解码器的特征图通过多个卷积层进行处理，再进行连接；引入特征融合策略，在解码器阶段，将来自不同编码器层的特征图进行融合，在密集卷积模块中，结合局部特征以增强细节保留；并且在解码器中引入了额外的卷积层和密集模块；
步骤S232：设计损失函数，基于重建损失、反射分量一致性损失和二元交叉熵进行损失函数设计，表示如下：
；
式中，L(·)是总损失函数；Y是真实图像；是增强后图像；是权重参数；N是像 素数量；和分别是第b个像素点的真实图像值和模型输出图像值；是反射分量的估 计；是预处理的输入图像；是反射图像的目标值；是用于平衡各项损失的参数；是 用于控制反射分量和一致性的参数；是用于控制梯度损失的参数；l和n是图像的不 同层；是梯度算子；Ix是图像饱和度；是用于控制梯度损失的参数；
步骤S233：图像增强模型判定；当图像增强模型对准训练集的损失收敛时，图像增强模型训练完成；基于峰值信噪比评估经图像增强模型处理后的准测试集，预先设有增强阈值，若准测试集图像增强前后的峰值信噪比高于增强阈值，则图像增强模型建立完成，基于建立完成的图像增强模型处理原始数据集，并划分为测试集和训练集；否则调整模型参数并重新划分原始数据集训练图像增强模型。
通过执行上述操作，针对一般焊装夹具可视化检测方法存在原始图像存在大量噪声影响，对图像增强时无法保持边缘信息，颜色校正单一化，增强效果弱，进而使得识别准确性差的问题，本方案基于双边滤波提取低频分量以去除图像中的高频噪声；通过设计高斯权重和激活函数进而构建自适应优化进行颜色校正；通过动态调整定义上下限阈值，进而引导图像校正；在标准U-Net的基础上引入密集跳跃连接和级联操作，以融合不同层次的特征，提高模型对细节的保留能力和增强图像质量；进而使得焊装夹具可视化检测准确性提高。法的全局搜索能力；引入T-分布设计移动权重，提高算法在优化过程中的精度和鲁棒性。
实施例四，参阅图1，该实施例基于上述实施例，在步骤S3中，建立焊装夹具可视化检测模型具体包括以下步骤：
步骤S31：数据定义；定义源领域数据实例及其标签，以及目标领域无标签的数据实例；
步骤S32：特征提取；基于预训练深度迁移模型BreNet提取低层特征、中层特征和高层特征，并进行全局平均池化；表示如下：
；
；
式中，F是特征表示的集合；l是特征层的索引，是特征层集合；是全局平均 池化操作；是特征图；是尺寸；K(·)表示是否将该层的特征进行融合；fusion是进行特 征融合；withoutfusion是不进行特征融合；
步骤S33：源域构建；用于计算源域的聚类中心并更新；对于源领域数据，通过其标签计算源域的聚类中心，并通过移动平均规则更新聚类中心；表示如下：
；
式中，是第k个聚类中心向量；和分别是第n1次迭代和第n1-1次迭代 后第k个聚类中心的更新值；是属于第k类样本的第i3个特征向量；α4是移动平均的平滑 因子；
对于目标域数据，使用网络输出z和softmax函数获得类别概率，并定 义伪标签；是属于第t类样本的第i4个特征向量；
步骤S34：源域计算；用于计算源域和目标域的样本与聚类中心之间的距离矩阵， 并计算损失；聚类中心是源域数据中每个类别的中心特征向量；对于源域数据，构建样本与 聚类中心之间的距离矩阵；建立源域样本与聚类中心之间的距离损失，表示为；对于目标域数据，计算样本与聚类中心之间的距离矩阵；通 过熵值加权矩阵，建立损失函数，表示为：；其中，是源域中的样本总数；是sigmoid激活函数；H(·)是熵函数；是目标域中的样本总 数；
步骤S35：损失设计；用于设计综合损失函数来优化模型；构建源域聚类中心之间 的距离矩阵，矩阵元素表示为；并计算交叉熵损失，表示为：；进而构建联合损失函数，表示为：；基于源域数据基于自身标签来建立交叉熵损失，表示 为：；对于源域和目标域的聚类中心，构建对齐损失函数， 表示为：；对于聚类中心和网络神经元，构建一致性损失，表示 为：；最终构建焊装夹具质量检测损失，表示为：；其中，c是聚类中心的数量；是softmax激活 函数；和分别是属于第s类样本和第t类样本的源域聚类中心之间的距离矩阵的交叉 熵损失；是源域样本的特征向量；和分别是源域和目标域的第k个聚类中心；、 和都是损失项的权重系数；是第k个聚类中心通过网络最后一层得到的输出；
步骤S36：最终预测；对于每个类别c1，计算所有该类别上的分类概率之和，找出最大概率和对应的类别；若预测的焊接质量检测结果为不合格，则进行可视化展示焊接接口处图像；最终预测表示如下：
；
式中，是最终预测的类别标签；是第i3个样本在第c1个类别上的概率值。
通过执行上述操作，针对一般焊装夹具可视化检测方法存在模型的泛化能力弱，对焊装夹具图像的特征提取能力不足及系统损失设定单一导致模型的准确性和稳定性差的问题，本方案基于源域构建单元动态更新聚类中心，并用网络输出和softmax函数为目标域数据生成伪标签，提升模型的泛化能力；基于源域计算单元计算距离矩阵和源域和目标域损失，衡量模型在不同领域上的表现，并优化模型；综合考虑了源域样本损失、目标域样本损失、聚类中心间距离损失和一致性损失构建损失设计单元，使得模型优化更全面和精准；使得焊装夹具可视化检测模型做出更加稳定和可靠的最终预测。
实施例五，参阅图1，该实施例基于上述实施例，在步骤S4中，焊装夹具可视化检测是基于建立完成的焊装夹具可视化检测模型，将实时焊装夹具图像输入至焊装夹具可视化检测模型中，基于焊装夹具可视化检测输出实现焊装夹具可视化检测结果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (5)

1.一种智能化焊装夹具可视化检测方法，其特征在于：该方法包括以下步骤：
步骤S1：图像采集；
步骤S2：图像增强，基于双边滤波提取低频分量以去除图像中的高频噪声；通过设计高斯权重和激活函数进而构建自适应优化进行颜色校正；通过动态调整定义上下限阈值，进而引导图像校正；在标准U-Net的基础上引入密集跳跃连接和级联操作；进行实现对焊装夹具图像的增强操作；
步骤S3：建立焊装夹具可视化检测模型，基于源域构建单元动态更新聚类中心，并用网络输出和softmax函数为目标域数据生成伪标；基于源域计算单元计算距离矩阵和源域和目标域损失；综合考虑了源域样本损失、目标域样本损失、聚类中心间距离损失和一致性损失构建损失设计单元，进而完成焊装夹具可视化检测模型的建立；
步骤S4：焊装夹具可视化检测。
2.根据权利要求1所述的一种智能化焊装夹具可视化检测方法，其特征在于：在步骤S2中，所述图像增强具体包括以下步骤：
步骤S21：图像分解；基于双边滤波获取历史焊装夹具图像的低频分量，所用公式如下：
；
式中，是低频分量；BF(·)是双边滤波操作；B是输入图像；
步骤S22：自适应优化；预先将低频分量转换到HSI颜色空间；自适应优化具体包括：
步骤S221：定义颜色校正函数；颜色校正函数包括基本颜色差异、颜色引导图像的高斯权重和激活函数；表示如下：
；
式中，E(I)是颜色校正函数的能量表示；是HSI颜色空间中的分量；x和y是图像中的像素位置；是基本颜色差异的参考值；是当前图像在颜色分量θ上的值；是调节参数；G(·)是高斯权重函数；H(·)是激活函数；是饱和度分量的值；w(·)是权重函数；β是控制亮度成分在颜色校正中权重的参数；是亮度分量的值；
步骤S222：定义高斯权重函数；高斯权重函数用于表示规则项的自适应调整比例，以防止像素溢出；表示如下：
；
式中，是图像在颜色分量上的值；t是尺度参数；
步骤S223：设计激活函数；激活函数用于确定高斯权重开始生效的时间；表示如下：
；
；
式中，是图像在位置x处的颜色值向量；是阶跃函数；是图像在颜色分量上的值；c2是激活条件；
步骤S224：颜色引导图像校正；基于图像均值和均方差，生成颜色引导图像校正的上下限阈值；表示如下：
；
式中，和分别是上限阈值和下限阈值；avg(·)是均值；mse(·)是均方差；是控制均方差在计算阈值中权重的参数；
步骤S225：颜色校正图像；所用公式如下：
；
式中，是颜色校正函数；
步骤S226：迭代优化；构建终止迭代过程的标准；表示如下：
；
式中，和分别是第和次迭代中得到的图像；是迭代终止阈值；
步骤S23：建立图像增强模型；预先将自适应优化后的历史焊装夹具图像作为原始数据集，并划分为准训练集和准测试集；建立图像增强模型具体包括：
步骤S231：模型结构设计；在标准U-net的基础上进行结构优化，在传统U-Net中，跳跃连接直接将编码器的特征图传递到解码器的相应层；每对编码器和解码器层之间通过简单的拼接操作连接；而所建立的图像增强模型不仅仅连接相邻的层，还通过密集的跳跃连接将多个编码器层的特征图融合到解码器层；并且在每个跳跃连接中，图像增强模型增加了密集卷积模块，每个跳跃连接中的密集卷积模块由多个卷积层组成；并且在跳跃连接中增加了级联操作，即将编码器和解码器的特征图通过多个卷积层进行处理，再进行连接；引入特征融合策略，在解码器阶段，将来自不同编码器层的特征图进行融合，在密集卷积模块中，结合局部特征以增强细节保留；并且在解码器中引入了额外的卷积层和密集模块；
步骤S232：设计损失函数，基于重建损失、反射分量一致性损失和二元交叉熵进行损失函数设计，表示如下：
；
式中，L(·)是总损失函数；Y是真实图像；是增强后图像；是权重参数；N是像素数量；和分别是第b个像素点的真实图像值和模型输出图像值；是反射分量的估计；是预处理的输入图像；是反射图像的目标值；是用于平衡各项损失的参数；是用于控制反射分量和一致性的参数；是用于控制梯度损失的参数；l和n是图像的不同层；是梯度算子；Ix是图像饱和度；是用于控制梯度损失的参数；
步骤S233：图像增强模型判定；当图像增强模型对准训练集的损失收敛时，图像增强模型训练完成；基于峰值信噪比评估经图像增强模型处理后的准测试集，预先设有增强阈值，若准测试集图像增强前后的峰值信噪比高于增强阈值，则图像增强模型建立完成，基于建立完成的图像增强模型处理原始数据集，并划分为测试集和训练集；否则调整模型参数并重新划分原始数据集训练图像增强模型。
3.根据权利要求1所述的一种智能化焊装夹具可视化检测方法，其特征在于：在步骤S3中，所述建立焊装夹具可视化检测模型具体包括以下步骤：
步骤S31：数据定义；定义源领域数据实例及其标签，以及目标领域无标签的数据实例；
步骤S32：特征提取；基于预训练深度迁移模型BreNet提取低层特征、中层特征和高层特征，并进行全局平均池化；表示如下：
；
；
式中，F是特征表示的集合；l是特征层的索引，是特征层集合；是全局平均池化操作；是特征图；是尺寸；K(·)表示是否将该层的特征进行融合；fusion是进行特征融合；withoutfusion是不进行特征融合；
步骤S33：源域构建；用于计算源域的聚类中心并更新；对于源领域数据，通过其标签计算源域的聚类中心，并通过移动平均规则更新聚类中心；表示如下：
；
式中，是第k个聚类中心向量；和分别是第n1次迭代和第n1-1次迭代后第k个聚类中心的更新值；是属于第k类样本的第i3个特征向量；α4是移动平均的平滑因子；
对于目标域数据，使用网络输出z和softmax函数获得类别概率，并定义伪标签；是属于第t类样本的第i4个特征向量；
步骤S34：源域计算；用于计算源域和目标域的样本与聚类中心之间的距离矩阵，并计算损失；聚类中心是源域数据中每个类别的中心特征向量；对于源域数据，构建样本与聚类中心之间的距离矩阵；建立源域样本与聚类中心之间的距离损失，表示为；对于目标域数据，计算样本与聚类中心之间的距离矩阵；通过熵值加权矩阵，建立损失函数，表示为：；其中，是源域中的样本总数；是sigmoid激活函数；H(·)是熵函数；是目标域中的样本总数；
步骤S35：损失设计；用于设计综合损失函数来优化模型；构建源域聚类中心之间的距离矩阵，矩阵元素表示为；并计算交叉熵损失，表示为：；进而构建联合损失函数，表示为：；基于源域数据基于自身标签来建立交叉熵损失，表示为：；对于源域和目标域的聚类中心，构建对齐损失函数，表示为：；对于聚类中心和网络神经元，构建一致性损失，表示为：；最终构建焊装夹具质量检测损失，表示为：；其中，c是聚类中心的数量；是softmax激活函数；和分别是属于第s类样本和第t类样本的源域聚类中心之间的距离矩阵的交叉熵损失；是源域样本的特征向量；和分别是源域和目标域的第k个聚类中心；、和都是损失项的权重系数；是第k个聚类中心通过网络最后一层得到的输出；
步骤S36：最终预测；对于每个类别c1，计算所有该类别上的分类概率之和，找出最大概率和对应的类别；若预测的焊接质量检测结果为不合格，则进行可视化展示焊接接口处图像；最终预测表示如下：
；
式中，是最终预测的类别标签；是第i3个样本在第c1个类别上的概率值。
4.根据权利要求1所述的一种智能化焊装夹具可视化检测方法，其特征在于：在步骤S1中，所述图像采集是采集历史焊装夹具图像和实时焊装夹具图像；并对历史焊装夹具图像进行数据标注，表述类型为焊接质量检测结果。
5.根据权利要求1所述的一种智能化焊装夹具可视化检测方法，其特征在于：在步骤S4中，所述焊装夹具可视化检测是基于建立完成的焊装夹具可视化检测模型，将实时焊装夹具图像输入至焊装夹具可视化检测模型中，基于焊装夹具可视化检测输出实现焊装夹具可视化检测结果。
CN202411075358.0A 2024-08-07 2024-08-07 一种智能化焊装夹具可视化检测方法 Active CN118887196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411075358.0A CN118887196B (zh) 2024-08-07 2024-08-07 一种智能化焊装夹具可视化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411075358.0A CN118887196B (zh) 2024-08-07 2024-08-07 一种智能化焊装夹具可视化检测方法

Publications (2)

Publication Number Publication Date
CN118887196A true CN118887196A (zh) 2024-11-01
CN118887196B CN118887196B (zh) 2025-04-11

Family

ID=93232488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411075358.0A Active CN118887196B (zh) 2024-08-07 2024-08-07 一种智能化焊装夹具可视化检测方法

Country Status (1)

Country Link
CN (1) CN118887196B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119251223A (zh) * 2024-12-04 2025-01-03 智物云享(南京)信息科技有限公司 基于图像处理的非接触式形变检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792609A (zh) * 2021-08-19 2021-12-14 北京理工大学 自动驾驶中通过对齐多频谱跨域特征检测图像异常的方法
CN114283287A (zh) * 2022-03-09 2022-04-05 南京航空航天大学 基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法
CN114529753A (zh) * 2022-01-18 2022-05-24 华南理工大学 一种基于代表性特征对齐的域适应目标检测方法
CN114842267A (zh) * 2022-05-23 2022-08-02 南京邮电大学 基于标签噪声域自适应的图像分类方法及系统
CN114862698A (zh) * 2022-04-12 2022-08-05 北京理工大学 一种基于通道引导的真实过曝光图像校正方法与装置
CN117893413A (zh) * 2024-03-15 2024-04-16 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法
CN117911762A (zh) * 2024-01-09 2024-04-19 蚌埠学院 基于多源数据融合的机器视觉遥感图像场景分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792609A (zh) * 2021-08-19 2021-12-14 北京理工大学 自动驾驶中通过对齐多频谱跨域特征检测图像异常的方法
CN114529753A (zh) * 2022-01-18 2022-05-24 华南理工大学 一种基于代表性特征对齐的域适应目标检测方法
CN114283287A (zh) * 2022-03-09 2022-04-05 南京航空航天大学 基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法
CN114862698A (zh) * 2022-04-12 2022-08-05 北京理工大学 一种基于通道引导的真实过曝光图像校正方法与装置
CN114842267A (zh) * 2022-05-23 2022-08-02 南京邮电大学 基于标签噪声域自适应的图像分类方法及系统
CN117911762A (zh) * 2024-01-09 2024-04-19 蚌埠学院 基于多源数据融合的机器视觉遥感图像场景分类方法
CN117893413A (zh) * 2024-03-15 2024-04-16 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨国庆: "基于伪标签的无监督领域自适应分类方法", 计 算 机 应 用 研 究, vol. 39, no. 5, 31 May 2022 (2022-05-31), pages 1357 - 1361 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119251223A (zh) * 2024-12-04 2025-01-03 智物云享(南京)信息科技有限公司 基于图像处理的非接触式形变检测方法

Also Published As

Publication number Publication date
CN118887196B (zh) 2025-04-11

Similar Documents

Publication Publication Date Title
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
CN109919934B (zh) 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
CN113870341B (zh) 基于rgb和激光特征融合的高炉烧结矿粒径检测方法及系统
CN113989261B (zh) 基于Unet改进的无人机视角下红外图像光伏板边界分割方法
CN118887196B (zh) 一种智能化焊装夹具可视化检测方法
CN118279320A (zh) 基于自动提示学习的目标实例分割模型建立方法及其应用
CN115984543A (zh) 一种基于红外与可见光图像的目标检测算法
CN117451716A (zh) 一种工业产品表面缺陷检测方法
CN113808079A (zh) 基于深度学习模型AGLNet的工业产品表面缺陷自适应检测方法
CN118429355A (zh) 一种基于特征增强的轻量级配电柜壳体缺陷检测方法
CN117484031A (zh) 光伏组件焊接加工设备
CN117787480A (zh) 基于Res-LSTM的焊缝成形质量实时预测方法
CN114202649B (zh) 一种基于多尺度注意力约束的目标定位方法及系统
CN118351316B (zh) 一种基于深度学习的桥梁拉索表观缺陷分割方法
CN119599946A (zh) 一种路面裂缝检测方法、装置和电子设备
CN118982754A (zh) 一种地铁隧道裂缝分割识别方法
CN118469967A (zh) 一种pcb实时质量监测与自动纠错的方法及系统
CN116843615B (zh) 一种基于柔性光路的引线框架智能全检方法
CN114842328B (zh) 基于协同分析自主感知网络结构的高光谱变化检测方法
CN116129338B (zh) 一种基于因果干预的决策方法
CN120032193B (zh) 一种电力设备缺陷检测方法及系统
CN117011196B (zh) 一种基于组合滤波优化的红外小目标检测方法及系统
CN120014471B (zh) 一种用于辣椒自动采摘机的图像识别方法
CN119672439B (zh) 一种用于精密电子产品的轻量化小目标缺陷检测方法
CN117853817B (zh) 一种基于图像识别的智慧社区垃圾分类报警管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant