[go: up one dir, main page]

CN115213563B - 激光智能焊接方法及系统 - Google Patents

激光智能焊接方法及系统 Download PDF

Info

Publication number
CN115213563B
CN115213563B CN202211140241.7A CN202211140241A CN115213563B CN 115213563 B CN115213563 B CN 115213563B CN 202211140241 A CN202211140241 A CN 202211140241A CN 115213563 B CN115213563 B CN 115213563B
Authority
CN
China
Prior art keywords
welding
welding seam
depth
area
depression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211140241.7A
Other languages
English (en)
Other versions
CN115213563A (zh
Inventor
于建兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou Naishi Construction Machinery Co ltd
Original Assignee
Yangzhou Naishi Construction Machinery Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou Naishi Construction Machinery Co ltd filed Critical Yangzhou Naishi Construction Machinery Co ltd
Priority to CN202211140241.7A priority Critical patent/CN115213563B/zh
Publication of CN115213563A publication Critical patent/CN115213563A/zh
Application granted granted Critical
Publication of CN115213563B publication Critical patent/CN115213563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/20—Bonding
    • B23K26/21—Bonding by welding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Plasma & Fusion (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及人工智能领域，具体涉及激光智能焊接方法及系统，包括：获取在焊接过程中完成焊接的焊缝区域RGB图像及焊缝区域深度图像；获取金属表面深度，进而获得焊缝表面平整度；根据焊缝区域的焊缝表面平整度判断该焊缝区域是否存在凹陷，当不存在凹陷时，对焊接速度不做调整，进一步获取凹陷类型和凹陷深度；并利用凹陷类型和凹陷深度调整焊接速度。上述方法用于解决激光焊接遇到的生产问题，可实现激光焊接速度的智能控制。

Description

激光智能焊接方法及系统
技术领域
本发明涉及人工智能领域，具体涉及激光智能焊接方法及系统。
背景技术
激光焊接是利用高能量密度的激光束作为热源的一种高效精密焊接方法。激光焊接与传统焊接相比在汽车驾驶壳体等部位的焊接中能大幅度提高汽车的刚度、强度和密封性；其在汽车工业中，特别是中高档车的生产中已成为标准工艺。但是，在激光焊接过程中焊接速度的控制大多是基于经验值，由于受到材料类型以及厚度不同的工件之间的接头间隙不同等因素的影响，用同一速度焊接往往会导致焊缝区域凹陷，现有的对于焊接速度的调整每次都需要人工参与，并根据具体生产情况调节激光焊接速度。但上述手段由于人工检查效率低，使焊接问题得不到及时调整，因此亟需一种方法实现激光智能焊接。因此实现对焊接速度的自适应调节及焊接速度的智能控制非常必要。
发明内容
本发明提供激光智能焊接方法及系统，以解决现有的利用人工检查激光焊接中是否存在咬边凹陷或下塌凹陷，再根据凹陷深度进行焊接速度调整的问题。
为解决上述问题，本发明采用以下技术方案，激光智能焊接方法，包括：
获取在焊接过程中完成焊接的焊缝区域RGB图像及焊缝区域深度图像；
对焊缝区域RGB图像进行边缘检测，获取焊缝边缘各个像素点，利用焊缝边缘各个像素点在焊缝区域深度图像中的深度得到金属表面深度；
利用焊缝区域深度图像中每一个像素点对应的深度值及金属表面深度计算获得该焊缝区域的焊缝表面平整度；
根据获取的焊缝区域的焊缝表面平整度判断该焊缝区域是否存在凹陷，当不存在凹陷时，对焊接速度不做调整；
当该焊缝区域存在凹陷时，根据焊缝区域深度图像中每一个像素点对应的深度值提取焊缝区域内的所有凹陷像素点，进而得到所有凹陷像素点的坐标；
获取焊缝区域灰度图像中各个像素点的坐标；
对所有凹陷像素点的坐标进行聚类，获取各凹陷区域；
根据各凹陷区域中像素点的坐标及利用焊缝区域灰度图像中各个像素点坐标得到的主成分方向得到凹陷区域相对于焊缝中部的远近程度；
根据凹陷区域相对于焊缝中部的远近程度判断凹陷区域的凹陷类型；
获取焊缝区域的凹陷深度并结合凹陷类型调整焊接速度。
进一步的，所述金属表面深度是按照如下方式得到：
对焊缝区域RGB图像进行边缘检测，获取焊缝边缘各个像素点；
获取焊缝边缘各个像素点在焊缝区域深度图像中的深度，并统计各个深度所对应的焊缝边缘像素点的个数，将所统计的焊缝边缘像素点所对应的最多的深度记为金属表面深度。
进一步的，所述焊缝表面平整度的表达式如下：
Figure 100002_DEST_PATH_IMAGE001
式中：
Figure 946160DEST_PATH_IMAGE002
为焊缝区域深度图像中像素点总个数；
Figure 107758DEST_PATH_IMAGE003
表示焊缝区域深度图像中第
Figure 633417DEST_PATH_IMAGE004
个像素点的深度；
Figure 100002_DEST_PATH_IMAGE005
表示金属表面深度；
Figure 368024DEST_PATH_IMAGE006
表示焊缝表面平整度。
进一步的，所述主成分方向是按照如下方式得到：
利用PCA算法获取焊缝区域灰度图像中各个像素点的主成分方向；
提取各个像素点的主成分方向中最小特征值所对应的主成分方向；
根据各个像素点最小特征值所对应的主成分方向得到数据最集中的方向，并将数据最集中的方向作为焊缝区域灰度图像的主成分方向。
进一步的，所述凹陷区域相对于焊缝中部的远近程度的表达式如下：
Figure 429783DEST_PATH_IMAGE007
式中：
Figure 998168DEST_PATH_IMAGE008
表示第j个凹陷区域中的像素点个数；
Figure DEST_PATH_IMAGE009
为最小包围框宽度；（
Figure 339019DEST_PATH_IMAGE010
,
Figure 878034DEST_PATH_IMAGE011
）代表焊缝中心点坐标；（
Figure 292835DEST_PATH_IMAGE012
，
Figure 32121DEST_PATH_IMAGE013
）代表代表第
Figure 299416DEST_PATH_IMAGE014
个聚类结果中的第
Figure 47930DEST_PATH_IMAGE015
个像素点的坐标；
Figure 317237DEST_PATH_IMAGE016
凹陷区域的个数；
Figure 493003DEST_PATH_IMAGE017
表示凹陷区域相对于焊缝中部的远近程度。
进一步的，所述判断凹陷区域的凹陷类型的方法如下：
当
Figure 979086DEST_PATH_IMAGE018
时，当前焊缝区域图像存在下塌凹陷缺陷；
当
Figure 265711DEST_PATH_IMAGE019
时，当前焊缝区域图像存在咬边凹陷缺陷。
进一步的，所述凹陷深度的表达式如下：
Figure 920683DEST_PATH_IMAGE020
式中，
Figure 532930DEST_PATH_IMAGE021
表示第
Figure 509239DEST_PATH_IMAGE014
个凹陷区域中的第
Figure 599554DEST_PATH_IMAGE015
个像素点的深度；
Figure 843454DEST_PATH_IMAGE016
为凹陷区域个数,
Figure 361023DEST_PATH_IMAGE022
为金属表面深度；
Figure 100002_DEST_PATH_IMAGE023
表示凹陷深度。
进一步的，还包括：
获取调整焊接速度后的焊缝区域图像，进而获取该焊缝区域的焊缝表面平整度，对调整速度后焊缝表面是否存在凹陷进行判断，如无凹陷缺陷，调整完成，如有凹陷缺陷，获取该凹陷缺陷所对应的调节速度进行调节，直到无焊接凹陷为止。
激光智能焊接系统，包括：
图像采集模块：用于采集焊缝区域RGB图像及焊缝区域深度图像；
第一计算模块：对焊缝区域RGB图像进行边缘检测获得边缘像素点，利用边缘像素点在焊缝区域深度图像中的深度得到金属表面深度；
利用焊缝区域深度图像中每一个像素点对应的深度值及金属表面深度计算获得该焊缝区域的焊缝表面平整度；
第一判断模块：根据第一计算模块得到的焊缝表面平整度对焊缝区域是否存在凹陷进行判断；
第二计算模块：根据焊缝区域深度图像中每一个像素点对应的深度值提取焊缝区域内的所有凹陷像素点，进而得到所有凹陷像素点的坐标；
获取焊缝区域灰度图像中各个像素点的坐标；
对所有凹陷像素点的坐标进行聚类，获取各凹陷区域；
根据各凹陷区域中像素点的坐标及利用焊缝区域灰度图像中各个像素点坐标得到的主成分方向得到凹陷区域相对于焊缝中部的远近程度；
第二判断模块：根据第二计算模块得到的凹陷区域相对于焊缝中部的远近程度判断该凹陷区域的凹陷类型；
第三计算模块：计算得到该凹陷区域的凹陷深度；
速度调节模块：当第一计算模块得到的焊缝表面平整度判断该焊缝表面不存在凹陷时，则不需要进行焊接速度的调节；
当第一计算模块得到的焊缝表面平整度判断该焊缝表面存在凹陷时，则需要根据凹陷类型及凹陷深度调整焊接速度。
本发明的有益效果是：本发明对焊接过程中焊接完成的焊缝区域图像进行采集，获取焊缝表面平整度，利用焊缝表面平整度判断该焊缝表面是否存在凹陷，若无凹陷缺陷整完成，如有凹陷缺陷，进一步通过图像处理及均值漂移聚类技术获取焊缝区域的凹陷类型和凹陷深度，并根据所获取的焊缝区域凹陷类型和凹陷深度调整焊接速度，很大程度上减少了人工参与，实现了激光焊接速度地智能控制。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的实施例提供了激光智能焊接方法的流程示意图；
图2为本发明的实施例提供了激光智能焊接系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的激光智能焊接方法的实施例，如图1所示，包括：
S101、工件接头区域图像采集。
焊接前采集工件接头区域图像，使用霍夫变换对图像进行直线检测，从而得到两个工件接头边缘直线即两工件接头间隙大小。其中，利用两工件接头边缘直线调整光斑大小，并根据直线方向确定焊接器的移动方向。
调整相机位置，将相机固定在焊接器移动方向的反方向，以采集在激光焊接器移动过程中焊接完成的区域图像。
S102、激光焊接器参数调节。
根据经验值将激光焊接器焊接速度调整为传统焊接速度
Figure 889874DEST_PATH_IMAGE024
。
S103、获取焊接完成后的焊缝区域RGB图像和焊缝区域深度图像。
使用深度相机采集焊接完成后的RGB图像和深度图像，输入深度相机采集到的RGB图像，使用DNN网络对其进行语义分割，得到焊缝区域图像。
其中，使用的网络结构为Encoder-Decoder结构，数据集为各种类型激光焊接的焊缝图像，网络所用的函数loss函数为交叉熵损失函数。
标签分为两类，分别为焊缝和背景。该方式为像素级分类，即需要给图像中所有像素标注上对应的标签，属于焊缝的像素，其值标注为1；属于背景的像素，其值标注为0。
将焊缝区域图像分别于RGB图像及深度图像融合，得到焊缝区域RGB图像和焊缝区域深度图像。
S104、获取金属表面深度。
由于咬边凹陷与下塌凹陷均为凹陷区域，因此在焊缝区域深度图像中该区域的深度均会大于被焊工件金属表面深度，而焊缝边缘到相机光心的距离不会发生变化，因此，首先对焊缝区域RGB图像进行边缘检测，获取焊缝边缘各个像素点，进而得到焊缝边缘各个像素点在焊缝区域深度图像中的深度，并统计各个深度所对应的焊缝边缘像素点的个数，将所统计的焊缝边缘像素点所对应的最多的深度记为金属表面深度
Figure 49460DEST_PATH_IMAGE005
。
S105、获取焊缝表面平整度。
获取焊缝区域深度图像中像素点的深度，并利用焊缝区域深度图像中像素点的深度相对于金属表面的差异程度得到该焊缝区域焊缝表面平整度：
Figure 649331DEST_PATH_IMAGE025
式中：
Figure 603380DEST_PATH_IMAGE002
为焊缝区域深度图像中像素点总个数；
Figure 787237DEST_PATH_IMAGE003
表示焊缝区域深度图像中第
Figure 484935DEST_PATH_IMAGE004
个像素点的深度；
Figure 467541DEST_PATH_IMAGE022
表示金属表面深度；
Figure 326912DEST_PATH_IMAGE006
表示焊缝表面平整度。
S106、判断是否存在凹陷。
根据S105中所得的焊缝表面平整度判断焊缝表面是否存在凹陷缺陷。
当
Figure 998065DEST_PATH_IMAGE026
7时，认为当前焊缝表面的平整程度较低，存在凹陷缺陷，需要进一判断凹陷类型；否则认为当前焊接速度适宜，不需要进行调节。
S107、获取凹陷区域相对于焊缝中部的远近程度。
由于焊缝区域近似长形区域，因此对焊缝区域作最小包围框，包围框的长和宽分别记为
Figure 735339DEST_PATH_IMAGE027
，该包围框对角线的交点记为焊缝区域的中心点，记该点为A(
Figure 808337DEST_PATH_IMAGE028
)。
获取焊缝区域的灰度图像中各个像素点的坐标，利用PCA算法获得这些数据的主成分方向，因为每个数据都是2维的，因此可获得2个主成分方向，每个主成分方向都是一个2维的单位向量，并且每个主成分方向对应一个特征值；获取特征值最小的主成分方向，表示数据分布最集中的方向，对应焊缝区域的短轴方向，记该主成分方向为
Figure 838610DEST_PATH_IMAGE029
。
当像素点深度小于金属表面深度
Figure 262638DEST_PATH_IMAGE005
时，认为该像素点所处位置为凹陷位置，因此以金属表面深度
Figure 794814DEST_PATH_IMAGE022
为阈值，对焊缝区域深度图像进行阈值分割，提取出焊缝区域所有凹陷像素点。
进一步，根据凹陷区域相对于焊缝中部的远近程度来判断凹陷类型，具体过程如下：
由于图像中存在噪声等离散点的干扰，而均值漂移聚类算法是基于密度的聚类算法，因此，使用均值漂移聚类算法对上述所得凹陷像素点的坐标进行聚类，得到
Figure 987898DEST_PATH_IMAGE016
个聚类结果，每个聚类结果均对应一个凹陷区域。
逐个处理各个聚类结果，根据各个聚类结果中的像素点相对于焊缝中部的远近程度判断该凹陷区域属于咬边凹陷缺陷或下塌凹陷缺陷，其中第
Figure 454652DEST_PATH_IMAGE014
个聚类结果中的第
Figure 569238DEST_PATH_IMAGE015
个像素点的坐标为
Figure 648315DEST_PATH_IMAGE030
，则所有凹陷区域相对于焊缝中部的远近程度
Figure 961485DEST_PATH_IMAGE017
可表示为：
Figure 333560DEST_PATH_IMAGE031
式中：
Figure 965136DEST_PATH_IMAGE017
表示凹陷区域相对于焊缝中部的远近程度；
Figure 80860DEST_PATH_IMAGE016
表示凹陷区域的个数；
Figure 717378DEST_PATH_IMAGE008
表示第
Figure 525934DEST_PATH_IMAGE014
个凹陷区域中像素点个数；
Figure 647736DEST_PATH_IMAGE009
为最小包围框宽度；（
Figure 301571DEST_PATH_IMAGE010
,
Figure 323754DEST_PATH_IMAGE011
）代表焊缝中心点坐标；（
Figure 37632DEST_PATH_IMAGE012
，
Figure 649659DEST_PATH_IMAGE013
）代表第
Figure 107186DEST_PATH_IMAGE014
个聚类结果中的第
Figure 983875DEST_PATH_IMAGE015
个像素点的坐标。
Figure 868654DEST_PATH_IMAGE032
表示以焊缝中心点A为起点，第
Figure 965048DEST_PATH_IMAGE014
个聚类结果中的第
Figure 226265DEST_PATH_IMAGE015
个像素点为终点的向量；
Figure 223040DEST_PATH_IMAGE033
表示该向量在焊缝区域短轴方向上的投影长度，即该值可以表示该像素点到焊缝中轴线的距离；
Figure 777256DEST_PATH_IMAGE034
表示该像素点到焊缝中轴线的距离占
Figure DEST_PATH_IMAGE035
焊缝宽度的比例。
S108、获取凹陷类型。
根据S107中所得的凹陷区域相对于焊缝中部的远近程度获取凹陷类型。
当
Figure 921799DEST_PATH_IMAGE018
，即当前焊缝区域图像存在下塌凹陷缺陷；当
Figure 986706DEST_PATH_IMAGE019
时，当前焊缝区域图像存在咬边凹陷缺陷。
S109、获取凹陷深度。
由于各个凹陷区域由均值漂移聚类所得，所以，可将该聚类结果的密度中心作为凹陷区域的中心点，根据凹陷区域像素点深度得到凹陷深度可以表示为：
Figure 73873DEST_PATH_IMAGE036
式中，
Figure 300455DEST_PATH_IMAGE021
表示第
Figure 604398DEST_PATH_IMAGE014
个凹陷区域中的第
Figure 207417DEST_PATH_IMAGE015
个像素点的深度；m为凹陷区域个数；
Figure 163739DEST_PATH_IMAGE022
为金属表面深度；
Figure 826802DEST_PATH_IMAGE023
表示凹陷深度。
S110、调整焊接速度。
利用经验焊接速度、凹陷深度以及凹陷区域到焊缝中部的远近程度得到调整后的激光焊接器焊接速度：
Figure 352461DEST_PATH_IMAGE037
其中，
Figure 24751DEST_PATH_IMAGE024
为经验焊接速度；
Figure 820931DEST_PATH_IMAGE023
表示凹陷深度；
Figure 654895DEST_PATH_IMAGE017
表示凹陷区域相对于焊缝中部的远近程度；
Figure 667850DEST_PATH_IMAGE038
表示调整后的激光焊接器焊接速度。
当
Figure 878252DEST_PATH_IMAGE018
时，即当前焊缝区域存在下塌凹陷缺陷，需要根据凹陷深度提高焊接速度。
当
Figure 791588DEST_PATH_IMAGE019
时，即当前焊缝区域存在咬边凹陷缺陷，需要根据凹陷深度降低焊接速度。
S111、焊接速度自适宜调节判断。
将焊接速度调整为S110中得到的调整后的焊接速度
Figure 796453DEST_PATH_IMAGE038
，获取在该速度下当前焊缝区域的焊缝表面平整度。
根据焊缝表面平整度判断当前焊缝表面是否存在凹陷，如无凹陷缺陷时，调整完成，如有凹陷缺陷，获取该凹陷缺陷所对应的调节速度进行调节，直到无焊接凹陷为止。
激光智能焊接系统，如图2所示，包括：包括图像采集模块，该图像采集模块为设在激光焊接器上用于采集焊接过程中焊接完成的焊缝图像的深度相机；
利用深度相机处理器，该处理器中包括：
第一计算模块：对焊缝区域图像进行边缘检测获得边缘像素点，利用边缘像素点在焊缝区域深度图像中的深度得到金属表面深度；
利用焊缝区域图像中每一个像素点在焊缝区域深度图像中对应的深度值及金属表面深度计算获得该焊缝区域的焊缝表面平整度；
第一判断模块：根据第一计算模块得到的焊缝表面平整度对焊缝区域是否存在凹陷进行判断；
第二计算模块：根据焊缝区域深度图像中每一个像素点对应的深度值提取焊缝区域内存在凹陷的所有凹陷像素点，进而得到所有凹陷像素点的坐标；
获取所有凹陷像素点在焊缝区域灰度图像中的坐标；
对获取的所有凹陷像素点的坐标进行聚类，获取各凹陷区域；
根据各凹陷区域中像素点的坐标及利用焊缝区域灰度图像中各个像素点坐标得到的主成分方向获得凹陷区域相对于焊缝中部的远近程度；
第二判断模块：根据第二计算模块得到的凹陷区域相对于焊缝中部的远近程度判断该凹陷区域的凹陷类型；
第三计算模块：计算得到该凹陷区域的凹陷深度；
速度确定模块：根据第三计算模块得到的凹陷深度确定第二判断模块判断出的不同凹陷类型下的焊接速度；
深度相机处理器与激光焊接器上速度调节模块之间使用通讯连接；
当处理器中的第一计算模块得到的焊缝表面平整度判断该焊缝表面不存在凹陷时，则不需要进行焊接速度的调节；
当处理器中第一计算模块得到的焊缝表面平整度判断该焊缝表面存在凹陷时，通过速度确定模块去确定出不同凹陷类型下的焊接速度，对激光焊接器的焊接速度进行调整。
本发明的有益效果是：本发明对焊接过程中焊接完成的焊缝区域图像进行采集，获取焊缝表面平整度，利用焊缝表面平整度判断该焊缝表面是否存在凹陷，若无凹陷缺陷整完成，如有凹陷缺陷，进一步通过图像处理及均值漂移聚类技术获取焊缝区域的凹陷类型和凹陷深度，并根据所获取的焊缝区域凹陷类型和凹陷深度调整焊接速度，很大程度上减少了人工参与，实现了激光焊接速度地智能控制。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.激光智能焊接方法，其特征在于，包括：
获取在焊接过程中完成焊接的焊缝区域RGB图像及焊缝区域深度图像；
对焊缝区域RGB图像进行边缘检测，获取焊缝边缘各个像素点，利用焊缝边缘各个像素点在焊缝区域深度图像中的深度得到金属表面深度；
利用焊缝区域深度图像中每一个像素点对应的深度值及金属表面深度计算获得该焊缝区域的焊缝表面平整度；
所述焊缝表面平整度的表达式如下：
Figure DEST_PATH_IMAGE001
式中：
Figure 848884DEST_PATH_IMAGE002
为焊缝区域深度图像中像素点总个数；
Figure 37420DEST_PATH_IMAGE003
表示焊缝区域深度图像中第
Figure 924342DEST_PATH_IMAGE004
个像素点的深度；
Figure DEST_PATH_IMAGE005
表示金属表面深度；
Figure 401591DEST_PATH_IMAGE006
表示焊缝表面平整度；
根据获取的焊缝区域的焊缝表面平整度判断该焊缝区域是否存在凹陷，其中，当焊缝表面平整度Z≤0.7时，焊缝区域存在凹陷；
当不存在凹陷时，对焊接速度不做调整；
当该焊缝区域存在凹陷时，根据焊缝区域深度图像中每一个像素点对应的深度值提取焊缝区域内的所有凹陷像素点，进而得到所有凹陷像素点的坐标；
获取焊缝区域灰度图像中各个像素点的坐标；
对所有凹陷像素点的坐标进行聚类，获取各凹陷区域；
根据各凹陷区域中像素点的坐标及利用焊缝区域灰度图像中各个像素点坐标得到的主成分方向得到凹陷区域相对于焊缝中部的远近程度；
所述凹陷区域相对于焊缝中部的远近程度的表达式如下：
Figure 78134DEST_PATH_IMAGE008
式中：
Figure 293214DEST_PATH_IMAGE009
表示第j个凹陷区域中的像素点个数；
Figure 162819DEST_PATH_IMAGE010
为最小包围框宽度；（
Figure 223179DEST_PATH_IMAGE011
,
Figure 386307DEST_PATH_IMAGE012
）代表焊缝中心点坐标；（
Figure 612102DEST_PATH_IMAGE013
，
Figure 860681DEST_PATH_IMAGE014
）代表第
Figure 724732DEST_PATH_IMAGE015
个聚类结果中的第
Figure 850688DEST_PATH_IMAGE016
个像素点的坐标；
Figure 141992DEST_PATH_IMAGE017
凹陷区域的个数；
Figure 877867DEST_PATH_IMAGE018
表示凹陷区域相对于焊缝中部的远近程度；根据凹陷区域相对于焊缝中部的远近程度判断凹陷区域的凹陷类型；
所述判断凹陷区域的凹陷类型的方法如下：
当时，当前焊缝区域图像存在下塌凹陷缺陷；
当
Figure 656861DEST_PATH_IMAGE019
时，当前焊缝区域图像存在咬边凹陷缺陷；获取焊缝区域的凹陷深度并结合凹陷类型调整焊接速度，其中，当前焊缝区域若存在下塌凹陷缺陷，根据凹陷深度提高焊接速度；当前焊缝区域若存在咬边凹陷缺陷，根据凹陷深度降低焊接速度。
2.根据权利要求1所述的激光智能焊接方法，其特征在于，所述金属表面深度是按照如下方式得到：
对焊缝区域RGB图像进行边缘检测，获取焊缝边缘各个像素点；
获取焊缝边缘各个像素点在焊缝区域深度图像中的深度，并统计各个深度所对应的焊缝边缘像素点的个数，将所统计的焊缝边缘像素点所对应的最多的深度记为金属表面深度。
3.根据权利要求1所述的激光智能焊接方法，其特征在于，所述主成分方向是按照如下方式得到：
利用PCA算法获取焊缝区域灰度图像中各个像素点的主成分方向；
提取各个像素点的主成分方向中最小特征值所对应的主成分方向；
根据各个像素点最小特征值所对应的主成分方向得到数据最集中的方向，并将数据最集中的方向作为焊缝区域灰度图像的主成分方向。
4.根据权利要求1所述的激光智能焊接方法，其特征在于，所述凹陷深度的表达式如下：
Figure 529002DEST_PATH_IMAGE020
式中，
Figure 991207DEST_PATH_IMAGE021
表示第
Figure 322700DEST_PATH_IMAGE015
个凹陷区域中的第
Figure 262975DEST_PATH_IMAGE016
个像素点的深度；
Figure 255201DEST_PATH_IMAGE017
为凹陷区域个数,
Figure 813876DEST_PATH_IMAGE022
为金属表面深度；
Figure DEST_PATH_IMAGE023
表示凹陷深度。
5.根据权利要求1所述的激光智能焊接方法，其特征在于，还包括：
获取调整焊接速度后的焊缝区域图像，进而获取该焊缝区域的焊缝表面平整度，对调整速度后焊缝表面是否存在凹陷进行判断，如无凹陷缺陷，调整完成，如有凹陷缺陷，获取该凹陷缺陷所对应的调节速度进行调节，直到无焊接凹陷为止。
6.激光智能焊接系统，其特征在于，包括：
图像采集模块：用于采集焊缝区域RGB图像及焊缝区域深度图像；
第一计算模块：对焊缝区域RGB图像进行边缘检测获得边缘像素点，利用边缘像素点在焊缝区域深度图像中的深度得到金属表面深度；
利用焊缝区域深度图像中每一个像素点对应的深度值及金属表面深度计算获得该焊缝区域的焊缝表面平整度；
所述焊缝表面平整度的表达式如下：
Figure 570348DEST_PATH_IMAGE001
式中：
Figure 48734DEST_PATH_IMAGE002
为焊缝区域深度图像中像素点总个数；
Figure 895467DEST_PATH_IMAGE003
表示焊缝区域深度图像中第
Figure 168316DEST_PATH_IMAGE004
个像素点的深度；
Figure 336386DEST_PATH_IMAGE005
表示金属表面深度；
Figure 618463DEST_PATH_IMAGE006
表示焊缝表面平整度；
第一判断模块：根据第一计算模块得到的焊缝表面平整度对焊缝区域是否存在凹陷进行判断，其中，当焊缝表面平整度
Figure 319703DEST_PATH_IMAGE007
7时，焊缝区域存在凹陷；第二计算模块：根据焊缝区域深度图像中每一个像素点对应的深度值提取焊缝区域内的所有凹陷像素点，进而得到所有凹陷像素点的坐标；
获取焊缝区域灰度图像中各个像素点的坐标；
对所有凹陷像素点的坐标进行聚类，获取各凹陷区域；
根据各凹陷区域中像素点的坐标及利用焊缝区域灰度图像中各个像素点坐标得到的主成分方向得到凹陷区域相对于焊缝中部的远近程度；
所述凹陷区域相对于焊缝中部的远近程度的表达式如下：
Figure 402934DEST_PATH_IMAGE008
式中：
Figure 556835DEST_PATH_IMAGE009
表示第j个凹陷区域中的像素点个数；
Figure 377023DEST_PATH_IMAGE010
为最小包围框宽度；（
Figure 932769DEST_PATH_IMAGE011
,
Figure 308606DEST_PATH_IMAGE012
）代表焊缝中心点坐标；（
Figure 949803DEST_PATH_IMAGE013
，
Figure 308103DEST_PATH_IMAGE014
）代表第
Figure 623416DEST_PATH_IMAGE015
个聚类结果中的第
Figure 674549DEST_PATH_IMAGE016
个像素点的坐标；
Figure 803042DEST_PATH_IMAGE017
凹陷区域的个数；
Figure 230612DEST_PATH_IMAGE018
表示凹陷区域相对于焊缝中部的远近程度；
第二判断模块：根据第二计算模块得到的凹陷区域相对于焊缝中部的远近程度判断该凹陷区域的凹陷类型；
所述判断凹陷区域的凹陷类型的方法如下：
当
Figure 996836DEST_PATH_IMAGE024
时，当前焊缝区域图像存在下塌凹陷缺陷；
当
Figure 218870DEST_PATH_IMAGE019
时，当前焊缝区域图像存在咬边凹陷缺陷；
第三计算模块：计算得到该凹陷区域的凹陷深度；
速度调节模块：当第一计算模块得到的焊缝表面平整度判断该焊缝表面不存在凹陷时，则不需要进行焊接速度的调节；
当第一计算模块得到的焊缝表面平整度判断该焊缝表面存在凹陷时，则需要根据凹陷类型及凹陷深度调整焊接速度，其中，当前焊缝区域若存在下塌凹陷缺陷，根据凹陷深度提高焊接速度；当前焊缝区域若存在咬边凹陷缺陷，根据凹陷深度降低焊接速度。
CN202211140241.7A 2022-09-20 2022-09-20 激光智能焊接方法及系统 Active CN115213563B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211140241.7A CN115213563B (zh) 2022-09-20 2022-09-20 激光智能焊接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211140241.7A CN115213563B (zh) 2022-09-20 2022-09-20 激光智能焊接方法及系统

Publications (2)

Publication Number Publication Date
CN115213563A CN115213563A (zh) 2022-10-21
CN115213563B true CN115213563B (zh) 2022-12-13

Family

ID=83616841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211140241.7A Active CN115213563B (zh) 2022-09-20 2022-09-20 激光智能焊接方法及系统

Country Status (1)

Country Link
CN (1) CN115213563B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116175035B (zh) * 2023-03-20 2023-08-04 中国十七冶集团有限公司 一种基于深度学习的钢结构高空焊接机器人智能焊接方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001347384A (ja) * 2000-06-06 2001-12-18 Fuji Xerox Co Ltd 薄膜溶接装置、薄膜溶接方法、溶接薄膜ベルト、溶接薄膜ベルトを使用した画像形成装置
CN111982916A (zh) * 2020-08-20 2020-11-24 南京中车浦镇城轨车辆有限责任公司 一种基于机器视觉的焊缝表面缺陷检测方法及系统
CN113409313A (zh) * 2021-08-18 2021-09-17 济宁联威车轮制造有限公司 基于计算机视觉的车轮焊缝表面缺陷检测方法
WO2021213817A1 (fr) * 2020-04-20 2021-10-28 L'air Liquide Societe Anonyme Pour L'etude Et L'exploitation Des Procedes Georges Claude Procede, dispositif et programme d'ordinateur pour determiner la performance d'un procede de soudage a l'aide de traitements numeriques d'une image de la piece soudee
CN113989280A (zh) * 2021-12-28 2022-01-28 武汉市鑫景诚路桥钢模有限公司 基于图像处理技术的钢结构焊接裂纹缺陷检测方法
CN114119534A (zh) * 2021-11-24 2022-03-01 易思维（杭州）科技有限公司 一种基于三维点云的焊缝缺陷检测方法
CN114523203A (zh) * 2022-03-13 2022-05-24 扬州沃盛车业制造有限公司 一种激光智能焊接方法及系统
CN114612457A (zh) * 2022-03-21 2022-06-10 徐州华宝能源科技有限公司 一种基于计算机视觉的汽车零件激光焊接调节方法及系统
CN115018827A (zh) * 2022-08-03 2022-09-06 山东亿昌装配式建筑科技有限公司 一种建材焊缝质量自动检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101213613B1 (ko) * 2008-04-14 2012-12-18 가부시끼가이샤 도시바 레이저 용접 장치 및 레이저 용접 방법
DE102018220329A1 (de) * 2018-11-27 2020-05-28 Amada Holdings Co., Ltd. Laserschweissmaschine und verfahren zur überwachung eines schweisszustands

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001347384A (ja) * 2000-06-06 2001-12-18 Fuji Xerox Co Ltd 薄膜溶接装置、薄膜溶接方法、溶接薄膜ベルト、溶接薄膜ベルトを使用した画像形成装置
WO2021213817A1 (fr) * 2020-04-20 2021-10-28 L'air Liquide Societe Anonyme Pour L'etude Et L'exploitation Des Procedes Georges Claude Procede, dispositif et programme d'ordinateur pour determiner la performance d'un procede de soudage a l'aide de traitements numeriques d'une image de la piece soudee
CN111982916A (zh) * 2020-08-20 2020-11-24 南京中车浦镇城轨车辆有限责任公司 一种基于机器视觉的焊缝表面缺陷检测方法及系统
CN113409313A (zh) * 2021-08-18 2021-09-17 济宁联威车轮制造有限公司 基于计算机视觉的车轮焊缝表面缺陷检测方法
CN114119534A (zh) * 2021-11-24 2022-03-01 易思维（杭州）科技有限公司 一种基于三维点云的焊缝缺陷检测方法
CN113989280A (zh) * 2021-12-28 2022-01-28 武汉市鑫景诚路桥钢模有限公司 基于图像处理技术的钢结构焊接裂纹缺陷检测方法
CN114523203A (zh) * 2022-03-13 2022-05-24 扬州沃盛车业制造有限公司 一种激光智能焊接方法及系统
CN114612457A (zh) * 2022-03-21 2022-06-10 徐州华宝能源科技有限公司 一种基于计算机视觉的汽车零件激光焊接调节方法及系统
CN115018827A (zh) * 2022-08-03 2022-09-06 山东亿昌装配式建筑科技有限公司 一种建材焊缝质量自动检测方法

Also Published As

Publication number Publication date
CN115213563A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN114972343B (zh) 一种激光焊接产品生产异常检测方法
WO2021169335A1 (zh) 一种锂电池极耳激光焊点视觉在线检测方法
CN115272316B (zh) 基于计算机视觉的电池盖焊接质量智能检测方法
CN110717872B (zh) 一种激光辅助定位下的v型焊缝图像特征点提取方法及提取系统
CN113989280A (zh) 基于图像处理技术的钢结构焊接裂纹缺陷检测方法
CN113409313B (zh) 基于计算机视觉的车轮焊缝表面缺陷检测方法
CN113340909B (zh) 一种基于机器视觉的胶线缺陷检测方法
Zhang et al. Narrow-seam identification and deviation detection in keyhole deep-penetration TIG welding
CN112529858A (zh) 一种基于机器视觉的焊缝图像处理方法
WO2024108971A1 (zh) 用于车辆底盘腐蚀评估的agv系统
CN113723494B (zh) 一种不确定干扰源下激光视觉条纹分类及焊缝特征提取方法
CN115213563B (zh) 激光智能焊接方法及系统
CN115601359A (zh) 一种焊缝检测方法及装置
CN110060239B (zh) 一种用于瓶子瓶口的缺陷检测方法
CN114897908A (zh) 基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统
CN114283139A (zh) 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置
CN116385495A (zh) 一种动态背景下红外视频的运动目标闭环检测方法
CN116664508A (zh) 一种焊缝表面质量检测方法及计算机可读存储介质
CN118608479A (zh) 一种基于多模态融合的金属焊缝缺陷检测方法和缺陷检测网络框架
CN116673597B (zh) 用于双v复合型坡口的激光线图像特征提取系统及方法
CN116465896A (zh) 基于人工智能的汽车零部件视觉检测装置及检测方法
CN117455831A (zh) 一种基于图像轮廓二阶差分的直角焊缝特征点识别方法
CN116228798A (zh) 基于机器视觉的铁塔智能切割检测方法
CN115170586A (zh) 一种基于有监督学习的条纹阈值分割方法
CN117911516B (zh) 一种用于线激光传感器的焊缝特征提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant