[go: up one dir, main page]

CN115008096A - 多模态复合的视觉引导焊接方法 - Google Patents

多模态复合的视觉引导焊接方法 Download PDF

Info

Publication number
CN115008096A
CN115008096A CN202210801795.0A CN202210801795A CN115008096A CN 115008096 A CN115008096 A CN 115008096A CN 202210801795 A CN202210801795 A CN 202210801795A CN 115008096 A CN115008096 A CN 115008096A
Authority
CN
China
Prior art keywords
welding
vision system
vision
track
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210801795.0A
Other languages
English (en)
Inventor
陈旭
蒲初林
陈珉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Savision Technology Co ltd
Original Assignee
Shenzhen Savision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Savision Technology Co ltd filed Critical Shenzhen Savision Technology Co ltd
Priority to CN202210801795.0A priority Critical patent/CN115008096A/zh
Publication of CN115008096A publication Critical patent/CN115008096A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted for a procedure covered by only one of the other main groups of this subclass
    • B23K37/02—Carriages for supporting the welding or cutting element
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with leader teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Numerical Control (AREA)

Abstract

本发明涉及视觉定位技术领域，特别涉及多模态复合的视觉引导焊接方法，在机械臂R1的末端安装视觉系统C2以及焊接系统E1，在机械臂R1的末端或外部上方安装视觉系统C1，视觉系统C2用于采集待焊接物体O的图像信息，机械臂R1用于调整焊接系统E1的位置，通过焊接系统E1对物体O进行焊接，视觉系统C1用于拍摄焊接工作区域，获取比视觉系统C2更大的视野。与现有技术相比，本发明的多模态复合的视觉引导焊接方法可以减少对于小批量多类型的工件的示教难度和工作量，减少对于大型工件的示教难度，减少机器人示教的动作及降低编程难度，利于降低操作难度和机械臂焊接的使用门槛，兼容性高，适配多种场景。

Description

多模态复合的视觉引导焊接方法
【技术领域】
本发明涉及视觉定位技术领域，特别涉及多模态复合的视觉引导焊接方法。
【背景技术】
现有技术的人工示教机器人焊接费时费力。视觉引导焊缝纠偏系统的出现，减少了大部分示教工作，但焊缝的形态多式多样，焊接需求千变万化，需要焊接的位置往往需要人的主观去选定，视觉拍摄的起点终点及多段焊缝的过渡点及起点终点仍需人工操作机械臂示教，很花费时间，焊接效率低。
【发明内容】
为了克服上述问题，本发明提出一种可有效解决上述问题的多模态复合的视觉引导焊接方法。
本发明解决上述技术问题提供的一种技术方案是：提供一种多模态复合的视觉引导焊接方法，包括如下步骤：
步骤S1，在机械臂R1的末端安装视觉系统C2以及焊接系统E1，视觉系统C2用于采集待焊接物体O的图像信息，机械臂R1用于调整焊接系统E1的位置，通过焊接系统E1对物体O进行焊接；
步骤S2，在机械臂R1的末端或外部上方安装视觉系统C1，视觉系统C1用于拍摄焊接工作区域，获取比视觉系统C2更大的视野；
步骤S3，在视觉软件上根据焊接需求依次选取标记视觉系统C1拍摄到的需要焊接的多段焊缝段落；
步骤S4，根据步骤S3中的多段焊缝段落图像，视觉软件自动生成视觉系统C2需要扫描的机械臂R1运动轨迹段落，包括焊缝要扫描的起点、终点，以及多段焊缝间的安全过渡点位；
步骤S5，执行视觉系统C2的焊缝扫描并生成实际焊缝轨迹，焊接系统E1根据实际焊缝轨迹进行焊接；
步骤S6，重复步骤S5，直到步骤S4中视觉系统C2的所有扫描路径全部执行完毕则焊接结束，每段焊缝间自动通过安全过渡点位进行过渡。
优选地，所述步骤S4中，包括如下步骤：
步骤S41，通过视觉系统C1拍摄的2d或3d图像，人工在图像中描绘出需要焊接的多段焊缝段落轨迹，得到由图像坐标组成的图像轨迹组合；
步骤S42，通过视觉系统C1相机自身的内参关系转换，将图像轨迹转换成相机坐标系轨迹；
步骤S43，通过视觉系统C1与机械臂R1的手眼关系矩阵
Figure BDA0003738060200000021
或视觉系统C1与机械臂R1末端焊接系统E1的手眼关系矩阵
Figure BDA0003738060200000022
将相机坐标系轨迹转换成机械臂坐标系轨迹；
步骤S44，通过视觉系统C2相机自身的内参与手眼关系矩阵
Figure BDA0003738060200000023
将机械臂坐标系轨迹转换成视觉系统C2扫描轨迹。
优选地，所述步骤S4中，自动生成安全过渡点位的方法为：每一段的终点与下一段的起点以最短路线相连，根据视觉系统C1图像数据，在衔接轨迹上搜寻到最高的障碍坐标值，则可基于该坐标点进行抬高固定高度来作为该焊缝段的安全过渡点位。
优选地，所述所述步骤S5中，通过视觉系统C2对焊缝轨迹的扫描与定位，可得到实际焊缝轨迹。
优选地，所述步骤S2中，当视觉系统C1安装于机械臂R1的末端时，视觉系统C1位于视觉系统C2外侧。
优选地，所述步骤S5中，焊缝焊接可采用先扫后焊模式或者边扫边焊模式。
与现有技术相比，本发明的多模态复合的视觉引导焊接方法可以减少对于小批量多类型的工件的示教难度和工作量，减少对于大型工件的示教难度，减少机器人示教的动作及降低编程难度，利于降低操作难度和机械臂焊接的使用门槛，系统兼容性高，适配多种场景。
【附图说明】
图1为本发明多模态复合的视觉引导焊接方法所使用系统的第一结构示意图；
图2为本发明多模态复合的视觉引导焊接方法所使用系统的第二结构示意图；
图3为本发明多模态复合的视觉引导焊接方法的步骤流程图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅限于指定视图上的相对位置，而非绝对位置。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
请参阅图1至图3，本发明的多模态复合的视觉引导焊接方法，包括如下步骤：
步骤S1，在机械臂R1的末端安装视觉系统C2以及焊接系统E1，视觉系统C2用于采集待焊接物体O的图像信息，机械臂R1用于调整焊接系统E1的位置，通过焊接系统E1对物体O进行焊接。
所述步骤S1中，视觉系统C2包括但不限于线激光或结构光等2d或3d相机构成的焊缝跟踪系统，焊接系统E1包括但不限于弧焊、激光焊等。
步骤S2，在机械臂R1的末端或外部上方安装视觉系统C1，视觉系统C1用于拍摄焊接工作区域，获取比视觉系统C2更大的视野。
所述步骤S2中，视觉系统C1包括但不限于2d、3d视觉传感器，视觉系统C1的精度可低于视觉系统C2的精度。根据视觉系统C1安装位置不同，可分别应用于不同焊接场景。当视觉系统C1安装于机械臂R1的末端时，视觉系统C1位于视觉系统C2外侧，利于获取比视觉系统C2更大的视野。
步骤S3，在视觉软件上根据焊接需求依次选取标记视觉系统C1拍摄到的需要焊接的多段焊缝段落。
步骤S4，根据步骤S3中的多段焊缝段落图像，视觉软件自动生成视觉系统C2需要扫描的机械臂R1运动轨迹段落，包括焊缝要扫描的起点、终点，以及多段焊缝间的安全过渡点位。
所述步骤S4中，包括如下步骤：
步骤S41，通过视觉系统C1拍摄的2d或3d图像，人工在图像中描绘出需要焊接的多段焊缝段落轨迹，得到m组分别由一连串图像坐标组成的图像轨迹组合，记为ImgPath(m){P0,P1…Pn}，此处Pn由图像坐标(Un,Vn)组成。
步骤S42，通过视觉系统C1相机自身的内参关系转换，可将图像轨迹转换成相机坐标系轨迹CamPath(m){P0,P1…Pn}，此处Pn由相机坐标(Xn,Yn,Zn)组成。
步骤S43，通过视觉系统C1与机械臂R1的手眼关系矩阵
Figure BDA0003738060200000041
或视觉系统C1与机械臂R1末端焊接系统E1的手眼关系矩阵
Figure BDA0003738060200000042
可将相机坐标系轨迹转换成机械臂坐标系轨迹RbtPath(m){P0,P1…Pn}，此处Pn由机械臂坐标(Xn,Yn,Zn,Rzn,Ryn,Rxn)构成。注：(Rz,Ry,Rx)代表机械臂姿态三个轴分别的角度值。
所述步骤S43中，当视觉系统C1安装在机械臂R1外部上方，视觉系统C2安装在机械臂R1末端，则分别对视觉系统C1与视觉系统C2采用eye-to-hand和eye-in-hand方式标定，可求得视觉系统C1和视觉系统C2分别相对于机械臂R1与焊接系统E1的手眼关系矩阵
Figure BDA0003738060200000043
手眼关系矩阵的求解过程为现有技术，此处不再赘述。
当视觉系统C1与视觉系统C2均安装在机械臂R1末端时，则对视觉系统C1与视觉系统C2均采用eye-in-hand方式标定，可求得视觉系统C1和视觉系统C2分别相对于机械臂R1与焊接系统E1的手眼关系矩阵
Figure BDA0003738060200000044
根据求得的手眼关系矩阵，可计算物体O在视觉系统C1拍摄下的机械臂坐标
Figure BDA0003738060200000045
Figure BDA0003738060200000046
以及物体O在视觉系统C2拍摄下的机械臂坐标
Figure BDA0003738060200000047
Figure BDA0003738060200000048
步骤S44，通过视觉系统C2相机自身的内参与手眼关系矩阵
Figure BDA0003738060200000049
可将机械臂坐标系轨迹转换成视觉系统C2扫描轨迹ScanPath(m){P0,P1…Pn}，此处Pn由图像坐标(Xn,Yn,Zn,Rzn,Ryn,Rxn)构成。
所述步骤S4中，生成安全过渡点位，可采用手动设置或自动生成的方式。对于有特殊的过渡位置，可通过手动设置。
自动生成方式为，在规划轨迹后，可自动生成焊缝间的安全过渡点位。方法为：每一段的终点与下一段的起点以最短路线相连，根据视觉系统C1图像数据，可在衔接轨迹上搜寻到最高的障碍坐标值，则可基于该坐标点进行抬高固定高度来作为该焊缝段的安全过渡点位。根据上述坐标系转换流程，同理可将图像中的安全点位转换至焊接轨迹的过渡点。
步骤S5，执行视觉系统C2的焊缝扫描并生成实际焊缝轨迹，焊接系统E1根据实际焊缝轨迹进行焊接。
所述步骤S5中，通过视觉系统C2对焊缝轨迹的扫描与定位，可得到实际焊缝轨迹WeldPath(m){P0,P1…Pn}，此处Pn由图像坐标(Xn,Yn,Zn,Rzn,Ryn,Rxn)构成。
所述步骤S5中，焊缝焊接可采用先扫后焊模式或者边扫边焊模式。
所述步骤S5中，规划扫描及焊接姿态，可采用手动设置或自动生成的方式。因焊接姿态对焊接效果及成型影响较大，一般可通过手动设置来规划每一段焊缝的扫描姿态及焊接姿态。
自动生成扫描及焊接姿态一般参照常规标准焊接方法计算得到，比如对于常规焊缝，扫描及焊接姿态一般需对准焊缝夹角的中心线处，对于特殊焊缝还需通过人工设置的方式。视觉系统C2扫描的起点与终点为人工规划焊缝时的线段起点与终点，或通过视觉系统C2在该区域内自动搜寻焊缝的开始点及结束点(图像判断特征出现或丢失位置处即为焊缝的起点和终点)，扫描方向即为当前人工规划的焊缝路径的切线方向。
步骤S6，重复步骤S5，直到步骤S4中视觉系统C2的所有扫描路径全部执行完毕则焊接结束，每段焊缝间自动通过安全过渡点位进行过渡。
与现有技术相比，本发明的多模态复合的视觉引导焊接方法可以减少对于小批量多类型的工件的示教难度和工作量，减少对于大型工件的示教难度，减少机器人示教的动作及降低编程难度，利于降低操作难度和机械臂焊接的使用门槛，系统兼容性高，适配多种场景。
以上所述仅为本发明的较佳实施例，并非因此限制本发明的专利范围，凡是在本发明的构思之内所作的任何修改，等同替换和改进等均应包含在本发明的专利保护范围内。

Claims (6)

1.多模态复合的视觉引导焊接方法，其特征在于，包括如下步骤：
步骤S1，在机械臂R1的末端安装视觉系统C2以及焊接系统E1，视觉系统C2用于采集待焊接物体O的图像信息，机械臂R1用于调整焊接系统E1的位置，通过焊接系统E1对物体O进行焊接；
步骤S2，在机械臂R1的末端或外部上方安装视觉系统C1，视觉系统C1用于拍摄焊接工作区域，获取比视觉系统C2更大的视野；
步骤S3，在视觉软件上根据焊接需求依次选取标记视觉系统C1拍摄到的需要焊接的多段焊缝段落；
步骤S4，根据步骤S3中的多段焊缝段落图像，视觉软件自动生成视觉系统C2需要扫描的机械臂R1运动轨迹段落，包括焊缝要扫描的起点、终点，以及多段焊缝间的安全过渡点位；
步骤S5，执行视觉系统C2的焊缝扫描并生成实际焊缝轨迹，焊接系统E1根据实际焊缝轨迹进行焊接；
步骤S6，重复步骤S5，直到步骤S4中视觉系统C2的所有扫描路径全部执行完毕则焊接结束，每段焊缝间自动通过安全过渡点位进行过渡。
2.如权利要求1所述的多模态复合的视觉引导焊接方法，其特征在于，所述步骤S4中，包括如下步骤：
步骤S41，通过视觉系统C1拍摄的2d或3d图像，人工在图像中描绘出需要焊接的多段焊缝段落轨迹，得到由图像坐标组成的图像轨迹组合；
步骤S42，通过视觉系统C1相机自身的内参关系转换，将图像轨迹转换成相机坐标系轨迹；
步骤S43，通过视觉系统C1与机械臂R1的手眼关系矩阵
Figure FDA0003738060190000011
或视觉系统C1与机械臂R1末端焊接系统E1的手眼关系矩阵
Figure FDA0003738060190000012
将相机坐标系轨迹转换成机械臂坐标系轨迹；
步骤S44，通过视觉系统C2相机自身的内参与手眼关系矩阵
Figure FDA0003738060190000013
将机械臂坐标系轨迹转换成视觉系统C2扫描轨迹。
3.如权利要求2所述的多模态复合的视觉引导焊接方法，其特征在于，所述步骤S4中，自动生成安全过渡点位的方法为：每一段的终点与下一段的起点以最短路线相连，根据视觉系统C1图像数据，在衔接轨迹上搜寻到最高的障碍坐标值，则可基于该坐标点进行抬高固定高度来作为该焊缝段的安全过渡点位。
4.如权利要求1所述的多模态复合的视觉引导焊接方法，其特征在于，所述所述步骤S5中，通过视觉系统C2对焊缝轨迹的扫描与定位，可得到实际焊缝轨迹。
5.如权利要求1所述的多模态复合的视觉引导焊接方法，其特征在于，所述步骤S2中，当视觉系统C1安装于机械臂R1的末端时，视觉系统C1位于视觉系统C2外侧。
6.如权利要求1所述的多模态复合的视觉引导焊接方法，其特征在于，所述步骤S5中，焊缝焊接可采用先扫后焊模式或者边扫边焊模式。
CN202210801795.0A 2022-07-08 2022-07-08 多模态复合的视觉引导焊接方法 Pending CN115008096A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210801795.0A CN115008096A (zh) 2022-07-08 2022-07-08 多模态复合的视觉引导焊接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210801795.0A CN115008096A (zh) 2022-07-08 2022-07-08 多模态复合的视觉引导焊接方法

Publications (1)

Publication Number Publication Date
CN115008096A true CN115008096A (zh) 2022-09-06

Family

ID=83082725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210801795.0A Pending CN115008096A (zh) 2022-07-08 2022-07-08 多模态复合的视觉引导焊接方法

Country Status (1)

Country Link
CN (1) CN115008096A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2493744A1 (fr) * 1980-11-12 1982-05-14 Unimation Inc Appareil de soudage a manipulateur utilisant une correction de vision pour la detection de la piece a souder, et procede de commande de cet appareil
CN106826834A (zh) * 2016-12-26 2017-06-13 南京熊猫电子股份有限公司 一种机器人焊接自动寻位方法
CN109623229A (zh) * 2019-02-15 2019-04-16 重庆固高科技长江研究院有限公司 一种基于机器人焊接的手眼协作系统
CN110524580A (zh) * 2019-09-16 2019-12-03 西安中科光电精密工程有限公司 一种焊接机器人视觉组件及其测量方法
CN110539109A (zh) * 2019-08-28 2019-12-06 广东工业大学 一种基于单双目视觉的机器人自动焊接系统及方法
CN114289934A (zh) * 2021-09-27 2022-04-08 西安知象光电科技有限公司 一种基于三维视觉的大型结构件自动化焊接系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2493744A1 (fr) * 1980-11-12 1982-05-14 Unimation Inc Appareil de soudage a manipulateur utilisant une correction de vision pour la detection de la piece a souder, et procede de commande de cet appareil
CN106826834A (zh) * 2016-12-26 2017-06-13 南京熊猫电子股份有限公司 一种机器人焊接自动寻位方法
CN109623229A (zh) * 2019-02-15 2019-04-16 重庆固高科技长江研究院有限公司 一种基于机器人焊接的手眼协作系统
CN110539109A (zh) * 2019-08-28 2019-12-06 广东工业大学 一种基于单双目视觉的机器人自动焊接系统及方法
CN110524580A (zh) * 2019-09-16 2019-12-03 西安中科光电精密工程有限公司 一种焊接机器人视觉组件及其测量方法
CN114289934A (zh) * 2021-09-27 2022-04-08 西安知象光电科技有限公司 一种基于三维视觉的大型结构件自动化焊接系统及方法

Similar Documents

Publication Publication Date Title
CN104400279B (zh) 基于ccd的管道空间焊缝自动识别与轨迹规划的方法
CN109591011B (zh) 复合材料三维结构件单边缝合激光视觉路径自动跟踪方法
CN106181162B (zh) 一种基于机器视觉的实时焊缝跟踪检测方法
CN112958959A (zh) 一种基于三维视觉的自动化焊接和检测方法
CN114473153B (zh) 一种油气长输管道焊接系统及方法
CN112847353B (zh) 一种基于离线编程软件的多段焊缝轨迹修正方法
CN113352317A (zh) 一种基于激光视觉系统的多层多道焊接路径规划方法
CN111922483A (zh) 基于学习的线结构光焊缝跟踪与增材路径纠偏装置及方法
CN114043045B (zh) 一种基于激光视觉的圆孔自动塞焊方法及装置
CN111570974B (zh) 基于同步采图的焊接偏差测定方法、装置和自动焊接系统
CN110450150A (zh) 轨迹跟踪控制方法及轨迹跟踪系统
CN113211431A (zh) 基于二维码修正机器人系统的位姿估计方法
CN115709331B (zh) 基于目标检测的焊接机器人全自主视觉引导方法及系统
CN115070298A (zh) 一种高效双丝焊接路径生成系统及路径生成方法
CN113579476A (zh) 基于重力感应与视觉传感融合的待焊工件表面绝对空间姿态检测装置及方法
CN114800574A (zh) 一种基于双三维相机的机器人自动化焊接系统及方法
CN117245175A (zh) 一种基于主被动视觉的多层多道焊缝跟踪系统和方法
CN113223071A (zh) 一种基于点云重建的工件焊缝定位的方法
CN115008096A (zh) 多模态复合的视觉引导焊接方法
CN115179302A (zh) 一种涉核环境下寻位-规划-纠偏的焊接机器人控制方法
CN111283676A (zh) 三轴机械臂的工具坐标系标定方法以及标定装置
CN118321773A (zh) 一种管板焊接方法及装置
CN116275780B (zh) 一种基于视觉识别的圆形管件相贯线焊接路径规划方法
CN113681133B (zh) 一种带视觉的冗余自由度机器人智能焊接方法
CN115468491B (zh) 一种舱段对接测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination