[go: up one dir, main page]

CN113950386B - 焊接条件设定辅助装置 - Google Patents

焊接条件设定辅助装置 Download PDF

Info

Publication number
CN113950386B
CN113950386B CN202080041479.7A CN202080041479A CN113950386B CN 113950386 B CN113950386 B CN 113950386B CN 202080041479 A CN202080041479 A CN 202080041479A CN 113950386 B CN113950386 B CN 113950386B
Authority
CN
China
Prior art keywords
sputter
sputtered
image
detection
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080041479.7A
Other languages
English (en)
Other versions
CN113950386A (zh
Inventor
近藤晓靖
衣笠靖启
国丸枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN113950386A publication Critical patent/CN113950386A/zh
Application granted granted Critical
Publication of CN113950386B publication Critical patent/CN113950386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/32—Accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

在计算机(140)设置有图像处理部(141b)，所述图像处理部(141b)执行以下步骤：溅射物检测步骤，针对构成在电弧焊接时对工件进行拍摄而得到的运动图像的多个输入图像中的每个输入图像，进行将表示亮度的像素值超过给定阈值的多个像素连续的区域检测为溅射物的溅射物检测处理；背景亮点确定步骤，将溅射物检测步骤中的溅射物的检测次数为给定的基准次数以上的运动图像上的位置确定为背景亮点；和溅射物数量确定步骤，针对一个输入图像，进行将由溅射物检测处理检测到的溅射物之中的在通过背景亮点确定步骤确定出的背景亮点处检测到的溅射物除外了的溅射物的数量的确定。

Description

焊接条件设定辅助装置
技术领域
本发明涉及通过在工件与电极之间施加电压来在工件与电极之间产生电弧从而进行电弧焊接时，辅助焊接条件的设定的装置。
背景技术
在专利文献1中，公开了利用摄像机来确定在电弧焊接时产生的溅射物的数量的技术。具体地，该技术在电弧焊接时由摄像机来对电弧进行摄像，获取多个输入图像，按照每个输入图像取入图像内的给定检测线上的亮度分布，基于该亮度分布来检测穿过了检测线的溅射物。
在先技术文献
专利文献
专利文献1：日本特开2009-28775号公报
发明内容
然而，在上述专利文献1中，由于基于多个输入图像来检测穿过了检测线的溅射物，因而如果摄像机的拍摄速度慢，则确定的溅射物的数量的精度恶化。因此，需要拍摄速度快的摄像机，设备成本增大。
本发明是鉴于这点而完成的发明，其目的在于，削减设备成本。
本发明的一个方式涉及通过在工件与电极之间施加电压来在工件与电极之间产生电弧从而进行电弧焊接时，辅助焊接条件的设定的装置。该装置具备图像处理部，所述图像处理部执行以下步骤：溅射物检测步骤，针对构成在电弧焊接时对工件进行摄像而得到的运动图像的多个输入图像中的每个输入图像，进行将表示亮度的像素值超过给定阈值的多个像素连续的区域，检测为溅射物的溅射物检测处理；背景亮点确定步骤，将溅射物检测步骤中的溅射物的检测次数成为给定的基准次数以上的运动图像上的位置确定为背景亮点；和溅射物数量确定步骤，针对多个输入图像中的一个输入图像进行溅射物的数量的确定，所述溅射物的数量为通过溅射物检测处理检测到的溅射物之中的、将在通过背景亮点确定步骤确定出的背景亮点处检测到的溅射物除外了的溅射物的数量。
根据该方式，仅使用1个输入图像来进行针对各输入图像的溅射物检测处理，因而不需要拍摄速度快的摄像机，能够削减设备成本。
此外，由于确定出大于与阈值对应的给定大小的溅射物的数量，因而能通过参照确定出的溅射物的数量来设定焊接条件，以使得大于给定大小的溅射物的数量少。因此，容易减少大于给定大小的溅射物。
此外，即便在电弧的光的来自周边设备的反射光被溅射物检测处理检测为溅射物的情况下，由于确定出将在该反射光被拍摄进去的位置检测到的溅射物除外了的溅射物的数量，因而也能够进行溅射物的数量的更正确的确定。
根据本发明涉及的焊接条件设定辅助装置，由于仅使用1个输入图像来进行针对各输入图像的溅射物检测处理，因而不需要拍摄速度快的摄像机，能够削减设备成本。
此外，由于确定出大于与阈值对应的给定大小的溅射物的数量，因而能通过参照确定出的溅射物的数量来设定焊接条件，以使得大于给定大小的溅射物的数量少。因此，容易减少大于给定大小的溅射物。
此外，即便在电弧的光的来自周边设备的反射光被溅射物检测处理检测为溅射物的情况下，由于确定出将在该反射光被拍摄进去的位置检测到的溅射物除外了的溅射物的数量，因而能够进行溅射物的数量的更正确的确定。
附图说明
图1是示出具备作为本发明的实施方式涉及的焊接条件设定辅助装置的计算机的焊接系统的概略结构的图。
图2是示出在电弧焊接时产生的溅射物的说明图。
图3是示出使用作为本发明的实施方式涉及的焊接条件设定辅助装置的计算机来对溅射物数量进行计数的步骤的流程图。
图4是示出列表修正处理的步骤的流程图。
图5是示出溅射物除去处理的步骤的流程图。
图6是例示检测到的溅射物的说明图。
图7是例示加工图像的说明图。
具体实施方式
以下，基于附图对本发明的实施方式进行说明。以下的优选的实施方式的说明在本质上只是例示，意图完全不在于限制本发明、其应用物或者其用途。
图1示出焊接系统100。焊接系统100具备焊接机器人110、摄像机120、收纳在摄像机120的存储卡130、作为本发明的实施方式涉及的焊接条件设定辅助装置的计算机140和与计算机140连接的读卡器150。
还如图2所示那样，焊接机器人110具备能够保持焊丝160的焊炬111。工件170被焊接夹具(夹钳)保持。焊丝160作为被焊炬111保持的电极而发挥作用。焊接机器人110通过在工件170与焊丝160之间施加电压来在工件170与焊丝160之间产生电弧A，从而进行电弧焊接。在电弧焊接时，工件170的被焊接部分熔融而形成熔融池171，溅射物SP从熔融池171飞散。另外，在焊炬111的前端设置有用于喷出保护气体的喷出孔(未图示)。
摄像机120设置在能够经由ND(Neutral Density，中性密度)滤光器(未图示)对包括工件170整体的溅射物SP的飞散区域整体进行拍摄的位置。摄像机120将拍摄得到的运动图像保存在存储卡130。另外，摄像机120的帧频(拍摄速度)例如设定为60fps。此外，摄像机120的焦点、光圈以及电子快门的快门速度被固定。
计算机140具备计算机主体141和显示器142。计算机主体141具备存储部141a和图像处理部141b。
存储部141a存储学习完毕模型，该学习完毕模型通过将拍摄到溅射物SP的多张图像和未拍摄到溅射物SP的多张图像作为教示数据的有监督学习来生成。作为用于生成学习完毕模型的有监督学习的手法，例如可使用深度学习。此外，存储部141a还存储由摄像机120拍摄得到的运动图像和将该运动图像分割得到的多个静止图像。
图像处理部141b从存储卡130读取保存在插入于读卡器150的存储卡130的运动图像，并保存在存储部141a。此外，图像处理部141b将保存在存储部141a的运动图像分割成多个静止图像(帧)，将这些多个静止图像作为多个输入图像而保存在存储部141a。进一步地，图像处理部141b针对保存在存储部141a的多个输入图像中的每一个，进行检测溅射物SP的溅射物检测处理，将溅射物SP的检测次数为给定的基准次数以上的运动图像上的位置确定为背景亮点，确定将在背景亮点处检测到的溅射物SP除外了的溅射物SP的数量(溅射物检测步骤、背景亮点确定步骤、溅射物数量确定步骤)。图像处理部141b使用存储在存储部141a的学习完毕模型来检测溅射物SP。此外，图像处理部141b从多个输入图像中选择1个输入图像，生成针对所选择的输入图像实施了给定的加工而得到的加工图像I(参照图7)(图像生成步骤)。对于溅射物SP的检测方法、背景亮点的确定方法、溅射物SP的数量的确定方法以及加工图像I的生成方法的详细情况，在后面描述。
显示器142显示由计算机主体141的图像处理部141b生成的加工图像I。
以下，参照图3对设定焊接系统100的焊接条件的步骤进行说明。
首先，在(S101)中，用户在使焊接机器人110进行了电弧焊接的状态下，使摄像机120执行拍摄，并将拍摄得到的运动图像保存在存储卡130。由此，电弧焊接时的包括工件170整体的溅射物SP的飞散区域整体的运动图像被保存在存储卡130。
接下来，在(S102)中，用户从摄像机120取出存储卡130并插入于读卡器150，将保存在存储卡130的运动图像从读卡器150转送到计算机主体141。然后，计算机主体141的图像处理部141b接收从读卡器150转送到的运动图像，并保存在存储部141a。
接下来，在(S103)中，用户使计算机主体141的图像处理部141b将保存在存储部141a的电弧焊接时的运动图像分割成多个静止图像(帧)，并将这些多个静止图像作为多个输入图像而保存在存储部141a。
接下来，在(S104)中，图像处理部141b将保存在存储部141a的多个输入图像之中，尚未进行(S104)～(S110)的处理的1个输入图像变换为灰度图像。灰度图像包括多个像素。各像素具有表示亮度的像素值。
接下来，在(S105)中，图像处理部141b根据在(S104)中得到的灰度图像生成溅射物检测对象图像IM。图像处理部141b具体地实施将灰度图像中的具有给定阈值Gs(第1阈值)以下的像素值的像素的像素值，变换为表示黑色的值(0)的处理。另一方面，图像处理部141b将灰度图像中的具有超过给定阈值Gs的像素值的像素的像素值直接维持。由此，具有超过给定阈值Gs的像素值的像素被确定为黑色以外的像素(以下，称为灰色像素)。然后，例如如图6所示，图像处理部141b将溅射物检测对象图像IM中的多个灰色像素连续的区域(以下，称为灰色区域)检测为溅射物SP(溅射物检测处理)。在图6中，PB表示黑色的像素，PW表示灰色像素。在此，图像处理部141b使用存储在存储部141a的学习完毕模型来检测溅射物SP。然后，图像处理部141b制作对检测到的所有溅射物SP进行确定的第1溅射物列表ListGs。另外，也可以将具有超过阈值Gs的像素值的像素的像素值变换成黑色以外的特定的值(例如，白色)。
接下来，在(S106)中，图像处理部141b执行除阈值之外与(S105)相同的处理。即，图像处理部141b针对在(S104)中得到的灰度图像，实施将具有给定阈值Gm(第2阈值)以下的像素值的像素的像素值，变换成表示黑色的值(0)的处理，将处理后的图像中的灰色区域检测为溅射物SP。在此，图像处理部141b也使用存储到存储部141a的学习完毕模型来检测溅射物SP。另外，阈值Gm被设定为大于阈值Gs的值。然后，图像处理部141b制作对检测到的所有溅射物SP进行确定的第2溅射物列表ListGm。
接下来，在(S107)中，图像处理部141b执行除阈值之外与(S105)相同的处理。即，图像处理部141b针对在(S104)中得到的灰度图像，实施将具有给定阈值Gl以下的像素值的像素的像素值变换成表示黑色的值(0)的处理，并将处理后的图像中的灰色区域检测为溅射物SP。在此，图像处理部141b也使用存储在存储部141a的学习完毕模型来检测溅射物SP。另外，阈值Gl被设定为大于阈值Gm的值。然后，图像处理部141b制作对检测到的所有溅射物SP进行确定的第3溅射物列表ListGl。另外，在第1～第3溅射物列表ListGs、ListGm、ListGl中，根据溅射物SP的左上的坐标和纵向以及横向的长度来确定溅射物SP。
在此，溅射物SP的尺寸变得越大，则溅射物SP的亮度也变得越大。阈值Gs、Gm、Gl分别对应于小尺寸、中尺寸、大尺寸。(S105)检测小尺寸、中尺寸以及大尺寸的溅射物SP。(S106)检测中尺寸以及大尺寸的溅射物SP。(S107)检测大尺寸的溅射物SP。
接下来，在(S108)中，图像处理部141b制作小溅射物列表SmallS，该小溅射物列表SmallS确定从由第1溅射物列表ListGs确定的溅射物SP中将由第2溅射物列表ListGm确定的溅射物SP除外了的溅射物SP。
接着，在(S109)中，图像处理部141b制作中溅射物列表MiddleS，该中溅射物列表MiddleS确定从由第2溅射物列表ListGm确定的溅射物SP中将由第3溅射物列表ListGl确定的溅射物SP除外了的溅射物SP。
接着，在(S110)中，图像处理部141b将第3溅射物列表ListGl直接作为大溅射物列表LargeS。
接下来，在(S111)中，图像处理部141b判定在存储部141a中是否有尚未进行(S104)～(S110)的处理的输入图像(帧)。然后，在有未处理的输入图像的情况下，回到(S104)，而在没有未处理的输入图像的情况下前进到(S112)。
然后，在(S112)中，图像处理部141b进行以下的列表修正处理。在本实施方式中，如上所述，图像处理部141b将输入图像中的灰色区域检测为溅射物SP。然而，有时灰色区域和真正的溅射物起因于不同的光源(例如，电弧A)。列表修正处理从列表中将这样的溅射物SP排除。
图4示出在(S112)中进行的列表修正处理的步骤。
在(S112)中，首先，在(S201)中，计算图像处理部141b通过保存在存储部141a的全部输入图像而检测到的所有溅射物SP、即全部输入图像的由第1溅射物列表ListGs确定的所有溅射物SP的中心坐标。在本实施方式中，现实的飞散区域内的位置与输入图像内的位置(坐标)的关系在全部输入图像中是共同的。例如，运动图像包括第1以及第2输入图像。第1输入图像内的特定的坐标(例如，x＝100，y＝100)是指现实的飞散区域内的特定的位置(例如，工件170的左上角)。第2输入图像内的相同的坐标(x＝100，y＝100)是指现实的飞散区域内的相同的特定的位置(工件170的左上角)。
接下来，在(S202)中，图像处理部141b针对运动图像上的各位置(坐标)，计算在(S201)中被作为溅射物SP的中心坐标计算出的次数(溅射物检测次数)。图像处理部141b将运动图像上的多个位置和与各个位置对应的溅射物检测次数存储为溅射物检测次数的分布。
接下来，在(S203)中，图像处理部141b将在(S202)中计算出的溅射物检测次数、即(S105)的处理中的溅射物SP的检测次数为给定的基准次数以上的运动图像上的坐标(位置)确定为背景亮点。然后，制作确定背景亮点的坐标的背景亮点坐标列表。
接下来，在(S204)中，图像处理部141b针对保存在存储部141a的全部输入图像的小溅射物列表SmallS、中溅射物列表MiddleS以及大溅射物列表LargeS，进行将其中心坐标存在于在(S203)中制作成的背景亮点坐标列表的溅射物SP除外的溅射物除去处理。即，由该溅射物除去处理除外的溅射物SP成为以在(S203)中确定出的背景亮点为中心坐标的溅射物SP。
在此，参照图5来对针对小溅射物列表SmallS的溅射物除去处理的具体的步骤进行说明。针对中溅射物列表MiddleS以及大溅射物列表LargeS的溅射物除去处理也通过同样的步骤来进行。
首先，在(S301)中，设定为k＝0。
接下来，在(S302)中，设定为k＝k+1。
接下来，在(S303)中，判定小溅射物列表SmallS的第k个溅射物SP的中心坐标是否存在于背景亮点坐标列表中。在第k个溅射物SP的中心坐标不存在于背景亮点坐标列表的情况下，前进到(S305)，在存在于背景亮点坐标列表的情况下，前进到(S304)。
在(S304)中，从小溅射物列表SmallS中删除第k个溅射物SP。
在(S305)中，判定是否针对小溅射物列表SmallS中的所有溅射物SP而进行了(S303)的判定，在未进行的情况下返回到(S302)，在进行了的情况下结束溅射物除去处理。
接下来，在(S205)中，图像处理部141b将由修正处理后的小溅射物列表SmallS确定的溅射物SP的数量确定为小的溅射物SP的溅射物数量S。此外，将由修正处理后的中溅射物列表SmallM确定的溅射物SP的数量确定为中程度的大小的溅射物SP的溅射物数量M。进一步地，将由修正处理后的大溅射物列表LargeS确定的溅射物SP的数量确定为大的溅射物SP的溅射物数量L。有时来自电弧A的光从焊接夹具(夹钳)、焊炬111、焊接机器人110的主体等周边设备反射而入射到摄像机120。即便在这样的反射光在(S105)～(S107)被检测为溅射物SP的情况下，图像处理部141b也能够确定将该溅射物SP除外了的溅射物SP的数量。因此，能够进行溅射物数量S、M、L的更正确的确定。
在(S113)中，图像处理部141b确定溅射物数量S、M、L的合计来作为合计溅射物数量T。进一步地，图像处理部141b从多个输入图像中选择1个输入图像，如图7所示，针对所选择的输入图像实施数量显示加工和尺寸显示加工，生成加工图像I。图像处理部141b也可以生成分别对应于多个输入图像的加工图像。数量显示加工是在输入图像的左上的角部赋予溅射物数量S、M、L以及合计溅射物数量T的显示的加工。尺寸显示加工是用蓝色的矩形状的框F1围住由(S112)中的修正处理后的小溅射物列表SmallS确定的溅射物SP，用黄色的矩形状的框F2来围住由(S112)中的修正处理后的中溅射物列表MiddleS确定的溅射物SP，并且用红色的矩形状的框F3来围住由(S112)中的修正处理后的大溅射物列表LargeS确定的溅射物SP的加工。另外，在图7中，将蓝色的框F1示为虚线，将黄色的框F2示为实线，将红色的框F3示为点线。此外，图7中，A’表示电弧A的光以及从烟尘反射的电弧A的光。
在(S114)中，显示器142显示在(S113)中生成的加工图像I。用户通过参照显示在显示器142的溅射物数量S、M、L以及合计溅射物数量T，来判定在工件170与焊丝160之间施加的电压值等焊接条件合适与否。用户在将焊接条件判定为不适当的情况下，变更焊接条件，以使得减少大的溅射物SP的数量，并再次执行(S101)～(S114)的处理。此外，此时溅射物SP被标注与其大小相应的颜色的框F1、F2、F3而显示在显示器142，因而用户能够通过参照这些框F1、F2、F3，来判断显示在显示器142的溅射物数量S、M、L、T的可靠性。
因此，根据本实施方式，在(S105)～(S107)中，图像处理部141b使用1个输入图像来进行溅射物SP的检测，因而与如专利文献1那样使用多个输入图像来确定溅射物SP的数量的情况相比，能够简化处理。此外，由于不需要拍摄速度快的摄像机，因而能够削减设备成本。
此外，一般即便在工件170粘附有溅射物SP，也能够通过金属刷等来容易地除去溅射物SP，而如果在工件170粘附有大的溅射物SP，则溅射物SP如果不用研磨机等进行研磨就不能除去，除去所需要的工时增大。根据本实施方式，在(S114)中，多个种类的大小的溅射物SP的数量、即溅射物数量S、M、L被显示在显示器142。用户能够参照这些溅射物数量S、M、L来设定焊接条件，以使得允许小的溅射物SP的产生并抑制大的溅射物SP的产生。因此，能够削减溅射物SP的除去所需要的工时。
此外，在(S105)～(S107)中，图像处理部141b使用学习完毕模型来检测溅射物SP，因而与将灰色区域全部检测为溅射物SP的情况相比，难以将保护气体、装置的一部分等不是溅射物SP的物体检测为溅射物SP。因此，能够降低误检测的可能性。
此外，在来自周边设备的反射光作为溅射物SP而从多个输入图像中检测到的情况下，有时各输入图像中的来自周边设备的反射光的亮度(拍摄进去的区域的尺寸)根据反射光的周围的状况而不同。即便在这样的情况下，在本实施方式中，在(S201)～(S203)中，将成为检测到的溅射物SP的中心坐标的次数为基准次数以上的坐标确定为背景亮点，因而与将成为检测到的溅射物SP的一端的坐标的次数为基准次数以上的坐标确定为背景亮点的情况相比，能够更可靠地将电弧A的光的来自周边设备的反射光确定为背景亮点。
此外，通常溅射物SP越大则越重，并且移动速度越慢，因而溅射物SP越大则在1个输入图像中拍摄的溅射物SP的轨迹越短。因此，即便在缩小摄像范围的情况下，大的溅射物SP也比小的溅射物SP容易纳入摄像范围内，难以产生大的溅射物SP的漏检测。
另外，在本实施方式中，在(S104)中图像处理部141b暂且将输入图像变换成灰度图像，但也可以设为不将输入图像变换成灰度图像而从输入图像中直接确定出表示亮度的像素值超过给定阈值的像素。
此外，在本实施方式中，在(S105)～(S107)中，使用学习完毕模型来进行了溅射物SP的检测，但也可以设为将灰色区域全部检测为溅射物SP。此外，也可以设为将灰色像素连续第1个数以上且第2个数(＞第1个数)以下的区域全部检测为溅射物SP。在这样的情况下，不将灰色像素超过第2个数地连续的区域检测为溅射物SP，因而能够防止将不是溅射物SP的物体误检测为溅射物SP。
此外，在本实施方式中，在(S201)～(S203)中，将与检测到的溅射物SP的中心坐标相当的次数为给定的基准次数以上的输入图像上的坐标确定为背景亮点。然而，也可以设为将与检测到的溅射物SP的中心以外的给定位置相当的次数为给定的基准次数以上的输入图像上的坐标确定为背景亮点。例如，也可以设为，将与检测到的溅射物SP的左上的坐标相当的次数为给定的基准次数以上的输入图像上的坐标确定为背景亮点，并针对各列表SmallS、MiddleS、LargeS，进行将其左上的坐标为背景亮点的溅射物SP除外的修正处理。
此外，在本实施方式中，在(S201)～(S203)中，基于全部输入图像的第1溅射物列表ListGs来制作背景亮点坐标列表，该背景亮点坐标列表兼用于(S204)中的小溅射物列表SmallS、中溅射物列表MiddleS以及大溅射物列表LargeS的修正处理。然而，也可以设为，将基于全部输入图像的小溅射物列表SmallS而制作出的背景亮点坐标列表使用于小溅射物列表SmallS的修正处理，将基于全部输入图像的中溅射物列表MiddleS而制作出的背景亮点坐标列表使用于中溅射物列表Middle的修正处理，将基于全部输入图像的大溅射物列表LargeS而制作出的背景亮点坐标列表使用于大溅射物列表LargeS的修正处理。
此外，在本实施方式中，针对输入图像实施对检测到的溅射物SP标注框F1、F2、F3的加工而成为加工图像I，但也可以设为实施标注框F1、F2、F3以外的记号的加工而成为加工图像I。
此外，在本实施方式中，计算机主体141的图像处理部141b从读卡器150接收到包括输入图像的运动图像，但也可以设为从其他信息传递装置接收。
此外，在本实施方式中，将本发明应用于使用焊接机器人110的电弧焊接，但本发明也能够应用于通过手动作业来进行焊炬的操作的情况。
此外，在本实施方式中，在施加在工件170与焊丝160之间的电压不是脉冲电压的情况下应用了本发明，但本发明也能够应用于施加在工件170与焊丝160之间的电压为脉冲电压的情况。
产业上的可利用性
本发明的焊接条件设定辅助装置能够削减设备成本，容易减少尺寸大于给定尺寸的溅射物，并且能够进行溅射物的数量的更正确的确定，作为在通过在工件与电极之间施加电压来在工件与电极之间产生电弧从而进行电弧焊接时辅助焊接条件的设定的装置，是有用的。
符号说明
140 计算机(焊接条件设定辅助装置)
141a 存储部
141b 图像处理部
142 显示器
160 焊丝(电极)
170 工件
A 电弧
SP 溅射物
I 加工图像
F1、F2、F3 框(记号)。

Claims (7)

1.一种焊接条件设定辅助装置，所述焊接条件设定辅助装置是通过在工件与电极之间施加电压来在工件与电极之间产生电弧从而进行电弧焊接时，辅助所述电弧焊接的焊接条件的设定的装置，
所述焊接条件设定辅助装置具备图像处理部，所述图像处理部执行以下步骤：
溅射物检测步骤，针对构成在所述电弧焊接时对所述工件进行拍摄而得到的运动图像的多个输入图像中的每个输入图像，进行溅射物检测处理，在所述溅射物检测处理中，将表示亮度的像素值超过给定阈值的多个像素连续的区域检测为溅射物；
背景亮点确定步骤，将所述溅射物检测步骤中的溅射物的检测次数是给定的基准次数以上的所述运动图像上的位置确定为背景亮点；和
溅射物数量确定步骤，针对所述多个输入图像的一个输入图像进行溅射物的数量的确定，所述溅射物的数量为通过所述溅射物检测处理检测到的溅射物之中的、将在通过所述背景亮点确定步骤确定出的背景亮点处检测到的溅射物除外了的溅射物的数量。
2.根据权利要求1所述的焊接条件设定辅助装置，其中，
所述背景亮点确定步骤计算在所述溅射物检测步骤中检测到的溅射物的中心坐标，将计算为中心坐标的次数是所述给定的基准次数以上的所述运动图像上的坐标确定为背景亮点，
所述溅射物数量确定步骤针对所述多个输入图像的所述一个输入图像进行溅射物的数量的确定，所述溅射物的数量为通过所述溅射物检测处理检测到的溅射物之中的、将以通过所述背景亮点确定步骤确定出的背景亮点为中心坐标的溅射物除外了的溅射物的数量。
3.根据权利要求1或2所述的焊接条件设定辅助装置，其中，
所述图像处理部将所述给定阈值设定为第1阈值和大于该第1阈值的第2阈值来执行所述溅射物检测步骤，
所述背景亮点确定步骤将把所述给定阈值设定为所述第1阈值的所述溅射物检测步骤中的溅射物的检测次数是所述给定的基准次数以上的所述运动图像上的位置确定为背景亮点，
所述溅射物数量确定步骤针对所述多个输入图像的所述一个输入图像进行溅射物的数量的确定，所述溅射物的数量为通过把所述给定阈值设定为所述第1阈值的溅射物检测处理检测到的溅射物之中的、将通过把所述给定阈值设定为所述第2阈值的溅射物检测处理检测到的溅射物和在通过所述背景亮点确定步骤确定出的背景亮点处检测到的溅射物除外了的溅射物的数量。
4.根据权利要求1或2所述的焊接条件设定辅助装置，其中，
所述溅射物检测处理使用通过将拍摄到溅射物的多张图像和未拍摄到溅射物的多张图像作为教示数据的有监督学习而生成的学习完毕模型，来检测溅射物。
5.根据权利要求1或2所述的焊接条件设定辅助装置，其中，
所述焊接条件设定辅助装置还具备显示器，所述显示器对由所述图像处理部的溅射物数量确定步骤确定出的溅射物的数量进行显示。
6.根据权利要求5所述的焊接条件设定辅助装置，其中，
所述图像处理部还执行图像生成步骤，所述图像生成步骤基于所述多个输入图像的所述一个输入图像，生成实施了对由所述溅射物检测处理检测出的溅射物标注记号的加工的加工图像，
所述显示器对由所述图像生成步骤生成的加工图像进行显示。
7.根据权利要求1所述的焊接条件设定辅助装置，其中，
所述溅射物检测处理包括：
从所述多个输入图像选择一个输入图像；
按照所述选择的输入图像所包括的每个像素，比较所述像素的像素值和所述给定阈值；
将所述选择的输入图像中的具有所述给定阈值以下的像素值的像素的像素值变更为第1固定值，将所述选择的输入图像中的具有超过所述给定阈值的像素值的像素的像素值维持不变或变更为与所述第1固定值不同的第2固定值，从而根据所述选择的输入图像来生成溅射物检测对象图像；和
将所述溅射物检测对象图像中的具有超过所述给定阈值的像素值的多个像素连续的区域检测为所述溅射物。
CN202080041479.7A 2019-06-06 2020-06-01 焊接条件设定辅助装置 Active CN113950386B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019106355 2019-06-06
JP2019-106355 2019-06-06
PCT/JP2020/021553 WO2020246416A1 (ja) 2019-06-06 2020-06-01 溶接条件設定支援装置

Publications (2)

Publication Number Publication Date
CN113950386A CN113950386A (zh) 2022-01-18
CN113950386B true CN113950386B (zh) 2023-06-16

Family

ID=73652551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080041479.7A Active CN113950386B (zh) 2019-06-06 2020-06-01 焊接条件设定辅助装置

Country Status (4)

Country Link
US (1) US11922614B2 (zh)
JP (1) JP7394290B2 (zh)
CN (1) CN113950386B (zh)
WO (1) WO2020246416A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205929B (zh) * 2022-06-23 2023-07-28 池州市安安新材科技有限公司 避免电火花切割机床工作台误控制的认证方法及系统
CN117532216B (zh) * 2023-12-21 2024-07-02 重庆工业设备安装集团有限公司 钢结构焊接机器人

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000167671A (ja) * 1998-12-08 2000-06-20 Hitachi Constr Mach Co Ltd 溶接スパッタの測定方法
CN1344192A (zh) * 1999-03-18 2002-04-10 株式会社安川电机 熔极式电弧焊接方法以及装置
CN104169033A (zh) * 2012-03-30 2014-11-26 伊利诺斯工具制品有限公司 用于通过分析飞溅产生事件来监测焊接期间的飞溅产生事件的装置及方法
CN107206528A (zh) * 2015-04-07 2017-09-26 松下知识产权经营株式会社 电弧焊接控制方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479566B (zh) * 2005-11-14 2012-05-30 普雷茨特影像有限及两合公司 评价工件结合位置的方法和设备
JP2008126274A (ja) 2006-11-21 2008-06-05 Kobe Steel Ltd アーク溶接におけるスパッタ認識方法及びスパッタ認識装置
JP2009028775A (ja) * 2007-07-30 2009-02-12 Daido Steel Co Ltd パルスアーク溶接方法及びパルスアーク溶接装置
JP2009066612A (ja) * 2007-09-11 2009-04-02 Fanuc Ltd スパッタ検出手段を備えたスポット溶接装置
JP5633424B2 (ja) * 2011-02-23 2014-12-03 富士ゼロックス株式会社 プログラム及び情報処理システム
JP2014014857A (ja) * 2012-07-11 2014-01-30 Suzuki Motor Corp 画像処理方法及び画像処理システム
JP5974984B2 (ja) * 2013-06-07 2016-08-23 株式会社安川電機 アーク溶接装置、アーク溶接システム及びアーク溶接方法
US20160193680A1 (en) * 2015-01-07 2016-07-07 Illinois Tool Works Inc. Automated welding translation platform
JP6266838B2 (ja) * 2015-03-06 2018-01-24 本田技研工業株式会社 スパッタ分析方法及び装置
JP6757892B2 (ja) * 2015-08-17 2020-09-23 パナソニックＩｐマネジメント株式会社 アーク溶接制御方法
JP6626675B2 (ja) * 2015-09-25 2019-12-25 株式会社Ｎｉｓｈｉｈａｒａ 画像処理装置と画像処理方法及びレーザまたはｔｉｇ溶接装置とレーザまたはｔｉｇ溶接装置の制御方法
JP6568766B2 (ja) * 2015-10-21 2019-08-28 株式会社神戸製鋼所 設定支援装置、設定支援方法及びプログラム
JP7021728B2 (ja) * 2017-05-12 2022-02-17 株式会社神戸製鋼所 自動溶接システム、溶接制御方法、及び機械学習モデル
WO2019239644A1 (ja) 2018-06-11 2019-12-19 パナソニックＩｐマネジメント株式会社 溶接条件設定支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000167671A (ja) * 1998-12-08 2000-06-20 Hitachi Constr Mach Co Ltd 溶接スパッタの測定方法
CN1344192A (zh) * 1999-03-18 2002-04-10 株式会社安川电机 熔极式电弧焊接方法以及装置
CN104169033A (zh) * 2012-03-30 2014-11-26 伊利诺斯工具制品有限公司 用于通过分析飞溅产生事件来监测焊接期间的飞溅产生事件的装置及方法
CN107206528A (zh) * 2015-04-07 2017-09-26 松下知识产权经营株式会社 电弧焊接控制方法

Also Published As

Publication number Publication date
JPWO2020246416A1 (zh) 2020-12-10
WO2020246416A1 (ja) 2020-12-10
CN113950386A (zh) 2022-01-18
US11922614B2 (en) 2024-03-05
JP7394290B2 (ja) 2023-12-08
US20220084192A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
CN114026596B (zh) 用于评估激光切割边缘的方法、移动终端设备和系统
CN112001876A (zh) 判定装置、判定系统、焊接系统、判定方法以及存储介质
CN113950386B (zh) 焊接条件设定辅助装置
JP2008126274A (ja) アーク溶接におけるスパッタ認識方法及びスパッタ認識装置
JP2005072888A (ja) 画像投影方法、及び画像投影装置
CN105352437A (zh) 板卡位置检测方法及装置
JP2004012325A (ja) 欠陥検査方法および欠陥検査装置
WO2023002753A1 (ja) 溶接現象の挙動の計測方法、計測装置、溶接システム、およびプログラム
WO2019239644A1 (ja) 溶接条件設定支援装置
US20210080521A1 (en) Magnetic particle inspection device
US11235412B2 (en) Welding tool
JP3778015B2 (ja) スラグ検知方法、スラグ検知装置、及び除滓装置
JP7165924B2 (ja) 溶接条件設定支援装置
CN111385447A (zh) 摄像装置及其驱动方法
CN115515744B (zh) 焊接条件设定辅助装置
CN113744243A (zh) 焊缝跟踪检测的图像处理方法、装置、设备与介质
CN111815705A (zh) 激光跟踪仪滤光保护镜片污染识别方法、装置及电子设备
WO2021230078A1 (ja) 溶接条件設定支援装置
JP7460580B2 (ja) 溶接関連情報の表示方法、表示装置、溶接システム、プログラム、および溶接関連情報の表示画面
JP2025080094A (ja) スパッタ検出装置
JP2006133055A (ja) ムラ欠陥検出方法及び装置、空間フィルタ、ムラ欠陥検査システム並びにムラ欠陥検出方法のプログラム
JP2021190515A (ja) ワーク取り残し判定システム
CN114240833B (zh) 基于优先级的工业相机缺陷分类方法
JP2003294639A (ja) 非金属介在物の自動検査方法及び装置
WO2019017360A1 (ja) 線状物の３次元計測方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant