[go: up one dir, main page]

CN108701346B - 接线检查作业支援系统 - Google Patents

接线检查作业支援系统 Download PDF

Info

Publication number
CN108701346B
CN108701346B CN201780003964.3A CN201780003964A CN108701346B CN 108701346 B CN108701346 B CN 108701346B CN 201780003964 A CN201780003964 A CN 201780003964A CN 108701346 B CN108701346 B CN 108701346B
Authority
CN
China
Prior art keywords
work
image data
camera terminal
display
wiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780003964.3A
Other languages
English (en)
Other versions
CN108701346A (zh
Inventor
池田祐一
白石忠道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN108701346A publication Critical patent/CN108701346A/zh
Application granted granted Critical
Publication of CN108701346B publication Critical patent/CN108701346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

准备用于在图像处理中使用的拍摄标准的接线状态而得到的目标图像数据(D)和包括与检查部位的形状对应的遮盖范围的遮盖范围数据(E),计算通过进行目标图像数据(D)与遮盖范围数据(E)的逻辑运算而得到的目标特征量、以及通过进行改变遮盖范围数据(E)的旋转角度而从照相机终端(12)获取到的图像数据(F)和遮盖范围数据(E)的逻辑运算而得到的特征量,将与目标特征量的差最小的旋转角度下的特征量和目标特征量的差作为评价值,与判定阈值进行比较,从而进行接线作业的判定。

Description

接线检查作业支援系统
技术领域
本发明涉及对装配电气设备框体或仪器控制盘等时的线缆接线部位的检查作业进行支援的接线检查作业支援系统。
背景技术
一般而言,在制作线缆的接线部位多的设备框体或控制盘等时,在作业人员一边参照设计图和作业指导书一边实施接线作业之后,进行基于检查者的目视的接线部位的检查。
此时,在作业人员不熟悉接线作业的情况下,容易发生忘记接线(未连接)或者连接了错误的线缆(误接线)这样的接线作业失误。在该情况下,在检查者发现异常之后需要重做接线作业,有时延长了至制作完成为止花费的期间。
因此,考虑导入具有如下功能的接线检查作业支援系统:在作业人员进行接线作业之后由作业人员自己检查接线部位,如果有不良情况则能够立即重做,以此方式检查接线部位。
作为用于检查接线部位的技术,有如下技术:使用视线追踪装置和拍摄装置对作业人员目视的位置进行拍摄,进行图像处理,在判别字符后与预先存储的数据进行比较,从而检查接线部位(参照专利文献1)。
另外,有使用具有驱动部的拍摄照相机拍摄在图板上配置的线束的外观并根据摄像图像进行良好与否判定的技术(参照专利文献2)。
现有技术文献
专利文献1:日本特开2015-60339
专利文献2:日本专利第3533492号
发明内容
在设备框体或控制盘内部进行线缆连接器的嵌合、无螺纹端子台的线缆接线、或者电力线缆端子连接等接线作业。在该情况下,由于成本方面和防止异物混入等原因或者空间等的制约,有时不对接线的线缆附加作为识别属性的字符、记号标签。
另外,在上述专利文献1中,在检查接线部位时没有字符识别标签的情况下,应用范围被限定。
进而,在上述专利文献2中,在摄像时需要将摄像照相机和识别标签面的距离保持为固定,以免发生图像的抖动。
另外,设备框体或控制盘内部的线缆以及线缆连接器有以安装高度或角度不同的各种空间中的位置以及姿势被配置的状况。因为需要检查这样的电源端子和控制基板上的连接器等的接线状态,所以难以应用摄像条件范围被限制的上述专利文献2。
本发明是为了解决上述课题而完成的,其目的在于提供一种在电气设备或控制盘等盘内线缆安装后的线缆接线状态的检点检查作业中对无字符识别标签的线缆以及连接器也能够应用的接线检查作业支援系统。
本发明的接线检查作业支援系统,具备:
作业指示部,对作业人员通知作业指示内容;
照相机终端,能够拍摄检查部位;
存储部,保持用于在图像处理中使用的拍摄标准的接线状态而得到的目标图像数据、包括与所述检查部位的形状对应的遮盖(mask)范围的遮盖范围数据及判定阈值;
距离确认部,用于设定检查部位与照相机终端之间的适当的距离及照相机终端的位置;
图像处理部,通过进行目标图像数据与遮盖范围数据的逻辑运算而求出目标特征量,并且通过进行改变遮盖范围数据的旋转角度而从照相机终端获取到的图像数据和遮盖范围数据的逻辑运算,针对每个旋转角度计算特征量,将与目标特征量的差最小的旋转角度下的特征量和目标特征量的差作为评价值,比较该评价值和判定阈值,从而进行接线作业的判定;以及
判定结果通知部,将来自图像处理部的判定结果通知给作业人员。
根据以上的接线检查作业支援系统,对未显示字符的接线部位也能够应用,能够高速且准确地检查存在于各种位置以及方向的接线部位。
附图说明
图1是示出实施方式1的接线检查作业支援系统的实施状况的概念图。
图2是示出实施方式1的接线检查作业支援系统中的照相机终端的结构的立体图。
图3是示出实施方式1的接线检查作业支援系统中的表示与作业人员的交互的系统结构的框图。
图4是示出显示器所显示的作业指示画面的一个例子的图。
图5是示出作业项目列表部分的一个例子的图。
图6是示出实施方式1的接线检查作业支援系统的动作的流程图。
图7是示出来自右侧激光指示器以及左侧激光指示器的激光的交点部位的立体图。
图8是示出图像处理部的处理内容的框结构图。
图9是示出设定画面的一个例子的图。
图10是示出作业项目列表部分的一个例子的图。
图11是示出目标设定会话的一个例子的图。
图12是示出实施方式2的接线检查作业支援系统的实施状况的概念图。
图13是示出实施方式2的接线检查作业支援系统中的照相机终端的结构的立体图。
具体实施方式
实施方式1.
图1是示出实施方式1的接线检查作业支援系统的实施状况的概念图。照相机终端12经由线缆11连接于接线检查作业支援系统主体10。另外,作业人员47携带照相机终端12而进行作业。图1中示出在接线检查作业支援系统中使用显示器一体型的计算机的情况,但也可以将显示器和计算机分开,将两者通过显示器用线缆连接或者通过WiFi(无线保真)等无线通信方式连接。进而,显示器也可以是作业人员通过头戴式显示器佩戴的显示器。线缆11是USB线缆等进行电力供给和信号传输的线缆。为了信号传输,也可以代替线缆11而通过WiFi等无线通信方式连接,在照相机终端12内置电池而进行电力供给。
图2是示出照相机终端12的结构的立体图,图2的(A)是示出照相机终端12的前面部的立体图,图2的(B)是示出照相机终端12的背面部的立体图。照相机终端12在内部设置有照相机以及控制基板,如图2的(A)所示,前面面板20具备用于拍摄的照相机开口部22、用于瞄准的右侧激光指示器23以及左侧激光指示器24、用于能够在暗处拍摄的右侧照明25以及左侧照明26。另外,如图2的(B)所示,背面面板30具备具有判定结果通知部46的功能的绿色LED31、黄色LED32、红色LED33、以及嵌合用于连接照相机终端12和接线检查作业支援系统主体10的线缆11的线缆连接用插座34。
图3是示出本实施方式的接线检查作业支援系统中的表示与作业人员47的交互的系统结构的框图。接线检查作业支援系统包括作业指示部41、距离确认部42、照相机终端12、图像处理部44、存储部45、设定部49、判定结果通知部46。另外,照相机终端12拍摄对象物(接线部位)48。图4是示出作业指示部41在接线检查作业支援系统主体10的显示器显示的作业指示画面50的一个例子的图。在作业项目列表51中,显示作业项目的一览和示出各作业项目的完成或者未完成状态的复选框。图5是示出图4中的作业指示画面50中的作业项目列表部分的一个例子的图。在作业部位显示52中显示进行了当前作业指示的部位的信息。作为作业部位显示的一个例子,例如显示电气设备框体A、基板B、连接器C等。
在外观显示53中示出作业部位的外观。即,显示作业人员能够识别进行在电气设备框体之中哪部分的作业等的图像。在作业要领显示54中,以使作业人员能够理解作业内容的方式显示作业要领。在目标图像显示55中,显示作业人员将照相机终端12的位置或方向应改变而取得的目标图像。在拍摄结果显示56中,显示照相机终端12拍摄到的图像数据。在作业指示显示57中,显示用于对作业人员传达作业内容的消息。在图4中,例如显示“将连接器J插入到连接器C。”等。判定结果显示58是判定结果通知部46之一,能够通过OK或者NG的字符显示而对作业人员传达判定结果,并且显示由图像处理部44运算出的评价值和从存储部45获取到的判定阈值。作为判定结果显示58的一个例子,例如有以下的显示。
NG评价值:169判定阈值:50以下
进而,图4的选择按钮59、设定按钮60、目视OK按钮61、目视NG按钮62是能够由作业人员按压接线检查作业支援系统主体10的显示器的触摸面板、或利用接线检查作业支援系统主体10中的鼠标移动光标来按下相应按钮的按钮。在按下了选择按钮59时,从存储部45获取与作业对象名称有关的数据,显示作业对象的一览。在从作业对象的一览中选择了项目时,选择出的作业对象中的最初的作业部位的作业指示内容被显示于作业指示画面50。
接下来,在按下了设定按钮60时,能够显示后面根据图9叙述的设定画面70,设定在作业部位显示72、外观显示73、作业要领显示74、作业指示显示77中显示的项目,进而分别设定登记于存储部45的图8所示的目标图像数据D、遮盖范围数据E、判定阈值以及用于识别它们的数据式的作业对象名称(例如连接器C的连接),登记到存储部45。
在按下了目视OK按钮61时,按照作业人员的判断而将判定结果设定为OK,转移到接下来的作业部位。在按下了目视NG按钮62时,按照作业人员的判断而将判定结果设定为NG,结束作业。准备这些按钮以用于在设定的目标图像数据D、遮盖范围数据E、判定阈值不合适的情况等图像处理部44的判定结果并非OK的情况下按照作业人员的判断而进行接下来的作业或者结束作业。
图6是示出本实施方式的接线检查作业支援系统的动作的流程图,分成作业人员侧的操作以及系统侧的处理,随时间经过而示出动作。在开始了作业时(步骤S0),作业人员47首先按下作业指示部41在接线检查作业支援系统主体10的显示器显示的作业指示画面50中的选择按钮59(步骤S1)。接线检查作业支援系统主体10的作业指示部41显示作业对象的一览(步骤S10),所以作业人员47从一览中选择作业对象(步骤S2)。之后,作业指示部41显示选择出的作业对象的最初的作业项目(步骤S11),将图5所示的作业项目列表51的各作业项目设为未完成的显示状态(无复选标记),所以作业人员47确认作业指示画面50的显示内容(步骤S3)。
如图1所示,作业人员在电气设备框体15中的线缆接线部位16那样的部位进行接线作业(步骤S4)。在进行接线作业后,手持照相机终端12,使照相机终端12接近线缆接线部位16(步骤S5),例如使照相机终端12向着线缆接线部位16移动,以使得线缆接线部位16进入到照相机摄像范围13。照相机终端12的右侧激光指示器23以及左侧激光指示器24以在照相机摄像范围13内交叉的方式射出激光,作业人员调整照相机终端12的位置和方向,以使来自右侧激光指示器23以及左侧激光指示器24的激光的交点与在作业指示画面50中显示的目标图像显示55上的激光指示器交点37的部位一致。图7是示出来自右侧激光指示器23以及左侧激光指示器24的激光的交点部位的立体图。在本实施方式中,右侧激光指示器23以及左侧激光指示器24自身相当于距离确认部42。
然后,通过距离确认部42,作业人员47能够设定对象物48与照相机终端12之间的适当的距离以及照相机终端12的预定的位置。作业指示部41将使右侧激光指示器23以及左侧激光指示器24的交点37对准的位置与对象物48的照片(目标图像显示55)一起示出。作业人员47能够以使右侧激光指示器23以及左侧激光指示器24的交点对准于通过作业指示部41示出的位置的方式调整对象物48与照相机终端12之间的距离,所以能够使调整距离的作业更高效。进而,由于使交点对准于照相机终端12的视野内的预定的位置,所以如后面说明那样,在图像处理部44中,除了不需要考虑放大缩小以外,不需要考虑平行移动,仅考虑旋转移动即可,能够更高速且准确地判定良好与否。另外,也可以设置3个以上的多个激光指示器。
这样,作业人员47使照相机终端12接近线缆接线部位16(步骤S5),另一方面,在接线检查作业支援系统主体10中通过图像处理部44进行图像处理而显示判定结果(步骤S12)。
判定结果通过判定结果通知部46而显示于作业指示画面50的判定结果显示58以及照相机终端12的绿色LED31、黄色LED32、红色LED33。在进行图像处理而显示判定结果(步骤S12)时,为了表明处于检查中,在判定结果显示58的判定结果中显示“检查中”,使绿色LED31熄灭,使黄色LED32点亮,使红色LED33熄灭。在图像处理部44输出的判定结果为OK(良好)的情况下,在判定结果显示58的判定结果中显示“OK”,更新评价值和判定阈值的显示,使绿色LED31点亮,使黄色LED32熄灭,使红色LED33熄灭。同样地,在图像处理部44输出的判定结果为NG(不良)的情况下,在判定结果显示58中显示“检查中”,更新评价值和判定阈值的显示,使绿色LED31熄灭,使黄色LED32点亮,使红色LED33熄灭。
作业人员根据绿色LED31的点亮状态或者作业指示画面50的判定结果显示58,确认判定结果为“OK”(步骤S6),为了确认是否有接下来的作业项目,按下设置于照相机终端12的握把21的开关27。此时,如果有接下来的作业项目(“是”),则接线检查作业支援系统主体10的作业指示部41将作业项目列表51的相应作业项目设为完成的显示状态(有复选标记),显示接下来的作业项目的作业指示(步骤S13)。如果无接下来的作业项目(“否”),则示出作业项目列表51的全部项目成为了完成状态(勾选了所有复选框的状态),作业人员完成作业(步骤S7)。在此,也可以代替按下开关27,确认经过了一定时间之后进入到接下来的作业项目。在该情况下,无需开关27。
作业人员47在重新观察线缆接线部位或调整照相机终端12的位置以及方向仍无法确认判定结果为“OK”的情况下,按下目视NG按钮62。此时,在判定结果显示58的判定结果中显示“NG”,使绿色LED31熄灭,使黄色LED32熄灭,使红色LED33点亮,作业人员47中断作业。之后,为了重新进行检查,从按下作业指示画面50的选择按钮59(步骤1)开始。
图8是示出图像处理部44的处理内容的框结构图。在图6中,在进行图像处理而显示判定结果(步骤S12)时,实施图8所示的处理内容。另外,图8中示出与图4所示的连接连接器C的作业独立的作业,具体而言,说明红布线65、蓝布线66、白布线67的布线作业。首先,从存储部45获取目标图像数据D、遮盖范围数据E以及判定阈值。在此,目标图像数据D是用于在图像处理中使用的拍摄标准的接线状态而得到的图像。另外,遮盖范围数据E是包括与检查部位的形状对应的遮盖范围68A、68B、68C的数据。接下来,实施目标图像数据D的遮盖处理(步骤S21),求出目标图像数据D的遮盖范围的各区域平均颜色Y。即,在目标图像数据D的各个红布线65A、蓝布线66A、白布线67A中,关于遮盖范围数据E所示的遮盖范围68A、68B、68C的区域,取出颜色,求出各自的各区域中的平均颜色。在图8的情况下,求出关于红、蓝、白各自的各区域的平均颜色。在此,区域是指目标图像数据D上的遮盖范围(例如68A、68B、68C)所相当的部位。另外,各区域平均颜色是指目标图像数据D上的遮盖范围中的平均颜色。后面叙述平均颜色的求出方法。
关于这样的求出平均颜色的处理,在反复进行相同的目标图像数据D以及遮盖范围数据E的处理的情况下,还能够仅实施第1次的处理而省略第2次及其以后的处理。目标图像数据D是8比特RGB彩色图像,遮盖范围数据E是1比特图像数据。目标图像数据D以及遮盖范围数据E的分辨率与照相机终端12拍摄的图像的分辨率相同。
进而,在进行图像处理而显示判定结果(步骤S12)时,从照相机终端12获取图像数据F(步骤S20)。该图像数据F是与图4的拍摄结果56相当的数据,显示有实际由照相机终端12拍摄到的红布线65、蓝布线66、白布线67。关于图像数据F和针对遮盖范围数据E,对根据遮盖旋转角度列表X进行遮盖范围的旋转处理(步骤S22)而得到的数据进行遮盖处理(步骤S23),与上述同样地求出针对拍摄而获取到的图像数据F的各遮盖范围中的各区域平均颜色。关于图像数据F,与上述目标图像数据D不同,对使遮盖范围数据E每预定的角度旋转而得到的数据分别进行遮盖处理。即,在右侧激光指示器23以及左侧激光指示器24的交点37处进行了定位时,旋转方向的偏移残留,因此为了即使偏移某种程度也能够检查,使遮盖范围数据E每预定的角度旋转而进行遮盖处理,与目标图像数据D的情况同样地求出各自的每个角度的各区域的平均颜色。
各区域平均颜色包括1个以上的8比特RGB值。在图8中,存在关于红、蓝、白这3组的8比特RGB值。在遮盖范围数据E的旋转处理(步骤S22)中,针对遮盖旋转角度列表X所包含的各角度而实施,求出针对各角度的各区域的平均颜色。关于针对目标图像数据D的各区域平均颜色Y和针对对于各角度拍摄而获取到的图像数据F的各区域的平均颜色Z各自的8比特RGB值,运算差的绝对值,求出它们之中的最大值(步骤S24)。即,在图8的情况下,求出各角度下的红、蓝、白这3个之中的差最大的值。然后,求出关于遮盖旋转角度列表X的各要素(各旋转角度)比较该最大值的情况下最小的值(步骤S25),将其设为评价值T。如果评价值T为判定阈值R以下,则判定为OK(良好),否则判定为NG(不良)(步骤S26),得到判定结果P,设定到判定结果通知部46。
根据具有上述特征的接线检查作业支援系统,根据图像数据F的遮盖范围中的颜色信息来进行良好与否判定,所以针对未显示字符的接线部位也能够应用。另外,作业人员47能够使照相机终端12朝向对象物48移动来确定距离和拍摄部位的位置而拍摄,并且针对难以由作业人员47调整的图像数据F的旋转方向的偏移,图像处理部44能够适当地应对,能够高速且准确地检查存在于各种位置以及方向的接线部位。
在遮盖旋转角度列表X中,例如使用在±30度的范围中以3度为间隔排列的值等。在该情况下,按照3度的间隔排列上述各要素。这样,将角度的间隔扩大到能够正常地进行良好与否判定的程度,从而能够提高处理速度。在此,在遮盖处理中,关于所输入的图像数据F以及遮盖范围数据E,进行图像数据F与遮盖范围数据E的逻辑运算(例如积运算或者积和运算等),仅抽出遮盖范围68A、68B、68C中的图像数据F。进而,为了在遮盖范围数据E内区分范围,进行标签处理,对各范围进行编号(对遮盖范围68A、68B、68C分别编号),从而能够识别抽出的各范围的图像数据F。由此,能够将各范围的图像数据F的平均颜色作为特征量输出。
在此,遮盖范围数据E是1比特图像数据,通过进行标签处理,对各遮盖范围68A、68B、68C进行编号。与此相对,也可以使用多个遮盖范围数据,使各遮盖范围数据和编号对应而省略标签处理。即,在图8的情况下,关于遮盖范围68A、68B、68C,分别登记为独立的遮盖范围数据,关于这3个数据,分别进行标签处理。另外,在求出平均颜色的处理中,既可以求出在各范围的像素内成为中央值的颜色,也可以进而替换为通过判定是否包含预先设定的颜色范围的像素预先设定的比值以上来进行该处理等不同的处理内容。
另外,目标图像数据D以及图像数据F的图像形式除了是8比特RGB彩色图像以外,例如也可以是CMYK图像等不同的图像数据形式。遮盖范围数据E的图像形式也可以是1比特图像以外的图像数据形式或表示图像数据上的坐标的数据。
以上,根据本实施方式,图像处理部44在从照相机终端12获取到的图像数据F以及遮盖范围数据E中,以预定的位置为旋转中心,改变遮盖范围数据E的旋转角度,进行图像数据F和遮盖范围数据E的逻辑运算,由此得到遮盖范围的颜色信息,针对每个旋转角度计算包括该颜色信息的特征量。然后,抽出通过进行目标图像数据D与遮盖范围数据E的逻辑运算而得到的目标特征量最一致(差最小)的旋转角度下的特征量,求出该特征量与目标特征量之差并将其作为评价值T,将评价值T与判定阈值进行比较来进行良好与否判定。
参照图3,总结以上的动作。首先,作业指示部41对作业人员47通知作业指示内容(箭头131)。接下来,作业人员47调整对象物48与照相机终端12之间的距离(箭头132)。在本实施方式中,右侧激光指示器23以及左侧激光指示器24是距离确认部42,通过使用它们来调整距离。接下来,作业人员47使照相机终端12朝向对象物48移动(箭头133)。然后,照相机终端12拍摄对象物48(箭头134)。接下来,图像处理部44从照相机终端12获取图像数据(箭头135),并且从存储部45获取参照数据(箭头136)。接下来,图像处理部44对判定结果通知部46设定判定结果(箭头137)。然后,判定结果通知部46对作业人员47通知判定结果(箭头138)。
接下来,在图4中,在按下了设定按钮60时,接线检查作业支援系统主体10的设定部49在显示器中显示如图9所示的设定画面70。设定画面70在作业项目列表71中显示作业项目的一览,在按下了追加按钮83时在作业项目列表71中追加项目。另外,在按下了删除按钮84时,能够在作业项目列表71内删除选择中的项目。图10是示出作业项目列表71的一个例子的图。
在选择了作业项目列表71的作业项目时,如图10所示,在相应作业项目名称显示下划线。在图10中,对连接器C的栏标上了下划线。由此,明确示出选择中的项目,在作业部位显示72、外观显示73、作业要领显示74、目标图像75、作业指示显示77、判定结果显示78中更新已设定的内容。在此,在作业部位显示72以及作业指示显示77中,进行与图4中的作业部位显示52以及作业指示显示57同样的显示。另外,作为判定结果显示78的一个例子,例如有以下例子。
设定中评价值:判定阈值:50以下
此时,在按下了作业部位显示72或者作业指示显示77时,能够从与接线检查作业支援系统主体10连接的键盘进行输入而编辑各栏的文本,能够在输入回车键时更新设定。另外,在点击了外观显示73、作业要领显示74时,能够打开文件选择会话,变更显示的图像。在按下了测试按钮80时,仅关于当前选择中的作业项目的设定内容,作业人员47利用照相机终端12对目标图像75进行拍摄,从而能够开始图6的作业而进行动作测试。在按下了确定按钮81时,将设定内容保存到存储部45。在按下了取消按钮82时,放弃设定内容而返回到图4的作业指示画面50。
接下来,说明遮盖范围的设定以及激光指示器的交点目标位置的设定等目标设定。在按下了图9的设定画面70中的目标设定按钮79时,显示图10的目标设定会话105。在该目标设定会话105中,在遮盖范围设定显示90中显示目标图像75,进而在目标图像75上重叠显示如遮盖设定部位103所示的遮盖范围的描绘内容。在图11所示的例子中,示出对连接器设定遮盖范围(遮盖设定部位103)。然后,在按下了拍摄按钮100时,将遮盖范围的描绘内容全部清除,将从照相机终端12获取到的图像设定为目标图像75,更新显示内容。
在按下了遮盖描绘按钮91~93后,如果利用触摸面板或鼠标光标以在遮盖范围设定显示90上按下的状态进行描摹,则能够描绘遮盖范围。由此,能够制作遮盖范围数据E。在按下了遮盖消去按钮94后同样地如此时,能够消去遮盖范围。遮盖描绘按钮91~93以及遮盖消去按钮94所显示的标记的大小为描绘和消去遮盖范围时的线的粗度。即,在按钮91、92、93中圆的大小依次变大,线的粗度以该顺序变大。进而,在按下了判定阈值显示97时,能够在作为8比特值的0~255之间设定判定阈值的数值。另外,判定阈值的大小是各作业人员47在各现场主观地确定的。
因为遮盖范围的设定按照设定作业人员的判断而进行,所以存在设定内容不合适的情况,有时即使将右侧激光指示器23以及左侧激光指示器24的交点对准,也无法准确地判定。因此,在设定目标图像75、遮盖范围、判定阈值之后,按下更新按钮98来更新良好范围图显示95。然后,如图11所示的良好范围104那样,示出在瞄准目标图像75的哪个附近而将右侧激光指示器23以及左侧激光指示器24的交点对准的话会判定为OK(良好)。良好范围图显示95将目标图像75自身用作输入图像。即,目标图像75是拍摄标准的接线状态而得到的图像,所以判定结果必为OK。然后,使目标图像75沿上下左右方向平行移动,通过图像处理部44进行模拟处理,将使图像处理部44实际进行判定而为OK(良好)的平行移动处理的范围重叠描绘于目标图像75,得到良好范围104。另外,还能够使图像处理部44进行判定而求出良好范围104的外切矩形,在良好范围值显示96中显示其尺寸。即,作业人员只要以在良好范围104内使右侧激光指示器23以及左侧激光指示器24的交点对准的方式操作照相机终端12即可。
设定作业人员通过设定部49将利用照相机终端12拍摄到的正确的接线状态的目标图像数据D、遮盖范围数据E以及判定阈值设定到存储部45,与判定阈值一起登记到存储部45。然后,设定部49针对平行移动和放大缩小目标图像数据D而生成的多个图像数据,使图像处理部44实际进行判定。示出根据其判定结果而图示出成为良好的范围或者成为不良的范围的良好与否范围图,或者在良好范围值显示96中显示良好与否范围评价值。通过以上,设定作业人员能够确认良好与否范围图或者良好范围值显示96,判断所设定的目标图像数据D、遮盖范围数据E以及判定阈值是否为误判定的可能性低的妥当的数据,所以能够预防由于不合适的设定内容而进行误判定。
设定作业人员通过确认这些良好范围图显示95以及良好范围值显示96,能够识别使照相机终端12移动到的位置的可容许的范围和误判定的可能性。例如,如果良好范围104过小,则照相机终端12的位置的可容许的范围变小,即使作业人员使照相机终端12移动,也总是不会判定为OK(良好)而花费作业时间。另外,在良好范围104过大或者存在2个部位以上的情况下,进行误判定的可能性变高。在按下了清零按钮99时,清除良好范围图显示95以及良好范围值显示96。在按下了确定按钮101时,设定遮盖范围,返回到设定画面70。在按下了取消按钮102时,放弃遮盖范围的编辑内容,返回到设定画面70。
实施方式2.
图12是示出实施方式2的接线检查作业支援系统的实施状况的概念图。在上述实施方式1中,如图1所示,通过线缆11等连接接线检查作业支援系统主体10和照相机终端12,相对于此,在本实施方式中,如图12所示,设置有接线检查作业支援系统主体和照相机终端成为一体的接线检查作业支援系统主体200。图12示出照相机终端内置有电池的情况,但也可以连接电源线缆。
图13的(A)是示出照相机终端的前面部的立体图,图13的(B)是示出照相机终端的背面部的立体图。接线检查作业支援系统主体200如图13所示在照相机终端的背面面板30具备触摸面板显示器201,将作业指示画面50以及设定画面70或者其一部分显示于该显示器。例如,在显示器的显示区域窄的情况下,也可以仅显示目标图像显示55和判定结果显示58等。
另外,本发明能够在该发明的范围内自由地组合各实施方式、或者对各实施方式适当地进行变形、省略。

Claims (4)

1.一种接线检查作业支援系统,具备:
照相机终端,能够拍摄检查部位;
存储部,保持用于在图像处理中使用的拍摄标准的接线状态而得到的目标图像数据、包括与所述检查部位的形状对应的遮盖范围的遮盖范围数据及判定阈值;
图像处理部,通过进行所述目标图像数据与所述遮盖范围数据的逻辑运算而求出目标特征量,并且通过进行改变所述遮盖范围数据的旋转角度而从所述照相机终端获取到的图像数据和所述遮盖范围数据的逻辑运算,针对每个所述旋转角度计算特征量,将与所述目标特征量的差最小的所述旋转角度下的所述特征量和所述目标特征量的差作为评价值,比较该评价值和所述判定阈值,从而进行接线作业的判定;以及
判定结果通知部,通知来自所述图像处理部的判定结果。
2.根据权利要求1所述的接线检查作业支援系统,其中,
所述接线检查作业支援系统设置有距离确认部,所述距离确认部用于设定所述检查部位与所述照相机终端之间的适当的距离及所述照相机终端的位置。
3.根据权利要求2所述的接线检查作业支援系统,其中,
通过使从多个激光指示器射出的激光的交点对准于所述检查部位的预定的位置来定位所述照相机终端。
4.根据权利要求3所述的接线检查作业支援系统,其中,
使所述图像处理部对平行移动和放大缩小所述目标图像数据而生成的多个图像数据进行模拟判定,根据该判定结果求出所述激光的交点的范围。
CN201780003964.3A 2016-02-01 2017-01-24 接线检查作业支援系统 Active CN108701346B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016016948 2016-02-01
JP2016-016948 2016-02-01
PCT/JP2017/002373 WO2017135107A1 (ja) 2016-02-01 2017-01-24 結線検査作業支援システム

Publications (2)

Publication Number Publication Date
CN108701346A CN108701346A (zh) 2018-10-23
CN108701346B true CN108701346B (zh) 2021-11-30

Family

ID=59499760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780003964.3A Active CN108701346B (zh) 2016-02-01 2017-01-24 接线检查作业支援系统

Country Status (3)

Country Link
JP (1) JP6516884B2 (zh)
CN (1) CN108701346B (zh)
WO (1) WO2017135107A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109342449A (zh) * 2018-10-24 2019-02-15 格力电器(武汉)有限公司 检测设备及检测方法
KR102191704B1 (ko) * 2019-06-05 2020-12-17 (주)미래테크원 머신비전기반 하네스 불량 검사방법
JP2021148484A (ja) * 2020-03-17 2021-09-27 中国電力株式会社 計器配線チェック装置、計器配線チェック方法および計器配線チェックプログラム
JP7558514B2 (ja) 2021-03-22 2024-10-01 株式会社中電工 結線作業支援装置
WO2024043019A1 (ja) * 2022-08-24 2024-02-29 テルモ株式会社 接続状態判定方法及び接続状態判定システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6370769B1 (en) * 1999-10-27 2002-04-16 Avaya Technology Corp. Automated assembly of connector to cable having twisted wire pairs
JP3533492B2 (ja) * 1999-07-13 2004-05-31 住友電装株式会社 ワイヤハーネス外観検査装置
CN101074932A (zh) * 2006-05-16 2007-11-21 三菱电机株式会社 图像检查方法以及使用了该方法的图像检查装置
CN101718551A (zh) * 2009-12-17 2010-06-02 北京理工大学 柔性线缆的运动测量方法及测量装置
CN102100135A (zh) * 2008-07-14 2011-06-15 松下电器产业株式会社 组件安装系统
JP2011130652A (ja) * 2009-02-19 2011-06-30 Hitachinaka Techno Center:Kk ケーブル結線チェックシステムと識別タグ製作方法及び関係する装置
CN102507592A (zh) * 2011-11-01 2012-06-20 河海大学常州校区 表面缺陷仿蝇视觉在线检测装置及检测方法
CN103163150A (zh) * 2013-03-18 2013-06-19 长飞光纤光缆有限公司 一种线缆表面缺陷在线检测装置及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015061339A (ja) * 2013-09-17 2015-03-30 株式会社日立製作所 結線作業支援システム
JP2015171184A (ja) * 2014-03-05 2015-09-28 茂 森 ケーブル結線確認装置及び方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3533492B2 (ja) * 1999-07-13 2004-05-31 住友電装株式会社 ワイヤハーネス外観検査装置
US6370769B1 (en) * 1999-10-27 2002-04-16 Avaya Technology Corp. Automated assembly of connector to cable having twisted wire pairs
CN101074932A (zh) * 2006-05-16 2007-11-21 三菱电机株式会社 图像检查方法以及使用了该方法的图像检查装置
CN102100135A (zh) * 2008-07-14 2011-06-15 松下电器产业株式会社 组件安装系统
JP2011130652A (ja) * 2009-02-19 2011-06-30 Hitachinaka Techno Center:Kk ケーブル結線チェックシステムと識別タグ製作方法及び関係する装置
CN101718551A (zh) * 2009-12-17 2010-06-02 北京理工大学 柔性线缆的运动测量方法及测量装置
CN102507592A (zh) * 2011-11-01 2012-06-20 河海大学常州校区 表面缺陷仿蝇视觉在线检测装置及检测方法
CN103163150A (zh) * 2013-03-18 2013-06-19 长飞光纤光缆有限公司 一种线缆表面缺陷在线检测装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Modular Sensor for Detecting Cable Faults of Cable-Stayed Bridge;Xie Qi 等;《2008 15th International Conference on Mechatronics and Machine Vision in Practice》;20090113;第35-39页 *
基于机器视觉的电力电缆检测机器人的研究;苏春芳 等;《电脑知识与技术》;20131015;第9卷(第29期);第6615-6617页 *

Also Published As

Publication number Publication date
JPWO2017135107A1 (ja) 2018-06-28
CN108701346A (zh) 2018-10-23
JP6516884B2 (ja) 2019-05-22
WO2017135107A1 (ja) 2017-08-10

Similar Documents

Publication Publication Date Title
CN108701346B (zh) 接线检查作业支援系统
EP2618135B1 (en) Method for registering inspection standard for soldering inspection and board inspection apparatus thereby
US20200043157A1 (en) Inspection Apparatus, Inspection Method, And Program
CN104202517A (zh) 图像处理装置
JP2018530800A (ja) 電気開閉器の組立方法並びにそのような開閉器の組み立てを簡素化する組立補助装置
EP0526080A2 (en) Teaching method and system for mounted component inspection
JP4080514B2 (ja) 検査装置、検査方法、検査プログラムおよびコンピュータ読み取り可能な記録媒体
JP6016760B2 (ja) 作業確認システム
CN111609933B (zh) 分光检查方法、图像处理装置以及机器人系统
JP2014093870A (ja) 配電盤ケーブル結線確認装置と画像処理システム
WO2017018788A1 (ko) 기판 검사 장치 및 방법
EP3846121A1 (en) Inspection system, information processing apparatus, and carrier means
US8712164B2 (en) Image processing apparatus, image registering method, program causing computer to execute image registering method, and recording medium in which program is recorded
JP6445935B2 (ja) 作業支援装置、作業支援方法及び作業支援プログラム
CN118354045A (zh) 记录介质、点的选择方法和信息处理装置
JP2018098028A (ja) 布線装置
JP2020160527A (ja) 文字認識装置
KR101241036B1 (ko) 인쇄회로기판의 외관검사시스템
EP2849553B1 (en) Data creation device for mounting and inspection and data creation method for mounting and inspection
JP4507785B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP2007033126A (ja) 基板検査装置並びにそのパラメータ調整方法およびパラメータ調整装置
JP2008218737A (ja) 画像処理装置
US20240420338A1 (en) Component inspection method and component inspection device
CN116930207B (zh) 展示区与实时区视野同步放大的显示方法
JP2020057298A (ja) 判定装置、判定方法及び判定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant