KR20040103382A

KR20040103382A - 로봇 시스템

Info

Publication number: KR20040103382A
Application number: KR1020040037999A
Authority: KR
Inventors: 와따나베아쯔시; 미즈노준
Original assignee: 화낙 가부시끼가이샤
Priority date: 2003-05-29
Filing date: 2004-05-28
Publication date: 2004-12-08
Also published as: TWI254662B; JP2004351570A; CN1573628A; US7424341B2; CN100375939C; EP1481772A2; JP4167940B2; TW200505645A; US20040243282A1

Abstract

로봇의 교시 작업 등에 있어서의 목표점으로의 접근/이격 동작의 효율화.

시각 센서의 카메라를 엔드 이펙터의 선단부가 시야에 들어오도록 로봇에 탑재하고, 모니터 화면 상에서 엔드 이펙터의 선단부와 대상물 상의 목표점을 지정한다. 어프로치 키를 누르면 목표 위치를 화상 상에서 검출하여(스텝 H1), 엔드 이펙터의 선단부 위치와의 차를 (A)로 계산한다(스텝 H2). 차가 허용 범위 내인지 여부를 (B)에서 체크하고(스텝 H3), 결과에 따라서 (C) 또는 (D)에서 로봇의 이동량을 계산한다(스텝 H4, H5). 로봇을 이동시킨다(스텝 H6). 어프로치 키를 뗄 때까지 처리는 반복된다. 리트리트 키를 누르면, 로봇은 대상물로부터 떨어지도록 이동한다. 거리 센서를 이용하여, 로봇을 정지시켜도 된다.

Description

로봇 시스템 {ROBOT SYSTEM}

본 발명은 시각 센서를 이용하여 로봇을 이동시키는 로봇 시스템에 관한 것으로, 더욱 자세하게 말하면 로봇에 탑재된 엔드 이펙터와 대상물의 각 소정 부위를 시야에 들어오게 하여 양 소정 부위의 접근 및 이격 등을 자동적으로 행할 수 있도록 한 로봇 시스템에 관한 것이다.

통상, 로봇의 교시 작업은 작업자가 교시 조작반의 키를 눌러 로봇을 수동조작으로 이동시키고(이른바, 조그 이동), 로봇에 부착된 엔드 이펙터의 선단부를 워크 상의 교시 대상 위치로 이동시켜 이동 달성시의 로봇 위치를 로봇(로봇 제어 장치)에 기억시킴으로써 행해진다. 이 작업에 있어서는, 작업자는 로봇 동작의 기준이 되는 좌표계(이하, 로봇 좌표계라 함)를 항상 의식하여 조작을 행할 필요가 있다.

우선, 엔드 이펙터를 교시 대상 위치로 근접시키기 위해서는, 로봇 좌표계의 XYZ 방향 중, 어느 쪽의 방향이 워크에 접근하는 방향인지를 생각한다. 그런데, 교시 대상 위치를 향하는 방향은 로봇 좌표계의 XYZ 방향 중 어느 하나와 일치하고 있다고 단언할 수 없으므로, 일반적으로는 X 방향, Y 방향, Z 방향으로 각각에 적당하다고 생각되는 작은 거리만큼 이동시키는 작업을 몇 번이나 반복하여 엔드 이펙터 선단부를 교시 대상 위치에 도달시키고 있다.

또한, 엔드 이펙터를 워크로부터 멀리 떨어뜨려 놓을 때도 마찬가지로 로봇 좌표계를 정확하게 의식해야만 한다. 왜냐하면, 만약 작업자가 로봇 좌표계의 방향을 잘못 알고 있으면, 작업자는 엔드 이펙터를 워크로부터 멀리 떨어뜨리는 키를 누르고 있는 셈이었지만, 실제로는 반대로 워크에 접근하여 충돌하는 등의 사태를 초래할 가능성이 있다.

또 본 발명에 관련하는 선행 기술 문헌으로서는, 예를 들어 하기 특허 문헌 1이 있다. 상기 특허 문헌 1에는, 시각 센서를 이용하여 로봇의 공구 선단부점을 교시 대상 위치에 도달시키는 기술이 개시되어 있지만, 후술하는 본 발명의 특징에 대해서는 개시되어 있지 않다.

[특허 문헌 1]

일본 특허 공개 평10-49218호 공보

상술한 바와 같이, 로봇의 교시 작업은 시행 착오를 반복하기 때문에, 매우 번거로운 작업으로 되어 있다. 그로 인해, 작업자에게 큰 부담을 주어 숙련자가 아니면 작업 시간을 단축할 수 없었다. 그래서 본 발명의 목적은, 교시 작업과 같이 대상물의 소정 부위로 엔드 이펙터의 소정 부위를 접근시키기 위한 로봇 이동이나 그곳으로부터 이격시키기 위한 로봇 이동을, 작업자에게 큰 부담을 주는 일 없이 효율적으로 행할 수 있도록 하기 위한 기술을 제공하는 데 있다.

도1은 본 발명의 실시 형태에 관한 로봇 시스템의 전체 배치를 설명하는 도면.

도2는 화면 상에 표시되는 화상과, 제1 부위(엔드 이펙터의 소정 부위) 및 제2 부위(대상물의 소정 부위)의 지정에 대해 설명하는 도면.

도3은 접근 동작을 위한 제어의 일예의 개요를 설명하는 흐름도.

도4는 접근 동작을 위한 제어의 다른 예의 개요를 설명하는 흐름도.

도5는 시선 방향으로의 벡터에 대해 설명하는 도면.

도6은 접근 동작을 위한 제어의 다른 예의 개요를 설명하는 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

1 : 로봇(로봇 기구부)

2 : 용접 토치(엔드 이펙터)

3 : 카메라(화상 취득 수단)

4 : 거리 센서(또는 접촉 센서)

5 : 와이어

6 : 와이어의 선단부(제1 부위)

7 : 목표점(제2 부위)

10 : 로봇 제어 장치

20 : 교시 조작반

21 : 화면(터치 패널이 달린 표시 스크린)

22 : 어프로치 키

23 : 리트리트 키

30 : 대상물(워크)

31, 32 : 워크 상의 선분의 단부점

33 : 워크 상의 선분(특징부)

(a) : 플랜지 좌표계

(b) : 시각 센서 좌표계

(c) : 시선

(d) : 시선 벡터

본 발명은 시각 센서의 화상 취득 수단(일반적으로는 카메라)을, 그 시야에 로봇의 엔드 이펙터의 소정 부위(전형적으로는 엔드 이펙터의 선단부)가 비치도록 설정하고, 엔드 이펙터와 대상물의 소정 부위(전형적으로는 교시 대상 부위)가 화상 취득 수단에서 얻은 화상 중에서 접근 내지 중첩되도록 제어하는 기능, 혹은 그에 덧붙여 상기 화상 중에서 이격하도록 제어하는 기능을 로봇 시스템에 갖게 하여 상기 과제를 해결한 것이다.

이들 기능을 사용하면, 작업자는 로봇 좌표계를 의식할 필요가 없어진다. 또한, 예를 들어 1개의 키를 누르는 것만으로 엔드 이펙터를 교시 대상 위치로 근접시킬 수 있고, 또한 멀리 떨어뜨릴 때에도 키를 1개 누르는 조작만으로 완료되는 시스템을 구축하는 것이 가능해진다. 이에 의해, 교시 작업 시간의 단축 및 교시작업의 간단화를 도모할 수 있다. 또, 교시 작업 중의 조작 오류에 의한 엔드 이펙터, 워크, 지그, 주변 기기 등으로의 접촉 가능성을 낮추는 것이 가능해진다.

구체적으로 말하면, 본 발명은 우선 엔드 이펙터를 부착한 로봇과, 상기 엔드 이펙터의 소정 부위인 제1 부위와 로봇의 주변에 있는 대상물의 소정 부위인 제2 부위를 동시에 시야에 들어오게 할 수 있는 화상 취득 수단을 갖는 시각 센서와, 상기 로봇에 양 부위의 3 차원 공간 내에서의 접근을 지령하기 위한 접근 지령 수단을 포함하는 로봇 시스템에 적용된다.

그리고 로봇 시스템은, 상기 시각 센서에 의해 화상 취득 수단의 시야 내에 상기 제1 부위와 상기 제2 부위를 파악하여 상기 제1 부위의 화상 상에서의 위치 및 상기 제2 부위의 화상 상에서의 위치를 인식하고, 상기 제1 부위와 상기 제2 부위를 파악한 화상 상에서의 양 부위의 위치 관계를 인식하는 수단과, 상기 인식된 화상 상에서의 상기 양 부위의 위치 관계로부터, 상기 화상 상에서 상기 제1 부위를 상기 제2 부위로 근접시키기 위해 필요한 로봇의 제1 이동 지령을 산출하는 수단과, 상기 접근 지령에 따라서 3 차원 공간 상에서 상기 제1 부위를 상기 제2 부위로 근접시키기 위해 필요한 로봇의 제2 이동 지령을 산출하는 수단과, 상기 제1 이동 지령과 상기 제2 이동 지령을 합성한 제1 합성 이동 지령을 구하고, 상기 합성 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단과, 상기 접근 지령 수단에 대해 양 부위의 접근 지령이 지령되어 있는 동안, 상기 양 부위의 위치 관계의 인식, 상기 제1 이동 지령의 산출, 상기 제2 이동 지령의 산출 및 상기 제1 합성 이동 지령을 기초로 하는 로봇의 이동을 반복하는 수단을 구비한다.

혹은, 상기 화상 취득 수단의 시야 내에 상기 제1 부위를 들어오게 하는 대신에, 시야의 소정의 화소 위치를 상기 제1 부위의 화상 상의 위치로 할 수도 있다.

또 로봇 시스템은, 상기 로봇에 양 부위의 3 차원 공간 내에서의 이격을 지령하는 이격 지령을 입력하기 위한 이격 지령 수단과, 상기 이격 지령에 따라서 3 차원 공간 상에서 상기 제1 부위를 상기 제2 부위로부터 이격시키기 위해 필요한 로봇의 제3 이동 지령을 산출하는 수단과, 상기 제1 이동 지령과 상기 제3 이동 지령을 합성한 제2 합성 이동 지령을 구하고, 상기 합성 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단과, 상기 이격 지령 수단에 대해 양 부위의 이격의 지령이 지령되어 있는 동안, 상기 양 부위의 위치 관계의 인식, 상기 제1 이동 지령의 산출, 상기 제3 이동 지령의 산출 및 상기 제2 합성 이동 지령을 기초로 하는 로봇의 이동을 반복하는 수단을 더 구비할 수 있다.

여기서, 로봇 시스템에 상기 제1 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단과, 상기 화상 상에서의 상기 양 부위의 위치 관계가 소정의 조건을 충족시켰는지 여부를 판단하는 판단 수단과, 상기 접근 지령 수단에 대해 지령이 지령되면 상기 제1 합성 이동 지령을 기초로 하는 로봇의 이동의 반복을 행하기 전에 상기 양 부위의 위치 관계의 인식, 상기 판단 수단에 의한 판단, 제1 이동 지령의 산출 및 상기 제1 이동 지령에 의한 상기 로봇의 이동을, 상기 판단 수단에 의해 상기 조건이 충족되었다고 판단될 때까지 반복하는 수단을 더 마련할 수도 있다.

마찬가지로, 로봇 시스템에 상기 제1 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단과, 상기 화상 상에서의 상기 양 부위의 위치 관계가 소정의 조건을 충족시켰는지 여부를 판단하는 판단 수단과, 상기 이격 지령 수단에 대해 지령이 되면 상기 제2 합성 이동 지령을 기초로 하는 로봇의 이동의 반복을 행하기 전에 상기 양 부위의 위치 관계의 인식, 상기 판단 수단에 의한 판단, 제1 이동 지령의 산출 및 상기 제1 이동 지령에 의한 상기 로봇의 이동을, 상기 판단 수단에 의해 상기 조건이 충족되었다고 판단될 때까지 반복하는 수단을 더 마련할 수도 있다.

또, 여기서 제1 이동 지령을 기초로 하는 로봇 이동의 완료 후에, 제1 또는 제2 합성 이동 지령을 기초로 하는 로봇 이동에 이어서, 접근 지령 수단에 대해 지령이 되는 경우에는 상기 제2 이동 지령을 기초로 하는 로봇 이동의 반복을 행하고, 이격 지령 수단에 대해 지령이 되는 경우에는 상기 제3 이동 지령을 기초로 하는 로봇 이동의 반복을 행하도록 해도 좋다.

이상의 발명의 각 태양에 있어서, 상기 제2 이동 지령을 산출하는 수단은 접근 지령이 지령된 경우에 상기 화상 취득 수단의 광축 방향을 기초로 하여 상기 엔드 이펙터를 이동시키기 위한 이동 정보의 산출을 행하는 것이라도 좋다. 마찬가지로, 상기 제3 이동 지령을 산출하는 수단은 이격 지령이 지령된 경우에 상기 화상 취득 수단의 광축 방향과 반대 방향을 기초로 하여 상기 엔드 이펙터를 이동시키기 위한 이동 정보의 산출을 행하는 것이라도 좋다.

혹은, 상기 제2 이동 지령을 산출하는 수단은 접근 지령이 지령된 경우에 상기 화상 취득 수단으로부터 상기 제2 부위를 향하는 시선 방향을 기초로 하여, 상기 엔드 이펙터를 이동시키기 위한 이동 정보의 산출을 행하는 것이라도 좋다. 또한, 상기 제3 이동 지령을 산출하는 수단은 이격 지령이 지령된 경우에 상기 화상 취득 수단으로부터 상기 제2 부위를 향하는 시선 방향과 반대 방향을 기초로 하여, 상기 엔드 이펙터를 이동시키기 위한 이동 정보의 산출을 행하는 것이라도 좋다.

더욱 간편한 발명의 형태로서는, 시야 내에서만 접근을 행하는 로봇 시스템도 생각할 수 있다. 그 경우, 로봇 시스템은 엔드 이펙터를 부착한 로봇과, 상기 엔드 이펙터의 소정 부위인 제1 부위와 로봇의 주변에 있는 대상물의 소정 부위인 제2 부위를 동시에 시야에 들어오게 할 수 있는 화상 취득 수단을 갖는 시각 센서와, 상기 로봇에 양 부위의 2 차원 시각적인 접근을 지령하기 위한 2 차원 시각적 접근 지령 수단을 포함한다.

그리고, 상기 시각 센서에 의해 화상 취득 수단의 시야 내에 상기 제1 부위와 상기 제2 부위를 파악하여 상기 제1 부위의 화상 상에서의 위치 및 상기 제2 부위의 화상 상에서의 위치를 인식하고, 상기 제1 부위와 상기 제2 부위를 파악한 화상 상에서의 양 부위의 위치 관계를 인식하는 수단과, 상기 인식된 화상 상에서의 상기 양 부위의 위치 관계로부터, 상기 화상 상에서 상기 제1 부위를 상기 제2 부위로 근접시키기 위해 필요한 로봇의 제4 이동 지령을 산출하는 수단과, 상기 제4 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단과, 상기 2 차원 시각적 접근 지령 수단에 대해 양 부위의 2 차원 시각적 접근의 지령이 되어 있는 동안, 상기 양 부위의 위치 관계의 인식, 상기 제4 이동 지령의 산출 및 상기 로봇의 이동을 반복하는 수단이 로봇 시스템에 마련된다.

또한, 이 변형 형태로서 엔드 이펙터를 부착한 로봇과, 상기 엔드 이펙터의 소정 부위인 제1 부위와 로봇의 주변에 있는 대상물의 소정 부위인 제2 부위를 동시에 시야에 들어오게 할 수 있는 화상 취득 수단을 갖는 시각 센서와, 상기 로봇에 상기 제1 부위의 2 차원 시각적인 이동을 지령하기 위한 2 차원 시각적 이동 지령 수단을 포함하는 로봇 시스템에, 상기 시각 센서에 의해 화상 취득 수단의 시야 내에 상기 제1 부위와 상기 제2 부위를 파악한 상태에 있어서, 상기 제1 부위와 상기 제2 부위를 파악한 화상 상에서의 상기 제1 부위의 2 차원 시각적 이동 방향을 지정하는 수단과, 상기 지정된 방향으로 상기 제1 부위를 이동시키기 위해 필요한 로봇의 제5 이동 지령을 산출하는 수단과, 상기 제5 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단을 마련한 것도 생각할 수 있다.

화상 취득 수단의 시야 내에, 로봇의 엔드 이펙터의 소정 부위를 들어오게 하고 있는지 여부에 좌우되지 않는 로봇 시스템도 생각할 수 있다. 이 경우, 화상 취득 수단의 시야 내에는 대상물의 소정 부위를 들어오게 하여, 화상 상에서 상기 소정 부위의 2 차원 시각적 이동 방향을 지정하는 수단과, 상기 지정된 방향으로 상기 소정 부위를 화상 상에서 이동시키기 위해 필요한 로봇의 제6 이동 지령을 산출하는 수단과, 상기 제6 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단을 마련한 것을 생각할 수 있다.

혹은, 화상 취득 수단의 시야 내에서의 대상물의 소정 부위의 2 차원 시각적 이동 방향을 지정하는 것이 아니라, 화상 취득 수단의 시야 그 자체의 2 차원 시각적 이동 방향을 지정하는 수단과, 상기 지정된 방향으로 화상 취득 수단의 시야를 이동시키기 위해 필요한 로봇의 제7 이동 지령을 산출하는 수단과, 상기 제7 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단을 마련한 것을 생각할 수 있다.

또한, 상기 제6 및 제7 이동 지령은 로봇의 동작의 기준이 되는 좌표계를 기초로 하여 이동하도록 해도 좋고, 화상 취득 수단에 설정된 좌표계를 기초로 하여 이동하도록 해도 좋다.

이상 어떠한 발명의 형태에 있어서도, 상기 시각 센서의 화상 취득 수단에 의한 화상을 표시하는 표시 수단을 구비하고, 상기 화상 상에서 상기 제1 부위와 상기 제2 부위를 연결하는 선분을 상기 화상에 겹쳐 상기 표시 수단을 이용하여 표시하는 것이 바람직하다. 또한, 상기 로봇에 거리 센서 또는 접촉 센서를 탑재하고, 접근 조작이 행해져 있을 때에 상기 거리 센서 또는 접촉 센서에 의해, 상기 제2 부위에 대해 상기 제1 부위가 목표가 되는 거리에 근접한 것을 검출하면, 상기 로봇을 정지시키도록 해도 좋다. 또한, 여기서 상기 로봇이 정지하였으면, 그 위치를 교시 위치로서 기억하도록 해도 좋다. 또, 이상의 각 케이스에 있어서 원리적으로는 상기 화상 취득 수단은 반드시 로봇에 탑재될 필요는 없지만, 실제상으로는 엔드 이펙터를 항상 시야에 들어오게 하는 것이나 엔드 이펙터가 대상물에 접근하였을 때에 시각 센서의 검출 정밀도를 향상시킬 수 있는 등의 관점으로부터, 로봇에 탑재되는 것이 바람직하다.

도1은, 본 발명의 실시 형태에 관한 로봇 시스템의 전체 배치를 설명하는 도면이다. 상기 도면에 도시한 바와 같이, 로봇 제어 장치(10)에 접속된 로봇의 본체 기구부(이하,「로봇」이라 함)(1)는 6축의 아크 용접 로봇으로, 그 아암 선단부에 엔드 이펙터로서 아크 용접 토치(2)가 부착되어 있다. 또, 그 근방(J6 플랜지)에는 시각 센서의 화상 취득 수단으로서 CCD 카메라(예를 들어 CCD 디지털 비디오 카메라)(3)가 부착되어 있다.

또한, 카메라(3)의 근방에는 로봇 제어 장치(10)에 접속된 거리 센서(4)가 부착되어, 카메라(3)의 시야에 대상물(예를 들어 부품 ; 이하 동일)(30)이 향하게 된 상태에서는, 항상 거리 센서(4)와 대상물(30) 사이의 거리가 측정되어 그 신호가 로봇 제어 장치(10)로 보내지고 있다. 또, 거리 센서(4) 대신에 접촉 센서를 부착하여 항상 접촉의 유무를 검출하여, 접촉의 유무를 나타내는 신호가 로봇 제어 장치(10)로 보내지도록 해도 좋다. 그 경우에는, 엔드 이펙터(2)의 선단부가 대상물(30)에 접촉하는 것과 거의 동시에, 접촉 센서로부터 로봇 제어 장치(10)로 「접촉」이라는 신호가 보내지도록 접촉 센서의 프로우브를 세트한다.

카메라(3)는 교시 조작반(20)에 접속되어 있고, 또한 교시 조작반(20)은 로봇 제어 장치(10)에 접속되어 있다. 이 교시 조작반(20)은, 본래의 기능(로봇의 수동 조작, 교시 데이터의 기억 및 편집 등) 외에 시각 센서의 화상 처리부 및 화상 표시부를 겸하는 것이다. 화상 표시부의 화면은 부호 21로 나타내고 있고, 여기서는 화면(21) 상에서의 포인트 지정이 가능한 터치 패널이 달린 표시 스크린을 사용하는 것으로 한다. 터치 패널 대신에, 커서 표시와 키 조작을 사용하여 포인트 지정을 할 수 있도록 해도 좋다. 어느 쪽이든, 작업자는 화면(21) 상에 임의로 점을 지정(포인팅)할 수 있도록 되어 있다.

본 발명의 특징에 관련하여, 교시 조작반의 조작 키군(전체 상세는 도시 생략)에는, 부호 22로 나타낸 어프로치 키(접근 조작 지령 입력 수단)(22) 및 리트리트 키(이격 지령 입력 수단)(23)가 포함되어 있다. 교시 조작반(20)에 내장된 화상 처리부는 카메라 인터페이스, CPU, 화상 메모리, 데이터 메모리 등을 갖고, 후술하는 화상 처리를 행하기 위한 소프트웨어를 장비한 것이다.

이 화상 처리부에 의한 처리 내용, 어프로치 키(22), 리트리트 키(23)의 기능과 사용 방법 등에 대해서는 후술한다. 로봇 제어 장치(10)는 CPU, 메모리, 교시 조작반 인터페이스 등을 구비한 주지의 것으로, 소프트웨어 처리에 의해 통상의 기능[프로그램 재생 동작 및 교시 조작반(20)으로부터의 지령을 기초로 하는 수동 동작] 외에 후술하는 태양에서 어프로치 키(22) 및 리트리트 키(23)의 조작 등에 관련된 이동 제어를 행하는 기능을 갖고 있다.

여기서, 본 발명을 적용하기 위해 한 가지 중요한 것은, 카메라(3)의 시야를 잡는 방법에 조건을 부여하고 있다는 것이다. 즉, 카메라(3)는 엔드 이펙터(아크 용접 토치)(2)의 소정 부위(제1 부위)를 시야에 들어오게 하도록 그 부착 위치와 자세가 정해져 있다. 엔드 이펙터(2)의 소정 부위는, 통상 공구 선단부점이 된다. 본 예에서는, 「토치로부터 나와 있는 와이어의 선단부」를 소정 부위(제1 부위)로한다.

단, 엔드 이펙터(2)가 카메라(3)의 시야에 들어가 있지 않는 경우도 생각할 수 있다. 예를 들어, 엔드 이펙터(2)로부터 일정 방향으로 일정 거리만큼 떨어진 공간 상의 1점이 공구 선단부점으로서 설정되는 경우이다. 이 경우에서도, 이 공간 상의 1점이 엔드 이펙터(2)의 소정 부위(제1 부위)가 된다고 생각할 수 있다. 그 경우, 카메라(8)의 시야에 엔드 이펙터(2) 그 자체는 들어가 있지 않지만, 엔드 이펙터(2)의 소정 부위(제1 부위)는 시야에 들어가 있게 된다. 또, 엔드 이펙터(2)가 부착되어 있지 않은 로봇에 대해서도, 공간 상의 어느 1점을 공구 선단부점이라 간주하여 제1 부위로 생각할 수도 있다. 이러한 경우를, 이후 「공구 선단부점이 공간 상의 1점에 있는 경우」라 한다.

또한, 카메라(3)에는 로봇의 위치 및 자세를 조정함으로써, 대상물(30)의 소정 부위(제2 부위)도 동일한 시야에 들어올 수 있는 크기를 갖고 있는 것을 사용하여, 용접 토치(2)의 화상만이 화면(21)을 점령하여 대상물(30)을 비출 수 없는 일이 없도록 한다. 대상물(30)의 소정 부위(제2 부위)는, 교시 작업시이면 통상 「교시 대상 부위(교시점으로서 희망하는 부위)」가 된다. 본 예에서는, 후술하는 바와 같이 화면(21) 상에서 대상물(30) 상의 교시 대상 부위(7)(도2 참조)를 대상물의 소정 부위(제2 부위)로서 지정한다.

이하, 상기한 시스템 구성과 기능을 이용하여, 용접 토치(2)의 와이어 선단부(엔드 이펙터의 소정 부위로서의 제1 부위)를 대상물(30) 상의 교시 대상 부위(대상물의 소정 부위로서의 제2 부위)에 대해 접근시키는 수순 및 이격시키는 수순동작에 대해, 그를 위한 준비 사항을 포함하여 설명한다.

우선, 사전의 준비로서 작업자는 화면(21) 상에서 엔드 이펙터의 소정 부위(제1 부위)를 지정한다. 이미 서술한 바와 같이, 여기서는 터치 패널 기능을 사용하여 와이어의 선단부를 지정한다. 도2에 도시한 바와 같이, 이 와이어(5)의 선단부(6)의 화면(21) 상에서의 좌표치(2 차원)를 p(x, y)라 한다. 이 p(x, y)의 값은 시각 센서에 설정되어 있는 시각 센서 좌표계 상에서의 값으로, 교시 조작반(20) 내의 메모리에 기억된다. 또 터치 패널 기능 대신에, 커서 표시와 키 조작을 사용하는 경우에는 그를 이용한다. 또한, 작업자에 의한 포인트 지정이 아니라 시각 센서의 화상 검출 처리에 의해 와이어(5)의 선단부(6)를 검출하여 p(x, y)를 결정해도 좋다.

또한 전술한 바와 같이, 공구 선단부점이 공간 상의 1점에 있는 경우라도 화면(21) 상에서 이 점이 표시될 화소를 지정하면 좋다. 이는, 전술한 제1 부위의 화상 상의 위치와 동등하며, 이를 좌표치 p(x, y)로 할 수 있다.

다음에 작업자는, 로봇(1)을 교시 조작반(20)을 이용한 수동 조작(조그 조작)으로 움직여, 워크(30) 전체가 화상에 비치도록 한다. 작업자는 교시 조작반(20)의 화면(21)에 표시된 화상을 보고, 로봇(1)을 이동시키고자 하는 부위(이하, 목표점이라 함)(7)를 지정한다. 도2 중에 도시한 바와 같이, 목표점(7)의 위치[화면(21) 상에서의 좌표치]는 q라 한다[단, 로봇(1)이 이동하면 q의 값은 변화하는 것에 주의].

또 상술한 바와 같이, 여기서는 목표점(7)은 워크(대상물)(30)의 소정 부위(제2 부위)로서 지정되는 것으로, 일단 전형적으로는 교시 대상 부위이다. 단, 일반적으로는 교시 대상 부위가 아니라도 좋다. 그리고, 이 제2 부위의 지정에 대해서도, 전술한 바와 같이 터치 패널 혹은 커서를 이용하여 실행할 수 있다. 혹은, 화상 검출 처리에 의해 검출되는 부위를 지정해도 좋다. 지정된 점의 데이터의 기억에 대해서는, 이후 시각 센서가 워크(30) 상에서 그 지정점(7)을 인식할 수 있도록 행한다. 예를 들어, 목표점을 지나 워크(30)의 특징부를 이루는 선분[점(31)과 점(32)의 사이](33) 상에서의 내분비(r)를 기억해 두면, 이후 로봇이 이동해도 선분(33)을 검출할 수 있는 한, 목표점(7)의 위치(시각 센서 좌표계 상)를 결정할 수 있다.

이와 같이 하여 목표점(7)이 결정되면, 화면(21) 상의 그 점(7)의 주위에 예를 들어 원이 묘화되어 목표점(7)의 위치가 화면(21) 상에서 명시된다. 이 때, 와이어(5)의 선단부(6)와 목표점(7)을 지나는 선분(화살표 부여도 가능)(8)을 화면(21) 상에 표시하여, 이제부터 행해지는 이동 방향을 시각적으로 표시해도 좋다.

이상의 준비 하에서 작업자가 접근 조작 키를 누르면, 로봇(1)은 와이어(5)의 선단부(제1 부위)(6)를 목표점(제2 부위)(7)을 향해 접근시키기 위해 이동을 개시한다. 이 동작은, 도3의 흐름도로 나타낸 수순으로 제어된다. 각 스텝의 요점은 다음과 같아진다.

스텝 S1 ; 시각 센서는 목표 위치[목표점(7)의 좌표치 q]를 화상 상에서 검출한다. 상술한 바와 같이, 목표 위치는 예를 들어 점(31)의 화상 상 좌표치,점(32)의 화상 상 좌표치 및 내분비(r)로부터 구할 수 있다. 또, 목표점(7) 자체가 특징점(예를 들어 흑점 및 소구멍 등)으로서 시각 센서에 의해 인식 가능하면 그에 따라도 좋다.

스텝 S2 ; 화상 상의 목표 위치와 엔드 이펙터의 선단부 위치의 차를 계산한다. 그 계산식은 도3 중에 (A)로 별도 기재하였다. 이에 의해, 화상 상에서의 목표점의 좌표치 q와, 화상 상에서의 와이어(5)의 선단부(6)의 좌표 p를 연결하는 벡터 v(x, y)가 구해지게 된다.

스텝 S3 ; 이동 지령을 작성하기 위해, 로봇의 이동량을 다음과 같이 하여 산출한다. 또, 계산식은 도3 중에 (B)의 스텝 G1, G2, G3으로 별도 기재하였다.

우선, 좌표 변환에 의해 상기 스텝 S2에서 구한 벡터 v(x, y)를 로봇의 플랜지 좌표계에서 표현된 벡터 V(x, y, z)로 변환한다(스텝 G1). 여기서, 화상은 2 차원의 정보밖에 부여하지 않으므로, 벡터 V(x, y, z)는 시각 센서의 광축에 대해 수직인 면에 있도록 하여 V(x, y, 0)로 한다. 또한, v(x, y) 대신에 그를 3 차원으로 확장한 벡터 v'(x, y, 0)에 대해 좌표계 변환을 행한다.

또, 이 좌표 변환에서 사용되는 변환 행렬(T)은 시각 센서의 좌표계(화면 좌표계)와 로봇의 플랜지 좌표계의 변환 관계를 나타내는 행렬로, 주지의 캐리브레이션에 의해 미리 구해져 있는 것으로 한다. 단, 이 변환 행렬(T)은 엄밀히 결정할 필요는 없으며, 로봇의 플랜지 좌표계에서의 X, Y 방향과 시각 센서의 좌표계(화면 좌표계)에서의 X, Y 방향을 관련짓는 것만으로 충분하다.

변환에 의해 얻어진 벡터 V(x, y, 0)에, 시각 센서의 광축 방향을 향하는 어느 일정한 크기(c)를 가진 벡터(0, 0, c)를 가하고, 이를 V'(x, y, z)로 한다(스텝 G2). 여기서 c는, 스텝와이즈한 접근 동작의 광축 방향 성분의 1회분의 접근량에 대응하는 양으로, 적당한 작은 값(예를 들어, 1 ㎜)으로 설정해 둔다.

이 V'(x, y, z)와 현재 교시 조작반(20)에서 지정되어 있는 로봇의 속도(Vr)로부터, 도3에 별도 기재되어 있는 식(B)에 의해 일정 주기(Ta)로 로봇이 이동할 수 있는 거리의 크기를 가진 벡터 V"(x, y, z)를 구한다(스텝 G3).

또, 이 계산에 의해 화상 상에서의 목표점(7)과 와이어(5)의 선단부(6) 사이의 거리가 큰 경우에는, 벡터 V"는 시각 센서의 광축에 대해 수직인 면 내에서의 큰 이동량을 나타내게 된다. 반대로 양 점(6, 7)이 접근하고 있을 때에는, 벡터 V"는 시각 센서의 광축에 평행한 방향에서의 큰 이동량을 나타내게 된다.

스텝 S4 ; 로봇을 벡터 V"(x, y, z)가 나타내는 양(3 차원 벡터량)만큼 현재 위치로부터 이동시키는 이동 지령을 작성하고, 각 축 서보 모터를 제어하여 로봇을 이동시킨다. 그리고, 로봇의 1 주기의 이동이 완료되면 스텝 S1로 돌아가, 이상의 제어를 반복한다. 또, 화면(21) 상에 표시되는 화상은 상기 이동 사이클에 맞추어 갱신되어 간다. 그로 인해, 로봇이 이동을 개시하면 목표점(7)은 화상 내에서 이동한다. 또, 엔드 이펙터의 선단부점(6)은 화면 상에서는 부동이다.

이상의 제어의 반복에 의해, 로봇은 화면 상에서 양 점(6, 7)이 겹쳐 p ＝ q가 되도록, 즉 화상 상에서 워크(30)의 소정 부위(목표점)(7)와 와이어(5)의 선단부(6)가 겹치는 방향으로 이동 제어되어 목표점(7)으로 근접해 간다. 작업자는 엔드 이펙터의 선단부(6)가 목표점(7)으로 근접해 가는 것을 감시하여, 충분히 근접하면 어프로치 키(22)를 뗌으로써 로봇의 이동을 정지시킬 수 있다. 나머지 미세 조정은, 적절하게 통상의 조그 이송으로 행할 수 있다.

물론, 스텝 S3에서 계산한 v(x, y)의 절대치가 거의 0으로 수렴되면[예를 들어, 작은 플러스값(ε)과 비교하여 판단], 처리를 종료하여 로봇을 정지시켜도 좋다. 단, 그 경우 양 점(6, 7)은 3 차원 공간 내에서는 어긋남이 남아 있을 가능성이 있다. 이 어긋남을 포착적인 조그 이동으로 메워, 양 점(6, 7)을 3 차원 공간 내에서 일치시켜도 좋다.

또는, 거리 센서(또는 접촉 센서)(4)의 모니터 결과를 이용하여, 로봇의 정지 시기를 정해도 좋다. 그 경우, 각 처리 사이클에 1회씩 「거리」 혹은 「접촉의 유무」를 확인하여, 만약 「거리 기준치 이하」 혹은 「접촉」으로 되어 있으면, 로봇 정지 지령을 출력시켜 알람 표시를 화면(21) 상에서 행하거나, 버저 기능을 이용하여 간섭을 확실하게 방지해도 좋다. 접촉 센서의 역할을 와이어(5) 자체에 부담시키도록 해도 좋다. 그 경우, 와이어(5)에 낮은 전압을 가하여, 와이어(5)의 선단부(6)가 워크(금속)(30)에 닿았을 때에 일어나는 전압 효과를 용접 전원(도시 생략) 내의 회로를 이용하여 행하면 좋다.

혹은, 광축 방향으로의 적극적 이동을 하지 않고 우선 화상 상에서 와이어 선단부와 목표점을 근접시킨 후, 실제 3 차원 공간 내에서의 목표점으로의 이동을 시각 센서를 이용하여 행하도록 해도 좋다. 이 경우, 상기 스텝 S3에서 이용한 벡터(0, 0, c)의 가산은 벡터 v(x, y)의 절대치[노름(norm)]가 미리 설정되는 오차 판정 허용치 이내가 된 후 행해지게 된다. 그 경우의 처리를 도4의 흐름도로 나타내었다. 각 스텝의 요점은 하기와 같다.

스텝 H1 ; 시각 센서는 목표 위치[목표점(7)의 좌표치 q]를 화상 상에서 검출한다. 검출 방법은 상술한 바와 같다.

스텝 H2 ; 화상 상의 목표 위치와 엔드 이펙터의 선단부 위치의 차를 계산한다. 그 계산식은 도4 중에 (A)로 별도 기재하였다. 이에 의해, 화상 상에서의 목표점의 좌표치 q와, 화상 상에서의 와이어(5)의 선단부(6)의 좌표치 p를 연결하는 벡터 v(x, y)의 절대값(노름)이 구해진다. 이 값은, 화면 상에서의 양 점(6, 7)(좌표치 p와 좌표치 q)의 어긋남의 크기를 나타내는 오차 지표가 된다.

스텝 H3 ; 스텝 S2에서 구한 오차 지표를 사용하여 오차가 허용 범위 내인지 여부를 체크한다. 판정식은 도4 중에 (B)로 별도 기재하였다. 허용 범위 내가 아니면 스텝 H4로 진행하고, 허용 범위 내이면 스텝 H5로 진행한다.

스텝 H4 ; 화상 상에서 양 점(6, 7)의 일치를 달성하기 위한 이동 지령을 작성하기 위해, 로봇의 이동량을 도4 중에 (C)로 별도 기재한 스텝 K1 내지 스텝 K3의 계산 수순으로 산출한다(이동량의 계산 1). 이 스텝 K1 내지 스텝 K3과 스텝 S3에 있어서의 스텝 G1 내지 스텝 G3을 비교하면, 스텝 H1은 스텝 G1과 동일하지만, 스텝 H2는 (0, 0, c)의 가산을 행하고 있지 않은 점에서 스텝 G2와 다르다. 스텝 H3은 스텝 G3과 형태는 동일하지만, 벡터 V'의 계산식(스텝 H2)이 다르다. 그 결과, 스텝 H4에서는 전술한 스텝 S3과는 달리, 「화상 상에서의 접근이 충분하지 않은 동안은 반드시 광축 방향으로의 일정량의 이동을 확보한다」라고 하는 수순을 받아들이지 않게 된다.

스텝 H5 ; 화상 상에서의 양 점(6, 7)의 일치를 본 후의 이동 지령을 작성하기 위해, 로봇의 이동량을 도4 중에 (C)로 별도 기재한 스텝 L1 내지 스텝 L3의 계산 수순으로 산출한다(이동량의 계산 2). 이 스텝 L1 내지 스텝 L3은, 이미 서술한 스텝 S3에 있어서의 스텝 G1 내지 스텝 G3과 동일하다. 전술한 바와 같이, 화상은 2 차원의 정보밖에 부여하지 않으므로, 벡터 V(x, y, z)는 시각 센서의 광축에 대해 수직인 면에 있도록 하여 V(x, y, 0)로 한다. 또한, v(x, y) 대신에 그를 3 차원으로 확장한 벡터 v'(x, y, 0)에 대해 좌표계 변환을 행한다. 이 좌표 변환에서 사용되는 변환 행렬(T)은, 스텝 S3에서 사용된 것과 동일하다

스텝 H6 ; 로봇을, 스텝 H4 혹은 스텝 H5에서 계산된 벡터 V"(x, y, z)가 나타내는 양(3 차원 벡터량)만큼 현재 위치로부터 이동시키는 이동 지령을 작성하고, 각 축 서보 모터를 제어하여 로봇을 이동시킨다. 그리고, 로봇의 1 주기의 이동이 완료되면 스텝 H1로 돌아가, 이상의 제어를 반복한다.

이 경우도, 화면(21) 상에 표시되는 화상은 상기 이동 사이클에 맞추어 갱신되어 간다. 그로 인해, 로봇이 이동을 개시하면 목표점(7)은 화상 내에서 이동한다[엔드 이펙터의 선단부점(6)은 화면 상에서 부동].

이상의 제어의 반복에 의해, 로봇은 화면 상에서 양 점(6, 7)이 겹친 후, 또한 3 차원 공간 내에서 워크(30)의 소정 부위(목표점)(7)와 와이어(5)의 선단부(6)가 겹치는 방향으로 이동 제어되어, 3 차원 공간 내에서 목표점(7)으로 근접해 간다.

이 경우에서도, 작업자는 엔드 이펙터의 선단부(6)가 목표점(7)에 근접해 가는 것을 감시하여, 충분히 근접하였으면 어프로치 키(22)를 뗌으로써 로봇의 이동을 정지시킬 수 있다. 나머지 미세 조정은, 적절하게 통상의 조그 이송으로 행할 수 있다.

또한, 거리 센서(또는 접촉 센서)(4)의 모니터 결과를 이용하여 로봇의 정지 시기를 정해도 좋다. 그 경우, 각 처리 사이클에 1회씩 「거리」 혹은 「접촉의 유무」를 확인하여, 만약 「거리 기준치 이하」 혹은 「접촉」으로 되어 있으면, 로봇 정지 지령을 출력시켜 알람 표시를 화면(21) 상에서 행하거나, 버저 기능을 이용하여 간섭을 확실하게 방지해도 좋다.

접촉 센서의 역할을 와이어(5) 자체에 부담시키도록 해도 좋다. 그 경우, 와이어(5)에 낮은 전압을 가하여 와이어(5)의 선단부(6)가 워크(금속제)(30)에 닿았을 때에 일어나는 전압 효과를 용접 전원(도시 생략) 내의 회로를 이용하여 행하면 좋다.

이상의 예에서는, 엔드 이펙터의 접근시에 시각 센서의 광축 방향으로의 스텝 이동을 이용하고 있다(도3에 있어서의 스텝 S3 ; 도4에 있어서의 스텝 S5를 참조). 그러나, 이는 일예이며 다른 태양도 채용할 수 있다. 예를 들어, 시각 센서(카메라)의 시선 방향으로의 스텝 이동을 이용해도 좋다. 그 경우, 광축 방향의 동작량을 나타내는 벡터(0, 0, c) 대신에, 시선 방향을 나타내는 벡터를 사용할 수 있다.

도5는, 이 시선 방향으로의 벡터에 대해 설명하는 도면이다. 도5에 있어서, 시선은 부호 (c)를 붙인 파선으로 나타내고, 시선 벡터(d)는 로봇 플랜지 좌표상(a)에서 나타내어지는 시각 센서의 초점 위치와 와이어 선단부 위치를 지나는 벡터가 된다. 이 시선 방향 벡터(d)를 상기 스텝 S3 혹은 스텝 H5에 있어서의 V(x, y, z)의 성분으로 분해한 것을 (a, b, c')라 한다.

이 (a, b, c')를 상기 스텝 S3에 있어서의 스텝 G2의 식, 혹은 스텝 H5에 있어서의 스텝 L2의 식에서 (0, 0, c) 대신 이용하여 각 스텝의 처리를 행하면, 「시각 센서의 광축 방향에 따른 접근」 대신에 「시각 센서의 시선 방향에 따른 접근」을 실현할 수 있다.

또 다른 제어 형태로서는, 상기 광축 방향 및 시선 방향의 벡터를 이동 지령에 가하지 않도록 함으로써, 시각 센서로부터 본 2 차원 좌표 상에서의 이동만을 행할 수도 있다. 로봇이 목표점에 가까운 위치에 있는 경우에는, 로봇과 워크와의 간섭을 피하기 위해 목표점으로의 접근 방향의 동작을 행하고자 하지 않는 경우도 있다. 그러한 경우에 이 제어 태양은 유용하다. 이는, 상기 스텝 S3에 있어서 벡터 (0, 0, c)를 가하지 않음으로써 실현할 수 있다.

또, 공구 선단부점이 공간 상의 1점에 있는 경우라도, 그 점의 화면(21) 상에서의 좌표치가 설정되어 있으면 동일하게 취급할 수 있다.

시각 센서로부터 본 2 차원 좌표계 상에서의 이동만을 행하는 경우에는, 다른 제어 태양을 취할 수도 있다. 예를 들어, 화면(21) 상에 엔드 이펙터(2)의 소정 부위(제1 부위)가 표시되어 있는지 여부에 상관없이, 대상물(30)의 소정 부위(제2 부위)의 화상 상에서의 위치를 지정된 방향으로 움직이도록 로봇을 이동시킬 수도 있다. 이는, 작업자가 화면(21) 상인 점을 지정하였을 때 그 점을 p(x, y)라함으로써 실현할 수 있다.

혹은, 화면(21) 상에 엔드 이펙터(2)의 소정 부위(제1 부위) 또는 대상물(30)의 소정 부위(제2 부위)가 표시되어 있는지 여부에 상관없이, 카메라(3)의 시야를 지정된 방향으로 움직이도록 로봇을 이동시킬 수도 있다. 이는, 작업자가 화면(21) 상인 점을 지정하였을 때 그 점을 q(x, y)라 하고, 화면(21)의 중심을 p(x, y)라 함으로써 실현할 수 있다.

이들 시각 센서로부터 본 2 차원 좌표계 상에서의 이동만을 행하는 경우에는, 로봇 이동의 기준이 되는 좌표계를 소정의 좌표계에 취할 수도 있고, 카메라(3)에 설정된 좌표계에 취할 수도 있다. 예를 들어, 소정의 좌표계로서 로봇이 배치된 평면을 XY 평면이라 하는 좌표계를 취할 경우, 로봇의 이동은 XY 평면에 평행한 면 내에 구속된 것이 된다. 한편, 카메라(3)에 설정된 좌표계를 기초로 하는 경우는, 로봇의 이동은 카메라(8)의 광축과 수직인 평면에 평행한 면 내에 구속된 것이 된다.

이상의 여러 태양 중 어느 하나를 이용하여, 엔드 이펙터 선단부(와이어 선단부)(6)를 목표점(7)에 필요한 정밀도로 일치시키면, 교시 조작반(20)의 교시 키를 눌러 이 점(로봇의 현재 위치)을 교시점으로서 로봇에 교시한다.

다음에, 작업자는 리트리트 키(23)를 눌러 엔드 이펙터(5)를 목표점(7)으로부터 멀리 떨어뜨린다. 그로 인한 처리는 다양하게 채용 가능하다. 예를 들어, 상기 준비 단계에서 대상물(30)을 시야에 들어올 수 있도록 한 위치를 기억시켜 두고, 그곳을 후퇴 목표점으로 하여 직선 이동을 시키면 된다.

그리고, 카메라 화상 내에 다음 목표점이 보이면 지금까지 설명해 온 방법으로 그 점을 새로운 목표점으로서 지정하고, 로봇을 다시 이동시켜 교시를 행하면 좋다. 만약, 목표점이 로봇의 후퇴 위치로부터 상당히 떨어져 있는 경우에는, 화면(21) 상에서 이동하고자 하는 방향을 지시함으로써(터치 센서를 그 방향으로 덧그림), 시각 센서로부터 본 2 차원 좌표 상에서의 이동만을 행할 수도 있다.

이는, 전술한 스텝 H4의 처리에서 행하는 이동 지령을 도6의 흐름도에 나타낸 바와 같이 로봇의 정지 지령이 입력될 때까지 계속함으로써 간단히 실현할 수 있다.

도6의 흐름도에 있어서, 스텝 U1은 상기 스텝 H1과 동일한 처리 스텝, 스텝 U2는 상기 스텝 H2와 동일한 처리 스텝, 스텝 U3은 상기 스텝 H4와 동일한 처리 스텝, 스텝 U4는 상기 스텝 H6과 동일한 처리 스텝이다(상세 설명은 반복하지 않음).

그리고, 스텝 U5는 로봇의 정지 지령의 입력을 체크하는 스텝에서 작업자가 교시 조작반(20)의 비상 정지 키를 누를 때까지, 「정지 지령의 입력 없음」으로 로봇은 이동을 계속한다. 작업자가 교시 조작반(20)의 비상 정지 키를 누르는 타이밍은 화면(21)을 보면서, 예를 들어 화면(21) 상에서 엔드 이펙터의 선단부(6)가 목표점(7)에 충분히 근접하였다고 판단한 시점으로 하면 좋다.

또, 상술한 실시 형태는 아크 용접의 어플리케이션에서 설명하였지만 이는 예시에 불과하다. 다른 어플리케이션에 있어서도, 어플리케이션에 따른 엔드 이펙터에 대해 상술과 동등한 취급을 하면 본 발명이 적용 가능한 것은 명백하다. 또한, 상술한 실시 형태에서는 시각 센서의 화상 처리부와 표시부에 교시 조작반을이용하였지만 이것도 예시에 불과하다. 예를 들어, 퍼스널 컴퓨터와 그 디스플레이를 시각 센서의 화상 처리부와 표시부에 이용해도 좋다. 그 경우, 어프로치 키 및 리트리트 키는 퍼스널 컴퓨터의 키보드 상에 설치할 수 있다.

본 발명에 따르면, 화면 상에서 발견한 대상물의 부위에 로봇의 엔드 이펙터 등의 부위를 간단히 근접시킬 수 있으므로, 교시 작업과 같이 엔드 이펙터의 소정 부위를 대상물의 소정 부위에 접근, 도달, 혹은 반대로 대상물의 소정 부위로부터 이격시키는 작업을 작업자에게 막중한 부담을 주는 일 없이 행할 수 있게 된다. 또한, 화면 상에서 지시함으로써 겨냥한 대상물이 화상 취득 수단의 시야에 들어오 도록, 로봇에 부착한 화상 취득 수단을 조작할 수 있다. 이들의 효과에 의해, 교시 작업에 필요로 하는 시간의 단축 및 간단화를 도모할 수 있다. 또한, 교시 작업 중의 조작 오류에 의한 엔드 이펙터, 워크, 지그, 주변 기기 등으로의 접촉의 가능성을 낮추는 것도 가능해진다.

Claims

엔드 이펙터를 부착한 로봇과, 상기 엔드 이펙터의 소정 부위인 제1 부위와 로봇의 주변에 있는 대상물의 소정 부위인 제2 부위를 동시에 시야에 들어오게 할 수 있는 화상 취득 수단을 갖는 시각 센서와, 상기 로봇에 양 부위의 3 차원 공간 내에서의 접근을 지령하기 위한 접근 지령 수단을 포함하는 로봇 시스템에 있어서,

상기 시각 센서에 의해, 화상 취득 수단의 시야 내에 상기 제1 부위와 상기 제2 부위를 파악하여 상기 제1 부위의 화상 상에서의 위치 및 상기 제2 부위의 화상 상에서의 위치를 인식하고, 상기 제1 부위와 상기 제2 부위를 파악한 화상 상에서의 양 부위의 위치 관계를 인식하는 수단과,

상기 인식된 화상 상에서의 상기 양 부위의 위치 관계로부터, 상기 화상 상에서 상기 제1 부위를 상기 제2 부위로 근접시키기 위해 필요한 로봇의 제1 이동 지령을 산출하는 수단과,

상기 접근 지령에 따라서, 3 차원 공간 상에서 상기 제1 부위를 상기 제2 부위로 근접시키기 위해 필요한 로봇의 제2 이동 지령을 산출하는 수단과,

상기 제1 이동 지령과 상기 제2 이동 지령을 합성한 제1 합성 이동 지령을 구하고, 상기 합성 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단과,

상기 접근 지령 수단에 대해 양 부위의 접근의 지령이 되어 있는 동안, 상기 양 부위의 위치 관계의 인식, 상기 제1 이동 지령의 산출, 상기 제2 이동 지령의 산출 및 상기 제1 합성 이동 지령을 기초로 하는 로봇의 이동을 반복하는 수단을구비한 것을 특징으로 하는 로봇 시스템.
제1항에 있어서, 상기 제1 부위를 상기 화상 취득 수단의 시야에 들어오게 하는 대신에, 시야의 소정의 화소 위치를 제1 부위의 화상 상의 위치로 하고, 이 화소 위치를 상기 화상 상에서 상기 제2 부위로 근접시키는 동시에, 상기 화상 취득 수단이 상기 제2 부위로 접근하는 수단을 구비한 것을 특징으로 하는 로봇 시스템.
제1항 또는 제2항에 있어서, 상기 로봇에 양 부위의 3 차원 공간 내에서의 이격을 지령하는 이격 지령을 입력하기 위한 이격 지령 수단과,

상기 이격 지령에 따라서, 3 차원 공간 상에서 상기 제1 부위를 상기 제2 부위로부터 이격시키기 위해 필요한 로봇의 제3 이동 지령을 산출하는 수단과,

상기 제1 이동 지령과 상기 제3 이동 지령을 합성한 제2 합성 이동 지령을 구하고, 상기 합성 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단과,

상기 이격 지령 수단에 대해 양 부위의 이격의 지령이 되어 있는 동안, 상기 양 부위의 위치 관계의 인식, 상기 제1 이동 지령의 산출, 상기 제3 이동 지령의 산출 및 상기 제2 합성 이동 지령을 기초로 하는 로봇의 이동을 반복하는 수단을 더 구비한 것을 특징으로 하는 로봇 시스템.
제1항 또는 제2항에 있어서, 상기 제1 이동 지령을 기초로 하여 상기 로봇의이동을 행하는 수단과,

상기 화상 상에서의 상기 양 부위의 위치 관계가 소정의 조건을 충족시켰는지 여부를 판단하는 판단 수단과,

상기 접근 지령 수단에 대해 지령이 되면, 상기 제1 합성 이동 지령을 기초로 하는 로봇의 이동의 반복을 행하기 전에 상기 양 부위의 위치 관계의 인식, 상기 판단 수단에 의한 판단, 제1 이동 지령의 산출 및 상기 제1 이동 지령에 의한 상기 로봇의 이동을, 상기 판단 수단에 의해 상기 조건이 충족되었다고 판단될 때까지 반복하는 수단을 구비한 것을 특징으로 하는 로봇 시스템.
제3항에 있어서, 상기 제1 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단과,

상기 화상 상에서의 상기 양 부위의 위치 관계가 소정의 조건을 충족시켰는지 여부를 판단하는 판단 수단과,

상기 이격 지령 수단에 대해 지령이 되면, 상기 제2 합성 이동 지령을 기초로 하는 로봇의 이동의 반복을 행하기 전에 상기 양 부위의 위치 관계의 인식, 상기 판단 수단에 의한 판단, 제1 이동 지령의 산출 및 상기 제1 이동 지령에 의한 상기 로봇의 이동을, 상기 판단 수단에 의해 상기 조건이 충족되었다고 판단될 때까지 반복하는 수단을 구비한 것을 특징으로 하는 로봇 시스템.
제4항에 있어서, 상기 제2 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단과,

상기 접근 지령 수단에 대한 조작이 이루어지면, 상기 제1 합성 이동 지령에 이어서 상기 제2 이동 지령을 기초로 하는 로봇의 이동의 반복을 행하기 전에 상기 양 부위의 위치 관계의 인식, 상기 판단 수단에 의한 판단, 제1 이동 지령의 산출 및 상기 제1 이동 지령에 의한 상기 로봇의 이동을, 상기 판단 수단에 의해 상기 조건이 충족되었다고 판단될 때까지 반복하는 수단을 구비한 것을 특징으로 하는 로봇 시스템.
제5항에 있어서, 상기 제3 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단과,

상기 이격 지령 수단에 대해 지령이 되면, 상기 제2 합성 이동 지령에 이어서 상기 제3 이동 지령을 기초로 하는 로봇의 이동의 반복을 행하기 전에 상기 양 부위의 위치 관계의 인식, 상기 판단 수단에 의한 판단, 제1 이동 지령의 산출 및 상기 제1 이동 지령에 의한 상기 로봇의 이동을, 상기 판단 수단에 의해 상기 조건이 충족되었다고 판단될 때까지 반복하는 수단을 구비한 것을 특징으로 하는 로봇 시스템.
제1항 또는 제2항에 있어서, 상기 제2 이동 지령을 산출하는 수단은, 접근 지령이 지령된 경우에 상기 화상 취득 수단의 광축 방향을 기초로 하여 상기 엔드 이펙터를 이동시키기 위한 이동 정보의 산출을 행하는 것을 특징으로 하는 로봇 시스템.
제3항에 있어서, 상기 제3 이동 지령을 산출하는 수단은 이격 지령이 지령된 경우에 상기 화상 취득 수단의 광축 방향과 반대 방향을 기초로 하여 상기 엔드 이펙터를 이동시키기 위한 이동 정보의 산출을 행하는 것을 특징으로 하는 로봇 시스템.
제1항 또는 제2항에 있어서, 상기 제2 이동 지령을 산출하는 수단은 접근 지령이 지령된 경우에 상기 화상 취득 수단으로부터 상기 제2 부위를 향하는 시선 방향을 기초로 하여, 상기 엔드 이펙터를 이동시키기 위한 이동 정보의 산출을 행하는 것을 특징으로 하는 로봇 시스템.
제3항에 있어서, 상기 제3 이동 지령을 산출하는 수단은 이격 지령이 지령된 경우에 상기 화상 취득 수단으로부터 상기 제2 부위를 향하는 시선 방향과 반대 방향을 기초로 하여, 상기 엔드 이펙터를 이동시키기 위한 이동 정보의 산출을 행하는 것을 특징으로 하는 로봇 시스템.
엔드 이펙터를 부착한 로봇과, 상기 엔드 이펙터의 소정 부위인 제1 부위와 로봇의 주변에 있는 대상물의 소정 부위인 제2 부위를 동시에 시야에 들어오게 할 수 있는 화상 취득 수단을 갖는 시각 센서와, 상기 로봇에 양 부위의 2 차원 시각적인 접근을 지령하기 위한 2 차원 시각적 접근 지령 수단을 포함하는 로봇 시스템에 있어서,

상기 시각 센서에 의해 화상 취득 수단의 시야 내에 상기 제1 부위와 상기 제2 부위를 파악하여 상기 제1 부위의 화상 상에서의 위치 및 상기 제2 부위의 화상 상에서의 위치를 인식하고, 상기 제1 부위와 상기 제2 부위를 파악한 화상 상에서의 양 부위의 위치 관계를 인식하는 수단과,

상기 인식된 화상 상에서의 상기 양 부위의 위치 관계로부터, 상기 화상 상에서 상기 제1 부위를 상기 제2 부위로 근접시키기 위해 필요한 로봇의 제4 이동 지령을 산출하는 수단과,

상기 제4 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단과,

상기 2 차원 시각적 접근 지령 수단에 대해 양 부위의 2 차원 시각적 접근의 지령이 지령되어 있는 동안, 상기 양 부위의 위치 관계의 인식, 상기 제4 이동 지령의 산출 및 상기 로봇의 이동을 반복하는 수단을 구비한 것을 특징으로 하는 로봇 시스템.
제12항에 있어서, 상기 엔드 이펙터의 소정 부위인 제1 부위를 시야에 들어오게 하는 대신에, 시야의 소정의 화소 위치를 제1 부위의 화상 상의 위치로 하고, 이 화소 위치를 상기 화상 상에서 상기 제2 부위로 접근시키도록 로봇을 이동시키는 수단을 구비한 것을 특징으로 하는 로봇 시스템.
엔드 이펙터를 부착한 로봇과, 상기 엔드 이펙터의 소정 부위인 제1 부위와 로봇의 주변에 있는 대상물의 소정 부위인 제2 부위를 동시에 시야에 들어오게 할 수 있는 화상 취득 수단을 갖는 시각 센서와, 상기 로봇에 상기 제1 부위의 2 차원 시각적인 이동을 지령하기 위한 2 차원 시각적 이동 지령 수단을 포함하는 로봇 시스템에 있어서,

상기 시각 센서에 의해, 화상 취득 수단의 시야 내에 상기 제1 부위와 상기 제2 부위를 파악한 상태에 있어서, 상기 제1 부위와 상기 제2 부위를 파악한 화상 상에서의 상기 제1 부위의 2 차원 시각적 이동 방향을 지정하는 수단과,

상기 지정된 방향으로 상기 제1 부위를 이동시키기 위해 필요한 로봇의 제5 이동 지령을 산출하는 수단과,

상기 제5 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단을 구비한 것을 특징으로 하는 로봇 시스템.
화상 취득 수단을 부착한 로봇에 있어서,

상기 화상 취득 수단의 시야 내에 대상물의 소정 부위를 들어오게 한 상태에 있어서, 상기 소정 부위를 2 차원 시각적 이동 방향을 지정하는 수단과,

상기 지정된 방향으로 상기 소정 부위를 이동시키기 위해 필요한 로봇의 제6 이동 지령을 산출하는 수단과,

상기 제6 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단을 구비하는 것을 특징으로 하는 로봇 시스템.
화상 취득 수단을 부착한 로봇에 있어서,

상기 화상 취득 수단에서 취득한 화상 상에서 2 차원 시각적 이동 방향을 지정하는 수단과, 상기 지정된 방향의 화상을 촬상하기 위해 필요한 로봇의 제7 이동 지령을 산출하는 수단과, 상기 제7 이동 지령을 기초로 하여 상기 로봇의 이동을 행하는 수단을 구비하는 것을 특징으로 하는 로봇 시스템.
제15항에 있어서, 상기 제6 이동 지령에 의한 로봇의 이동이 소정의 좌표계를 기초로 하는 것을 특징으로 하는 로봇 시스템.
제16항에 있어서, 상기 제7 이동 지령에 의한 로봇의 이동이 소정의 좌표계를 기초로 하는 것을 특징으로 하는 로봇 시스템.
제17항에 있어서, 상기 소정의 좌표계가 화상 취득 수단에 설정된 좌표계인 것을 특징으로 하는 로봇 시스템.
제18항에 있어서, 상기 소정의 좌표계가 화상 취득 수단에 설정된 좌표계인 것을 특징으로 하는 로봇 시스템.
제1항, 제2항, 제12항 내지 제20항 중 어느 한 항에 있어서, 상기 시각 센서의 화상 취득 수단에 의한 화상을 표시하는 표시 수단을 구비하고,

상기 화상 상에서 상기 제1 부위와 상기 제2 부위를 연결하는 선분을 상기 화상에 겹쳐 상기 표시 수단을 이용하여 표시하는 것을 특징으로 하는 로봇 시스템.
제1항, 제2항, 제12항 내지 제20항 중 어느 한 항에 있어서, 상기 로봇에는 거리 센서 또는 접촉 센서가 탑재되어 있고,

접근 조작이 행해지고 있을 때에, 상기 거리 센서 또는 접촉 센서에 의해 상기 제2 부위에 대해 상기 제1 부위가 목표가 되는 거리에 근접한 것을 검출하면, 상기 로봇을 정지시키는 수단을 구비한 것을 특징으로 하는 로봇 시스템.
제22항에 있어서, 상기 로봇이 정지하였으면 그 위치를 교시 위치로서 기억하는 것을 특징으로 하는 로봇 시스템.
제1항, 제2항, 제12항 내지 제20항 중 어느 한 항에 있어서, 상기 화상 취득 수단이 상기 로봇에 탑재되어 있는 것을 특징으로 하는 로봇 시스템.