KR102001214B1

KR102001214B1 - 가상 현실 기반 양팔로봇 교시 장치 및 방법

Info

Publication number: KR102001214B1
Application number: KR1020170143671A
Authority: KR
Inventors: 김성수; 정한규; 김민지; 김승연
Original assignee: 충남대학교산학협력단
Priority date: 2017-10-31
Filing date: 2017-10-31
Publication date: 2019-10-01
Anticipated expiration: 2037-10-31
Also published as: KR20190048589A

Abstract

교시 장치가 가상 현실로 구현된 양팔로봇을 교시하는 방법으로서, 작업자의 포즈 정보를 토대로 생성된 3차원 좌표계를 이용하여, 상기 포즈 정보가 반영된 가상 현실 양팔로봇의 복수의 관절에 대한 관절 회전 각도를 확인하면, 제1 지점에서 제2 지점으로 팔을 움직인 작업자의 팔 움직임 정보를 수집한다. 수집한 팔 움직임 정보와 확인한 관절 회전 각도를 토대로 상기 복수의 관절에 구비된 모터에 가해지는 구동 토크를 계산하고, 계산된 구동 토크를 토대로 제1 지점에서 제2 지점으로의 로봇 팔 움직임을 위한 궤적을 생성한다. 그리고 생성한 궤적에 따라 로봇 팔의 교시 정보를 디스플레이 한다.

Description

가상 현실 기반 양팔로봇 교시 장치 및 방법{Apparatus and method for dual-arm robot teaching based on virtual reality}

본 발명은 가상 현실 기반 양팔로봇 교시 장치 및 방법에 관한 것이다.

최근 산업 현장에서는 양팔로봇과의 협업에 대한 관심이 증대하고 있다. 현장에서 대부분의 사람은 양팔을 사용하여 작업을 수행하므로 양팔로봇을 사용할 때 사람과 유사한 작업을 수행할 수 있다. 양팔로봇을 이용하여 작업을 수행하기 위해서는 시간에 따라서 로봇 팔의 위치 및 자세를 지정해주는 교시 과정이 필요하다.

로봇의 교시 방법에는 직접 교시와 간접 교시가 있다. 직접 교시는 사람이 직접 로봇의 말단을 잡고 원하는 위치와 자세를 지정해 주는 방식을 의미하고, 이를 제외한 모든 방법이 간접 교시에 해당한다.

직접 교시의 경우 사용자가 직관적으로 로봇의 움직임을 제어하기 때문에 쉽게 로봇을 교시할 수 있다. 하지만, 로봇이 취하는 단위 동작들 간의 연결이 부자연스럽고, 하나의 단위 동작에서 다음 단위 동작으로 넘어가기 위한 시간 지연이 발생한다는 문제가 있다.

그리고 간접 교시의 경우 티칭 펜던트를 사용하며 로봇의 움직임을 직접 확인하면서, 로봇 움직임을 단계별로 교시하기 때문에, 로봇의 교시에 시간이 오래 걸린다는 단점이 있다. 이를 보완하기 위해 비전 센서 등을 사용하는 교시 방법이 제안되었으나, 작업의 정확도가 낮다는 문제점이 있다.

이와 같은 문제점들을 보완하기 위해서는 사람이 작업을 할 때 양팔의 움직임을 최대한 유사하게 모사하는 양팔로봇용 교시 방법이 필요하다. 동시에 교시 과정을 모니터링 하여 정확도를 높이는 방법이 필요하다. 이는 외팔로봇의 경우 외팔에 대한 교시만 진행하면 되는 반면, 양팔로봇의 경우 한 팔에 대한 다른 팔의 상호작용을 생각하며 교시를 해야 하기 때문에 비효율적이다. 따라서, 양팔을 한 번에 교시할 수 있는 방법이 필요하다.

따라서, 본 발명은 가상 현실 기반 양팔로봇 교시 장치 및 방법을 제공한다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 가상 현실로 구현된 양팔로봇을 교시하는 장치로서,

작업자의 움직임에 따라 가상 현실 양팔로봇을 교시하기 위한 교시 정보를 수집하는 교시 디바이스, 상기 교시 정보를 토대로 상기 가상 현실 양팔로봇에 구비된 복수의 관절 각각에 대한 회전 각도를 확인하고, 상기 확인한 회전 각도와 교시 정보를 토대로 결정된 관절 운동에 대한 복수의 관절 각각에 가해지는 구동 토크에 따라 이동 궤적을 생성하는 정보 처리 장치, 그리고 상기 작업자에게 상기 가상 현실 양팔로봇과, 상기 교시 디바이스의 움직임에 따른 가상현실 양팔로봇의 움직임을 제공하는 표시 장치를 포함한다.

상기 교시 정보는 상기 작업자의 손 위치 정보인 3차원 손 위치 좌표 정보와 손목 각도 정보인 4차원 손목 각도 벡터 정보를 포함하는 포즈 정보와, 상기 작업자의 손이 제1 지점에서 제2 지점으로 움직이면, 상기 제1 지점과 제2 지점에 대한 위치 정보를 포함하는 움직임 정보를 포함할 수 있다.

상기 정보 처리 장치는, 상기 3차원 손 위치 좌표 정보와 4차원 손목 각도 벡터 정보를 상기 가상 현실 양팔로봇에 적용하기 위한 3차원 말단 좌표로 생성하는 말단 좌표 생성 모듈, 상기 3차원 말단 좌표를 토대로 상기 작업자의 포즈 정보가 반영된 로봇 팔을 구성하는 복수의 관절에 대한 관절 회전 각도를 확인하고, 상기 제1 지점과 제2 지점에 대한 위치 정보를 토대로 관절 운동 경로를 결정하는 역학 처리 모듈, 그리고 상기 가상 현실의 양팔로봇에 포즈 정보를 반영하거나 새로운 궤적에 따라 양팔로봇의 로봇 팔이 움직이도록 처리하는 가상 로봇 처리 모듈을 포함할 수 있다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 교시 장치가 가상 현실로 구현된 양팔로봇을 교시하는 방법으로서,

작업자의 포즈 정보를 토대로 생성된 3차원 좌표계를 이용하여, 상기 포즈 정보가 반영된 가상 현실 양팔로봇의 복수의 관절에 대한 관절 회전 각도를 확인하는 단계, 제1 지점에서 제2 지점으로 팔을 움직인 작업자의 팔 움직임 정보를 수집하고, 수집한 팔 움직임 정보와 상기 확인한 관절 회전 각도를 토대로 상기 복수의 관절에 구비된 모터에 가해지는 구동 토크를 계산하는 단계, 계산된 구동 토크를 토대로 상기 제1 지점에서 제2 지점으로의 로봇 팔 움직임을 위한 궤적을 생성하는 단계, 그리고 생성한 궤적에 따라 상기 가상 현실 양팔로봇의 교시 정보를 디스플레이 하는 단계를 포함한다.

상기 관절 회전 각도를 확인하는 단계는, 교시 디바이스를 소지한 작업자의 손 위치 정보와 손목 각도 정보를 상기 작업자의 포즈 정보로 수집하는 단계, 상기 손 위치 정보와 손목 각도 정보를 토대로 3차원 좌표계를 추출하는 단계, 그리고 상기 3차원 좌표계를 토대로 상기 가상 현실 양팔로봇이 포즈를 취하면, 상기 복수의 관절 각각에 대한 관절 회전 각도를 확인하는 단계를 포함할 수 있다.

상기 구동 토크를 계산하는 단계는, 교시 디바이스를 소지한 작업자가 팔을 제1 지점에서 제2 지점으로 이동하면, 상기 제1 지점에 대한 좌표 정보와 제2 지점에 대한 좌표 정보를 포함하는 움직임 정보를 수집하여 상기 로봇 팔이 제1 지점에서 제2 지점으로 이동할 수 있는 관절 운동 경로를 결정하는 단계, 그리고 상기 움직임 정보와 상기 확인한 관절 회전 각도 정보를 토대로, 상기 관절에 작용하는 토크를 계산하는 단계를 포함하며, 상기 토크는 역동역학 해석을 통해 계산될 수 있다.

상기 토크를 계산하는 단계 이후에, 임의의 관절에 대해 계산된 토크가 상기 관절에 구비된 모터에 대해 미리 설정된 최대 토크보다 크다면, 알람을 발생하는 단계, 그리고 상기 알람을 토대로 작업자로부터 새로운 궤적 생성 요청 신호가 발생하면, 상기 제1 지점의 좌표 정보와 상기 제2 지점의 좌표 정보를 토대로 상기 관절 운동 경로에 대한 새로운 궤적을 계산하는 단계를 포함할 수 있다.

본 발명에 따르면 실제 사람이 작업할 때의 움직임과 최대한 유사하게 양팔로봇이 모사할 수 있도록 교시할 수 있으며, 동시에 사용자가 실시간으로 교시 과정을 모니터링 함으로써 양팔로봇 교시의 정확도를 높일 수 있다.

또한, 본 발명에 따르면 사용자가 직관적으로 양팔로봇을 교시할 수 있으며, 양팔로봇의 자세와 각 조인트의 과부하 여부를 토대로 최적의 양팔로봇 움직임 경로를 생성하여 가상 현실을 통해 시뮬레이션 할 수 있다.

도 1은 본 발명의 실시예에 따른 양팔로봇 교시 장치가 구비된 환경의 예시도이다.
도 2는 본 발명의 실시예에 따른 정보 처리 장치의 구조도이다.
도 3은 본 발명의 실시예에 따른 교시 디바이스의 예시도이다.
도 4는 본 발명의 실시예에 따른 양팔로봇 교시 방법에 대한 흐름도이다.
도 5는 본 발명의 실시예에 따른 가상 현실 환경의 예시도이다.
도 6은 본 발명의 실시예에 따른 가상 현실을 통해 제공되는 양팔로봇의 교시 결과에 대한 예시도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

이하 도면을 참조로 하여, 본 발명의 실시예에 따른 가상 현실 기반 양팔로봇 교시 장치 및 방법에 대해 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 양팔로봇 교시 장치가 구비된 환경의 예시도이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에서는 양팔로봇 교시 장치(100)를 작업자가 로봇 교시를 위해 소지하는 교시 디바이스(110), 작업자가 착용한 표시 장치인 HMD(Head Mounted Display)(120) 그리고 정보 처리 장치(130)를 포함한다.

본 발명의 실시예에서는 정보 처리 장치(130)를 로봇 교시 시뮬레이션을 위한 프로그램이 설치된 컴퓨터 또는 서버 등의 물리적으로 독립되어 있는 구성 요소를 예로 하여 설명하나, 컴퓨터나 서버에 설치된 프로그램일 수도 있다.

또한, 본 발명의 실시예에서는 로봇에 두 개의 로봇 팔이 구비되어 있으며, 로봇 팔은 고정되어 있는 기준 구성으로부터 6개의 구성 요소가 6개의 회전 관절(joint)로 연결되어 있는 구조인 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 여기서, 6번째의 구성 요소와 6번째의 회전 관절 부분을 로봇 팔의 '말단 부분'이라 지칭한다.

그리고 6개의 관절은 회전을 위해 각각 모터가 구비되어 있는 것을 예로 하여 설명한다. 또한, 본 발명의 실시예에 따른 가상 환경의 로봇은 복수개의 축이 구비되어 있는 양팔 로봇을 예로 하여 설명한다.

교시 디바이스(110)는 작업자의 손의 포즈와 움직임에 따라 작업자의 양손에 대한 각각의 포즈 정보와 움직임 정보를 수집한다. 여기서 포즈 정보에는 작업자의 손 위치 정보와 손목이 얼마나 휘어져 있는지를 나타내는 손목 각도 정보를 포함하는 것을 예로 하여 설명한다. 또한 움직임 정보에는 작업자의 교시 디바이스(110)를 제1 위치에서 제2 위치로 이동시킬 때의 제1 위치의 위치 정보와 제2 위치의 위치 정보인 궤적 정보를 포함하는 것을 예로 하여 설명한다.

교시 디바이스(110)는 수집한 양손의 포즈 정보와 움직임 정보를 정보 처리 장치(130)로 전달한다. 이를 위해 교시 디바이스(110)와 정보 처리 장치(130)는 포즈 정보와 움직임 정보를 송수신할 수 있도록 연결되어 있으며, 연결 형태는 어느 하나의 방법으로 한정하지 않는다. 교시 디바이스(110)에서 수집한 포즈 정보는 가상 현실로 구현된 로봇 팔의 말단 부분의 복수의 관절 각각에 대한 회전 각도를 확인하는데 사용되고, 움직임 정보는 양팔로봇의 로봇 팔의 말단 부분을 제1 위치에서 제2 위치로 이동시키기 위한 궤적을 계산하기 위해 사용된다.

정보 처리 장치(130)는 교시 디바이스(110)로부터 수신한 포즈 정보에 포함된 손 위치 정보와 손목 각도 정보를 토대로, 작업자의 포즈 정보를 3차원 좌표계로 추출한다. 그리고 정보 처리 장치(130)는 3차원 좌표계로 추출한 포즈 정보를 토대로, 가상 현실로 구현된 양팔로봇의 팔이 취하고 있는 각 관절의 각도를 확인한다.

또한, 정보 처리 장치(130)는 교시 디바이스(110)로부터 수신한 움직임 정보를 토대로, 현재 포즈를 취하고 있는 가상 현실에서의 양팔로봇 팔의 관절에 가해지는 토크를 계산한다. 그리고 계산한 토크를 토대로 양팔로봇의 팔이 새로운 궤적을 통해 제1 지점에서 제2 지점으로 이동하도록 하거나 양팔로봇 팔의 관절 회전 각도를 변형하기 위한 각도를 계산한다.

정보 처리 장치(130)는 가상 현실의 양팔로봇의 포즈 또는 새로운 궤적으로 제1 지점에서 제2 지점으로 이동하는 팔의 움직임 등의 시뮬레이션을, 작업자가 파악하도록 가상 현실로 처리한다. 교시 작업 환경과 시뮬레이션을 가상 현실로 파악하도록 처리하는 방법은 다양한 방법을 통해 수행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.

HMD(120)는 정보 처리 장치(130)가 양팔로봇의 관점에서 작업자가 보는 것처럼 작업대와 작업 물체를 가상 현실로 제공한다. 또한, HMD(120)는 가상 현실 처리한 궤적을 가상 현실의 양팔로봇과 함께 작업자에게 디스플레이 한다. 여기서, 작업자에게 디스플레이 되는 정보는 양팔로봇의 팔 자세, 양팔로봇의 팔을 구성하는 복수의 조인트 각각의 과부하 여부, 그리고 양팔로봇의 각 관절에 대한 관절 움직임이나 로봇 팔의 이동 경로를 포함한다.

이와 같은 환경에서, 교시 디바이스(110)가 수집한 움직임 정보를 처리하는 정보 처리 장치(130)의 구조에 대해 도 2를 참조로 설명한다.

도 2는 본 발명의 실시예에 따른 정보 처리 장치의 구조도이다.

도 2에 도시된 바와 같이, 정보 처리 장치(130)는 인터페이스(131)와 프로세서(132)를 포함한다. 그리고 프로세서(132)는 그 기능에 따라 말단 좌표 생성 모듈(132-1), 역학 처리 모듈(132-2), 궤적 처리 모듈(132-3), 그리고 가상 로봇 처리 모듈(132-4)을 포함한다.

인터페이스(131)는 교시 디바이스(110), 그리고 HMD(120)와 연동한다. 인터페이스(131)는 교시 디바이스(110)를 통해 전송되는 포즈 정보와 움직임 정보를 수신한다. 여기서 포즈 정보는 작업자의 손 위치 정보와 손목 각도 정보를 포함한다. 그리고 움직임 정보는 제1 지점의 위치 정보와 제2 지점의 위치 정보를 포함한다.

인터페이스(131)는 프로세서(132)에서 처리한 가상 현실의 교시 작업 환경 정보를 HMD(120)로 전달한다. 여기서 작업자가 HMD(120)를 통해 확인하는 가상 현실 환경에 대해 도 5를 참조로 먼저 설명한다.

도 5는 본 발명의 실시예에 따른 가상 현실 환경의 예시도이다.

도 5의 (a)에 나타낸 바와 같이 정보 처리 장치(130)는 양팔로봇(210)과 로봇의 전방에 작업대(220), 그리고 작업대(220)의 위에 양팔로봇(210)을 이용하여 작업을 수행할 물체(230)가 놓여 있는 것과 같이 가상 현실 환경을 구현한다.

작업자는 HMD(120)를 통해 도 5의 (b)에 나타낸 바와 같이 양팔로봇(210)의 관점에서 물체(230)를 보는 것처럼, 작업대(220)와 물체(230)를 확인하게 된다. 도 5의 (a)에 나타낸 양팔로봇(210)의 로봇 팔의 말단 위치는 작업자가 소지한 교시 디바이스(110)의 포즈 정보를 토대로 양팔로봇(210)의 로봇 팔 위치와 손목 관절이 회전한 자세가 반영되어 나타난다.

상기 도 2를 이어 설명하면, 정보 처리 장치(130)의 말단 좌표 생성 모듈(132-1)은 인터페이스(131)를 통해 수신한 포즈 정보에 포함된 손 위치 정보와 손목 각도 정보를 이용하여 3차원의 말단 좌표를 생성한다. 여기서, 손 위치 정보는 (x, y, z)로 이루어진 3차원 좌표 정보이다.

그리고, 손목 각도 정보는 작업자의 자세에 따라 회전된 손목을 나타내기 위해 사용되는 것으로, (w, x, y, z)로 이루어진 4차원 벡터 정보이다. 여기서, 3차원 좌표 정보의 각 파라미터와 4차원 벡터 정보의 각 파라미터는 이미 알려진 사항으로, 본 발명의 실시예에서는 상세한 설명을 생략한다.

3차원 좌표 정보와 4차원 벡터 정보를 토대로 생성한 3차원의 말단 좌표를 토대로 양팔로봇을 교시하기 위해서, 역학 처리 모듈(132-2)은 작업자가 취하는 자세가 반영된 가상 현실의 양팔로봇의 로봇 팔 말단의 자세와 위치에 따른 관절의 회전각을 알아야 한다. 이를 위해, 역학 처리 모듈(132-2)은 3차원의 말단 좌표를 역기구학 해석을 실행하여, 로봇 팔을 구성하는 복수의 관절 각각에 대한 회전각(joint angle)을 계산한다.

3차원 말단 좌표를 역기구학 해석을 통해 가상 현실로 구현된 양팔로봇의 관절의 회전각을 계산하기 위해, 역학 처리 모듈(132-2)은 역기구학 해석 방법을 통해 양팔로봇을 구성하는 복수의 관절 각각에 대한 회전각을 계산한다. 역기구학 해석 방법을 통해 복수의 관절 각각에 대한 회전각이 계산되면 가상 로봇 처리 모듈(132-4)은 이를 가상 현실의 양팔로봇에 반영, 작업자와 동일한 포즈가 취해지도록 한다. 작업자와 동일한 포즈를 취하는 가상 현실의 양팔로봇은 디스플레이(133)를 통해 작업자에게 제공될 수도 있다.

또한, 역학 처리 모듈(132-2)은 인터페이스(131)가 작업자가 자신의 팔을 제1 지점에서 제2 지점으로 움직인 움직임 정보를 수신하면, 해당 운동을 가상 현실의 양팔로봇에 반영하여 동일한 움직임을 보이도록 하는 관절 운동을 결정한다. 여기서 관절 운동은 로봇 말단 부분이 제1 지점에서 제2 지점으로 이동할 때, 로봇 팔에 구비된 복수의 관절들이 얼마나 회전하는지를 의미하는 회전각을 나타낸다.

역학 처리 모듈(132-2)은 제1 지점에 대한 위치 벡터와 제2 지점에 대한 위치 벡터를 역기구학 해석하여 관절 운동을 결정한다. 그리고, 관절 운동을 일으킬 때 필요한 복수의 관절 각각에 구비된 모터의 토크를 계산한다. 계산한 모터의 토크가 미리 설정된 해당 모터의 최대 토크보다 클 경우, 역학 처리 모듈(132-2)은 작업자가 이를 확인할 수 있도록 가상 로봇 처리 모듈(132-4)을 통해 해당 관절에 경고를 표시하여 준다.

궤적 처리 모듈(132-3)은 경고가 표시된 관절 운동 경로를 토대로 작업자가 새로운 궤적의 생성을 요청하는 입력 신호를 발생시키면, 제1 지점에 대한 위치 벡터와 제2 지점에 대한 위치 벡터, 그리고 관절 운동 경로 상의 관절들에 대해 계산된 관절 회전각을 토대로, 새로운 궤적을 새로 생성한다.

또는, 궤적 처리 모듈(132-3)은 새로운 궤적을 생성하지 않은 채, 관절의 회전각을 변경시킬 회전각을 계산한다. 여기서, 궤적 처리 모듈(132-3)이 새로운 궤적을 생성하거나 회전각을 계산하는 방법은 다양한 방법을 통해 실행될 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.

가상 로봇 처리 모듈(132-4)은 교시 디바이스(110)가 수집한 포즈 정보와 움직임 정보를 가상 현실의 양팔로봇에 적용하여 정보 처리 장치(130)의 디스플레이(133)를 통해 다른 작업자 또는 사용자들이 양팔로봇의 상태를 확인할 수 있도록 제공한다.

또한, 가상 로봇 처리 모듈(132-4)은 역학 처리 모듈(132-2)에서 생성한 관절의 회전 각도와 궤적 처리 모듈(132-3)이 생성한 새로운 궤적을, 작업자가 HMD(120) 또는 디스플레이(133)를 통해 가상 현실로 가상 현실 양팔로봇과 함께 확인하도록 가상 현실 처리한다.

한편, 정보 처리 장치(130)가 관절 각도와 궤적을 확인하기 위해 필요한 정보인 작업자의 손 위치 정보와 손목 정보를 수집하는 교시 디바이스(110)에 대해 도 3을 참조로 설명한다.

도 3은 본 발명의 실시예에 따른 교시 디바이스의 예시도이다.

도 3에 도시된 바와 같이, 교시 디바이스(110)는 작업자가 물체를 잡았을 때의 손 모양을 고려하여, 다양한 버튼 중 교시 디바이스(110)의 상단에 위치한 트리거 버튼(111)을 사용하여 가상 현실에서 디스플레이 되고 있는 임의의 물체를 잡을 수 있도록 설정되어 있다. 여기서 교시 디바이스(110)는 작업자가 가상 현실을 통해 시뮬레이션을 확인할 수 있도록 하는 장비(예를 들어, 오큘러스 리프트)를 이용하는 것을 예로 하여 설명한다.

트리거 버튼(111)의 입력이 발생하면 가상 현실에서의 물체를 양팔로봇이 잡도록 설정하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.

또한, 교시 디바이스(110)에 구비되어 있는 다양한 버튼 중 데이터 저장 버튼(112)이 입력되면, 작업자의 손 위치 정보와 손목 각도 정보가 정보 처리 장치(130)로 전달된다. 이때, 데이터 저장 버튼(112) 중 제1 버튼(112-1)이 눌리면 현재 작업자의 손 위치 정보를 정보 처리 장치(130)로 전달하고, 제2 버튼(112-2)이 눌리면 정보 수집과 전달을 종료하는 것을 예로 하여 설명한다. 본 발명의 실시예에 따라 데이터 저장 버튼(112)의 위치가 어느 하나의 위치로 반드시 한정하지 않는다.

이상의 환경에서 정보 처리 장치(130)를 이용하여 양팔로봇을 교시하는 방법에 대해 도 4를 참조로 설명한다.

도 4는 본 발명의 실시예에 따른 양팔로봇 교시 방법에 대한 흐름도이다.

도 4에 도시된 바와 같이, 정보 처리 장치(130)는 가상 현실로 양팔로봇, 작업대, 그리고 작업 물체를 생성하여 디스플레이 한다(S100). 여기서, 정보 처리 장치(130)가 가상 현실로 양팔로봇과 작업대, 작업 물체를 생성하는 방법은 다양한 형태로 구현될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.

정보 처리 장치(130)는 교시 디바이스(110)로부터 작업자의 포즈 정보를 수집한다(S101). 정보 처리 장치(130)는 S101 단계에서 수집한 포즈 정보를 이용하여 3차원 좌표계를 추출한다(S102). 이와 함께 S101 단계에서 수집된 작업자의 포즈에 따라 가상 현실의 양팔로봇에 반영된 양팔로봇의 각 관절 회전 각도를 확인한다(S103). 여기서, 양팔로봇의 각 관절 회전 각도를 확인하기 위하여, 정보 처리 장치(130)는 S102 단계에서 추출한 3차원 좌표계를 역기구학 해석 방법을 이용하여 관절 회전 각도를 확인한다.

정보 처리 장치(130)가 역기구학 해석을 통해 양팔로봇의 관절 회전 각도를 확인하기 위하여, 다음 수학식 1과 같은 구속 방정식(Φ)을 구성한다.

여기서, r ₆는 로봇의 말단 부분의 위치 벡터,

₆는 말단 부분의 물체 고정좌표계로부터 전역좌표계로의 자세변환 행렬, s'_6t 말단 부분 물체 고정좌표계에서 표시된 말단 작업부(tool center)까지의 위치 벡터를 나타낸다. 또한 r_t 는 말단 작업부의 전역 위치를 나타내며, 교시 디바이스로부터 데이터가 주어진다.

정보 처리 장치(130)는 구속 방정식(Φ)을 복수의 관절 각 변수에 대해 편미분을 수행하여 자코비안을 계산한다. 구속 방정식과 자코비안 행렬을 통해 계산된 각 관절(q)의 변화량은 수학식 2과 같이 표현할 수 있다.

수학식 2를 통해 각 관절의 각도 변화량을 적용한 뒤, 정보 처리 장치(130)는 순기구학 해석을 수행한다. 그리고 구속 방정식을 구성하여, 구속 방정식의 오차가 미리 정해놓은 범위 안으로 수렴할 때까지 구속 방정식 구성과 각 관절 변화량 계산 단계를 반복한다. 여기서, 정보 처리 장치(130)가 순기구학 해석을 수행하여 각도 변화량을 검증하는 방법은 여러 방법으로 실행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.

S130 단계를 통해 양팔로봇의 각 관절 회전 각도가 확인되면, 정보 처리 장치(130)는 교시 디바이스(110)를 소지한 작업자가 제1 지점에서 제2 지점으로 이동하는 움직임 정보를 수집한다(S104). 움직임 정보는 제1 지점에 대한 위치 정보의 3차원 좌표와 제2 지점에 대한 위치 정보의 3차원 좌표를 포함한다.

정보 처리 장치(130)는 S104 단계에서 수집한 움직임 정보에 따라 양팔로봇의 팔이 제1 지점에서 제2 지점으로 움직일 관절 운동을 계산한다(S105). 관절 운동을 계산하기 위해 정보 처리 장치(130)는 역기구학 방법을 이용한다.

그리고, 정보 처리 장치(130)는 S103 단계에서 확인된 각 관절 회전 각도를 토대로, 양팔로봇의 팔이 제1 지점에서 제2 지점으로 움직일 경우 관절 운동에 따른 복수의 관절에 구비된 모터에 가해질 토크를 계산한다(S106).

즉, 정보 처리 장치(130)는 다음 수학식 3에 나타낸 식을 토대로, 양팔로봇 팔의 관절에 작용하는 반력과 토크를 계산한다.

여기서

은 관절 좌표계를 기준으로 표현된 관절 반력 및 토크를 나타내는 항이고, R은 직교 좌표계를 기준으로 관절 반력 및 토크를 나타낸 항이다.

정보 처리 장치(130)는 관절 좌표계 기준으로 표현된 벡터와 변환 행렬과의 연산을 통해 직교 좌표계를 기준으로 한 값으로 변환하여, 각 모터에 가해질 토크로 계산한다.

정보 처리 장치(130)는 S106 단계에서 계산된 각 모터에 가해지는 구동 토크와 미리 작업자에 의해 입력된 각 모터에 가해지는 최대 토크를 비교한다. 그리고, 임의의 모터에 대해 계산된 구동 토크가 해당 모터에 대해 미리 설정된 최대 토크보다 큰지 확인한다(S107).

만약 계산된 구동 토크가 최대 토크보다 크면, 정보 처리 장치(130)는 알람을 발생시킨다(S108). 알람을 토대로 작업자가 새로운 궤적의 생성을 지시하는 궤적 생성 요청 신호가 입력되면, 정보 처리 장치(130)는 S104 단계에서 수집한 움직임 정보와 S103 단계에서 확인한 각 관절 회전 각도를 토대로, 제1 지점에서 제2 지점으로 로봇 팔이 움직일 새로운 궤적을 생성하거나 각 관절의 회전 각도를 재 계산한다(S109). 그리고 정보 처리 장치(130)는 생성한 궤적을 통해 로봇 팔이 이동하는 형태 즉, 양팔로봇의 교시 정보를 가상 현실을 통해 디스플레이 한다(S110).

이상의 절차를 통해 가상 현실을 통해 디스플레이 되는 양팔로봇에 대해 도 6을 참조로 설명한다.

도 6은 본 발명의 실시예에 따른 가상 현실을 통해 제공되는 양팔로봇의 교시 결과에 대한 예시도이다.

도 6의 (a)에 도시된 바와 같이, 정보 처리 장치(130)는 로봇 교시 과정에서 역기구학 및 역동역학 해석을 통해 양팔로봇의 로봇 팔 각 관절의 회전각과 토크를 출력한다. 그리고, 출력된 데이터를 토대로 각 관절의 회전 각도에 따라 가상 현실의 양팔로봇의 관절을 회전시킨다. 이와 같은 과정을 통해 가상 현실의 양팔로봇을 교시하는 동안, 작업자는 양팔 로봇의 움직임을 디스플레이를 통해 확인할 수 있다.

그리고 도 6의 (b)에 나타낸 바와 같이, 임의의 관절을 형성하는 모터에 가해지는 구동 토크가 해당 모터에 설정된 최대 토크보다 클 경우, 경고 메시지를 발생시킨다. 본 발명의 실시예에서는 경고 메시지를 해당 모터에 과부하가 발생하였음을 알리는 색 반전 표시의 형태로 제공하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 이를 통해 작업자는 양팔로봇의 복수의 관절에 대한 과부하 여부를 바로 확인할 수 있으며, 새로운 궤적 계획을 수립할 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

가상 현실로 구현된 양팔로봇을 교시하는 장치로서,
작업자가 소지하며, 상기 작업자의 손의 움직임에 따른 손의 포즈와 움직임을, 상기 작업자가 착용한 HMD(Head Mounted Display)를 통해 제공되는 가상 현실 양팔로봇을 교시하기 위한 교시 정보로 수집하는 교시 디바이스,
상기 작업자의 손의 포즈와 움직임으로부터 3차원 좌표계를 추출하고,상기 가상 현실 양팔로봇의 팔이 상기 수집한 작업자의 손의 포즈와 움직임을 취할 때, 상기 가상 현실 양팔로봇의 복수의 관절 각각에 대한 회전 각도를 확인하고, 상기 확인한 회전 각도와 상기 교시 디바이스가 수집한 교시 정보를 토대로 결정된 관절 운동으로 상기 복수의 관절 각각에 가해지는 구동 토크에 따라 이동 궤적을 생성하는 정보 처리 장치, 그리고
상기 가상 현실 양팔로봇이 상기 교시 디바이스의 움직임에 따라 움직인 가상현실 양팔로봇의 움직임을 제공하는 상기 HMD
를 포함하는 가상 현실 양팔로봇 교시 장치.
제1항에 있어서,
상기 교시 정보는 상기 작업자의 손의 위치 정보인 3차원 손 위치 좌표 정보와 손목 각도 정보인 4차원 손목 각도 벡터 정보를 포함하는 포즈 정보와,
상기 작업자의 손이 제1 지점에서 제2 지점으로 움직이면, 상기 제1 지점과 제2 지점에 대한 위치 정보를 포함하는 움직임 정보를 포함하는 가상 현실 양팔로봇 교시 장치.
제2항에 있어서,
상기 정보 처리 장치는,
상기 3차원 손 위치 좌표 정보와 4차원 손목 각도 벡터 정보를 상기 가상 현실 양팔로봇에 적용하기 위한 3차원 말단 좌표로 생성하는 말단 좌표 생성 모듈,
상기 3차원 말단 좌표를 토대로 상기 작업자의 포즈 정보가 반영된 로봇 팔을 구성하는 복수의 관절에 대한 관절 회전 각도를 확인하고, 상기 제1 지점과 제2 지점에 대한 위치 정보를 토대로 관절 운동 경로를 결정하는 역학 처리 모듈, 그리고
상기 가상 현실의 양팔로봇에 포즈 정보를 반영하거나 새로운 궤적에 따라 양팔로봇의 로봇 팔이 움직이도록 처리하는 가상 로봇 처리 모듈
을 포함하는 가상 현실 양팔로봇 교시 장치.
제3항에 있어서,
상기 역학 처리 모듈은,
상기 3차원 말단 좌표에 역기구학 해석 방법을 적용하여 상기 복수의 관절에 대한 관절 회전 각도를 계산하는 가상 현실 양팔로봇 교시 장치.
제4항에 있어서,
상기 역학 처리 모듈은,
상기 관절 운동에 대한 복수의 관절 각각을 형성하는 모터에 대하여, 역동역학 해석을 통해 모터의 토크를 계산하는 가상 현실 양팔로봇 교시 장치.
제5항에 있어서,
상기 역학 처리 모듈은,
상기 계산한 모터의 토크가 미리 설정된 해당 모터의 토크보다 크면, 상기 모터에 대한 경고가 발생하도록 가상 로봇 처리 모듈로 요청하는 가상 현실 양팔로봇 교시 장치.
제6항에 있어서,
상기 경고를 토대로 작업자에 의해 새로운 궤적 생성 요청 신호가 입력되면, 상기 제1 지점에 대한 위치 벡터와 제2 지점에 대한 위치 벡터, 상기 모터가 구비된 관절의 관절 회전 각도를 기초로, 상기 제1 지점에서 제2 지점으로 로봇 팔이 이동할 새로운 궤적을 생성하는 궤적 처리 모듈
을 포함하는 가상 현실 양팔로봇 교시 장치.
제7항에 있어서,
상기 궤적 처리 모듈은,
상기 제1 지점에서 제2 지점으로 로봇 팔이 이동하도록, 계산된 토크가 설정된 토크보다 큰 모터가 구비된 관절의 관절 회전 각도를 재 계산하는 가상 현실 양팔로봇 교시 장치.
교시 장치가 가상 현실로 구현된 양팔로봇을 교시하는 방법으로서,
교시 디바이스를 소지한 작업자의 손 위치 정보와 손목 각도 정보를 포함하는 포즈 정보로부터 추출한 3차원 좌표계를 이용하여, 상기 포즈 정보가 반영된 가상 현실 양팔로봇의 복수의 관절에 대한 관절 회전 각도를 확인하는 단계,
제1 지점에서 제2 지점으로 팔을 움직인 작업자의 팔 움직임 정보를 수집하고, 수집한 팔 움직임 정보와 상기 확인한 관절 회전 각도를 토대로 상기 가상 현실 양팔로봇의 복수의 관절에 대응하는 모터의 구동 토크를 계산하는 단계,
계산된 구동 토크를 토대로 상기 제1 지점에서 제2 지점으로의 로봇 팔 움직임을 위한 궤적을 생성하는 단계, 그리고
생성한 궤적에 따라 상기 가상 현실 양팔로봇의 교시 정보와 상기 교시 정보를 토대로 이동한 상기 가상 현실 양팔로봇의 변경된 양팔 위치를 상기 작업자가 착용한 HMD(Head Mounted Display)를 통해 디스플레이 하는 단계
를 포함하는 가상 현실 양팔로봇 교시 방법.
제9항에 있어서,
상기 관절 회전 각도를 확인하는 단계는,
상기 손 위치 정보와 손목 각도 정보를 토대로 3차원 좌표계를 추출하는 단계, 그리고
상기 3차원 좌표계를 토대로 상기 가상 현실 양팔로봇이 포즈를 취하면, 상기 복수의 관절 각각에 대한 관절 회전 각도를 확인하는 단계
를 포함하는 가상 현실 양팔로봇 교시 방법.
제10항에 있어서,
상기 3차원 좌표계에 역기구학 해석 방법을 적용하여 상기 복수의 관절에 대한 관절 회전 각도를 계산하는 가상 현실 양팔로봇 교시 방법.
제9항에 있어서,
상기 구동 토크를 계산하는 단계는,
교시 디바이스를 소지한 작업자가 팔을 제1 지점에서 제2 지점으로 이동하면, 상기 제1 지점에 대한 좌표 정보와 제2 지점에 대한 좌표 정보를 포함하는 움직임 정보를 수집하여 상기 로봇 팔이 제1 지점에서 제2 지점으로 이동할 수 있는 관절 운동 경로를 결정하는 단계, 그리고
상기 움직임 정보와 상기 확인한 관절 회전 각도 정보를 토대로, 상기 관절에 작용하는 토크를 계산하는 단계
를 포함하며,
상기 토크는 역동역학 해석을 통해 계산되는 가상 현실 양팔로봇 교시 방법.
제12항에 있어서,
상기 토크를 계산하는 단계 이후에,
임의의 관절에 대해 계산된 토크가 상기 관절에 구비된 모터에 대해 미리 설정된 최대 토크보다 크다면, 알람을 발생하는 단계, 그리고
상기 알람을 토대로 작업자로부터 새로운 궤적 생성 요청 신호가 발생하면, 상기 제1 지점의 좌표 정보와 상기 제2 지점의 좌표 정보를 토대로 상기 관절 운동 경로에 대한 새로운 궤적을 계산하는 단계
를 포함하는 가상 현실 양팔로봇 교시 방법.