KR100590549B1

KR100590549B1 - 3차원 포인팅 방법을 이용한 로봇의 원격 제어 방법 및이를 구현한 로봇 제어 시스템

Info

Publication number: KR100590549B1
Application number: KR1020040016796A
Authority: KR
Inventors: 김동윤; 오종구; 방원철; 조준기; 강경호; 조성정; 최은석; 장욱
Original assignee: 삼성전자주식회사
Priority date: 2004-03-12
Filing date: 2004-03-12
Publication date: 2006-06-19
Anticipated expiration: 2024-03-12
Also published as: KR20050091367A; US20050200325A1; US7526362B2

Abstract

3차원 포인팅 방법을 이용한 로봇의 원격 제어 방법 및 이를 구현한 로봇 제어 시스템이 개시된다. 본 발명은 기존의 로봇 구조를 변경하지 않으면서 사용자의 손짓이나 제스쳐에 의한 명령에 따라 로봇을 제어한다. 로봇 제어 시스템은 사용자의 리모컨과 리모컨의 움직임을 따라 이동하는 로봇으로 구성된다. 로봇의 원격 제어 방법은 사용자의 리모컨과 로봇 사이의 거리를 측정하는 단계와, 리모컨 기준 좌표계에서 본 리모컨의 초기 위치와 로봇의 초기 위치를 계산하는 단계와, 로봇 기준 좌표계에서 본 리모컨 기준 좌표계의 원점 위치를 계산하는 단계와, 리모컨 기준 좌표계에서 본 리모컨의 이동된 위치를 계산하는 단계와, 그리고 로봇 기준 좌표계에서 본 로봇의 위치를 계산하는 단계를 포함한다.

3차원 포인팅 방법, 리모컨 기준 좌표계, 로봇 기준 좌표계, 좌표 변환부,

Description

3차원 포인팅 방법을 이용한 로봇의 원격 제어 방법 및 이를 구현한 로봇 제어 시스템{Remote control method for robot using 3-dimensional pointing method and robot control system thereof}

도 1은 청소기 로봇의 작동 원리를 설명하는 도면이다.

도 2는 사용자가 모바일 로봇에게 위치 이동을 지시하는 상황을 설명하는 도면이다.

도 3은 도 2의 상황을 기술적 관점에서 재도시한 도면이다.

도 4는 본 발명의 일실시예에 따른 리모컨 및 로봇의 블록 다이어그램을 설명하는 도면이다.

도 5는 리모컨 기준 좌표계에서 본 로봇과 리모컨과의 초기 위치 관계를 설명하는 도면이다.

도 6은 리모컨의 거리 센서부와 로봇의 블락 다이어그램을 설명하는 도면이다.

도 7은 리모컨과 로봇 사이의 거리 측정 과정을 설명하는 플로우챠트이다.

도 8은 사용자가 리모컨을 움직여 로봇이 가야할 최종 목표 지점 B를 가리키는 상황을 설명하는 도면이다.

도 9는 리모컨 기준 좌표계와 로봇 기준 좌표계 사이의 관계를 도시하는 도 면이다.

도 10은 리모컨 기준 좌표계와 로봇 기준 좌표계의 상대 요각을 구하는 플로우챠트이다.

도 11은 도 4의 좌표 변환부의 동작을 설명하는 플로우챠트이다.

본 발명은 모바일 로봇의 원격 제어 방법에 관한 것으로, 특히 로봇의 이동 경로 또는 목적지를 사용자가 직관적으로 설정할 수 있는 3차원 포인팅 방법을 이용한 로봇의 원격 제어 방법 및 이를 구현한 로봇 제어 시스템에 관한 것이다.

로봇의 궁극적인 목적은 인간의 상대자 입장에서 유용한 기능들을 수행하는 것이다. 일반적으로, 산업용 로봇은 고정된 위치에 설치되어져 특정 사이클을 반복적으로 수행하면서 작업하는 것으로, 공장 자동화와 기계 장비의 자동화를 구현하여 향상된 작업 능률과 높은 품질, 그리고 인력 감소 등의 이익을 제공한다. 부가적으로, 로봇들은 인간들이 작업할 수 없는 또는 작업하기에 부적당한 일들을 수행하고 인간들에게 위험한 환경에서도 작업할 수 있다.

산업 현장에 설치된 고정된 로봇들 보다 휠씬 많은 다양성을 가지는 자유롭게 움직이는(free-roaming) 모바일 로봇들이 있다. 모바일 로봇들은 원격지에서 조정되는 콘트롤러의 제어에 따라 작동되는 데, 대표적으로 청소용 로봇이나 엔터테인먼트용 로봇이 있다. 청소기 로봇은 청소할 영역의 범위가 설정되면 해당 영역을 주행하면서 바닥의 먼지나 쓰레기 등을 쓸어 담고, 장애물 출현시 일시 정지 및 영역 재설정을 자동으로 수행하여 청소한다.

도 1은 청소기 로봇의 작동 원리를 설명하는 도면이다. 이를 참조하면, 적외선 감지 장치를 장착한 로봇(100)은 실내 공간의 일부 구역을 청소하도록 명령된다. 로봇(100)은 적외선 수발신 장치들(110, 120)과의 통신을 통하여 해당 구역을 인지하게 되는 데, 도시된 바와 같이, 적외선 수발신 장치들(110, 120) 사이의 가상적인 장벽을 인지하면서 청소를 수행하게 된다.

마찬가지로, 엔터테인먼트 로봇의 경우에도 사용자가 의도하는 위치나 방향으로 로봇이 움직이도록 하려면 음성 또는 특정한 소리, 예컨대 박수 소리 등을 이용하여 명령을 내려야한다. 이러한 명령은 특정 구역 밖으로 나가는 것을 금지하거나 특정 지역으로 단순히 이동하는 것과 같은 간단한 명령으로 로봇에게 인가된다. 물론 조이스틱이나 마우스 등을 이용하여 로봇에게 복잡한 명령을 내릴 수도 있으나, 이러한 방법들은 로봇이 움직이는 동안에 사용자가 지속적으로 주의를 기울여야 하는 단점이 있다.

한편, 사람과 사람 사이에는 간단한 손짓(제스쳐)이나 음성 명령을 통해 복잡한 정보를 명령 또는 전달할 수 있다. 그런데, 로봇은 초보적인 영상 인식과 음성 인식을 통해 명령을 전달받기 때문에, 사람과 사람 사이에서 일어나는 자연스런 상호 작용은 기대하기 어렵다.

따라서, 손짓(제스쳐)이라는 인간의 의사 소통 방식을 인식할 수 있는 시스템을 구현하고, 이 시스템을 로봇에 탑재하면 인간과 로봇간의 인터페이스가 자연 스런 상호 작용이 가능해져 로봇의 활용 범위가 크게 넓혀질 수 있다. 최근 발전된 영상 인식 기술을 바탕으로 인간의 손짓(제스쳐)와 음성을 동시에 인식하는 로봇에 관한 연구가 진행되고 있다. 손짓을 인식하기 위한 영상 인식 기술은 고가의 하드웨어 장비를 로봇에 장착할 필요가 있고 사용자와의 거리 및 조도 등에 따라 인식 성능이 좌우되므로, 일반 가정과 같은 곳에 적용하기에는 무리가 있다.

그러므로, 기존의 로봇 구조를 크게 변경하지 않으면서 사용자의 손짓(제스쳐)에 의한 명령을 손쉽게 인식할 수 있는 시스템의 존재가 요구된다. 이러한 시스템을 장착한 로봇에게 사용자가 직관적으로 어떤 영역을 지정하여 그 영역으로의 이동을 지시하거나 이동 경로를 지시하는 경우에, 보다 간단하게 조작하고 정확하게 작동시키는 방법의 존재가 요구된다.

본 발명의 목적은 3차원 포인팅 방법을 이용한 로봇의 원격 제어 방법을 제공하는 데 있다.

본 발명의 다른 목적은 상기 로봇의 원격 제어 방법을 구현한 로봇 제어 시스템을 제공하는 데 있다.

상기 목적을 달성하기 위하여, 본 발명의 일면에 따른 3차원 포인팅 방법을 이용한 로봇의 원격 제어 방법은 리모컨과 로봇 사이의 거리를 측정하는 (a) 단계; 리모컨 기준 좌표계에서 본 리모컨의 초기 위치를 계산하는 (b) 단계; 리모컨 기준 좌표계에서 본 로봇의 초기 위치를 계산하는 (c) 단계; 로봇 기준 좌표계에서 본 리모컨 기준 좌표계의 원점 위치를 계산하는 (d) 단계; 리모컨 기준 좌표계에서 본 리모컨의 이동된 위치를 계산하는 (e)단계; 및 로봇 기준 좌표계에서 본 상기 로봇의 위치를 계산하는 (f) 단계를 포함한다.

상기 다른 목적을 달성하기 위하여, 본 발명의 다른 면에 따른 로봇 제어 시스템은 사용자의 리모컨; 및 리모컨의 움직임을 따라 이동하는 로봇을 포함한다. 리모컨은 리모컨의 자세 및 위치 정보를 계산하기 위한 측정치들을 제공하는 센서부; 센서부에서 제공되는 측정치들을 바탕으로 리모컨의 자세를 계산하는 리모컨 자세 계산부; 센서부에서 제공되는 측정치들을 바탕으로 리모컨의 위치를 계산하는 리모컨 위치 계산부; 리모컨 자세 계산부 및 리모컨 위치 계산부에서 계산된 리모컨의 자세 및 위치 정보들을 바탕으로 리모컨이 가리킨 목표 지점을 계산하는 목표 지점 계산부; 목표 지점 계산부에 의해 리모컨 기준 좌표계에서 계산된 목표 지점을 로봇 기준 좌표계에서 본 목표 지점으로 변환하는 좌표 변환부; 로봇에게 변환된 목표 지점으로 이동을 명령하는 명령 생성부; 및 로봇과의 거리를 측정하는 거리 센서부를 포함한다. 로봇은 명령 생성부의 명령에 응답하여 로봇의 주행 모터를 구동하는 로봇 주행 제어부; 및 리모컨과 로봇 사이의 거리 측정을 위해 거리 센서부와 신호를 송수신하는 로봇 센서부를 포함한다.

따라서, 본 발명은 기존의 로봇 구조를 변경하지 않으면서 사용자의 손짓이나 제스쳐에 의한 명령에 따라 로봇을 제어한다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 예시적인 실시예를 설명하는 첨부 도 면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 2는 사용자(200)가 로봇(210)에게 위치 이동을 지시하는 경우를 설명하는 도면이다. 이를 참조하면, 사용자(200)가 손짓을 인식할 수 있는 휴대 가능한 원격 제어 장치(이하 "리모컨"이라 칭한다)를 이용해 로봇(210)에게 현재 위치인 A지점에서 B 지점으로 이동하도록 명령을 내릴 때, 사용자(200)는 B 지점을 리모컨으로 바로 지시할 수도 있고 A 지점에서 B 지점으로 가는 경로를 지시할 수도 있다. 지시된 명령은 로봇(210)이 이해할 수 있는 로봇 자체의 명령으로 바뀌고 로봇(210)은 자체의 주행 알고리즘을 이용해 B 지점으로 이동하게 된다.

도 3은 도 2의 상황을 기술적 관점에서 재도시한 도면이다. 이를 참조하면, X-Y-Z 좌표계는 가상적인 3차원 좌표계를 나타내는 데, X-Y 평면은 실내 바닥과 평행하며 중력 방향에 수직이다. 사용자(200, 도 2)가 리모컨을 A 지점으로부터 B 지점을 가리키도록 이동하면, 로봇(210, 도 2)은 리모컨에 의해 생성되는 시선(LOS:Line Of Sight)과 X-Y 평면이 만나는 점들(이하 "목표 지점들"이라 칭한다)을 계산한다. 이 목표 지점들이 사용자(200, 도 2)가 의도하는 로봇(210, 도 2)의 이동 경로가 된다.

도 4는 본 발명의 일실시예에 따른 로봇 제어 시스템의 블록 다이어그램을 설명하는 도면이다. 이를 참조하면, 로봇 제어 시스템은 사용자가 이용하는 리모컨(410)과 리모컨(410)의 움직임을 따라 이동하는 로봇(430)을 포함한다. 리모컨(410)은 센서부(411), 리모컨 자세 계산부(412), 리모컨 위치 계산부(413), 메모리(414), 목표 지점 계산부(415), 거리 센서부(416), 좌표 변환부(417), 그리고 명령 생성부(420)를 포함한다. 로봇(430)은 로봇 주행 제어부(431), 로봇 센서부(432), 로봇 주행 메모리(433), 그리고 로봇 주행 모터(434)를 포함한다.

센서부(411)는 리모컨(430)의 자세 및 위치 정보를 계산하기 위하여 필요한 측정치를 제공한다. 센서부(411)는 가속도 센서(accelerometer), 각속도 센서(gyroscope), 지자기 센서(magnetic sensor) 등으로 구성되거나 이들의 조합으로 구성 할 수도 있다.

리모컨 자세 계산부(412)는 센서부(411)에서 제공된 측정치들을 바탕으로 기준 좌표계에서 본 리모컨(410)의 자세를 계산하고, 리모컨 위치 계산부(413)는 센서부(411)에서 제공된 측정치들과 리모컨 자세 계산부(412)에서 계산한 값을 바탕으로 기준 좌표계에서 본 리모컨(410)의 위치를 계산한다. 리모컨 자세 계산부(412)와 리모컨 위치 계산부(413)에서의 계산 방식은 통상 관성 항법 시스템(INS: Inertial Navigation System) 이론을 바탕으로 이루어진다.

INS 이론은 GPS와 같은 외부의 절대 위치 정보 제공 시스템 없이 시스템 단독으로 2차원 또는 3차원 상에서 자신의 위치를 파악할 때 사용하는 이론이다. INS 이론은 주로 항공, 선박, 군사용 시스템의 항법용(J.A. Farrel 및 Matthew Barth 의 저서 "The Global Positioning System & Inertial Navigation", McGraw-Hill, 1999와 G.Minkler 및 J.Minkler의 저서 "Theory And Application of Kalman Filtering", Magellan)으로 사용되었다. 그리고 INS 이론은 로봇의 주행 제어용(G. Grenon, P. E. An, S. M. Smith 및 A. J. Healey의 저널 "Enhancement of the Inertial Navigation System for the Morpheus Autonomous Underwater Vehicles", IEEE Journal of Oceanic Engineering, vol.26, no. 4, pp. 548-560, Oct. 2001) 으로 쓰여져왔다.

본 발명에 따른 로봇의 주행 제어용으로 쓰여지는 INS 이론은 로봇의 위치를 파악하기 위하여 사용되는 것으로, 구체적인 설명은 상술한 저서 및 저널들에 잘 기재되어 있으며 당업자에게 자명한 내용이므로 생략된다.

센서부(411)에 의해 측정된 측정치들과 리모컨 자세 계산부(412) 및 리모컨 위치 계산부(413)에 의해 계산된 결과들은 메모리(414)에 저장된다. 목표 지점 계산부(415)는 메모리(414)에 저장된 데이터들을 바탕으로 수학적인 알고리즘을 이용하여 사용자가 실제로 가리킨 목표 지점을 계산한다.

여기에서, 리모컨 자세 계산부(412), 리모컨 위치 계산부(413) 그리고 목표 지점 계산부(415)에서 이루어지는 계산은 리모컨 기준 좌표계에서 이루어진다. 그런데, 로봇(430)은 로봇의 입장에서 바라보이는 로봇 기준 좌표계를 바탕으로 움직이기 때문에, 리모컨 기준 좌표계에서 계산된 목표 지점 계산부(415)의 목표 지점은 로봇 기준 좌표계에서 본 목표 지점으로 변환되어야 한다. 이를 위하여, 좌표 변환부(417)는 리모컨(410) 내 메모리(414)에 저장된 데이터와 로봇(430) 내 로봇 주행 메모리(433)에 저장된 데이터, 그리고 거리 센서부(416)에서 제공되는 리모컨(410)과 로봇(430) 사이의 거리를 이용한다. 거리 센서부(416)는 초음파 센 서, 적외선 센서 등으로 구성된다.

좌표 변환부(417)에 의해 변환된 목표 지점 정보들은 명령 생성부(420)로 전달된다. 좌표 변환부(417)의 구체적인 동작은 이 후의 도 11에서 구체적으로 설명된다.

로봇 주행 제어부(431)는 명령 생성부(420)에서 제공되는 명령에 따라 로봇 주핸 모터(434)를 구동하여 로봇(430)을 제어한다. 로봇 주행 제어부(431)는 먼저 리모컨 기준 좌표계에서 본 로봇의 초기 위치를 계산하고, 로봇 기준 좌표계에서 본 리모컨 기준 좌표계의 원점 위치를 계산한다. 이 후 최종 목표 지점 또는 이동 경로상의 목표 지점에 대하여 리모컨 기준 좌표계에서 본 로봇(430)의 위치 로봇 기준 좌표계에서 본 로봇(430)의 위치를 계산한다.

로봇 주행 메모리(433)는 좌표 변환부(417)에서 변환된 좌표 정보를 저장하고 로봇 주행 제어부(431)로 전달한다. 로봇 센서부(432)는 리모컨(410)과 로봇(430) 사이의 거리 측정을 위하여 리모컨(410)의 거리 센서부(416)와 상호 작용한다. 로봇 센서부(432)의 구체적인 동작은 도 6에서 설명된다.

도 5는 리모컨 기준 좌표계에서 본 로봇과 리모컨과의 초기 위치 관계를 설명하는 도면이다. 이를 참조하면, 리모컨(410)은 자신의 동체 좌표계의 Z 축(

)을 로봇(430)을 향해 위치해 있다. 리모컨의 기준 좌표계는 첨자 u로 표시되고 리모컨(410)의 동체 좌표계는 첨자 b로 표시된다.

리모컨 기준 좌표계에서 본 리모컨(410)의 위치 좌표를

라고 설정하고 로봇(430)의 위치 좌표를

라고 설정하면, 다음과 같이 정의된다.

여기에서, 리모컨 기준 좌표계에서 리모컨(410)의 X, Y 좌표값은 0으로 설정된다. 그리고 리모컨 기준 좌표계의 XY 평면은 중력 방향에 수직인 평면으로 설정된다. 이에 따라 리모컨 기준 좌표계의 XY 평면은 로봇(430)이 주행해야 할 실내 평면과 중첩된다는 것을 알 수 있다. 왜냐하면, 건물의 실내 평면은 중력 방향에 수직이기 때문이다.

리모컨(410)과 로봇(430)의 초기 위치 관계는

과

으로부터 구해진다. 앞서 언급했듯이, 리모컨(410)의 초기 X,Y 위치는 0으로 설정하였다. 로봇(430)은 실내 평면 상에서 주행하므로 로봇(430)의 Z축 위치는 0으로 둘 수 있는 데, 로봇(430)은 그 크기에 의해 일정한 높이를 가지고 있으므로 로봇(430)의 Z축 위치는

로 설정한다. 이에 따라 리모컨(410)의 초기 위치는

로, 로봇(430)의 초기 위치는

로 구해진다.

리모컨(410) 위치와 로봇(430) 위치 사이의 관계는 다음과 같이 정리된다.

여기에서,

는 동체 좌표계의 Z 축 방향의 단위 벡터이고, D(0)는 리모컨(410)과 로봇(430) 간의 초기 거리이고,

는 방향 코사인 행렬(Direction Cosine Matrix)을 나타낸다. 방향 코사인 행렬은 두 좌표계 간의 관계를 기술할 때 쓰이는 특수한 행렬이며, 수학식 3에서의

는 리모컨의 동체 좌표계에서 본 벡터를 리모컨의 기준 좌표계에서 본 벡터로 변환하고자 하는 목적으로 사용된다. 방향 코사인 행렬

는 다음과 같이 정의된다.

여기에서, 첨자 c는 코사인(cosine) 함수를, 그리고 첨자 s는 사인(sine) 함수를 의미한다.

는 (롤(roll), 피치(pitch), 요(yaw))로써 통상 오일러 각(Euler angles)이라고 칭하는 데, 두 좌표계 사이의 회전 관계를 기술한다. 그러므로, 수학식 3에서 사용된 오일러 각은 리모컨(410)의 동체 좌표계와 리모컨(410)의 기준 좌표계 사이의 회전 관계를 나타낸다.

수학식 3에서, 방향 코사인 행렬

와 리모컨(410)과 로봇(430) 간의 거리를 알면 나머지 3개의 미지수,

,

는 수식 1에서 직접 구할 수 있다. 방향 코사인 행렬

는 센서부(411, 도 4)에서 측정된 측정치들을 이용해서 리모컨 자세 계산부(412)에서 계산된다.

본 발명의 실시예에서 센서부(411)는 3축 가속도 센서, 3축 각속도 센서 및 3축 지자기 센서로 구성되고, 각 측정축은 리모컨(410)의 동체 좌표계인

,

축과 맞추어진다. 센서부(411)가 3개의 센서들, 즉 3축 가속도 센서, 3축 각속도 센서 및 3축 지자기 센서의 조합으로 구성되는 것 이외에, 3축 가속도 센서와 3축 각속도 센서의 조합으로, 그리고 3축 가속도 센서와 3축 지자기 센서의 조합 등으로 구성될 수도 있다.

3축 가속도 센서에서 읽혀진 값을 바탕으로 롤 각과 피치 각을 구하는 수식은 다음과 같다.

여기에서,

,

는 각각 3축 가속도 센서로부터 구해지는 리모컨(410)의 동체 좌표계의 X, Y, Z 축 가속도 측정치들이다.

요 각은 수학식 5에서 구해지는 롤 각 및 피치 각과 3축 지자기 센서에서 읽 혀진 값을 이용하여 다음과 같은 수식으로부터 구해진다.

여기에서,

,

는 각각 3축 지자기 센서로부터 구해진 리모컨(410)의 동체 좌표계의 X, Y, Z 축 지자기 측정치들이고,

,

는 각각 리모컨(410)의 기준 좌표계에서 본 지자기 측정치들이다. 이 값들 중에서

와

를 다음의 수학식에 대입하면 요각을 구할 수 있다.

따라서, 수학식 5 및 수학식 7을 통하여 얻어진 롤 각, 피치 각, 요 각을 수학식 4에 대입하면 방향 코사인 행렬

를 얻을 수 있다.

다음으로, 리모컨(410)과 로봇(430) 간의 초기 거리 D(0)는 도 6에 도시된 바와 같이, 리모컨(410) 내 거리 센서부(416, 도 4)와 로봇(430) 내 로봇 센서부(432, 도 4) 사이의 상호 작용에 의해 얻어진다. 도 6을 참조하면, 거리 센서부(416)는 적외선 수발신부(601), 초음파 수발신부(602), 제어부(603), 메모리(604), 그리고 입력 장치(605)를 포함하고, 로봇 센서부(432)는 적외선 수발신부(611), 제어부(613), 그리고 메모리(614)를 더 포함한다. 적외선 수발신부들(601, 611)은 리모컨(410)과 로봇(430)의 동기화를 위해 장착되고, 초음파 수발신부(602)는 리모컨(410)과 로봇(430) 사이의 거리를 측정하기 위해 장착된다.

리모컨(410)과 로봇(430) 사이의 거리 측정 과정은 도 6과 연계하여 도 7의 플로우챠트로 설명된다. 도 7을 참조하면, 버튼으로 구현된 입력 장치(605)를 누름으로써 거리 계산이 시작된다. 리모컨(410)으로 로봇(430)을 가리키면(710), 리모컨(410)은 로봇(430)에게 적외선 신호를 발신한다(720). 로봇(430)은 적외선 신호를 감지하고 제어부(613)로 전달한다(730). 로봇(430)의 제어부는 리모컨(410)이 송신한 적외선 신호를 수신하였음을 알리기 위해 적외선 수발신부(611)를 구동하여 리모컨(410)쪽으로 적외선 신호를 발신한다(740). 리모컨(410)은 로봇(430)에서 송신한 적외선 신호를 수신한 후 초음파 수발신부(602)를 제어해 초음파를 발신하고 이때의 시간 T1을 메모리(604)에 저장한다. 이 후, 리모컨(410)은 반사되어 돌아오는 초음파 신호를 수신하고 이 때의 시간 T2를 메모리(604)에 저장한다. T2 시간과 T1 시간 사이의 차이를 이용해서 리모컨(410)과 로봇(430) 사이의 초기 거리(D(0))를 측정한다(770). 초기 거리(D(0))는 다음과 같이 계산된다.

여기에서, 340m/s은 초음파의 속도를 나타낸다.

지금까지는 리모컨(410)과 로봇(430) 사이의 초기 자세 및 위치 관계와 초기 거리를 계산하였다. 이하에서는 사용자가 리모컨(410)을 움직여 로봇(430)이 이동 해야 하는 최종 목적지 또는 이동 경로를 지정하는 과정에 대하여 설명된다.

도 8은 사용자가 리모컨(410)을 움직여 로봇(430)이 가야할 최종 목표 지점 B를 가리키는 상황을 설명하는 도면이다. 이를 참조하면, 로봇(430)은 시작 지점 A에 있다. 시작 지점 A와 최종 목표 지점 B 사이의 위치 관계는 앞서 설명한 수학식 3과 유사하게 다음과 같다.

여기에서, D(t)는 목표 지점 B에 로봇이 도달했을 경우에 측정되는 리모컨(410)과 로봇(430) 상단 사이의 거리를 나타내고,

는 로봇(430)이 목표 지점 B에 도달했을 경우 리모컨 기준 좌표계에서 바라본 로봇(430)의 X, Y, Z 좌표를 나타내고,

는 리모컨(410)이 목표 지점 B를 가리킬 때 리모컨 기준 좌표계에서 바라본 리모컨(410)의 X, Y, Z 좌표를 나타낸다.

는 리모컨(410) 내 센서부(411)를 구성하는 가속도 센서, 각속도 센서, 그리고 지자기 센서의 조합과 INS 이론을 이용하여 구할 수 있다. 이는 당업자에게 자명한 내용으로 구체적인 기술은 생략하고, 간단히 그 수식의 전개를 나타내면 다음과 같다.

여기에서,

는 3축 가속도 센서의 측정치를 나타내고,

,

는 각각 3축 각속도 센서의 측정치를 나타내고, 그리고

은 중력 가속도를 나타낸다.

수학식 10을 이용하여

와

를 구할 수 있다. 따라서, 수학식 9에서 미지수는

,

세가지이다. 수학식 9는 3차 연립 방정식으므로 간단한 계산에 의해 세 미지수

,

를 계산할 수 있다. 이와 같이 계산된 로봇(430)의 위치 정보는 리모컨 기준 좌표계에서 바라본 값이다. 로봇(430)을 조작하기 위해서는 리모컨 기준 좌표계에서 바라본 값을 로봇(430)이 내장한 기준 좌표계, 즉 로봇 기준 좌표계에서 본 값으로 변환하는 과정이 필요하다.

도 9에 도시된 바와 같이, 리모컨 기준 좌표계와 로봇 기준 좌표계는 두 좌표계 모두 XY 평면이 중력 방향에 수직이다. 로봇이 실내의 바닥에서 주행하도록 구성되어 있는 점을 감안하면 로봇 기준 좌표계의 XY 평면이 중력 방향에 수직이라는 것은 당연하다.

한편, 앞서 설명했다시피 두 좌표계 사이의 관계는 방향 코사인 행렬로 기술되며, 이는 다시 오일러 각을 이용하여 계산된다. 오일러 각을 이루는 세 각인 롤, 피치, 요 각들 중 롤 각과 피치 각은 두 좌표계의 상대적인 기울기를 의미한다. 리모컨 기준 좌표계와 로봇 기준 좌표계의 XY 평면은 서로 평행이므로 롤 각과 피치 각은 각각 0이다. 그러므로 오일러 각 중에서 구해야 하는 각은 두 좌표계 사이의 상대적인 헤딩 각, 즉 요 각의 차이이다.

리모컨(410)은 지자기 센서를 구비하기 때문에 자체의 절대 요각을 측정할 수 있다. 그리고, 자율 주행이 가능한 로봇들(430) 또한 지자기 센서를 구비해 절대 요각을 측정할 수 있다. 절대 요각이란 시스템이 북극을 향해 있을 때를 기점으로 측정한 값을 의미한다. 그러므로, 리모컨(410)과 로봇(430)에서 계산되는 요각 모두 북극을 기준으로 하는 기준 좌표계에서 측정된 것이므로, 리모컨 기준 좌표계와 로봇 기준 좌표계의 요각의 차이는 쉽게 구해진다.

도 10은 리모컨 기준 좌표계와 로봇 기준 좌표계의 상대 요각을 구하는 플로우챠트이다. 이를 참조하면, 리모컨에 장착된 가속도 센서로부터 3축 가속도 측정치를 구하고(1001), 리모컨에 장착된 지자기 센서로부터 3축 지자기 측정치를 구한다(1002). 3축 지자기 측정치와 수학식 5에 의해 3축 가속도 측정치를 바탕으로 계산된 롤 각과 피치 각으로부터 리모컨의 절대 요각(

)을 구한다(1003). 리모 컨의 절대 요각(

)은 수학식 5 및 6으로부터 구해진다. 이 후, 로봇에 장착된 주행 제어부로부터 로봇의 절대 요각(

)을 구한다(1004). 이 후, 리모컨의 절대 요각(

)과 로봇의 절대 요각(

)의 차이에 의해 리모컨 기준 좌표계와 로봇 기준 좌표계의 상대 요각을 구한다(1005).

도 11은 좌표 변환부에서 수행되는 전체 데이터 흐름을 설명하는 플로우챠트이다. 이를 참조하면, 샘플링 횟수 k 및 샘플링 주기 T를 이용하여 시간 t는 kT로 설정하고 샘플링 횟수 k는 0으로 초기 설정된다(1101). 리모컨 기준 좌표계에서 본 로봇의 초기 위치

를 계산한다(1102).

는 앞서 설명한 수학식 3 내지 수학식 7을 이용하여 얻어진다. 리모컨 기준 좌표계와 로봇 기준 좌표계의 절대 요각의 차이를 구해 두 좌표계 사이의 관계를 기술하는 방향 코사인 행렬

을 계산한다(1103). 로봇(430)에 내장된 주행 제어부(431)로부터 리모컨 기준 좌표계에서 본 로봇(430)의 초기 위치

를 구한다(1104). 로봇 기준 좌표계에서 본 리모컨 기준 좌표계의 원점 위치를 계산하는 데(1105), 원점 위치

는 다음과 같이 계산된다.

여기에서,

,

은 각각 리모컨 기준 좌표계와 로봇 기준 좌표계를 의 미한다. 또한

은 리모컨 기준 좌표계와 로봇 기준 좌표계의 회전 관계를 기술하는 방향 코사인 행렬이며 그 구조는 수학식 4에 보인 방향 코사인 행렬과 동일하고 그 값은 단지

,

으로 두고

는 도 10을 통해 구한 상대 요각 yaw를 대입하면 얻을 수 있다.

이 후, 샘플링 횟수 k를 1 증가시키고(1106), 시간 t(=t+kT)에서 리모컨 기준 좌표계에서 본 로봇(430)의 위치

를 계산하고(1107), 로봇 기준 좌표계에서 본 로봇(430)의 위치

를 계산한다(1108).

는 다음과 같이 계산된다.

이 후, 로봇(430)의 최종 목표 지점에 대한 위치 계산이 완료되면 좌표 변환부(417)의 동작이 종료(110)되고, 로봇(430)의 이동 경로 상의 목표 지점들의 위치를 계산하게 되면 좌표 변환부(417)는 1106 단계 내지 1108 단계를 반복적으로 수행한다.

따라서, 본 발명의 로봇 제어 시스템은 사용자의 자연스럽고 직관적인 손짓 또는 제스쳐에 따른 리모컨 조작을 따라 로봇이 이동되는 데, 손짓이나 제스쳐 등을 인식하기 위한 고가의 영상 인식 하드웨어 장비를 로봇에 장착하지 않고도 리모컨 기준 좌표계와 로봇 기준 좌표계와의 위치 관계의 계산 및 좌표 변환을 통해 로 봇을 이동시킨다.

본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

상술한 본 발명에 의하면, 기존의 로봇 구조를 변경하지 않으면서 사용자의 손짓이나 제스쳐에 의한 명령에 따라 로봇을 제어한다.

Claims

3차원 포인팅 방법을 이용한 로봇의 원격 제어 방법에 있어서,

리모컨과 로봇 사이의 거리를 측정하는 (a) 단계;

리모컨 기준 좌표계에서 본 상기 리모컨의 초기 위치를 계산하는 (b) 단계;

상기 리모컨 기준 좌표계에서 본 상기 로봇의 초기 위치를 계산하는 (c) 단계;

로봇 기준 좌표계에서 본 상기 리모컨 기준 좌표계의 원점 위치를 계산하는 (d) 단계

상기 리모컨 기준 좌표계에서 본 상기 리모컨의 이동된 위치를 계산하는 (e)단계; 및

상기 로봇 기준 좌표계에서 본 상기 로봇의 위치를 계산하는 (f) 단계를 구비하는 것을 특징으로 하는 로봇의 원격 제어 방법.
제1항에 있어서, 상기 (a)단계는

상기 리모컨으로 상기 로봇을 가리키는 (a-1)단계;

상기 리모컨이 상기 로봇에게 적외선 신호를 발신하는 (a-2) 단계;

상기 로봇이 상기 적외선 신호를 감지하고 상기 적외선 신호를 수신하였음을 알리기 위해 상기 리모컨쪽으로 적외선 신호를 발신하는 (a-3) 단계;

상기 리모컨이 상기 로봇에서 송신한 상기 적외선 신호를 수신한 후 초음파를 발신하고 이때의 시간 T1을 저장하는 (a-4) 단계;

상기 리모컨은 반사되어 돌아오는 상기 초음파 신호를 수신하고 이 때의 시간 T2를 저장하는 (a-5) 단계; 및

상기 T2 시간과 상기 T1 시간 사이의 차이를 이용해서 상기 리모컨과 상기 로봇 사이의 초기 거리를 측정하는 (a-6) 단계를 구비하는 것을 특징으로 하는 로봇의 원격 제어 방법.
제2항에 있어서, 상기 리모컨과 상기 로봇 사이의 초기 거리(D(0))는

로 계산되는 것을 특징으로 하는 로봇의 원격 제어 방법.
제3항에 있어서, 상기 초음파 속도는

340m/s 정도인 것을 특징으로 하는 로봇의 원격 제어 방법.
제1항에 있어서, 상기 (b) 단계는

상기 리모컨의 위치 좌표를
라고 했을 때,

상기 리모컨의 초기 위치는
로 구해지는 것을 특징으로 하는 로봇의 원격 제어 방법.
제1항에 있어서, 상기 (c)단계는

상기 로봇의 위치 좌표를
라고 했을 때,

상기 로봇의 초기 위치는
로 구해지고,

은 상기 로봇의 크기에 따른 높이인 것을 특징으로 하는 로봇의 원격 제어 방법.
제5항 및 제6항에 있어서, 상기 리모컨과 상기 로봇의 위치 관계는

로 계산되고,

상기
는 상기 리모컨의 동체 좌표계의 Z 축 방향의 단위 벡터 이고, D(0)는 상기 리모컨과 상기 로봇 간의 초기 거리이고,
는 방향 코사인 행렬(Direction Cosine Matrix)을 나타내는 것을 특징으로 하는 로봇의 원격 제어 방법.
제7항에 있어서, 상기 방향 코사인 행렬
는

로 나타내고,

첨자 c는 코사인(cosine) 함수를, 그리고 첨자 s는 사인(sine) 함수를 의미하고,
는 (롤(roll), 피치(pitch), 요(yaw))인 오일러 각(Euler angles)을 나타내는 것을 특징으로 하는 로봇의 원격 제어 방법.
제8항에 있어서, 상기 롤(
) 각 및 피치(
) 각은

으로 계산되고,

,
,
는 각각 상기 리모컨 내 3축 가속도 센서로부터 구해지는 상기 리모컨의 동체 좌표계의 X, Y, Z 축 가속도 측정치들을 나타내는 것을 특징으로 하는 로봇의 원격 제어 방법.
제8항에 있어서, 상기 요(
) 각은

으로 계산되고,

,
,
는 각각 상기 리모컨 기준 좌표계에서 본 지자기 측정치들이고,

로 계산되고

,
,
는 각각 상기 리모컨 내 3축 지자기 센서로부터 구해진 상기 리모컨의 동체 좌표계의 X, Y, Z 축 지자기 측정치들을 나타내는 것을 특징으로 하는 로봇의 원격 제어 방법.
제1항에 있어서, 상기 (d) 단계는

상기 리모컨 기준 좌표계와 로봇 기준 좌표계의 절대 요각의 차이를 구하는 (d-1) 단계;

상기 리모컨 기준 좌표계와 로봇 기준 좌표계 사이의 관계를 기술하는 방향 코사인 행렬
을 계산하는 (d-2) 단계; 및

상기 로봇 기준 좌표계에서 본 상기 리모컨 기준 좌표계의 원점 위치
는

로 계산되는 (d-3) 단계를 구비하고,

는 상기 리모컨 기준 좌표계에서 본 상기 로봇의 초기 위치를 나타내고,
는 상기 리모컨 기준 좌표계에서 본 상기 로봇의 초기 위치를 나타내는 것을 특징으로 하는 로봇의 원격 제어 방법.
제1항에 있어서, 상기 (e) 및 (f) 단계는

샘플링 횟수 k를 1씩 증가시키면서 샘플링 시간 t 마다 수행되고,

상기 샘플링 시간 t=t+kT으로 주어지는 것을 특징으로 하는 로봇의 원격 제어 방법.
제1항에 있어서, 상기 (e) 단계는

상기 리모컨이 목표 지점을 가리킬 때 상기 리모컨 기준 좌표계에서 바라본 상기 리모컨의 위치 좌표를
라고 하고, 상기 로봇이 목표 지점에 도달했을 경우 리모컨 기준 좌표계에서 바라본 상기 로봇의 위치 좌표를
라고 했을 때,

상기 로봇이 위치하는 시작 지점과 상기 로봇이 이동해야 하는 상기 목표 지점 사이의 위치 관계를

로 계산하는 (e-1) 단계;

로 계산하는 (e-2) 단계; 및

상기 (e-2) 단계로부터 상기
와 상기
를 구하여
,
,
를 계산하는 (e-3) 단계를 구비하고,

D(t)는 상기 목표 지점에 로봇이 도달했을 경우에 측정되는 상기 리모컨과 상기 로봇 상단 사이의 거리를 나타내고,
은 상기 로봇의 크기에 따른 높이를 나타내고,
는 3축 가속도 센서의 측정치를 나타내고,
는 (롤(roll), 피치(pitch), 요(yaw))인 오일러 각(Euler angles)을 나타내고,
,
,
는 각각 상기 리모컨의 3축 각속도 센서의 측정치를 나타내고, 그리고
은 중력 가속도를 나타내는 것을 특징으로 하는 로봇의 원격 제어 방법.
제1항에 있어서, 상기 (f) 단계는

상기 로봇 기준 좌표계에서 본 상기 로봇의 위치
는

로 계산되고,

은 상기 로봇 기준 좌표계에서 본 상기 리모컨 기준 좌표계의 원점 위치를 나타내고,
는 상기 리모컨 기준 좌표계와 상기 로봇 기준 좌표계 사이의 관계를 기술하는 방향 코사인 행렬인 것을 특징으로 하는 로봇의 원격 제어 방법.
제1항에 있어서, 상기 로봇의 원격 제어 방법은

상기 (a) 내지 (f) 단계에서 계산된 위치 정보에 응답하여 상기 로봇을 이동시키는 단계를 더 구비하는 것을 특징으로 하는 로봇의 원격 제어 방법.
로봇 제어 시스템에 있어서,

사용자의 리모컨; 및

상기 리모컨의 움직임을 따라 이동하는 로봇을 구비하고,

상기 리모컨은

상기 리모컨의 자세 및 위치 정보를 계산하기 위한 측정치들을 제공하는 센서부;

상기 센서부에서 제공되는 측정치들을 바탕으로 상기 리모컨의 자세를 계산하는 리모컨 자세 계산부;

상기 센서부에서 제공되는 측정치들을 바탕으로 상기 리모컨의 위치를 계산하는 리모컨 위치 계산부;

상기 리모컨 자세 계산부 및 상기 리모컨 위치 계산부에서 계산된 상기 리모컨의 자세 및 위치 정보들을 바탕으로 상기 리모컨이 가리킨 목표 지점을 계산하는 목표 지점 계산부;

상기 목표 지점 계산부에 의해 리모컨 기준 좌표계에서 계산된 상기 목표 지점을 로봇 기준 좌표계에서 본 목표 지점으로 변환하는 좌표 변환부;

상기 로봇에게 상기 변환된 목표 지점으로 이동을 명령하는 명령 생성부; 및

상기 로봇과의 거리를 측정하는 거리 센서부를 구비하고,

상기 로봇은

상기 명령 생성부의 명령에 응답하여 상기 로봇의 주행 모터를 구동하는 로봇 주행 제어부; 및

상기 리모컨과 상기 로봇 사이의 거리 측정을 위해 상기 거리 센서부와 신호를 송수신하는 로봇 센서부를 구비하는 것을 특징으로 하는 로봇 제어 시스템.
제16항에 있어서, 상기 리모컨의 센서부는

가속도 센서(accelerometer), 각속도 센서(gyroscope), 그리고 지자기 센서(magnetic sensor) 중의 어느 하나 또는 그들의 조합으로 구성되는 것을 특징으로 하는 로봇 제어 시스템.
제16항에 있어서, 상기 거리 센서부는

상기 로봇 센서부와의 동기화를 위해 상기 로봇 센서부로 적외선 신호를 발신하고 상기 로봇 센서부에서 송신한 적외선 신호를 수신하는 적외선 수발신부;

상기 로봇으로 초음파 신호를 발신하고 반사되어 돌아오는 상기 초음파 신호를 수신하는 초음파 수발신부; 및

상기 초음파 수발신부에서 상기 초음파 신호를 발신할 때의 시간 T1과 상기 초음파 신호를 수신할 때의 시간 T2를 저장하는 메모리를 구비하는 것을 특징으로 하는 로봇 제어 시스템.
제16항에 있어서, 상기 로봇 센서부는

상기 거리 센서부와의 동기화를 위해 상기 거리 센서부로부터 송신되는 적외선 신호를 수신하고 상기 거리 센서부로 적외선 신호를 발신하는 적외선 수발신부를 구비하는 것을 특징으로 하는 로봇 제어 시스템.
제16항에 있어서, 상기 목표 지점 계산부는

상기 리모컨의 위치 좌표를
라고 하고, 상기 로봇의 위치 좌표를
라고 했을 때,

상기 리모컨의 초기 위치는
로, 그리고 상기 로봇의 초기 위치는
로 구해지고,

상기 리모컨과 상기 로봇의 초기 위치 관계는

로 계산되며,

은 상기 로봇의 크기에 따른 높이이고, 상기
는 상기 리모컨의 동체 좌표계의 Z 축 방향의 단위 벡터이고, D(0)는 상기 리모컨과 상기 로봇 간의 초기 거리이고,
는 방향 코사인 행렬(Direction Cosine Matrix)을 나타내는 것을 특징으로 하는 로봇 제어 시스템.
제20항에 있어서, 상기 방향 코사인 행렬
는

로 나타내고,

첨자 c는 코사인(cosine) 함수를, 그리고 첨자 s는 사인(sine) 함수를 의미하고,
는 (롤(roll), 피치(pitch), 요(yaw))인 오일러 각(Euler angles)을 나타내는 것을 특징으로 하는 로봇 제어 시스템.
제21항에 있어서, 상기 롤(
) 각 및 피치(
) 각은

으로 계산되고,

,
,
는 각각 상기 리모컨 내 3축 가속도 센서로부터 구해지는 상기 리모컨의 동체 좌표계의 X, Y, Z 축 가속도 측정치들을 나타내는 것을 특징으로 하는 로봇 제어 시스템.
제21항에 있어서, 상기 요(
) 각은

으로 계산되고,

,
,
는 각각 상기 리모컨 기준 좌표계에서 본 지자기 측정치들이고,

로 계산되고

,
,
는 각각 상기 리모컨 내 3축 지자기 센서로부터 구해진 상기 리모컨의 동체 좌표계의 X, Y, Z 축 지자기 측정치들을 나타내는 것을 특징으로 하는 로봇 제어 시스템.
제16항에 있어서, 상기 목표 지점 계산부는

상기 리모컨이 목표 지점을 가리킬 때 리모컨 기준 좌표계에서 바라본 상기 리모컨의 위치 좌표를
라고 하고, 상기 로봇이 목표 지점에 도달했을 경우 리모컨 기준 좌표계에서 바라본 상기 로봇의 위치 좌표를
라고 했을 때,

상기 로봇이 위치하는 시작 지점과 상기 로봇이 이동해야 하는 상기 목표 지점 사이의 위치 관계는

로 계산되고,

로 계산되며,

D(t)는 상기 목표 지점에 로봇이 도달했을 경우에 측정되는 상기 리모컨과 상기 로봇 상단 사이의 거리를 나타내고,
은 상기 로봇의 크기에 따른 높이를 나타내고,
는 3축 가속도 센서의 측정치를 나타내고,
는 (롤(roll), 피치(pitch), 요(yaw))인 오일러 각(Euler angles)을 나타 내고,
,
,
는 각각 상기 리모컨 내 센서부의 3축 각속도 센서의 측정치를 나타내고, 그리고
은 중력 가속도를 나타내는 것을 특징으로 하는 로봇 제어 시스템.
제16항에 있어서, 상기 좌표 변환부는

상기 리모컨 기준 좌표계와 상기 로봇 기준 좌표계의 절대 요각의 차이를 구해 두 좌표계 사이의 관계를 기술하는 방향 코사인 행렬
을 계산하고,

상기 로봇 기준 좌표계에서 본 상기 리모컨 기준 좌표계의 원점 위치
는

로 계산되며,

는 상기 리모컨 기준 좌표계에서 본 상기 로봇의 초기 위치를 나타내고,
는 상기 로봇에 내장된 상기 로봇 주행 제어부로부터 상기 리모컨 기준 좌표계에서 본 상기 로봇의 초기 위치를 나타내고,

상기 로봇 기준 좌표계에서 본 상기 로봇의 위치
는

로 계산되는 것을 특징으로 하는 로봇 제어 시스템.