KR100926760B1 - 이동 로봇의 위치 인식 및 지도 작성 방법 - Google Patents

Abstract

본 발명은 이동 로봇의 위치 인식 및 지도 작성 방법에 관한 것으로, 본 발명은 이동 로봇을 이동시키며 각 위치에서 촬영된 전방위 영상의 수평면선을 추출하고, 상기 추출된 수평면선을 보정하여 새로운 수평면선을 생성하고, 상기 생성된 수평면선과 이전 생성된 수평면선을 이용하여 이동 로봇의 위치 인식 및 지도를 작성한다.

로봇, 전방위영상, 위치인식

Description

이동 로봇의 위치 인식 및 지도 작성 방법{A Simultaneous Localization and Map Building Method of Moving Robot}

본 발명은 이동 로봇의 위치 인식 및 지도 작성 방법에 관한 것으로, 더욱 상세하게는 전방위 영상을 이용하여 이동 로봇의 위치 인식 및 지도 작성을 동시에 수행하는 이동 로봇의 위치 인식 및 지도 작성 (SLAM : Simultaneous Localization and Map Building)방법에 관한 것이다.

전방위 카메라는 카메라 주위의 360°영상을 얻을 수 있는 카메라로, 최근 전술한 전방위 카메라를 이동 로봇에 장착하고, 전방위 카메라에서 촬영된 전방위 영상을 이용하여 이동 로봇의 위치 인식 및 지도 작성하는 기술이 소개되었다.

이 기술은 일본 공개특허공보 특개평 10-160463호에 기재된 바와 같이, 전방위 시야를 갖는 전방위 시각 센서를 이동체에 탑재하고 이동체를 특정한 경로상으로 이동시키면서 전방위 시각 센서에서 이동체 주변의 화상을 시계열적인 표준 패턴으로 취득하였다. 또한, 이동체가 임의의 경로를 이동하면 전방위 시각 센서의 취득 영상과 미리 설정된 표준 패턴의 영상을 비교하고，두 영상이 일치하면 표준 패턴의 영상에 연관되는 위치를 검출 결과로 인정하였다.

그러나, 이와 같은 종래의 이동체 위치 인식 및 지도 작성 방법은 표준 패턴의 기준 영상을 대상으로 위치를 인식하기 때문에 기준 영상이 미리 준비되어 있어야 하는 문제점이 있었다.

또한, 종래의 이동체 위치 인식 및 지도 작성 방법은 취득된 전방위 영상과 기존의 표준영상을 모두 비교함에 따라 작업할 연산량이 늘어나 이동체의 위치 인식 및 지도작성의 수행시간이 길어지는 문제점이 있었다.

본 발명은 전술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 기준 영상의 필요 없이 이동 로봇의 위치 인식 및 지도 작성을 보다 효율적으로 동시에 수행할 수 있는 이동 로봇의 위치 인식 및 지도 작성 방법을 제공함에 있다.

또한, 본 발명의 다른 목적은 전방위 영상 중 수평면선의 정보만 이용하여 이동 로봇의 위치 인식 및 지도 작성의 수행시간을 단축시키는 이동 로봇의 위치 인식 및 지도 작성 방법을 제공함에 있다.

전술한 목적을 달성하기 위한 본 발명은 이동 로봇을 이동시키며 각 위치에서 촬영된 전방위 영상의 수평면선을 추출하고, 상기 추출된 수평면선을 보정하여 새로운 수평면선을 생성하고, 상기 생성된 수평면선과 이전 생성된 수평면선을 이용하여 이동 로봇의 위치 인식 및 지도를 작성한다.

또한, 상기 생성된 수평면선은 상기 추출된 수평면선을 가우시안 필터에 의 하여 보정한 수평면선이다.

또한, 상기 생성된 수평면선 영상은 상기 추출된 수평면선을 가우시안 필터로 필터링하고, 상기 필터링된 수평면선을 상기 추출된 수평면선의 위, 아래로 구축한 것이다.

또한, 상기 추출된 수평면선은 특징점을 포함하고,

상기 특징점은 상기 수평면선의 픽셀 중 밝기가 제 1 밝기레벨만큼 어두운 픽셀인 것을 특징으로 한다.

또한, 상기 생성된 수평면선은 상기 특징점을 포함하고, 상기 특징점의 좌표는 상기 이동 로봇의 이동 위치 및 상기 이동 로봇과 상기 특징점이 상기 생성된 수평면선에서 이루는 각도를 하기 수학식에 대입하여 구한다.

,

( 단, α = 이동 로봇과 특징점이 수평면선에서 이루는 각도, X,Y= 특징점의 좌표, x,y = 이동로봇의 좌표)

또한, 상기 이동 로봇과 특징점이 상기 생성된 수평면선에서 이루는 각도는 상기 생성된 수평면선과 상기 이전 생성된 수평면선의 특징점 매칭을 통하여 구한다.

또한, 상기 특징점 매칭은 SAD(Sum of Absolute Difference) 방법을 통하여 매칭된다.

또한, 상기 이동 로봇의 위치, 상기 특징점의 좌표, 상기 이동 로봇과 상기 특징점이 상기 생성된 수평면선에서 이루는 각도를 확장 칼만 필터(Extended Kalman Filter)에 적용하여 상기 이동 로봇의 위치 및 지도를 작성한다.

그리고 본 발명은 이동 로봇을 이동하며 촬영한 전방위 영상 중 수평면선을 추출하고, 상기 수평면선을 이전 추출된 수평면선과 매칭하여 특징점과 상기 이동 로봇이 수평면선에서 이루는 각도를 확인하고, 상기 이동 로봇의 이동 위치에 따른 상기 각도를 이용하여 상기 특징점의 위치를 확인한다.

또한, 상기 특징점의 위치가 확인되면, 상기 이동 로봇과 특징점이 수평면선에서 이루는 각도, 상기 이동 로봇의 이동 위치, 상기 특징점의 위치를 확장 칼만 필터(Extended Kalman Filter)에 적용하여 상기 이동 로봇의 이동 위치에 따른 지도를 작성한다.

또한, 상기 수평면선이 추출되면 상기 수평면선을 중심으로 가우시안 필터에 의하여 필터링된 수평면선을 상기 추출된 수평면선의 위,아래로 구축한 새로운 수 평면선을 생성한다.

또한, 상기 생성된 수평면선과 이전 생성된 수평면선을 매칭하여 상기 특징점과 이동 로봇이 상기 생성된 수평면선에서 이루는 각도를 구한다.

또한, 상기 특징점은 상기 추출된 수평면선의 픽셀 중 밝기가 제 1 밝기레벨만큼 어두운 픽셀이다.

이상에서 상세히 설명한 바와 같이, 본 발명은 전방위 영상 중 수평면선의 정보만 이용하여 이동 로봇의 위치 인식 및 지도 작성을 수행함에 따라 수행시간이 단축되는 효과가 있다.

또한, 미리 설정된 기준 영상을 이용하여 위치 인식을 하지 않고, 이동 로봇이 이동함에 따라 작성된 지도를 이용하여 위치 인식을 함에 따라 주위 환경 변화에 적응이 용이하다.

또한, 가우시안 필터로 재구축된 수평면선 영상을 사용함으로써, 수평면선 매칭시 노이즈 및 오차가 발생하는 문제점을 감소시켰다.

이하에서는 본 발명의 바람직한 실시예를 본 도면을 참조하여 상세하게 설명하도록 한다.

도1에 도시한 바와 같이 본 발명이 적용되는 이동 로봇(10)은 로봇 본체(12)와, 로봇 본체(12)에 장착된 전방위 카메라(11)를 포함한다. 전방위 카메라(11)는 도2에 도시된 바와 같이 전방위 렌즈(11a)와 CCD 소자(11b)로 구성되며, 전방위 카 메라(11)의 전면부에는 곡면 거울이 장착되어 도3에 예시한 것과 같이 전방위 카메라 주변의 360° 영상을 얻을 수 있다. 즉, 임의의 공간상의 점 Xmir는 곡면거울 면의 점 xmir에서 반사되어 CCD 소자(11b)에 결상되고 최종적으로는 영상면의 점 ximg로 나타나는데, 전술한 Xmir는 전방위에 분포하므로 전방위 카메라가 360° 영상을 획득할 수 있는 것이다.

도4에 도시한 바와 같이 본 발명이 적용되는 이동 로봇(10)은 도1 또는 도2에 도시한 구성요소 외에 전방위 카메라(11)에서 촬영된 전방위 영상 중 수평면선 영상을 추출하여 재구축하는 영상 처리부(20), 재구축된 수평면선 영상을 이용하여 로봇의 위치 인식 및 지도를 작성하는 제어부(30), 재구축된 수평면선 영상이 저장되는 메모리(40)를 포함한다.

전방위 카메라(11)에서 촬영된 전방위 영상은 도 3에 예시한 것과 같이 360°의 영상이다. 전방위 영상은 배경 및 그 배경과 밝기가 다른 사물 또는 사람과 같은 객체를 담고 있으며, 객체와 배경 사이의 가장자리는 주위 영역보다 어두워 져 이동 로봇(10)의 위치를 인식하기에 좋은 이정표 역할을 하며, 이러한 점들을 본 발명에서는 특징점으로 칭한다.

전방위 카메라(11)에서 촬영된 전방위 영상을 모두 이용하여 로봇의 위치를 인식하기에는 방대한 데이터 처리에 따른 부하가 너무 커 시간 지연이 일어난다. 따라서, 영상 처리부(20)는 입력받은 전방위 영상 중 전방위 카메라(11)의 Epipolar Plane로 언제나 항상 같은 평면인 수평면선을 추출한다. 하지만, 이동 로봇(10)이 이동시 지표면에 약간의 굴곡이 있다면 전방위 카메라(11)에서 촬영된 수 평면선은 변경되거나 사라질 수 있는 문제점이 발생한다.

따라서, 영상 처리부(20)는 후술할 제어부(30)의 특징점 매칭시 문제가 되는 추적 오차를 줄이기 위하여 가우시안 필터가 적용된 수평면선의 재구축 작업을 한다. 이 가우시안 필터의 적용에 따라 주위에 비하여 상대적으로 높은 주파수를 가지는 특징점의 주파수는 감쇄하게 되고, 이로 인하여 후술할 제어부(30)에서의 특징점 매칭시 오차가 줄어든다.

영상 처리부(20)에서 재구축된 수평면선 영상은 5개의 수평면선으로 구성되고, 이 중 3번째 가운데 수평면선이 재구축 전의 수평면선이다. 재구축된 수평면선 영상의 2번째(3번째 수평면선의 상부 수평면선)와 4번째 수평면선(3번째 수평면선의 하부 수평면선)은 3번째 수평면선에 3*3의 가우시안 필터가 적용되고, 1번째(2번째 수평면선의 상부 수평면선)와 5번째 수평면선(4번째 수평면선의 하부 수평면선)은 5*5의 가우시안 필터가 적용된다.

영상 처리부(20)는 재구축된 수평면선 영상을 제어부(30)에 전송 및 메모리(40)에 저장한다.

제어부(30)는 영상 처리부(20) 및 메모리(40)에서 재구축된 수평면선 영상을 입력받아 색의 경계선에 해당하는 특징점을 찾아내고, 이 특징점의 위치를 이용하여 이동 로봇의 위치 인식 및 지도작성을 한다.

이동 로봇의 위치 인식 및 지도 작성을 위해서는 이동 로봇과 특징점이 이루는 각도, 이동 로봇의 공간상 2차원 좌표, 그리고 특징점의 공간상 2차원 좌표가 필요하다. 이동 로봇의 공간상 2차원 좌표는 이동 로봇의 움직임에 따라 결정되므 로 제어부(30)에서 인식이 가능하다. 그리고, 이동 로봇과 특징점이 이루는 각도는 영상 처리부(20)에서 전송된 현재 재구축된 수평면선 영상과 메모리(40)에 저장된 이동 로봇(10)의 이동 전 재구축된 수평면선 영상의 매칭을 통하여 구할 수 있다.

수평면선을 구성하는 총 픽셀은 CCD소자(11b)의 특성에 따라 다르며, 제어부(30)에는 이 수평면선의 픽셀의 개수가 설정되어 있다. 따라서, 제어부(30)는 수평면선에서 특징점을 찾고, 로봇의 이동에 따라 새로 입력되는 수평면선의 특징점을 이전 수평면선의 특징점과 매칭시켜, 하나의 특징점에 대하여 이동 로봇이 이동시 수평면선에서 이루는 각의 변화를 검출할 수 있다. 즉, 수평면선을 구성하는 픽셀이 360개라면 이 수평면선은 1개의 라인으로 구성되어 있으므로 1 픽셀이 1°에 해당한다. 그리고, 특징점이 수평면선의 50번째 라인에 위치한다면 상기 특징점과 이동 로봇이 수평면선에서 이루는 각은 50°가 되며, 로봇이 이동함에 따라 상기 50°에 위치하던 특징점의 각도는 변경된다.

수평면선 영상의 매칭은 메모리(40)에 저장된 이전 재구축된 수평면선 영상에서 5*5 크기의 윈도우를 만들어 영상 처리부(20)에서 입력받은 현재 재구축된 수평면선 영상과 SAD(Sum of Absolute Difference)방법으로 매칭을 수행한다.

제어부(30)는 상기 특징점 매칭에 의하여 이동 로봇(10)과 특징점이 이루는 각도는 알 수 있지만, 특징점과 이동 로봇(10) 사이의 거리를 모르기 때문에 특징점이 수평면선 영상에서 어떠한 위치에 있는지 확인이 불가능하다. 더 자세히 설명하면, 전방위 카메라(11)에서 촬영된 수평면선은 이동 로봇(10)의 움직임에 상관없이 항상 같은 위치(ex: 벽면)가 촬영되므로, 제어부(30)는 이 거리 차를 인식하지 못함에 따라 특징점의 위치 확인이 불가능하다.

따라서, 제어부(30)는 수평면선에서 특징점의 위치를 구하기 위하여 이동 로봇(10)을 도 5에 예시된 것처럼 1m 전진 후 90 ° 회전하는 방식으로 하나의 특징점에 대하여 각기 다른 4곳에서 측정된 이동로봇의 각 좌표(x,y) 및 이동로봇과 특징점이 이루는 각도를 하기 수학식 1에 적용하여, 상기 특징점 하나의 2차원 위치(X,Y)를 구한다. 그리고, 제어부(30)는 나머지 특징점의 좌표도 이와 같은 방식으로 수학식 1을 이용하여 구한다.

,

( 단, α = 이동 로봇과 특징점이 수평면선에서 이루는 각도, X,Y= 특징점의 좌표, x,y = 이동로봇의 좌표)

위의 식에서 이동 로봇의 두번 이동으로 상기 2개의 미지수(X,Y)를 가지는 특징점의 좌표를 구할 수 있지만, 본 발명에서는 특징점 좌표의 오차를 줄이기 위하여 상기 4번의 이동 로봇의 이동을 통하여 특징점의 좌표를 구한다.

제어부(30)는 이동 로봇이 이동시 이동로봇의 위치, 특징점의 위치, 이동 로봇과 특징점이 수평면선에서 이루는 각도를 EKF(Extended Kalman Filter)에 적용하여 로봇의 위치 인식 및 지도를 작성한다.

이하에서는 도 7 및 도 8을 참조하여 본 발명의 일실시예에 따른 이동 로봇의 위치 인식 및 지도 작성 방법을 설명한다.

이동 로봇(10)이 공간상의 임의의 위치에 놓이면 이동 로봇(10)의 전방위 카메라(11)는 전방위 영상을 촬영한다(700).

500 단계에서 촬영된 전방위 영상은 영상 처리부(20)로 전송되고, 영상 처리부(20)는 입력받은 전방위 영상을 분석하여 수평면선을 추출한다. 그리고, 영상 처리부(20)는 상기 추출된 수평면선(제3수평면선)에서 3*3의 가우시안 필터를 적용한 2개의 수평면선(제2,4 수평면선)과, 수평면선을 5*5의 가우시안 필터를 적용한 2개의 수평면선(제1,제5 수평면선)을 만든다. 그리고, 영상 처리부(20)는 도 6에 예시된 것처럼 제 1 수평면선부터 제 5 수평면선이 순서대로 정렬된 하나의 재구축된 수평면선 영상을 만들고, 이 재구축된 수평면선 영상을 메모리(40)에 저장 및 제어부(30)로 전송한다(710).

제어부(30)는 재구축된 수평면선 영상이 입력되면, 이 수평면선 영상중 주위 배경보다 색이 급격히 어두워지는 특징점들을 파악한다(720).

특징점들이 파악되면 제어부(30)는 이 특징점들의 공간상 위치를 확인하기 위하여 이동 로봇(10)의 위치 정보 및 이동 로봇과 특징점들이 이루는 각도를 구한다. 제어부(30)는 이 특징점들의 공간상 위치를 확인하기 위하여 도 5 에 도시된 것처럼, 이동 로봇(10)을 1m 전진 후 90 ° 회전하여 하나의 특징점에 대하여 각기 다른 4곳에서 측정된 이동로봇의 각 좌표(x,y)를 확인한다. 이때, 제어부(30)는 각기 다른 4곳으로 이동시마다 영상 처리부(20)에서 전송되는 재구축된 수평면선 영상과 메모리(40)에 저장된 이전 위치에서 재구축된 수평면선 영상을 SAD방법으로 매칭하여 이동로봇(10)과 특징점이 이루는 각도를 구한다(730).

제어부(30)는 이동 로봇(10)의 위치 및 이동 로봇(10)과 특징점들이 이루는 각도가 구해지면, 이 값들을 상기 수학식 1에 적용하여 특징점들의 공간상 2차원 좌표(X,Y)를 구한다(740).

제어부(30)는 740 단계에서 특징점들의 좌표가 구해지면, 이 특징점의 좌표를 기준으로 이동 로봇의 초기 지도를 작성한다(750).

750 단계에서 이동 로봇의 초기 지도가 작성되면, 제어부(30)는 미리 설정된 이동 로봇(10)의 이동 알고리즘에 따라 이동 로봇을 이동시키며, 이동된 장소에서 영상 처리부(20)를 통하여 재구축된 수평면선 영상을 입력받는다. 그리고, 제어부(30)는 메모리(40)에 저장된 이동로봇(10)의 이전 위치에서 재구축된 수평면선 영상을 입력받아 현재 위치에서 재구축된 수평면선 영상과 SAD방법으로 매칭을 수행하여 이동 로봇(10)과 특징점이 이루는 각도를 구한다. 제어부(30)는 매칭작업 수행으로 얻어진 이동 로봇과 특징점과의 각도, 이동 로봇의 위치를 상기 수학식 1 에 적용하여 특징점의 공간상 위치를 파악하고, 이 데이터들을 EKF(Extended Kalman Filter)에 적용하여 로봇의 위치 추적 및 지도 갱신을 동시에 수행한다(760).

도 1은 본 발명의 일실시예에 따른 이동 로봇의 외형도이다.

도 2는 도 1의 이동 로봇에 설치된 전방위 카메라의 단면도이다.

도 3은 도 2의 전방위 카메라에서 촬영된 전방위 영상을 예시한 도면이다.

도 4는 본 발명의 일실시예에 따른 이동 로봇의 블록도이다.

도 5는 본 발명의 일실시예에 따른 특징점을 구하기 위한 이동 로봇의 이동을 예시한 도면이다.

도 6은 도 3의 전방위 영상에서 재구축된 수평면선 영상을 예시한 도면이다.

도 7은 본 발명의 일실시예에 따른 이동 로봇의 위치 인식 및 지도 작성 방법을 도시한 흐름도이다.

* 도면의 주요 부분에 대한 부호 설명 *

10 : 이동 로봇 11 : 전방위 카메라

20 : 영상 처리부 30 : 제어부

40 : 메모리

Claims (13)

1. 이동 로봇을 이동시키며 각 위치에서 촬영된 전방위 영상의 수평면선을 추출하고,

   상기 추출된 수평면선을 보정하여 새로운 수평면선을 생성하고,

   상기 생성된 수평면선과 이전 생성된 수평면선을 이용하여 이동 로봇의 위치 인식 및 지도를 작성하는 이동 로봇의 위치 인식 및 지도 작성 방법.
2. 제 1 항에 있어서,

   상기 생성된 수평면선은 상기 추출된 수평면선을 가우시안 필터에 의하여 보정한 수평면선인 이동 로봇의 위치 인식 및 지도 작성 방법.
3. 제 2 항에 있어서,

   상기 생성된 수평면선 영상은 상기 추출된 수평면선을 가우시안 필터로 필터링하고, 상기 필터링된 수평면선을 상기 추출된 수평면선의 위, 아래로 구축한 것인 이동 로봇의 위치 인식 및 지도 작성 방법.
4. 제 1 항에 있어서,

   상기 추출된 수평면선은 특징점을 포함하고,

   상기 특징점은 상기 수평면선의 픽셀 중 밝기가 제 1 밝기레벨만큼 어두운 픽셀인 것을 특징으로 하는 이동 로봇의 위치 인식 및 지도 작성 방법.
5. 제 4 항에 있어서,

   상기 생성된 수평면선은 상기 특징점을 포함하고,

   상기 특징점의 좌표는 상기 이동 로봇의 이동 위치 및 상기 이동 로봇과 상기 특징점이 상기 생성된 수평면선에서 이루는 각도를 하기 수학식에 대입하여 구하는 이동 로봇의 위치 인식 및 지도 작성 방법.

   

   ,

   

   ( 단, α = 이동 로봇과 특징점이 수평면선에서 이루는 각도, X,Y= 특징점의 좌표, x,y = 이동로봇의 좌표)
6. 제 5 항에 있어서,

   상기 이동 로봇과 특징점이 상기 생성된 수평면선에서 이루는 각도는 상기 생성된 수평면선과 상기 이전 생성된 수평면선의 특징점 매칭을 통하여 구하는 이동 로봇의 위치 인식 및 지도 작성 방법.
7. 제 6 항에 있어서,

   상기 특징점 매칭은 SAD(Sum of Absolute Difference) 방법을 통하여 매칭되는 로봇의 위치 인식 및 지도 작성 방법.
8. 제 5 항에 있어서,

   상기 이동 로봇의 위치, 상기 특징점의 좌표, 상기 이동 로봇과 상기 특징점이 상기 생성된 수평면선에서 이루는 각도를 확장 칼만 필터(Extended Kalman Filter)에 적용하여 상기 이동 로봇의 위치 및 지도를 작성하는 이동 로봇의 위치 및 지도 작성 방법.
9. 이동 로봇을 이동하며 촬영한 전방위 영상 중 수평면선을 추출하고,

   상기 수평면선을 이전 추출된 수평면선과 매칭하여 특징점과 상기 이동 로봇이 수평면선에서 이루는 각도를 확인하고,

   상기 이동 로봇의 이동 위치에 따른 상기 각도를 이용하여 상기 특징점의 위치를 확인하는 이동 로봇의 위치 인식 및 지도 작성 방법.
10. 제 9 항에 있어서,

    상기 특징점의 위치가 확인되면,

    상기 이동 로봇과 특징점이 수평면선에서 이루는 각도, 상기 이동 로봇의 이동 위치, 상기 특징점의 위치를 확장 칼만 필터(Extended Kalman Filter)에 적용하여 상기 이동 로봇의 이동 위치에 따른 지도를 작성하는 이동 로봇의 위치 인식 및 지도 작성 방법.
11. 제 9 항에 있어서,

    상기 수평면선이 추출되면 상기 수평면선을 중심으로 가우시안 필터에 의하여 필터링된 수평면선을 상기 추출된 수평면선의 위,아래로 구축한 새로운 수평면선을 생성하는 이동 로봇의 위치 인식 및 지도 작성 방법.
12. 제 11 항에 있어서,

    상기 생성된 수평면선과 이전 생성된 수평면선을 매칭하여 상기 특징점과 이동 로봇이 상기 생성된 수평면선에서 이루는 각도를 구하는 이동 로봇의 위치 인식 및 지도 작성 방법.
13. 제 9 항에 있어서,

    상기 특징점은 상기 추출된 수평면선의 픽셀 중 밝기가 제 1 밝기레벨만큼 어두운 픽셀인 이동 로봇의 위치 인식 및 지도 작성 방법.

Images