[go: up one dir, main page]

KR20070054557A - 이동 로봇의 자기 위치 인식 방법 및 장치 - Google Patents

이동 로봇의 자기 위치 인식 방법 및 장치 Download PDF

Info

Publication number
KR20070054557A
KR20070054557A KR1020060056520A KR20060056520A KR20070054557A KR 20070054557 A KR20070054557 A KR 20070054557A KR 1020060056520 A KR1020060056520 A KR 1020060056520A KR 20060056520 A KR20060056520 A KR 20060056520A KR 20070054557 A KR20070054557 A KR 20070054557A
Authority
KR
South Korea
Prior art keywords
mobile robot
distance
transmitting
sensor
fixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020060056520A
Other languages
English (en)
Other versions
KR100834761B1 (ko
Inventor
이형기
명현
최기완
이영범
방석원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20070054557A publication Critical patent/KR20070054557A/ko
Application granted granted Critical
Publication of KR100834761B1 publication Critical patent/KR100834761B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/10Programme-controlled manipulators characterised by positioning means for manipulator elements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 데드 레코닝(Dead-reckining) 및 거리 센싱(Range Sensing)을 이용하여 이동 로봇의 위치를 인식하는 방법 및 장치에 관한 것이다.
이동 로봇의 위치 인식 방법은 이동 로봇의 운동에 따라서 변화되는 상태량을 감지하는 데드 레코닝(dead-reckining) 단계와, 상기 이동 로봇과 적어도 하나 이상의 고정 위치와의 거리를 센싱하여 상기 이동 로봇의 절대 위치를 계산하는 단계와, 상기 변화되는 상태량 및 상기 계산된 절대 위치를 이용하여, 현재 상기 이동 로봇의 최적 위치를 추정하는 단계와, 상기 결정된 현재 최적 위치가 소정의 유효 영역 내에 속하는가를 판단하는 단계와, 상기 판단 결과에 따라서 상기 결정된 현재 최적 위치를 교정하는 단계로 이루어진다.
이동 로봇, 로컬라이제이션, 데드 레코닝, 거리 센싱, 유효 영역, 칼만 필터

Description

이동 로봇의 자기 위치 인식 방법 및 장치{Method and apparatus for reckoning position of moving robot}
도 1은 이전의 청소 로봇의 이동 궤적을 나타내는 도면.
도 2는 최근의 청소 로봇의 이동 궤적을 나타내는 도면.
도 3은 본 발명의 일 실시예에 따른 이동 로봇 및 충전 스테이션의 개략을 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 이동 로봇의 구성을 도시하는 블록도.
도 5는 UWB 신호를 송신하고 수신하는 과정을 나타내는 도면.
도 6은 송신측에서 전송되는 UWB 펄스의 파형의 예를 도시하는 도면.
도 7은 수신측에서 수신되는 UWB 신호의 파형의 예를 도시하는 도면.
도 8은 UWB 신호를 이용하여 이동 로봇과 충전 스테이션 간의 거리를 구하는 방법을 설명하기 위한 도면.
도 9는 상태 예측부의 세부 구성 요소를 도시하는 도면.
도 10은 시스템 예측 및 관측 예측을 위한 각종 파라미터를 나타내는 도면.
도 11은 본 발명의 일 실시예에 따른 유효 영역을 나타내는 도면.
도 12는 본 발명의 다른 실시예에 따른 유효 영역을 나타내는 도면.
도 13는 보조 센서로 근접 장애물 감지 센서를 사용하는 경우의 동작 흐름을 나타내는 도면.
도 14은 보조 센서로 레이저 센서를 사용하는 경우의 동작 흐름을 나타내는 도면.
도 15는 보조 센서로 카메라를 사용하는 경우의 동작 흐름을 나타내는 도면.
(도면의 주요부분에 대한 부호 설명)
100 : 이동 로봇 101, 102 : 주행 바퀴
110 : 송수신부 120 : 거리 계산부
130 : 상태 예측부 131 : 시스템 예측부
132 : 관측 예측부 133 : 업데이트 부
134 : 상태 저장부 140 : 주행부
150 : 엔코더 160 : 리로케이션 판단부
170 : 보조 센서 180 : 리로케이션부
200 : 충전 스테이션 210 : 제1 송수신부
220 : 제2 송수신부
본 발명은 위치 인식 기술에 관한 것으로, 보다 상세하게는 데드 레코닝(Dead-reckining) 및 거리 센싱(Range Sensing)을 이용하여 이동 로봇의 위치를 인식하는 방법 및 장치에 관한 것이다.
일반적으로 로봇은 산업용으로 개발되어 공장자동화의 일환으로 사용되거나, 인간이 견딜 수 없는 극한의 환경에서 인간을 대신하여 작업을 수행하는 데 사용되어 왔다. 이러한 로봇 공학분야는 근래에 들어 최첨단의 우주개발산업에 사용되면서 발전을 거듭하여 최근에 들어서는 인간친화적인 가정용 로봇의 개발에까지 이르렀다. 덧붙여, 로봇은 의료용 기기를 대체하여 인간 생체 내에 투입됨으로써, 기존의 의료용 기기로는 치료가 불가능했던 미세한 인간 생체조직의 치료에까지 이용된다. 이와 같은 눈부신 로봇공학의 발전은 인터넷에 의한 정보혁명과 이를 뒤이어 유행하고 있는 생명공학분야를 대체하여 새롭게 등장할 최첨단 분야로서 각광받고 있다.
이 중 상기 가정용 로봇은 산업용 로봇에 국한되어왔던 기존의 중공업 중심의 로봇공학분야를 경공업 중심의 로봇공학 분야까지 확대시킨 주역으로서 가장 기본적으로 상기되는 것으로 청소용 로봇을 그 예로 들 수 있다. 이러한 상기 청소용 로봇은 보통 이동을 위한 구동수단과, 청소를 위한 청소 수단 그리고, 전방위 장애물을 감지 하기 위한 감시수단 등으로 구성되어 있다.
일반적으로, 상기 구동수단은 구동력을 발휘하기 위한 구동모터와, 상기 구동모터에 의해 구동되는 무한궤도 또는 소정직경의 바퀴와, 구동을 제어하기 위한 구동 제어회로 등으로 구성되어 있다. 그리고, 상기 청소수단은 먼지 등을 집진하여 제거하기 위한 집진기 등과, 집진행동을 제어하기 위한 집진 제어회로 등으로 구성되어 있다. 또한, 상기 감시수단은 전방위 장애물을 포착하기 위한 감시용 카메라와, 상기 감시용 카메라로 포착되는 영상을 사용자에게 전송하기 위한 전송장 치로 구성되어 있다.
이와 같이, 이전의 청소 로봇(1)은 도 1에서 도시하는 바와 같이, 제한된 영역(2) 내에서 상기 감시수단을 이용하여 장애물이 나타나면 다른 방향으로 전환하는 방식으로 이동을 한다. 따라서, 중복적으로 청소되는 부분이나 전혀 청소되지 않는 부분이 존재하기 마련이며, 그 이동 경로 또한 매우 비효율적이라는 것을 알 수 있다.
따라서, 최근의 청소 로봇(3)은 도 2에서 도시하는 바와 같이, 자신의 위치를 어떤 수단에 의하여 계산하고, 청소할 대상 영역(2)를 파악한 후 최적의 경로로 이동함으로써 청소 시간 및 에너지 소비를 감소시킨다.
이와 같이, 최근의 청소 로봇을 비롯한 일정 영역 내를 이동하는 로봇 장치에 있어서는, 이와 같이 자신의 위치를 정확히 파악하는 기술, 즉 정밀한 로컬라이제이션(localization)이 필수적이다. 그런데, 이러한 이동 로봇에 있어서는 사용자가 임의로 상기 이동 로봇을 들어 옮기는 경우(소위 "키드내핑(kidnapping)"이라고 함)가 빈번히 발생할 수 있어, 이 경우 자신의 위치를 재설정할 수 있는 방법도 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 일정한 영역 내를 이동하는 이동 로봇의 자기 위치를 보다 정확하게 파악하는 방법 및 장치를 제공하는 것이다.
특히, 키드내핑(kidnapping)과 같은 예외적인 상황이 발생하더라도 이동 로봇의 위치를 다시 재설정할 수 있도록 하고자 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기한 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 이동 로봇의 위치 인식 방법은, 이동 로봇의 운동에 따라서 변화되는 상태량을 감지하는 데드 레코닝(dead-reckining) 단계; 상기 이동 로봇과 적어도 하나 이상의 고정 위치와의 거리를 센싱하여 상기 이동 로봇의 절대 위치를 계산하는 단계; 상기 변화되는 상태량 및 상기 계산된 절대 위치를 이용하여 현재 상기 이동 로봇의 최적 위치를 추정하는 단계; 상기 결정된 현재 최적 위치가 소정의 유효 영역 내에 속하는가를 판단하는 단계; 및 상기 판단 결과에 따라서 상기 결정된 현재 최적 위치를 교정하는 단계를 포함한다.
상기한 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 이동 로봇의 위치 인식 장치는, 이동 로봇의 운동에 따라서 변화되는 상태량을 감지하는 데드 레코닝(dead-reckining) 수단; 상기 이동 로봇과 적어도 하나 이상의 고정 위치와의 거리를 센싱하여 상기 이동 로봇의 절대 위치를 계산하는 거리 계산부; 상기 변화되는 상태량 및 상기 계산된 절대 위치를 이용하여, 현재 상기 이동 로봇의 최적 위치를 추정하는 상태 예측부; 상기 결정된 현재 최적 위치가 소정의 유효 영역 내에 속하는가를 판단하는 리로케이션 판단부; 및 상기 판단 결과에 따라서 상기 결정된 현재 최적 위치를 교정하는 보조 센서를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명은, 이동 로봇의 정확한 자기 위치 측정을 위하여 데드 레코닝(dead-reckoning) 및 거리 센싱(range sensing)을 모두 사용하며, 필요한 경우에는 다른 센싱 기법도 보조적으로 사용한다. 또한, 칼만 필터를 이용하여 측정값과 예측값의 차이를 보정하면서 오차를 줄이는 기법도 아울러 사용한다.
상기 데드 레코닝은 이동 로봇의 운동에 따라서 변화되는 상태를 감지하는 것으로써, 주행 바퀴의 회전 방향, 속도 등을 감지하는 엔코더(encoder), 관성 질량의 움직임을 파악하여 물체의 운동 속도, 가속도 등을 감지하는 자이로스코프(gyroscope) 등에 의하여 구현될 수 있다.
상기 거리 센싱을 위하여는 공간상에 고정되어 있는 기준 물체 내지 비콘이 필요한데, 이것은 벽면에 부착되어 있거나 사람이 이동시켜 내려놓은 악세서리 형태가 될 수도 있다. 이동 로봇은 충전식 배터리를 사용하는 것이 일반적이므로 상기 기준 물체는 충전 스테이션인 것이 바람직할 것이다. 본 발명에서는 상기 기준 물체를 충전 스테이션인 것으로 하여 설명한다.
도 3은 본 발명의 일 실시예에 따른 이동 로봇(100) 및 충전 스테이션(200)의 개략을 나타낸 도면이다.
이동 로봇(100)에는 주행이 가능하도록 주행 바퀴(101, 102)가 구비되어 있고, 중심 부분에 송수신부(110)가 구비되어 있다. 그리고, 충전 스테이션(200)에는 두 개의 송수신부(210, 220)가 소정의 거리를 두고 구비되어 있다. 이동 로봇(100)의 송수신부(110)와 충전 스테이션(200)의 제1 송수신부(210) 간, 그리고 상기 송수신부(110)와 충전 스테이션(200)의 제2 송수신부(220) 간에는 각각 신호를 발신하거나 수신할 수 있다. 그 결과 서로 간의 거리(r1, r2)를 계산할 수 있다.
도 4는 본 발명의 일 실시예에 따른 이동 로봇(100)의 구성을 도시하는 블록도이다. 상기 이동 로봇(100)은 송수신부(110), 거리 계산부(120), 상태 예측부(130), 주행부(140), 엔코더(150), 리로케이션 판단부(160), 및 보조 센서(170)를 포함하여 구성될 수 있다.
송수신부(110)는 충전 스테이션(200)에 장착된 송수신부(210, 220)과 UWB(ultra wideband) 신호를 송수신한다. 하지만, 당업자라면 IR(infra-red) 신호, RF(radio frequency) 신호, 초음파 등에 의하여도 본 발명을 구현할 수 있음을 이해할 것이다. UWB는 다른 센서에 비하여 거리 측정 정확도가 높고 가구나 벽 등의 장애물을 투과할 수 있기 때문에 근래 실내 거리 측정 센서로 각광을 받고 있다.
거리 계산부(120)는 송수신부(110)에 의하여 송신된 신호 및 수신된 신호의 타이밍을 이용하여 이동 로봇(100)과 충전 스테이션(200)과의 거리를 계산한다. 본 발명에서 거리 계산부(120)는 일 예로서, 충전 스테이션(200)에 구비된 2개의 UWB 신호 센서를 이용하는 것으로 하여 설명한다.
도 5는 UWB 신호를 송신하고 수신하는 과정을 나타내는 도면이다. 먼저, 송신기 측은 특정 세기(전압)를 갖는 UWB 펄스(4)를 수신기 측으로 전송한다. 그러면, 수신기 측에서는 소정의 시간(T)이 경과한 이후에 상기 UWB 펄스(4)에서 다소 왜곡된 신호(5)를 수신하게 된다.
상기 송신측에서 전송되는 UWB 펄스(4)의 파형은 도 6에 도시되는 예와 같이 나타날 수 있으며, 상기 수신측에서 수신되는 UWB 신호(5)의 파형은 도 7에 도시되는 예와 같이 나타날 수 있다. 도 6에 비하여 도 7에서는 다소 간의 노이즈가 포함되어 있음을 알 수 있다.
도 8은 이동 로봇(100)과 충전 스테이션(200) 간에 UWB 신호를 송수신함으로써 이동 로봇(100)과 충전 스테이션(200) 간의 거리를 구하는 방법을 설명하기 위한 도면이다.
이동 로봇(100)이 최초로 UWB 펄스(4a)를 충전 스테이션(200)에 전송하면, 충전 스테이션(200)은 다소 왜곡된 UWB 신호(5a)를 수신하게 된다. 그런데, UWB 펄스(4a)의 전송시점부터 UWB 신호(5a)의 최대 진폭이 나타나는 시점까지의 시간(Locked path를 따르는 경우)은 τpropoff,1으로 표시되고, 상기 전송시점부터 UWB 신호(5a)가 입력되는 시점까지의 시간(Direct path를 따르는 경우)은 τoff,1로 표시된다. 그리고, 상기 최대 진폭이 나타나는 시점에서부터 충전 스테이션(200)이 이동 로봇(100)에 UWB 펄스(4b)를 전송하는 시점까지의 시간은 TM으로 표시된다.
이동 로봇(100)이 충전 스테이션(200)으로부터 UWB 신호(5b)를 수신하였을 때, 최초 UWB 펄스(4a) 전송시부터 상기 수신된 UWB 신호(5b)의 최대 진폭이 나타나는 시점까지의 시간은 τround로 표시된다. 또한, 이동 로봇(100)이 UWB 신호(5b)를 수신한 시점부터 최대 진폭이 나타나는 시점까지의 시간은 τoff,2로 표시된다.
이러한 경우에, 이동 로봇(100)의 송수신기(110)와 충전 스테이션(200)의 송수신기(210, 220) 중 하나의 송수신기 간에 UWB 펄스를 전달하는 데 소요되는 유효 시간(τprop)는 다음의 수학식 1과 같이 나타낼 수 있다.
Figure 112006044262761-PAT00001
상기 유효 시간을 전파의 속도(30만 km/s)와 곱하면 송수신기(110)와 송수신기(210, 220) 간의 거리를 계산할 수 있다.
다시 도 4로 돌아가면, 주행부(140)는 이동 로봇(100)이 이동할 수 있도록 동력을 제공한다. 주행부(140)는 일반적으로 복수의 바퀴와, 방향 제어 장치를 포함하지만, 이동 로봇(100)의 이동이 가능한 한 다른 공지의 주행 수단으로 이루어져도 무방하다.
엔코더(150)는 주행부(140)에 포함되는 주행 바퀴의 회전 속도를 감지한다. 이를 통하여, 이동 로봇(100)의 이전 위치와 현재 위치 사이의 위치 변화 및 방향 변화를 측정한다. 엔코더(150)는 일반적으로 로봇의 위치 이동 또는 방향 변화 지령을 내리고 로봇이 이에 추종하여 움직일 때 그 움직임을 제어할 목적으로 설치된다. 엔코더(150)를 이용하면 움직인 거리 및 방향을 적분하여 현재의 로봇의 절대 위치를 알 수 있다. 만일 적분 오차가 없다면 엔코더(150) 만으로도 로봇의 로컬라이제이션이 가능하지만, 주행 거리계(odometry)와 마찬가지로 짧은 기간에는 비교적 정확하지만 오차의 샘플링시마다 오차가 누적되는 단점이 있다.
한편, 상기 엔코더(150)와 같이 자이로스코프를 사용해도 좋다. 상기 자이로스코프는 회전하는 물체의 각속도를 측정함으로써, 방향각 측정 성능을 향상시킬 수 있다.
상태 예측부(130)는 거리 계산부(120)로부터 계산된 거리 정보와 엔코더(150)로부터 계산된 거리 및 방향각 정보를 이용하여 이동 로봇(100)의 현재 위치 및 방향각을 산출한다.
다시 말해서, 상기 엔코더(150)으로부터 얻어지는 이동 로봇(100)의 이동 정보와 상기 거리 계산부(120)로부터 얻어지는 상기 이동 로봇(100)의 절대 위치 정보를 이용하여, 현재 상기 이동 로봇(100)의 최적 위치를 칼만 필터를 통하여 추정할 수 있다. 여기에 추가된 보조 센서(170)을 사용하여 집안 환경으로부터 특징점을 추출하여 이 특징점의 위치를 기준 좌표로 삼아 이동 로봇 (100)의 최적위치를 구할 수도 있다. 다시 말해서, 상태 예측부(130)가 칼만 필터를 적용함에 있어, 엔 코더(130) 및 거리 계산부(120)로부터의 입력만을 이용할 수 있지만, 여기에 추가적으로 보조 센서(170)로부터의 입력을 추가로 이용할 수도 있다는 것이다. 상기 보조 센서(170)는 초음파 센서, IR 센서, 카메라, 기타 당업계에 알려진 다른 센싱 수단으로 구현될 수 있다.
도 9는 상태 예측부(130)의 세부 구성 요소를 도시하는 도면으로서, 시스템 예측부(system predictor; 131), 관측 예측부(observation predictor; 132), 업데이트 부(133) 및 상태 저장부(134)를 포함하여 구성될 수 있다. 여기서, X는 예측하고자 하는 상태 변수이고, Z는 관측값이다.
시스템 예측부(131)는 기존의 상태 값
Figure 112006044262761-PAT00002
및 엔코더(130)로부터 제공된 전방향 이동 거리(U(k))을 수신하여, 시스템 추정 값
Figure 112006044262761-PAT00003
을 출력한다. 여기서, k는 특정 시점을 의미하는 카운트 값으로서 다음 시점에서는 1 증가하는 값이다.
관측 예측부(132) 시스템 추정 값
Figure 112006044262761-PAT00004
을 관측 예측(observation prediction) 값의 표현인
Figure 112006044262761-PAT00005
으로 변환한다. 한편, 거리 계산부(120)는 차분기(134)에 상기
Figure 112006044262761-PAT00006
를 실제로 측정하여 구한 값인
Figure 112006044262761-PAT00007
를 제공하고, 차분기(134)는
Figure 112006044262761-PAT00008
Figure 112006044262761-PAT00009
를 차분한 결과를 업데이트 부(133)에 제공한다.
업데이트 부(133)는 칼만 이득(Kalman gain)을 이용하여 상기 제공된 차분 결과가 최소가 되는 방향으로 최종 상태 값
Figure 112006044262761-PAT00010
를 계산한다. 이와 같이 업데이트 과정은 다소 복잡한 계산 과정을 거치기는 하지만, 그 과정이 당업자에게는 충분히 알려져 있으므로 구체적인 설명은 생략하기로 한다.
도 10을 참조하여, 상기 도 9에서의 시스템 예측 및 관측 예측 과정을 보다 자세히 설명하기로 한다. 충전 스테이션(200)의 중심을 원점으로 하여 2차원 좌표계(x-y)를 상정한다. 그러면, 이동 로봇(100)의 위치는 상기 원점을 기준으로 x(k), y(k)로 나타낼 수 있다. 이동 로봇(100)의 송수신기(110)와 충전 스테이션(200)의 제1 송수신기(210)와의 거리는 r1으로, 상기 송수신기(110)와 충전 스테이션(200)의 제2 송수신기(220)와의 거리는 r2로 표시된다. 그리고, 충전 스테이션(200) 상에서 제1 송수신기(210)와 제2 송수신기(220) 간의 거리는 W로 표시된다.
또한, U(k)는 특정 시간 동안 이동 로봇(100)이 전 방향으로 이동한 거리를 나타내고, UL(k) 및 UR(k)는 각각 상기 특정 시간 동안 왼쪽 바퀴(101)의 이동 거리 및 오른쪽 바퀴(102)의 이동 거리를 나타낸다. 따라서, U(k)는 상기 UL(k) 및 UR(k)의 합으로 계산될 수 있다. 상기 바퀴들(101, 102) 간의 거리는 D라고 표시된다.
이동 로봇(100)이 바라 보는 방향각, 즉 이동 로봇의 절대각도는 도시된 바와 같이
Figure 112006044262761-PAT00011
(k)로 표시되고, 충전 스테이션(200)의 중심부에 대한 로봇의 상대 각도 는 θ(k)로 표시된다.
상기와 같은 notation을 사용하여, 시스템 예측 과정 및 관측 예측 과정을 설명하면 다음과 같다.
시스템 예측부(131)에서 계산되어 출력되는 상태 값
Figure 112006044262761-PAT00012
은 다음의 수학식 2와 같이 나타낼 수 있다.
Figure 112006044262761-PAT00013
다음으로, 거리 계산부(120)에 의하여 출력되는
Figure 112006044262761-PAT00014
은 다음의 수학식 3에 의하여 구할 수 있다. 수학식 3에서 보면,
Figure 112006044262761-PAT00015
를 구하기 위한 모든 값은 측정에 의하여 구할 수 있는 값임을 알 수 있다.
Figure 112006044262761-PAT00016
한편, 관측 예측부(132)에서 출력되는 값
Figure 112006044262761-PAT00017
는 다음의 수학식 4에 따라서 계산될 수 있다. 수학식 4는 수학식 3과 유사하지만, 수학식 3은 실제 측정된 값들에 의하여 구해지는 과정임에 비하여, 수학식 4는 현재 상태 값으로 추정된 값으로부터 계산되는 과정이라는 점에서 차이가 있다.
Figure 112006044262761-PAT00018
추정된 값인
Figure 112006044262761-PAT00019
과 측정된 값인
Figure 112006044262761-PAT00020
는 차분기(134)에서 차분되어 업데이트 부(133)에 입력되고, 최종적으로 현재 상태에서 최적으로 추정된 상태 값
Figure 112006044262761-PAT00021
을 구할 수 있게 된다.
상태 저장부(134)는 최적으로 계산된 상태 값
Figure 112006044262761-PAT00022
를 저장하여 두 었다가, 이 후 요청이 있는 경우 다시 시스템 예측부(131)에 제공하게 된다. 이 때에는, 상기
Figure 112006044262761-PAT00023
는 다시
Figure 112006044262761-PAT00024
로 될 것이다.
이상의 도 9의 설명에서는, 도 3과 같이 충전 스테이션(200)에 2개의 송수신부(210, 220)가 구비된 경우를 예로 들었다. 하지만, 충전 스테이션(200)이 하나의 송수신부만을 갖춘 경우에도 상태 예측부(130)에서의 동작(칼만 필터 적용 과정)을 수행할 수 있다. 다만, 이 경우에는 거리 계산부(120)로부터의 입력 Z * (k)는 수학식 3에서와 같이 r * (k)Θ * (k)로 이루어지는 것이 아니라, r * (k)만으로 이루어질 것이다.
한편, 벡터 Z * (k)를 구성함에 있어서 거리 계산부(120)로부터의 입력 뿐안 아니라, 보조 센서(170)로부터의 입력을 추가할 수도 있다. 즉, 보조 센서(170)로부터 나오는 관측값들을 벡터 Z(k)*에 추가적으로 포함시키고(벡터 Z * (k)의 차원이 증가됨), 이후는 상술한 바와 마찬가지의 과정을 거쳐서 최적의 상태값
Figure 112006044262761-PAT00025
를 구할 수 있다.
보다 구체적인 예로서, 초음파 등의 근접 장애물 감지 센서를 사용하는 경우 SLAM(Simultaneous Localization And Map-building)을 구현 할 수 있다. SLAM은 로봇이 자기의 위치와 특징점의 위치를 동시에 알 수 있는 방식으로 로봇이 실내에서 처음 운행할 경우에도 특징점의 맵을 스스로 자동으로 생성하며 자기 위치도 동시 에 찾는 방식이다. 이 SLAM을 구현하기 위해서는 다음과 같이 칼만 필터를 응용할 수 있다. 먼저 예측하고자 하는 상태 변수를 다음의 수학식 5와 같이 정의한다. 이것은 수학식 2의
Figure 112006044262761-PAT00026
를 특징점의 위치를 포함하도록 확대한 것이다. 여기서 p 1 ,p 2 ,…, p N 은 예측하고자 하는 특징점의 x, y좌표값이다.
Figure 112006044262761-PAT00027
여기서 자코비안
Figure 112006044262761-PAT00028
는 수학식 2의 F를 변수 X에 대하여 선형화한 수식이다. 도 9의 시스템 예측부(131)에서의 동작을 상기 수학식 5로 표현될 수 있다. 다음으로 도 9의 관측 예측부(132)를 설명한다. 이 블록의 출력값 Z(k)는 다음의 수학식 6과 같이 다시 정의된다.
Figure 112006044262761-PAT00029
여기서
Figure 112006044262761-PAT00030
는 i번째 특징점을 관측한 관측 좌표값으로
Figure 112006044262761-PAT00031
로 표현된다. 여기서 함수 H i 는 상태 변수 X(k)와 관측값
Figure 112006044262761-PAT00032
를 연결하는 함수이다.
Figure 112006044262761-PAT00033
는 통상 초음파 센서 등을 통하여 측정한 코너 포인트의 좌표값이 된다. 이상을 이용하여 도 9와 같이 칼만 필터를 설계하면 로봇의 자기 위치와 주변 환경의 특징점 좌표가 동시에 계산되어 질 수 있다.
한편, 이와 같은 상태 예측부(130)의 동작에 의하여 최적의 상태 값이 계산되는 일반적인 경우에는 상관없지만, 전술한 키드내핑, 센서 잡음, 환경 변화에 의한 인식 오동작 등과 같은 예외적인 상황이 발생하는 경우에는 상기 상태 예측부(130)에 의하여 계산된 결과는 큰 오차를 나타낼 수 밖에 없다.
본 발명에서는 이러한 예외 상황에서도 여전히 신뢰도 높은 로컬라이제이션을 수행하여 이동 로봇(100)이 오동작하지 않도록 하기 위해서, 오차의 크기가 커서 리로케이션(relocation)이 필요한지 여부를 판단하는 기준을 제시하고자 한다.
도 11을 참조하면, 송수신부(110)와 제1 송수신부(210)와의 거리 r1과, 송수신부(110)와 제2 송수신부(220)와의 거리 r2는 모두 일정 에러 대역 E1 및 E2를 가질 수 있다. 상기 E1 및 E2는 실험적으로 결정될 수 있다. 그런데, 제1 송수신부(210)를 기준으로 r1에 에러 대역 E1을 반영하여 원을 그리고, 제2 송수신부(220)를 기준으로 r2에 에러 대역 E2을 반영하여 원을 그리면, 대략 송수신부(110) 주변에 마름모 형태의 교차 영역(190; 이하 "유효 영역"이라고 정의함)이 나타나게 된다. 상태 예측부(130)에 의하여 추정된 현재 위치가 현재 상기 영역(190) 내에 속한다면 상기 현재 위치는 신뢰할 만 하겠지만, 그렇지 않다면 다른 알 수 없는 이 유에 의하여 현재 위치를 잘못 추정한 것으로 판단할 수 있다.
도 4의 리로케이션 판단부(160)는 이러한 판단 기준에 따라서, 현재 상태 값에 따른 위치가 상기 유효 영역(190) 내에 있는지 여부를 판단한다. 상기 E1 및 E2를 같은 값(2μ)으로 둔다면, 상기 판단은 다음의 수학식 7에 따라서 수행될 수 있다.
Figure 112006044262761-PAT00034
물론, E1 및 E2가 다른 경우라면 좌변의 μ와 우변의 μ는 서로 다른 값으로 되어야 할 것이다.
한편, 리로케이션 판단을 위하여는 도 11과 같이 충전 스테이션에 두 개의 송수신부(210, 220)를 갖추는 것이 보다 바람직하겠지만, 하나의 송수신부는 충전 스테이션에 갖추고 나머지 하나는 악세서리 형태로 제작하여 벽면에 고정하거나 사용자가 자유롭게 이동시켜 원하는 위치에 내려 놓게 할 수도 있다.
또한, 하나의 송수신부만으로도 리로케이션 판단을 하는 것도 가능하다. 도 12는 하나의 송수신부에 의하여 리로케이션 판단을 하는 예를 보여준다.
하나의 송수신부(215)는 이동 로봇(100)에 구비된 송수신부(110)와의 신호 송수신을 통하여 서로간의 거리(r)를 계산할 수 있다. 이 때, 유효 영역(195)는 다 음의 수학식 8과 같이 표시된다.
Figure 112006044262761-PAT00035
상태 예측부(130)에 의하여 계산된 이동 로봇(100)의 위치 x(k), y(k)가 상기 수학식 8을 만족한다면, 상기 계산된 위치는 신뢰할만한 것으로 판단될 수 있다. 물론, 도 12의 실시예는 도 11와 같이 두 개의 송수신부를 사용하는 경우에 비하여 유효 영역(195)이 다소 커진다. 하지만, 리로케이션 판단이란 센서 퓨전(sensor fusion)에 의하여 자기 위치를 구한 후, 이를 보정하는 용도로 사용된다는 점에서 도 12와 같이 하나의 송수신부만으로도 리로케이션 판단이 이루어질 수 있다. 리로케이션 판단부(160)는 상기 판단 결과, 상태 예측부(130)에서 출력되는 현재 상태 값에 따른 현재 위치가 상기 유효 영역 내에 속하는 경우에는, 상기 현재 상태 값을 상태 저장부(134)에 저장하도록 한다.
그러나, 그러하지 아니한 경우에는 상태 예측부(130)에서 칼만 필터를 적용하여 계산한 결과를 신뢰하기 어렵기 때문에, 리로케이션부(180)로 하여금 별도의 센싱 과정을 통하여 정확한 현재 위치를 구하도록 할 필요가 있다. 상기 리로케이션부(180)는 이와 같은 예외적인 경우에만 사용되므로, 그 구하는 과정이 다소 복잡하고 시간이 소요되더라도 상대적으로 정확한 결과를 나타낼 수 있는 것을 선택함이 바람직할 것이다.
이를 위하여, 리로케이션부(180)는 근접 장애물 감지 센서, 원거리 센서, 카 메라 등의 보조 센서(170) 및/또는 거리 계산부(120)를 이용할 수 있다.
이하 도 13 내지 도 15는 리로케이션부(180)에서 수행되는 리로케이션 과정을 보다 자세히 나타낸 흐름도이다.
도 13은 리로케이션부(180)가 근접 장애물 감지 센서를 사용하는 경우의 동작 흐름을 나타내는 도면이다. 먼저, 이동 로봇(100)은 어떤 지점을 중심으로 동일 반경을 따라서 진행한다(S11). 만약, 도중에 장애물이 검출되면(S12), 미리 정의된 후보 위치들을 추출한다(S13). 그 다음에는 도 11에서와 같이, 충전 스테이션(200)과의 거리 센싱을 통하여(S14), 유효 영역을 결정한다(S15). 상기 추출된 후보 중 상기 결정된 유효 영역 내에 속하는 것을 설정한다(S16). 상기 설정된 후보가 유일하다면(S17의 예) 종료하고, 그렇지 않다면 재 센싱을 하기 위하여 다시 배회(wandering)한다(S18).
도 14는 리로케이션부(180)로 레이저 센서를 사용하는 경우의 동작 흐름을 나타내는 도면이다. 이는 레이저 등의 광원을 어느 방향으로 조사한 후 그 윤곽선(contour)를 조사하여, 특정한 위치를 찾아내는 기술이다. 먼저, 이동 로봇(100)은 어떤 방향으로 광원을 조사한다(S21). 그리고 조사된 광원의 윤곽선을 추출한다(S22). 상기 추출된 윤곽선을 미리 작성된 맵(map)과 매칭한다(S23). 그 후 매칭된 후보 위치를 추출한다(S24). 이후의 과정은 도 13의 설명과 중복되므로 생략하기로 한다. 상기 레이저 센서 대신에 본 발명에서 기 사용되었던 전파를 이용한 거리 센서를 이용할 수도 있다.
도 15는 리로케이션부(180)로 카메라를 사용하는 경우의 동작 흐름을 나타내 는 도면이다. 이는 카메라를 이용하여 어떤 방향의 영상을 촬영한 후, 그 특징을 분석함으로써 특정한 위치를 찾아내는 기술이다. 먼저, 이동 로봇(100)은 카메라를 이용하여 어떤 방향으로의 영상을 촬영하고 촬영된 영상을 입력 받는다(S31). 그리고 촬영된 영상의 특징(feature)를 검출한다(S32). 상기 검출된 특징을 미리 작성된 맵과 매칭한다(S33). 그 후 매칭된 후보 위치를 추출한다(S34). 이후의 과정은 도 13의 설명과 중복되므로 생략하기로 한다.
지금까지 도 4 또는 도 9의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.
상기 이동 로봇은, 거리 센서의 거리 측정 오차, 신호의 미도달, 키드내핑(kidnapping) 등에 강인하며, 실제 가정 환경에서 안정적으로 동작할 수 있다. 또한, 수시로 리로케이션(relocation) 여부를 체크함으로써 오차가 일정 이상으로 발생할 수 있는 여지를 감소시킨다.

Claims (31)

  1. (a) 이동 로봇의 운동에 따라서 변화되는 상태량을 감지하는 데드 레코닝(dead-reckining) 단계;
    (b) 상기 이동 로봇과 적어도 하나 이상의 고정 위치와의 거리를 센싱하여 상기 이동 로봇의 절대 위치를 계산하는 단계;
    (c) 상기 변화되는 상태량 및 상기 계산된 절대 위치를 칼만 필터의 입력으로 하여, 현재 상기 이동 로봇의 최적 위치를 추정하는 단계를 포함하는 이동 로봇의 위치 인식 방법.
  2. 제1항에 있어서, 상기 (a) 단계는
    엔코더 및/또는 자이로스코프에 의하여 수행되는 이동 로봇의 위치 인식 방법.
  3. 제1항에 있어서, 상기 하나 이상의 고정 위치는 상기 이동 로봇의 충전 스테이션 내에 구비되는 이동 로봇의 위치 인식 방법.
  4. 제1항에 있어서, 상기 하나 이상의 고정 위치는 충전 스테이션 내에 구비되는 고정 위치 및 그 이외의 공간상의 위치하는 고정 위치를 포함하는 이동 로봇의 위치 인식 방법.
  5. 제3항 또는 제4항에 있어서, 상기 (b) 단계는
    상기 이동 로봇에 구비된 송수신부와 하나 이상의 고정 위치에 각각 구비된 송수신부 간에 전파를 송수신함으로써 이루어지는 이동 로봇의 위치 인식 방법.
  6. 제5항에 있어서, 상기 전파는
    UWB(ultra wideband) 신호인 이동 로봇의 위치 인식 방법.
  7. 제1항에 있어서, 상기 (c) 단계는
    상기 변화되는 상태량 및 상기 계산된 절대 위치를 입력으로 한 칼만 필터(Kalman filter) 연산에 의하여 현재 상태 값을 계산하는 단계를 포함하는데, 상기 k는 특정 시점을 나타내는 카운트인, 이동 로봇의 위치 인식 방법.
  8. 제1항에 있어서, 상기 (c) 단계는
    상기 변화되는 상태량, 상기 계산된 절대 위치 및 보조 센서에 의하여 감지된 위치 정보를 입력으로 한 칼만 필터(Kalman filter) 연산에 의하여 현재 상태 값을 계산하는 단계를 포함하는데, 상기 k는 특정 시점을 나타내는 카운트인, 이동 로봇의 위치 인식 방법.
  9. 제8항에 있어서, 상기 보조 센서는
    근접 장애물 감지 센서, 레이저 센서, 거리 센서, 및 카메라 중 적어도 하나를 포함하는, 이동 로봇의 위치 인식 방법.
  10. 제8항에 있어서, 상기 보조 센서는
    근접 장애물 감지 센서를 이용하여 상기 이동 로봇의 특징점 구하는 단계를 더 포함하며, 상기 보조 센서에 의하여 감지된 위치 정보는 상기 특징점의 x, y 좌표 값인, 이동 로봇의 위치 인식 방법.
  11. (a) 적어도 하나 이상의 센서를 이용하여 이동 로봇의 절대 위치를 추정하는 단계;
    (b) 상기 추정된 절대 위치가 적어도 하나 이상의 고정된 송수신부로부터 수신되는 신호로부터 계산되는 유효 영역 내에 속하는가를 판단하는 단계; 및
    (c) 상기 추정된 절대 위치가 상기 유효 영역 내에 속하지 않는 것으로 판단된 경우 리로케이션(relocation)을 수행하는 단계를 포함하는, 이동 로봇의 위치 인식 방법.
  12. 제11항에 있어서, 상기 유효 영역은
    2개 이상의 고정된 송수신부 중 제1 위치에 구비된 제1 송수신부를 기준으로 반경 r1에 에러 대역 E1을 반영하여 원을 그리고, 상기 2개 이상의 고정 위치 중 제 2 위치에 구비된 제2 송수신부를 기준으로 반경 r2에 에러 대역 E2을 반영하여 원을 그릴 때 교차되는 영역이며,
    상기 r1은 상기 이동 로봇과 상기 제1 송수신부와의 거리를, 상기 r2는 상기 이동 로봇과 상기 제2 송수신부와의 거리를 나타내는, 이동 로봇의 위치 인식 방법.
  13. 제12항에 있어서, 상기 유효 영역은 다음의 두 개의 식을 동시에 만족하며,
    Figure 112006044262761-PAT00036
    상기 μ는 E1/2이며, 상기 x(k)는, k인 상태에서 상기 이동 로봇의 x축 방향 위치를, y(k)는 k인 상태에서 상기 이동 로봇의 y축 방향 위치를, 상기 W는 제1 송수신부와 제2 송수신부와의 거리를 각각 나타내는, 이동 로봇의 위치 인식 방법.
  14. 제11항에 있어서, 상기 유효 영역은
    1개의 고정된 송수신부를 기준으로 반경 r에 에러 대역 E을 반영하여 원을 그렸을 때 해당되는 영역이며, 상기 r은 상기 이동 로봇과 상기 송수신부와의 거리인, 이동 로봇의 위치 인식 방법.
  15. 제14항에 있어서, 상기 유효 영역은 다음의 식을 만족하며,
    Figure 112006044262761-PAT00037
    상기 μ는 E/2이며, 상기 x(k)는, k인 상태에서 상기 이동 로봇의 x축 방향 위치를, y(k)는 k인 상태에서 상기 이동 로봇의 y축 방향 위치를 각각 나타내는, 이동 로봇의 위치 인식 방법.
  16. 제11항에 있어서, 상기 (c) 단계는
    별도의 보조 센서를 이용하여 상기 이동 로봇의 현재 위치를 구하는 단계를 포함하는, 이동 로봇의 위치 인식 방법.
  17. 제16항에 있어서, 상기 보조 센서는
    근접 장애물 감지 센서, 레이저 센서, 거리 센서, 및 카메라 중 적어도 하나를 포함하는, 이동 로봇의 위치 인식 방법.
  18. (a) 이동 로봇의 운동에 따라서 변화되는 상태량을 감지하는 데드 레코닝(dead-reckining) 단계;
    (b) 상기 이동 로봇과 적어도 하나 이상의 고정 위치와의 거리를 센싱하여 상기 이동 로봇의 절대 위치를 계산하는 단계;
    (c) 상기 변화되는 상태량 및 상기 계산된 절대 위치를 이용하여, 현재 상기 이동 로봇의 최적 위치를 추정하는 단계;
    (d) 상기 결정된 현재 최적 위치가 소정의 유효 영역 내에 속하는가를 판단하는 단계; 및
    (e) 상기 판단 결과에 따라서 상기 결정된 현재 최적 위치를 교정하는 단계를 포함하는 이동 로봇의 위치 인식 방법.
  19. 이동 로봇의 운동에 따라서 변화되는 상태량을 감지하는 데드 레코닝(dead-reckining) 수단;
    상기 이동 로봇과 적어도 하나 이상의 고정 위치와의 거리를 센싱하여 상기 이동 로봇의 절대 위치를 계산하는 거리 계산부;
    상기 변화되는 상태량 및 상기 계산된 절대 위치를 칼만 필터의 입력으로 하여, 현재 상기 이동 로봇의 최적 위치를 추정하는 상태 예측부를 포함하는 이동 로봇의 위치 인식 장치.
  20. 제19항에 있어서, 상기 데드 레코닝 수단은
    엔코더 및 자이로스코프 중 적어도 하나를 포함하는 이동 로봇의 위치 인식 장치.
  21. 제19항에 있어서, 상기 하나 이상의 고정 위치는 상기 이동 로봇의 충전 스테이션 내에 구비되는 이동 로봇의 위치 인식 장치.
  22. 제19항에 있어서, 상기 하나 이상의 고정 위치는 충전 스테이션 내에 구비되는 고정 위치 및 그 이외의 공간상의 위치하는 고정 위치를 포함하는 이동 로봇의 위치 인식 장치.
  23. 제21항 또는 제22항에 있어서, 상기 거리 계산부는
    상기 이동 로봇에 구비된 송수신부와 하나 이상의 고정 위치에 각각 구비된 송수신부 간에 전파를 송수신하는 이동 로봇의 위치 인식 장치.
  24. 제19항에 있어서, 상기 상태 예측부는
    상기 변화되는 상태량 및 상기 계산된 절대 위치를 입력으로 한 칼만 필터(Kalman filter) 연산에 의하여 현재 상태 값을 계산하는데, 상기 k는 특정 시점을 나타내는 카운트인, 이동 로봇의 위치 인식 장치.
  25. 제19항에 있어서, 상기 상태 예측부는
    상기 변화되는 상태량, 상기 계산된 절대 위치 및 보조 센서에 의하여 감지된 위치 정보를 입력으로 한 칼만 필터(Kalman filter) 연산에 의하여 현재 상태 값을 계산하는데, 상기 k는 특정 시점을 나타내는 카운트인, 이동 로봇의 위치 인식 장치.
  26. 적어도 하나 이상의 센서를 이용하여 이동 로봇의 절대 위치를 추정하는 수단;
    상기 추정된 절대 위치가 적어도 하나 이상의 고정된 송수신부로부터 수신되는 신호로부터 계산되는 유효 영역 내에 속하는가를 판단하는 리로케이션 판단부; 및
    상기 추정된 절대 위치가 상기 유효 영역 내에 속하지 않는 것으로 판단된 경우 리로케이션(relocation)을 수행하는 리로케이션부를 포함하는, 이동 로봇의 위치 인식 장치.
  27. 제26항에 있어서, 상기 유효 영역은
    2개 이상의 고정된 송수신부 중 제1 위치에 구비된 제1 송수신부를 기준으로 반경 r1에 에러 대역 E1을 반영하여 원을 그리고, 상기 2개 이상의 고정 위치 중 제2 위치에 구비된 제2 송수신부를 기준으로 반경 r2에 에러 대역 E2을 반영하여 원을 그릴 때 교차되는 영역이며,
    상기 r1은 상기 이동 로봇과 상기 제1 송수신부와의 거리를, 상기 r2는 상기 이동 로봇과 상기 제2 송수신부와의 거리를 나타내는, 이동 로봇의 위치 인식 장치.
  28. 제26항에 있어서, 상기 유효 영역은
    1개의 고정된 송수신부를 기준으로 반경 r에 에러 대역 E을 반영하여 원을 그렸을 때 해당되는 영역이며, 상기 r은 상기 이동 로봇과 상기 송수신부와의 거리인, 이동 로봇의 위치 인식 장치.
  29. 제26항에 있어서, 상기 리로케이션부는
    별도의 보조 센서를 이용하여 상기 이동 로봇의 현재 위치를 구하는 단계를 포함하는, 이동 로봇의 위치 인식 장치.
  30. 제29항에 있어서, 상기 보조 센서는
    근접 장애물 감지 센서, 레이저 센서, 거리 센서, 및 카메라 중 적어도 하나를 포함하는, 이동 로봇의 위치 인식 장치.
  31. 이동 로봇의 운동에 따라서 변화되는 상태량을 감지하는 데드 레코닝(dead-reckining) 데드 레코닝 수단;
    상기 이동 로봇과 적어도 하나 이상의 고정 위치와의 거리를 센싱하여 상기 이동 로봇의 절대 위치를 계산하는 거리 계산부;
    (c) 상기 변화되는 상태량 및 상기 계산된 절대 위치를 이용하여, 현재 상기 이동 로봇의 최적 위치를 추정하는 상태 예측부;
    (d) 상기 결정된 현재 최적 위치가 소정의 유효 영역 내에 속하는가를 판단하는 리로케이션 판단부; 및
    (e) 상기 판단 결과에 따라서 상기 결정된 현재 최적 위치를 교정하는 리로케이션부를 포함하는 이동 로봇의 위치 인식 장치.
KR1020060056520A 2005-11-23 2006-06-22 이동 로봇의 자기 위치 인식 방법 및 장치 Active KR100834761B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050112556 2005-11-23
KR1020050112556 2005-11-23

Publications (2)

Publication Number Publication Date
KR20070054557A true KR20070054557A (ko) 2007-05-29
KR100834761B1 KR100834761B1 (ko) 2008-06-05

Family

ID=38054546

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060056520A Active KR100834761B1 (ko) 2005-11-23 2006-06-22 이동 로봇의 자기 위치 인식 방법 및 장치

Country Status (3)

Country Link
US (1) US9058039B2 (ko)
JP (1) JP2007149088A (ko)
KR (1) KR100834761B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100835906B1 (ko) * 2007-05-03 2008-06-09 고려대학교 산학협력단 로봇 전역 위치 추정 방법 및 로봇 전역 위치 추정 장치
KR100884904B1 (ko) * 2007-09-12 2009-02-19 아주대학교산학협력단 평행 투영 모델을 이용한 자기위치 인식 방법
KR101038504B1 (ko) * 2010-11-02 2011-06-01 엘아이지넥스원 주식회사 복수의 센서를 이용해 위치를 추정하는 방법 및 장치
US8538671B2 (en) 2008-12-22 2013-09-17 Electronics And Telecommunications Research Institute Apparatus and method for detecting position and orientation of mobile object
KR101365291B1 (ko) * 2012-11-30 2014-02-19 충남대학교산학협력단 오브젝트의 위치 추정 방법 및 장치
KR101409990B1 (ko) * 2007-09-14 2014-06-23 삼성전자주식회사 로봇의 위치를 계산하기 위한 장치 및 방법
CN107636548A (zh) * 2015-05-12 2018-01-26 三星电子株式会社 机器人及其控制方法
WO2022251605A1 (en) * 2021-05-28 2022-12-01 Nec Laboratories America, Inc. Visual and rf sensor fusion for multi-agent tracking
KR20250086422A (ko) 2023-12-06 2025-06-13 현대위아 주식회사 이동장치 좌표계 교정 장치 및 방법

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007134998A (ja) * 2005-11-10 2007-05-31 Sony Corp 電子機器及びその制御方法
KR100772175B1 (ko) * 2006-10-23 2007-11-01 한국전자통신연구원 네트워크 로봇 시스템 및 네트워크 로봇 시스템에서의 통신방법
KR100883520B1 (ko) * 2007-07-23 2009-02-13 한국전자통신연구원 실내 환경지도 작성 시스템 및 방법
KR101409987B1 (ko) * 2007-12-11 2014-06-23 삼성전자주식회사 이동 로봇의 자세 보정 방법 및 장치
JP5463628B2 (ja) * 2008-06-05 2014-04-09 日産自動車株式会社 位置推定装置
JP5276931B2 (ja) * 2008-09-05 2013-08-28 株式会社日立産機システム 移動体および移動体の位置推定誤り状態からの復帰方法
KR101553653B1 (ko) * 2009-01-07 2015-09-16 삼성전자 주식회사 로봇의 슬립 감지 장치 및 방법
KR101100827B1 (ko) * 2009-11-30 2012-01-02 한국생산기술연구원 도로주행 로봇의 자기 위치 인식방법
KR20110097140A (ko) * 2010-02-24 2011-08-31 삼성전자주식회사 이동 로봇의 위치 추정 장치 및 방법
US8174931B2 (en) * 2010-10-08 2012-05-08 HJ Laboratories, LLC Apparatus and method for providing indoor location, position, or tracking of a mobile computer using building information
KR101311100B1 (ko) 2011-08-27 2013-09-25 고려대학교 산학협력단 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법
KR101913332B1 (ko) * 2011-12-23 2018-10-31 삼성전자주식회사 이동 장치 및 이동 장치의 위치 인식 방법
DE102012201870A1 (de) 2012-02-08 2013-08-08 RobArt GmbH Verfahren zum automatischen Auslösen einer Selbstlokalisierung
CN103284653B (zh) * 2012-03-02 2017-07-14 恩斯迈电子(深圳)有限公司 清洁机器人及其控制方法
KR101406175B1 (ko) * 2012-10-09 2014-06-13 조선대학교산학협력단 이동로봇의 위치추정과 지도 작성 장치 및 방법
KR101390776B1 (ko) * 2013-03-14 2014-04-30 인하대학교 산학협력단 퍼지 확장 칼만 필터를 이용한 위치인식 장치, 방법 및 이동로봇
JP6233706B2 (ja) 2013-04-02 2017-11-22 パナソニックIpマネジメント株式会社 自律移動装置及び自律移動装置の自己位置推定方法
JP6217952B2 (ja) 2013-04-15 2017-10-25 アクティエボラゲット エレクトロラックス ロボット真空掃除機
KR20150141979A (ko) 2013-04-15 2015-12-21 악티에볼라겟 엘렉트로룩스 돌출 측부 브러시를 구비하는 로봇 진공 청소기
WO2015090399A1 (en) 2013-12-19 2015-06-25 Aktiebolaget Electrolux Robotic cleaning device and method for landmark recognition
EP3082542B1 (en) 2013-12-19 2018-11-28 Aktiebolaget Electrolux Sensing climb of obstacle of a robotic cleaning device
EP3082541B1 (en) 2013-12-19 2018-04-04 Aktiebolaget Electrolux Adaptive speed control of rotating side brush
JP6750921B2 (ja) 2013-12-19 2020-09-02 アクチエボラゲット エレクトロルックス ロボット掃除機
KR102116595B1 (ko) 2013-12-20 2020-06-05 에이비 엘렉트로룩스 먼지통
ES2681802T3 (es) * 2014-07-10 2018-09-17 Aktiebolaget Electrolux Método para detectar un error de medición en un dispositivo de limpieza robotizado
WO2016037635A1 (en) 2014-09-08 2016-03-17 Aktiebolaget Electrolux Robotic vacuum cleaner
US10729297B2 (en) 2014-09-08 2020-08-04 Aktiebolaget Electrolux Robotic vacuum cleaner
US10877484B2 (en) 2014-12-10 2020-12-29 Aktiebolaget Electrolux Using laser sensor for floor type detection
EP3229983B1 (en) 2014-12-12 2019-02-20 Aktiebolaget Electrolux Side brush and robotic cleaner
JP6879478B2 (ja) 2014-12-16 2021-06-02 アクチエボラゲット エレクトロルックス ロボット掃除機のための経験ベースロードマップ
EP3234713B1 (en) 2014-12-16 2022-06-15 Aktiebolaget Electrolux Cleaning method for a robotic cleaning device
KR102404258B1 (ko) * 2015-02-06 2022-06-02 삼성전자주식회사 로봇충전복귀장치 및 그 복귀방법
JP6397355B2 (ja) * 2015-02-26 2018-09-26 本田技研工業株式会社 移動体の制御装置
CN104898659B (zh) * 2015-03-11 2017-08-11 北京理工大学 一种基于模型预测的人机协同控制方法
KR101697857B1 (ko) * 2015-04-08 2017-01-18 엘지전자 주식회사 이동 로봇 및 그의 위치인식방법
WO2016165772A1 (en) 2015-04-17 2016-10-20 Aktiebolaget Electrolux Robotic cleaning device and a method of controlling the robotic cleaning device
KR102393921B1 (ko) * 2015-05-12 2022-05-04 삼성전자주식회사 로봇 및 그의 제어 방법
EP3344104B1 (en) 2015-09-03 2020-12-30 Aktiebolaget Electrolux System of robotic cleaning devices
SE539613C2 (en) * 2016-01-11 2017-10-17 Husqvarna Ab Self-propelled robotic tool navigation
KR101775114B1 (ko) * 2016-01-25 2017-09-05 충북대학교 산학협력단 이동 로봇의 위치 인식 및 지도 작성 시스템 및 방법
JP7035300B2 (ja) 2016-03-15 2022-03-15 アクチエボラゲット エレクトロルックス ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品
JP2019520953A (ja) 2016-04-08 2019-07-25 エーアンドケー ロボティクス インコーポレイテッド 手動運転と自律運転とを切り替え可能な自動床洗浄機
CN105856229A (zh) * 2016-05-05 2016-08-17 上海慧流云计算科技有限公司 室内定位方法、装置及扫地机器人
WO2017194102A1 (en) 2016-05-11 2017-11-16 Aktiebolaget Electrolux Robotic cleaning device
CN106323278B (zh) * 2016-08-04 2019-03-15 河海大学常州校区 一种用于救援的传感网络抗失效定位切换控制方法及系统
KR20200013657A (ko) 2017-06-02 2020-02-07 에이비 엘렉트로룩스 로봇 청소 장치 전방의 표면의 레벨차를 검출하는 방법
JP7264584B2 (ja) * 2017-06-08 2023-04-25 東芝ライフスタイル株式会社 自律型電気掃除装置
WO2019063066A1 (en) 2017-09-26 2019-04-04 Aktiebolaget Electrolux CONTROL FOR MOVING A ROBOTIC CLEANING DEVICE
CN108036789B (zh) * 2017-11-29 2020-01-31 安徽省一一通信息科技有限公司 一种野外机器人航迹推算方法
JP7091733B2 (ja) 2018-03-14 2022-06-28 トヨタ自動車株式会社 位置推定システム、位置検出方法、およびプログラム
CN108366343B (zh) * 2018-03-20 2019-08-09 珠海市一微半导体有限公司 机器人智能监视宠物的方法
US11874666B2 (en) 2018-04-20 2024-01-16 Honda Motor Co., Ltd. Self-location estimation method
US11986261B2 (en) 2018-04-20 2024-05-21 Covidien Lp Systems and methods for surgical robotic cart placement
CN108613671A (zh) * 2018-04-25 2018-10-02 东南大学 一种基于uwb定位和航迹定位的智能割草机定位装置及方法
KR102100477B1 (ko) * 2018-05-04 2020-04-13 엘지전자 주식회사 복수의 자율주행 이동 로봇
US10549186B2 (en) * 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
KR102238352B1 (ko) * 2018-08-05 2021-04-09 엘지전자 주식회사 스테이션 장치 및 이동 로봇 시스템
CN108801269B (zh) * 2018-08-29 2021-11-12 山东大学 一种室内云机器人导航系统及方法
WO2020050565A1 (en) 2018-09-06 2020-03-12 Lg Electronics Inc. Plurality of autonomous mobile robots and controlling method for the same
US11432697B2 (en) 2018-09-06 2022-09-06 Lg Electronics Inc. Robot cleaner and a controlling method for the same
KR102252034B1 (ko) 2018-09-06 2021-05-14 엘지전자 주식회사 이동 로봇 및 그 제어방법
WO2020050494A1 (en) 2018-09-06 2020-03-12 Lg Electronics Inc. A robot cleaner and a controlling method for the same
CN111380510B (zh) * 2018-12-29 2022-04-15 深圳市优必选科技有限公司 重定位方法及装置、机器人
KR102267690B1 (ko) * 2019-02-20 2021-06-22 엘지전자 주식회사 복수의 자율주행 이동 로봇
JP7336223B2 (ja) 2019-03-25 2023-08-31 本田技研工業株式会社 自己位置推定方法
US10616723B1 (en) * 2019-07-16 2020-04-07 Eagle Technology, Llc System for mapping building interior with PDR and ranging and related methods
JP2022042630A (ja) 2020-09-03 2022-03-15 本田技研工業株式会社 自己位置推定方法
CN112596519A (zh) * 2020-12-14 2021-04-02 京东数科海益信息科技有限公司 引导控制方法和装置、充电桩和机器人
CN115246118A (zh) * 2021-04-25 2022-10-28 广东博智林机器人有限公司 一种机器人定位方法、装置、机器人及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8313338D0 (en) 1983-05-14 1983-06-22 Gen Electric Co Plc Vehicle control
JPH0313611A (ja) * 1989-06-07 1991-01-22 Toshiba Corp 自動清掃装置
JPH0527832A (ja) 1991-07-19 1993-02-05 Sanyo Electric Co Ltd 移動ロボツトの現在位置認識方法
JPH06138940A (ja) * 1992-10-27 1994-05-20 Matsushita Electric Works Ltd 自律移動ロボット
JPH06139498A (ja) * 1992-10-30 1994-05-20 Mitsubishi Electric Corp 障害物回避装置
FR2699713B1 (fr) * 1992-12-17 1995-03-24 Hubert Thomas Procédé et dispositif de contrôle à distance d'un engin sous marin inhabité.
JPH11295412A (ja) 1998-04-09 1999-10-29 Minolta Co Ltd 移動体の位置認識装置
US6374155B1 (en) * 1999-11-24 2002-04-16 Personal Robotics, Inc. Autonomous multi-platform robot system
US6763057B1 (en) * 1999-12-09 2004-07-13 Time Domain Corporation Vector modulation system and method for wideband impulse radio communications
US6763282B2 (en) * 2001-06-04 2004-07-13 Time Domain Corp. Method and system for controlling a robot
US6836701B2 (en) * 2002-05-10 2004-12-28 Royal Appliance Mfg. Co. Autonomous multi-platform robotic system
KR100561855B1 (ko) * 2002-12-30 2006-03-16 삼성전자주식회사 로봇용 로컬라이제이션 시스템
KR100459411B1 (ko) * 2002-12-31 2004-12-03 엘지전자 주식회사 로봇 청소기 및 그의 청소 영역 주행방법
KR100548272B1 (ko) 2003-07-23 2006-02-02 엘지전자 주식회사 이동로봇의 위치검출장치 및 방법
KR100565227B1 (ko) 2003-12-22 2006-03-30 엘지전자 주식회사 이동로봇의 위치인식장치 및 방법
US7239277B2 (en) * 2004-04-12 2007-07-03 Time Domain Corporation Method and system for extensible position location
KR100600487B1 (ko) * 2004-10-12 2006-07-13 삼성광주전자 주식회사 로봇 청소기의 좌표보정방법 및 이를 이용한 로봇 청소기시스템

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100835906B1 (ko) * 2007-05-03 2008-06-09 고려대학교 산학협력단 로봇 전역 위치 추정 방법 및 로봇 전역 위치 추정 장치
KR100884904B1 (ko) * 2007-09-12 2009-02-19 아주대학교산학협력단 평행 투영 모델을 이용한 자기위치 인식 방법
KR101409990B1 (ko) * 2007-09-14 2014-06-23 삼성전자주식회사 로봇의 위치를 계산하기 위한 장치 및 방법
US8538671B2 (en) 2008-12-22 2013-09-17 Electronics And Telecommunications Research Institute Apparatus and method for detecting position and orientation of mobile object
KR101038504B1 (ko) * 2010-11-02 2011-06-01 엘아이지넥스원 주식회사 복수의 센서를 이용해 위치를 추정하는 방법 및 장치
KR101365291B1 (ko) * 2012-11-30 2014-02-19 충남대학교산학협력단 오브젝트의 위치 추정 방법 및 장치
CN107636548A (zh) * 2015-05-12 2018-01-26 三星电子株式会社 机器人及其控制方法
WO2022251605A1 (en) * 2021-05-28 2022-12-01 Nec Laboratories America, Inc. Visual and rf sensor fusion for multi-agent tracking
KR20250086422A (ko) 2023-12-06 2025-06-13 현대위아 주식회사 이동장치 좌표계 교정 장치 및 방법

Also Published As

Publication number Publication date
JP2007149088A (ja) 2007-06-14
US9058039B2 (en) 2015-06-16
KR100834761B1 (ko) 2008-06-05
US20070118248A1 (en) 2007-05-24

Similar Documents

Publication Publication Date Title
KR100834761B1 (ko) 이동 로봇의 자기 위치 인식 방법 및 장치
KR100561855B1 (ko) 로봇용 로컬라이제이션 시스템
US20070271011A1 (en) Indoor map building apparatus, method, and medium for mobile robot
KR100486737B1 (ko) 청소로봇의 청소궤적 생성·추종방법 및 장치
EP2094452B1 (en) Surroundings mapping apparatus capable of applying quickly changed surroundings information in mobile robot and method thereof
KR100928964B1 (ko) 이동로봇의 도킹스테이션 귀환방법 및 장치
KR101241411B1 (ko) 이동 로봇의 실내 지도 작성 장치 및 방법
KR101457148B1 (ko) 로봇의 위치 추정 장치 및 그 방법
CN107357297A (zh) 一种扫地机器人导航系统及其导航方法
CN207164586U (zh) 一种扫地机器人导航系统
KR101505129B1 (ko) 레이저 스캐너를 이용한 위치인식 및 맵핑 시스템을 이용한 위치인식 방법
KR101406175B1 (ko) 이동로봇의 위치추정과 지도 작성 장치 및 방법
US11656083B2 (en) Autonomous tunnel navigation with a robotic system
JPH05257533A (ja) 移動ロボットの床面掃引方法及び装置
CN113475977A (zh) 机器人路径规划方法、装置及机器人
Olszewski et al. RFID positioning robot: An indoor navigation system
Fu et al. An indoor navigation system for autonomous mobile robot using wireless sensor network
JP2009223757A (ja) 自律移動体、その制御システム、自己位置推定方法
Mahmud et al. Kalman filter based indoor mobile robot navigation
Aman et al. A sensor fusion methodology for obstacle avoidance robot
Cho et al. Localization of a high-speed mobile robot using global features
CN118707535A (zh) 一种雷达散射特性检查设备定位方法、装置、设备及介质
MacMillan et al. Range-based navigation system for a mobile robot
Sibai et al. Evaluation of indoor mobile robot localization techniques
Almanza-Ojeda et al. Occupancy map construction for indoor robot navigation

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20060622

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20070618

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20071026

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20080425

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20080528

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20080529

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20110411

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20120423

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20130422

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20130422

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20140424

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20140424

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20150422

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20150422

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20160420

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20160420

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20170418

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20170418

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20180423

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20180423

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20190422

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20190422

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20200416

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20210419

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20220419

Start annual number: 15

End annual number: 15

PR1001 Payment of annual fee

Payment date: 20230418

Start annual number: 16

End annual number: 16

PR1001 Payment of annual fee

Payment date: 20240418

Start annual number: 17

End annual number: 17