[go: up one dir, main page]

KR100955483B1 - 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법 - Google Patents

3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법 Download PDF

Info

Publication number
KR100955483B1
KR100955483B1 KR1020080078692A KR20080078692A KR100955483B1 KR 100955483 B1 KR100955483 B1 KR 100955483B1 KR 1020080078692 A KR1020080078692 A KR 1020080078692A KR 20080078692 A KR20080078692 A KR 20080078692A KR 100955483 B1 KR100955483 B1 KR 100955483B1
Authority
KR
South Korea
Prior art keywords
dimensional
omnidirectional
omnidirectional image
image
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020080078692A
Other languages
English (en)
Other versions
KR20100020054A (ko
Inventor
윤석준
노경식
권웅
형승용
김현규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080078692A priority Critical patent/KR100955483B1/ko
Priority to CN2009101268717A priority patent/CN101650891B/zh
Priority to US12/411,446 priority patent/US8571302B2/en
Priority to JP2009088934A priority patent/JP5474396B2/ja
Publication of KR20100020054A publication Critical patent/KR20100020054A/ko
Application granted granted Critical
Publication of KR100955483B1 publication Critical patent/KR100955483B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/06Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes for surveying; for geography, e.g. relief models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법을 개시한다. 무인 차량이나 이동 로봇의 현재 위치 및 주변 지형을 파악하기 위한 3차원 지도 작성에 있어서, 2차원 위치 확인 및 3차원 복원을 적절히 이용함으로서 보다 빠른 시간 내에 정확한 3차원 격자 지도 작성이 가능하도록 한다.
3차원, 좌표, 항법, SLAM, Localization, Mapping

Description

3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법{METHOD OF BUILDING 3D GRID MAP AND METHOD OF CONTROLLING AUTO TRAVELLING APPARATUS USING THE SAME}
본 발명은 3차원 격자 지도 작성 방법에 관한 것으로, 특히 스테레오 전방위 카메라(Stereo Omni-directional Camera)를 이용하여 주변의 지형을 파악하여 3차원 지도를 작성하는 3차원 격자 지도 작성 방법에 관한 것이다.
전방위 카메라는 회전체 반사경과 집광 렌즈 및 촬상 소자를 이용하여 전방위를 한번에 촬영하는 카메라 시스템으로서, 보안 시설과 감시 카메라, 로봇 비전 등에 응용된다. 회전체 반사경의 형상으로는 쌍곡면이나 구면, 원추, 복합형 등 다양하며, 촬상 소자로는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor)가 사용된다. 이 촬상 소자의 촬상면에 투영되는 화상(즉 전방위 영상)은 회전체 반사경에 반사된 것이어서 인간이 그대로 관찰하기에는 적합하지 않은 일그러진 화상이다. 따라서 화상의 정확한 관찰을 위해 촬상 소자의 출력을 외부의 마이크로프로세서 등을 통해 그 좌표를 변환하여 새로운 파노라마 영상을 만들어낸다.
이 전방위 카메라를 통해 얻은 전방위 영상은 전방위 카메라 주변에 대한 2차원적인 정보를 제공한다. 만약 복수의 전방위 카메라를 통해 서로 다른 방향에서 촬영한 복수의 전방위 영상을 이용하면 전방위 카메라 주변에 대한 3차원적인 정보를 얻을 수 있다. 복수의 전방위 카메라로 구성되는 영상 장치를 스테레오 전방위 카메라라고 한다. 이와 같은 스테레오 전방위 카메라를 무인 차량이나 이동 로봇에 장착하여, 스테레오 전방위 카메라에서 촬영된 전방위 영상을 무인 차량 또는 이동 로봇의 위치 인식 및 지도 작성에 이용하기도 한다.
본 발명은, 무인 차량이나 이동 로봇의 현재 위치 및 주변 지형을 파악하기 위한 3차원 위치 인식 및 지도 작성에 있어서, 빠른 시간 내에 정확한 3차원 위치 인식 및 지도 작성이 가능하도록 하는데 그 목적이 있다.
본 발명의 일 측면에 따른 3차원 격자 지도 작성 방법은, 스테레오 전방위 카메라를 이용하여 주변의 전방위 영상을 획득하고; 전방위 영상을 이용하여 현재의 2차원 위치를 확인하며; 전방위 영상의 3차원 복원을 수행하고; 2차원 위치 확인 결과와 3차원 복원 결과를 결합하여 스테레오 전방위 카메라 주변의 3차원 격자 지도를 작성한다.
또한, 상술한 2차원 위치 확인은 전방위 영상을 이용한 2차원 위치 확인 및 지도 작성의 수행을 통해 이루어진다.
또한, 상술한 전방위 영상을 이용한 2차원 위치 확인은, 전방위 영상의 에피폴라 라인 상의 특징점들을 이용하여 2차원 위치 확인을 수행하는 것이다.
또한, 상술한 전방위 영상의 에피롤라 라인 상의 특징점들은, 전방위 영상의 컬러 에지(color edge) 추출을 통해 획득한다.
또한, 상술한 3차원 복원 결과를 이용하여 격자의 점유 정도를 구하는 것을 더 포함한다.
또한, 상술한 격자의 점유 정도를 구하는 것은, 3차원 격자의 복셀(Voxel)의 점유 카운트가 일정 수를 초과하면 해당 복셀이 점유된 것으로 판단하는 것이다.
본 발명의 또 다른 측면에 따른 자동 주행 장치의 제어 방법은, 스테레오 전 방위 카메라를 이용하여 주변의 전방위 영상을 획득하고; 전방위 영상을 이용하여 현재의 2차원 위치를 확인하며; 전방위 영상의 3차원 복원을 수행하고; 2차원 위치 확인 결과와 3차원 복원 결과를 결합하여 스테레오 전방위 카메라 주변의 3차원 격자 지도를 작성하며; 3차원 격자 지도에 근거하여 현재 위치에서 목표 지점까지의 주행 경로를 결정하고; 주행 경로를 따라 목표 지점까지 주행하도록 제어한다.
또한, 상술한 2차원 위치 확인은 전방위 영상을 이용한 2차원 위치 확인 및 지도 작성의 수행을 통해 이루어진다.
또한, 상술한 전방위 영상을 이용한 2차원 위치 확인은, 전방위 영상의 에피폴라 라인 상의 특징점들을 이용하여 2차원 위치 확인을 수행하는 것이다.
또한, 상술한 전방위 영상의 에피롤라 라인 상의 특징점들은, 전방위 영상의 컬러 에지(color edge) 추출을 통해 특징점들을 획득한다.
또한, 상술한 3차원 복원 결과를 이용하여 격자의 점유 정도를 구하는 것을 더 포함한다.
또한, 상술한 격자의 점유 정도를 구하는 것은, 3차원 격자의 복셀(Voxel)의 점유 카운트가 일정 수를 초과하면 해당 복셀이 점유된 것으로 판단하는 것이다.
상술한 바에 따르면, 무인 차량이나 이동 로봇의 현재 위치 및 주변 지형을 파악하기 위한 3차원 위치 인식 및 지도 작성에 있어서, 빠른 시간 내에 정확한 3차원 위치 인식 및 지도 작성이 가능하도록 한다.
이와 같은 목적의 본 발명에 따른 3차원 격자 지도 작성 방법 및 3차원 격자 지도를 이용한 자동 주행 장치의 제어 방법의 바람직한 실시 예를 도 1 내지 도 6을 참조하여 설명하면 다음과 같다. 본 발명의 일 실시 예에 따른 3차원 격자 지도 작성 방법은 무인 차량이나 이동 로봇과 등에서 현재 위치 및 주변 지형의 파악을 통한 이동 경로의 결정 등에 적용 가능하다. 또한, 보안 장치나 감시 장치와 같은 분야에도 적용 가능하다.
먼저 도 1은 본 발명의 일 실시 예에 따른 스테레오 전방위 카메라의 구성을 나타낸 도면이다. 도 1에 나타낸 바와 같이, 제 1 전방위 카메라(102)와 제 2 전방위 카메라(104)가 동일한 방향을 바라보도록 일렬로 배열되어 하나의 스테레오 전방위 카메라(100)를 구성한다. 도 1에는 도시하지 않았으나, 제 1 전방위 카메라(102)와 제 2 전방위 카메라(104)는 별도의 고정 장치에 의해 고정되도록 하는 것이 바람직하다.
제 1 전방위 카메라(102)에는 카메라 모듈(102a)과 회전체 반사경(102b)이 서로 대향하도록 설치된다. 회전체 반사경(102b)은 제 1 전방위 카메라(102) 주변의 360° 각도에서 입사되는 빛을 반사하여 카메라 모듈(102a)에 전달되도록 한다. 카메라 모듈(102a)에는 CCD(102c)가 촬상면을 이루어 회전체 반사경(102b)에 반사되어 입사되는 빛을 전기 신호로 변환하여 영상 신호를 만들어낸다.
제 2 전방위 카메라(104) 역시 카메라 모듈(104a)과 회전체 반사경(104b)으로 구성된다. 제 2 전방위 카메라(104)의 카메라 모듈(104a)의 경우에도 CCD(104c)가 촬상면을 이루어 회전체 반사경(104b)에 반사되어 입사되는 빛을 전기 에너지로 변환하여 영상 신호를 만들어낸다.
제 1 전방위 카메라(102)와 제 2 전방위 카메라(104) 각각은 주변의 360° 화각의 영상(즉 전방위 영상)을 촬영하여 영상을 만든다. 다만 하나의 전방위 영상으로는 피사체의 2차원 정보만을 알 수 있기 때문에 서로 다른 위치에서 촬영한 두 개의 전방위 영상을 이용하여 피사체의 3차원 정보를 얻는다.
도 2는 도 1에 나타낸 스테레오 전방위 카메라의 제어 계통을 나타낸 도면이다. 도 2에 나타낸 바와 같이, 제어부(202)의 입력 측에는 스테레오 전방위 카메라(100)의 제 1 전방위 카메라(102)와 제 2 전방위 카메라(104)가 통신 가능하도록 전기적으로 연결된다. 제어부(202)는 스테레오 전방위 카메라(100)의 제 1 전방위 카메라(102)와 제 2 전방위 카메라(104) 각각에서 만들어진 전기 신호를 영상 신호로 변환하고, 이 영상 신호를 통해 구현되는 영상으로부터 스테레오 전방위 카메라(100) 주변의 3차원 지도를 생성한다. 생성된 3차원 지도는 메모리(204)에 저장되며, 스테레오 전방위 카메라(100)의 위치가 변경될 때마다 3차원 지도는 갱신된다. 만약 이 스테레오 전방위 카메라(100)가 무인 차량이나 이동 로봇 등에 장착될 경우, 이 3차원 지도로부터 무인 차량 또는 이동 로봇의 현재 위치 및 주변의 지형을 파악하여 위치 제어 또는 모션 제어를 수행한다.
도 3은 도 1에 나타낸 스테레오 전방위 카메라로 촬영한 영상을 나타낸 도면이다. 도 3에 나타낸 바와 같이, 스테레오 전방위 카메라(100)로 주변을 촬영하면 제 1 전방위 카메라(102)를 통해 제 1 전방위 영상(302)이 얻어지고 제 2 전방위 카메라(104)를 통해 제 2 전방위 영상(304)이 얻어진다. 본 발명의 일 실시 예에서는, 제 1 전방위 카메라(102)를 통해 얻어지는 제 1 전방위 영상(302)의 에피폴라 라인(Epipolar Line)(306)을 구하고, 이 에피폴라 라인(306) 상의 특징점들(308)을 추출하여 이 특징점들(308)의 2차원 좌표를 구한다. 이 특징점들(308)의 2차원 좌표는 3차원 격자 지도를 생성하는데 이용된다. 본 발명의 일 실시 예에서는 이 특징점들(308)을 추출하기 위해 컬러 에지(Color Edge) 추출 방식이 이용된다.
도 4는 도 3에 나타낸 두 개의 전방위 영상을 파노라마 영상 및 스테레오 정합 영상(Disparity Map)을 나타낸 도면이다. 도 4에서, 402는 제 1 전방위 영상(302)의 파노라마 영상 즉 제 1 파노라마 영상이고, 404는 제 2 전방위 영상(304)의 파노라마 영상 즉 제 2 파노라마 영상이며, 406은 제 1 파노라마 영상(402)과 제 2 파노라마 영상(404)의 스테레오 정합 영상(Disparity Map)이다. 도 4에 나타낸 스테레오 정합 영상(406)에서는, 스테레오 전방위 카메라(100)로부터 가까운 곳에 위치한 피사체는 상대적으로 더 밝게 나타나고, 스테레오 전방위 카메라(100)로부터 먼 곳에 위치한 피사체는 상대적으로 더 어둡게 나타난다. 이 밝기 정보(즉 영상의 depth)를 이용하면 스테레오 전방위 카메라(100)와 피사체들 사이의 거리를 가늠할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 스테레오 전방위 카메라의 3차원 좌표 추출 개념을 나타낸 도면이다. 도 5에서, <b>는 제 1 전방위 카메라(102)와 제 2 전방위 카메라(104) 사이의 거리인 베이스 라인(Base Line)이고, <r>은 회전체 반사경(102c)(104c)의 반지름이며, <p>와 <p'>은 각 전방위 영상에서의 특징점들이고, <d'>과 <d>는 제 1 전방위 카메라(102)와 제 2 전방위 카메라(104) 각각으로부터 피사체(P)까지의 거리이다. <102c>와 <104c>는, 앞서 도 1에서 설명한 바와 같 이, 제 1 전방위 카메라(102) 및 제 2 전방위 카메라(104) 각각의 촬상면이다.
제 2 전방위 카메라(104)와 피사체(P) 사이의 거리(d)는 다음의 식 (1)을 통해 구한다. 이와 유사한 개념으로 제 1 전방위 카메라(102)와 피사체 사이의 거리(d')도 구할 수 있다.
식 (1)
Figure 112008057489803-pat00001
이와 같은 방법으로 스테레오 전방위 카메라(100)와 피사체(P) 사이의 거리(d)를 구하고, 도 4의 파노라마 영상으로부터 스테레오 전방위 카메라(100)를 중심으로 하는 피사체(P)의 방위각(azimuth)을 구하면 아래의 식 (2)로 표현되는 피사체(P)의 3차원 좌표 P(X, Y, Z)를 얻는다.
식 (2)
Figure 112008057489803-pat00002
도 6은 본 발명의 일 실시 예에 따른 위치 확인(Localization) 및 지도 작성(Mapping) 방법을 나타낸 도면이다. 위치 확인(Localization) 및 지도 작성(Mapping)을 동시에 실시하는 것을 Simultaneous Localization and Mapping(이하 SLAM이라 칭함)이라고 하는데, 본 발명의 일 실시 예에 따른 SLAM은 2차원 SLAM(600a)과 3차원 SLAM(600b)을 함께 실시한다. 3차원 SLAM은 연산량이 매우 많기 때문에 2차원 SLAM과 3차원 SLAM을 혼용함으로써 총 연산량을 줄이고 이를 통해 위치 확인 및 지도 작성 속도를 높인다. 즉, 2차원 SLAM 만으로도 필요한 데이터를 얻을 수 있는 경우에는 2차원 SLAM만을 수행하고 3차원 SLAM이 필요한 곳에서는 3차원 SLAM을 수행하면, 모든 데이터를 3차원 SLAM을 통해 얻는 경우보다 연산량이 크게 감소한다. 위치 확인을 위한 연산량이 크게 감소한다는 것은 더 짧은 시간에 필요한 위치 확인이 가능하다는 것을 의미하며, 이는 곧 스테레오 전방위 카메라(100)를 장착한 자동 주행 장치(무인 차량 또는 이동 로봇 등의 장치)가 더 빠른 속도로 이동할 수 있음을 의미한다.
먼저, 2차원 SLAM(600a)에서, 스테레오 전방위 카메라(100)의 제 1 전방위 카메라(102)와 제 2 전방위 카메라(104) 각각을 이용하여 제 1 전방위 영상(302)과 제 2 전방위 영상(304)을 획득한다(602). 이 가운데 아래쪽에 위치한 제 1 전방위 카메라(102)를 이용하여 획득한 제 1 전방위 영상(302)의 에피폴라 라인(306)을 획득하고, 이 에피폴라 라인(306)에서의 특징점들(308)을 추출한다(604). 2차원 SLAM에서는 이 특징점들(308)의 2차원 좌표를 획득하는데, 이를 위해 3차원 SLAM(600b)의 3차원 위치 인식 결과를 이용한다.
3차원 SLAM(600b)에서, 제 1 파노라마 영상(402)과 제 2 파노라마 영상(404)의 스테레오 정합을 통해 스테레오 정합 영상(Disparity Map)(406)을 생성한다(606). 이 스테레오 정합 영상(406)을 통해 도 5의 설명에서 언급한 것과 같은 방법을 이용하여 스테레오 전방위 카메라(100) 주변 영상의 3차원 복원이 가능하 다(608).
다시 2차원 SLAM(600a)으로 돌아와서, 스테레오 전방위 영상에 아래의 식 (3), (4), (5)를 적용하여 추출된 특징점들(308)의 2차원 좌표를 획득한다(610).
식 (3)
Figure 112008057489803-pat00003
식 (4)
Figure 112008057489803-pat00004
식 (5)
Figure 112008057489803-pat00005
위의 식 (3)은 2차원 SLAM을 위한 것으로서,
Figure 112008057489803-pat00006
는 상태 벡터이고,
Figure 112008057489803-pat00007
는 입력 벡터이며,
Figure 112008057489803-pat00008
는 입력 오차이고,
Figure 112008057489803-pat00009
는 측정 값이며,
Figure 112008057489803-pat00010
는 측정 오차이다. 식 (3)의 상태 벡터
Figure 112008057489803-pat00011
는 식 (4)에 나타낸 것과 같은 스테레오 전방위 카메라(100)의 위치와 특징점들(308)의 2차원 좌표들로 구성되며, 식 (5)의 측정 값은 스테레오 전방위 카메라(100)에서 측정한 특징점의 각도(방위)이다. 이와 같은 식 (3), (4), (5)를 이용하면 에피폴라 라인(306)의 특징점들(308)의 위치 와 스테레오 전방위 카메라(100)의 위치 추정이 가능하다.
만약 본 발명의 일 실시 예에 따른 스테레오 전방위 카메라(100)가 무인 차량이나 이동 로봇 등에 장착되어 운용될 경우, 스테레오 전방위 카메라(100)의 이동이 발생하게 된다. 따라서 스테레오 전방위 카메라(100)의 움직임을 예측하여 이전의 측정된 2차원 좌표 값들을 새롭게 보정하여 갱신한다(612).
2차원 SLAM(600a)에서의 2차원 좌표 획득 결과와 3차원 SLAM(600b)에서의 3차원 위치 인식 결과를 종합하면 스테레오 전방위 카메라(100) 주변의 3차원 격자 지도를 생성할 수 있다(614). 만약 각 복셀(Voxel)의 점유 카운트가 일정 수준 이상이면 그 복셀은 점유되어 있다고 하여 3차원 격자 맵의 구축이 가능하다. 스테레오 전방위 카메라(100)의 시야(Field of View) 안에 복셀이 존재하는 경우(점유 또는 미점유의 확인이 가능한 경우) 일정 회수 동안 일정 점유 카운트를 초과하면 그 복셀은 점유된 것으로 판단한다.
도 1은 본 발명의 일 실시 예에 따른 스테레오 전방위 카메라의 구성을 나타낸 도면.
도 2는 도 1에 나타낸 스테레오 전방위 카메라의 제어 계통을 나타낸 도면.
도 3은 도 1에 나타낸 스테레오 전방위 카메라로 촬영한 영상을 나타낸 도면.
도 4는 도 3에 나타낸 두 개의 전방위 영상을 파노라마 영상 및 스테레오 정합 영상(Disparity Map)을 나타낸 도면.
도 5는 본 발명의 일 실시 예에 따른 스테레오 전방위 카메라의 3차원 좌표 추출 개념을 나타낸 도면.
도 6은 본 발명의 일 실시 예에 따른 위치 확인(Localization) 및 지도 작성(Mapping) 방법을 나타낸 도면.
*도면의 주요 부분에 대한 부호의 설명*
100 : 스테레오 전방위 카메라
102, 104 : 전방위 카메라
102a, 104a : 카메라 모듈
102b, 104b : 회전체 반사경
102c, 104c : 촬상면
302, 304 : 전방위 영상
306 : 에피폴라 라인(Epipolar Line)
308 : 특징점들
402, 404 : 파노라마 영상
406 : 스테레오 정합 영상

Claims (12)

  1. 스테레오 전방위 카메라를 이용하여 주변의 전방위 영상을 획득하고;
    상기 전방위 영상을 이용하여 현재의 2차원 위치를 확인하며;
    상기 전방위 영상의 3차원 복원을 수행하고;
    상기 2차원 위치 확인 결과와 상기 3차원 복원 결과를 결합하여 상기 스테레오 전방위 카메라 주변의 3차원 격자 지도를 작성하는 3차원 격자 지도 작성 방법.
  2. 제 1 항에 있어서,
    상기 2차원 위치 확인은 상기 전방위 영상을 이용한 2차원 위치 확인 및 지도 작성의 수행을 통해 이루어지는 3차원 격자 지도 작성 방법.
  3. 제 2 항에 있어서,
    상기 전방위 영상을 이용한 2차원 위치 확인은, 상기 전방위 영상의 에피폴라 라인 상의 특징점들을 이용하여 상기 2차원 위치 확인을 수행하는 3차원 격자 지도 작성 방법.
  4. 제 3 항에 있어서,
    상기 전방위 영상의 에피폴라 라인 상의 특징점들은, 상기 전방위 영상의 컬러 에지(color edge) 추출을 통해 획득하는 3차원 격자 지도 작성 방법.
  5. 제 1 항에 있어서,
    상기 3차원 복원 결과를 이용하여 격자의 점유 정도를 구하는 것을 더 포함하는 3차원 격자 지도 작성 방법.
  6. 제 5 항에 있어서,
    상기 격자의 점유 정도를 구하는 것은, 상기 3차원 격자의 복셀(Voxel)의 점유 카운트가 일정 수를 초과하면 해당 복셀이 점유된 것으로 판단하는 것인 3차원 격자 지도 작성 방법.
  7. 스테레오 전방위 카메라를 이용하여 주변의 전방위 영상을 획득하고;
    상기 전방위 영상을 이용하여 현재의 2차원 위치를 확인하며;
    상기 전방위 영상의 3차원 복원을 수행하고;
    상기 2차원 위치 확인 결과와 상기 3차원 복원 결과를 결합하여 상기 스테레오 전방위 카메라 주변의 3차원 격자 지도를 작성하며;
    상기 3차원 격자 지도에 근거하여 현재 위치에서 목표 지점까지의 주행 경로를 결정하고,
    상기 주행 경로를 따라 상기 목표 지점까지 주행하도록 제어하는 자동 주행 장치의 제어 방법.
  8. 제 7 항에 있어서,
    상기 2차원 위치 확인은 상기 전방위 영상을 이용한 2차원 위치 확인 및 지도 작성의 수행을 통해 이루어지는 자동 주행 장치의 제어 방법.
  9. 제 8 항에 있어서,
    상기 전방위 영상을 이용한 2차원 위치 확인은, 상기 전방위 영상의 에피폴라 라인 상의 특징점들을 이용하여 상기 2차원 위치 확인을 수행하는 것인 자동 주행 장치의 제어 방법.
  10. 제 9 항에 있어서,
    상기 전방위 영상의 에피폴라 라인 상의 특징점들은, 상기 전방위 영상의 컬러 에지(color edge) 추출을 통해 상기 특징점들을 획득하는 자동 주행 장치의 제어 방법.
  11. 제 7 항에 있어서,
    상기 3차원 복원 결과를 이용하여 격자의 점유 정도를 구하는 자동 주행 장치의 제어 방법.
  12. 제 11 항에 있어서,
    상기 격자의 점유 정도를 구하는 것은, 상기 3차원 격자의 복셀(Voxel)의 점유 카운트가 일정 수를 초과하면 해당 복셀이 점유된 것으로 판단하는 자동 주행 장치의 제어 방법.
KR1020080078692A 2008-08-12 2008-08-12 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법 Expired - Fee Related KR100955483B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020080078692A KR100955483B1 (ko) 2008-08-12 2008-08-12 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법
CN2009101268717A CN101650891B (zh) 2008-08-12 2009-03-24 创建3维网格地图的方法和控制自动行进设备的方法
US12/411,446 US8571302B2 (en) 2008-08-12 2009-03-26 Method and apparatus to build 3-dimensional grid map and method and apparatus to control automatic traveling apparatus using the same
JP2009088934A JP5474396B2 (ja) 2008-08-12 2009-04-01 3次元格子地図作成方法及びこれを用いた自動走行装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080078692A KR100955483B1 (ko) 2008-08-12 2008-08-12 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법

Publications (2)

Publication Number Publication Date
KR20100020054A KR20100020054A (ko) 2010-02-22
KR100955483B1 true KR100955483B1 (ko) 2010-04-30

Family

ID=41673118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080078692A Expired - Fee Related KR100955483B1 (ko) 2008-08-12 2008-08-12 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법

Country Status (4)

Country Link
US (1) US8571302B2 (ko)
JP (1) JP5474396B2 (ko)
KR (1) KR100955483B1 (ko)
CN (1) CN101650891B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130002834A (ko) * 2011-06-29 2013-01-08 엘지전자 주식회사 자율 이동 방법 및 그 장치
KR20210119626A (ko) 2020-03-24 2021-10-06 현대모비스 주식회사 센서 보정을 이용하는 차량의 주차 지원 시스템 및 방법

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012040644A1 (en) * 2010-09-24 2012-03-29 Evolution Robotics, Inc. Systems and methods for vslam optimization
DE102010041490A1 (de) * 2010-09-27 2012-03-29 Carl Zeiss Microimaging Gmbh Optisches Instrument und Verfahren zur optischen Überwachung
KR101739996B1 (ko) * 2010-11-03 2017-05-25 삼성전자주식회사 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법
KR101242253B1 (ko) 2011-02-23 2013-03-11 고려대학교 산학협력단 지형분류 기반 고도 지도 작성 방법
US8798840B2 (en) * 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US9453737B2 (en) * 2011-10-28 2016-09-27 GM Global Technology Operations LLC Vehicle localization
WO2013126877A1 (en) * 2012-02-25 2013-08-29 Massachusetts Institute Of Technology Personal skin scanner system
DE102012207269A1 (de) * 2012-05-02 2013-11-07 Kuka Laboratories Gmbh Fahrerloses Transportfahrzeug und Verfahren zum Betreiben eines fahrerlosen Transportfahrzeugs
US8954853B2 (en) * 2012-09-06 2015-02-10 Robotic Research, Llc Method and system for visualization enhancement for situational awareness
US9953618B2 (en) * 2012-11-02 2018-04-24 Qualcomm Incorporated Using a plurality of sensors for mapping and localization
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
CN103901884B (zh) * 2012-12-25 2017-09-29 联想(北京)有限公司 信息处理方法和信息处理设备
ES2478700B1 (es) * 2013-01-21 2015-06-30 Idneo Technologies, S.L. Sistema y método para la detección de obstáculos
KR102087595B1 (ko) * 2013-02-28 2020-03-12 삼성전자주식회사 내시경 시스템 및 그 제어방법
DE102013211126A1 (de) * 2013-06-14 2014-12-18 Robert Bosch Gmbh Verfahren zum Modellieren eines Umfelds eines Fahrzeugs
CN104284172A (zh) * 2013-07-04 2015-01-14 联咏科技股份有限公司 影像匹配方法及立体匹配系统
CN104854428B (zh) 2013-12-10 2018-12-14 深圳市大疆创新科技有限公司 传感器融合
CN103926927A (zh) * 2014-05-05 2014-07-16 重庆大学 一种室内移动机器人双目视觉定位与三维建图方法
US20150334299A1 (en) * 2014-05-14 2015-11-19 Panasonic Intellectual Property Management Co., Ltd. Monitoring system
CN104156973A (zh) * 2014-08-26 2014-11-19 清华大学深圳研究生院 基于立体匹配的实时三维视频监控方法
WO2016033797A1 (en) 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd. Multi-sensor environmental mapping
JP6181300B2 (ja) 2014-09-05 2017-08-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 無人航空機の速度を制御するシステム
EP3008535B1 (en) 2014-09-05 2018-05-16 SZ DJI Technology Co., Ltd. Context-based flight mode selection
US10162350B2 (en) * 2014-09-10 2018-12-25 Universal City Studios Llc Systems and methods for controlling the transportation of vehicles
JP5980873B2 (ja) 2014-10-17 2016-08-31 ファナック株式会社 ロボットの干渉領域設定装置
US10142609B2 (en) * 2015-04-29 2018-11-27 Northrop Grumman Systems Corporation Dynamically adjustable situational awareness interface for control of unmanned vehicles
KR101741433B1 (ko) 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
JP6762148B2 (ja) * 2015-07-09 2020-09-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 地図生成方法、移動ロボット及び地図生成システム
US10291845B2 (en) * 2015-08-17 2019-05-14 Nokia Technologies Oy Method, apparatus, and computer program product for personalized depth of field omnidirectional video
US9557741B1 (en) * 2015-08-24 2017-01-31 Ford Global Technologies, Llc System and method for autonomous valet parking using plenoptic cameras
GB2541884A (en) * 2015-08-28 2017-03-08 Imp College Of Science Tech And Medicine Mapping a space using a multi-directional camera
KR101714250B1 (ko) * 2015-10-28 2017-03-08 현대자동차주식회사 주변 차량의 이동 경로의 예측 방법
EP4579190A2 (en) 2015-12-09 2025-07-02 SZ DJI Technology Co., Ltd. Systems and methods for auto-return
CN105928531B (zh) * 2016-04-13 2019-04-26 浙江合众新能源汽车有限公司 一种适用于无人驾驶汽车的行进路线精准生成方法
CN107478213B (zh) * 2016-06-07 2021-08-06 北京众力积木科技有限公司 移动装置及用于移动装置的数据采集主动控制方法和装置
GB2552648B (en) 2016-07-22 2020-09-16 Imperial College Sci Tech & Medicine Estimating dimensions for an enclosed space using a multi-directional camera
CN109643489B (zh) * 2016-08-26 2022-05-03 松下电器(美国)知识产权公司 三维信息处理方法以及三维信息处理装置
CN113008263B (zh) * 2016-11-01 2024-04-30 松下电器(美国)知识产权公司 数据生成方法及数据生成装置
US10296812B2 (en) * 2017-01-04 2019-05-21 Qualcomm Incorporated Systems and methods for mapping based on multi-journey data
KR102265376B1 (ko) 2017-03-07 2021-06-16 현대자동차주식회사 차량 및 그 제어방법과 이를 이용한 자율 주행 시스템
KR102309833B1 (ko) * 2017-05-29 2021-10-07 현대모비스 주식회사 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법
EP3649615A1 (en) * 2017-07-07 2020-05-13 Time2market SA A method and system for node vectorisation
CN107752910A (zh) * 2017-09-08 2018-03-06 珠海格力电器股份有限公司 区域清扫方法、装置、存储介质、处理器及扫地机器人
TWI725279B (zh) 2018-01-10 2021-04-21 華晶科技股份有限公司 利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置
US10762658B2 (en) * 2017-10-24 2020-09-01 Altek Corporation Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images
CN107766859B (zh) * 2017-10-31 2020-12-11 广东美的智能机器人有限公司 移动机器人定位方法、装置及移动机器人
US10789717B2 (en) 2017-11-24 2020-09-29 Electronics And Telecommunications Research Institute Apparatus and method of learning pose of moving object
WO2019136404A1 (en) 2018-01-05 2019-07-11 Todd Petersen Transportation systems and related methods
CN110021044B (zh) * 2018-01-10 2022-12-20 华晶科技股份有限公司 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置
CN108256574B (zh) * 2018-01-16 2020-08-11 广东省智能制造研究所 机器人定位方法及装置
CN108469826B (zh) * 2018-04-23 2021-06-08 宁波Gqy视讯股份有限公司 一种基于机器人的地图生成方法及系统
US11181619B2 (en) * 2018-06-14 2021-11-23 Waymo Llc Camera ring structure for autonomous vehicles
CN110044358B (zh) * 2019-04-29 2020-10-02 清华大学 基于现场场线特征的移动机器人定位方法
CN110495819B (zh) * 2019-07-24 2021-05-18 华为技术有限公司 机器人的控制方法、机器人、终端、服务器及控制系统
CN110909585B (zh) * 2019-08-15 2022-09-06 纳恩博(常州)科技有限公司 一种路线确定方法、可行进设备、和存储介质
CN110610520B (zh) * 2019-08-29 2022-03-29 中德(珠海)人工智能研究院有限公司 一种基于双球幕相机的视觉定位方法及系统
CN111028350B (zh) * 2019-11-21 2022-05-20 大连理工大学 一种利用双目立体相机构建栅格地图的方法
KR102342945B1 (ko) * 2021-03-31 2021-12-24 (주)뉴빌리티 서라운드 이미지를 이용한 자율주행 이동체의 위치 추정 장치 및 방법
JP7501481B2 (ja) 2021-09-27 2024-06-18 トヨタ自動車株式会社 距離推定装置、距離推定方法、および距離推定用コンピュータプログラム
CN114037807B (zh) * 2021-11-24 2023-03-28 深圳市云鼠科技开发有限公司 低内存占用的链式栅格地图构建方法、装置及计算机设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100757937B1 (ko) * 2006-06-30 2007-09-12 삼성전자주식회사 로봇의 위치 추적 및 지도 작성 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001290820A (ja) * 2000-01-31 2001-10-19 Mitsubishi Electric Corp 映像収集装置、映像検索装置および映像収集検索システム
US6412961B1 (en) * 2000-05-30 2002-07-02 Robert Andrew Hicks Rectifying mirror
KR100591144B1 (ko) * 2001-02-09 2006-06-19 이구진 주석기입에 따른 전방위성 3차원 이미지 데이터 획득장치 및 그 방법
US6744569B2 (en) * 2001-06-19 2004-06-01 Genex Technologies, Inc Method and apparatus for omnidirectional three dimensional imaging
JP2005037378A (ja) 2003-06-30 2005-02-10 Sanyo Electric Co Ltd 奥行計測方法と奥行計測装置
JP4479372B2 (ja) * 2004-06-25 2010-06-09 ソニー株式会社 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
JP2007041656A (ja) 2005-07-29 2007-02-15 Sony Corp 移動体制御方法および移動体
JP4783620B2 (ja) * 2005-11-24 2011-09-28 株式会社トプコン 3次元データ作成方法及び3次元データ作成装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100757937B1 (ko) * 2006-06-30 2007-09-12 삼성전자주식회사 로봇의 위치 추적 및 지도 작성 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
제1회 한국지능로봇 하계종합 학술대회 논문집, 단일 카메라 전방향 스테레오 시스템을 이용한 로봇의 위치 추정 및 환경지도작성

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130002834A (ko) * 2011-06-29 2013-01-08 엘지전자 주식회사 자율 이동 방법 및 그 장치
KR101700764B1 (ko) * 2011-06-29 2017-01-31 엘지전자 주식회사 자율 이동 방법 및 그 장치
KR20210119626A (ko) 2020-03-24 2021-10-06 현대모비스 주식회사 센서 보정을 이용하는 차량의 주차 지원 시스템 및 방법

Also Published As

Publication number Publication date
JP5474396B2 (ja) 2014-04-16
US20100040279A1 (en) 2010-02-18
JP2010044740A (ja) 2010-02-25
CN101650891A (zh) 2010-02-17
CN101650891B (zh) 2013-09-18
KR20100020054A (ko) 2010-02-22
US8571302B2 (en) 2013-10-29

Similar Documents

Publication Publication Date Title
KR100955483B1 (ko) 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법
TWI798305B (zh) 用於更新高度自動化駕駛地圖的系統和方法
US10427304B2 (en) Robotic charger alignment
KR101633620B1 (ko) 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
CN113196007B (zh) 一种应用于车辆的相机系统
WO2018211926A1 (ja) 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム
WO2005088971A1 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
JP6880822B2 (ja) 装置、移動体装置及び方法
JP2008096162A (ja) 3次元距離計測センサおよび3次元距離計測方法
WO2019003910A1 (ja) 画像処理装置、画像処理方法、およびプログラム
KR102260975B1 (ko) 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법
JP2011013803A (ja) 周囲形状検出装置、自律移動装置、移動体の操縦補助装置、周囲形状検出方法、自律移動装置の制御方法及び移動体の操縦補助方法
KR20170014916A (ko) 단일 카메라와 gps를 이용한 영상 내 객체의 좌표 산출 방법
CN108205315A (zh) 一种基于双目视觉的机器人自动导航方法
Park et al. Automated collaboration framework of UAV and UGV for 3D visualization of construction sites
JP4825971B2 (ja) 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。
KR20130002834A (ko) 자율 이동 방법 및 그 장치
Schönbein et al. Environmental Perception for Intelligent Vehicles Using Catadioptric Stereo Vision Systems.
Krombach et al. Evaluation of stereo algorithms for obstacle detection with fisheye lenses
KR20230082497A (ko) 3차원 포인트 클라우드를 이용한 구조물의 실시간 검진 자동화 방법 및 장치
CN106382918A (zh) 一种三维视觉传感器
US7839490B2 (en) Single-aperture passive rangefinder and method of determining a range
CN112639864A (zh) 用于测距的方法和装置
Schönbein et al. Panoramic 3d reconstruction with three catadioptric cameras
Ben-Tzvi et al. Extraction of 3D images using pitch-actuated 2D laser range finder for robotic vision

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20080812

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20091019

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20100419

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20100422

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20100423

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20130318

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20130318

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20140325

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20140325

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20150313

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20150313

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20160318

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20160318

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20170321

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20170321

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20180320

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20180320

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20190320

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20190320

Start annual number: 10

End annual number: 10

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20220203