KR100550430B1

KR100550430B1 - 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법

Info

Publication number: KR100550430B1
Application number: KR1020030051816A
Authority: KR
Inventors: 이한성; 조항신; 최현우
Original assignee: 엘지전자 주식회사
Priority date: 2003-07-26
Filing date: 2003-07-26
Publication date: 2006-02-13
Anticipated expiration: 2023-07-26
Also published as: KR20050013000A

Abstract

카메라로 이동체의 주행 전방을 촬영하고, 그 촬영한 영상신호를 이용하여 지도 정보를 3차원 정보로 변환하며, 그 3차원 정보와 카메라가 촬영한 이동체의 주행전방의 영상신호를 함께 표시패널에 표시하면서 이동체의 주행을 안내한다.

GPS 위성이 송신하는 위치정보를 안테나를 통해 수신하는 GPS 수신부와, 이동체에 설치되어 이동체의 주행방향 및 주행거리를 검출하는 센서부와, 디지털 지도와 지명 정보를 포함하는 지도 정보를 저장하고 있는 지도정보 저장부와, 이동체에 설치되어 이동체의 주행전방의 영상을 촬영하는 카메라와, 사용자의 조작에 따른 동작명령을 입력하는 키 입력부와, GPS 수신부 및 센서부의 출력신호로 이동체의 현재위치를 검출하고 검출한 이동체의 현재위치를 지도정보 저장부에 저장된 디지털 지도에 맵 매칭시키며 디지털 지도에 맵 매칭시킨 맵 매칭 정보와 카메라가 촬영한 영상 및 지도정보 저장부에 저장된 지도 정보를 이용하여 3차원 정보를 추출하며 추출한 3차원 정보와 카메라가 촬영한 영상의 표시를 제어하여 이동체의 주행을 안내하는 주행안내 제어부와, 주행안내 제어부의 제어에 따라 카메라가 촬영한 영상 및 3차원 정보를 표시부에 표시하는 표시 구동부로 구성된다.

네비게이션, 3차원정보, 카메라, 특징 포인트, 대응 포인트, 맵 매칭정보

Description

3차원 정보를 이용한 이동체의 주행 안내장치 및 방법{Apparatus and method for guiding route of vehicle using three-dimensional information}

도 1은 본 발명의 주행 안내장치에 따른 네비게이션 시스템의 구성을 보인 블록도.

도 2는 도 1의 주행안내 제어부의 구성을 보인 블록도.

도 3은 도 2의 3차원 정보 변환수단의 일 실시 예의 구성을 보인 블록도.

도 4는 본 발명의 주행 안내장치에서 3차원 정보 계산수단이 특징 포인트와 대응 포인트의 교점을 구하는 것을 설명하기 위한 도면.

도 5는 도 2의 3차원 정보 변환수단의 다른 실시 예의 구성을 보인 블록도.

도 6은 본 발명의 주행 안내방법을 보인 신호흐름도.

도 7은 도 6의 3차원 정보변환의 일 실시 예를 보인 신호흐름도.

도 8은 도 6의 3차원 정보변환의 다른 실시 예를 보인 신호흐름도.

* 도면의 주요 부분에 대한 부호의 설명 *

100 : GPS용 위성 110 : 안테나

120 : GPS 수신부 130 : 센서부

140 : 지도정보 저장부 150, 500, 510 : 카메라

160 : 키 입력부 170 : 주행안내 제어부

180 : 표시 구동부 190 : 표시부

200 : 이동체 위치 검출수단 210 : 맵 매칭수단

220 : 3차원 정보 변환수단 230, 240 : 제 1 및 제 2 스위칭 수단

250 : 영상 매칭수단 300, 520, 530 : 특징 포인트 추출수단

310 : 저장 수단 320 : 특징 포인트 추적수단

330 : 특징 포인트 매칭수단 340, 550 : 3차원 정보 계산수단

540 : 스테레오 매칭수단

본 발명은 네비게이션 시스템에 있어서, 카메라로 촬영한 소정의 영상신호와, GPS(Global Positioning System) 수신신호 및 센서부의 출력신호로 검출한 이동체의 현재위치를 디지털 지도 데이터에 맵 매칭한 맵 매칭정보와, 지도 정보 메모리에 저장된 지도 정보를 이용하여 3차원 정보를 생성하고, 그 생성한 3차원 정보를 카메라로 촬영한 소정의 영상신호에 매칭시켜 표시패널에 표시하면서 이동체의 주행을 안내하는 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법에 관한 것이다.

위치기반 서비스의 기술발전에 따라 차량 등을 비롯한 소정의 이동체의 현재 위치를 표시하고, 그 이동체의 현재위치로부터 목적지까지의 주행경로를 탐색하여 최적의 주행경로를 안내하는 여러 가지 네비게이션 시스템들이 개발되어 시판되고 있다.

이러한 이들 네비게이션 시스템은 통상적으로 표시패널의 화면에 2차원 지도를 표시하고, 그 2차원 지도에 이동체의 주행방향을 화살표로 표시하거나 또는 이동체의 현재위치를 표시하면서 이동체의 주행경로를 안내하고 있다.

최근에는 컴퓨터의 성능 확장과 더불어 조감도(bird's eye view)와 같이 가상의 3차원 효과를 가지는 3차원적인 지도를 이동체의 현재 위치와 함께 표시패널의 화면에 표시하는 고가의 3차원 네비게이션 시스템들이 많이 등장하고 있으나, 이들 3차원 네비게이션 시스템에서 3차원적인 지도의 표시는 극히 초보적인 수준의 3차원 효과만을 나타내는데 그치고 있는 실정이다.

즉, 현재 시판되고 있는 3차원 네비게이션 시스템들은 2차원 지도를 표시패널에 표시할 경우에 건물 등에 강제로 그림자를 삽입하여 마치 3차원 지도인 듯한 효과가 나타나게 하거나, 또는 정확한 3차원 시점(visual point)으로의 좌표이동을 고려하지 않고, 단순히 2차원 지도를 이미지 워핑(image warping) 등으로 비스듬하게 변환하여 표시패널의 화면에 표시한 후 그 위에 건물 및 도로 등의 형상을 3차원으로 모델링하여 지명과 함께 표시하는 것이다.

그러나 상기한 바와 같은 종래의 3차원적인 지도의 표시는 건물이나 도로 등의 형상을 실제와 동일하게 3차원으로 모델링하는 데에는 한계가 있는 것으로서 운전자가 이동체를 운전하면서 실제로 보는 것과 많은 차이가 있고, 이로 인하여 2차원 지도를 통해 이동체의 주행을 안내할 때보다 오히려 사용자의 혼란을 가중시켰으며, 또한 건물이나 도로를 철거 및 신축을 할 경우에 새로운 3차원 모델링 작업 을 통해 업데이트해야 되는 등의 여러 가지 문제점이 있었다.

그러므로 본 발명의 목적은 이동체의 운전자가 실제로 보는 것과 동일한 영상신호를 표시패널에 표시하면서 이동체의 주행을 안내하는 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법을 제공하는데 있다.

본 발명의 다른 목적은 카메라로 이동체의 주행 전방을 촬영하고, 그 촬영한 영상신호를 이용하여, 지명이나 건물의 명칭 등과 같은 지도 정보를 3차원 정보로 변환하며, 그 변환한 3차원 정보와 카메라가 촬영한 이동체의 주행전방의 영상신호를 함께 표시패널에 표시하면서 이동체의 주행을 안내하는 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법을 제공하는데 있다.

이러한 목적을 가지는 본 발명의 3차원 정보를 이용한 이동체의 주행 안내장치는, GPS 위성이 송신하는 위치정보를 안테나를 통해 수신하는 GPS 수신부와, 이동체에 설치되어 이동체의 주행방향 및 주행거리를 검출하는 센서부와, 디지털 지도와 지명 정보를 포함하는 지도 정보를 저장하고 있는 지도정보 저장부와, 이동체에 설치되어 이동체의 주행전방의 영상을 촬영하는 카메라와, 사용자의 조작에 따른 동작명령을 입력하는 키 입력부와, 상기 GPS 수신부 및 센서부의 출력신호로 이동체의 현재위치를 검출하고 검출한 이동체의 현재위치를 상기 지도정보 저장부에 저장된 디지털 지도에 맵 매칭시키며 디지털 지도에 맵 매칭시킨 맵 매칭 정보와 상기 카메라가 촬영한 영상 및 상기 지도정보 저장부에 저장된 지도 정보를 이용하여 3차원 정보를 추출하며 추출한 3차원 정보와 상기 카메라가 촬영한 영상의 표시 를 제어하여 이동체의 주행을 안내하는 주행안내 제어부와, 상기 주행안내 제어부의 제어에 따라 상기 카메라가 촬영한 영상 및 3차원 정보를 표시부에 표시하는 표시 구동부로 구성됨을 특징으로 한다.

상기 주행안내 제어부는, 상기 GPS 수신부가 수신한 GPS 수신신호 및 상기 센서부의 검출신호로 이동체의 현재위치를 검출하는 이동체 위치 검출수단과, 상기 이동체 위치 검출수단이 검출한 이동체의 현재위치를 상기 지도정보 저장부에 저장된 지도정보에 맵 매칭시키는 맵 매칭수단과, 상기 맵 매칭수단의 맵 매칭정보를 기준 위치로 하여 지도 데이터 저장부에서 독출한 지도 정보를 상기 카메라가 촬영한 영상신호에 따른 3차원 정보로 변환하는 3차원 정보 변환수단과, 상기 맵 매칭수단의 맵 매칭정보를 상기 카메라의 촬영 영상신호에 매칭시켜 상기 표시 구동부로 출력하는 영상 매칭수단으로 구성되고, 상기 맵 매칭수단의 맵 매칭정보 또는 상기 3차원 정보 변환수단이 변환한 3차원 정보를 스위칭하여 상기 영상 매칭수단에 선택적으로 입력시키는 제 1 스위칭 수단과, 상기 지도정보 저장부에서 독출되는 지도정보 또는 상기 카메라의 촬영 영상신호를 스위칭하여 상기 영상 매칭수단에 선택적으로 입력시키는 제 2 스위칭 수단을 더 포함하는 것을 특징으로 한다.

또한 상기 3차원 정보 변환수단은, 상기 카메라의 촬영 영상신호에서 복수의 특징 포인트를 추출하는 특징 포인트 추출수단과, 상기 특징 포인트 추출부가 추출한 복수의 특징 포인트를 저장하는 저장수단과, 상기 카메라의 촬영 영상신호에서 상기 저장수단에 저장된 이전 영상의 특징 포인트를 추적하여 찾는 특징 포인트 추적수단과, 상기 특징 포인트 추적수단이 추적한 특징 포인트를 매칭시켜 기본 매트 릭스를 구하는 특징 포인트 매칭수단과, 상기 특징 포인트 매칭수단이 구한 기본 매트릭스를 이용하여 상기 맵 매칭수단의 맵 매칭정보에 따른 이동체의 현재위치를 기준으로 하는 지도정보에 대한 3차원 정보를 계산하는 3차원 정보 계산수단으로 구성됨을 특징으로 한다.

그리고 본 발명의 3차원 정보를 이용한 이동체의 주행 안내방법은, GPS 수신부의 수신신호 및 센서부의 검출신호를 주행안내 제어부의 이동체 위치 검출수단이 입력받고, 입력받은 GPS 수신부의 수신신호 및 센서부의 검출신호로 이동체의 현재위치를 검출하며, 검출한 이동체의 현재위치를 지도정보 저장부에 저장된 디지털 지도에 맵 매칭시키며, 카메라의 촬영 영상신호를 주행안내 제어부가 입력받고 상기 이동체의 현재위치를 디지털 지도에 맵 매칭시킨 맵 매칭정보와 상기 카메라의 촬영 영상신호로 지도정보 저장부에서 독출되는 지도정보를 3차원 정보로 변환하며, 변환한 3차원 정보를 상기 카메라의 촬영 영상신호에 매칭시킨 후 표시 구동부를 통해 표시부에 표시하는 것을 특징으로 한다.

또한 본 발명의 3차원 정보를 이용한 이동체의 주행 안내방법은, 키 입력부의 동작명령에 따라 GPS 수신부 및 센서부의 출력신호로 이동체의 현재위치를 검출하고, 상기 검출한 이동체의 현재위치를 지도정보 저장부에 저장된 디지털 지도에 맵 매칭시키며, 디지털 지도에 맵 매칭시킨 맵 매칭정보와 카메라가 촬영한 영상 및 상기 지도정보 저장부에 저장된 지도정보를 이용하여 3차원 정보를 추출하며, 상기 추출한 3차원 정보와 상기 카메라가 촬영한 영상의 표시를 제어하면서 이동체의 주행을 안내하는 것을 특징으로 한다.

상기 3차원 정보 추출은, 하나의 카메라의 촬영 영상신호에서 특징 포인트 추출수단이 복수의 특징 포인트를 추출하여 저장수단에 저장하고, 저장한 복수의 특징 포인트를 특징 포인트 추적수단이 카메라의 촬영 영상신호의 다음 장면에서 추적하여 복수의 특징 포인트에 각기 대응되는 복수의 대응 포인트들을 추출하며, 추출한 특징 포인트 및 대응 포인트를 특징 포인트 매칭수단이 매칭시켜 교점을 검출하고, 검출한 교점에 따른 기본 매트릭스를 추출하며, 검출한 기본 매트릭스와, 상기 맵 매칭정보를 이용하여 3차원 정보 계산수단이 지도정보 저장부에서 독출되는 지도정보를 3차원 정보로 변환하는 것을 특징으로 한다.

또한 상기 3차원 정보 추출은, 두 개의 카메라의 촬영 영상신호에서 2개의 특징 포인트 추출수단이 각기 복수의 특징 포인트를 추출하고, 상기 추출한 복수의 특징 포인트들 중에서 스테레오 매칭수단이 상호간에 대응되는 특징 포인트의 교점을 검출하고, 검출한 교점에 따른 기본 매트릭스를 추출하며, 추출한 기본 매트릭스와, 상기 맵 매칭정보를 이용하여 3차원 정보 계산수단이 지도정보 저장부에서 독출되는 지도정보를 3차원 정보로 변환하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법을 상세히 설명한다.

도 1은 본 발명의 본 발명의 주행 안내장치에 따른 네비게이션 시스템의 구성을 보인 블록도이다. 이에 도시된 바와 같이 GPS 위성(100)이 송신하는 위치정보를 안테나(110)를 통해 수신하는 GPS 수신부(120)와, 이동체에 설치되어 이동체의 주행방향 및 주행거리를 검출하는 센서부(130)와, 디지털 지도와 지명 정보 등을 비롯한 각종 지도 정보를 저장하고 있는 지도정보 저장부(140)와, 이동체에 설치되어 이동체의 주행전방의 영상을 촬영하는 카메라(150)와, 사용자의 조작에 따른 동작명령을 입력하는 키 입력부(160)와, 상기 GPS 수신부(120) 및 센서부(130)의 출력신호로 이동체의 현재위치를 검출하고 검출한 이동체의 현재위치를 상기 지도정보 저장부(140)에 저장된 디지털 지도에 맵 매칭시키며 디지털 지도에 맵 매칭시킨 맵 매칭 정보와 상기 카메라(150)가 촬영한 영상신호 및 상기 지도정보 저장부(140)에 저장된 지도 정보를 이용하여 3차원 정보를 변환하며 변환한 3차원 정보와 상기 카메라(150)가 촬영한 영상신호의 표시를 제어하여 이동체의 주행을 안내하는 주행안내 제어부(170)와, 상기 주행안내 제어부(170)의 제어에 따라 상기 카메라(150)가 촬영한 영상신호 및 3차원 정보를 표시부(190)에 표시하는 표시 구동부(180)로 구성하였다.

상기 주행안내 제어부(170)는, 도 2에 도시된 바와 같이 상기 GPS 수신부(120)가 수신한 GPS 수신신호 및 상기 센서부(130)의 검출신호로 이동체의 현재위치를 검출하는 이동체 위치 검출수단(200)과, 상기 이동체 위치 검출수단(200)이 검출한 이동체의 현재위치를 상기 지도정보 저장부(140)에 저장된 지도정보에 맵 매칭시키는 맵 매칭수단(210)과, 상기 맵 매칭수단(210)의 맵 매칭정보를 기준 위치로 하여 지도정보 저장부(140)에서 독출한 지도 정보를 상기 카메라(150)가 촬영한 영상신호에 따른 3차원 정보로 변환하는 3차원 정보 변환수단(220)과, 상기 맵 매칭수단(210)의 맵 매칭정보 또는 상기 3차원 정보 변 환수단(220)이 변환한 3차원 정보를 스위칭하여 하나를 선택하는 제 1 스위칭 수단(230)과, 상기 카메라(150)의 촬영 영상신호와 상기 지도정보 저장부(140)에 저장된 지도정보를 스위칭하여 하나를 선택하는 제 2 스위칭 수단(240)과, 상기 제 1 및 제 2 스위칭 수단(230)(240)의 스위칭에 따라 선택한 3차원 정보를 영상신호에 매칭시키거나 또는 맵 매칭정보와 지도정보를 매칭시켜 상기 표시 구동부(180)로 출력하는 영상 매칭수단(250)으로 구성하였다.

상기 3차원 정보 변환수단(220)은, 도 3에 도시된 바와 같이 상기 카메라(150)의 촬영 영상신호에서 복수의 특징 포인트를 추출하는 특징 포인트 추출수단(300)과, 상기 특징 포인트 추출수단(300)이 추출한 복수의 특징 포인트를 저장하는 저장수단(310)과, 상기 카메라(150)의 촬영 영상신호에서 상기 저장수단(310)에 저장된 이전 영상신호의 특징 포인트를 추적하는 특징 포인트 추적수단(320)과, 상기 특징 포인트 추적수단(320)이 추적한 특징 포인트를 매칭시켜 기본 매트릭스를 구하는 특징 포인트 매칭수단(330)과, 상기 맵 매칭수단(210)의 맵 매칭정보에 따른 이동체의 현재위치를 기준으로 상기 특징 포인트 매칭수단(330)이 구한 기본 매트릭스를 이용하여 지도정보 저장부(140)에서 독출된 지도정보의 3차원 정보를 계산하는 3차원 정보 계산수단(340)으로 구성하였다.

이와 같이 구성된 본 발명의 주행 안내장치는 GPS 위성(100)이 송신하는 위치정보를 안테나(110)를 통해 GPS 수신부(120)가 수신하여 주행안내 제어부(170)로 입력시키고, 센서부(130)는 이동체의 주행에 따른 주행속도 및 주행 방향 등을 검출하여 주행안내 제어부(170)로 입력시키며, 카메라(150)는 이동체의 전방을 촬영 하여 주행안내 제어부(170)로 입력시키게 된다.

그러면, 주행안내 제어부(170)는, 상기 GPS 수신부(120)가 수신한 GPS 수신신호와 센서부(130)의 검출신호로 이동체 위치 검출수단(200)이 이동체의 현재위치를 검출하고, 그 검출한 이동체의 현재위치를 맵 매칭수단(210)이 지도정보 저장부(140)로부터 독출한 지도정보 즉, 디지털 지도에 정확히 맵 매칭시키며, 그 맵 매칭시킨 맵 매칭정보는 3차원 정보 변환수단(220)으로 입력됨과 아울러 제 1 스위칭 수단(230)의 고정단자(b1)에 인가된다.

상기 3차원 정보 변환수단(220)은 도 3에 도시된 바와 같이 카메라(150)가 촬영한 영상신호를 특징 포인트 추출수단(300)이 입력받아 복수의 특징 포인트(feature points)들을 추출한다. 여기서, 복수의 특징 포인트들의 추출은 촬영된 영상신호에서 건물의 모서리 부위 등과 같은 코너(corner) 포인트를 추출하는 것으로서 'Harris 코너 검출 알고리즘' 또는 'Susan 코너 검출 알고리즘' 등을 이용하여 복수의 코너 포인트를 추출하여 저장수단(310)에 저장한다.

통상적으로 카메라의 촬영 영상신호에서 동일 평면상에 놓여 있지 않은 일반적인 위치에 있는 7개의 포인트를 취득하고, 취득한 7개의 포인트를 추적할 경우에 3차원 영상신호로 복원할 수 있다. 그러나 실제로 3차원 영상신호를 복원할 경우에 7개의 포인트들이 모두 동일한 평면상에 존재하지 않고, 또한 일반적인 위치에 위치하는 것이 어렵다. 그러므로 실제로는 7개 이상 예를 들면, 수십 개 이상의 특징 포인트들을 추출해야 되는 것으로서 본 발명의 특징 포인트 추출수단(300)은 카메라(150)가 촬영한 매 장면의 영상신호에서 수십 개의 특징 포인트를 추출하고, 추 출한 특징 포인트를 저장수단(310)에 저장한다.

그리고 하나의 카메라(150)로 촬영한 영상신호를 3차원으로 복원하기 위해서는 연속되는 영상신호들을 이용해야 되고, 그 연속되는 영상신호들 사이에서 일치되는 특징 포인트를 찾아야 되는 것으로서 하나의 영상신호에서의 소정의 특징 포인트가 연속되는 다음 영상신호에서 어느 위치로 옮겨졌는지를 추적해야 된다. 이를 위하여 본 발명에서는 특징 포인트 추적수단(320)이 저장수단(310)에 저장된 특정 포인트를 입력받고, 그 입력받은 특징 포인트가 카메라(150)로부터 입력되는 다음 영상신호 내에서 어느 위치로 옮겨졌는지를 추적하게 된다.

특징 포인트 추적수단(320)의 특징 포인트의 추적은 각각의 특징 포인트에 대하여 다음 영상신호에서 일정 크기의 윈도우(window)를 형성하고, 그 윈도우 내에서 크로스 상관관계(cross correlation)가 최대(maximize)인 대응 포인트를 찾는다.

상기 특징 포인트 추적수단(320)이 특징 포인트를 추적하여 그 특징 포인트에 대응되는 대응 포인트를 찾으면, 특징 포인트 매칭수단(330)이 상기 특징 포인트와 대응 포인트들의 좌표로부터 두 영상신호에서의 특징 포인트들 및 대응 포인트들의 대응관계를 나타내는 기본 매트릭스(fundamental matrix)를 구한다.

일반적인 위치에 있지 않고, 동일 평면상에 존재하는 포인트들이 많을 경우에 정확한 기본 매트릭스를 구하기가 어렵다. 그러므로 본 발명의 특징 포인트 매칭수단(330)에서는 기본 매트릭스의 계산에 방해가 되는 필요 없는 포인트(outlier point)를 제거하는 알고리즘인 RANSAC(RANdom SAmpling Consensus)를 사용하여 기 본 매트릭스를 구한다.

상기 특징 포인트 매칭수단(330)에서 기본 매트릭스가 구해지면, 3차원 정보 계산수단(340)이 상기 구한 기본 매트릭스를 이용하여, 각각의 특징 포인트와 그 특징 포인트에 대응되는 대응 포인트에 대한 3차원 교점을 구하고, 그 구한 3차원 교점에 대한 3차원 좌표를 계산한 후 계산한 3차원 좌표들에 따라, 지도정보 저장부(140)에서 독출되는 2차원의 지도정보를 3차원 정보로 변환한다.

즉, 3차원 정보 계산수단(340)에서의 3차원 좌표 계산은, 도 4에 도시된 바와 같이 상기 구한 기본 매트릭스를 이용하여, 바로 전에 촬영한 영상(400)에 대하여 카메라(150)의 중심위치 즉, 영상(400)을 촬영한 시점(402)으로부터 소정의 특징 포인트(404)를 지나는 백 프로젝티드 선(back projected ray)(406)과, 다음에 촬영한 영상(410)에 대하여 시점(412)으로부터 상기 특징 포인트(404)에 대응되는 대응 포인트(414)를 지나는 백 프로젝티드 선(414)이 상호간에 만나는 3차원 교점(420)을 구하고, 그 구한 교점(420)에 대하여 3각 측량(triangulation)으로 맵 매칭정보에 따른 이동체의 현재위치를 기준으로 하는 3차원좌표를 구한다. 그리고 복수의 특징 포인트(404)와, 그 복수의 특징 포인트(404)에 대응되는 복수의 대응 포인트(414)들 각각에 대한 교점의 3차원 좌표가 모두 구해지면, 각 교점의 3차원 좌표를 이용하여 지도정보 저장부(140)로부터 독출되는 각각의 지도정보를 3차원 정보로 변환한다.

이와 같이 3차원 변환수단(220)의 3차원 정보 계산수단(340)에서 변환된 3차원 정보는 제 1 스위칭 수단(230)의 고정단자(a1)에 인가된다.

이와 같은 상태에서 사용자가 키 입력부(160)를 조작하여 3차원 표시를 명령할 경우에 제 1 스위칭 수단(230) 및 제 2 스위칭 수단(240)은 가동단자가 고정단자(a1)(a2)에 각기 접속된다.

그러면, 상기 3차원 정보 변환수단(220)에서 출력되는 3차원 정보와 카메라(150)가 촬영한 영상신호가 제 1 스위칭 수단(230) 및 제 2 스위칭 수단(240)을 각기 통해 영상 매칭수단(250)으로 입력되는 것으로서 영상 매칭수단(250)은 카메라(150)가 촬영한 영상신호에 상기 3차원 정보를 각각의 좌표에 매칭시켜 합성하고, 그 합성한 영상신호 및 3차원 정보는 표시 구동부(180)를 통해 표시부(190)에 표시된다.

그리고 사용자가 키 입력부(160)를 조작하여 2차원 디지털 지도의 표시를 명령할 경우에 제 1 스위칭 수단(230) 및 제 2 스위칭 수단(240)은 가동단자가 고정단자(b1)(b2)에 각기 접속된다.

그러면, 상기 맵 매칭수단(210)에서 출력되는 맵 매칭정보와 지도정보 저장부(140)로부터 독출되는 지도정보 즉, 디지털 지도가 제 1 스위칭 수단(230) 및 제 2 스위칭 수단(240)을 각기 통해 영상 매칭수단(250)으로 입력되는 것으로서 영상 매칭수단(250)은 통상의 방법으로 디지털 지도에 맵 매칭 정보에 따른 이동체의 위치를 삽입한 후 표시 구동부(180)로 출력하여 표시부(190)에 표시된다.

도 5는 도 2의 3차원 정보 변환수단(220)의 다른 실시 예의 구성을 보인 블록도이다. 이에 도시된 바와 같이 상호간에 소정의 간격을 유지하면서 이동체에 설치되어 이동체의 주행 전방의 영상을 각기 촬영하는 제 1 카메라(500) 및 제 2 카 메라(410)와, 상기 제 1 카메라(500) 및 제 2 카메라(410)의 촬영 영상신호에서 특징 포인트를 추출하는 제 1 특징 포인트 추출수단(520) 및 제 2 특징 포인트 추출수단(530)과, 상기 제 1 및 제 2 특징 포인트 추출수단(520)(530)이 각기 추출한 특징 포인트를 매칭시켜 기본 매트릭스를 구하는 스테레오 매칭수단(540)과, 상기 맵 매칭수단(210)의 맵 매칭정보에 따른 이동체의 현재위치를 기준으로 상기 스테레오 매칭수단(540)이 구한 기본 매트릭스를 이용하여 지도정보 저장부(140)에서 독출된 지도정보의 3차원 정보를 계산하는 3차원 정보 계산수단(550)으로 구성하였다.

이와 같이 구성된 본 발명의 3차원 정보 변환수단(220)의 다른 실시 예는 이동체가 주행을 할 경우에 상호간에 소정의 간격을 유지하면서 이동체에 설치되어 있는 제 1 및 제 2 카메라(500)(510)가 각기 이동체의 주행 전방을 촬영하고, 촬영한 영상신호는 제 1 및 제 2 특징 포인트 추출수단(520)(530)으로 각기 입력된다.

상기 제 1 및 제 2 특징 포인트 추출수단(520)(530)은 상기 입력되는 제 1 및 제 2 카메라(500)(510)의 촬영 영상신호에서 각기 복수의 특징 포인트들을 추출하고, 제 1 및 제 2 특징 포인트 추출수단(520)(530)이 각기 추출한 복수의 특징 포인트들을 스테레오 매칭수단(540)으로 입력된다.

그러면, 상기 스테레오 매칭수단(540)은, 상기 특징 포인트 매칭수단(330)과 마찬가지로 제 1 및 제 2 특징 포인트 추출수단(520)(530)이 각기 추출한 복수의 특징 포인트들 중에서 상호간에 대응되는 특징 포인트의 교점을 검출하여 그 특징 포인트들의 대응관계를 나타내는 기본 매트릭스를 구하고, 그 구한 기본 매트릭스 를 이용하여 3차원 정보 계산수단(550)이 상기 구한 기본 매트릭스를 이용하여, 각각의 특징 포인트와 그 특징 포인트에 대응되는 대응 포인트에 대한 3차원 교점을 구한 후 그 구한 3차원 교점에 대한 3차원 좌표를 계산한 후 계산한 3차원 좌표들에 따라, 지도정보 저장부(140)에서 독출되는 2차원의 지도정보를 3차원 정보로 변환한다.

도 6은 하나의 카메라(150)를 이용하여 이동체의 주행 전방을 촬영하면서 이동체의 주행을 안내하는 본 발명의 주행 안내방법의 일 실시 예를 보인 신호흐름도이다. 이에 도시된 바와 같이 단계(600)에서 GPS 수신부(120)가 수신하는 수신신호와 센서부(130)가 검출하는 검출신호를 주행안내 제어부(170)가 입력받고, 단계(602)에서 상기 입력받은 GPS 수신신호 및 센서부(130)의 검출신호를 이용하여 이동체 위치 검출수단(200)이 이동체의 현재위치를 검출하며, 단계(604)에서 상기 검출한 이동체의 현재위치를 지도정보 저장부(140)에 저장된 디지털 지도에 맵 매칭시킨다.

다음 단계(606)에서는 주행안내 제어부(170)가 카메라(150)(500, 510)의 촬영 영상신호를 입력하고, 단계(608)에서 상기 이동체의 현재위치를 디지털 지도에 맵 매칭시킨 맵 매칭정보와 상기 카메라(150)(500, 510)의 촬영 영상신호를 이용하여 지도정보 저장부(140)에서 독출되는 지도정보를 3차원 정보로 변환한 후 단계(610)에서 상기 변환한 3차원 정보를 카메라(150)(500)의 촬영 영상신호에 매칭시키고, 표시 구동부(180)를 통해 표시부(190)에 표시하여 이동체의 주행을 안내한다.

상기 단계(608)에서의 3차원 정보 변환은, 도 7에 도시된 바와 같이 단계(700)에서 주행안내 제어부(170)의 특징 포인트 추출수단(300)이 하나의 카메라(150)의 촬영 영상신호에서 복수의 특징 포인트를 추출하여 저장수단(310)에 저장하고, 그 저장수단(310)에 저장한 복수의 특징 포인트를 특징 포인트 추적수단(320)이 카메라(150)의 촬영 영상신호의 다음 장면에서 추적하여 복수의 특징 포인트에 각기 대응되는 복수의 대응 포인트들을 추출한다.

다음 단계(704)에서는 특징 포인트 매칭수단(330)이 상기 특징 포인트와 그 특징 포인트에 대응되는 대응 포인트를 매칭시켜 교점을 검출하고, 검출한 교점에 따른 기본 매트릭스를 추출하며, 단계(706)에서 3차원 정보 계산수단(340)이 상기 검출한 기본 매트릭스와, 상기 맵 매칭정보를 이용하여 지도정보 저장부(140)에서 독출되는 지도정보를 3차원 정보로 변환한다.

도 8은 상기 단계(608)에서 3차원 정보 변환을 수행하는 다른 실시 예를 보인 신호흐름도이다. 이에 도시된 바와 같이 단계(800)에서 두 개의 카메라(500)(510)가 각기 촬영하는 촬영 영상신호에서 제 1 및 제 2 특징 포인트 추출수단(520)(530)이 각기 복수의 특징 포인트를 추출하고, 단계(802)에서 스테레오 매칭부(540)가 상기 추출한 특징 포인트들 중에서 상호간에 대응되는 특징 포인트들의 교점을 검출하고, 검출한 교점에 따른 기본 매트릭스를 추출한다.

다음 단계(804)에서는 3차원 정보 계산수단(550)이 상기 검출한 기본 매트릭스와, 상기 맵 매칭정보를 이용하여 지도정보 저장부(140)에서 독출되는 지도정보를 3차원 정보로 변환한다.

한편, 상기에서는 본 발명을 특정의 바람직한 실시 예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 마련되는 본 발명의 정신이나 분야를 이탈하지 않는 한도 내에서 본 발명이 다양하게 개조 및 변화될 수 있다는 것을 당 업계에서 통상의 지식을 가진 자는 용이하게 알 수 있다.

이상에서 설명한 바와 같이 본 발명은 카메라의 촬영 영상신호를 이용하여 3차원 정보를 생성하고, 그 생성한 3차원 정보와 카메라의 촬영 영상신호를 매칭시켜 표시패널에 표시하면서 이동체의 주행을 안내하는 것으로서 건물이나 도로 등에 대한 별도의 3차원 모델링 과정을 수행하지 않아도 되고, 이동체의 운전자가 실제로 보는 영상과 동일한 영상을 표시하면서 이동체의 주행을 안내하여 이동체의 주행을 운전자에게 정확하게 안내할 수 있다.

Claims

GPS 위성이 송신하는 위치정보를 안테나를 통해 수신하는 GPS 수신부;

이동체에 설치되어 상기 이동체의 주행방향 및 주행거리를 검출하는 센서부;

디지털 지도와 지명 정보가 포함된 지도 정보를 저장한 지도정보 저장부;

상기 이동체에 설치되어 상기 이동체의 주행전방의 영상을 촬영하는 카메라;

사용자의 조작에 따른 동작명령을 입력하는 키 입력부;

상기 키 입력부의 동작명령에 따라 상기 GPS 수신부 및 센서부의 출력신호로 이동체의 현재위치를 검출하고 검출한 이동체의 현재위치를 상기 지도정보 저장부에 저장된 디지털 지도에 맵 매칭시키며 디지털 지도에 맵 매칭시킨 맵 매칭 정보와 상기 카메라가 촬영한 영상을 사용하여 상기 지도정보 저장부에 저장된 지도 정보를 3차원 정보로 변환하고 변환한 3차원 정보와 상기 카메라가 촬영한 영상의 표시를 제어하여 이동체의 주행을 안내하는 주행안내 제어부;

상기 주행안내 제어부의 제어에 따라 상기 3차원 정보와 상기 카메라가 촬영한 영상을 표시부에 표시하는 표시 구동부로 된 3차원 정보를 이용한 이동체의 주행 안내장치.
제 1 항에 있어서, 상기 주행안내 제어부는;

상기 GPS 수신부가 수신한 GPS 수신신호 및 상기 센서부의 검출신호로 이동 체의 현재위치를 검출하는 이동체 위치 검출수단;

상기 이동체 위치 검출수단이 검출한 이동체의 현재위치를 상기 지도정보 저장부에 저장된 지도정보에 맵 매칭시키는 맵 매칭수단;

상기 맵 매칭수단의 맵 매칭정보를 기준 위치로 하여 지도 데이터 저장부에서 독출한 지도 정보를 상기 카메라가 촬영한 영상신호에 따른 3차원 정보로 변환하는 3차원 정보 변환수단;

상기 맵 매칭수단의 맵 매칭정보를 상기 카메라의 촬영 영상신호에 매칭시켜 상기 표시 구동부로 출력하는 영상 매칭수단으로 구성됨을 특징으로 하는 3차원 정보를 이용한 이동체의 주행 안내장치.
제 2 항에 있어서,

상기 맵 매칭수단의 맵 매칭정보 또는 상기 3차원 정보 변환수단이 변환한 3차원 정보를 스위칭하여 상기 영상 매칭수단에 선택적으로 입력시키는 제 1 스위칭 수단; 및

상기 지도정보 저장부에서 독출되는 지도정보 또는 상기 카메라의 촬영 영상신호를 스위칭하여 상기 영상 매칭수단에 선택적으로 입력시키는 제 2 스위칭 수단을 더 포함하는 것을 특징으로 하는 3차원 정보를 이용한 이동체의 주행 안내장치.
제 2 항에 있어서, 상기 3차원 정보 변환수단은;

상기 카메라의 촬영 영상신호에서 복수의 특징 포인트를 추출하는 특징 포인 트 추출수단;

상기 특징 포인트 추출부가 추출한 복수의 특징 포인트를 저장하는 저장수단;

상기 카메라의 촬영 영상신호에서 상기 저장수단에 저장된 이전 영상의 특징 포인트를 추적하여 찾는 특징 포인트 추적수단;

상기 특징 포인트 추적수단이 추적한 특징 포인트를 매칭시켜 기본 매트릭스를 구하는 특징 포인트 매칭수단;

상기 특징 포인트 매칭수단이 구한 기본 매트릭스를 이용하여 상기 맵 매칭수단의 맵 매칭정보에 따른 이동체의 현재위치를 기준으로 하는 지도정보에 대한 3차원 정보를 계산하는 3차원 정보 계산수단으로 구성됨을 특징으로 하는 3차원 정보를 이용한 이동체의 주행 안내장치.
GPS 수신부의 수신신호 및 센서부의 검출신호를 주행안내 제어부의 이동체 위치 검출수단이 입력받아 이동체의 현재위치를 검출하는 위치 검출과정;

상기 위치 검출과정에서 검출한 이동체의 현재위치를 지도정보 저장부에 저장된 디지털 지도에 맵 매칭시키는 맵 매칭과정;

카메라가 촬영한 영상신호를 주행안내 제어부가 입력받고 상기 맵 매칭과정의 맵 매칭정보와 상기 카메라가 촬영한 영상신호를 이용하여, 지도정보 저장부에서 독출되는 지도정보를 3차원 정보로 변환하는 3차원 정보 변환과정; 및

상기 3차원 정보 변환과정에서 변환한 3차원 정보를 상기 카메라가 촬영한 영상신호에 매칭시킨 후 표시 구동부를 통해 표시부에 표시하는 표시과정으로 이루어진 3차원 정보를 이용한 이동체의 주행 안내방법.
키 입력부의 동작명령에 따라 GPS 수신부 및 센서부의 출력신호로 이동체의 현재위치를 검출하는 위치 검출과정;

상기 검출한 이동체의 현재위치를 지도정보 저장부에 저장된 디지털 지도에 맵 매칭시키는 맵 매칭과정;

디지털 지도에 맵 매칭시킨 맵 매칭정보와 카메라가 촬영한 영상을 사용하여 상기 지도정보 저장부에 저장된 지도정보를 3차원 정보로 변환하는 3차원 정보 변환과정; 및

상기 변환한 3차원 정보와 상기 카메라가 촬영한 영상의 표시를 제어하면서 이동체의 주행을 안내하는 안내과정으로 이루어진 3차원 정보를 이용한 이동체의 주행 안내방법.
제 5 항 또는 제 6 항에 있어서, 상기 3차원 정보 변환과정은;

하나의 카메라가 촬영한 영상신호에서 특징 포인트 추출수단이 복수의 특징 포인트를 추출하여 저장수단에 저장하는 제 10 과정;

상기 10 과정에서 저장한 복수의 특징 포인트를 특징 포인트 추적수단이 카메라의 촬영 영상신호의 다음 장면에서 추적하여 복수의 특징 포인트에 각기 대응되는 복수의 대응 포인트들을 추출하는 제 11 과정;

상기 제 10 과정에서 추출한 특징 포인트와 상기 제 11 과정에서 추출한 대응 포인트를 특징 포인트 매칭수단이 매칭시켜 교점을 검출하고, 검출한 교점에 따른 기본 매트릭스를 추출하는 제 12 과정;

상기 제 12 과정에서 검출한 기본 매트릭스와, 상기 맵 매칭정보를 이용하여 3차원 정보 계산수단이 지도정보 저장부에서 독출되는 지도정보를 3차원 정보로 변환하는 제 13 과정으로 이루어지는 것을 특징으로 하는 3차원 정보를 이용한 이동체의 주행 안내방법.
제 5 항 또는 제 6 항에 있어서, 3차원 정보 변환과정은;

두 개의 카메라가 촬영한 영상신호에서 2개의 특징 포인트 추출수단이 각기 복수의 특징 포인트를 추출하는 제 20 과정;

상기 제 20 과정에서 각기 추출한 복수의 특징 포인트들 중에서 스테레오 매칭수단이 상호간에 대응되는 특징 포인트의 교점을 검출하고, 검출한 교점에 따른 기본 매트릭스를 추출하는 제 21 과정; 및

상기 제 21 과정에서 추출한 기본 매트릭스와, 상기 맵 매칭정보를 이용하여 3차원 정보 계산수단이 지도정보 저장부에서 독출되는 지도정보를 3차원 정보로 변환하는 제 22 과정으로 이루어지는 것을 특징으로 하는 3차원 정보를 이용한 이동체의 주행 안내방법.