KR20160063871A - 경로 안내 서비스를 위한 증강현실 내비게이션 장치 및 그 방법 - Google Patents

Abstract

본 발명은 경로 안내 서비스를 위한 증강현실 내비게이션 장치 및 그 방법에 관한 것으로, 차량 전방의 영상을 촬영하는 촬영부, 상기 영상을 분석하여 차량이 주행중인 도로의 차선을 인식하는 차선 인식부, 목적지까지 경로를 탐색하고, 상기 경로에 포함된 링크들의 방향 및 거리를 계산하는 경로 탐색부, 현재 위치로부터 상기 경로내 각 링크 시작지점까지의 잔여거리에 따라 순서를 고려하여, 해당 링크에서 다음 링크로의 주행 방향을 나타내는 방향안내표식을 생성하는 방향안내표식 생성부, 상기 생성된 방향안내표식이 상기 인식된 차선의 도로상에 표시되도록 상기 영상에 오버레이하여 화면에 표시하는 증강현실 처리부를 포함한다.

Description

경로 안내 서비스를 위한 증강현실 내비게이션 장치 및 그 방법{AUGMENTED REALITY NAVIGATION APPARATUS FOR PROVIDING ROUTE GUIDE SERVICE AND METHOD THEREOF}

본 발명은 경로 안내 서비스를 위한 증강현실 내비게이션 장치 및 그 방법에 관한 것으로, 보다 상세하게는 경로의 지시 방향을 포함하는 방향안내표식을 실제의 도로 영상에 중첩하여 화면에 표시하는 경로 안내 서비스를 위한 증강현실 내비게이션 장치 및 그 방법에 관한 것이다.

최근 전자장치의 발달로 자동차의 기능과 성능이 눈부시게 발전하고 있다. 일례로 엔진의 성능향상을 위해 여러 가지의 센서가 사용되어 최적의 엔진 효율을 발생시키도록 하여 고연비 차량을 구현하고 있으며, 현가장치, 조향장치, 제동장치 등을 전자 제어하여 차량의 안전도를 높이고 있다.

이와 같이 차량의 성능이나 안전에 대한 기능이 발전함에 따라서 운전자의 편의를 위한 갖가지 장치들도 개발되고 있으며, 최근에는 차량의 내비게이션Navigation) 장치가 개발되고 있다.

내비게이션 장치는 지도상에 경로 및 차량의 현 위치를 표시하여 길 안내를 수행한다.

그러나, 종래의 내비게이션은 경로를 안내하는 내비게이션 맵(전자지도)이 표시된 화면의 일측에 차량이 주행할 방향을 표시하였다. 따라서, 운전자는 실제 도로정보와 내비게이션 맵을 비교해가며 주행 방향을 판단해야 하였고, 이로 인해 초행길 또는 애매한 도로에서는 주행 방향의 판단에 어려움이 있었다.

이러한 문제를 해결하기 위하여 실제 도로에 내비게이션 정보를 맵핑하는 증강현실 내비게이션 시스템이 개발되고 있지만, 증강현실 내비게이션 시스템은 헤드업 디스플레이와 같이 크고 값비싼 장치의 장착을 필요로 하는 단점이 있다.

한국공개특허 제2013-0040361호, 발명의 명칭 '증강현실 내비게이션 기반 실시간 교통 정보 제공 방법, 서버, 및 기록 매체'

본 발명의 목적은 촬영부 및 위치 인식부가 구비된 휴대용 장치(예컨대, 스마트폰 등)를 이용하여 증강현실로 구현된 경로안내 서비스를 제공할 수 있는 경로 안내 서비스를 위한 증강현실 내비게이션 장치 및 그 방법을 제공함에 있다.

본 발명의 다른 목적은 경로의 지시 방향을 포함하는 방향안내표식을 실제의 도로 영상에 중첩하여 화면에 표시함으로써, 복잡한 실제 도로 화면이 제공되는 상황에서 최소한의 안내 인터페이스만으로 현실감을 저해하지 않으면서 방향 전환을 명확히 인지할 수 있도록 하는 경로 안내 서비스를 위한 증강현실 내비게이션 장치 및 그 방법을 제공함에 있다.

상기 목적들을 달성하기 위하여 본 발명의 일 측면에 따르면, 차량 전방의 영상을 촬영하는 촬영부, 상기 영상을 분석하여 차량이 주행 중인 도로의 차선을 인식하는 차선 인식부, 목적지까지 경로를 탐색하고, 상기 경로에 포함된 링크들의 방향 및 거리를 계산하는 경로 탐색부, 현재 위치로부터 상기 경로내 각 링크 시작지점까지의 잔여거리에 따라 순서를 고려하여, 해당 링크에서 다음 링크로의 주행 방향을 나타내는 방향안내표식을 생성하는 방향안내표식 생성부, 상기 생성된 방향안내표식이 상기 인식된 차선의 도로상에 표시되도록 상기 영상에 오버레이하여 화면에 표시하는 증강현실 처리부를 포함하는 경로 안내 서비스를 위한 증강현실 내비게이션 장치가 제공된다.

상기 차선 인식부는 상기 영상을 그레이 영상으로 변환하여 노이즈를 제거하고, 상기 노이즈가 제거된 영상에 소벨(SOBEL) 연산을 수행하여 에지를 검출하며, 상기 에지의 강도와 방향을 구하는 에지 검출모듈, 상기 에지의 강도와 방향을 근거로 차선 후보점을 구하고, 허프변환(Hough transform)을 이용하여 차선 후보를 검출하는 차선후보 검출모듈, 상기 검출된 차선 후보들에 RANSAC 알고리즘을 적용하여 차선 소실점을 구하고, 상기 차선 소실점으로 향하는 차선 후보들을 차량이 주행중인 차선으로 인식하는 차선 인식모듈을 포함할 수 있다.

상기 차선 인식부는 이전 프레임에서 검출된 차선 정보와 차선 사전 정보를 이용하여 다음 프레임에서 관심 영역(ROI, Region Of Interest)을 결정하고, 결정된 관심 영역에 대해서만 차선 검출을 수행하는 실시간 검출모듈, 연속된 프레임에서 particle filtering을 이용하여 차선을 추적하며, 앞 차량의 위치추적을 통해 차선을 추적하는 차선 추적모듈을 더 포함할 수 있다.

상기 방향안내표식 생성부는 현재 링크에서 다음 링크로의 방향 전환을 나타내는 제1방향안내표식, 현재 위치로부터 잔여거리가 짧은 순으로 현재 링크 다음에 위치하는 적어도 하나 이상의 링크에 대한 방향안내표식을 생성할 수 있다.

상기 증강현실 처리부는 방향안내표식의 일정 영역에 해당 잔여거리를 표시할 수 있다.

또한, 상기 증강현실 처리부는 현재 링크에 대한 제1방향안내표식과 다음 링크들의 방향안내표식이 잔여거리에 따라 구분되도록 크기, 색상, 명도, 채도 중 적어도 하나를 다르게 할 수 있다.

또한, 상기 증강현실 처리부는 현재 링크만이 화면상에 표시된 경우, 현재 링크에 대한 제1방향안내표식을 상기 인식된 차선 도로의 중앙에 오버레이하여 표시하고, 다음 링크에 대한 제2방향안내표식을 상기 제1방향안내표식 아래에 오버레이하여 표시하며, 현재 링크와 다음 순서의 링크가 화면상에 표시된 경우, 현재 링크에 대한 제1방향안내표식이 다음 링크 시작지점까지 표시되도록 제1방향안내표식의 길이를 조절하고, 다음 링크에 대한 제2방향안내표식을 제1방향안내표식 아래에 오버레이하여 표시할 수 있다.

본 발명의 다른 측면에 따르면, 증강현실 내비게이션 장치가 경로 안내 서비스를 제공하는 방법에 있어서, (a) 목적지를 포함하는 경로 안내 명령이 입력된 경우, 촬영부를 구동시켜 차량 전방의 영상을 획득하는 단계, (b) 상기 획득된 영상을 분석하여 차량이 주행중인 도로의 차선을 인식하는 단계, (c) 상기 목적지까지 경로를 탐색하고, 상기 경로에 포함된 링크들의 방향 및 거리를 계산하는 단계, (d) 현재 위치로부터 상기 경로내 각 링크 시작지점까지의 잔여거리에 따라 순서를 고려하여, 해당 링크에서 다음 링크로의 주행 방향을 나타내는 방향안내표식을 생성하는 단계, (e) 상기 생성된 방향안내표식이 상기 인식된 차선의 도로상에 표시되도록, 상기 방향안내표식을 상기 영상에 오버레이하여 화면에 표시하는 단계를 포함하는 경로 안내 서비스 방법이 제공된다.

상기 (b) 단계는, 상기 영상을 그레이 영상으로 변환하여 노이즈를 제거하고, 상기 노이즈가 제거된 영상에 소벨(SOBEL) 연산을 수행하여 에지를 검출하며, 상기 에지의 강도와 방향을 구하는 단계, 상기 에지의 강도와 방향을 근거로 차선 후보점을 구하고, 허프변환(Hough transform)을 이용하여 차선 후보를 검출하는 단계, 상기 검출된 차선 후보들에 RANSAC 알고리즘을 적용하여 차선 소실점을 구하고, 상기 차선 소실점으로 향하는 차선 후보들을 차량이 주행중인 차선으로 인식하는 단계를 포함할 수 있다.

상기 (d)단계는, 현재 위치로부터 상기 경로내 각 링크 시작지점까지의 잔여거리를 각각 계산하는 단계, 상기 경로내 링크들을 잔여거리가 짧은 순으로 정렬하는 단계, 현재 링크에서 다음 링크로의 방향 전환을 나타내는 제1방향안내표식, 상기 정렬된 순으로 현재 링크 다음에 위치하는 적어도 하나 이상의 링크에 대한 방향안내표식을 생성하는 단계를 포함할 수 있다.

다음으로 상기 (e) 단계에서, 현재 링크만이 상기 획득된 영상에 표시된 경우, 현재 링크에 대한 제1방향안내표식을 상기 인식된 차선 도로의 중앙에 오버레이하여 표시하고, 다음 링크에 대한 제2방향안내표식을 상기 제1방향안내표식 아래에 오버레이하여 표시하며, 현재 링크와 다음 순서의 링크가 상기 획득된 영상에 표시된 경우, 현재 링크에 대한 제1방향안내표식이 다음 링크 시작지점까지 표시되도록 제1방향안내표식의 길이를 조절하고, 다음 링크에 대한 제2방향안내표식을 제1방향안내표식 아래에 오버레이하여 표시할 수 있다.

또한, 상기 현재 링크에 대한 제1방향안내표식과 다음 링크들의 방향안내표식이 잔여거리에 따라 구분되도록 크기, 색상, 명도, 채도 중 적어도 하나를 다르게 할 수 있다.

본 발명에 따르면, 무겁고 값비싼 추가 장치의 장착 없이 촬영부 및 위치 인식부가 구비된 휴대용 장치(예컨대, 스마트폰 등)를 이용하여 증강현실로 구현된 경로안내 서비스를 제공받을 수 있으므로, 사용자 편의 및 안정성이 증대되는 효과가 있다.

또한, 경로의 지시 방향을 포함하는 방향안내표식을 실제의 도로 영상에 중첩하여 화면에 표시함으로써, 복잡한 실제 도로 화면이 제공되는 상황에서 최소한의 안내 인터페이스만으로 현실감을 저해하지 않으면서 방향 전환을 명확히 인지할 수 있다.

도 1은 본 발명의 실시예에 따른 경로 안내 서비스를 위한 증강현실 내비게이션 장치의 구성을 개략적으로 나타낸 블록도.
도 2는 도 1에 도시된 차선 인식부의 구성을 상세히 나타낸 도면.
도 3은 본 발명의 실시예에 따른 차선 인식 방법을 설명하기 위한 예시도.
도 4는 본 발명의 실시예에 따른 증강현실 내비게이션 장치가 경로 안내시 출력하는 화면 예시도.
도 5는 본 발명의 실시예에 따른 증강현실 내비게이션 장치가 경로 안내 서비스를 제공하는 방법을 나타낸 도면.

본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 '경로 안내 서비스를 위한 증강현실 내비게이션 장치 및 그 방법'을 상세하게 설명한다. 설명하는 실시 예들은 본 발명의 기술 사상을 당업자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시 예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.

한편, 이하에서 표현되는 각 구성부는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다. 또한, 각 구성부는 순전히 하드웨어 또는 소프트웨어의 구성만으로 구현될 수도 있지만, 동일 기능을 수행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다. 또한, 하나의 하드웨어 또는 소프트웨어에 의해 둘 이상의 구성부들이 함께 구현될 수도 있다.

또한, 어떤 구성요소들을 '포함'한다는 표현은, '개방형'의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.

도 1은 본 발명의 실시예에 따른 경로 안내 서비스를 위한 증강현실 내비게이션 장치의 구성을 개략적으로 나타낸 블록도, 도 2는 도 1에 도시된 차선 인식부의 구성을 상세히 나타낸 도면, 도 3은 본 발명의 실시예에 따른 차선 인식 방법을 설명하기 위한 예시도, 도 4는 본 발명의 실시예에 따른 증강현실 내비게이션 장치가 경로 안내시 출력하는 화면 예시도이다.

도 1을 참조하면, 경로 안내 서비스를 위한 증강현실 내비게이션 장치(100)는 통신부(110), 입력부(120), 출력부(130), 저장부(140), 촬영부(150), 차선 인식부(160), 위치 측정부(170), 경로 탐색부(180), 방향안내표식 생성부(190), 증강현실 처리부(200), 제어부(210)를 포함한다.

통신부(110)는 경로 안내를 위한 전자지도를 제공받을 수 있도록, 증강현실 내비게이션 장치(100)를 전자지도 제공 장치와 통신망을 통해 상호 연결시키는 통신 수단으로서, 예를 들어 이동통신, 위성통신 등의 무선 통신모듈, 인터넷 등의 유선 통신모듈, 와이파이 등의 근거리 무선 통신모듈 등을 포함할 수 있다.

입력부(120)는 증강현실 내비게이션 장치(100)의 동작 제어를 위한 사용자 요청을 입력받기 위한 수단으로서, 사용자의 조작에 따라서 사용자의 요청을 전기 신호로 변환한다. 예컨대, 입력부(120)는 사용자로부터 목적지를 포함하는 경로 안내 명령을 입력받는다. 이러한 입력부(120)가 터치 스크린의 형태로 구현된 경우, 입력부(120)와 출력부(130)가 동일할 수 있다.

출력부(130)는 증강현실 내비게이션 장치(100)의 동작 결과나 상태를 사용자가 인식할 수 있도록 제공하는 수단으로서, 시각적으로 확인 가능한 디스플레이의 형태, 예를 들어 LCD(Liquid Crystal Display) 또는 OLED(Organic Light Emitting Diodes) 등 소형 평판 디스플레이장치로 구현되는 것이 바람직할 수 있다. 특히, 본 발명에 의한 출력부(130)는 증강현실 처리부(200)에서 증강현실로 구현된 경로 안내 서비스를 화면상에 표시한다.

저장부(140)는 증강현실 내비게이션 서비스 동작에 필요한 프로그램, 그 프로그램 수행 중에 발생되는 데이터를 저장하는 것으로서, 기본적으로 증강현실 내비게이션 장치(100)의 운영 프로그램이 저장되며, 더불어, 도로 영상에 대한 영상 데이터, 차선 인식 결과 정보 및 차선 인식을 위해 필요한 정보 등을 저장한다.

저장부(140)는 항법맵 데이터(예를 들어, 차량의 주행 경로 상에 위치하는 도로의 좌표, 교차로의 좌표, 도로의 연결 상태, 도로의 차선 정보), 도로 시설물(신호등, 표지판 등) 및 건물의 좌표 데이터, 속성정보(높이, 명칭, 색상 등) 등을 포함하는 전자지도 정보를 저장한다. 이때, 저장부(140)는 상기 데이터들을 확인할 수 있는 최소 용량의 크기를 갖는 전자 지도의 형태로 저장되어 관리되는 것이 바람직하다.

촬영부(150)는 사용자 조작에 따라 영상을 촬영하는 구성으로, 예컨대 카메라 등을 포함할 수 있다. 촬영부(150)는 CCD 또는 CMOS 소자를 이용하여 차량 전방의 영상을 촬영할 수 있다. 한편, 본 실시예에서는 촬영부(150)에 마련된 CCD 또는 CMOS 소자를 이용하여 도로 영상을 촬영하는 것에 대해서만 설명하였지만, 외부 카메라로부터 영상을 입력받는 형태로 구현되는 것도 가능하다.

차선 인식부(160)는 촬영부(150)에 의해 촬영된 영상을 분석하여 차량이 주행중인 도로의 차선을 인식한다. 이때, 인식된 차선은 차선 기울기, 차선 오프셋, 도로 곡률 및 도로 곡률 변화율 등을 포함하는 차선 정보를 포함한다.

이러한 차선 인식부(160)는 도 2와 같이 에지 검출모듈(161), 차선후보 검출모듈(162), 차선 인식모듈(163), 실시간 검출모듈(164), 차선 추적모듈(165)을 포함한다.

에지 검출모듈(161)은 촬영부(150)에 의해 촬영된 영상을 그레이 영상으로 변환하여 노이즈를 제거하고, 노이즈가 제거된 영상에 소벨(SOBEL) 연산을 수행하여 에지(edge)를 검출하며, 에지의 강도와 방향을 구한다. 즉, 에지 검출모듈(161)은 영상을 OpenCV(Open Computer Vision)의 cvCvtColor()함수를 이용하여 그레이(gray)영상으로 변환하고, 그 그레이 영상에 가우시안 커널(gaussian kernel)을 컨벌루션(convolution)하여 노이즈를 제거한다. OpenCV에서 제공되는 함수들 중에서 cvCvtColor()함수는 색상 영역을 회색(등 다른 컬러영역으로)으로 변조할 때 사용하는 함수이다. 그런 후, 에지 검출모듈(161)은 노이즈가 제거된 영상에 대하여 Sobel 연산(cvSobel()함수)으로 x, y축 방향으로 미분하여 에지를 구하고, cvCartToPolar()함수로 에지의 강도(magnitude)와 방향(direction)을 구한다. 여기서, Sobel 연산(cvSobel()함수)은 OpenCV에서 제공되는 함수로, 에지(경계선)를 구할 때 사용하는 함수이고, cvCartToPolar()함수는 OpenCV에서 제공되는 함수로, 에지의 강도와 방향을 구할 때 사용하는 함수이다.

예를 들어, 도 3a와 같은 영상에 대한 에지의 강도를 구하면 도 3b와 같을 수 있다.

차선후보 검출모듈(162)은 에지 검출모듈(161)에서 구해진 에지의 강도와 방향을 근거로 차선 후보점들을 구하고, 허프변환(Hough transform)을 이용하여 차선 후보를 검출한다. 즉, 차선후보 검출모듈(162)은 도 3c와 같은 마스크 이미지를 만든다. 여기서, 검은색 영역에 속한 에지 중에서 방향이 수직에 가까운 것들은 차선이 아닐 확률이 높으므로, 먼저 이 영역에 있는 에지들의 방향을 체크하여 수직에 가까운 것들은 차선 후보점으로 고려하지 않는다. 그런 후, 차선후보 검출모듈(162)은 도 3b와 같은 영상에서 y값은 고정하고 x값을 증가시키면서 에지의 강도가 임계치(threshold)를 넘으면서 최대가 되는 점을 찾는다. 차선후보 검출모듈(162)은 찾은 점들 중에서 같은 y축 값을 갖는 두 점을 골라 두 점간의 거리가 차선의 폭을 만족하는지 검사한다. 만일 두 점간의 거리가 차선의 폭을 만족한다면, 두 점에 대한 에지의 강도와 방향을 비교한다. 에지의 강도가 유사하고 방향이 반대이면, 차선일 확률이 높으므로, 차선후보 검출모듈(162)은 에지의 강도가 유사하고 방향이 반대인 두 점에 대하여 중심점을 구하여 차선의 후보점으로 저장한다. 그런 후, 차선후보 검출모듈(162)은 허프변환(Hough transform)을 이용하여 차선 후보를 검출한다. 허프변환은 영상에서 차선의 방향과 위치를 구하는데 적합한 알고리즘으로서, (x, y)좌표계의 영상에 존재하는 윤곽선으로부터 선을 찾아내는 방법이다. 따라서, 허프변환을 수행하면 영상에 나타나는 모든 직선정보를 얻을 수 있으며, 여기에는 차선으로부터 나타나는 직선은 무조건 포함되어 있을 뿐 아니라 전방 내지 측방의 차량이나 배경에 의한 노이즈도 포함되어 있다. 이들 중에서 차선의 후보점이 없는 직선은 노이즈로 간주하여 제거한다.

차선 인식모듈(162)은 차선후보 검출모듈(162)에서 검출된 차선 후보들에 RANSAC 알고리즘을 적용하여 차선 소실점을 구하고, 차선 소실점으로 향하는 차선 후보들을 차량이 주행중인 차선으로 인식한다.

실시간 검출모듈(164)은 이전 프레임에서 검출된 차선 정보와, 차선 사전 정보를 이용하여, 다음 프레임에서 차선이 존재할 만한 관심 영역(ROI)을 결정하고, 결정된 관심 영역에 대해서만 차선 검출을 수행한다. 여기서, 차선 사전 정보는 차선의 소실점, 차선 폭, 두께 등이 있다.

예를 들어, 좌측의 차선을 찾았을 경우 사전 정보에 따라 우측 차선이 존재할 만한 영역을 추정할 수 있으므로, 검출 속도와 정확도를 크게 향상시킬 수 있으며, 이러한 차선 사전 정보는 허프변환(Hough transform)을 수행한 뒤, 차선 검증을 할 때도 사용될 수 있다.

한편, 프레임별로 독립적으로 차선을 검출하는 것은 시간과 정확도 면에서 효과적이지 못하며, 이전 프레임의 차선 검출 결과를 다음 프레임 차선 검출에 이용하는 차선 추적 기술이 적용되어야 한다.

차선 추적모듈(165)은 연속된 프레임에서 particle filtering을 이용하여 차선을 추적하며, 앞 차량의 위치추적을 통해 차선을 추적한다. 이를 통해, 복잡한 도심이나 도로상에 차량이 많은 경우, 또는 기상 악화로 인해 차선이 육안으로 잘 보이지 않는 경우에 효과적으로 차선을 추적할 수 있다.

본 발명에서는 상술한 바와 같이, 차선 검출 기술과 추적 기술을 함께 사용하여, 주행 중 차선이 소실되거나 새로 나타나는 경우에도 효과적으로 차선을 검출할 수 있도록 한다.

매 프레임마다 차선 검출을 수행하여, 새로 검출된 차선에 대해서는 particle filtering을 이용해 차선을 추적하고, 현재 추적중인 차선 정보에 기반하여 다음 프레임의 차선 검출 관심영역(ROI)을 설정함으로써 실시간 차선 검출을 구현한다.

위치 측정부(170)는 증강현실 내비게이션 장치(100)의 위치를 측정하는 구성으로, 예컨대, GPS(Global Positioning System), WIPI 측위 등의 위치 측정 장치일 수 있다. 즉, 위치 측정부(160)는 GPS위성으로부터 신호를 받아 현재 위치를 검출하는 GPS센서나, GPS 위성신호의 수신이 불가능하거나 수신감도가 낮은 지역에서의 현재 위치 검출을 위하여 무선랜(WiFi) 기지국(Access Point)의 전파를 수신하여 대략적인 현재 위치를 검출하는 무선랜 장치를 포함할 수 있으며, 두 종류의 센서를 혼용하여 위치검출의 정확도를 보다 향상시킬 수도 있다.

위치 측정부(170)는 측정된 차량의 현재 위치정보를 경로 탐색부(180)로 전달한다.

경로 탐색부(180)는 목적지까지의 경로를 탐색하고, 상기 경로에 포함된 링크들의 방향 및 거리를 계산한다. 여기서, 링크는 경로에서 주행 방향이 바뀌게 되는 도로 구간을 말한다. 즉, 경로 탐색부(180)는 사용자로부터 목적지를 포함하는 경로 안내 명령이 입력되면, 저장부(140)에 저장된 전자지도부로부터 전자지도 정보를 읽어 목적지까지의 경로(예컨대, 최단경로 등임)를 탐색한다. 그런 후, 경로 탐색부(180)는 탐색된 경로에서 방향이 바뀌게 되는 도로구간을 링크로 나누고, 각 링크들의 방향과 해당 링크에 의한 도로구간의 거리를 구한다.

방향안내표식 생성부(190)는 현재 위치로부터 경로 탐색부(180)에서 탐색된 경로내 각 링크 시작지점까지의 잔여거리에 따라 순서를 고려하여 해당 링크에서 다음 링크로의 주행 방향을 나타내는 방향안내표식을 생성한다. 즉, 방향안내표식 생성부(190)는 현재 링크에서 다음 제1링크로의 방향전환을 나타내는 제1방향안내표식, 제1링크에서 다음 제2링크로의 방향전환을 나타내는 제2방향안내 표식 등을 생성한다. 제1링크, 제2링크는 현재위치로부터 잔여거리가 짧은 순서에 의한 것으로, 방향안내표식 생성부(190)는 현재 링크 다음에 위치하는 적어도 하나 이상의 링크에 대한 방향안내표식을 생성할 수 있다. 여기서, 방향안내표식은 어느 방향으로 가야할지를 알려주는 신호로, 화살표, 방향전환 화살표 등의 그래픽 형태일 수 있다. 방향안내표식은 명확한 회전 방향(turn-by-turn direction)을 제공하기 때문에 경로 탐색부(180)에서 탐색된 경로를 따라가고 있는 동안 운전자들이 도로에 집중할 수 있어서 안전성을 제공한다. 방향안내표식은 서로 가깝게 붙어있는 도로와 분기점이 있을 때 어디로 가야할지 모르는 운전자의 실수를 방지해준다.

증강현실 처리부(200)는 방향안내표식 생성부(190)에서 생성된 방향안내표식이 차선 인식부(160)에서 인식된 차선의 도로상에 표시되도록 촬영부(150)에서 촬영된 영상에 오버레이하여 화면에 표시한다. 이때, 증강현실 처리부(200)는 현재 링크에 대한 제1방향안내표식과 다음 링크들의 방향안내표식이 잔여거리에 따라 구분되도록 크기, 색상, 명도, 채도 등을 다르게 할 수 있다. 예를 들면, 각 방향안내표식의 크기를 잔여 거리가 적어짐에 따라 점차 크게 표시할 수 있다. 이를 통해, 운전자는 다음 경로 안내의 대략적인 거리를 가늠할 수 있을 뿐만 아니라, 방향 전환의 거리가 가까워질수록 그 크기가 커져 방향 전환에 대한 직접적 식별력이 증대된다.

또한, 증강현실 처리부(200)는 방향안내표식의 일정 영역에 다음 링크 시작지점까지의 잔여거리, 차량의 현재 주행속도 등을 표시할 수 있다. 예를 들면, 증강현실 처리부(200)는 방향안내표식의 아래, 우측 아래, 좌측 아래 등에 잔여 거리를 표시하여 운전자가 다음 방향 전환의 시점을 미리 인지하도록 구성하는 것이 바람직하다.

증강현실 처리부(200)는 현재 링크 다음의 링크가 원거리에 있어서 화면상에 표시되지 않은 경우, 도 4a와 같이 현재 링크에 대한 제1방향안내표식(410)을 인식된 차선 도로의 중앙에 오버레이하여 표시하고, 다음 링크에 대한 제2방향안내표식(420)을 제1방향안내표식(410) 아래에 오버레이하여 표시한다.

도 4a를 참조하면, 현재 링크에 대한 제1방향안내표식(410)과 잔여거리(55m)를 차량이 주행중인 도로상에 표시하고, 다음 링크의 방향 표시를 위한 제2방향안내표식(420)과 잔여거리(200m)를 제1방향안내표식(410)의 오른쪽 아래에 아이콘 형태로 표시할 수 있다. 이는 현재 차량이 15km/h로 주행하고 있는데, 현재 위치에서 55m 직진 후 좌회전해야 하고, 현재 위치에서 200m 주행 후 우회전해야 함을 안내한다.

증강현실 처리부(200)는 현재 링크 다음의 링크가 근거리에 있어서 화면상에 표시되는 경우, 도 4b와 같이 현재 링크에 대한 제1방향안내표식(430)이 다음 링크 시작지점까지 표시되도록 제1방향안내표식(430)의 길이를 조절하고, 다음 링크에 대한 제2방향안내표식(440)을 제1방향안내표식(430) 아래에 오버레이하여 표시한다. 즉, 증강현실 처리부(200)는 A와 같이 제1방향안내표식(430)의 화살표 길이를 방향 전환까지 남은 거리와 일치되도록 표시한다.

도 4b를 참조하면, 현재 링크에 대한 제1방향안내표식(430)의 화살표 길이를 다음 링크 시작지점과 일치시켜 잔여거리(5m)와 함께 차량이 주행중인 도로상에 표시하고, 다음 링크의 방향 표시를 위한 제2방향안내표식(440)과 잔여거리(200m)를 제1방향안내표식(430)의 오른쪽 아래에 아이콘 형태로 표시할 수 있다. 이는 현재 차량이 8km/h로 주행하고 있는데, 현재 위치에서 5m 직진 후 좌회전해야 하고, 현재 위치에서 150m 주행 후 우회전해야 함을 안내한다.

증강현실 처리부(200)에 의해 도로 영상에 오버레이되는 방향안내표식은 명확한 회전 방향(turn-by-turn direction)을 제공하기 때문에 경로 탐색부(180)에서 탐색된 경로를 따라가고 있는 동안 운전자들이 도로에 집중할 수 있어서 안전성을 높여준다. 방향안내표식은 서로 가깝게 붙어있는 도로와 분기점이 있을 때 어디로 가야할지 모르는 운전자의 실수를 방지해준다.

제어부(210)는 입력부(120)를 통해 입력되는 사용자의 지시에 따라 저장부(140)에 저장된 구동 프로그램을 실행하여 증강현실 내비게이션 장치(100)의 전반적인 기능을 제어한다.

제어부(210)는 통신부(110), 입력부(120), 출력부(130), 저장부(140), 촬영부(150), 차선 인식부(160), 위치 측정부(170), 경로 탐색부(180), 방향안내표식 생성부(190), 증강현실 처리부(200)를 포함하는 증강현실 내비게이션 장치(100)의 다양한 구성부들의 동작을 제어하는 구성이다.

이러한 제어부(210)는 적어도 하나의 연산 장치를 포함할 수 있는데, 여기서 상기 연산 장치는 범용적인 중앙연산장치(CPU), 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA), 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다.

증강현실 내비게이션 장치(100)가 포함할 수 있는 이러한 구성부들은 하드웨어, 소프트웨어 또는 이들의 결합으로 구현될 수 있으며, 하나의 하드웨어 또는 소프트웨어에 의해 둘 이상의 구성부들이 동시에 구현될 수도 있다.

한편, 증강현실 내비게이션 장치(100)는 차량에 설치된 거치대 등에 거치하고 촬영부(150)를 통해 주행 중 차량 전면의 도로 영상을 실시간으로 촬영하여 화면에 표시한다. 거치대 각도를 조절하여 화면상 보이는 실제 도로의 각도와 표시되는 방향안내표식의 각도가 적절히 조절되면 해당 방향안내표식이 도로상에 위치한 것처럼 표시되어 방향을 전환해야하는 지점의 근접 영역에서 더욱 정확하게 방향 전환의 위치나 직진의 경로를 용이하게 식별할 수 있다.

이러한 증강현실 내비게이션 장치(100)는 촬영부(150)와 위치 측정부(170)가 구비된 내비게이션 전용의 단말, 이동통신 단말, 스마트폰(Smart phone), PMP(Portable Media Player), PDA(Personal Digital Assistant), 타블렛 PC(Tablet PC) 등 증강현실 내비게이션 기능을 구현할 수 있는 다양한 장치가 될 수 있다.

도 5는 본 발명의 실시예에 따른 증강현실 내비게이션 장치가 경로 안내 서비스를 제공하는 방법을 나타낸 도면이다.

도 5를 참조하면, 사용자가 목적지를 포함하는 경로 안내 명령을 입력하면(S502), 증강현실 내비게이션 장치는 촬영부를 구동시켜 차량 전방의 영상을 획득한다(S504).

증강현실 내비게이션 장치는 획득된 영상을 분석하여 차량이 주행중인 도로의 차선을 인식하고(S506), 상기 목적지까지 경로를 탐색하며(S508), 탐색된 경로에 포함된 링크들의 방향 및 거리를 계산한다(S510).

증강현실 내비게이션 장치는 현재 위치로부터 상기 경로내 각 링크 시작지점까지의 잔여거리에 따라 순서를 고려하여, 해당 링크에서 다음 링크로의 주행 방향을 나타내는 방향안내표식을 생성한다(S512). 이때, 증강현실 내비게이션 장치는 현재 위치로부터 상기 탐색된 경로내 각 링크 시작지점까지의 잔여거리를 각각 계산하고, 경로내 링크들을 잔여거리가 짧은 순으로 정렬한다. 그런 후, 증강현실 내비게이션 장치는 현재 링크에서 다음 링크로의 방향 전환을 나타내는 제1방향안내표식, 상기 정렬된 순으로 현재 링크 다음에 위치하는 적어도 하나 이상의 링크에 대한 방향안내표식을 생성한다.

그런 후, 증강현실 내비게이션 장치는 생성된 방향안내표식이 상기 인식된 차선의 도로상에 표시되도록, 방향안내표식을 상기 영상에 오버레이하여 화면에 표시한다(S514). 이때, 증강현실 내비게이션 장치는 현재 링크에 대한 제1방향안내표식을 인식된 차선 도로의 중앙에 오버레이하여 표시하고, 다음 링크에 대한 제2방향안내표식을 제1방향안내표식 아래에 오버레이하여 표시한다.

실제의 주행 도로 영상이 표시되는 화면을 제공하는 증강현실 내비게이션 장치의 특성상 화면에서 지평선이 보이는 환경이므로, 화면에 표시된 주행 도로상에 방향안내표식을 표시하고 다음 링크의 방향에 맞춰 해당 방향 측으로 좌회전, 우회전을 표시하는 방식은 실제의 도로 영상과 자연스럽게 조합되어 현실감을 저해하지 않으면서도 매우 직관적이면서 실용적인 길 안내 정보를 제공할 수 있다.

한편, 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(210)에 의해 구현될 수 있다.

소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 저장부(140)에 저장되고, 제어부(210)에 의해 실행될 수 있다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 증강현실 내비게이션 장치 110 : 통신부
120 : 입력부 130 : 출력부
140 : 저장부 150 : 촬영부
160 : 차선 인식부 161 : 에지 검출모듈
162 : 차선후보 검출모듈 163 : 차선 인식모듈
164 : 실시간 검출모듈 165 : 차선 추적모듈
170 : 위치 측정부 180 : 경로 탐색부
190 : 방향안내표식 생성부 200 : 증강현실 처리부
210 : 제어부

Claims (12)

1. 차량 전방의 영상을 촬영하는 촬영부;
   상기 영상을 분석하여 차량이 주행중인 도로의 차선을 인식하는 차선 인식부;
   목적지까지 경로를 탐색하고, 상기 경로에 포함된 링크들의 방향 및 거리를 계산하는 경로 탐색부;
   현재 위치로부터 상기 경로내 각 링크 시작지점까지의 잔여거리에 따라 순서를 고려하여, 해당 링크에서 다음 링크로의 주행 방향을 나타내는 방향안내표식을 생성하는 방향안내표식 생성부; 및
   상기 생성된 방향안내표식이 상기 인식된 차선의 도로상에 표시되도록 상기 영상에 오버레이하여 화면에 표시하는 증강현실 처리부;
   를 포함하는 경로 안내 서비스를 위한 증강현실 내비게이션 장치.
   
2. 제1항에 있어서,
   상기 차선 인식부는,
   상기 영상을 그레이 영상으로 변환하여 노이즈를 제거하고, 상기 노이즈가 제거된 영상에 소벨(SOBEL) 연산을 수행하여 에지를 검출하며, 상기 에지의 강도와 방향을 구하는 에지 검출모듈;
   상기 에지의 강도와 방향을 근거로 차선 후보점을 구하고, 허프변환(Hough transform)을 이용하여 차선 후보를 검출하는 차선후보 검출모듈; 및
   상기 검출된 차선 후보들에 RANSAC 알고리즘을 적용하여 차선 소실점을 구하고, 상기 차선 소실점으로 향하는 차선 후보들을 차량이 주행중인 차선으로 인식하는 차선 인식모듈을 포함하는 것을 특징으로 하는 경로 안내 서비스를 위한 증강현실 내비게이션 장치.
   
3. 제2항에 있어서,
   상기 차선 인식부는 이전 프레임에서 검출된 차선 정보와 차선 사전 정보를 이용하여 다음 프레임에서 관심영역(ROI, Region Of Interest)을 결정하고, 결정된 관심 영역에 대해서만 차선 검출을 수행하는 실시간 검출모듈; 및
   연속된 프레임에서 particle filtering을 이용하여 차선을 추적하며, 앞 차량의 위치추적을 통해 차선을 추적하는 차선 추적모듈을 더 포함하는 것을 특징으로 하는 경로 안내 서비스를 위한 증강현실 내비게이션 장치.
   
4. 제1항에 있어서,
   상기 방향안내표식 생성부는 현재 링크에서 다음 링크로의 방향 전환을 나타내는 제1방향안내표식, 현재 위치로부터 잔여거리가 짧은 순으로 현재 링크 다음에 위치하는 적어도 하나 이상의 링크에 대한 방향안내표식을 생성하는 것을 특징으로 하는 경로 안내 서비스를 위한 증강현실 내비게이션 장치.
   
5. 제1항에 있어서,
   상기 증강현실 처리부는 방향안내표식의 일정 영역에 해당 잔여거리를 표시하는 것을 특징으로 하는 경로 안내 서비스를 위한 증강현실 내비게이션 장치.
   
6. 제1항에 있어서,
   상기 증강현실 처리부는 현재 링크에 대한 제1방향안내표식과 다음 링크들의 방향안내표식이 잔여거리에 따라 구분되도록 크기, 색상, 명도, 채도 중 적어도 하나를 다르게 하는 것을 특징으로 하는 경로 안내 서비스를 위한 증강현실 내비게이션 장치.
   
7. 제1항에 있어서,
   상기 증강현실 처리부는 현재 링크만이 화면상에 표시된 경우, 현재 링크에 대한 제1방향안내표식을 상기 인식된 차선 도로의 중앙에 오버레이하여 표시하고, 다음 링크에 대한 제2방향안내표식을 상기 제1방향안내표식 아래에 오버레이하여 표시하며,
   현재 링크와 다음 순서의 링크가 화면상에 표시된 경우, 현재 링크에 대한 제1방향안내표식이 다음 링크 시작지점까지 표시되도록 제1방향안내표식의 길이를 조절하고, 다음 링크에 대한 제2방향안내표식을 제1방향안내표식 아래에 오버레이하여 표시하는 것을 특징으로 하는 경로 안내 서비스를 위한 증강현실 내비게이션 장치.
   
8. 증강현실 내비게이션 장치가 경로 안내 서비스를 제공하는 방법에 있어서,
   (a) 목적지를 포함하는 경로 안내 명령이 입력된 경우, 촬영부를 구동시켜 차량 전방의 영상을 획득하는 단계;
   (b) 상기 획득된 영상을 분석하여 차량이 주행중인 도로의 차선을 인식하는 단계;
   (c) 상기 목적지까지 경로를 탐색하고, 상기 경로에 포함된 링크들의 방향 및 거리를 계산하는 단계;
   (d) 현재 위치로부터 상기 경로내 각 링크 시작지점까지의 잔여거리에 따라 순서를 고려하여, 해당 링크에서 다음 링크로의 주행 방향을 나타내는 방향안내표식을 생성하는 단계; 및
   (e) 상기 생성된 방향안내표식이 상기 인식된 차선의 도로상에 표시되도록, 상기 방향안내표식을 상기 영상에 오버레이하여 화면에 표시하는 단계;
   를 포함하는 경로 안내 서비스 방법.
   
9. 제8항에 있어서,
   상기 (b) 단계는,
   상기 영상을 그레이 영상으로 변환하여 노이즈를 제거하고, 상기 노이즈가 제거된 영상에 소벨(SOBEL) 연산을 수행하여 에지를 검출하며, 상기 에지의 강도와 방향을 구하는 단계;
   상기 에지의 강도와 방향을 근거로 차선 후보점을 구하고, 허프변환(Hough transform)을 이용하여 차선 후보를 검출하는 단계;
   상기 검출된 차선 후보들에 RANSAC 알고리즘을 적용하여 차선 소실점을 구하고, 상기 차선 소실점으로 향하는 차선 후보들을 차량이 주행중인 차선으로 인식하는 단계를 포함하는 것을 특징으로 하는 경로 안내 서비스 방법.
   
10. 제8항에 있어서,
    상기 (d)단계는,
    현재 위치로부터 상기 경로내 각 링크 시작지점까지의 잔여거리를 각각 계산하는 단계;
    상기 경로내 링크들을 잔여거리가 짧은 순으로 정렬하는 단계; 및
    현재 링크에서 다음 링크로의 방향 전환을 나타내는 제1방향안내표식, 상기 정렬된 순으로 현재 링크 다음에 위치하는 적어도 하나 이상의 링크에 대한 방향안내표식을 생성하는 단계를 포함하는 것을 특징으로 하는 경로 안내 서비스 방법.
    
11. 제8항에 있어서,
    상기 (e) 단계에서,
    현재 링크만이 상기 획득된 영상에 표시된 경우, 현재 링크에 대한 제1방향안내표식을 상기 인식된 차선 도로의 중앙에 오버레이하여 표시하고, 다음 링크에 대한 제2방향안내표식을 상기 제1방향안내표식 아래에 오버레이하여 표시하며,
    현재 링크와 다음 순서의 링크가 상기 획득된 영상에 표시된 경우, 현재 링크에 대한 제1방향안내표식이 다음 링크 시작지점까지 표시되도록 제1방향안내표식의 길이를 조절하고, 다음 링크에 대한 제2방향안내표식을 제1방향안내표식 아래에 오버레이하여 표시하는 것을 특징으로 하는 경로 안내 서비스 방법.
    
12. 제11항에 있어서,
    상기 현재 링크에 대한 제1방향안내표식과 다음 링크들의 방향안내표식이 잔여거리에 따라 구분되도록 크기, 색상, 명도, 채도 중 적어도 하나를 다르게 하는 것을 특징으로 하는 경로 안내 서비스 방법.

Images