KR101013751B1 - 가상화 처리서버 및 ｄｃｄ 컨텐츠를 이용한 증강현실 제공 시스템 - Google Patents

Abstract

본 발명은 카메라의 입력영상으로 이동통신 단말의 자세 정보를 추출하고, 이를 통해 위치기반의 가상 영상을 실제 영상에 합성시켜 증강현실 서비스를 제공하는 가상화 처리서버 및 DCD 컨텐츠를 이용한 증강현실 제공 시스템을 제공한다.

가상화 처리서버는 이동통신 단말로부터 입력된 제1 영상에서 기준영역을 선정하는 기준영역 선정부와, 제1 영상과 이동통신 단말의 카메라 위치 변화에 따라 입력된 제2 영상을 비교하고 제2 영상의 이동된 변위값을 측정하여 이동통신 단말의 자세정보를 추출하는 자세정보 추출부; 및 이동통신 단말의 위치정보 및 위치정보에 대응되는 컨텐츠를 이용하여 위치기반의 매쉬업 정보를 생성하고, 자세정보에 따른 이동 변위값이 적용된 가상 객체에 매쉬업 정보를 포함시켜 실제영상에 합성시킬 가상영상으로 생성하는 합성정보 생성부를 포함한다.

증강현실, AR(Augmented Reality), 가상현실, DCD(Dynamic Contents Delivery)

Description

가상화 처리서버 및 ＤＣＤ 컨텐츠를 이용한 증강현실 제공 시스템{Server for processing of virtualization and system for providing augmented reality using dynamic contents delivery}

본 발명은 카메라의 입력영상으로 이동통신 단말의 자세 정보를 추출하고, 이를 통해 위치기반의 가상 영상을 실제 영상에 합성시켜 증강현실 서비스를 제공하는 가상화 처리서버 및 DCD 컨텐츠를 이용한 증강현실 제공 시스템에 관한 것이다.

증강현실(AR; Augmented Reality)은 실제영상 위에 컴퓨터에 의해 생성된 영상 즉 가상의 컴퓨터 그래픽을 합성하여 사용자에게 제공하는 시각화 기술이다. 이 기법은 사용자에게 제공되는 정보가 현실세계 영상에 기반을 둔다는 점에서 컴퓨터에 의해 생성된 영상만을 사용자에게 제공하는 가상현실(VR; Virtual Reality)과 구분된다.

일반적으로 컴퓨터 그래픽의 현실감은 실제영상에 미치지 못하기 때문에 증강현실은 가상현실 기술에 비해 보다 뛰어난 현실감을 제공한다. 또한 사용자에게 실제세계의 영상에 공간정보(spatial information)를 추가적으로 제공함으로서 신 속한 현장 상황 정보의 전달을 가능하게 한다.

증강현실 기술은 크게 카메라를 이용해 취득한 영상에서 특정한 패턴의 마커(marker)를 인식하여 카메라의 위치와 방향을 계산하는 방법과, GPS(Global Positioning System)와 자이로 센서 등을 사용하여 카메라의 위치와 방향을 결정하거나 사영 기하학을 응용하여 취득한 영상의 마커를 인식하여 추정하는 기법 등이 사용되고 있다.

그러나, 신체나 오브젝트에 의한 카메라와 마커 사이에 가려짐 (occlusion)현상과 마커의 급격한 움직임에 의한 트래킹 실패가 발생할 수 있으며, 자이로스코프와 가속도계와 같은 관성 센서를 이용할 경우, 데이터 갱신율(update rate)이 높아 빠르게 움직이는 오브젝트를 트래킹할 때에는 효과적이지만, 천천히 움직이거나 속도의 변화가 없을 경우 센서에서 나오는 신호 대 잡음비(SNR)가 낮기 때문에 트래킹할 때 시간이 경과할수록 오차가 누적되는 문제점이 있다.

본 발명은 종래의 카메라 센서 및 마커를 이용하지 않고도 카메라의 위치 및 방향 등의 자세정보를 입력 영상만으로 추출할 수 있어, 센서의 오작동 및 오차로 인한 에러를 해소하고, 마커로 인한 가려짐 현상 및 트래킹 실패를 방지할 수 있는, 가상화 처리서버 및 DCD 컨텐츠를 이용한 증강현실 제공 시스템을 제공하는 데에 그 목적이 있다.

또한, 본 발명은 가상화 처리서버에서 실제영상에 합성할 가상영상에 대한 정보를 포함하는 합성 파라미터 정보를 생성하고, 이동통신 단말에서는 합성 파라미터 정보를 이용하여 실제영상에 가상영상을 합성한 합성영상을 생성하도록 구성함으로써, 기존에 문제되었던 이동통신 단말의 연산 처리량을 줄이고 보다 효과적인 증강 현실 서비스를 제공할 수 있는, 가상화 처리서버 및 DCD 컨텐츠를 이용한 증강현실 제공 시스템을 제공하는 데에 그 목적이 있다.

또한, 본 발명은 이동통신 단말의 위치정보 및 해당 위치정보에 대응되는 위치기반의 DCD(Dynamic Contents Delivery) 컨텐츠를 바탕으로 실제영상에 합성시킬 가상영상을 생성함으로써, 지도정보, 뉴스, 날씨, 환율, 증권 등 실시간으로 반영되어야 할 다이나믹한 부가 정보와 함께 위치기반 정보 제공 서비스가 이루어져 한 단계 업그레이드된 증강현실 서비스를 제공할 수 있는, 가상화 처리서버 및 DCD 컨텐츠를 이용한 증강현실 제공 시스템을 제공하는 데에 그 목적이 있다.

또한, 본 발명은 이동통신 단말로부터 수신된 제1 영상 및 카메라 이동에 따라 수신된 제2 영상의 이동 변위 측정에 있어서 특징점 추출 및 이를 통한 기준 영역 기반의 이동 변위 측정이 이루어지도록 함으로써, 입력 영상만으로도 효율적인 자세정보 추출이 이루어질 수 있는, 가상화 처리서버 및 DCD 컨텐츠를 이용한 증강현실 제공 시스템을 제공하는 데에 그 목적이 있다.

상기 목적을 달성하기 위하여, 본 발명의 실시 예에 따른 가상화 처리서버는 이동통신 단말로부터 입력된 제1 영상에서 기준영역을 선정하는 기준영역 선정부와, 제1 영상과 이동통신 단말의 카메라 위치 변화에 따라 입력된 제2 영상을 비 교하고 제2 영상의 이동된 변위값을 측정하여 이동통신 단말의 자세정보를 추출하는 자세정보 추출부; 및 이동통신 단말의 위치정보 및 위치정보에 대응되는 컨텐츠를 이용하여 위치기반의 매쉬업 정보를 생성하고, 자세정보에 따른 이동 변위값이 적용된 가상 객체에 매쉬업 정보를 포함시켜 실제영상에 합성시킬 가상영상으로 생성하는 합성정보 생성부를 포함한다.

상기 컨텐츠는 OMA(Open Mobile Alliance) 표준을 따르는 DCD(Dynamic Contents Delivery) 컨텐츠인 것을 특징으로 한다.

상기 기준영역 선정부는 상기 제1 영상에서 블록단위로 특징점을 추출하고 상기 특징점의 개수가 가장 많은 블록을 상기 기준영역으로 선정하고, 상기 제1 영상의 기준 영역을 기준으로 상기 제2 영상에 상기 기준 영역이 존재하는 지 여부를 판단하고, 상기 제2 영상에 상기 기준 영역이 존재할 경우 상기 제2 영상의 이동된 변위값을 측정하여 상기 자세정보를 추출하는 것을 특징으로 한다.

상기 자세정보 추출부는 상기 제2 영상에 상기 기준 영역이 존재하지 않을 경우 상기 제2 영상에서 블록단위의 특징점 추출을 수행하여 기준 영역을 재선정하고, 재선정된 상기 제2 영상의 기준 영역을 기준으로 상기 자세정보의 추출이 이루어지는 것을 특징으로 한다.

본 발명의 다른 실시 예에 따른 DCD 컨텐츠를 이용한 증강현실 제공 시스템은 실제영상과 가상영상을 합성한 합성영상을 생성하는 이동통신 단말과, 이동통신 단말로부터 수신한 입력 영상을 이용하여 자세정보를 측정하고 자세정보와 이동통신 단말의 위치정보 및 위치정보에 대응되는 DCD(Dynamic Contents Delivery) 컨텐츠를 바탕으로 실제영상에 합성시킬 가상영상을 생성하는 가상화 처리서버; 및 DCD 컨텐츠를 위치정보에 따라 DCD CP(Dynamic Contents Delivery Contents Provider)의 DCD 컨텐츠 서버로 요청하고 수신된 DCD 컨텐츠를 상기 가상화 처리서버로 전송하는 DCD 중계 서버를 포함한다.

상기 이동통신 단말은 GPS(Global Positioning System) 위성 측위 서비스를 바탕으로 상기 이동통신 단말의 위치정보를 측정하여 상기 가상화 처리서버로 전송하는 측위부를 포함한다.

상기 가상화 처리서버는 상기 이동통신 단말로부터 수신한 제1 영상과 이동통신 단말의 카메라 위치 변화에 따라 입력된 제2 영상을 비교하고 상기 제2 영상의 이동된 변위값을 측정하여 상기 이동통신 단말의 자세정보를 추출하는 자세정보 추출부; 및 상기 이동통신 단말의 위치정보 및 상기 위치정보에 대응되는 DCD 컨텐츠를 이용하여 매쉬업 정보를 생성하고, 상기 자세정보에 따른 이동 변위값이 적용된 가상 객체에 상기 매쉬업 정보를 포함시켜 실제영상에 합성시킬 상기 가상영상으로 생성하는 합성정보 생성부를 포함한다.

상기 DCD 중계 서버는 상기 DCD 컨텐츠 서버와 DCD 컨텐츠 채널과의 매핑 기능을 제공하는 DCD 인터페이스부를 포함한다.

상기 DCD 중계 서버는 상기 DCD 컨텐츠 채널을 통해 위치정보에 따른 상기 DCD 컨텐츠를 상기 DCD 컨텐츠 서버에 요청하여 상기 DCD 컨텐츠를 수신하는 컨텐츠 수집부를 더 포함한다.

상기 DCD 중계 서버는 OMA의 DCD 표준에 따라 컨텐츠의 포맷을 변경하는 컨 텐츠 포맷 변경부를 포함한다.

본 발명의 가상화 처리서버 및 DCD 컨텐츠를 이용한 증강현실 제공 시스템에 따르면 다음과 같은 효과가 있다.

첫째, 본 발명은 종래의 카메라 센서 및 마커를 이용하지 않고도 카메라의 위치 및 방향 등의 자세정보를 입력 영상만으로 추출할 수 있어, 센서의 오작동 및 오차로 인한 에러를 해소하고, 마커로 인한 가려짐 현상 및 트래킹 실패를 방지할 수 있는 장점이 있다.

둘째, 가상화 처리서버에서 실제영상에 합성할 가상영상에 대한 정보를 포함하는 합성 파라미터 정보를 생성하고, 이동통신 단말에서는 합성 파라미터 정보를 이용하여 실제영상에 가상영상을 합성한 합성영상을 생성하도록 구성함으로써, 기존에 문제되었던 이동통신 단말의 연산 처리량을 줄이고 보다 효과적인 증강 현실 서비스를 제공할 수 있는 장점도 있다.

셋째, 이동통신 단말의 위치정보 및 해당 위치정보에 대응되는 위치기반의 DCD(Dynamic Contents Delivery) 컨텐츠를 바탕으로 실제영상에 합성시킬 가상영상을 생성함으로써, 지도정보, 뉴스, 날씨, 환율, 증권 등 실시간으로 반영되어야 할 다이나믹한 부가 정보와 함께 위치기반 정보 제공 서비스가 이루어져 한 단계 업그레이드된 증강현실 서비스를 제공할 수 있는 장점도 있다.

넷째, 이동통신 단말로부터 수신된 제1 영상 및 카메라 이동에 따라 수신된 제2 영상의 이동 변위 측정에 있어서 특징점 추출 및 이를 통한 기준 영역 기반의 이동 변위 측정이 이루어지도록 함으로써, 입력 영상만으로도 효율적인 자세정보 추출이 이루어질 수 있는 장점도 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도 1은 본 발명의 일 실시 예에 따른 증강현실을 제공하는 개념도이다.

도 1에 도시된 바와 같이, 이동통신 단말(100)은 촬영된 영상 송신, 데이터 정보 관리 및 3차원 영상 합성 기능을 수행하며, 가상화 처리서버(200)는 영상처리, 자세정보 추출, 합성 파라미터 정보 생성을 수행하게 된다.

여기서 이동통신 단말(100)은 휴대폰, UMPC(Ultra Mobile PC), PDA, 및 디지털 카메라와 같이 카메라를 내장하거나 장착할 수 있는 단말기를 포함한다. 그리고 이동통신 단말(100)과 가상화 처리서버(200) 간의 통신 방식에는 무선 랜, WCDMA, Wibro, HSDPA, Blue tooth 등이 이용될 수 있다.

본 발명의 실시 예에서 이동통신 단말(100)은 실제영상과 가상영상을 합성한 합성영상을 생성한다.

그리고, 가상화 처리서버(200)는 이동통신 단말(100)로부터 수신한 입력 영상을 이용하여 자세정보를 측정하고 자세정보와 이동통신 단말(100)의 위치정보 및 위치 정보에 따른 컨텐츠를 이용하여 실제영상에 합성시킬 가상영상을 생성한다. 여기서, 가상영상은 합성 파라미터 정보에 포함되어 이동통신 단말(100)로 전송되고, 이동통신 단말(100)은 합성 파라미터 정보를 통해 가상영상을 실제영상에 합성시키게 된다.

이하, 본 발명의 상세한 원리를 각 장치의 구성요소에 대한 설명과 함께 보다 구체적으로 설명하기로 한다.

도 2는 본 발명의 일 실시 예에 따른 영상 합성 장치의 블록도이다.

도 2에 도시된 바와 같이 영상 합성 장치(101)는 영상 처리부(110), 제1 송수신부(120), 측위부(130), 영상 합성부(140), 영상 출력부(150), 및 제1 정보 저장부(160)를 포함하고, 영상 합성 장치(101)는 이동통신 단말(100)에 포함되어 구현된다. 이하 각 구성요소에 대해서 보다 상세히 설명하기로 한다.

영상 처리부(110)는 이동통신 단말(100)의 카메라를 통해 촬영된 영상에 대한 영상 처리를 수행하며, 예를 들어 촬영된 영상을 캡쳐하고 영상에 대한 압축을 수행한다.

제1 송수신부(120)는 가상화 처리서버(200)와 데이터 송수신을 수행한다. 예를 들어 제1 송수신부(120)는 영상 처리부(110)의 압축 영상 및 후술될 측위 부(130)가 측정한 이동통신 단말(100)의 위치정보(방향, 각, 이동벡터 등)를 가상화 처리서버(200)로 전송하거나 가상화 처리서버(200)로부터 합성 파라미터 정보를 포함하는 가상영상을 수신한다. 여기서, 합성 파라미터 정보는 실제영상에 위치기반의 가상 객체를 합성하기 위한 정보들을 포함한다.

측위부(130)는 GPS와 같은 위성 측위 서비스를 바탕으로 이동통신 단말(100)의 위치 정보를 측정한다. 이러한, GPS의 위경도 값은 후술될 사용자 위치기반의 매쉬업 정보 연동을 위해 사용된다.

영상 합성부(140)는 실제영상에 가상영상을 합성한 합성영상을 생성한다. 즉 영상 합성부(140)는 가상화 처리서버(200)로부터 수신한 합성 파라미터 정보를 이용하여 실제영상에 가상영상을 합성한 합성영상을 생성하게 된다. 이때 2차원 또는 3차원 객체 렌더링(object rendering)이 수행된다.

영상 출력부(150)는 실제영상에 가상 객체를 합성한 합성영상을 화면에 출력한다.

제1 정보 저장부(160)는 카메라가 촬영한 영상, 이동통신 단말(100)의 위치정보, 가상화 처리서버(200)의 IP(Internet Protocol)정보, 영상 합성을 위한 알고리즘, 합성 파라미터 정보 등 영상 합성을 위한 각종 데이터를 저장한다.

도 3은 본 발명의 일 실시 예에 따른 합성 파라미터 추출장치의 블록도이다.

합성 파라미터 추출장치(201)는 제2 송수신부(210), 영상 변환부(220), 기준영역 선정부(230), 자세정보 추출부(240), 합성정보 생성부(250), 및 제2 정보 저 장부(260)를 포함하고, 합성 파라미터 추출장치(201)는 가상화 처리서버(200)에 포함되어 구현된다.

제2 송수신부(210)는 이동통신 단말(100)과 데이터 송수신을 수행하며, 예를 들어 제1 송수신부(120)로부터 영상 및 이동통신 단말(100)의 위치정보를 수신하거나, 이동통신 단말(100)로 합성 파라미터 정보를 전송한다.

또한, 다른 실시 예에서 제2 송수신부(210)는 후술될 DCD(Dynamic Contents Delivery) 서버(300)와 통신을 수행하면서 DCD 컨텐츠 채널에 부합하는 DCD 컨텐츠를 수신할 수 있다. 여기서, DCD 컨텐츠는 OMA(Open Mobile Alliance) 표준을 따르며, 이에 대해서는 도 10 및 도 11에서 구체적으로 후술한다.

영상 변환부(220)는 입력 영상을 수신하여 압축을 해제하고, RGB(Red, Green, Blue) 형태의 입력 영상을 HLS(Hue, Lightness, Saturation) 형태의 입력 영상으로 변환하여, 후술될 기준영역 선정부(230)를 통해 정확하고 안정적인 특징점 추출이 수행되도록 한다.

기준영역 선정부(230)는 입력 영상에서 특징점 추출(Feature Points Extraction)을 수행하고, 특징점의 개수가 가장 많은 블록을 기준 영역으로 선정한다. 이때, 전역 특징점 추출 방법이 사용될 수 있으며, 그 중에 영상의 코너점을 특징점으로 하는 코너 포인트를 이용한 특징점 추출 방법이 이루어질 수 있다. 코너 포인트를 사용할 경우, 입력 영상 코너에서 코너 포인트를 잡아서 각 포인트 간의 거리를 비율로 잡아놓으면 해당 비율과 같은 비율을 가지는 영상은 동일한 영상일 가능성이 높다고 판단될 수 있다.

또한, 예컨대 건물 외곽이나 창틀의 모서리 등 픽셀 밝기가 급격하게 변하는 점이거나 무늬가 뚜렷하여 텍스처가 뚜렷할 경우 특징점 추적의 높은 신뢰도를 기대할 수 있다. 그리고, 특징점 추적에 있어서 영상의 밝기값의 그래디언트를 이용하여 특징점을 추적하는 Lucas-Kanade 알고리즘 및 ARToolKit 와 같은 공개된 소프트웨어들이 이용될 수 있다.

또한, 상술된 바와 같이, 입력 영상에서 종횡으로 블록이 나뉘어져 블록단위의 특징점 추출이 이루어지고, 가장 많은 특징점을 가지고 있는 블록이 기준 영역으로 선정될 수 있다.

그리고, 기준영역 선정부(230)는 각 방위별로 기준영역을 생성할 수 있으며, 이러한 방위별 기준 영역은 GPS만을 가진 이동통신 단말(100) 환경에서 사용자의 최초 이동벡터로는 최초 방위각만 검출되며, 사용자의 GPS 변화가 없는 정지 상태의 같은 위치에서 사용자 카메라 이동에 의한 방위는 측정할 수 없기 때문에, 이동통신 단말(100)에 탑재된 카메라 영상만을 가지고 사용자가 향하고 있는 최초 방위각을 결정하기 위해서는 사용자의 GPS 이동벡터에 의한 사용자가 바라보는 각을 추출해야 카메라의 촬영 면에 따라 다른 가상 삼차원 객체를 합성할 수 있기 때문이다.

자세정보 추출부(240)는 입력 영상을 이용하여 자세정보를 추출한다. 즉, 자세정보 추출부(240)는 상기 기준 영역이 선정된 입력 영상의 이미지(이하, 제1 영상이라 함)과 이동통신 단말의 카메라 위치 변화에 따라 입력된 영상의 이미지(이하, 제2 영상이라 함)에 있어서, 제2 영상에 제1 영상의 기준 영역이 존재하고 있 는 지 여부를 판단하고, 제2 영상에 기준 영역이 존재할 경우 제1 영상의 기준 영역으로부터 이동된 변위를 측정하여 자세정보(수평 및 수직 거리, 방위각 등)를 추출할 수 있다. 이때 기준 영역의 존재 여부의 판단은 기준 영역의 중심을 원점으로 하여 제2 영상에 해당 원점이 포함되어 있는 지 여부에 따라 판단될 수 있다.

그리고, 자세정보 추출부(240)는 제2 영상에 기준 영역이 존재하지 않는 경우, 새로운 방위로 인식하여 방위각 아이디를 새로 부여하고 특징점 추출을 통한 기준 영역을 다시 검출하여 저장하게 된다. 이때, 마지막 입력 영상 프레임(제2 영상)의 기준 영역을 기준으로 상하 좌우 등과 같은 카메라의 상대적 이동방향이 추정되어진다.

여기서, 새로운 방위각 아이디란 카메라로 볼 수 있는 입력 영상의 화각(FOV; Field-Of-View)은 한정되어 있기 때문에 각 화각에 따라 보여지는 다수의 영상 면을 관리하기 위한 아이디로 정의될 수 있다.

또한, 자세정보 추출부(240)는 제2 영상에 기준 영역이 존재할 경우, 제1 영상의 기준 영역으로부터 이동된 변위를 측정하여 자세정보를 추출하고, 이를 이용하여 객체에 적용시킬 객체 합성 변위를 산정한다. 여기서, 객체 합성 변위는 실제영상에 합성할 가상 객체의 이동 변위를 의미하며, 이에 대해서는 도 7을 참조하기 바란다.

합성정보 생성부(250)는 이동통신 단말(100)의 위치정보 및 위치정보에 따른 컨텐츠를 이용하여 매쉬업 정보를 생성하고, 또한 자세정보에 따른 이동변위값(객체 합성 변위값)이 적용된 가상 객체에 매쉬업 정보를 포함시켜 실제영상에 합성시 킬 가상영상을 생성한다. 그리고, 합성정보 생성부(250)는 합성 파라미터 정보에 가상영상을 포함시켜 가상화 처리서버(200)로 전송하게 된다.

여기서 매쉬업 정보는 영상이 촬상된 지역과 관련된 컨텐츠를 위치정보를 이용하여 추출한 위치기반 정보로서, 상기 컨텐츠에는 지도정보, 교통정보, 부동산정보, 지역정보, 음식점, 숙박시설, 주유소, 은행, 기관 등의 정보들이 포함될 수 있으며, 다양한 가상 객체와 함께 부가 정보로 제공될 수 있다.

상기 가상 객체는 2차원 또는 3차원 이미지, 비디오 매체, 음악이나 음향 효과와 같은 청각 매체, 또는 촉각 매체일 수 있다.

또한, 이러한 위치정보를 통해 영상이 촬영된 지역과 관련된 부가정보를 추출할 경우 실시간으로 부가정보들이 변경될 수 있으므로, 보다 정확한 매쉬업 정보를 생성할 필요성이 있다. 예를 들어, 지도정보, 뉴스, 날씨 등의 정보들은 실시간으로 변경될 수 있고, 지도정보가 변경될 경우 실시간으로 변경된 지도정보가 영상이 촬영된 지역과 매칭되어 매쉬업 정보로 생성되도록 실시간 지도정보가 가상화 처리서버(200)로 전달되어야 한다.

따라서, 상기 컨텐츠는 다른 실시 예에서 DCD 컨텐츠일 수 있으며, 위치정보에 대응되는 실시간 DCD 컨텐츠가 DCD 중계 서버(300)로부터 전송되어 매쉬업 정보 생성에 이용할 수 있다. 이에 대해서는 도 10 및 도 11에서 보다 구체적으로 설명하기로 한다.

제2 정보 저장부(260)는 자세정보, 영상 처리 알고리즘, 이동통신 단말(100)로부터 수신한 영상, 픽셀 이동거리에 따른 칼리브레이션된 평균 각도를 나타내는 룩업 테이블, 가상 객체, 위치정보, 컨텐츠 정보 등 합성 파라미터 정보 생성에 필요한 각종 정보들을 저장한다.

여기서, 다른 실시 예에서 제2 정보 저장부(260)는 이동통신 단말(100)의 가입자 정보를 포함할 수 있으며, 이동통신 단말(100)의 가입자 정보는 등록한 DCD 컨텐츠 채널, 단말기 정보, 사용자 아이디 등의 정보를 포함한다.

따라서, 가상화 처리서버(200)가 이동통신 단말(100)의 가입자 정보를 위치 정보에 포함시켜 DCD 중계 서버(300)로 전송하면, 후술될 DCD 중계 서버(300)는 해당 정보를 통해 사용자가 등록한 컨텐츠 채널에 부합하는 DCD 컨텐츠를 검색하여 데이터 푸쉬 방식등으로 가상화 처리서버(200)로 제공하게 되고, 가상화 처리서버(200)는 해당 DCD 컨텐츠를 포함한 매쉬업 정보를 생성하게 된다.

도 4는 본 발명의 일 실시 예에 따른 증강현실 제공 방법의 순서도이다.

먼저 이동통신 단말(100)의 카메라가 초기화되고, 사용자가 카메라를 이용하여 영상을 촬영하면 영상 캡쳐가 이루어지고, 해당 영상에 대한 압축이 이루어져 가상화 처리서버(200)로 전송된다(S11~S14). 이때, GPS와 같은 위성 측위 서비스를 바탕으로 측정된 이동통신 단말(100)의 위치정보(방위, 각, 최초이동벡터 등)가 함께 전송될 수 있다.

다음으로, 가상화 처리서버(200)는 수신한 입력 영상에 대해 압축 해제 및 영상 처리를 수행한다(S15). 여기서, 가상화 처리서버(200)는 RGB 형태의 입력 영상을 HLS 형태의 입력 영상으로 변환하는 영상 처리 프로세스를 수행할 수 있다.

그리고, 가상화 처리서버(200)는 입력 영상과 위치정보 및 위치정보에 대응되는 컨텐츠를 이용하여 가상영상을 포함하는 합성 파라미터 정보를 생성한다(S16).

이때, 합성 파라미터 정보를 생성하는 세부적인 과정은 도 5에서 구체적으로 설명하기로 한다.

다음으로, 가상화 처리서버(200)는 생성된 합성 파라미터 정보를 이동통신 단말(100)로 전송한다(S17).

그러면, 이동통신 단말(100)은 합성 파라미터 정보를 수신하고 객체 렌더링을 통해 실제영상에 가상영상을 합성한 합성영상으로 생성한다(S18~S19).

이후, 생성된 합성되어 증강된 영상이 화면에 출력된다 (S20).

도 5는 본 발명의 일 실시 예에 따른 합성 파라미터 정보 생성의 세부적인 과정을 도시한다. 도 6은 특징점 추출을 통한 기준 영역 선정의 예를 도시하고, 도 7은 카메라 이동시 가상 객체의 이동 변위 측정의 개념도이다.

도 5에 있어서, 상기 합성 파라미터 생성의 구체적인 과정을 설명하자면, 먼저 입력 영상을 수신한 기준영역 선정부(230)는 입력 영상에서 특징점 추출을 수행하고 이를 통해 기준 영역을 선정한다(S51).

이때, 도 6에 도시된 바와 같이, 영상 변환부(220)는 입력 영상이 RGB 형태인 경우 이를 HLS형태로 변환하고, 기준영역 선정부(230)는 입력 영상에 대해 블록당 특징점 추출을 수행하고, 해당 블록 중 특징점의 개수가 가장 많은 블록을 기준 영역(40)으로 선정하게 된다.

다음으로, 상기 (초기) 기준 영역이 포함된 입력 영상(제1 영상)과 카메라 이동에 따라 다음으로 입력된 영상(제2 영상)의 프레임에 있어서 자세정보 추출이 이루어지는 데, 이를 위해 가상화 처리서버는 제2 영상에 제1 영상의 기준 영역이 존재하고 있는 지 여부를 판단한다(S52).

이때, 자세정보 추출부(240)는 제2 영상에 기준 영역이 존재하지 않는 경우, 새로운 방위로 인식하여 방위각 아이디를 새로 부여하고(S53), 제2 영상에서 특징점 추출을 통한 기준 영역의 재선정 과정을 거치게 된다(S54).

한편, 자세정보 추출부(240)는 제2 영상에 기준 영역이 존재할 경우, 제2 영상의 이동된 변위(즉 객체 합성 변위)를 측정하여 이동통신 단말의 자세정보를 추출한다(S55). 여기서, 객체 합성 변위는 실제영상에 합성할 가상 객체의 이동 변위 값을 의미한다.

구체적으로, 도 7에 도시된 바와 같이, 기준영역을 바탕으로 가상 객체의 이동 변위가 측정될 수 있다.

보다 구체적으로 설명하자면, 도 7의 (a)는 원본 객체이고, (b)는 ∠Op가 적용된 객체, (c)는 ∠Ot가 적용된 객체, (d)는 △S가 적용된 객체의 모습을 개념적으로 도시하고 있다. 여기서 상기 ∠Op는 객체의 가로축 회전 각도를, ∠Ot는 객체의 세로축 회전 각도를, △S는 객체 원본 크기(A1)와 카메라 이동 후의 크기(A2)에 대한 변동 비율(A1/A2)을 나타내며, 이러한 객체 합성 변위값(∠Op, ∠Ot, △S)은 카메라가 객체를 촬영하는 거리와 시각에 따른 가상 객체의 회전 및 크기 변환에 적용되어진다.

또한, 기준영역을 중심으로 가로 및 세로축 픽셀 이동거리에 따른 칼리브레이션된 평균 각도를 나타내는 표 1의 룩업 테이블이 이용되어 가상 객체에 적용될 수 있다.

(표 1)

입력: 가로축 픽셀 이동거리	출력: 칼리브레이션된 평균 각도
0	0
30	5
60	15
90	30
120	50
…	75~범위 초과후 신규 방위각 생성
입력: 세로축 픽셀 이동거리	출력: 칼리브레이션된 평균 각도
0	0
-20	-3
-40	-9
-60	-18
-80	-30
-100이상	-45~범위 초과시 상하 한계 초과

상기 표 1에 있어서, 입력 값으로 가로축 또는 세로축 픽셀 이동거리가 입력되면 그에 따른 칼리브레이션된 평균 각도가 출력값으로 산출된다. 따라서, 룩업 테이블의 출력 값을 가지고 3차원 가상 객체에 회전변환(상하좌우)을 적용하여 카메라의 보는 시야에 따라 3차원 가상 객체 영상을 생성할 수 있게 된다. 이때, 상기의 표 1에서 나오지 않은 픽셀이동거리 입력 값들은 보간법에 의해 그 출력값이 결정되어 있다.

다음으로, 합성정보 생성부(250)는 이동통신 단말(100)로부터 수신한 위치정 보 및 이에 대응되는 컨텐츠를 이용하여 매쉬업 정보를 생성한다(S56). 여기서, 매쉬업 정보에는 입력 영상이 촬상된 지역에 관련된 지도정보 및 각종 부가 정보들 즉, 카메라 촬상 지점의 지리정보, 시설물의 높이, 종류, 층수 등의 주변 정보가 함께 포함될 수 있다.

이때, 다른 실시 예에서 합성정보 생성부(250)는 DCD 중계 서버(300)로부터 제공받은 위치기반의 DCD 컨텐츠(예컨대 실시간 지도정보, 교통정보 등)를 이용하여 매쉬업 정보를 생성할 수 있으며, 이에 대해서는 도 10 및 도 11에서 후술하기로 한다.

그리고, 합성정보 생성부(250)는 객체 합성 변위값이 적용된 가상 객체에 매쉬업 정보를 포함시켜 실제영상에 합성시킬 가상영상으로 생성하고 이를 합성 파라미터 정보에 포함시킨다(S57). 여기서, 합성 파라미터 정보에는 가상 객체 및 위치기반의 매쉬업 정보가 포함된 가상영상과, 가상영상을 실제영상에 합성시킬 수 있도록 하는 파라미터 정보들이 포함되어 있으므로, 이동통신 단말(100)은 이후 합성 파라미터 정보를 통해 간편하게 합성영상을 생성할 수 있게 된다.

한편, 매쉬업 정보 생성 및 가상 객체를 실제영상에 합성한 합성영상에 대해서는 후술될 도 8 및 도 9를 통해 설명하기로 한다.

도 8은 본 발명의 일 실시 예에 따른 매쉬업 정보 생성 과정의 예를 도시한다. 도 9는 본 발명의 일 실시 예에 따른 합성 파라미터 정보를 통해 실제영상에 가상 객체가 합성된 합성영상의 출력 화면을 도시한다.

도 8의 (a)에 도시된 바와 같이, 가상화 처리서버(200)는 이동통신 단말(100)로부터 수신한 위치정보와 그에 대응되는 컨텐츠로서 지도정보를 획득할 수 있다. 이때, 지도정보는 후술될 DCD(Dynamic Contents Delivery) 서버로부터 전송받은 위치기반의 DCD 컨텐츠에 포함된 지도 이미지를 포함할 수 있다.

그리고, 도 8의 (b)에 도시된 바와 같이 가상화 처리서버(200)는 지도정보에서 키 마커(key marker)를 추출하고 위치정보를 이용하여 사용자의 위치와 일치시킨 후, 도 8의 (c)에 도시된 바와 같이 방위각에 의한 회전변환을 수행하고, 도 8의 (d)에 도시된 바와 같이 영상 합성을 위한 키 컬러를 삽입하게 된다.

이후, 이와 같이 생성된 위치기반의 매쉬업 정보는 기타 다양한 주변 정보와 함께 가상영상으로 생성되고, 해당 가상영상은 합성 파라미터 정보에 포함되어 이동통신 단말(100)로 전송된다.

그러면, 도 9에 도시된 바와 같이, 이동통신 단말(100)은 합성 파라미터 정보를 통해 실제영상에 가상영상을 합성하여 증강된 합성영상으로 이동통신 단말(100) 화면에 디스플레이한다.

따라서, 이동통신 단말(100) 화면에는 실제영상에 가상영상이 증강된 합성영상이 제공되며, 이때 사용자 인터페이스(800)가 표시되어 사용자의 입력에 따른 명령을 수행할 수 있게 된다.

이와 같이, 입력 영상만으로 가상 객체가 증강된 증강현실 서비스를 제공할 수 있게 된다.

도 10은 본 발명의 다른 실시 예에 따른 DCD 컨텐츠를 제공하는 개념도이다.

표준화 단체인 OMA(Open Mobile Alliance)는 다양한 콘텐츠를 모바일 환경에서 사용자에게 효율적으로 제공하기 위해 동적 컨텐츠 딜리버리(DCD; Dynamic Contents Delivery) 표준화를 추진하고 있다.

본 발명의 다른 실시 예에서 DCD(Dynamic Contents Delivery) 서버(300)를 DCD 컨텐츠 프로바이더(DCD CP; Dynamic Contents Delivery Contents Provider)의 DCD 컨텐츠 서버(400)와 가상화 처리서버(200)간의 중계 서버로 구성함으로써, 예컨대 지도정보와 같이 실시간으로 업데이트가 필요한 정보의 경우, 지도 이미지 및 이와 관련된 각종 데이터 정보를 제공하는 DCD 컨텐츠 서버(400)로부터 DCD 중계 서버(300)가 실시간 정보를 제공받아 다시 가상화 처리서버(200)로 전송함으로써, 상술된 위치기반의 매쉬업 정보를 최신 정보로 생성하여 사용자의 이동통신 단말(100)로 제공할 수 있다.

예컨대, DCD 중계 서버(300)는 사용자가 가입한 컨텐츠 채널에 대응되는 컨텐츠를 제공하는 DCD 컨텐츠 서버(400)(들)와 연동되어 지도정보, 뉴스, 날씨 및 기타 다양한 정보를 실시간으로 전송받아 가상화 처리서버(200)로 전송할 수 있다. 여기서 DCD 중계 서버(300)는 OMA(Open Mobile Alliance) 표준에 따른 플랫폼 구조로 이루어져 있다.

이하, 도 11에서 DCD 중계 서버(300)의 구성요소와 함께 보다 구체적으로 설명하기로 한다.

도 11은 본 발명의 다른 실시 예에 따른 DCD 중계 서버의 블록도이다.

DCD 중계 서버(300)는 DCD 인터페이스부(310), 컨텐츠 수집부(320), 컨텐츠 포맷 변경부(330), 컨텐츠 관리부(340) 및 컨텐츠 전달부(350)를 포함한다. 이하, DCD 중계 서버(300)의 각 구성요소에 대해서 설명하기로 한다.

DCD 인터페이스부(310)는 DCD 컨텐츠 서버(400)와 DCD 중계 서버(300)간 DCD 컨텐츠 채널에 대한 채널 매핑 기능을 제공하여, 후술될 컨텐츠 수집부(320)가 해당 DCD 컨텐츠 채널을 통해 DCD 컨텐츠 서버(400)로부터 각 채널에 따른 DCD 컨텐츠를 제공받을 수 있도록 한다.

이때, DCD 인터페이스부(310)는 가입자 정보(등록한 DCD 컨텐츠 채널, 단말기 정보, 아이디 등) 및 위치정보를 이용하여 채널 매핑 기능을 제공할 수 있으며, DCD 컨텐츠 서버(400)와의 채널 매핑을 통해 이동통신 단말(100)의 가입자가 가입(등록)한 DCD 컨텐츠 채널로부터 위치정보에 따른 DCD 컨텐츠가 검색되어 해당 DCD 컨텐츠를 제공받을 수 있도록 할 수 있다.

컨텐츠 수집부(320)는 가상화 처리서버(200)로부터 위치정보 및 가입자 정보를 포함하는 데이터 패킷을 수신한 경우, 해당 가입자의 DCD 컨텐츠 채널을 통해 위치정보에 따른 DCD 컨텐츠(예컨대 실시간 지도정보)를 DCD 컨텐츠 서버(400)에 요청하고 이를 수신한다.

여기서, 컨텐츠 수집은 DCD 컨텐츠 채널과 채널에 대응되는 DCD CP의 DCD 컨텐츠 서버(400)에 따라 컨텐츠 특성에 맞게 수집된다. 여기서, DCD 컨텐츠는 예컨대 실시간 지도정보 및 기타 부가정보들을 포함하는 위치기반의 DCD 컨텐츠이다.

이때, 다른 실시 예에서 DCD 중계 서버(300)는 이동통신 단말(100)로 DCD 컨텐츠를 바로 전달하여 뉴스, 날씨 등의 정보가 화면에 출력되도록 할 수 있다.

한편, 컨텐츠 수집부(320)는 DCD 컨텐츠 채널을 통해 DCD 컨텐츠 서버(400)로부터 DCD 컨텐츠 전송이 실패했다고 판단된 경우, DCD 컨텐츠 서버(400)로 DCD 컨텐츠에 대한 재전송을 요청할 수 있으며, 마찬가지로, 가상화 처리서버(200)로 DCD 컨텐츠의 전송이 실패한 경우에 해당 DCD 컨텐츠의 재전송을 시도할 수 있다.

컨텐츠 포맷 변경부(330)는 OMA(Open Mobile Alliance)의 DCD(Dynamic Contents Delivery) 표준에 따라 DCD 컨텐츠 서버(400)로부터 제공받은 컨텐츠에 대한 컨텐츠 포맷 변경을 수행한다. 이때, DCD 컨텐츠 서버(400)로부터 전송되는 컨텐츠가 해당 표준에 따른 DCD 컨텐츠인 경우, 본 구성요소(330)는 생략 가능하다.

컨텐츠 관리부(340)는 가입자의 DCD 컨텐츠 채널에 대한 정보, DCD 컨텐츠 정보, DCD CP의 DCD 컨텐츠 서버(400)에 대한 정보 등을 저장 및 관리한다.

예컨대, 이동통신 단말(100)을 통해 사용자가 N개의 DCD 컨텐츠 채널에 대한 등록을 요청하면, 컨텐츠 관리부(340)는 사용자의 요청에 따라 DCD 컨텐츠 채널에 대한 등록을 수행한다. 이때, 이동통신 단말(100)의 DCD 컨텐츠 채널 가입(등록)은 컨텐츠를 제공하는 N개의 채널에 대해서 패키지 형태로 1회의 요청만으로 신속히 이루어질 수 있다.

따라서, 가상화 처리서버(200)가 위치정보 및 가입자 정보(등록한 DCD 컨텐츠 채널, 단말기 정보, 아이디 등)를 포함하는 데이터 패킷을 전송한 경우, DCD 중 계 서버(300)는 이를 수신하여 해당 가입자의 DCD 컨텐츠 채널을 검색하고 해당 채널을 통해 DCD 컨텐츠 서버(400)로부터 DCD 컨텐츠를 제공받게 된다. 이때, 상술된 바와 같이 DCD 인터페이스부(310)를 통한 채널 매핑이 이루어진다.

또한, 컨텐츠 관리부(340)는 DCD CP로부터 수신한 컨텐츠에 대해서 유효기간 및 업데이트 주기에 따라 컨텐츠를 관리하게 된다.

또한, 컨텐츠 관리부(340)는 자신의 저장된 데이터에 대한 등록, 삭제, 수정 등의 작업을 수행한다. 예컨대, 컨텐츠 관리부(340)는 가입자 정보가 변경되었을 경우 그에 대한 정보 수정 작업을 수행하거나, 사용자의 요청에 따라 또는 기간 만료에 따라 등록된 DCD 컨텐츠 채널에 대한 정보가 변경되었을 경우 그에 따른 정보 변경을 수행한다.

또한, 컨텐츠 관리부(340)는 실시간으로 DCD 컨텐츠 서버(400)와 통신을 수행하면서, DCD 컨텐츠에 대한 업그레이드 여부 및 변경 사항 등의 모니터링을 수행하고, 실시간으로 DCD 컨텐츠에 대한 최신 정보를 다운받아 컨텐츠 관리부(340)에 저장해 둘 수 있다.

컨텐츠 전달부(360)는 DCD 컨텐츠 채널을 통해 수신한 DCD 컨텐츠를 가상화 처리서버(200)로 전송하는 기능을 수행한다. 여기서, 컨텐츠 전달부(360)는 푸쉬(push)나 풀(pull)방식을 사용하여 다양한 전송(예컨대 On demand, Scheduled, Prefetched 등의 방식) 방법으로 DCD 컨텐츠를 가상화 처리서버(200)로 전송할 수 있으며, 또한 다른 실시 예에서는 이동통신 단말(100)로 바로 전송할 수 있다.

상술된 DCD 중계 서버(300)와 가상화 처리서버(200)는 하나의 통합 서버(미도시)로 구성될 수 있으며, 이 경우 이동통신 단말(100)과 통합 서버와 DCD CP의 DCD 컨텐츠 서버(400)간의 데이터 송수신이 이루어져 DCD 컨텐츠 제공을 통한 증강현실 서비스가 제공될 수 있다. 따라서, DCD 중계 서버(300)는 상술된 도 3의 가상화 처리서버(200)의 구성요소를 포함할 수 있으며, 반대의 경우도 마찬가지이다.

또한, DCD 중계 서버(300)는 DCD 컨텐츠를 이동통신 단말(100)로 바로 전송할 수 있으며, 이 경우 이동통신 단말(100)은 DCD 모듈(미도시)을 탑재하여 해당 DCD 컨텐츠를 수신하고, 실제영상에 DCD 컨텐츠를 포함한 합성영상을 생성하게 된다. 참고로, 사용자는 이동통신 단말(100)의 DCD 모듈을 통해 DCD 컨텐츠 채널에 가입하여 DCD 컨텐츠 채널을 통한 DCD 컨텐츠를 제공받을 수 있다.

또한, 상술된 도 2의 제1 정보 저장부(160), 도 3의 제2 정보 저장부(260), 도 11의 컨텐츠 저장부(320)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(Hard Disk Drive; HDD), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.

또한, 상기 도 2, 도 3, 도 11에서 도시된 각각의 구성요소는 일종의 '모듈'로 구성될 수 있다. 상기 '모듈'은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC) 과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

도 1은 본 발명의 일 실시 예에 따른 증강현실을 제공하는 개념도.

도 2는 본 발명의 일 실시 예에 따른 영상 합성 장치의 블록도.

도 3은 본 발명의 일 실시 예에 따른 합성 파라미터 추출장치의 블록도.

도 4는 본 발명의 일 실시 예에 따른 증강현실 제공 방법의 순서도.

도 5는 본 발명의 일 실시 예에 따른 합성 파라미터 정보 생성의 세부적인 과정.

도 6은 특징점 추출을 통한 기준 영역 선정의 예.

도 7은 카메라 이동시 가상 객체의 이동 변위 측정의 개념도.

도 8은 본 발명의 일 실시 예에 따른 매쉬업 정보 생성 과정의 예.

도 9는 본 발명의 일 실시 예에 따른 합성 파라미터 정보를 통해 실제영상에 가상 객체가 합성된 합성영상의 출력 화면.

도 10은 본 발명의 다른 실시 예에 따른 DCD 컨텐츠를 제공하는 개념도.

도 11은 본 발명의 다른 실시 예에 따른 DCD 중계 서버의 블록도.

<도면의 주요 부분에 관한 부호의 설명>

100: 이동통신 단말

110: 영상 처리부 120: 제1 송수신부

130: 측위부 140: 영상 합성부

150: 영상 출력부 160: 제1 정보 저장부

200: 가상화 처리서버

210: 제2 송수신부 220: 영상 변환부

230: 기준영역 선정부 240: 자세정보 추출부

250: 합성정보 생성부 260: 제2 정보 저장부

300: DCD 중계 서버

310: DCD 인터페이스부 320: 컨텐츠 수집부

330: 컨텐츠 포맷 변경부 340: 컨텐츠 관리부

350: 컨텐츠 전달부

400: DCD 컨텐츠 서버

Claims (10)

1. 이동통신 단말로부터 입력된 제1 영상에서 기준영역을 선정하는 기준영역 선정부와;

   상기 제1 영상과 이동통신 단말의 카메라 위치 변화에 따라 입력된 제2 영상을 비교하고 상기 제2 영상의 이동된 변위값을 측정하여 이동통신 단말의 자세정보를 추출하는 자세정보 추출부와;

   상기 이동통신 단말의 위치정보 및 상기 위치정보에 대응되는 컨텐츠를 이용하여 위치기반의 매쉬업 정보를 생성하고, 상기 자세정보에 따른 이동 변위값이 적용된 가상 객체에 상기 매쉬업 정보를 포함시켜 실제영상에 합성시킬 가상영상으로 생성하는 합성정보 생성부를 포함하여 구성되는 가상화 처리서버.
2. 제 1항에 있어서, 상기 컨텐츠는 OMA(Open Mobile Alliance) 표준을 따르는 DCD(Dynamic Contents Delivery) 컨텐츠인 것을 특징으로 하는 가상화 처리서버.
3. 제 1항에 있어서, 상기 기준영역 선정부는 상기 제1 영상에서 블록단위로 특징점을 추출하고 상기 특징점의 개수가 가장 많은 블록을 상기 기준영역으로 선정하고, 상기 제1 영상의 기준 영역을 기준으로 상기 제2 영상에 상기 기준 영역이 존재하는 지 여부를 판단하고, 상기 제2 영상에 상기 기준 영역이 존재할 경우 상기 제2 영상의 이동된 변위값을 측정하여 상기 자세정보를 추출하는 것을 특징으로 하는 가상화 처리서버.
4. 제 3항에 있어서, 상기 자세정보 추출부는 상기 제2 영상에 상기 기준 영역이 존재하지 않을 경우 상기 제2 영상에서 블록단위의 특징점 추출을 수행하여 기준 영역을 재선정하고, 재선정된 상기 제2 영상의 기준 영역을 기준으로 상기 자세정보의 추출이 이루어지는 것을 특징으로 하는 가상화 처리서버.
5. 실제영상과 가상영상을 합성한 합성영상을 생성하는 이동통신단말과;

   상기 이동통신단말로부터 수신한 기준이 되는 제1영상과 이 제1 영상의 기준 영역으로부터 이동통신단말의 카메라가 촬상한 영상이미지인 제2 영상의 위치 변화에 따른 그 이동된 변위를 측정한 후 그 변위된 값을 수평 및 수직 거리, 방위각을 반영하여 산출한 자세정보를 추출하고, 상기와 같이 추출된 자세정보와 이동통신 단말의 위치정보 및 상기 위치정보에 대응되는 DCD(Dynamic Contents Delivery) 컨텐츠를 바탕으로 실제영상에 합성시킬 상기 가상영상을 생성하는 가상화 처리서버와;

   상기 DCD 컨텐츠를 상기 위치정보에 따라 DCD CP(Dynamic Contents Delivery Contents Provider)의 DCD 컨텐츠 서버로 요청하고 수신된 상기 DCD 컨텐츠를 상기 가상화 처리서버로 전송하는 DCD 중계 서버를 포함하여 구성되는 DCD 컨텐츠를 이용한 증강현실 제공 시스템.
6. 제5항에 있어서, 상기 이동통신단말은 GPS(Global Positioning System) 위성측위 서비스를 바탕으로 상기 이동통신단말의 위치정보를 측정하여 상기 가상화 처리서버로 전송하는 측위부를 더 포함하는 것을 특징으로 하는 DCD 컨텐츠를 이용한 증강현실 제공 시스템.
7. 제5항에 있어서, 상기 가상화처리서버는 상기 이동통신단말로부터 수신한 제1영상과 이동통신 단말의 카메라 위치 변화에 따라 입력된 제2 영상을 비교하고 상기 제2 영상의 이동된 변위값을 측정하여 상기 이동통신 단말의 자세정보를 추출하는 자세정보 추출부와,

   상기 이동통신 단말의 위치정보 및 상기 위치정보에 대응되는 DCD 컨텐츠를 이용하여 매쉬업 정보를 생성하고, 상기 자세정보에 따른 이동 변위값이 적용된 가상 객체에 상기 매쉬업 정보를 포함시켜 실제영상에 합성시킬 상기 가상영상으로 생성하는 합성정보 생성부를 더 포함하는 것을 특징으로 하는 DCD 컨텐츠를 이용한 증강현실 제공 시스템.
8. 제5항에 있어서, 상기 DCD중계서버는 DCD 컨텐츠 서버와 DCD 컨텐츠 채널과의 매핑 기능을 제공하는 DCD 인터페이스부를 더 포함하는 것을 특징으로 하는 DCD 컨텐츠를 이용한 증강현실 제공 시스템.
9. 제8항에 있어서, 상기 DCD중계서버는 DCD 컨텐츠 채널을 통해 위치정보에 따른 상기 DCD 컨텐츠를 DCD 컨텐츠 서버로 요청하여 상기 DCD 컨텐츠를 수신하는 컨텐츠 수집부를 더 포함하는 것을 특징으로 하는 DCD 컨텐츠를 이용한 증강현실 제공 시스템.
10. 제5항 내지 제9항 중 어느 한 항에 있어서, 상기 DCD 중계서버는 OMA의 DCD 표준에 따라 컨텐츠의 포맷을 변경하는 컨텐츠포맷변경부를 더 포함하는 것을 특징으로 하는 DCD 컨텐츠를 이용한 증강현실 제공 시스템.

Images