KR101973653B1

KR101973653B1 - 증강 현실 기반 콘텐츠 제공 시스템과 그 방법

Info

Publication number: KR101973653B1
Application number: KR1020180050155A
Authority: KR
Inventors: 최진원; 나황균; 이창환
Original assignee: 주식회사 유니크유엑스
Priority date: 2018-04-30
Filing date: 2018-04-30
Publication date: 2019-04-29
Anticipated expiration: 2038-04-30

Abstract

본 발명의 증강 현실 기반 콘텐츠 제공 시스템의 단말기는, 네트워크에 접속하여 신호를 송수신하는 통신부와; 영상을 촬영하여 영상데이터를 획득하는 촬영부와; 상기 영상데이터로부터 검출된 추정마커와 서버로부터 수신한 마커 정보를 비교하여 비교데이터를 생성하는 판단부와; 상기 비교데이터에 대응하여 클라우드로부터 전송 받은 콘텐츠가 저장된 저장부와; 상기 촬영부로부터 획득된 상기 영상데이터나 저장된 상기 콘텐츠를 표시하는 표시부와; 어플리케이션의 동작 명령을 입력 받는 입력부와; 상기 통신부와, 상기 촬영부, 상기 판단부, 상기 저장부, 상기 입력부, 그리고 상기 표시부를 제어하는 제어부를 포함한다.

Description

증강 현실 기반 콘텐츠 제공 시스템과 그 방법{System And Method For Providing Contents On Augmented Reality}

본 발명은 증강 현실 기반 콘텐츠 제공에 관한 것으로, 특히, 마커 인식을 통한 증강 현실 기반 콘텐츠 제공 시스템과 그 방법에 관한 것이다.

증강 현실(Augmented Reality: AR)이란 실제 세계에서 가상의 이미지를 겹쳐서 보여주는 기술을 의미한다.

흔히, 증강 현실 기술은 가상 세계와 현실 세계의 만남이라고 표현되는데, 이는 사용자가 눈으로 보는 현실 화면이나 실제 영상에 문자나 그래픽 같은 가상 정보를 실시간으로 중첩하여 한 영상으로 보여주거나, 가상 객체를 혼합하여 사용자가 보다 실감나는 부가정보를 제공받는 기술이다. 이러한 증강 현실 기술은 게임이나 광고, 교육 등의 콘텐츠 개발에 많이 이용되고 있다.

최근에는 증강 현실 기술에 마커 인식 기술을 접목하여 콘텐츠를 제공하는 방법이 널리 사용되고 있다. 마커 인식을 통한 증강 현실 기술은 가상 객체를 위치시킬 마커(marker)를 현실 세계의 공간에 배치하고, 카메라 등의 촬영 장치에 의해 지정된 마커를 인식한 다음, 마커 상에 증강 오브젝트, 즉, 마커에 대응하는 이미지나 영상을 구현한다.

그런데, 종래의 마커 인식을 통한 증강 현실 기술은 마커와 콘텐츠의 변화에 실시간으로 대응하지 못하는 단점이 있다.

본 발명은, 상기한 문제점을 해결하기 위하여 제시된 것으로, 마커와 콘텐츠의 변화에 실시간으로 대응할 수 있는 증강 현실 기반 콘텐츠 제공 시스템과 그 방법을 제공하는 것을 목적으로 한다.

상기의 목적을 달성하기 위하여, 본 발명의 증강 현실 기반 콘텐츠 제공 시스템의 단말기는, 네트워크에 접속하여 신호를 송수신하는 통신부와; 영상을 촬영하여 영상데이터를 획득하는 촬영부와; 상기 영상데이터로부터 검출된 추정마커와 서버로부터 수신한 마커 정보를 비교하여 비교데이터를 생성하는 판단부와; 상기 비교데이터에 대응하여 클라우드로부터 전송 받은 콘텐츠가 저장된 저장부와; 상기 촬영부로부터 획득된 상기 영상데이터나 저장된 상기 콘텐츠를 표시하는 표시부와; 어플리케이션의 동작 명령을 입력 받는 입력부와; 상기 통신부와, 상기 촬영부, 상기 판단부, 상기 저장부, 상기 입력부, 그리고 상기 표시부를 제어하는 제어부를 포함한다.

상기 통신부는 상기 서버로부터 상기 마커 정보를 수신하고, 상기 비교데이터를 상기 서버로 송신하며, 상기 클라우드로부터 상기 콘텐츠를 전송 받을 수 있다.

상기 판단부는 어플리케이션의 실행이 최초인지 판단하고, 상기 어플리케이션의 실행이 최초가 아닌 경우, 상기 비교데이터와 저장된 상기 콘텐츠가 매칭되는지 판단할 수 있다.

또한, 상기 판단부는 부가서비스 실행 여부를 판단하여 부가데이터를 생성하고, 상기 통신부는 상기 클라우드로부터 상기 부가데이터에 대응하는 부가서비스를 전송 받으며, 상기 표시부는 전송 받은 상기 부가서비스를 표시할 수 있다.

한편, 본 발명의 증강 현실 기반 콘텐츠 제공 시스템은, 마커와 콘텐츠를 저장하는 클라우드와; 상기 마커에 대한 마커 정보와 상기 콘텐츠에 대한 콘텐츠 정보를 저장하는 서버와; 어플리케이션의 실행이 최초인 경우, 상기 서버로부터 수신된 상기 마커 정보를 영상데이터로부터 검출된 추정마커와 비교하여 비교데이터를 생성하고, 상기 비교데이터에 대응하는 콘텐츠를 상기 클라우드로부터 전송 받아 저장한 다음, 저장된 상기 콘텐츠를 재생하며, 상기 어플리케이션의 실행이 최초가 아닌 경우, 상기 서버로부터 수신된 상기 마커 정보를 영상데이터로부터 검출된 추정마커와 비교하여 비교데이터를 생성하고, 상기 비교데이터를 저장된 콘텐츠와 매칭시키며, 매칭될 때, 매칭된 상기 콘텐츠를 재생하고, 매칭되지 않을 때, 상기 비교데이터에 대응하는 콘텐츠를 상기 클라우드로부터 전송 받아 저장한 다음, 저장된 상기 콘텐츠를 재생하는 단말기를 포함한다.

여기서, 상기 클라우드는 부가서비스를 저장하고, 상기 서버는 상기 부가서비스에 대한 부가서비스 정보를 저장하며, 상기 단말기는 부가데이터를 생성하여 상기 서버로 전송하고, 상기 부가데이터에 대응하는 부가서비스를 상기 클라우드로부터 전송 받아 실행할 수 있다.

한편, 본 발명의 증강 현실 기반 콘텐츠 제공 방법은, 어플리케이션을 실행하는 단계와; 마커 정보를 수신하는 단계와; 영상데이터를 획득하는 단계와; 상기 영상데이터로부터 추정마커를 검출하는 단계와; 상기 추정마커와 상기 마커 정보를 비교하여 비교데이터를 생성하는 단계와; 상기 어플리케이션의 실행이 최초인 경우, 상기 비교데이터에 대응하는 콘텐츠를 전송 받는 단계와; 상기 콘텐츠를 저장하는 단계와; 저장된 상기 콘텐츠를 재생하는 단계를 포함한다.

또 다른 본 발명의 증강 현실 기반 콘텐츠 제공 방법은, 어플리케이션을 실행하는 단계와; 마커 정보를 수신하는 단계와; 영상데이터를 획득하는 단계와; 상기 영상데이터로부터 추정마커를 검출하는 단계와; 상기 추정마커와 상기 마커 정보를 비교하여 비교데이터를 생성하는 단계와; 상기 어플리케이션의 실행이 최초가 아닌 경우, 상기 비교데이터를 저장된 콘텐츠와 매칭하여, 매칭될 때 매칭된 상기 콘텐츠를 재생하고, 매칭되지 않을 때, 상기 비교데이터에 대응하는 콘텐츠를 전송 받는 단계와; 전송 받은 상기 콘텐츠를 저장하는 단계와; 저장된 상기 콘텐츠를 재생하는 단계를 포함한다.

여기서, 본 발명의 증강 현실 기반 콘텐츠 제공 방법은, 상기 비교데이터에 대응하는 콘텐츠를 전송 받는 단계 이전에, 상기 비교데이터를 상기 콘텐츠에 대한 콘텐츠 정보와 매칭하는 단계와; 매칭 결과에 따라 상기 콘텐츠를 요청하는 단계와; 요청된 상기 콘텐츠를 전송하는 단계를 더 포함할 수 있다.

또한, 본 발명의 증강 현실 기반 콘텐츠 제공 방법은, 부가데이터를 생성하는 단계와; 상기 부가데이터에 대응하는 부가서비스를 전송 받는 단계와; 상기 부가서비스를 실행하는 단계를 더 포함할 수 있다.

본 발명은, 마커를 인식한 후 재생할 증강 현실 콘텐츠를 클라우드로부터 받아서 처리함으로써, 어플리케이션의 업데이트 없이 사용자가 원하는 콘텐츠를 실시간으로 제공할 수 있는 효과가 있다.

또한, 적어도 1회 인식된 마커에 대한 증강 현실 콘텐츠는 단말기에 저장되어 저장된 콘텐츠를 반복 재생함으로써, 데이터 비용을 절감할 수 있는 효과가 있다.

또한, 인터랙션에 필요한 데이터를 서버와 연동하여 관리함으로써, 실시간으로 데이터 변경 및 적용이 가능하며, 다양한 서비스를 제공하는데 유리한 효과가 있다.

도 1은 본 발명의 실시예에 따른 증강 현실 기반 콘텐츠 제공 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 증강 현실 기반 콘텐츠 제공 시스템의 사용자 단말기를 개략적으로 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 증강 현실 기반 콘텐츠의 제공 방법에 대한일례를 개략적으로 도시한 흐름도이다.
도 4a 내지 도 4d는 본 발명의 실시예에 따른 콘텐츠 재생 및 부가서비스 실행의 일례들을 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 증강 현실을 이용한 콘텐츠의 제공 방법의 다른 예를 개략적으로 도시한 흐름도이다.

이하, 위와 같은 문제를 해결할 수 있는 본 발명에 대하여 도면을 참조하여 설명한다.

도 1은 본 발명의 실시예에 따른 증강 현실 기반 콘텐츠 제공 시스템을 개략적으로 도시한 도면이다.

도 1에 도시한 바와 같이, 증강 현실 기반 콘텐츠 제공 시스템(10)은 제1 단말기(20)와, 제2 단말기(30), 서버(40), 클라우드(50), 그리고 네트워크(60)를 포함한다.

제1 단말기(20)는 사용자 단말기로, 네트워크(60)를 통하여 서버(40) 및/또는 클라우드(50)에 연결될 수 있는 모든 종류의 핸드헬드(handheld) 기반의 무선 통신 장치를 포함할 수 있다. 일례로, 제1 단말기(20)는 스마트폰(smartphone)이나, 개인 정보 단말기(personal digital assistant: PDA), 또는 태블릿 PC(tablet personal computer)일 수 있으며, 이에 제한되지 않는다.

이러한 제1 단말기(20)는 어플리케이션(application)을 다운로드 받아, 마커를 인식하고 콘텐츠를 저장 및/또는 재생한다. 즉, 제1 단말기(20)는 카메라 등의 촬영 장치에 의해 지정된 마커를 인식한다. 이어, 제1 단말기(20)는 네트워크(60)를 통해 서버(40) 및/또는 클라우드(50)와 접속하여, 인식된 마커에 대응하는 서비스, 즉, 콘텐츠를 제공받아 이를 저장 및/또는 재생한다.

또한, 제1 단말기(20)는 네트워크(60)를 통해 서버(40) 및/또는 클라우드(50)와 접속하여, 콘텐츠와 관련된 부가서비스를 제공받아 실행할 수 있다. 이와 달리, 제1 단말기(20)는 콘텐츠와 별도로 부가서비스를 제공받아 실행할 수도 있으며, 이에 제한되지 않는다.

여기서, 마커는 사진이나 명함, 브로슈어(brochure), 홍보물, 상품 카달로그 등과 같이 프린터 등의 장치에 의해 페이퍼 형태로 인쇄된 2차원 이미지일 수 있다. 이와 달리, 마커는 3차원 입체 이미지 또는 GPS(global positioning system) 좌표일 수 있으며, 이에 제한되지 않는다.

또한, 콘텐츠는 마커에 대응하는 영상으로 정지영상이나 동영상일 수 있으며, 이러한 콘텐츠는 2차원이나 3차원의 형태로 제공될 수 있다. 이와 달리, 콘텐츠는 오디오나 텍스트일 수도 있으며, 이에 제한되지 않는다.

여기서, 콘텐츠 영상의 특정 프레임, 일례로, 첫 프레임을 마커로 사용할 수 있으며, 마커의 구성은 이에 제한되지 않는다. 이때, 하나의 콘텐츠에 대해 하나 이상의 마커가 사용될 수 있다.

한편, 부가서비스의 예로서 캡션 기능이나 홈페이지 연동 기능, 공유 기능, 주문과 결제 및 인증 기능, 전체 화면 기능, 카메라 설정 기능 등을 포함할 수 있으며, 이에 제한되지 않는다.

클라우드(50)는 제1 단말기(20)에서 서비스 수행을 위한 다양한 데이터를 제공하기 위한 것으로, 클라우드(50)는 다양한 데이터를 저장하는 데이터베이스를 포함할 수 있다. 이때, 데이터베이스는 데이터 종류별로 각각 구비될 수 있다. 이와 달리, 여러 데이터에 대응하여 하나의 데이터베이스가 구비될 수도 있으며, 이에 제한되지 않는다.

일례로, 이러한 클라우드(50)는 마커와 콘텐츠 및 부가서비스를 저장할 수 있다. 이를 위해, 클라우드(50)는 마커와 콘텐츠 및 부가서비스 각각에 대응하여 이들을 저장하기 위한 데이터베이스를 포함할 수 있다. 즉, 클라우드(50)는 마커 데이터베이스와, 콘텐츠 데이터베이스, 그리고 부가서비스 데이터베이스를 포함할 수 있으며, 이에 제한되지 않는다.

한편, 서버(40)는 클라우드(50)에 저장되는 다양한 데이터를 관리한다. 이를 위해, 서버(40)는 각 데이터에 대한 정보를 저장할 수 있다.

일례로, 서버(40)는 마커 정보와 콘텐츠 정보 및 부가서비스 정보를 저장할 수 있으며, 이에 제한되지 않는다.

마커 정보는 마커의 색상이나 선분 또는 에지 등에 대한 정보일 수 있으며, 이에 제한되지 않는다.

또한, 콘텐츠 정보는 콘텐츠의 특정 프레임에 대한 정보나 콘텐츠의 총 길이 또는 용량 등의 정보일 수 있으며, 이에 제한되지 않는다.

부가서비스 정보는 홈페이지 주소나 SNS 등록 정보, 공유하고자 하는 내용, 캡션 링크 URL 등을 포함할 수 있으며, 이에 제한되지 않는다.

또한, 서버(40)는 클라우드(50)에 저장되는 데이터에 대한 비교를 수행할 수 있다. 즉, 서버(40)는 제1 단말기(20)에서 마커 비교에 따른 결과를 전송 받아 클라우드(50)에 저장되는 데이터에 대한 정보와 비교함으로써, 클라우드(50)로부터 원하는 데이터가 제1 단말기(20)로 전송될 수 있도록 할 수 있다.

제2 단말기(30)는 관리자 단말기로, 네트워크(60)를 통해 서버(40) 및/또는 클라우드(50)에 연결될 수 있는 통신 장치를 포함할 수 있다. 일례로, 제2 단말기(30)는 데스크탑 PC나, 태블릿 PC, 노트북 PC, 또는 셋탑 박스를 포함하는 인터넷 프로토콜 텔레비전(internet protocol television: IPTV)일 수 있으며, 이에 제한되지 않는다.

제2 단말기(30)는 서버(40) 또는 클라우드(60)에 저장되는 마커 및/또는 마커 정보와, 콘텐츠 및/또는 콘텐츠 정보, 그리고 부가서비스 및/또는 부가서비스 정보 등을 생성하거나 등록, 변경 또는 삭제 등을 통해 정보 데이터를 관리한다.

앞서 언급한 바와 같이, 제1 및 제2단말기(20, 30)는 네트워크(60)를 통해 서버(40) 및 클라우드(50)에 연결될 수 있다. 여기서, 네트워크(60)는 광대역 네트워크 또는 근거리 네트워크일 수 있다. 일례로, 광대역 네트워크는 LTE(long term evolution) 네트워크이고, 근거리 네트워크는 Wireless LAN(wireless local area network)일 수 있으며, 이에 제한되지 않는다.

도 2는 본 발명의 실시예에 따른 증강 현실 기반 콘텐츠 제공 시스템의 사용자 단말기를 개략적으로 도시한 도면으로, 도 1의 제1 단말기에 해당한다.

도 2에 도시한 바와 같이, 사용자 단말기(20)는 통신부(21)와, 촬영부(22), 판단부(23), 입력부(24), 저장부(25), 표시부(26), 그리고 제어부(27)를 포함한다.

통신부(21)는 안테나 등을 통해 네트워크(도 1의 60)에 접속하여 신호를 송수신하는 역할을 한다. 일례로, 통신부(21)는 듀플렉서, 송신부 및 수신부를 포함할 수 있다. 여기서, 듀플렉서는 안테나를 통해 무선으로 송수신되는 신호를 분리하고, 송신부는 소정의 중간주파수 신호를 무선주파수로 변환하여 상기 듀플렉서를 통해 출력하며, 수신부는 안테나를 통해 수신되는 무선신호를 상기 듀플렉서를 통해 입력 받아 소정의 중간 주파수 신호로 변환하여 출력한다.

이러한 통신부(21)는 서버(도 1의 40)로부터 마커 정보를 수신하고, 비교데이터를 서버(도 1의 40)로 송신하며, 클라우드(도 1의 50)로부터 콘텐츠를 전송 받는다.

촬영부(22)는 디지털 카메라와 같이 디지털 영상 정보를 얻을 수 있는 장비를 모두 포함할 수 있으며, 이러한 촬영부(22)는 실제 객체 및/또는 마커를 포함하는 현실 환경에 대한 영상을 촬영함으로써 영상데이터를 획득한다.

판단부(23)는 촬영부(22)를 통해 획득한 영상데이터로부터 검출된 추정마커가 서버(도 1의 40)로부터 수신된 마커 정보와 일치하는지 판단하여 비교데이터를 생성한다. 앞서 언급한 바와 같이, 생성된 비교데이터는 통신부(21)에 의해 서버(도 1의 40)로 전송된다.

또한, 판단부(23)는 어플리케이션의 실행이 최초인지 판단하고, 어플리케이션의 실행이 최초가 아닌 경우, 비교데이터와 저장부(25)에 저장된 콘텐츠가 매칭되는지 판단한다.

한편, 판단부(23)는 입력부(24)를 통한 명령에 따라 증강 현실 콘텐츠 이외의 부가서비스를 실행할지 여부를 판단하고, 부가서비스를 실행하는 것으로 판단할 경우, 해당하는 부가서비스에 대한 부가데이터를 생성한다.

입력부(24)는 어플리케이션의 동작 명령을 입력 받는다. 이러한 입력부(24)는 인터랙션(interaction)이 가능한 사용자 인터페이스(user interface: UI)를 통해 실행하고자 하는 부가서비스에 대한 명령을 입력 받아 판단부(23)로 전송한다.

저장부(25)는 네트워크(도 1의 60)를 통해 서버(도 1의 40)나 클라우드(도 1의 50)로부터 어플리케이션을 다운로드 받아 저장한다. 또한, 저장부(25)는 어플리케이션을 실행 후, 적어도 1회 인식된 마커에 대응하는 콘텐츠를 클라우드(도 1의 50)로부터 전송 받아 저장한다. 저장된 콘텐츠는 비교데이터에 대응한다.

이러한 저장부(25)는 디스크나 칩 등과 같은 통상적인 형태의 메모리를 포함하며, 디지털 정보를 저장하여 전자적으로 처리할 수 있는 매체이면 모두 포함한다.

표시부(26)는 촬영부(22)를 통해 획득된 영상데이터를 표시하며, 판단부(23)와 통신부(21)를 통해 얻어진 콘텐츠, 예를 들어, 동영상을 화면 상에 표시된 마커와 중첩하여 재생한다. 이때, 콘텐츠는 저장부(25)로부터 제공될 수도 있다.

또한, 표시부(26)는 부가서비스 실행을 위해 인터랙션이 가능한 UI를 화면 상에 가상 버튼 등의 형태로 표시하며, 입력부(24)를 통해 입력된 명령에 따라 해당 부가서비스를 화면 상에 표시한다.

이러한 표시부(26)는 액정표시장치나 유기발광다이오드 표시장치 등으로 구현될 수 있으며, 이에 제한되지 않는다.

제어부(27)는 어플리케이션에 의해 콘텐츠를 재생하는 과정을 제어한다. 즉, 제어부(27)는 통신부(21)와, 촬영부(22), 판단부(23), 입력부(24), 저장부(25), 그리고 표시부(26)를 제어하는 역할을 하는 것으로, 신호 전송이나 신호 생성 등을 제어하며, 중앙처리장치(CPU)의 형태를 가질 수 있다.

이러한 본 발명의 실시예에 따른 증강 현실 기반 콘텐츠 제공 시스템은, 제1 단말기가 네트워크를 통해 서버로부터 마커 정보를 동적으로 받아서 처리함으로써, 어플리케이션의 업데이트 없이 마커를 인식할 수 있다.

게다가, 증강 현실에 필요한 마커와 콘텐츠 및 부가서비스를 필요한 시점에 호출하여 적용함으로써, 어플리케이션과 서버의 부하를 줄일 수 있다.

또한, 제1 단말기가 마커를 인식한 후 재생할 콘텐츠를 클라우드로부터 받아서 처리함으로써, 어플리케이션의 업데이트 없이 사용자가 원하는 콘텐츠를 실시간으로 제공할 수 있다.

이에 따라, 어플리케이션 업데이트 요소를 최소화하여, 어플리케이션 개발 및 유지보수 등에 소요되는 비용을 최소화할 수 있다.

또한, 마커가 될 수 있는 대상을 2차원 이미지나 입체 이미지 또는 GPS 좌표 등으로 확대함으로써, 보다 다양한 콘텐츠를 제공할 수 있어 활용도를 증대시킬 수 있다.

또한, 적어도 1회 인식된 마커에 대한 동영상 등의 콘텐츠는 제1 단말기(20)에 저장되어 저장된 콘텐츠를 반복 재생함으로써, 재생 시마다 클라우드(50)에 접속할 필요가 없으므로, 서비스 제공자와 서비스 사용자 모두 데이터 비용 절감의 효과가 있다.

한편, 증강 현실 콘텐츠와 마커 및 부가서비스 등을 서버를 통해 별도로 관리함으로써, 고정된 콘텐츠가 아니라, 계절이나 시간 또는 이벤트 등에 따라 다양하게 변화된 콘텐츠를 제공할 수 있다.

또한, 마커의 관리, 즉, 마커의 등록, 삭제, 변경이 가능함으로써, 다양한 클라이언트 서비스가 가능하며, 마커를 쉽게 관리할 수 있는 환경을 제공함으로써, 최고의 가성비를 제공할 수 있다.

또한, 인터랙션이 가능한 사용자 UI를 배치하고, 각 UI 메뉴들에 대응하는 각종 정보 데이터를 관리 및 제공함으로써, 부가가치 창출 및 장기고객을 확보할 수 있으며, 인터랙션에 필요한 데이터를 서버와 연동함으로써, 실시간으로 데이터 변경 및 적용이 가능하다.

게다가, 마커 인식을 통해 홈페이지 연결, 캡션 삽입, SNS 공유 등 다양한 부가서비스를 제공할 수 있으므로, 서비스 확장이 가능하고, 특히, 웹 페이지 연결 기능을 이용하여 주문, 결제, 인증 등의 활용이 가능하므로, 전자상거래나 맞춤형 정보 제공 등이 가능하다.

이러한 시스템을 이용한 본 발명의 실시예에 따른 증강 현실 기반 콘텐츠의 제공 방법에 대하여 도면을 참조하여 설명한다.

도 3은 본 발명의 실시예에 따른 증강 현실 기반 콘텐츠의 제공 방법에 대한일례를 개략적으로 도시한 흐름도로, 어플리케이션의 실행이 최초인 경우를 나타낸다. 도 4a 내지 도 4d는 본 발명의 실시예에 따른 콘텐츠 재생 및 부가서비스 실행의 일례들을 도시한 도면이다. 여기서, 단말기는 사용자 단말기로 도 1의 제1 단말기에 해당한다.

도 3에 도시한 바와 같이, 사용자가 단말기에 설치되어 있는 어플리케이션을 실행하면(S110), 단말기는 네트워크(도 1의 60)를 통해 서버에 접속하여 서버로부터 마커 정보를 수신한다(S112).

마커 정보는 클라우드에 저장된 마커에 대한 정보로, 마커의 색상이나 선분 또는 에지 등에 대한 정보일 수 있으며, 이에 제한되지 않는다.

한편, 마커는 가상 객체를 위치시킬 부분으로, 사진이나 명함, 브로슈어, 홍보물, 상품 카달로그 등과 같은 2차원 이미지일 수 있다. 이와 달리, 마커는 3차원 입체 이미지 또는 GPS 좌표일 수 있으며, 이에 제한되지 않는다.

다음, 단말기는 촬영부(도 2의 22)를 통해 실제 객체 및/또는 마커를 포함하는 영상을 촬영함으로써, 영상데이터를 획득한다(S120). 이어, 영상데이터로부터 추정마커를 검출한다(S130).

다음, 단말기는 검출된 추정마커를 서버로부터 수신한 마커 정보와 비교하여 비교데이터를 생성한다(S140). 이어, 단말기는 생성된 비교데이터를 네트워크(도 1의 60)를 통해 서버로 송신한다(S142).

다음, 서버는 단말기로부터 수신한 비교데이터를 콘텐츠 정보와 매칭시킨다(S210). 여기서, 콘텐츠 정보는 클라우드에 저장된 콘텐츠에 대한 정보로, 증강 현실 콘텐츠의 특정 프레임에 대한 정보를 포함할 수 있다.

이어, 서버는 비교데이터와 콘텐츠 정보의 매칭 결과에 따라 비교데이터에 대응하는 콘텐츠를 네트워크(도 1의 60)를 통해 클라우드에 요청하고(S212), 클라우드는 요청된 콘텐츠를 네트워크(도 1의 60)를 통해 단말기로 전송한다(S312).

다음, 단말기는 네트워크(도 1의 60)를 통해 클라우드로부터 전송된 콘텐츠를 저장부(도 2의 25)에 저장한다(S150). 다음, 단말기는 저장된 콘텐츠를 표시부(도 2의 26)를 통해 재생한다(S160).

이때, 도 4a에 도시한 바와 같이, 재생되는 콘텐츠는 마커 영역(MA) 내에서 재생된다. 마커 영역(MA)의 크기는 단말기의 표시부(도 2의 26)의 화면보다 작으며, 마커에 대한 단말기의 위치 변화에 따라 마커 영역(MA)의 크기는 달라질 수 있다. 즉, 마커에 대한 단말기의 위치가 멀어질수록 마커 영역(MA)의 크기는 작아질 수 있으며, 이에 제한되지 않는다.

이와 달리, 마커 영역(MA)은 마커에 대한 단말기의 위치와 상관 없이 고정된 크기를 가질 수도 있다. 이때, 마커 영역(MA)은 최초 인식된 마커의 크기에 대응할 수 있으며, 이에 제한되지 않는다.

다음, 단말기는 입력부(도 2의 24)를 통한 사용자의 입력에 따라 부가서비스를 실행할지 여부를 판단한다(S170). 부가서비스를 실행하지 않을 경우, 단말기는 해당 어플리케이션을 종료할 수 있다.

반면, 부가서비스를 실행할 경우, 단말기는 부가서비스에 대응하는 부가데이터를 생성하고, 네트워크(도 1의 60)를 통해 부가데이터를 서버로 송신한다(S172).

이어, 서버는 단말기로부터 수신한 부가데이터를 부가서비스 정보와 매칭한다(S220). 부가서비스 정보는 클라우드에 저장된 부가서비스에 대한 정보이다. 일례로, 부가서비스는 캡션 기능이나, 전체 화면 기능, 홈페이지 연동 기능, 공유 기능, 검색 기능, 결제 및 인증 기능 등일 수 있으며, 이에 제한되지 않는다.

다음, 서버는 부가데이터와 부가서비스 정보의 매칭 결과에 따라 부가데이터에 대응하는 부가서비스를 네트워크(도 1의 60)를 통해 클라우드에 요청하고(S222), 클라우드는 요청된 부가서비스를 네트워크(도 1의 60)를 통해 단말기로 전송한다(S322).

다음, 단말기는 클라우드로부터 전송된 부가서비스를 실행(S180)한다.

일례로, 도 4b에 도시한 바와 같이, 전체 화면 기능에 대한 부가서비스를 실행할 수 있다. 이는 마커를 인식했을 때 재생되는 콘텐츠, 즉, 영상을 단말기의 전체화면으로 감상할 수 있는 기능이다. 마커를 인식한 후, 도 4b에서 활성화되는 화면의 오른쪽 상단으로부터 네 번째 버튼을 터치하면, 재생되는 콘텐츠는 단말기의 전체화면 상에 표시된다. 이에 따라, 사용자는 보다 넓은 화면으로 콘텐츠를 감상할 수 있다. 여기서, 버튼의 위치는 서비스 제공자, 즉, 관리자의 설정에 따라 달라질 수 있다.

어플리케이션 실행 후 한번도 마커를 인식하지 않았다면, 해당 버튼은 비활성화되어 기능을 사용할 수 없고, 마커를 인식한 순간부터 사용할 수 있다. 마커를 인식 중이지 않은 경우에도, 가장 최근에 인식한 마커가 있다면, 해당 마커의 영상을 전체화면으로 감상할 수 있으며, 이에 제한되지 않는다.

이때, 캡션 기능을 추가적으로 사용할 수 있다. 즉, 클라우드의 데이터베이스 상에 전체화면 재생 시 출력하고 싶은 문구를 지정해 놓으면, 전체화면 기능을 사용했을 때, 전체화면 하단에 문구 출력이 가능하다. 또한, 문구에 대해 링크를 설정하여, 해당 문구를 터치하였을 때, 해당 문구에 대한 추가 설명이나 관련 자료 등을 제공할 수도 있다.

또는, 도 4c에 도시한 바와 같이, 홈페이지 연동에 대한 부가서비스를 실행할 수 있다. 예를 들어, 마커를 인식한 후, 화면 오른쪽 상단으로부터 다섯 번째 버튼을 터치하면, 도 4c와 같이, 해당 마커에 관련된 홈페이지로 이동할 수 있다. 이때, 이동할 홈페이지의 주소는 클라우드의 데이터 베이스를 통해 지정할 수 있다. 이와 달리, 이동할 홈페이지의 주소는 서버를 통해 지정할 수도 있다.

또는, 도 4d에 도시한 바와 같이, 공유 기능에 대한 부가서비스를 실행할 수 있다. 예를 들어, 마커를 인식한 후, 화면 오른쪽 최하단 버튼을 클릭하면, 해당 마커에 관련된 내용을 SMS(short message service)나 SNS(social network service)를 통해 공유할 수 있다. 이때, 공유할 내용은 클라우드의 데이터베이스를 통해 지정할 수 있다. 이와 달리, 공유할 내용은 서버를 통해 지정할 수도 있다.

한편, 전/후면 카메라 전환 및 플래시 기능을 부가서비스로 지정할 수도 있다. 기본 값으로 후면 카메라를 사용하지만, 사용자가 전면 카메라의 사용을 원할 경우, 도 4a의 화면 오른쪽 상단으로부터 두 번째 버튼을 터치함으로써, 전면 카메라와 후면 카메라의 선택적 전환이 가능하다. 또한, 어두운 환경에서 해당 어플리케이션을 사용하여 마커 인식에 어려움이 있을 때, 도 4a의 화면 오른쪽 상단으로부터 세 번째 버튼을 터치함으로써, 단말기의 플래시를 켜거나 끌 수 있다.

부가서비스의 예는 이에 한정되지 않으며, 다양한 부가서비스가 제공될 수 있고, 관리자 또는 사용자의 의도에 따라 부가서비스는 선택적으로 적용 및 제공될 수 있다.

또한, 하나의 부가서비스를 실행 후, 추가적인 부가서비스를 실행할 수도 있으며, 이러한 경우, 단계 S170 과 단계 S180을 반복할 수 있다. 이때, 부가서비스의 실행 회수는 제한되지 않는다.

이러한 본 발명에서는 마커를 인식하면, 실시간으로 데이터베이스 상에서 해당 마커와 연결된 콘텐츠, 즉, 증강 현실 영상을 단말기의 저장부(도 2의 25)에 저장하고, 저장된 영상을 재생하도록 한다. 이때, 영상은 매번 다운로드하는 것이 아니라, 기존에 인식된 적이 없는 마커를 최초 인식하거나, 영상이 변경되었을 때에만 다운로드하여 불필요한 데이터 전송이 발생하지 않는다.

앞서 언급한 바와 같이, 도 3의 예는 어플리케이션의 실행이 최초인 경우에 관한 것으로, 어플리케이션의 실행이 최초가 아닌 경우, 본 발명의 증강 현실 기반 콘텐츠의 제공 방법은 달라진다. 이러한 본 발명의 다른 예에 대하여 도 5를 참조하여 상세히 설명한다.

도 5는 본 발명의 실시예에 따른 증강 현실을 이용한 콘텐츠의 제공 방법의 다른 예를 개략적으로 도시한 흐름도로, 어플리케이션의 실행이 최초가 아닌 경우를 나타낸다.

도 5에 도시한 바와 같이, 사용자가 단말기에 설치되어 있는 어플리케이션을 실행하면(S510), 단말기는 네트워크(도 1의 60)를 통해 서버에 접속하여 서버로부터 마커 정보를 수신한다(S512). 여기서, 단말기는 저장부(도 2의 25)에 저장된 적어도 하나의 콘텐츠를 가진다.

다음, 단말기는 촬영부(도 2의 22)를 통해 실제 객체 및/또는 마커를 포함하는 영상을 촬영함으로써, 영상데이터를 획득한다(S520). 이어, 영상데이터로부터 추정마커를 검출한다(S530).

다음, 단말기는 검출된 추정마커를 서버로부터 수신한 마커 정보와 비교하여 비교데이터를 생성한다(S540).

이어, 단말기는 비교데이터를 저장부(도 2의 25) 내에 저장되어 있는 콘텐츠와 매칭시켜(S550), 비교데이터가 저장된 콘텐츠와 매칭되는지 판단한다(S560). 여기서, 단말기의 저장부(도 2의 25)에는 저장된 콘텐츠에 대응하는 콘텐츠 정보가 더 저장되어 있을 수 있으며, 단말기는 비교데이터를 저장된 콘텐츠 정보와 비교함으로써 매칭시킬 수 있다.

비교데이터와 저장된 콘텐츠가 매칭될 경우, 단말기는 저장된 콘텐츠를 재생한다(S580).

반면, 비교데이터와 저장된 콘텐츠가 매칭되지 않을 경우, 단말기는 비교데이터를 네트워크(도 1의 60)를 통해 서버로 송신한다(S562).

다음, 서버는 단말기로부터 수신한 비교데이터를 콘텐츠 정보와 매칭시킨다(S610). 여기서, 콘텐츠 정보는 클라우드에 저장된 콘텐츠에 대한 정보로, 증강 현실 콘텐츠의 특정 프레임에 대한 정보를 포함할 수 있다.

이어, 서버는 비교데이터와 콘텐츠 정보의 매칭 결과에 따라 비교데이터에 대응하는 콘텐츠를 네트워크(도 1의 60)를 통해 클라우드에 요청하고(S612), 클라우드는 요청된 콘텐츠를 네트워크(도 1의 60)를 통해 단말기로 전송한다(S712).

다음, 단말기는 네트워크(도 1의 60)를 통해 클라우드로부터 전송된 콘텐츠를 저장부(도 2의 25)에 저장한다(S570). 다음, 단말기는 저장된 콘텐츠를 표시부(도 2의 26)를 통해 재생한다(S580).

앞서 언급한 바와 같이, 재생되는 콘텐츠는 마커 영역(도 4a의 MA) 내에서 재생된다.

다음, 도 3에서와 같이, 단말기는 입력부(도 2의 24)를 통한 사용자의 입력에 따라 부가서비스를 실행할지 여부를 판단하고(도 3의 S170), 단계 S172와 S220, S222, S322를 통해 부가서비스를 실행하거나(도 3의 S180), 부가서비스 없이 해당 어플리케이션을 종료할 수 있다.

이와 같이, 본 발명에서는 저장된 콘텐츠에 대해 마커 인식 후 추가적인 다운로드 없이 저장된 콘텐츠를 재생함으로써, 불필요한 데이터 전송이 발생하지 않으므로, 콘텐츠 재생을 위한 비용을 절감할 수 있다.

한편, 앞선 본 발명의 실시에서는 서버를 통해 비교데이터와 콘텐츠 정보를 매칭하고, 클라우드로부터 매칭 결과에 따른 콘텐츠를 단말기로 전송함으로써, 서버에서 콘텐츠나 부가서비스에 대한 관리를 한다. 이에 따라, 데이터의 관리가 용이하며, 서비스 확장에 유리한 장점이 있다.

이와 달리, 본 발명은 단말기로부터 비교데이터를 클라우드로 직접 보내고, 클라우드로부터 비교데이터에 대응하는 부가서비스를 단말기로 전송할 수도 있다. 이러한 경우, 서버에서 수행하던 단계가 생략되어 서비스 구조가 간단해지며, 이에 따라 어플리케이션 개발에 소요되는 시간과 비용을 줄일 수 있는 장점이 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 통상의 기술자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

20: 제1 단말기 21: 통신부
22: 촬영부 23: 판단부
24: 입력부 25: 저장부
26: 표시부 27: 제어부
30: 제2 단말기 40: 서버
50: 클라우드 60: 네트워크

Claims

네트워크에 접속하여 신호를 송수신하는 통신부;
영상을 촬영하여 영상데이터를 획득하는 촬영부;
상기 영상데이터로부터 검출된 추정마커와 서버로부터 수신한 마커 정보를 비교하여 비교데이터를 생성하는 판단부;
상기 비교데이터에 대응하여 클라우드로부터 전송 받은 콘텐츠를 저장하는 저장부;
상기 촬영부로부터 획득된 상기 영상데이터나 상기 저장부에 저장된 상기 콘텐츠를 표시하는 표시부;
어플리케이션의 동작 명령을 입력 받는 입력부;
상기 통신부, 상기 촬영부, 상기 판단부, 상기 저장부, 상기 표시부 및 상기 입력부를 제어하는 제어부;를 포함하고,
상기 통신부는 상기 서버로부터 상기 마커 정보를 수신하고, 상기 비교데이터를 상기 서버로 송신하며, 상기 클라우드로부터 상기 콘텐츠를 전송 받고,
상기 판단부는 어플리케이션의 실행이 최초인지 판단하고, 상기 어플리케이션의 실행이 최초가 아닌 경우, 상기 비교데이터와 저장된 상기 콘텐츠가 매칭되는지 판단하고,
상기 제어부는 상기 판단부에 의해서 상기 비교데이터와 저장된 상기 콘텐츠가 매칭된다고 판단하면 기 저장된 상기 콘텐츠를 재생시키도록 상기 표시부를 제어하고, 매칭되지 않는다고 판단하면 상기 비교데이터를 상기 서버로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 증강 현실 기반 콘텐츠 제공 시스템의 단말기.
삭제
삭제
제1항에 있어서,
상기 판단부는 부가서비스 실행 여부를 판단하여 부가데이터를 생성하고,
상기 통신부는 상기 클라우드로부터 상기 부가데이터에 대응하는 부가서비스를 전송 받으며,
상기 표시부는 전송 받은 상기 부가서비스를 표시하는
증강 현실 기반 콘텐츠 제공 시스템의 단말기.
마커와 콘텐츠를 저장하는 클라우드와;
상기 마커에 대한 마커 정보와 상기 콘텐츠에 대한 콘텐츠 정보를 저장하는 서버와;
어플리케이션의 실행이 최초인지 판단하고, 상기 어플리케이션의 실행이 최초인 경우 상기 서버로부터 수신된 상기 마커 정보와 영상데이터로부터 검출된 추정마커를 비교하여 비교데이터를 생성하고, 상기 비교데이터에 대응하는 콘텐츠를 상기 클라우드로부터 전송 받아 저장한 다음, 저장된 상기 콘텐츠를 재생하며, 상기 어플리케이션의 실행이 최초가 아닌 경우 상기 서버로부터 수신된 상기 마커 정보와 영상데이터로부터 검출된 추정마커를 비교하여 비교데이터를 생성하고, 상기 비교데이터를 저장된 콘텐츠와 매칭시키며, 매칭되는 경우에 매칭된 상기 콘텐츠를 재생하고, 매칭되지 않는 경우에 상기 비교데이터를 상기 서버로 전송함으로써 상기 클라우드에 상기 비교데이터에 대응하는 콘텐츠를 요청하고, 상기 클라우드로부터 상기 비교데이터에 대응하는 콘텐츠를 전송 받아 저장한 다음, 저장된 상기 콘텐츠를 재생하는 단말기
를 포함하는 증강 현실 기반 콘텐츠 제공 시스템.
제5항에 있어서,
상기 클라우드는 부가서비스를 저장하고,
상기 서버는 상기 부가서비스에 대한 부가서비스 정보를 저장하며,
상기 단말기는 부가데이터를 생성하여 상기 서버로 전송하고, 상기 부가데이터에 대응하는 부가서비스를 상기 클라우드로부터 전송 받아 실행하는
증강 현실 기반 콘텐츠 제공 시스템.
삭제
삭제
삭제
삭제