KR102175519B1

KR102175519B1 - 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치 및 방법

Info

Publication number: KR102175519B1
Application number: KR1020160068861A
Authority: KR
Inventors: 이주행; 김재홍; 윤우한; 이아현; 이재연
Original assignee: 한국전자통신연구원
Priority date: 2015-08-19
Filing date: 2016-06-02
Publication date: 2020-11-06
Anticipated expiration: 2036-06-02
Also published as: KR20170022860A

Abstract

실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치 및 방법이 개시된다. 본 발명에 따른 가상 콘텐츠 제공 장치는 입력 모듈을 통해 실제 사물에 상응하는 실물 정보를 획득하는 실물 정보 획득부; 실물 정보를 기반으로 어느 하나의 가상 콘텐츠를 검색하는 가상 콘텐츠 검색부; 출력 모듈을 통해 어느 하나의 가상 콘텐츠에 상응하는 가상 인터페이스를 실제 사물에 투사하는 가상 인터페이스 투사부; 입력 모듈을 기반으로 가상 인터페이스 상에서의 사용자 입력을 감지하는 사용자 입력 감지부; 및 사용자 입력이 감지되는 경우에 어느 하나의 가상 콘텐츠를 기반으로 사용자 입력에 대한 가상 정보를 추출하고, 출력 모듈을 통해 가상 정보를 실물 정보에 상응하게 투사하여 제공하는 가상 콘텐츠 제공부를 포함한다.

Description

실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치 및 방법 {APPARATUS FOR PROVIDING VIRTUAL CONTENTS TO AUGMENT USABILITY OF REAL OBJECT AND METHOD USING THE SAME}

본 발명은 가상의 정보나 콘텐츠를 제공하는 기술에 관한 것으로, 특히 실세계 사물의 물리적 기능을 확장하여 사용성을 제고함에 있어서 작업 상황을 인지하여 적합한 정보, 콘텐츠 및 인터페이스를 실세계 표면에 직접 표시할 수 있는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치 및 방법에 관한 것이다.

최근 가상, 증강 및 혼합 현실 기술에 대한 관심이 높아졌다. 글로벌 IT 대기업들이 앞다투어 착용형 안경 장치를 출시하는 것도 이와 같은 맥락이다. 지금까지 구글, 페이스북, 아마존 등은 다양한 방법으로 실세계의 정보를 가상의 저장소에 구축하여 왔다. 소위 빅데이터의 시대가 도래한 것이다. 또한, 이러한 빅데이터를 처리하는 딥러닝(Deep Learning) 기술도 급격히 발전하고 있다. 여기에, 다른 맥락에서 발전해온 컴퓨터 그래픽스 및 사용자 상호작용 기술이 결합되고 있는 것이 지금의 가상, 증강 및 혼합 현실에 대한 발전상이다.

글로벌 IT 기업들이 보유한 빅데이터를 서비스로 실세계의 표출하는 데에 기존의 컴퓨터와 모바일 기기로는 한계가 있다. 예를 들어, 검색에 노출되는 광고 시장은 이제 포화상태에 이르렀다. 하지만, 증강, 가상 및 혼합 현실 장치를 활용한다면 가상세계에 축적된 방대한 정보와 서비스를 실세계에 노출시킬 수 있는 새로운 채널이 가능해 지는 것이다. 구글 글래스, 페이스북 오큘러스 리프트, 마이크로소프트 홀로랜즈, HP 스프라우트는 이러한 비즈니스 맥락에서 해석 가능하다.

하지만, 이러한 착용형 장치는 디스플레이와 실세계 사물이 따로 존재하게 되어 영상 정합면에서 사용자에게는 매우 어색한 느낌을 줄 수 있다. 또한, 사용자가 움직이거나 손이 떨리는 경우에는 3차원 실 사물과의 정보 정합이 매우 부담스럽게 된다. 또한, 착용자체가 불가능한 경우도 많다. 예를 들어, 유아나 노인에게 별도의 안경이나 스마트 패드를 사용하게 할 수는 없다.

따라서, 사용자가 별도의 착용장치 없이, 손에 스마트패드를 들지 않고도 평소에 물리 객체와 상호작용하듯이 자연스러운 상호작용을 할 수 있는 새로운 기술이 절실히 대두된다.

한국 공개 특허 제10-2005-0029172호, 2005년 3월 24일 공개(명칭: 증강 현실 구현을 위한 프로젝터 카메라 시스템 및 포커싱방법)

본 발명의 목적은 실세계에서 물리적 사물이 갖는 고유한 기능에 증강현실 기술을 기반으로 물리적 사물에 적합한 부가적인 기능을 제공하는 것이다.

또한, 본 발명의 목적은 사용자의 별도로 착용형 안경을 쓰지 않고도 프로젝터를 통해 투사되는 가상 콘텐츠를 통해 가상 정보를 제공함으로써 사용자가 휴대하는 장치 의존도를 낮추고 장치의 활용 능력 및 연령에 상관없이 사물의 사용성 증강을 체험하게 하는 것이다.

또한, 본 발명의 목적은 카메라를 통해 실세계의 상황을 인지함으로써 실세계의 상황에 대응하는 가상 콘텐츠를 검색하고, 가상 콘텐츠를 실세계의 환경에 맞게 디자인하여 제공함으로써 보다 효과적인 가상 콘텐츠를 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치는, 입력 모듈을 통해 실제 사물에 상응하는 실물 정보를 획득하는 실물 정보 획득부; 상기 실물 정보를 기반으로 어느 하나의 가상 콘텐츠를 검색하는 가상 콘텐츠 검색부; 출력 모듈을 통해 상기 어느 하나의 가상 콘텐츠에 상응하는 가상 인터페이스를 상기 실제 사물에 투사하는 가상 인터페이스 투사부; 상기 입력 모듈을 기반으로 상기 가상 인터페이스 상에서의 사용자 입력을 감지하는 사용자 입력 감지부; 및 상기 사용자 입력이 감지되는 경우에 상기 어느 하나의 가상 콘텐츠를 기반으로 상기 사용자 입력에 대한 가상 정보를 추출하고, 상기 출력 모듈을 통해 상기 가상 정보를 상기 실물 정보에 상응하게 투사하여 제공하는 가상 콘텐츠 제공부를 포함한다.

이 때, 가상 콘텐츠 제공부는 상기 어느 하나의 가상 콘텐츠에 상응하는 콘텐츠 로직으로 상기 사용자 입력을 전달하고, 상기 콘텐츠 로직을 기반으로 상기 사용자 입력에 의한 다음 상태 정보를 상기 가상 정보로 획득할 수 있다.

이 때, 실물 정보는 상기 실제 사물의 종류 및 형태 중 적어도 하나에 상응하는 사물 정보 및 상기 실제 사물에 상응하는 환경 정보 중 적어도 하나를 포함할 수 있다.

이 때, 가상 콘텐츠 제공부는 상기 가상 정보를 기반으로 호모그라피, 프로젝션 텍스처, 소리 및 동영상 중 적어도 하나를 기반으로 생성된 상기 가상 정보에 상응하는 영상을 생성하고, 상기 영상을 상기 실제 사물 및 상기 환경 정보 중 적어도 하나에 상응하는 영역에 투사할 수 있다.

이 때, 입력 모듈은 위치, 방위, 온도, 체온, 혈압, 길이 조도 및 RFID 중 적어도 하나에 상응하는 센서, 카메라 및 깊이 카메라 중 적어도 하나에 상응할 수 있다.

이 때, 출력 모듈은 상기 가상 정보를 영상으로 투사할 수 있는 프로젝터에 상응할 수 있다.

이 때, 가상 콘텐츠 제공 장치는 상기 실제 사물과 상기 어느 하나의 가상 콘텐츠를 매칭하여 저장 및 관리하는 가상 콘텐츠 데이터베이스를 더 포함할 수 있다.

이 때, 가상 콘텐츠 검색부는 상기 가상 콘텐츠 데이터베이스에서 상기 어느 하나의 가상 콘텐츠가 검색되지 않는 경우에 네트워크를 기반으로 한 외부 서비스에서 상기 어느 하나의 가상 콘텐츠를 획득할 수 있다.

이 때, 가상 콘텐츠 검색부는 상기 외부 서비스에서 상기 어느 하나의 가상 콘텐츠를 획득한 경우에, 상기 어느 하나의 가상 콘텐츠와 상기 실물정보를 연동하여 상기 가상 콘텐츠 데이터베이스에 저장할 수 있다.

이 때, 출력 모듈은 상기 출력 모듈에 상응하는 투사 영역 내에 상기 실제 사물 및 상기 환경 정보가 모두 포함되도록 설치될 수 있다.

또한, 본 발명의 일실시예에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법은, 입력 모듈을 통해 실제 사물에 상응하는 실물 정보를 획득하는 단계; 상기 실물 정보를 기반으로 어느 하나의 가상 콘텐츠를 검색하고, 출력 모듈을 통해 상기 어느 하나의 가상 콘텐츠에 상응하는 가상 인터페이스를 상기 실제 사물에 투사하는 단계; 상기 입력 모듈을 기반으로 상기 가상 인터페이스 상에서의 사용자 입력을 감지하는 단계; 및 상기 사용자 입력이 감지되는 경우에 상기 어느 하나의 가상 콘텐츠를 기반으로 상기 사용자 입력에 대한 가상 정보를 추출하고, 상기 출력 모듈을 통해 상기 가상 정보를 상기 실물 정보에 상응하게 투사하여 제공하는 단계를 포함한다.

이 때, 제공하는 단계는 상기 어느 하나의 가상 콘텐츠에 상응하는 콘텐츠 로직으로 상기 사용자 입력을 전달하는 단계; 및 상기 콘텐츠 로직을 기반으로 상기 사용자 입력에 의한 다음 상태 정보를 상기 가상 정보로 획득하는 단계를 포함할 수 있다.

이 때, 제공하는 단계는 상기 가상 정보를 기반으로 호모그라피, 프로젝션 텍스처, 소리 및 동영상 중 적어도 하나를 기반으로 생성된 상기 가상 정보에 상응하는 영상을 생성하고, 상기 영상을 상기 실제 사물 및 상기 환경 정보 중 적어도 하나에 상응하는 영역에 투사할 수 있다.

이 때, 가상 콘텐츠 제공 방법은 상기 실제 사물과 상기 어느 하나의 가상 콘텐츠를 매칭하여 가상 콘텐츠 데이터베이스에 저장 및 관리하는 단계를 더 포함할 수 있다.

이 때, 투사하는 단계는 상기 가상 콘텐츠 데이터베이스에서 상기 어느 하나의 가상 콘텐츠가 검색되지 않는 경우에 네트워크를 기반으로 한 외부 서비스에서 상기 어느 하나의 가상 콘텐츠를 획득하는 단계를 포함할 수 있다.

이 때, 투사하는 단계는 상기 외부 서비스에서 상기 어느 하나의 가상 콘텐츠를 획득한 경우에, 상기 어느 하나의 가상 콘텐츠와 상기 실물정보를 연동하여 상기 가상 콘텐츠 데이터베이스에 저장하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 실세계에서 물리적 사물이 갖는 고유한 기능에 증강현실 기술을 기반으로 물리적 사물에 적합한 부가적인 기능을 제공할 수 있다.

또한, 본 발명은 사용자의 별도로 착용형 안경을 쓰지 않고도 프로젝터를 통해 투사되는 가상 콘텐츠를 통해 가상 정보를 제공함으로써 사용자가 휴대하는 장치 의존도를 낮추고 장치의 활용 능력 및 연령에 상관없이 사물의 사용성 증강을 체험하게 할 수 있다.

또한, 본 발명은 카메라를 통해 실세계의 상황을 인지함으로써 실세계의 상황에 대응하는 가상 콘텐츠를 검색하고, 가상 콘텐츠를 실세계의 환경에 맞게 디자인하여 제공함으로써 보다 효과적인 가상 콘텐츠를 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 물리법칙 기반의 상호작용에 기능성을 증강하는 개념을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 실제 세계 사물에 가상세계와 연계하여 상호작용 채널을 더하는 개념을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 시스템을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치를 나타낸 블록도이다.
도 5는 본 발명의 일실시예에 따른 가상 콘텐츠 제공 장치의 처리 구조를 나타낸 도면이다.
도 6 내지 도 7은 본 발명의 일실시예에 따른 프로젝션의 거울 활용 구조를 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법을 나타낸 동작 흐름도이다.
도 9는 본 발명에 따른 가상 콘텐츠 제공 장치를 이용한 가상 게임 화면의 일 예를 나타낸 도면이다.
도 10 내지 도 18은 본 발명에 따른 가상 콘텐츠 제공 장치를 이용한 가상 게임 콘텐츠의 일실시예를 나타낸 도면이다.
도 19 내지 도 22는 본 발명에 따른 가상 콘텐츠 제공 장치를 이용한 칠교 놀이 콘텐츠의 일실시예를 나타낸 도면이다.
도 23 내지 도 27은 본 발명에 따른 가상 콘텐츠 제공 장치를 이용한 교육 콘텐츠의 일실시예를 나타낸 도면이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 물리법칙 기반의 상호작용에 기능성을 증강하는 개념을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 물리법칙 기반의 상호작용에 기능성을 증강하는 것은, 실세계에서 일상사물이 제공할 수 있는 기능에 가상세계에서 일상사물이 제공할 수 있는 추가 기능을 더 제공하는 것에 상응할 수 있다.

즉, 가상, 증강 및 혼합 현실을 이용한 기술을 이용하여 일상사물을 기반으로 한 가상세계 또는 가상 콘텐츠를 제공함으로써 일상사물이 사용자와 상호작용하면서 제공할 수 있는 기능이 증가할 수 있다.

기존의 가상, 증강, 혼합 현실을 이용한 기술에서는 일상사물과 사용자간의 상호작용을 통해서 획득된 정보를 사용자에게 어떻게 디스플레이하고, 인터페이스와 상호작용하는 방법에 대한 요소 기술에 더 많은 관심을 갖고 있었다.

그러나 본 발명에서는 물리법칙을 따르는 기존의 일상사물에 가상세계의 정보, 콘텐츠 및 인터페이스를 더해서 새로운 기능을 추가하고, 사용 경험을 제고함으로써 마치 일상사물의 물리적인 기능성이 향상되는 효과를 제공할 수 있다.

도 2는 본 발명의 일실시예에 따른 실제 세계 사물에 가상세계와 연계하여 상호작용 채널을 더하는 개념을 나타낸 도면이다.

도 2를 참조하면, 실세계의 실제 사물(210)을 가상세계와 연계함으로써 실제 사물(210)이 사용자(220)와 상호작용하면서 제공하는 기능을 증강할 수 있는 기술에 대한 구조를 알 수 있다.

도 2에서 박스로 표현되는 것은 일상의 물리적 사물, 즉 실제 사물(210)을 대표할 수 있다.

이 때, 도 2는 실제 사물(210)과 사용자(220)가 주로 시각과 촉각으로 상호작용하는 예를 들고 있다. 즉, 가상 세계 및 증강 상호작용을 고려하지 않을 경우에 사용자(220)는 물리법칙에 기반한 시각 및 촉각 등으로 실제 사물(210)과 상호작용할 수 있다. 따라서, 사용자(220)는 실제 사물(210)의 고유 기능을 물리법칙에 기반하여 활용할 수 있다.

본 발명에서 제시하는 가상 콘텐츠를 제공하는 방법은 실제 사물(210)의 기존 기능에 새로운 기능을 더하고, 이를 활용할 수 있는 도 2와 같은 새로운 상호작용 채널(240)을 제공하는 것을 목적으로 할 수 있다.

이 때, 실제 사물(210)에 새롭게 더해지는 기능은 주로 가상세계의 정보, 지식 및 콘텐츠(230)를 활용하게 될 수 있다. 새로운 기능은 프로젝터로 투사되는 빛에 의해 형상 또는 인터페이스를 갖게 되고, 사용자가 투사된 인터페이스를 직접 만지게 됨으로써 상호작용할 수 있다.

이 때, 주로 카메라, 깊이 카메라 및 센서를 활용하여 사용자의 손동작을 인식할 수 있다.

도 3은 본 발명의 일실시예에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 시스템을 나타낸 도면이다.

도 3을 참조하면, 본 발명의 일실시예에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 시스템에서 실제 사물(310)에 부가될 가상세계의 정보, 지식 및 콘텐츠(330)는 실제 사물(310)을 사용하는 상황에 맞게 결정될 수 있다.

먼저, 실제 사물(310)에 상황을 판단하기 위해서 실제 사물(310) 자체를 인식하는 과정이 필요할 수 있다. 이를 위해서 카메라를 통해 실제 사물(310)을 촬영하여 이미지 데이터(312)를 획득하고, 이를 분석하여 사물의 종류나 형태(314)를 인식할 수 있다. 이 때, 실제 사물(310)에 대한 부가적인 환경정보 수집을 위해 다양한 센서를 활용할 수도 있다.

예를 들어, 실세계의 다양한 신호(311)를 센서로부터 수집하고, 이를 분석하여 위치, 방위, 온도, 체온, 혈압, 길이, 조도 등의 환경 정보(313)를 획득할 수 있다.

이 때, 실제 사물(310)의 종류나 형태(314)에 상응하는 정보 및 환경 정보(313)를 상황에 대한 정보로 활용함으로써 가상세계에서 정보, 지식 및 콘텐츠(330)를 결정하는 것이 응용(Application)의 중요한 역할에 상응할 수 있다.

이 때, 응용은 본 발명의 일실시예에 따른 가상 콘텐츠 제공 장치 또는 가상 콘텐츠 제공 장치에서 동작하는 응용에 상응할 수 있다.

또한, 응용은 정보, 지식 및 콘텐츠(330)를 실세계의 상황에 맞게 적응적으로 표현하고 제어의 가능성을 주기 위한 로직을 생성할 수 있다.

이 때, 로직은 다양한 방법으로 표현될 수 있는데, 예를 들어, 사용자의 선호사항을 고려하여 부가될 정보의 폰트 크기나 색상을 변경하는 것 또는 작업 맥락에 맞는 메뉴를 구성하는 것에 상응할 수 있다.

이 때, 응용이 선택한 정보, 지식 및 콘텐츠(330)는 로직과 더불어 콘텐츠(331)나 인터페이스(332)의 형태로 실세계에 투사될 수 있다. 이 때, 투사되는 영상은 실세계 표면에 정합될 수 있도록 적당한 형태로 가공될 수 있다.

예를 들어, 평면이라면 호모그라피를 활용하게 되고, 형태를 알고 있는 입체라면 프로젝션 텍스처 방법을 활용할 수 있다.

이 때 도 3에서 박스에 표시되는 별(341) 자체는 응용에서 선택될 수 있으며, 이를 정합하는 방법은 실제 사물(310)의 형태(314)와 환경 정보(313)를 고려하여 프로젝션 할 영상을 결정하게 될 수 있다.

도 4는 본 발명의 일실시예에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치를 나타낸 블록도이다.

도 4를 참조하면, 본 발명의 일실시예에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치는 실물 정보 획득부(410), 가상 콘텐츠 검색부(420), 가상 콘텐츠 데이터베이스(430), 가상 인터페이스 투사부(440), 사용자 입력 감지부(450) 및 가상 콘텐츠 제공부(460)를 포함할 수 있다.

실물 정보 획득부(410)는 입력 모듈을 통해 실제 사물에 상응하는 실물 정보를 획득한다.

이 때, 실물 정보는 실제 사물의 종류 및 형태 중 적어도 하나에 상응하는 사물 정보 및 실제 사물에 상응하는 환경 정보 중 적어도 하나를 포함할 수 있다.

예를 들어, 실제 사물이 보드 게임판이라고 가정한다면, 보드 게임판의 모양과 게임에 사용하는 게임용 말 등을 사물 정보로 인식할 수 있고, 보드 게임판의 위치나 게임용 말의 위치 등을 환경정보로 획득할 수 있다.

다른 예를 들면, 사용자의 책상 위에 놓여 있는 교과서가 실제 사물이라고 가정한다면, 교과서의 모양과 종류 등을 사물 정보로 획득할 수 있고, 책상 위에 놓여진 공책이나 책상의 조도 등을 환경 정보에 상응하게 획득할 수도 있다.

이 때, 입력 모듈은 위치, 방위, 온도, 체온, 혈압, 길이, 조도 및 RFID 중 적어도 하나에 상응하는 센서, 카메라 및 깊이 카메라 중 적어도 하나에 상응할 수 있다.

이 때, 사용자의 손동작을 인식하거나 3차원 물체에 대한 인식이 필요한 경우가 많기 때문에 깊이 카메라를 필수적으로 사용할 수 있다.

가상 콘텐츠 검색부(420)는 실물 정보를 기반으로 어느 하나의 가상 콘텐츠를 검색한다.

예를 들어, 입력 모듈을 통해 피아노 교재의 실물 정보를 획득한 경우에 피아노, 피아노 악보 또는 피아노 연주 영상등과 관련된 가상 콘텐츠를 검색할 수 있다.

이 때, 가상 콘텐츠 데이터베이스(430)에서 어느 하나의 가상 콘텐츠가 검색되지 않는 경우에 네트워크를 기반으로 한 외부 서비스에서 어느 하나의 가상 콘텐츠를 획득할 수 있다. 예를 들어, Wolfram|Alpha 또는 구글 API를 기반으로 가상 콘텐츠를 획득할 수 있다.

이 때, 외부 서비스에서 어느 하나의 가상 콘텐츠를 획득한 경우에, 어느 하나의 가상 콘텐츠와 실물 정보를 연동하여 가상 콘텐츠 데이터베이스(430)에 저장할 수 있다. 이와 같이 외부 서비스를 통해 획득한 가상 콘텐츠를 저장하여 관리함으로써, 사용자가 다음에 동일한 실제 사물을 통한 가상 콘텐츠를 요청하는 경우에도 다시 외부 서비스에서 검색할 필요 없이 가상 콘텐츠 데이터베이스(430)에서 해당 가상 콘텐츠를 검색하여 제공할 수 있다.

가상 콘텐츠 데이터베이스(430)는 실제 사물과 어느 하나의 가상 콘텐츠를 매칭하여 저장 및 관리한다. 예를 들어, 실제 사물에 해당하는 사물 정보에 가상 콘텐츠를 식별할 수 있는 식별자를 매칭하여 저장할 수 있다.

가상 인터페이스 투사부(440)는 출력 모듈을 통해 어느 하나의 가상 콘텐츠에 상응하는 가상 인터페이스를 실제 사물에 투사한다.

이 때, 출력 모듈은 가상 콘텐츠에 의한 가상 정보나 가상 인터페이스를 영상으로 투사할 수 있는 프로젝터에 상응할 수 있다.

이 때, 출력 모듈은 출력 모듈에 상응하는 투사 영역 내에 실제 사물 및 환경 정보가 모두 포함되도록 설치될 수 있다. 예를 들어, 실제 사물이 책상위에 위치한 교과서에 상응한다면, 교과서는 물론이고 책상 위에 위치한 노트나 펜 등을 가상 콘텐츠를 통해 이용할 수 있도록 투사 영역이 책상면에 상응하게 출력 모듈을 설치할 수 있다.

또한, 출력 모듈은 투사 영역을 확보할 수 있도록 영상을 투사하는 투사면과 일정한 거리이상 떨어져서 설치되거나 또는 거울을 이용하여 설치될 수 있다. 예를 들어, 출력모듈에 상응하는 프로젝터와 거울의 각도를 계산하여 투사 영역이 정확히 직사각형으로 유지될 수 있도록 프로젝터와 거울을 설치할 수 있다.

이 때, 투사 영역을 직사각형으로 유지하는 이유는, 투사되는 화면의 퍼스펙티브 왜곡을 방지할 수 있어서 프로젝션 기반의 디스플레이에서는 매우 중요할 수 있다.

사용자 입력 감지부(450)는 입력 모듈을 기반으로 가상 인터페이스 상에서의 사용자 입력을 감지한다.

이 때, 사용자 입력은 가상 콘텐츠 제공 장치를 통해 인식된 별도의 마커 및 입력 도구를 기반으로 감지될 수 있고, 대부분은 사용자의 손동작을 기반으로 감지될 수 있다. 따라서, 깊이 카메라를 통해 입체적인 사용자의 손 동작을 촬영하여 사용자 입력으로 획득할 수 있다.

가상 콘텐츠 제공부(460)는 사용자 입력이 감지되는 경우에 어느 하나의 가상 콘텐츠를 기반으로 사용자 입력에 대한 가상 정보를 추출하고, 출력 모듈을 통해 가상 정보를 실물 정보에 상응하게 투사하여 제공한다.

이 때, 가상 정보는 가상 콘텐츠에 따라 텍스트, 이미지, 동영상, 소리 또는 인터페이스의 형식에 상응할 수 있다. 예를 들어, 가상 콘텐츠가 영어 교육과 관련된 콘텐츠라고 가정한다면, 가상 정보는 영어해석이 포함된 텍스트이거나 발음을 들려줄 수 있는 소리에 상응할 수 있다. 다른 예를 들면, 사용자가 작업대에서 공구나 부품을 이용하여 작업을 수행하는 경우에, 부품에 대한 조립 방법이나 길이, 조립 위치 등을 실제 부품에 나타낼 수도 있다.

이 때, 어느 하나의 가상 콘텐츠에 상응하는 콘텐츠 로직으로 사용자 입력을 전달하고, 콘텐츠 로직을 기반으로 사용자 입력에 의한 다음 상태 정보를 가상 정보로 획득할 수 있다. 예를 들어, 가상 콘텐츠가 여러 스테이지가 존재하는 게임이고 다음 스테이지로의 이동을 위한 사용자 입력이 감지되었다고 가정한다면, 콘텐츠 로직은 해당 사용자 입력에 대한 다음 상태 정보인 다음 스테이지 정보를 가상 정보로 제공할 수 있다.

이 때, 가상 정보를 기반으로 호모그라피, 프로젝션 텍스처, 소리 및 동영상 중 적어도 하나를 기반으로 생성된 가상 정보에 상응하는 영상을 생성하고, 영상을 실제 사물 및 환경 정보 중 적어도 하나에 상응하는 영역에 투사할 수 있다. 예를 들어, 가상 정보가 평면에 상응한다면 호모그라피를 활용하여 영상을 생성할 수 있고, 형태를 알고 있는 입체라면 프로젝션 텍스처를 활용하여 영상을 생성할 수 있다.

이와 같은 가상 콘텐츠 제공 장치를 이용함으로써 실세계에서 물리적 사물이 갖는 고유한 기능에 증강현실 기술을 기반으로 물리적 사물에 적합한 부가적인 기능을 제공할 수 있다.

또한, 사용자의 별도로 착용형 안경을 쓰지 않고도 프로젝터를 통해 투사되는 가상 콘텐츠를 통해 가상 정보를 제공할 수 있다.

또한, 카메라를 통해 실세계의 상황을 인지함으로써 실세계의 상황에 대응하는 가상 콘텐츠를 검색하고, 가상 콘텐츠를 실세계의 환경에 맞게 디자인하여 제공함으로써 보다 효과적인 가상 콘텐츠를 제공할 수도 있다.

도 5는 본 발명의 일실시예에 따른 가상 콘텐츠 제공 장치의 처리 구조를 나타낸 도면이다.

도 5를 참조하면, 본 발명의 일실시예에 따른 가상 콘텐츠 제공 장치는 정보기술을 활용하기 때문에, 물리적 상호작용과는 달리 증강된 사용성 기반의 상호작용을 경험 형태로 기록할 수 있다.

이 때, 기록된 경험은 필요에 따라 적합한 형태로 재현될 수 있다.

예를 들어, 사용자(520)가 실제 사물(510)에 상응하는 피아노 교재를 책상에 펼치는 것만으로 가상 콘텐츠 제공 시스템은 그 상황을 이해하여 연관사물을 유추할 수 있다. 즉, 피아노 교재에 대응하는 피아노 자체를 유추할 수 있다.

또한, 피아노 교재가 놓인 상황을 고려할 때, 책상의 여백에 적당한 크기의 피아노를 증강으로 표현할 수 있다고 판단한 뒤, 호모그라피 등의 방법으로 증강 표현하여 가상의 정보(530)로 나타낼 수 있다.

이와 같이 사용자(520)에게 표시된 가상의 피아노는 사용자 터치에 반응하여 소리를 낼 수 있다. 또한, 사용자(520)의 연주가 현재 피아노 교재의 악보에 관련되어 있다면, 과거의 연주 기록을 동영상으로 재생하거나 유투브 등에서 관련 영상을 검색하여 투사해줄 수도 있다. 즉, 실제 사물(510)에 해당하는 피아노 교재에 대한 새로운 기능을 추가함으로써 사용성을 증강한 예로 볼 수 있다.

이 때, 본 발명의 일실시예에 따른 가상 콘텐츠 제공 시스템은 입력을 위한 카메라 및 센서, 출력을 위한 프로젝터, 응용의 구동, 가상세계 정보 및 지식의 접근을 제공할 수 있다.

이 때, 가상세계의 정보 및 지식은 가상 콘텐츠 제공 장치에 내재되거나 외부의 서비스로 접근하여 받을 수 있다. 예를 들어, Wolfram Alpha나 구글 API 등을 기반으로 가상세계의 정보 및 지식을 획득할 수 있다.

도 6 내지 도 7은 본 발명의 일실시예에 따른 프로젝션의 거울 활용 구조를 나타낸 도면이다.

도 6 내지 7을 참조하면, 본 발명을 위한 작업공간에 프로젝터(610, 710)를 설치함에 있어서 거울(620, 720)을 배치하는 예를 확인할 수 있다.

이 때, 프로젝터(610, 710)가 광각 프로젝터가 아닌 이상에는 일정한 넓이의 투사영역(630, 730)을 확보하기 위해 투사면과 프로젝터(610, 710)가 일정한 거리를 확보해야 할 수 있다.

하지만, 프로젝터(610, 710)의 무게나 프로젝터(610, 710)를 거치할 수 있는 천장의 존재 여부 등을 고려하면 투사영역(630, 730)을 확보하기 위해 필요한 거리를 확보하기 어려울 수 있다.

이 때, 빛과 거울 반사의 성질을 이용하여 프로젝터(610, 710)가 필요로 하는 투사거리를 대폭 감소시킬 수 있다.

예를 들어, 도 7을 참조하면 거울(720)을 사용하지 않고 투사영역(730)을 확보하기 위해서는 프로젝터 2(710)의 위치부터 책상면(740)까지의 투사거리가 필요하지만, 적당한 위치에 도 7과 같이 거울(720)을 배치하는 경우 프로젝터 1(711)의 위치에서도 동일한 넓이의 투사영역(730)을 확보할 수 있다.

이 때, 캘리브레이션된 프로젝터의 경우에는 거울과 프로젝터의 적당한 각도를 계산하여, 투사 영역을 정확하게 직사각형으로 유지할 수도 있다. 이 때, 투사 영역을 직사각형으로 유지하는 것은 화면의 퍼스펙티브 왜곡을 방지할 수 있어서 프로젝션 기반 디스플레이에서는 매우 중요하게 고려될 사항일 수 있다.

도 8은 본 발명의 일실시예에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법을 나타낸 동작 흐름도이다.

도 8을 참조하면, 본 발명의 일실시예에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법은 입력 모듈을 통해 실제 사물에 상응하는 실물 정보를 획득한다(S810).

또한, 본 발명의 일실시예에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법은 실물 정보를 기반으로 어느 하나의 가상 콘텐츠를 검색하고, 출력 모듈을 통해 어느 하나의 가상 콘텐츠에 상응하는 가상 인터페이스를 실제 사물에 투사한다(S820).

이 때, 가상 콘텐츠 데이터베이스에서 어느 하나의 가상 콘텐츠가 검색되지 않는 경우에 네트워크를 기반으로 한 외부 서비스에서 어느 하나의 가상 콘텐츠를 획득할 수 있다. 예를 들어, Wolfram|Alpha 또는 구글 API를 기반으로 가상 콘텐츠를 획득할 수 있다.

이 때, 외부 서비스에서 어느 하나의 가상 콘텐츠를 획득한 경우에, 어느 하나의 가상 콘텐츠와 실물 정보를 연동하여 가상 콘텐츠 데이터베이스에 저장할 수 있다. 이와 같이 외부 서비스를 통해 획득한 가상 콘텐츠를 저장하여 관리함으로써, 사용자가 다음에 동일한 실제 사물을 통한 가상 콘텐츠를 요청하는 경우에도 다시 외부 서비스에서 검색할 필요 없이 가상 콘텐츠 데이터베이스에서 해당 가상 콘텐츠를 검색하여 제공할 수 있다.

또한, 도 8에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법은 실제 사물과 어느 하나의 가상 콘텐츠를 매칭하여 가상 콘텐츠 데이터베이스에 저장 및 관리할 수 있다. 예를 들어, 실제 사물에 해당하는 사물 정보에 가상 콘텐츠를 식별할 수 있는 식별자를 매칭하여 가상 콘텐츠 데이터베이스에 저장할 수 있다.

또한, 본 발명의 일실시예에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법은 입력 모듈을 기반으로 가상 인터페이스 상에서의 사용자 입력을 감지한다(S830).

또한, 본 발명의 일실시예에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법은 사용자 입력이 감지되는 경우에 어느 하나의 가상 콘텐츠를 기반으로 사용자 입력에 대한 가상 정보를 추출하고, 출력 모듈을 통해 가상 정보를 실물 정보에 상응하게 투사하여 제공한다(S840).

이 때, 가상 정보는 가상 콘텐츠에 따라 텍스트, 이미지, 동영상, 소리 또는 인터페이스의 형식에 상응할 수 있다. 예를 들어, 가상 콘텐츠가 영어 교육과 관련된 콘텐츠라고 가정한다면, 가상 정보는 영어해석이 포함된 텍스트이거나 발음을 들려줄 수 있는 소리에 상응할 수 있다.

이와 같은 가상 콘텐츠 제공 방법을 통해 실세계에서 물리적 사물이 갖는 고유한 기능에 증강현실 기술을 기반으로 물리적 사물에 적합한 부가적인 기능을 제공할 수 있다.

도 9는 본 발명에 따른 가상 콘텐츠 제공 장치를 이용한 가상 게임 화면의 일 예를 나타낸 도면이다.

도 9를 참조하면, 본 발명에 따른 가상 콘텐츠 제공 장치를 이용한 가상 게임 화면(910)은 기본적으로 TV, 스마트폰, 스마트패드 및 착용형 안경 등에 상응하는 별도의 디스플레이가 없이도, 프로젝터를 사용하여 실세계 상에 정보, 콘텐츠 그리고 인터페이스를 표현된 것임을 확인할 수 있다. 즉, 도 9의 가상 게임 화면(910)은, 실세계에서 책상이나 식탁 또는 거실 바닥에 해당하는 평면에 가상의 게임 콘텐츠를 프로젝터로 투사한 화면에 상응할 수 있다.

이 때, 게임 콘텐츠를 즐기는 사용자가 쉽게 구할 수 있고, 눈에 잘 띄는 실사물을 게임용 말(921, 922, 923)로 사용할 수 있으며, 사용자가 게임용 말(921, 922, 923)을 가상 게임 화면(910)에 배치하면 카메라가 게임용 말(921, 922, 923)을 인식하는 방식으로 게임 콘텐츠를 제어할 수 있다.

이 때, 게임용 말(921, 922, 923)을 촬영하는 카메라나 가상 게임 화면(910)을 출력하는 프로젝터는 별도의 팬-틸트 장치에 부착되어 움직일 수 있다.

또한, 카메라 위치 캘리브레이션을 위해 가상 게임 화면(910)을 투사하는 바닥에 A4용지나 보드 게임판과 같은 임의의 평면 사각형을 배치할 수도 있다.

이 때, 가상의 게임 콘텐츠는 인식, 투사 및 응용이 구현된 소프트웨어에 상응할 수 있다. 또한, 가상의 게임 콘텐츠는 사용자가 작업 상황에서 구동하는 온라인 소프트웨어와 물체 인식 및 기록 데이터 분석을 위한 오프라인 소프트웨어로 구성될 수 있다.

이 때, 본 발명의 일실시예에 따른 가상 콘텐츠 제공 시스템을 통해 도 8에 상응하는 게임 콘텐츠를 실행하는 과정은 먼저, 게임 콘텐츠가 표현될 적당한 빈 공간에 거치대를 활용하여 프로젝터와 카메라를 설치할 수 있다.

이 후, 프로젝터와 카메라의 내부 인수, 위치 관계, 인식 영역의 크기 및 투사 영역의 크기 등을 기반으로 제어 인수를 캘리브레이션하고, 카메라를 통해 보이는 영역에 A4용지나 보드 게임판과 같은 임의의 직사각형을 배치할 수 있다.

이 후, 직사각형을 촬영하여 선분카메라쌍 기반의 카메라 위치 및 방위 캘리브레이션을 수행할 수 있다.

이 후, 프로젝션 가능 영역을 고려하여 카메라를 통해 보이는 영역의 종횡비와 해상도를 결정하고, 이에 맞추어 응용 구성 요소를 배치할 수 있다.

이 때, 가상의 게임 콘텐츠의 그래픽은 퍼스펙티브(perspective) 변환을 고려하여 벡터로 준비할 수 있다. 예를 들어, 픽셀 기반일 경우에는 퍼스펙티브(perspective) 변환 시 왜곡이 발생하기 때문에 선분은 직사각형으로 정의할 수 있다.

이 후, 게임용 말(921, 922, 923)의 인식을 위한 영상 인식 인수 캘리브레이션을 수행할 수 있다. 예를 들어, HSV 색공간 기반 컬러 변환을 수행하여 영상 인식 인수 캘리브레이션을 수행할 수 있다.

이 후, 캘리브레이션된 프로젝터의 위치 및 방위를 이용하여 가상의 게임 콘텐츠를 퍼스펙티브 변환하고, 이를 프로젝터를 통해 투사할 수 있다.

이 후, 사용자가 게임용 말(921, 922, 923)을 카메라를 통해 보이는 영역에 배치하면, 카메라로 게임용 말(921, 922, 923)의 종류와 위치를 인식할 수 있다.

이 후, 게임 콘텐츠에 상응하는 콘텐츠 로직에 게임용 말(921, 922, 923)의 종류와 위치를 전달할 수 있고, 콘텐츠 로직에서 게임용 말(921, 922, 923)의 종류와 위치에 따라 게임 진행의 다음 상태를 결정할 수 있다.

이 후, 게임 콘텐츠의 현재 상태에 상응하도록 그래픽을 수정하여 콘텐츠를 준비하고, 현재 상태의 정보를 기록할 수 있다.

이 후, 사용자에 의한 입력이 종료가 아닌 경우에, 다시 프로젝터를 통해 퍼스펙티브 변환된 게임 콘텐츠를 투사하여 게임 콘텐츠를 실행할 수 있다.

이 때, 도 8의 게임 콘텐츠는 사용자가 게임용 말(921, 922, 923)을 움직여서 쥐(931)가 치즈(932)를 찾아갈 경로(930)를 생성하는 것으로, 게임용 말(921, 922, 923)을 통과하는 경로(930)는 스플라인으로 결정할 수 있다.

이 때, 게임 콘텐츠는 경로(930)가 벽과 같은 장애물과 충돌하는지 검사하고, 경로(930)가 장애물과 충돌하지 않도록 게임용 말(921, 922, 923)이 잘 배치되었으면 해당 스테이지는 성공한 것으로 판단할 수 있다.

도 10 내지 도 18은 본 발명에 따른 가상 콘텐츠 제공 장치를 이용한 가상 게임 콘텐츠의 일실시예를 나타낸 도면이다.

도 10 내지 도 18을 참조하면, 본 발명에 따른 가상 콘텐츠 제공 장치를 이용한 가상 게임 콘텐츠는 도 9에 나타낸 것과 유사한 것으로, 프로젝터를 통해 투사된 게임 화면상에 게임용 말(1021, 1022, 1023, 1024, 1025)을 배치하여 시작점부터 끝점까지 이동하는 경로를 생성하는 게임을 제공한다.

이 때, 게임용 말(1021, 1022, 1023, 1024, 1025)은 사용자가 구하기 쉬운 동일한 모양의 물체라면 무엇이든 사용할 수 있으며, 개수도 자유롭게 설정할 수 있다.

또한, 게임용 말(1021, 1022, 1023, 1024, 1025)은 게임이 시작되기 전에 미리 입력 모듈을 통해 가상 콘텐츠에 상응하는 게임에 인식시킬 수 있다.

이 때, 게임의 진행 과정은 아래와 같을 수 있다.

먼저 도 10과 같이 프로젝터의 투사영역(1010) 내에 게임 화면이 투사되면, 사용자가 게임을 시작하기 위해서 도 11과 같이 게임용 말(1021)을 게임 화면에 포함된 시작하기 메뉴로 이동시킬 수 있다.

이 때, 입력 모듈이 게임용 말(1021)을 인식하여 사용자 입력이 발생하였음을 감지하고 게임용 말(1021)에 의한 사용자 입력을 획득할 수 있다.

이 후, 가상 콘텐츠 제공 장치는 게임용 말(1021)에 의한 사용자 입력을 콘텐츠 로직으로 전달하여 도 12와 같이 게임 실행과 관련된 인터페이스를 투사영역(1010)에 투사할 수 있다.

이 때, 도 12에 도시된 화면과 같이 사용자는 게임용 말(1021, 1022, 1023, 1024, 1025)을 이용하여 시작점(1041)과 끝점(1042)을 연결하는 경로를 생성하되, 도 13과 같이 경로(1050)가 장애물(1030)과 충돌하지 않도록 게임용 말(1021, 1022, 1023, 1024, 1025)을 배치할 수 있다.

이 때, 경로(1050)는 시작점(1041)에서 사용자가 배치하는 게임용 말(1021, 1022, 1023, 1024, 1025)을 거쳐 끝점(1042)으로 자연스럽게 연결되는 스플라인으로 생성될 수 있다.

즉, 도 14와 같이 게임용 말(1025)을 장애물(1030)의 위에 배치되도록 이동시킴으로써, 도 14의 경로(1050)가 도 15의 경로(1060)처럼 변경되도록 제어할 수 있다.

이 때, 게임에 해당하는 가상 콘텐츠에서는 경로(1060)가 장애물(1030)과 충돌하지 않고 끝점(1042)까지 연결된 것을 확인하면, 해당 스테이지 1은 성공한 것으로 판단하고 도 16과 같이 다시 버튼(1070)과 다음 버튼(1080)을 추가로 제공하여 사용자가 다음 단계를 수행할 수 있도록 할 수 있다.

예를 들어, 도 16에 나타낸 것과 같이 사용자가 다음 버튼(1080)을 선택하였다면, 도 17과 같이 스테이지 1보다 더 많은 장애물이 존재하는 스테이지를 투사영역(1710)에 투사하여 사용자에게 제공할 수 있다.

이 때, 사용자는 여러 장애물과 경로(1740)이 충돌하지 않도록, 도 18과 같이 게임용 말(1721, 1722, 1723, 1724, 1725)을 모두 배치하여 보다 변화가 많은 경로(1750)를 생성할 수도 있다.

도 19 내지 도 22는 본 발명에 따른 가상 콘텐츠 제공 장치를 이용한 칠교 놀이 콘텐츠의 일실시예를 나타낸 도면이다.

도 19 내지 도 22를 참조하면, 본 발명에 따른 가상 콘텐츠 제공 장치를 이용한 칠교 놀이 콘텐츠는 먼저 도 19와 같이 입력 모듈인 카메라를 기반으로 칠교 조각(1921~ 1927)들을 인식할 수 있다. 즉, 콘텐츠를 제공하기 앞서 실제 사물에 해당하는 칠교 조각(1921~ 1927)들을 인식하고, 인식된 칠교 조각(1921~ 1927)들을 통해 제공할 수 있는 문제를 검색할 수 있다. 이러한 특징은 본 실시예에 따른 칠교 조각(1921~ 1927)들뿐만 아니라 다른 가상 콘텐츠들에서도 활용할 수 있다.

이 때, 칠교 조각(1921~ 1927)들은 카메라가 인식할 수 있는 위치, 즉 입력 영역(1910) 내에 배치되어야 하며, 칠교 놀이 콘텐츠에 따라 별도로 구분된 칠교 영역(1911)에 배치될 수도 있다.

이 후, 도 20과 같이 칠교 놀이 콘텐츠가 칠교 조각(1921~ 1927)들을 기반으로 한 문제(1930)를 문제 영역(1912)에 제공하면, 사용자는 도 21과 같이 칠교 조각(1921~ 1927)들을 하나씩 이동시켜 문제(1930)에 상응하는 모양을 생성할 수 있다.

이 때, 칠교 놀이 콘텐츠는 도 22와 같이 힌트 메뉴(1940)를 제공함으로써 사용자가 배치하기 어려운 칠교 조각(1923)에 대한 힌트 정보(1941)를 제공할 수도 있다.

도 23 내지 도 27은 본 발명에 따른 가상 콘텐츠 제공 장치를 이용한 교육 콘텐츠의 일실시예를 나타낸 도면이다.

도 23 내지 도 27을 참조하면, 본 발명에 따른 가상 콘텐츠 제공 장치를 이용한 교육 콘텐츠는 도 23과 같이 사용자의 책상 위를 프로젝터를 통한 투사영역(2310)으로 설정하고, 교육정보를 제공하기 위한 가상의 교육 콘텐츠를 제공할 수 있다.

이 때, 입출력 모듈에 각각 상응하는 프로젝터 및 카메라는 책상 앞에 독서 등의 형태로 존재할 수 있다.

이 때, 교육 콘텐츠의 사용 과정을 설명하면 다음과 같다.

먼저, 도 23과 같이 사용자가 투사영역(2310)에 투사되는 시작 버튼(2320)을 선택하면, 가상 콘텐츠 제공 장치는 카메라를 통해 도 24와 같이 현재 사용자가 보고 있는 교재(2330)에 대한 실물 정보를 획득할 수 있다.

이 때, 교재(2330)에는 교육 콘텐츠를 위한 마커가 인쇄되어 있거나 또는 사용자에 의해 부착된 특정한 모양에 마커가 존재할 수도 있다.

이 후, 교재(2330)에 대한 실물 정보를 획득하여 사용자에게 제공할 교육 콘텐츠를 획득하면, 메뉴 버튼(2321)을 제공함으로써 사용자가 가상 콘텐츠를 이용할 수 있도록 할 수 있다.

이 때, 사용자가 교재(2330)의 단위 내용을 선택할 수 있는 메커니즘이 필요할 수 있다.

예를 들어, 연필이나 펜으로 그리는 마커를 채택하는 경우에는 마커를 인식할 수 있도록 별도의 기호나 색상 등을 이용한 오프라인 인식기를 구비할 수 있다.

다른 예를 들어, 인쇄된 구동 마커를 펜이나 손으로 가리거나 가리키는 경우에는 마커 주변의 변화를 감지할 수 있는 인식기가 구비되어야 할 수 있다.

또한, 페이지 인식을 위한 메커니즘도 필요할 수 있는데, 예를 들어, 페이지의 고유 내용을 기반으로 인식하는 인식기나 페이지를 구별하는 마커를 인식하는 인식기가 구비되어야 할 수 있다.

이 때, 교육 콘텐츠를 제공하는 서비스 제공자는 해당 교재(2330)에 대한 가상 정보를 미리 준비할 수 있다. 예를 들어, 교재(2330)에 해당하는 방송 강의 비디오나 영어 지문의 한국어 번역문 등의 가상 정보를 사전에 저장해 둘 수 있다.

이 때, 도 25와 같이 사용자가 교재(2330)에 있는 영어단어를 선택하는 경우에, 교육 콘텐츠는 도 26과 같이 영어단어(2331)에 대한 해석 및 의미 등을 가상 정보(2332)로 제공할 수 있다.

이 때, 가상 콘텐츠 제공 장치는 투사영역(2310) 내에서 실제 사물에 해당하는 책(2330)이외에 주변의 상황정보를 획득함으로써, 가상 정보(2332)를 투사하여 제공할 위치를 선정할 수 있다.

또한, 사용자가 손으로 지목하는 방식이 아니더라도, 펜이나 연필 같은 별도의 인식기를 이용하여 교재(2330)에 포함된 내용을 선택할 수도 있다.

또한, 메뉴 버튼(2321)을 통해서도 다양한 기능을 제공함으로써, 사용자가 원하는 가상 정보를 선택하여 사용할 수 있도록 할 수 있다.

예를 들어, 도 27과 같이 메뉴 버튼(2321)을 통해 제공되는 기능들 중에서 사용자가 영영 변환(2322) 기능을 선택하였다고 가정한다면, 이전에 제공된 가상 정보(2332)를 영어로 변환한 영어지문을 가상 정보(2333)로 제공할 수 있다.

다른 예를 들어, 특정 단어에 형광펜으로 표시한 경우에 단어의 뜻을 표시하고 발음을 소리로 제공할 수도 있다.

이와 같은 교육 콘텐츠를 통해서 사용자는 기존의 책이나 교재를 통해 제공되는 고정된 정보와 더불어 스스로의 선택과 학습 상황에 맞게 부가적인 정보들을 획득할 수 있다.

이상에서와 같이 본 발명에 따른 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

210, 310, 510: 실제 사물 220, 320, 520: 사용자
230, 330, 530: 정보, 지식 및 콘텐츠 240: 상호작용 채널
311: 다양한 신호 312: 이미지 데이터
313: 환경 정보 314: 형태
331: 콘텐츠 332: 인터페이스
340, 610, 710, 711: 프로젝터 341: 별
342: 투사된 인터페이스 410: 실물 정보 획득부
420: 가상 콘텐츠 검색부 430: 가상 콘텐츠 데이터베이스
440: 가상 인터페이스 투사부 450: 사용자 입력 감지부
460: 가상 콘텐츠 제공부 620, 720: 거울
630, 730, 1010, 1710, 2310: 투사영역
640, 740: 책상면 910: 게임 화면
921~923, 1021~ 1025, 1721~ 1725: 게임용 말
931: 쥐 932: 치즈
1030: 장애물 1041, 1731: 시작점
1042, 1732: 끝점 1050, 1060, 1740, 1750: 경로
1070: 다시 버튼 1080: 다음 버튼
1910: 입력 영역 1911: 칠교 영역
1912: 문제 영역 1921~ 1927: 칠교 조각
1930: 문제 1940: 힌트 메뉴
1941: 힌트 정보 2329: 시작 버튼
2321: 메뉴 버튼 2322: 영영 변환
232: 위키피디아 검색 2324: 암기
2330: 교재 2331: 영어단어
2332, 2333: 가상 정보

Claims

입력 모듈을 통해 실제 사물에 상응하는 실물 정보를 획득하는 실물 정보 획득부;
상기 실물 정보를 기반으로 어느 하나의 가상 콘텐츠를 검색하는 가상 콘텐츠 검색부;
출력 모듈을 통해 상기 어느 하나의 가상 콘텐츠에 상응하는 가상 인터페이스를 상기 실제 사물에 투사하는 가상 인터페이스 투사부;
상기 입력 모듈을 기반으로 상기 가상 인터페이스 상에서의 사용자 입력을 감지하는 사용자 입력 감지부; 및
상기 사용자 입력이 감지되는 경우에 상기 어느 하나의 가상 콘텐츠를 기반으로 상기 사용자 입력에 대한 가상 정보를 추출하고, 상기 출력 모듈을 통해 상기 가상 정보를 상기 실물 정보에 상응하게 투사하여 제공하는 가상 콘텐츠 제공부
를 포함하고,
상기 출력 모듈은
함께 배치된 거울을 기반으로 상기 가상 인터페이스나 상기 가상 정보가 투사되는 투사면과 일정한 거리를 확보하되, 상기 거울은 상기 출력 모듈에 상응하는 투사 영역이 직사각형으로 유지되도록 각도를 계산하여 배치되고,
상기 실물 정보는
상기 실제 사물의 종류 및 형태 중 적어도 하나에 상응하는 사물 정보 및 상기 투사영역 내에서 상기 실제 사물에 상응하는 환경 정보를 포함하고,
상기 환경 정보는
상기 투사 영역 내에서의 상기 실제 사물 이외의 사물들의 위치, 방위, 온도 및 조도를 포함하고,
상기 가상 콘텐츠 제공부는
상기 투사영역 내에서 상기 환경 정보에 기반하여, 상기 가상 정보를 투사하여 제공할 위치를 선정하고, 상기 환경 정보에 기반하여 상기 가상 콘텐츠를 상기 실제 사물의 환경에 상응하도록 디자인하여 상기 가상 정보를 제공하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치.
청구항 1에 있어서,
상기 가상 콘텐츠 제공부는
상기 어느 하나의 가상 콘텐츠에 상응하는 콘텐츠 로직으로 상기 사용자 입력을 전달하고, 상기 콘텐츠 로직을 기반으로 상기 사용자 입력에 의한 다음 상태 정보를 상기 가상 정보로 획득하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치.
삭제
청구항 1에 있어서,
상기 가상 콘텐츠 제공부는
상기 가상 정보를 기반으로 호모그라피, 프로젝션 텍스처, 소리 및 동영상 중 적어도 하나를 기반으로 생성된 상기 가상 정보에 상응하는 영상을 생성하고, 상기 영상을 상기 실제 사물 및 상기 환경 정보 중 적어도 하나에 상응하는 영역에 투사하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치.
청구항 1에 있어서,
상기 입력 모듈은
위치, 방위, 온도, 체온, 혈압, 길이 조도 및 RFID 중 적어도 하나에 상응하는 센서, 카메라 및 깊이 카메라 중 적어도 하나에 상응하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치.
청구항 1에 있어서,
상기 출력 모듈은
상기 가상 정보를 영상으로 투사할 수 있는 프로젝터에 상응하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치.
청구항 1에 있어서,
상기 가상 콘텐츠 제공 장치는
상기 실제 사물과 상기 어느 하나의 가상 콘텐츠를 매칭하여 저장 및 관리하는 가상 콘텐츠 데이터베이스를 더 포함하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치.
청구항 7에 있어서,
상기 가상 콘텐츠 검색부는
상기 가상 콘텐츠 데이터베이스에서 상기 어느 하나의 가상 콘텐츠가 검색되지 않는 경우에 네트워크를 기반으로 한 외부 서비스에서 상기 어느 하나의 가상 콘텐츠를 획득하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치.
청구항 8에 있어서,
상기 가상 콘텐츠 검색부는
상기 외부 서비스에서 상기 어느 하나의 가상 콘텐츠를 획득한 경우에, 상기 어느 하나의 가상 콘텐츠와 상기 실물정보를 연동하여 상기 가상 콘텐츠 데이터베이스에 저장하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치.
청구항 1에 있어서,
상기 출력 모듈은
상기 출력 모듈에 상응하는 투사 영역 내에 상기 실제 사물 및 상기 환경 정보가 모두 포함되도록 설치되는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치.
입력 모듈을 통해 실제 사물에 상응하는 실물 정보를 획득하는 단계;
상기 실물 정보를 기반으로 어느 하나의 가상 콘텐츠를 검색하고, 출력 모듈을 통해 상기 어느 하나의 가상 콘텐츠에 상응하는 가상 인터페이스를 상기 실제 사물에 투사하는 단계;
상기 입력 모듈을 기반으로 상기 가상 인터페이스 상에서의 사용자 입력을 감지하는 단계; 및
상기 사용자 입력이 감지되는 경우에 상기 어느 하나의 가상 콘텐츠를 기반으로 상기 사용자 입력에 대한 가상 정보를 추출하고, 상기 출력 모듈을 통해 상기 가상 정보를 상기 실물 정보에 상응하게 투사하여 제공하는 단계
를 포함하고,
상기 출력 모듈은
함께 배치된 거울을 기반으로 상기 가상 인터페이스나 상기 가상 정보가 투사되는 투사면과 일정한 거리를 확보하되, 상기 거울은 상기 출력 모듈에 상응하는 투사 영역이 직사각형으로 유지되도록 각도를 계산하여 배치되고,
상기 실물 정보는
상기 실제 사물의 종류 및 형태 중 적어도 하나에 상응하는 사물 정보 및 상기 투사영역 내에서 상기 실제 사물에 상응하는 환경 정보를 포함하고,
상기 환경 정보는
상기 투사 영역 내에서의 상기 실제 사물 이외의 사물들의 위치, 방위, 온도 및 조도를 포함하고,
상기 제공하는 단계는
상기 투사영역 내에서 상기 환경 정보에 기반하여, 상기 가상 정보를 투사하여 제공할 위치를 선정하고, 상기 환경 정보에 기반하여 상기 가상 콘텐츠를 상기 실제 사물의 환경에 상응하도록 디자인하여 상기 가상 정보를 제공하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법.
청구항 11에 있어서,
상기 제공하는 단계는
상기 어느 하나의 가상 콘텐츠에 상응하는 콘텐츠 로직으로 상기 사용자 입력을 전달하는 단계; 및
상기 콘텐츠 로직을 기반으로 상기 사용자 입력에 의한 다음 상태 정보를 상기 가상 정보로 획득하는 단계를 포함하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법.
삭제
청구항 11에 있어서,
상기 제공하는 단계는
상기 가상 정보를 기반으로 호모그라피, 프로젝션 텍스처, 소리 및 동영상 중 적어도 하나를 기반으로 생성된 상기 가상 정보에 상응하는 영상을 생성하고, 상기 영상을 상기 실제 사물 및 상기 환경 정보 중 적어도 하나에 상응하는 영역에 투사하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법.
청구항 11에 있어서,
상기 입력 모듈은
위치, 방위, 온도, 체온, 혈압, 길이 조도 및 RFID 중 적어도 하나에 상응하는 센서, 카메라 및 깊이 카메라 중 적어도 하나에 상응하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법.
청구항 11에 있어서,
상기 출력 모듈은
상기 가상 정보를 영상으로 투사할 수 있는 프로젝터에 상응하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법.
청구항 11에 있어서,
상기 가상 콘텐츠 제공 방법은
상기 실제 사물과 상기 어느 하나의 가상 콘텐츠를 매칭하여 가상 콘텐츠 데이터베이스에 저장 및 관리하는 단계를 더 포함하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법.
청구항 17에 있어서,
상기 투사하는 단계는
상기 가상 콘텐츠 데이터베이스에서 상기 어느 하나의 가상 콘텐츠가 검색되지 않는 경우에 네트워크를 기반으로 한 외부 서비스에서 상기 어느 하나의 가상 콘텐츠를 획득하는 단계를 포함하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법.
청구항 18에 있어서,
상기 투사하는 단계는
상기 외부 서비스에서 상기 어느 하나의 가상 콘텐츠를 획득한 경우에, 상기 어느 하나의 가상 콘텐츠와 상기 실물정보를 연동하여 상기 가상 콘텐츠 데이터베이스에 저장하는 단계를 더 포함하는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법.
청구항 11에 있어서,
상기 출력 모듈은
상기 출력 모듈에 상응하는 투사 영역 내에 상기 실제 사물 및 상기 환경 정보가 모두 포함되도록 설치되는 것을 특징으로 하는 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 방법.