KR101802308B1 - 실시간 사용자 시각에 대응되는 3차원 증강 현실 영상 시현 장치 및 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템 - Google Patents

Abstract

본 발명은 실시간 사용자 시각에 대응되는 3차원 증강 현실 영상 시현 장치 및 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템으로서, 사용자의 시각에 대응되어 두 개 이상의 카메라가 촬영한 영상에 가상 오브젝트와 이벤트 정보를 합성하여 실시간 3차원 증강 현실 영상을 제공하는 3차원 증강 현실 영상 시현 장치와 이를 이용하여 복수의 사용자 각각에 대응되어 가상 오브젝트와 이벤트 정보를 생성하여 제공함으로써 복수의 사용자가 동일한 증강 현실에 동시에 참여할 수 있는 3차원 증가 현실 구현 시스템을 제시한다.

Description

실시간 사용자 시각에 대응되는 3차원 증강 현실 영상 시현 장치 및 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템 {Device for 3D augmented reality display based on user's vision and system for providing plural users with 3D augmented reality at same time}

본 발명은 실시간 사용자 시각에 대응되는 3차원 증강 현실 영상 시현 장치 및 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템에 대한 것으로서, 보다 상세하게는 사용자의 시각에 대응되어 두 개 이상의 카메라가 촬영한 영상에 가상 오브젝트와 이벤트 정보를 합성하여 실시간 3차원 증강 현실 영상을 제공하는 3차원 증강 현실 영상 시현 장치와 이를 이용하여 복수의 사용자 각각에 대응되어 가상 오브젝트와 이벤트 정보를 생성하여 제공함으로써 복수의 사용자가 동일한 증강 현실에 동시에 참여할 수 있는 3차원 증가 현실 구현 시스템에 관한 것이다.

스마트폰 기기 성능이 급격히 향상됨에 따라 스마트폰을 이용한 다양한 증강 현실 구현 방안이 제시되고 있는데, 특히 스마트폰에 탑재된 어플리케이션을 통해 증강 현실을 구현하는 다양한 헤드 기어들이 선보이고 있다.

이러한 증강 현실 구현 장치들은 사용자가 헤드 기어를 착용한 상태에서 사용자의 시각에 대응되는 현실 영상이 아닌 기보유된 영상을 입체적인 증강 현실로 시현시키는 방식으로서, 단순히 이미 보유된 영상에 대해서만 증강 현실을 구현하고 있다.

따라서 사용자의 실시간 시각에 대응되어 실제 사용자가 바라보는 현실 상황에 대한 증강 현실을 구현할 수 있는 방안이 필요하다.

나아가서 이와 같은 증강 현실 구현 장치들은 보유된 영상으로 사용자 개인에게만 증강 현실을 제공하기에, 다수의 사용자가 동시에 동일한 증강 현실을 제공받을 수 없는 없는 한계가 있다.

본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하고자 하는 것으로서, 사용자의 시각에 대응되는 실제 현실 상황에 대한 증강 현실을 구현할 수 있는 방안을 제공하고자 한다.

특히, 사용자가 보유하고 있는 스마트폰을 이용하여 사용자의 실시간 시각에 대응되는 3차원 증강 현실을 제공하는 방안을 제시하고자 한다.

나아가서, 다수의 사용자가 동시에 동일한 증강 현실 영상을 제공받음으로써 사용자들이 함께 3차원 증강 현실에 참여할 수 있는 방안을 제공하고자 한다.

상기 기술적 과제를 달성하고자 본 발명에 따른 3차원 증강 현실 영상 시현 장치는, 사용자의 실시간 양안 시각에 대응되는 두 개의 촬영 영상을 생성하는 두 개의 촬영수단; 상기 두 개의 촬영 영상 각각에 가상 오브젝트를 합성하여 증강 현실 영상을 생성하는 증강 현실 영상 생성부; 및 상기 증강 현실 영상을 상기 사용자의 양안에 대응되는 두 개의 화면에 시현하여 상기 사용자의 실시간 시각에 대응되는 3차원 증강 현실 영상을 구현하는 증강 현실 영상 시현부를 포함할 수 있다.

바람직하게는 상기 증강 현실 영상 생성부와 상기 증강 현실 영상 시현부가 탑재된 스마트폰; 및 상기 스마트폰의 화면이 상기 사용자의 양안에 대응되도록 상기 스마트폰이 장착되어 상기 사용자의 두부에 착용하는 헤드셋을 포함할 수 있다.

보다 바람직하게는 상기 촬영 수단은, 상기 스마트폰에 장착된 하나 이상의 카메라와 상기 헤드셋에 장착된 하나 이상의 카메라 중 선택적으로 두 개의 카메라를 조합하여 구성되되, 제1 카메라는 상기 사용자의 양안 시각 중 하나에 대응되어 촬영 영상을 생성하고, 제2 카메라는 상기 사용자의 양안 시각 중 다른 하나에 대응되어 촬영 영상을 생성할 수 있다.

하나의 실시예로서, 상기 제1 카메라는 상기 스마트폰에 구비되고, 상기 제2 카메라는 상기 헤드셋에 구비되며, 상기 헤드셋은, 상기 제2 카메라의 촬영 영상을 상기 스마트폰에 탑재된 증강 현실 영상 생성부로 전송하기 위한 영상 전송부를 더 포함할 수 있다.

나아가서 상기 사용자가 입력하는 입력 신호에 따른 이벤트를 인식하며, 상기 이벤트에 대응되어 기보유된 가상 이벤트 정보를 추출하는 이벤트 인식부를 더 포함하며, 상기 증강 현실 영상 생성부는, 상기 가상 이벤트 정보를 기초로 가상 오브젝트를 추가 또는 변경하여 상기 증강 현실 영상을 재생성할 수 있다.

여기서 상기 이벤트 인식부는, 상기 촬영 영상을 분석하여 상기 사용자의 모션을 판단하고, 기설정된 모션별 이벤트를 인식할 수 있다.

또는 상기 이벤트 인식부는, 상기 사용자가 조작하는 리모트 컨트롤러로부터 입력 신호를 전송받아 기설정된 입력 신호별 이벤트를 인식할 수도 있다.

또한 본 발명에 따른 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템은, 복수의 사용자 각각에 개별적으로 대응되는 복수개의 상기 3차원 증강 현실 영상 시현 장치; 및 복수개의 상기 3차원 증강 현실 영상 시현 장치 각각으로부터 촬영 영상을 전송받고, 복수개의 상기 촬영 영상을 상호 대응시켜 공통된 가상 오브젝트 정보를 생성하며, 생성된 상기 가상 오브젝트 정보를 상기 3차원 증강 현실 영상 시현 장치에 제공하는 증강 현실 참여 구현 장치를 포함하며, 복수의 사용자에 대하여 각자의 시각에 대응되어 공통된 가상 오브젝트가 합성된 3차원 증강 현실 영상을 제공할 수 있다.

바람직하게는 상기 증강 현실 참여 구현 장치는, 복수개의 상기 3차원 증강 현실 영상 시현 장치 각각으로부터 촬영 영상을 전송받고, 복수개의 상기 촬영 영상을 취합하여 상기 촬영 영상에서 공통 지점을 검색하며, 상기 공통 지점을 기준으로 복수개의 상기 촬영 영상에 대한 3차원 좌표를 설정하는 영상 취합부; 및 하나 이상의 가상 오브젝트와 상기 3차원 좌표에 기초한 상기 가상 오브젝트의 위치 정보를 포함하는 가상 오브젝트 정보를 생성하여 상기 3차원 증강 현실 영상 시현 장치로 제공하는 가상 오브젝트 생성부를 포함하며, 상기 3차원 증강 현실 영상 시현 장치는, 상기 가상 오브젝트 정보를 기초로 촬영 영상에 가상 오브젝트를 합성하여 증강 현실 영상을 생성할 수 있다.

나아가서 상기 증강 현실 참여 구현 장치는, 복수개의 상기 3차원 증강 현실 영상 시현 장치 중 어느 하나 이상으로부터 사용자의 이벤트를 전송받고, 상기 이벤트에 대응되어 기보유된 가상 이벤트 정보를 추출하는 이벤트 처리부를 더 포함하며, 상기 가상 오브젝트 생성부는, 상기 가상 이벤트 정보를 기초로 상기 가상 오브젝트 정보를 갱신하여 상기 3차원 증강 현실 영상 시현 장치로 제공할 수도 있다.

이와 같은 본 발명에 의하면, 사용자가 보유한 스마트폰을 통해 사용자의 시각에 대응되는 실제 현실 상황에 대한 3차원 증강 현실을 제공받을 수 있게 된다.

특히, 카메라가 하나만 구비된 스마트폰의 경우에도, 카메라가 구비된 헤드셋에 장착하여 사용자의 양안 시각에 각각 대응되는 촬영 영상을 획득하고 이를 통해 실시간 사용자 시각에 대응되는 3차원 증강 현실을 구현할 수 있게 된다.

나아가서, 다수의 사용자가 동시에 동일한 증강 현실에 참여할 수 있는 시스템을 제공함으로써, 서바이벌 등의 게임이나 온라인 영상 회의 등에 다수의 사용자들이 동시에 3차원 증강 현실에 참여할 수 있게 된다.

도 1은 본 발명에 따른 3차원 증강 현실 영상 시현 장치의 실시예를 도시하며,
도 2은 본 발명에 따른 3차원 증강 현실 영상 시현 장치에 스마트폰을 탑재시키는 실시예를 도시하며,
도 3은 본 발명에 따른 3차원 증강 현실 영상 시현 장치의 실시예에 대한 구성도를 도시하며,
도 4는 본 발명에 따른 3차원 증강 현실 영상 시현 장치를 통한 증강 현실 구현 화면을 나타내며,
도 5는 본 발명에 따른 차원 증강 현실 영상 시현 장치를 통한 사용자의 이벤트에 대응되는 3차원 증강 현실 구현 화면을 나타내며,
도 6은 본 발명에 따른 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템의 실시예를 도시하며,
도 7은 본 발명에 따른 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템의 증강 현실 참여 구현 장치에 대한 실시예의 구성도를 도시하며,
도 8은 본 발명에 따른 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템을 통해 복수의 사용자가 동시 참여하는 3차원 증강 현실을 구현하는 방법에 대한 실시예의 흐름도를 도시하며,
도 9는 본 발명에 따른 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템을 통해 복수의 사용자에 대한 위치와 방향 정보를 취합하는 실시예를 도시하며,
도 10 및 도 11은 본 발명에 따른 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템을 통해 복수의 사용자의 실시간 시각에 대응되는 촬영 영상을 취합하여 3차원 좌표를 설정하는 실시예를 도시하며,
도 12는 본 발명에 따른 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템을 통한 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 방법에서 사용자의 이벤트에 따라 가상 오브젝트를 갱신하는 실시예의 흐름도를 도시한다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 설명하기 위하여 이하에서는 본 발명의 바람직한 실시예를 예시하고 이를 참조하여 살펴본다.

먼저, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명은 사용자의 시각에 대응되어 두 개 이상의 카메라가 촬영한 영상에 가상 오브젝트와 이벤트 정보를 합성하여 실시간 3차원 증강 현실 영상을 제공하는 3차원 증강 현실 영상 시현 장치를 제시하며, 또한 이를 이용하여 복수의 사용자 각각에 대응되어 가상 오브젝트와 이벤트 정보를 생성하여 제공함으로써 복수의 사용자가 동일한 증강 현실에 동시에 참여할 수 있는 3차원 증가 현실 구현 시스템을 제시한다.

도 1은 본 발명에 따른 3차원 증강 현실 영상 시현 장치의 실시예를 도시한다.

본 발명에 따른 3차원 증강 현실 영상 시현 장치는 사용자가 두부에 착용할 수 있는 헤드셋(100)을 포함하며, 헤드셋(100)의 내부에 스마트폰(미도시)이 장착된다.

상기 도 1의 (a)에 도시된 바와 같이 헤드셋(100)의 몸체(140) 전면부에는 스마트폰에 구비된 카메라를 통해 헤드셋(100)을 착용한 사용자의 양안에 대응되는 시각 영상을 촬영할 수 있도록 헤드셋(100)에 장착된 스마트폰의 카메라에 대응되어 개구홀(120, 130)이 형성되며, 몸체(140)의 후면부 양측 끝단에는 사용자의 두부에 헤드셋(100)을 착용시 사용자의 양안에 대응하여 헤드셋(100)을 고정시키기 위한 착용 밴드(150)가 연결된다.

그리고 상기 도 1의 (b)에 도시된 바와 같이 헤드셋(100)의 후면부 테두리에는 사용자의 안면에 헤드셋(100)의 후면부가 밀착될 수 있도록 고무나 실리콘 등의 부드러운 재질로 안면 접촉부(160)가 형성되며, 헤드셋(100)의 후면 내부에 사용자의 양안에 대응되어 렌즈(170, 180)가 설치되어 사용자는 렌즈(170, 180)를 통해 내부에 장착된 스마트폰의 화면을 볼 수 있다.

헤드셋(100)의 내부에 장착된 스마트폰에는 증강 현실 애플리케이션이 탑재되며, 상기 증강 현실 애플리케이션은 두 개의 카메라를 통한 두 개의 촬영 영상 각각에 가상 오브젝트를 합성하여 증강 현실 영상을 생성하고 스마트폰의 디스플레이 화면을 두 영역으로 분할한 두 개의 화면에 사용자의 실시간 시각에 대응되는 증강 현실 영상을 시현하여 사용자는 자신의 시각에 대응되는 3차원 증강 현실을 체험할 수 있다.

도 2는 본 발명에 따른 3차원 증강 현실 영상 시현 장치에 스마트폰을 탑재시키는 실시예를 도시하는데, 상기 도 2의 실시예에서는 헤드셋(100a, 100b)의 상부에 스마트폰을 슬라이드 방식으로 삽입하여 장착할 수 있는 스마트폰 장착부가 형성되어 상기 스마트폰 장착부에 스마트폰(110a, 110b)을 삽입하여 헤드셋(100a, 100b)에 스마트폰(110a, 110b)을 장착할 수 있다.

이는 하나의 실시예로서, 헤드셋에 스마트폰을 장착하는 방식은 다양하게 변형될 수 있는데, 가령, 헤드셋의 측면에 스마트폰을 슬라이드 방식으로 삽입하여 장착할 수 있는 스마트폰 장착부가 형성될 수도 있고, 헤드셋의 전면부와 후면부가 분리되어 그 사이에 형성된 스마트폰 장착부에 스마트폰을 장착할 수도 있으며, 또는 헤드셋의 전면부가 도어 방식으로 개폐되고 그 내부에 스마트폰 장착부가 형성되어 스마프폰이 장착될 수도 있다.

상기 도 2의 (a)는 하나의 카메라(125a)만 구비된 스마트폰(110a)을 헤드셋(100a)에 장착하는 경우로서, 헤드셋(100a)에도 카메라(135a)가 구비되어, 스마트폰(110a)에 장착된 카메라(125a)와 헤드셋(100a)에 장착된 카메라(135a)로 두 개의 카메라를 조합하여 구성하게 된다.

이와 같이 카메라의 조합이 구성된 경우, 스마트폰(110a)을 헤드셋(100a)에 장착시 헤드셋(100a)의 전면부에 형성된 개구홀(121a)을 통해 스마트폰(110a)의 카메라(125a)가 사용자의 양안 중 어느 하나의 시각에 대응되는 촬영 영상을 생성하고, 헤드셋(100a)의 전면부에 구비된 카메라(135a)가 사용자의 양안 중 다른 하나의 시각에 대응되는 촬영 영상을 생성하게 된다.

상기 도 2의 (b)는 두 개의 카메라(125b, 135b)가 구비된 스마트폰(110b)을 헤드셋(100b)에 장착하는 경우로서, 스마트폰(110b)의 두 개의 카메라(125b, 135b)에 대응되어 헤드셋(100b)의 전면부에 두 개의 개구홀(121b, 131b)이 형성되며, 스마트폰(110b)을 헤드셋(100b)에 장착시 스마트폰(110b)의 두 개의 카메라(125b, 135b)가 사용자의 양안에 대응되는 촬영 영상을 생성한다.

이외에도 본 발명에 따른 3차원 증강 현실 영상 시현 장치의 촬영 수단은 다양하게 변형될 수 있는데, 가령 스마트폰에 카메라가 구비되어 있더라도 헤드셋 자체에 사용자의 양안에 대응되는 두 개의 카메라가 설치되어 헤드셋의 카메라로 두 개의 촬영 영상을 생성할 수도 있고, 또는 헤드셋의 전면부에 두 개의 개구홀과 함께 개구홀 인근에 두 개의 카메라가 설치되어, 헤드셋에 설치된 카메라와 스마트폰에 구비된 카메라를 필요에 따라 사용자가 선택적으로 조합하여 촬영 수단을 설정할 수도 있다.

본 발명에 따른 3차원 증강 현실 영상 시현 장치의 세부 구성에 대하여 도 3에 도시된 본 발명에 따른 3차원 증강 현실 영상 시현 장치의 실시예에 대한 구성도를 참조하여 살펴본다.

본 발명에 따른 3차원 증강 현실 영상 시현 장치는 기본적으로 헤드셋(200)과 스마트폰(300)을 포함하며, 필요에 따라 리모트 컨트롤러(400)가 추가적으로 구성될 수 있다.

헤드셋(200)에는 스마트폰 장착부(210), 촬영 수단(230), 영상 전송부(250) 등이 선택적으로 구성될 수 있다.

스마트폰 장착부(210)는 헤드셋(200)의 내부에 장착되는 스마트폰의 형상에 대응되어 안정적으로 스마트폰을 고정시킬 수 있도록 형성되는데, 이때 스마트폰 장착부(210)는 스마트폰의 화면이 헤드셋(200)의 후면부를 향하며, 스마트폰의 카메라가 헤드셋(200)의 전면부에 형성된 개구홀에 대응될 수 있는 형태로 형성된다. 또한 스마트폰 장착부(210)에는 스마트폰으로부터 전원을 공급받거나 데이터를 전송할 수 있는 단자가 구비되어 스마트폰의 포트가 상기 단자에 체결될 수도 있다.

촬영 수단(230)은 헤드셋(200)의 전면부에 설치되는 하나 이상의 카메라를 포함하며, 상기 카메라를 통해 헤드셋(200)을 착용한 사용자의 시각에 대응되는 시각 영상을 촬영하여 촬영 영상을 생성한다. 헤드셋(200)의 촬영 수단(230)에 구성되는 카메라의 수와 배치 위치는 필요에 따라 조절될 수 있으며, 스마트폰에 구비된 카메라와 헤드셋(200)의 촬영 수단(230)에 포함된 카메라를 조합하여 두 개의 카메라가 선택될 수 있다.

영상 전송부(250)는 촬영 수단(230)이 생성한 촬영 영상을 헤드셋(200)에 장착된 스마트폰으로 전송하는데, 블루투스 등의 근거리 통신 방식으로 촬영 영상을 전송할 수도 있고 또는 스마트폰에 체결되는 단자를 통해 촬영 영상을 전송할 수도 있다.

이외에도 헤드셋(200)에는 상기 도 1을 통해 살펴본 바와 같이 사용자의 두부에 착용하기 위한 부수적인 구성이나 헤드셋(200)의 각 구성에 전원을 공급하기 위한 배터리 등이 구비될 수도 있다.

헤드셋(200)의 내부에 장착되는 스마트폰(300)에는 증강 현실 애플리케이션(310)이 탑재되며, 증강 현실 애플리케이션(310)은 증강 현실 영상 생성부(320), 증강 현실 영상 시현부(330), 이벤트 인식부(340) 등을 포함할 수 있다.

증강 현실 애플리케이션(310)은 일종의 컴퓨터 프로그램일 수 있으며, 증강 현실 애플리케이션(310)의 각 구성들은 스마트폰(300)에 탑재된 기본 구성을 통한 컴퓨터 프로그램의 실행으로 구현될 수도 있다.

나아가서 일반적으로 스마트폰(300)에는 카메라를 포함하는 촬영 수단(350)과 디스플레이(360)가 구비되어 있으며, 증강 현실 애플리케이션(310)은 이들 스마트폰(300)의 구성들과 연동하여 동작할 수 있다.

증강 현실 영상 생성부(320)는 두 개의 촬영 영상 각각에 가상 오브젝트를 합성하여 증강 현실 영상을 생성하는데, 여기서 증강 현실 영상 생성부(320)는 다양한 가상 오브젝트를 사전에 보유하고 필요시 보유된 가상 오브젝트를 추출하여 촬영 영상에 합성하거나 또는 외부의 증강 현실 참여 구현 장치로부터 가상 오브젝트 정보를 전송받고 가상 오브젝트 정보에서 가상 오브젝트를 추출하여 촬영 영상에 합성할 수 있다.

증강 현실 영상 시현부(330)는 증강 현실 영상 생성부(320)에서 생성한 증강 현실 영상을 스마트폰(300)의 디스플레이(360)를 통해 시현하는데, 이때 증강 현실 영상 시현부(330)는 스마트폰(300)의 디스플레이(360) 화면을 두 영역의 화면으로 분할하고, 각 화면에 사용자의 실시간 시각에 대응되는 3차원 증강 현실 영상을 시현시킬 수 있다.

이벤트 인식부(340)는 사용자가 입력하는 입력 신호에 따른 이벤트를 인식하며, 인식된 이벤트에 대응되어 기보유된 가상 이벤트 정보를 추출하여 증강 현실 영상 생성부(320)로 제공한다. 그러면 증강 현실 영상 생성부(320)는 이벤트 인식부(340)로부터 제공된 가상 이벤트 정보를 기초로 가상 오브젝트를 추가 또는 변경하여 증강 현실 영상을 재생성한다.

이를 위해 이벤트 인식부(340)는 촬영 영상을 분석하여 사용자의 모션을 판단하고, 기설정된 모션별 이벤트를 인식할 수도 있고 또는 사용자가 조작하는 리모트 컨트롤러(400)로부터 입력 신호를 전송받아 기설정된 입력 신호별 이벤트를 인식할 수도 있다.

나아가서 리모트 컨트롤러(400)는 선택적으로 구성될 수 있으며, 사용자로부터 조작 신호를 입력 받아 입력 신호를 생성하는 입력 신호 생성부(410)를 포함하며, 입력 신호 생성부(410)는 블루투스 등의 근거리 통신 방식으로 스마트폰(300)의 이벤트 인식부(340)와 연동할 수 있다.

여기서 리모트 컨트롤러(400)는 본 발명에 따른 3차원 증강 현실 영상 시현 장치가 적용되는 상황에 따라 다양한 형태로 변형될 수 있는데, 단순하게는 복수의 버튼이 구비되어 사용자가 누르는 버튼에 따라 입력 신호를 생성하여 스마트폰(300)으로 전송할 수 있으며, 또는 가상 서바이벌 게임 등에 본 발명에 따른 3차원 증강 현실 영상 시현 장치를 적용하는 경우 리모트 컨트롤러(400)가 총기 등의 다양한 형태로 변형될 수도 있다.

본 발명에서는 상기에서 살펴본 3차원 증강 현실 영상 시현 장치를 제시하여 이를 통해 사용자가 실시간 자신의 시각에 대응되는 3차원 증강 현실 영상을 제공받을 수 있는데, 도 4에 도시된 본 발명에 따른 3차원 증강 현실 영상 시현 장치를 통한 증강 현실 구현 화면을 통해 본 발명에서 제공하는 3차원 증강 현실의 구현예를 살펴본다.

상기 도 4는 3차원 증강 현실 영상 시현 장치의 스마트폰 화면(500)으로서, 서바이벌 게임에 참여한 사용자의 실시간 시각에 대응되는 증강 현실 영상을 제공하는 구현 화면을 나타낸다.

두 개의 카메라가 사용자의 양안 시각에 대응되는 두 개의 촬영 영상을 생성하면, 촬영 영상에 가상 오브젝트를 합성하여 스마트폰 디스플레이의 화면(500)으로 시현하는데, 이때 스마트폰 디스플레이의 화면은 두 영역으로 분할되어 헤드셋을 착용한 사용자의 양안에 대응되는 두 개의 화면(510a, 510b)으로 시현된다.

스마트폰 화면(500) 상에 시현되는 3차원 증강 현실 영상에는 촬영 영상에 합성된 가상 오브젝트(520a, 520b)가 포함되며, 필요에 따라 추가적으로 사용자가 참여한 가상 환경 상에서의 사용자에 대한 상태 정보(530, 540)가 시현될 수 있다.

이와 같이 본 발명에서는 사용자가 보유한 스마트폰을 통해 사용자의 실시간 시각에 대응되는 실제 현실 상황에 대한 3차원 증강 현실을 사용자에게 제공할 수 있다.

나아가서 본 발명에서는 사용자가 입력하는 입력 신호에 따른 이벤트를 인식하여 상기 이벤트에 대응되어 가상 오브젝트를 추가 또는 변경하여 증강 현실 영상을 재생성하여 제공할 수 있다.

일례로서 3차원 증강 현실 영상 시현 장치는 사용자의 실시간 시각에 대응되는 촬영 영상을 분석하여 사용자의 모션을 판단하고, 기설정된 모션별 이벤트를 인식할 수 있는데, 가령 사용자가 두부에 3차원 증강 현실 영상 시현 장치의 헤드셋을 착용한 상태에서 자신의 시각에서 볼 수 있도록 특정 손동작 등의 모션을 취하면, 3차원 증강 현실 영상 시현 장치는 촬영 영상을 분석하여 사용자의 손동작 모션을 판단하고 기설정된 모션에 해당하는 경우 이를 기설정된 모션별 이벤트로 인식하며, 해당 이벤트에 대응되어 설정된 가상 오브젝트를 추가 또는 변경하여 증강 현실 영상을 재생성한다.

다른 일례로 3차원 증강 현실 영상 시현 장치가 리모트 컨트롤러를 포함하는 경우, 3차원 증강 현실 영상 시현 장치의 헤드셋에 장착된 스마트폰과 상기 리모트 컨트롤러가 연동하여 사용자의 리모트 컨트롤러를 통한 조작을 이벤트로 인식할 수도 있다.

이와 관련하여 도 5는 본 발명에 따른 3차원 증강 현실 영상 시현 장치를 통한 사용자의 이벤트에 대응되는 3차원 증강 현실 구현 화면을 나타낸다.

상기 도 5에서는 3차원 증강 현실 영상 시현 장치가 총기 형태의 리모트 컨트롤러(650)를 포함하여, 헤드셋(610)에 장착된 스마트폰이 리모트 컨트롤러(650)와 연동하는 구현예로서, 사용자(600)가 헤드셋(610)을 착용한 상태에서 리모트 컨트롤러(650)를 조작하면, 스마트폰에 탑재된 증강 현실 애플리케이션이 그에 따른 이벤트를 인식하는데, 사용자(600)가 총기 형태의 리모트 컨트롤러(650)의 조작시 그에 대응되어 증강 현실 영상 화면(640)이 흔들리거나 사용자(600)가 증강 현실의 가상 환경에서 총상을 당하는 이벤트가 발생되는 경우 그에 대응되어 화면이 깨지는 가상 오브젝트(640)가 추가되어 증강 현실 영상이 시현될 수 있다.

이와 같이 본 발명에서는 사용자가 수행하는 이벤트에 따라 가상 오브젝트를 추가 또는 변경하여 증강 현실 영상을 재생성하여 제공함으로써, 사용자는 생동감 넘치는 3차원 증강 현실의 가상 환경을 느낄 수 있게 된다.

나아가서 본 발명에서는 상기에서 살펴본 3차원 증강 현실 영상 시현 장치를 복수의 사용자가 착용한 상태에서 복수의 사용자가 동시에 참여하는 3차원 증강 현실을 구현하는 3차원 증강 현실 구현 시스템을 제시하는데, 이하에서는 본 발명에 따른 3차원 증강 현실 구현 시스템에 대하여 그 실시예를 통해 살펴보기로 한다.

도 6은 본 발명에 따른 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템의 실시예를 도시한다.

본 발명에 따른 3차원 증강 현실 구현 시스템은 증강 현실 참여 구현 장치(700)와 복수의 사용자(820a, 820b, 820c, 820d)가 각각 착용한 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c, 810d)를 포함하여 구성될 수 있다.

복수의 사용자(820a, 820b, 820c, 820d)가 각각 착용한 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c, 810d)는 무선 통신 방식으로 증강 현실 참여 구현 장치(700)에 연결될 수 있는데, 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c, 810d)에 장착된 스마트폰이 와이파이, 지그비, 블루투스 등의 다양한 통신 방식으로 증강 현실 참여 구현 장치(700)에 접속할 수 있다.

증강 현실 참여 구현 장치(700)는 접속한 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c, 810d)의 각 사용자(820a, 820b, 820c, 820d)를 구분하여 인식하는데, 가령 스마트폰의 전화번호 등 고유 식별 정보를 통해 사용자를 구분하거나 스마트폰을 통한 증강 현실 참여 구현 장치(700)에 접속시 로그인 정보로 해당 사용자를 구분할 수도 있다.

이와 같이 증강 현실 참여 구현 장치(700)가 각 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c, 810d)를 구분하여 인식하고 각각의 사용자(820a, 820b, 820c, 820d)별로 대응되는 가상 오브젝트 정보나 모든 사용자(820a, 820b, 820c, 820d)에 공통적으로 적용되는 가상 오브젝트 정보를 생성하여 해당 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c, 810d)로 제공하면, 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c, 810d)는 증강 현실 참여 구현 장치(700)로부터 제공된 가상 오브젝트 정보를 기초로 사용자의 실시간 시각 촬영 영상에 가상 오브젝트를 합성하여 3차원 증강 현실 영상을 제공한다.

증강 현실 참여 구현 장치(700)는 본 발명을 적용하기 위해 특화된 개별 장치가 될 수도 있고, 또는 일반적으로 보급되는 서버나 PC 등으로 구현될 수도 있다.

도 7은 본 발명에 따른 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템의 증강 현실 참여 구현 장치에 대한 실시예의 구성도를 도시한다.

증강 현실 참여 구현 장치(700)는 영상 취합부(710), 가상 오브젝트 생성부(720), 이벤트 처리부(730) 등을 포함하여 구성될 수 있으며, 필요에 따라 접속하는 3차원 증강 현실 영상 시현 장치를 구분하여 인식하기 위한 사용자 인식부(미도시)를 포함할 수도 있다.

영상 취합부(710)는 복수개의 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c, 810d) 각각으로부터 각 사용자(820a, 820b, 820c, 820d)의 실시간 시각 촬영 영상을 전송받고, 전송받은 복수개의 촬영 영상을 취합하여 상기 촬영 영상에서 공통 지점을 검색하며, 상기 공통 지점을 기준으로 복수개의 상기 촬영 영상에 대한 3차원 좌표를 설정한다. 추가적으로 영상 취합부(710)는 복수개의 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c, 810d) 각각에 대한 위치 정보와 사용자의 시각 방향 정보를 전송받고 이를 취합하여 복수의 촬영 영상의 취합시 3차원 좌표 설정에 이용할 수도 있다.

가상 오브젝트 생성부(720)는 기보유된 가상 오브젝트 중 적어도 하나 이상의 가상 오브젝트를 추출하고 영상 취합부(710)에서 설정한 3차원 좌표에 기초로 추출한 가상 오브젝트의 위치 정보를 생성하여 상기 가상 오브젝트와 이에 대응되는 위치 정보를 포함하는 가상 오브젝트 정보를 생성하고, 상기 가상 오브젝트 정보를 해당 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c, 810d)로 제공한다. 이때 가상 오브젝트 생성부(720)는 복수개의 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c, 810d) 각각에 개별적으로 대응되는 가상 오브젝트 정보를 생성할 수도 있고 또한 복수개의 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c, 810d) 모두에 공통적으로 적용되는 가상 오브젝트 정보를 생성할 수도 있다.

그러면 해당 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c, 810d)는 증강 현실 참여 구현 장치(700)로부터 제공된 가상 오브젝트 정보를 기초로 증강 현실 영상을 생성하여 사용자(820a, 820b, 820c, 820d)에게 3차원 증간 현실을 제공한다.

또한 이벤트 처리부(730)는 복수개의 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c, 810d) 중 사용자의 이벤트가 발생된 3차원 증강 현실 영상 시현 장치로부터 사용자의 이벤트를 전송받고, 상기 이벤트에 대응되어 기보유된 가상 이벤트 정보를 추출하여 가상 오브젝트 생성부(720)로 전송하며, 가상 오브젝트 생성부(720)는 상기 가상 이벤트 정보를 기초로 상기 가상 오브젝트 정보를 갱신하여 해당 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c, 810d)로 제공한다.

이와 같은 증강 현실 참여 구현 장치의 각 구성들은 하나의 장치에 포함되도록 구성되거나 필요에 따라 개별적인 별개의 장치로 구성될 수도 있으며, 증강 현실 참여 구현 장치가 서버나 PC로 구현되는 경우에는 상기의 각 구성들은 증강 현실 참여 구현 장치에 탑재된 기본 구성을 통한 컴퓨터 프로그램의 실행으로 구현될 수도 있다.

본 발명에서는 상기의 3차원 증강 현실 구현 시스템을 통해 복수의 사용자가 동시에 참여하는 증강 현실을 제공하는 방법을 제시하는데, 이에 대한 실시예의 흐름도인 도 8을 참조하여 본 발명에서 제공하는 복수의 사용자가 동시 참여하는 증강 현실을 제공하는 방법에 대하여 살펴보기로 한다.

이하의 실시예에서는 설명의 편의를 위해 3차원 증강 현실 영상 시현 장치의 식별부호와 헤드셋의 식별부호를 혼용하여 설명하며, 또한 상기 도 8에서는 2개의 3차원 증강 현실 영상 시현 장치의 동작으로 설명하나 이는 하나의 실시예로서 3개 이상의 3차원 증강 현실 영상 시현 장치가 증강 현실 참여 구현 장치와 연동하도록 구성될 수도 있다.

상기 도 8에 도시되진 않았으나, 3차원 증강 현실 영상 시현 장치 #1(810a)과 3차원 증강 현실 영상 시현 장치 #2(810b)가 증강 현실 참여 구현 장치(700)에 접속하는 과정이 전제되며, 증강 현실 참여 구현 장치(700)는 3차원 증강 현실 영상 시현 장치 #1(810a)과 3차원 증강 현실 영상 시현 장치 #2(810b)가 연결되면 3차원 증강 현실 영상 시현 장치 #1(810a)과 3차원 증강 현실 영상 시현 장치 #2(810b)의 고유 식별 정보나 로그인 정보를 통해 각각의 3차원 증강 현실 영상 시현 장치(810a, 810b)를 인식하는 과정이 먼저 수행될 수 있다.

그리고 증강 현실 참여 구현 장치(700)는 무선 통신으로 접속한 3차원 증강 현실 영상 시현 장치 #1(810a)과 3차원 증강 현실 영상 시현 장치 #2(810b)로부터 위치 및 방향 정보를 전송(S110a, 110b)받는다.

이때, 3차원 증강 현실 영상 시현 장치에 탑재된 스마트폰은 GPS 정보를 통해 자신의 위치 정보를 파악할 수 있고, 또한 스마트폰에 구비된 자이로센서(gyro sensor) 등을 통해 카메라의 촬영 방향을 파악할 수 있으며, 3차원 증강 현실 영상 시현 장치는 탑재된 스마트폰을 통해 위치 및 방향 정보를 파악하여 증강 현실 참여 구현 장치(700)로 전송한다.

증강 현실 참여 구현 장치(700)는 3차원 증강 현실 영상 시현 장치 #1(810a)과 3차원 증강 현실 영상 시현 장치 #2(810b)로부터 전송된 위치 및 방향 정보를 취합(S120)하여 3차원 증강 현실 영상 시현 장치 #1(810a)과 3차원 증강 현실 영상 시현 장치 #2(810b) 간의 상대적인 위치와 방향을 파악한다.

이와 관련하여 도 9는 본 발명에 따른 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템을 통해 복수의 사용자에 대한 위치와 방향 정보를 취합하는 실시예를 도시한다.

상기 도 9에 도시된 바와 같이 각각의 3차원 증강 현실 영상 시현 장치는 GPS 정보를 기초로 위치 정보와 자이로센서가 측정한 카메라 방향 정보를 파악하여 증강 현실 참여 구현 장치(700)로 전송하며, 증강 현실 참여 구현 장치(700)는 각각의 3차원 증강 현실 영상 시현 장치로부터 전송된 위치와 방향 정보를 취합하여 3차원 증강 현실 영상 시현 장치를 착용한 각각 사용자의 시각에 대응되는 공간을 파악할 수 있다. 복수의 사용자 각각에 대한 위치와 시각 방향을 기초로 복수의 사용자가 참여하는 가상 환경에 대한 3차원 공간 규모가 설정될 수 있으며, 상기 3차원 공간 상에서 각 사용자의 상대적 위치가 확인될 수 있다.

상기 도 9에서는 설명의 편의를 위해 2차원 공간을 파악하는 것으로 묘사하였으나 실질적으로는 3차원 공간을 파악할 수 있다.

다시 상기 도 8로 회귀하여 복수의 사용자가 동시 참여하는 증강 현실을 제공하는 방법에 대하여 계속적으로 살펴본다.

3차원 증강 현실 영상 시현 장치 #1(810a)는 사용자의 실시간 시각에 대응되는 촬영 영상 #1을 생성하여 증강 현실 참여 구현 장치(700)로 전송(S140a)하며, 3차원 증강 현실 영상 시현 장치 #2(810b)도 사용자의 실시간 시각에 대응되는 촬영 영상 #2를 생성하여 증강 현실 참여 구현 장치(700)로 전송(S140b)한다.

그러면 증강 현실 참여 구현 장치(700)는 3차원 증강 현실 영상 시현 장치 #1(810a) 및 3차원 증강 현실 영상 시현 장치 #2(810b) 각각의 위치 및 방향 정보를 기초로 촬영 영상 #1과 촬영 영상 #2를 취합(S150)하고 촬영 영상 #1과 촬영 영상 #2에서 공통 지점을 검색(S160)하여 공통 지점을 기준으로 촬영 영상 #1과 촬영 영상 #2을 정합한다. 이를 통해 3차원 증강 현실 영상 시현 장치 #1(810a)과 3차원 증강 현실 영상 시현 장치 #2(810b)의 촬영 영상을 통한 각 사용자의 시각을 종합한 3차원 공간 상의 지형 및 지물을 인식할 수 있으며, 인식된 3차원 공간에 대한 3차원 좌표를 설정(S170)한다.

일례로서, 도 10 및 도 11에 도시된 본 발명에 따른 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템을 통해 복수의 사용자의 실시간 시각에 대응되는 촬영 영상을 취합하여 3차원 좌표를 설정하는 실시예를 참조하여 살펴보면, 상기 도 10의 (a)는 사용자 #1(820a)가 착용한 3차원 증강 현실 영상 시현 장치 #1(810a)의 촬영 영상 #1(830a)이고, 상기 도 10의 (b)는 사용자 #2(820b)가 착용한 3차원 증강 현실 영상 시현 장치 #2(810b)의 촬영 영상 #2(830b)이며, 상기 도 10의 (c)는 사용자 #3(820c)가 착용한 3차원 증강 현실 영상 시현 장치 #3(810c)의 촬영 영상 #3(830c)을 나타낸다.

증강 현실 참여 구현 장치(700)는 각각의 3차원 증강 현실 영상 시현 장치(810a, 810b, 810c)로부터 전송된 촬영 영상(830a, 830b, 830c)에서 지형 및 지물들을 파악하고, 각 사용자(820a, 820b, 820c)의 위치와 시각 방향을 기초로 촬영 영상(830a, 830b, 830c)을 취합하여 공통 지점을 검색하는데, 상기 도 10의 경우 촬영 영상(830a, 830b, 830c)에서 파악된 지형(b1, b2, b3)가 공통 지점으로 검색될 수 있고, 또한 촬영 영상(830a, 830b, 830c)에서 파악된 지물(a1, a2, a3) 등이 공통 지점으로 검색될 수 있다.

이와 같이 검색된 공통 지점들을 기초로 증강 현실 참여 구현 장치(700)는 촬영 영상(830a, 830b, 830c)을 정합하여 도 11과 같이 촬영 영상(830a, 830b, 830c)을 종합하며, 상기 도 11과 같이 공통 지점(a, b, c, d, e)을 기초로 생성된 3차원 공간에 대하여 3차원 좌표를 설정한다. 상기 도 11에서는 설명의 편의를 위해 2차원 좌표로 도시하였으나 실질적으로는 3차원 좌표가 설정될 수 있다.

다시 상기 도 8로 회귀하여 복수의 사용자가 동시 참여하는 증강 현실을 제공하는 방법에 대하여 이후 과정을 살펴본다.

3차원 증강 현실 영상 시현 장치 #1(810a)과 3차원 증강 현실 영상 시현 장치 #2(810b)를 착용한 각 사용자의 시각에 대응되는 3차원 좌표가 설정되면, 증강 현실 참여 구현 장치(700)는 보유된 가상 오브젝트 중 하나 이상을 선택하여 추출하고, 추출된 가상 오브젝트가 3차원 공간 상에 어느 지점에 위치하는지에 대한 가상 오브젝트의 위치 정보와 해당 가상 오브젝트 내용을 포함하는 가상 오브젝트 정보를 생성(S180)한다.

여기서 가상 오브젝트 정보는 특정 3차원 증강 현실 영상 시현 장치에만 적용시키는 개별 가상 오브젝트 정보와 증강 현실 참여 구현 장치(700)에 연결된 모든 3차원 증강 현실 영상 시현 장치에 적용시키는 공통 가상 오브젝트 정보로 구분되어 생성될 수 있다.

그리고 증강 현실 참여 구현 장치(700)는 생성된 가상 오브젝트 정보를 3차원 증강 현실 영상 시현 장치 #1(810a)과 3차원 증강 현실 영상 시현 장치 #2(810b)로 전송(S190a, S190b)한다.

나아가서 증강 현실 참여 구현 장치(700)는 3차원 증강 현실 영상 시현 장치 #1(810a)로 3차원 공간 상에서 사용자 위치에 대한 좌표 정보나 촬영 영상 #1에 대한 좌표 정보를 가상 오브젝트 정보의 전송 전에 먼저 전송하거나 가상 오브젝트 정보와 함께 전송할 수 있으며, 마찬가지로 3차원 증강 현실 영상 시현 장치 #2(810b)로도 사용자 위치에 대한 좌표 정보나 촬영 영상 #2에 대한 좌표 정보를 전송할 수 있다.

증강 현실 참여 구현 장치(700)로부터 가상 오브젝트 정보가 전송되면, 3차원 증강 현실 영상 시현 장치 #1(810a)는 촬영 영상에 가상 오브젝트를 합성(S210a)하여 증강 현실 영상을 생성(S220a)하는데, 3차원 증강 현실 영상 시현 장치 #1(810a)는 상기 가상 오브젝트 정보에서 가상 오브젝트의 내용과 위치 정보를 추출하여 사용자의 실시간 시각에 대응되는 촬영 영상에 상기 위치 정보에 대응시켜 상기 가상 오브젝트의 내용을 합성하여 증강 현실 영상을 생성하게 된다. 바람직하게는 3차원 증강 현실 영상 시현 장치 #1(810a)는 사용자 위치에 대한 좌표 정보나 촬영 영상 #1에 대한 좌표 정보를 기초로 3차원 좌표 상에서 가상 오브젝트의 위치를 파악할 수 있으며, 이를 기초로 실시간 변경되는 촬영 영상에 가상 오브젝트를 합성할 수 있다.

이와 같이 본 발명에서는 복수의 사용자 각각에 대응되어 가상 오브젝트를 생성하여 제공하여 복수의 사용자 각각에게 상기에서 살펴본 도 4와 같은 증강 현실을 구현함으로써, 복수의 사용자가 동일한 증강 현실에 동시에 참여할 수 있게 된다.

나아가서 본 발명에서는 복수의 사용자가 참여하는 증강 현실 상에서 특정 사용자에 의한 이벤트가 발생하는 경우 이를 반영하여 3차원 증강 현실을 구현할 수도 있는데, 이와 관련하여, 도 12는 본 발명에 따른 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템을 통한 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 방법에서 사용자의 이벤트에 따라 가상 오브젝트를 갱신하는 실시예의 흐름도를 도시한다.

상기 도 12의 실시예는 상기 도 9의 실시예를 수행한 이후의 과정인데, 복수의 사용자가 동시에 동일한 증간 현실에 참여한 상황에서 사용자 #1이 자신이 착용한 3차원 증강 현실 영상 시현 장치 #1(810a)를 통해 이벤트를 발생시키는 경우, 3차원 증강 현실 영상 시현 장치 #1(810a)는 발생된 이벤트를 감지하고 감지된 이벤트를 증강 현실 참여 구현 장치(700)로 전송(S310)한다.

이때, 3차원 증강 현실 영상 시현 장치 #1(810a)의 이벤트 감지는 앞서 살펴본 바와 같이 사용자의 모션이나 리모트 컨트롤러의 조작을 차원 증강 현실 영상 시현 장치 #1(810a)가 인식하고 이에 대응되는 이벤트를 판단하여 수행될 수 있다.

증강 현실 참여 구현 장치(700)는 다양한 이벤트에 대응되는 가상 이벤트 정보를 보유하고 있으며, 3차원 증강 현실 영상 시현 장치 #1(810a)로부터 전송된 이벤트에 대응되는 가상 이벤트 정보를 검색하여 추출(S320)한다.

그리고 증강 현실 참여 구현 장치(700)는 추출된 가상 이벤트 정보가 특정 사용자가 착용한 3차원 증강 현실 영상 시현 장치에만 적용할지 아니면 모든 사용자가 착용한 3차원 증강 현실 영상 시현 장치에 공통적으로 적용할지를 판단하여 이벤트가 적용될 사용자를 판단(S330)한다.

그 후 증강 현실 참여 구현 장치(700)는 추출된 가상 인벤트 정보를 기초로 가상 오브젝트 정보를 갱신(S340)하는데, 여기서 가상 오브젝트 정보는 새로운 오브젝트를 추가하거나 기존에 전송된 오브젝트를 변경하는 상황에 대한 오브젝트 내용과 위치 정보를 포함할 수 있다.

가상 오브젝트 정보를 갱신하면 증강 현실 참여 구현 장치(700)는 갱신된 가상 오브젝트 정보를 3차원 증강 현실 영상 시현 장치로 전송(S350a, S350b)하는데, 이때 앞서 이벤트가 적용될 사용자에 대한 판단에 따라 해당 사용자의 3차원 증강 현실 영상 시현 장치로 갱신된 가상 오브젝트 정보를 전송한다.

3차원 증강 현실 영상 시현 장치(810a, 810b)는 증강 현실 참여 구현 장치(700)로부터의 가상 오브젝트 정보를 전송받으면, 앞서 상기 도 8에서 살펴본 바와 같이 촬영 영상에 가상 오브젝트를 합성하여 증강 현실 영상을 생성하고 사용자에게 3차원 증강 현실 영상을 시현하여 제공한다. 이에 따라 상기 도 5에서와 같이 해당 사용자는 가상 오브젝트의 추가나 변경에 따른 이벤트 효과가 반영된 3차원 증강 현실을 경험하게 된다.

이와 같이 본 발명에서는 복수의 사용자가 참여하는 증강 현실 상황에서 특정 사용자에 대한 이벤트 발생시 이를 반영하여 증강 현실을 새롭게 구성하여 제공함으로써 복수의 사용자 간의 공통된 증강 현실의 참여가 가능하게 된다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상이 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100, 100a, 100b, 200, 610, 810a, 810b, 810c, 810d : 헤드셋
110a, 110b, 300 : 스마트폰,
210 : 스마트폰 장착부, 230 : 촬영 수단,
250 : 영상 전송부,
310 : 증강 현실 애플리케이션, 320 : 증강 현실 영상 생성부,
330 : 증강 현실 영상 시현부, 350 : 이벤트 인식부,
350 : 촬영 수단, 350 : 디스플레이,
400, 650 : 리모트 콘트롤러,
410 : 입력신호 생성부,
700 : 증강 현실 참여 구현 장치,
710 : 영상 취합부, 720 : 가상 오브젝트 생성부,
730 : 이벤트 처리부.

Claims (10)

1. 사용자의 실시간 양안 시각에 대응되는 두 개의 촬영 영상을 생성하는 두 개의 촬영수단; 과
   상기 두 개의 촬영 영상 각각에 가상 오브젝트를 합성하여 증강 현실 영상을 생성하는 증강 현실 영상 생성부; 및 상기 증강 현실 영상을 상기 사용자의 양안에 대응되는 두 개의 화면에 시현하여 상기 사용자의 실시간 시각에 대응되는 3차원 증강 현실 영상을 구현하는 증강 현실 영상 시현부;가 탑재된 스마트폰; 및
   상기 스마트폰의 화면이 상기 사용자의 양안에 대응되도록 상기 스마트폰이 장착되어 상기 사용자의 두부에 착용되어지는 헤드셋;을 포함하고,
   상기 촬영 수단은,
   상기 스마트폰에 장착된 제1 카메라와 상기 헤드셋에 장착된 제2 카메라를 포함하며,
   상기 제1 카메라는 상기 사용자의 양안 중 하나에 대응되어 촬영 영상을 생성하고, 상기 제2 카메라는 상기 사용자의 양안 중 다른 하나에 대응되어 촬영 영상을 생성하는 것을 특징으로 하는 실시간 사용자 시각에 대응되는 3차원 증강 현실 영상 시현 장치.
   
2. 삭제
3. 삭제
4. 제 1 항에 있어서,
   상기 헤드셋은,
   상기 제2 카메라의 촬영 영상을 상기 스마트폰에 탑재된 증강 현실 영상 생성부로 전송하기 위한 영상 전송부를 더 포함하는 것을 특징으로 하는 실시간 사용자 시각에 대응되는 3차원 증강 현실 영상 시현 장치.
5. 제 1 항에 있어서,
   상기 사용자가 입력하는 입력 신호에 따른 이벤트를 인식하며, 상기 이벤트에 대응되어 기보유된 가상 이벤트 정보를 추출하는 이벤트 인식부;를 더 포함하며,
   상기 증강 현실 영상 생성부는,
   상기 가상 이벤트 정보를 기초로 가상 오브젝트를 추가 또는 변경하여 상기 증강 현실 영상을 재생성하는 것을 특징으로 하는 실시간 사용자 시각에 대응되는 3차원 증강 현실 영상 시현 장치.
6. 제 5 항에 있어서,
   상기 이벤트 인식부는,
   상기 촬영 영상을 분석하여 상기 사용자의 모션을 판단하고, 기설정된 모션별 이벤트를 인식하는 것을 특징으로 하는 실시간 사용자 시각에 대응되는 3차원 증강 현실 영상 시현 장치.
7. 제 5 항에 있어서,
   상기 이벤트 인식부는,
   상기 사용자가 조작하는 리모트 컨트롤러로부터 입력 신호를 전송받아 기설정된 입력 신호별 이벤트를 인식하는 것을 특징으로 하는 실시간 사용자 시각에 대응되는 3차원 증강 현실 영상 시현 장치.
8. 복수의 사용자 각각에 개별적으로 대응되는 복수개의 제 1 항 및 제4항 내지 제 7 항 중 어느 한 항의 3차원 증강 현실 영상 시현 장치; 및
   복수개의 상기 3차원 증강 현실 영상 시현 장치 각각으로부터 촬영 영상을 전송받고, 복수개의 상기 촬영 영상을 상호 대응시켜 공통된 가상 오브젝트 정보를 생성하며, 생성된 상기 가상 오브젝트 정보를 상기 3차원 증강 현실 영상 시현 장치에 제공하는 증강 현실 참여 구현 장치를 포함하며,
   복수의 사용자에 대하여 각자의 시각에 대응되어 공통된 가상 오브젝트가 합성된 3차원 증강 현실 영상을 제공하는 것을 특징으로 하는 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템
9. 제 8 항에 있어서,
   상기 증강 현실 참여 구현 장치는,
   복수개의 상기 3차원 증강 현실 영상 시현 장치 각각으로부터 촬영 영상을 전송받고, 복수개의 상기 촬영 영상을 취합하여 상기 촬영 영상에서 공통 지점을 검색하며, 상기 공통 지점을 기준으로 복수개의 상기 촬영 영상에 대한 3차원 좌표를 설정하는 영상 취합부; 및
   하나 이상의 가상 오브젝트와 상기 3차원 좌표에 기초한 상기 가상 오브젝트의 위치 정보를 포함하는 가상 오브젝트 정보를 생성하여 상기 3차원 증강 현실 영상 시현 장치로 제공하는 가상 오브젝트 생성부를 포함하며,
   상기 3차원 증강 현실 영상 시현 장치는, 상기 가상 오브젝트 정보를 기초로 촬영 영상에 가상 오브젝트를 합성하여 증강 현실 영상을 생성하는 것을 특징으로 하는 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템
10. 제 9 항에 있어서,
    상기 증강 현실 참여 구현 장치는,
    제 5 항의 3차원 증강 현실 영상 시현 장치이며,
    상기 증강 현실 참여 구현 장치는,
    복수개의 상기 3차원 증강 현실 영상 시현 장치 중 어느 하나 이상으로부터 사용자의 이벤트를 전송받고, 상기 이벤트에 대응되어 기보유된 가상 이벤트 정보를 추출하는 이벤트 처리부를 더 포함하며,
    상기 가상 오브젝트 생성부는, 상기 가상 이벤트 정보를 기초로 상기 가상 오브젝트 정보를 갱신하여 상기 3차원 증강 현실 영상 시현 장치로 제공하는 것을 특징으로 하는 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템.
    

Images