[go: up one dir, main page]

KR102609850B1 - 가상 현실 기반의 오디오 및 비주얼 컨텐츠 제작 및전시 시스템 - Google Patents

가상 현실 기반의 오디오 및 비주얼 컨텐츠 제작 및전시 시스템 Download PDF

Info

Publication number
KR102609850B1
KR102609850B1 KR1020230099165A KR20230099165A KR102609850B1 KR 102609850 B1 KR102609850 B1 KR 102609850B1 KR 1020230099165 A KR1020230099165 A KR 1020230099165A KR 20230099165 A KR20230099165 A KR 20230099165A KR 102609850 B1 KR102609850 B1 KR 102609850B1
Authority
KR
South Korea
Prior art keywords
screen
content
unit
output
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020230099165A
Other languages
English (en)
Inventor
배진희
Original Assignee
주식회사 앰버린
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 앰버린 filed Critical 주식회사 앰버린
Priority to KR1020230099165A priority Critical patent/KR102609850B1/ko
Priority to KR1020230169264A priority patent/KR102640685B1/ko
Application granted granted Critical
Publication of KR102609850B1 publication Critical patent/KR102609850B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Processing Or Creating Images (AREA)
  • General Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Computer Security & Cryptography (AREA)
  • Remote Sensing (AREA)
  • Public Health (AREA)
  • Emergency Management (AREA)

Abstract

본 발명은 가상 현실 기반의 오디오 및 비주얼 컨텐츠 제작 및 전시 시스템에 관한 것으로 구체적으로는 가상 현실 기반으로 하되 3차원게임엔진과 XR 기술을 결합시킨 전시콘텐츠를 제공하는 것이다.
본 발명은 가상 현실 기반으로 하되 3차원게임엔진과 XR 기술을 결합시킨 전시콘텐츠를 제공함으로서 현실 세계와 가상 세계를 융합시킨 새로운 공간에서 환경에 구애받지 않고 전시콘텐츠를 즐길 수 있도록 하는 효과가 있다.
또한 화재감지가 가능하도록 함으로서 안전성을 향상시킨 기술을 제공하는 효과가 있다.

Description

가상 현실 기반의 오디오 및 비주얼 컨텐츠 제작 및 전시 시스템{Virtual reality-based audio and visual content production and exhibition systemsS}
본 발명은 가상 현실 기반의 오디오 및 비주얼 컨텐츠 제작 및 전시 시스템에 관한 것으로 구체적으로는 가상 현실 기반으로 하되 3차원게임엔진과 XR 기술을 결합시킨 전시콘텐츠를 제공하는 것이다.
AR은 실제 세계에 부가적인 정보를 띄워 현실을 증강하는 개념으로, 현실을 투영한 채 그 위에 3D 콘텐츠를 덧입혀 보여주는 방식으로 구현하는 방식이다. VR은 시뮬레이션 환경을 만들기 위해 컴퓨터 기술을 사용하는 것으로, 사용자의 시야를 완벽히 차단하고 가상으로 만든 세계만 경험하게 하게 한다. MR혼합현실은 실시간 렌더링 콘텐츠를 실제 오브제나 인물의 주변과 바닥 스크린에 배치해, 물이 공간에 몰입할 수 있는 풍부한 가상 환경을 조성하는 것이다. XR은 VR, AR, MR을 아우르는 것으로 미래에 등장할 또 다른 형태의 현실도 다 포함 할 수 있는 용어로 쓰인다.
한국등록특허공보 제10-1723828호는 공간 확장이 가능한 공간증강 인터랙티브 엔진이 적용된 체험큐브 시스템에 있어서, 체험큐브 내의 실공간을 인식하고, 체험객과 체험객의 움직임(제스처 및 포스처)를 인식하여 체험큐브에 구성된 공간증강인터랙티브엔진으로 제공하기 위한 키넥트카메라(100)와;상기 키넥트카메라로부터 제공된 정보(실공간 인식 정보, 체험객 인식 정보, 체험객 움직임 인식 정보)를 획득하여 내장된 공간증강인터랙티브엔진(250)으로 제공하여 생성된 3차원 가상객체와 체험객 간의 인터랙션을 수행하기 위한 공간증강구현장치(200)와;상기 공간증강구현장치를 통해 제공된 체험객의 움직임에 따른 3차원 가상 객체와의 인터랙션 영상 정보를 디스플레이시키기 위한 DID장치(300)와;상기 공간증강구현장치를 통해 제공된 체험객의 움직임에 따른 3차원 가상 객체와의 인터랙션 음향 정보를 출력하기 위한 스피커(400);를 포함하여 구성되는 제1큐브(1000)와,상기 제1큐브의 내부로부터 외부로 이동되어 공간을 확장시키기 위한 제2큐브(2000),를 포함하여 구성되되,상기 공간증강인터랙티브엔진(250)은,키넥트카메라(100)로부터 컬러 영상 및 깊이 영상 정보를 획득하기 위한 영상정보획득부(251)와;상기 영상정보획득부에 의해 획득된 컬러 영상 및 깊이 영상 정보를 획득하여 컬러 영상과 깊이 영상을 보정하고, RGB 영상과 깊이 영상의 호모그래피(Homography)를 계산하여 키넥트카메라를 구성하고 있는 RGB카메라와 Depth 카메라의 시점을 동일하게 처리하기 위한 영상정합부(252)와;정합된 영상을 획득하여 직선을 추출하여 추출된 직선을 통해 정합 영상에서의 공간 정보를 인식하여 공간, 정적, 동적 영역을 구분하되, 각 영역에서 특징점을 추출한 후, 각 영역의 특징점과 공간상에서의 위치 정보를 이용하여 영역이 나타내는 객체를 인식하여 동적 객체 정보를 저장하기 위한 동적객체인식부(253)와;상기 인식된 동적 객체 영역의 깊이 영상을 이용하여 키넥트카메라로부터 추출한 스켈레톤 정보를 이용하여 동적 객체에 대한 위치 정보를 추출하기 위한 동적객체좌표추출부(254)와;상기 동적 객체에 대한 위치 정보를 획득하여 연속 인식되는 객체 영역의 스켈레톤 정보를 추출하여 자세 변환을 추정하여 실시간 격자 메시를 생성하기 위한 동적객체메시출력부(255)와;인식 공간에 대한 좌표를 추출하며 추출된 좌표를 기준으로 표면의 내부와 외부를 구분하여 표면을 형성하며, 형성된 표면에 가상의 객체를 증강하기 위한 증강객체생성부(256)와;상기 증강 객체에 충돌 객체를 생성하며, 동적 객체에 충돌 객체를 생성하되, 상기 증강 객체 생성된 충돌 객체와 메시 객체에 생성된 충돌 객체가 서로 충돌하였는지를 판단하여 충돌이 발생하면 증강 객체에 이벤트를 생성하기 위한 증강객체이벤트생성부(257)와;상기 증강 객체의 이벤트를 획득하여 증강 객체에 해당되는 애니메이션을 실행하기 위한 객체애니메이션생성부(258);를 포함하여 구성되는 것을 특징으로 하는 공간 확장이 가능한 공간증강 인터랙티브 엔진이 적용된 체험큐브 시스템에 관한 것이다.
하지만 이의 경우 방문자를 일관성있게 유지할 수 있는 콘텐츠를 제공하는 것에 대한 수치파악이 어려우며 화재감지 등에 대한 기술이 미흡한 실정이다.
한국등록특허공보 제10-183927호 (2018.03.09)
본 발명의 목적은 가상 현실 기반으로 하되 3차원게임엔진과 XR 기술을 결합시킨 전시콘텐츠를 제공함으로서 현실 세계와 가상 세계를 융합시킨 새로운 공간에서 환경에 구애받지 않고 전시콘텐츠를 즐길 수 있도록 하기 위한 것이다.
또한 화재감지가 가능하도록 함으로서 안전성을 향상시킨 기술을 제공하는 것이 목적이다.
상기와 같은 문제를 해결하기 위해 본 발명은 카메라로부터 촬영된 촬영데이터를 수신하고, 3차원게임엔진부(120)로 제공하여 생성된 3차원 가상생성물과 설정된 대상 간에 인터랙션을 수행하고, 스크린연출출력부(700)에 출력될 공연컨텐츠를 제작하기 위한 증강현실스크린출력관리서버(100)와, 송출될 위치에 구축되어 증강현실스크린출력관리서버(100)로부터 렌더링된 결과물을 수신하여 스크린연출출력부(700)에 공연콘텐츠를 송출하기 위한 통신망(200)과, 스크린연출출력부(700)를 포함하는 실공간 내에 설정된 대상을 촬영하기 위한 카메라(300)와,적외선을 이용한 위치추적방식을 통해 설정된 대상의 위치를 트래킹하기 위한 카메라트래킹부(400)와,스크린연출출력부(700)의 일측에 위치하되 조명제어부(150)에 의해 컨트롤되는 조명(600)과,통신망(200)를 통해 스크린출력설정부(130)에 의해 구현된 공연콘텐츠를 전송받아 출력되기 위한 스크린연출출력부(700)를 포함하는 것을 특징으로 하는 3차원게임엔진을 기반으로 한 공연미디어 컨텐츠 제공 시스템을 제공한다.
본 발명은 가상 현실 기반으로 하되 3차원게임엔진과 XR 기술을 결합시킨 전시콘텐츠를 제공함으로서 현실 세계와 가상 세계를 융합시킨 새로운 공간에서 환경에 구애받지 않고 전시콘텐츠를 즐길 수 있도록 하는 효과가 있다.
또한 화재감지가 가능하도록 함으로서 안전성을 향상시킨 기술을 제공하는 효과가 있다.
도 1은 본 발명의 전체적인 구성을 나타낸 구성도이다.
도 2는 본 발명의 증강현실스크린출력관리서버(100)의 구성을 나타낸 도면이다.
도 3은 본 발명의 전체적인 구성을 도식화한 도면이다.
도 4는 본 발명의 실시예를 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명은 가상 현실 기반의 오디오 및 비주얼 컨텐츠 제작 및 전시 시스템에 관한 것으로 구체적으로는 가상 현실 기반으로 하되 3차원게임엔진과 XR 기술을 결합시킨 전시콘텐츠를 제공하는 것이다.
상기 게임엔진은 PC에서 비디오 게임 등의 게임을 구동시키기 위해 필요한 실시간 그래픽 표시 기능을 갖추어 상호 작용 응용 프로그램을 구현하는 핵심 소프트웨어이다.
도 1은 본 발명의 전체적인 구성을 나타낸 구성도로서 본 발명은 증강현실스크린출력관리서버(100), 통신망(200), 카메라(300), 카메라트래킹부(400), 증강현실장비(500), 조명(600), 스크린연출출력부(700)를 포함하여 구성된다.
본 발명의 경우 전시콘텐츠를 제공하기 위해 증강현실스크린출력관리서버(100)을 메인으로 하지만 필요에 따라 이외의 구성요소가 포함될 수 있다.
각 구성요소를 구체적으로 설명하면 다음과 같다.
증강현실스크린출력관리서버(100)는 카메라(300)로부터 촬영된 촬영데이터를 수신하고, 3차원게임엔진부(120)로 제공하여 생성된 3차원 가상생성물과 설정된 대상 간에 인터랙션을 수행하고, 스크린연출출력부(700)에 출력될 콘텐츠를 제작하기 위한 것이다.
증강현실스크린출력관리서버(100)의 콘텐츠는 전시를 위한 전시콘텐츠이며 콘텐츠기본정보는 전시를 위한 전시콘텐츠기본정보가 바람직하다.
상기 카메라(300)로부터 촬영된 촬영데이터는 실공간에 대한 실공간인식정보, 설정된 대상 인식정보, 설정된 대상 움직임정보 등을 포함하는 데이터이다.
도 2는 본 발명의 증강현실스크린출력관리서버(100)의 구성을 나타낸 도면이다.
상기 증강현실스크린출력관리서버(100)는 기본정보입력부(110), 3차원게임엔진부(120), 스크린출력설정부(130), 렌더링부(140), 조명제어부(150)를 포함하여 구성된다.
기본정보입력부(110)는 스크린출력을 하기 위한 콘텐츠기본정보를 입력받기 위한 것이다.
상기 콘텐츠기본정보는 행사 및 전시 기본정보, 콘텐츠 컨셉, 종류, 시놉시스, 전시의 주 콘텐츠가 되는 영상 및 오디오 데이터 등을 포함하는 정보이다.
3차원게임엔진부(120)는 카메라로부터 촬영된 촬영데이터를 수신받고, 공간 확장이 가능하도록 하기 위해 공간 증강을 위한 인터렉티브 VR을 제공하기 위한 것이다.
상기 3차원게임엔진부(120)는 바람직하게는 언리얼 엔진으로서, 퍼픽셀 라이팅, 퍼픽셀 스펙큘러, HDR 렌더링의 최신 광원효과와, 실제 현실속에서 주고 받는 명함느낌이 나도록 부드럽고 사실적인 물리적인 특성에 기반하는 머터리얼시스템과, 지속적인 업데이트, 다양한 기술지원, 언리얼 개발자간의 네트워크 지원, 뛰어난 개발도구들을 제공하고, 엔진의 구성이 유연해서 여러 기술을 조합하고 확장시킬 수 있도록 구성된다.
인터렉티브 VR(Interactive VR)은 언리얼엔진은 이용함으로써 운영체제(Operation System)와의 연동이 간편하며 실시간으로 수정할 수 있도록 하는 것이다.
특히, 상기 게임엔진은 대부분의 운영체제와 호환이 되어 간편하게 연동할 수 있어 연동시간이 단축되며, 실시간 수정이 가능함에 따라 시간이 수정시간이 단축된다.
그러므로 상기 인터렉티브 VR(Interactive VR)를 통해 연동시간과 수정시간이 단축됨에 따라 제작시간을 단축할 수 있는 것이다.
상기 인터렉티브 VR(Interactive VR)은 단계별로 인터렉티브를 하며, 시각적이며 행동적인 인터렉티브를 인터렉티브 디바이스(Interactive Device)를 통해 부가함으로써, 확장성이 매우 높다.
스크린출력설정부(130)는 3차원 공간 내에 생성될 콘텐츠를 스크린연출출력부(700)로 출력하기 위해 구현된 콘텐츠를 실제 송출될 위치와 동일한 스크린연출출력부(700)의 공간으로 구현되도록 세팅하기 위한 것이다.
상기 스크린출력설정부(130)에서 구현된 콘텐츠는 3D 또는 2D 형태 모두 가능하도록 형성되는 것이며, 콘텐츠 내에 세팅공간구현, 화각구현, 관점설정 등의 요소가 포함되어 구현될 수 있다.
상기 스크린출력설정부(130)는 3차원공간생성부(131), 콘텐츠스크린구현부(132), 스크린구현세팅부(133)를 포함하여 구성된다.
3차원공간생성부(131)는 스크린연출출력부(700)와 동일한 공간으로 모델링한 3차원공간을 생성하기 위한 것이다.
즉 3차원공간생성부(131)는 추출된 정보를 가져와 3차원 그래픽 툴을 이용하여 실제 스크린을 3차원 공간으로 재구성하거나, 전시공간에 해당되는 미디어 스크린의 설계도면 파일을 생성하여 3차원 그래픽 툴을 이용하여 실제 스크린과 동일한 공간으로 구현한다. 여기서, 3차원 공간은 실제 스크린 그대로를 축소하여 재구성하여 모델링한 가상 공간이다.
3차원공간은 실제 스크린과 동일한 형상과 공간, 비율로 생성된 가상의 객체로서, 카메라(300)로부터 촬영된 촬영데이터로부터 공간값을 분석하여 생성되는 가상의 공간이다.
콘텐츠스크린구현부(132)는 3차원공간 내에 생성될 콘텐츠를 실제 스크린에 적용하는 경우와 동일한 조건으로 구현하기 위한 것이다.
스크린구현세팅부(133)는 구현된 콘텐츠를 실제 송출될 위치와 동일한 스크린의 공간으로 구현되도록 세팅하기 위한 것이다.
상기 스크린구현세팅부(133)는 구현된 콘텐츠를 실제 송출 위치와 동일한 공간을 구현하기 위한 세팅이 완료되면, 현재 스크린에 세팅된 조건을 검출하고, 미리 설정된, 콘텐츠가 송출될 실제 환경과 동일한 공간을 조성하기 위해 요구되는 세팅 조건(예컨대, 화각, 뷰포인트, 공간, 등)에 만족하는가를 판단하고, 상기 세팅 조건에 만족되지 않는 조건을 검출할 수 있다.
만약 세팅조건에 만족되지 않는 조건이 검출되면, 재조정 요구 알림정보를 사용자에 제공하고, 스크린에 만족되지 않는 조건을 출력할 수 있다.
상기 스크린구현세팅부(133)는 콘텐츠우선순위설정기능(133a), 데이터변환기능(133b)을 포함한다.
콘텐츠우선순위설정기능(133a)는 VR 콘텐츠로 구성 및 제작될 타겟 데이터를 설정하고, 설정한 타겟 데이터에 대한 콘텐츠 우선순위를 설정하기 위한 것이다.
데이터변환기능(133b)은 오디오 데이터를 비주얼 데이터로 변환하기 위한 것이다.
구체적으로는 데이터변환기능(133b)은 오디오데이터 및 외부 환경에 대한 정보에 기초하여, 기 분류된 비주얼데이터 카테고리 중 상기 오디오데이터에 대응되는 비주얼데이터 카테고리 내에 속한 적어도 하나의 비주얼데이터를 선택하여 오디오데이터를 비주얼데이터로 변환할 수 있다.
또한 데이터변환기능(133b)의 기 분류된 비주얼데이터 카테고리는　오디오데이터의 장르를 기반으로 분류된 제1 카테고리들을 포함하고, 상기 제1 카테고리들 각각은, 외부 환경을 기반으로 분류된 제2 카테고리들을 포함할 수 있다.
예를 들면 오디오데이터는 주파수영역별로 소리를 색인화하여 장르를 분류할 수 있으며, 장르로 분류된 오디오데이터를 기반으로 비주얼데이터를 특정 카테고리들로 사전에 분류할 수 있다.
상기 스크린구현세팅부(133)는 설정값변경기능(133c)을 더 포함하며, 다수개가 설치된 스크린연출출력부(700)를 통해 출력되는 각 콘텐츠의 위치별 방문자유지수치를 설정된 시간대별로 [수학식 1] 을 통하여 계산함으로서 어느 시간대에 일관성 있게 방문자들이 방문하는지 여부를 판단할 수 있다. 이를 통해 특정 시간대의 방문자유지수치가 사전에 설정된 방문자유지수치의 기준값보다 낮은 기준값을 가지는 시간대에 대한 데이터를 저장하고, 저장된 데이터들을 분석하여 설정된 기준값보다 낮은 방문자유지수치를 가진 시간대가 소정 횟수 이상 발생하는 경우 해당 시간대의 콘텐츠를 다른 콘텐츠로 변경할 수 있다.
Figure 112023083786607-pat00001
(여기서, G는 방문자유지수치, K는 스크린연출출력부(700)의 전체 개수, Dm은 m번째 스크린연출출력부(700)의 방문자밀집도측정값, Da는 산출된 모든 방문자밀집도측정값의 평균을 나타낸다.)
이러한 방문자유지수치는 설정된 시간간격마다 각 스크린연출출력부(700)가 위치하는 위치에 방문하는 방문객의 방문밀집정보를 저장하고, 저장된 방문밀집정보의 분산을 구한 뒤 분산이 작을수록 일관성 있게 방문객이 유지되는 것으로 판정하고, 분산이 클수록 일관성이 없게 방문객이 유지되는 것으로 판단할 수 있다.
또한 이는 전시 공간이 여러 군데인 경우에 각각 설치된 스크린연출출력부(700)에서 적용되는 것이 바람직하며 방문자가 유동적으로 이동할 수 있는 경우에 적용될 수 있으나 이의 공간적 요소 등을 제한하지 않는다.
예를 들면,
1) 측정시간대가 A 시간대이고, 스크린연출출력부(700)의 전체 개수가 3개이고, 1번째 스크린연출출력부(700)의 방문자밀집도측정값은 5, 2째 스크린연출출력부(700)의 방문자밀집도측정값은 4, 3번째 스크린연출출력부(700)의 방문자밀집도측정값은 4, 산출된 모든 방문자밀집도측정값의 평균은 4.5 인 경우,
Figure 112023083786607-pat00002
방문자유지수치G는 26.7이다.
2) 측정시간대가 B 시간대이고, 스크린연출출력부(700)의 전체 개수가 3개이고, 1번째 스크린연출출력부(700)의 방문자밀집도측정값은 5, 2째 스크린연출출력부(700)의 방문자밀집도측정값은 3, 3번째 스크린연출출력부(700)의 방문자밀집도측정값은 5, 산출된 모든 방문자밀집도측정값의 평균은 4.2 인 경우
Figure 112023083786607-pat00003
방문자유지수치G는 22.05이다.
분산이 작을수록 방문자유지수치가 커지므로 높은 점수, 즉 높은 방문자유지수치로 판단할 수 있으며, 분산이 커질수록 방문자유지수치가 작아져 낮은 점수, 즉 방문자유지수치가 낮은 것으로 판단할 수 있다.
즉 1)과 2)의 결과를 비교하면 1)의 방문자유지수치가 더 높기 때문에 A시간대에 더 일관성있게 방문자가 유지되고 있는 것으로 확인할 수 있다.
렌더링부(140)는 스크린출력설정부(130)에 의해 세팅완료된 데이터를 렌더링하기 위한 것이다.
상기 렌더링부(140)는 생성된 연출이미지를 실시간으로 시뮬레이션하고 실제 영상과 통합할 수 있으며 이를 통해 결과물의 오류를 줄이고 완성도를 높이는 효과가 있다.
조명제어부(150)는 조명(600)의 위치를 제어하기 위한 것으로 스크린구현세팅부(133) 내의 조명과 실제 조명인 조명(600)의 움직임을 일치화시키기 위한 것이다.
통신망(200)는 송출될 위치에 구축되어 증강현실스크린출력관리서버(100)로부터 렌더링된 결과물을 수신하여 스크린연출출력부(700)에 콘텐츠를 송출하기 위한 것이다.
카메라(300)는 스크린연출출력부(700)를 포함하는 실공간 내에 설정된 대상을 촬영하기 위한 것이다.
카메라트래킹부(400)는 카메라(300)의 일측에 위치하되 적외선을 이용한 위치추적방식을 통해 설정된 대상의 위치를 트래킹하기위한 것이다.
증강현실장비(500)은 사용자가 착용하는 것으로 스크린연출출력부(700)에 구현된 콘텐츠를 시각화하도록 하는 것이다. 상기 증강현실장비(500)는 통상적이 VR 장비, XR 장비 등을 포함하는 것으로 사용자가 착용하되 가상공간콘텐츠를 시각화할 수 있도록 하는 것이다.
조명(600)은 스크린연출출력부(700)의 일측에 위치하되 조명제어부(150)에 의해 제어되는 것이다.
상기 조명(600)은 인물에 그래픽과 인물의 색감을 맞추어 가상과 현실의 경계를 무너뜨리도록 하기 위해 형성되는 것이다.
스크린연출출력부(700)는 소정 크기의 스크린으로서 통신망(200)를 통해 스크린출력설정부(130)에 의해 구현된 콘텐츠를 전송받아 출력되기 위한 것이다. 상기 스크린연출출력부(700)는 소정 개수가 형성될 수 있으며 디스플레이 등 콘텐츠를 출력하기 위한 어떤 장비든 무관하다.
본 발명은 화재감지부(800)와 쿨링시스템(900)를 더 포함할 수 있다(도면 미도시됨).
화재감지부(800)는 화재감지센서를 통해 증강현실스크린출력관리서버(100), 통신망(200), 카메라(300), 카메라트래킹부(400), 증강현실장비(500), 조명(600), 스크린연출출력부(700)의 온도를 측정하여 화재 감지 여부를 감지하기 위한 것이다.
상기 화재감지부(800)는 [수학식 2]를 통하여 안전수치를 계산하고 계산된 안전수치가 기준 값 이상인 경우 쿨링시스템(900)의 작동하기 위한 작동신호를 쿨링시스템(900)으로 전송할 수 있다.
Figure 112023083786607-pat00004
(여기서, W는 안전수치, r은 기준수치, x는 안전도가중치, j는 기준값이하상측정횟수, t는 화재감지부(800)의 오작동빈도수, v는 화재감지부(800)의 작동횟수를 의미한다.)
여기서 기준수치는 안전수치의 만점이라고 간주되는 점수를 의미한다. 다시 말해 안전수치의 만점이 50점인 경우 기준수치는 50, 안전수치의 만점이 10점인 경우 기준수치는 10이 된다. 이는 본 발명의 시스템을 관리하는 사람에 의해 설정되는 안전수치의 만점이 기준수치로써 설정되며, 기준수치의 크기에는 제한을 두지 않는 것이 바람직하다.
또한 안전도가중치는 화재감지부(800)의 작동 상태이 정상적으로 일어나고 있을수록 1에 가까운 값을 나타내며, 화재감지부(800)의 고장 또는 오작동이 빈번한 경우 0에 가까운 값을 나타낸다. 이때 안전도가중치는 관리자에 의해 설정될 수 도 있으며 이에 대한 값은 제한을 두지 않는 것이 바람직하다.
화재감지부(800)의 작동횟수는 관리자에 의해 설정된 시간단위마다 화재감지센서가 작동된 횟수를 의미하며, 오작동빈도수는 화재감지센서가 오작동되는 빈도수를 의미하며, 기준값이하측정횟수는 관리자에 의해 설정된 온도보다 측정된 온도 값이 높았을때의 횟수를 의미한다.
예를 들면 안전수치의 만점이 50이고, 기준수치가 50, 안전도가중치가 0.8, 화재감지부(800)로 측정된 온도의 기준값이하측정횟수가 15회, 화재감지부(800)의 오작동빈도수가 3회, 화재감지부(800)의 작동횟수가 30회인 경우
Figure 112023083786607-pat00005
로 계산될 수 있다.
상기 안전수치는 화재감지부(800)의 작동횟수 대비 기준값이하측정횟수가 높을수록, 오작동빈도수가 작을수록, 안전도가중치가 높을수록 높은 값을 가지게 된다.
쿨링시스템(900)은 화재감지부(800)를 통하여 화재 감지 시 작동되는 것으로 화재를 방지하기 위해 설치될 수 있다.
상기 쿨링시스템(900)은 화재 시 작동되는 통상적인 쿨링시스템이어도 무방하며 이에 대한 구체적인 설명은 생략한다.
도 3은 본 발명의 전체적인 구성을 도식화한 도면이다. 이를 참고하면 4개의 조명(600)이 위치하고,4개의 스크린연출출력부(700)인 LED가 형성될 수 있으며 카메라(300)와 카메라트래킹부(400)에 의해 트래킹된 정보를 증강현실스크린출력관리서버(100)로 전송되며 3차원게임엔진을 기반으로 하여 XR 기술을 결합시킨 공연미디어 콘텐츠를 제공받을 수 있다.
도 4는 스크린연출출력부(700)인 LED wall과 LED Floor의 예시도면으로 전시공간을 나타낸 예시도면이다.
이상과 같은 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
100 증강현실스크린출력관리서버
110 기본정보입력부
120 3차원게임엔진부
130 스크린출력설정부
131 3차원공간생성부
132 콘텐츠스크린구현부
133 스크린구현세팅부
140 렌더링부
150 조명제어부
200 통신망
300 카메라
400 카메라트래킹부
500 증강현실장비
600 조명
700 스크린연출출력부
800 화재감지부
900 쿨링시스템

Claims (3)

  1. 카메라(300)로부터 촬영된 촬영데이터를 수신하고, 3차원게임엔진부(120)로 제공하여 생성된 3차원 가상생성물과 설정된 대상 간에 인터랙션을 수행하고, 스크린으로 출력될 컨텐츠를 제작하기 위한 증강현실스크린출력관리서버(100)와,
    송출될 위치에 구축되어 증강현실스크린출력관리서버(100)로부터 렌더링된 결과물을 수신하여 스크린연출출력부(700)에 공연콘텐츠를 송출하기 위한 통신망(200)과,
    스크린연출출력부(700)를 포함하는 실공간 내에 설정된 대상을 촬영하기 위한 카메라(300)와,
    통신망(200)를 통해 스크린출력설정부(130)에 의해 구현된 콘텐츠를 전송받아 출력되기 위한 스크린연출출력부(700)를 포함하되,
    상기 증강현실스크린출력관리서버(100)는
    스크린연출출력부(700)으로 출력하기 위한 콘텐츠기본정보를 입력받기 위한 기본정보입력부(110)와,
    카메라로부터 촬영된 촬영데이터를 수신받고, 공간 확장이 가능하도록 하기 위해 공간 증강을 위한 인터렉티브 VR을 제공하기 위한 3차원게임엔진부(120)와,
    3차원 공간 내에 생성될 전시콘텐츠를 스크린으로 출력하기 위해 구현된 컨텐츠를 실제 송출될 위치와 동일한 스크린의 공간으로 구현되도록 세팅하기 위한 스크린출력설정부(130)를 포함하고,

    증강현실스크린출력관리서버(100)의 콘텐츠는 전시를 위한 전시콘텐츠이며 콘텐츠기본정보는 전시를 위한 전시콘텐츠기본정보이고,
    상기 스크린출력설정부(130)는
    스크린연출출력부(700)과 동일한 공간으로 모델링한 3차원공간을 생성하기 위한 3차원공간생성부(131)와,
    3차원공간 내에 생성될 콘텐츠를 스크린연출출력부(700)에 적용하는 경우와 동일한 조건으로 구현하기 위한 콘텐츠스크린구현부(132)와,
    구현된 컨텐츠를 실제 송출될 위치와 동일한 스크린연출출력부(700)의 공간으로 구현되도록 세팅하기 위한 스크린구현세팅부(133)를 포함하고,

    상기 스크린출력설정부(130)는
    VR 컨텐츠로 구성 및 제작될 타겟 데이터를 설정하고, 설정한 타겟 데이터에 대한 컨텐츠 우선순위를 설정하는 컨텐츠우선순위설정기능(133a)과,
    오디오 데이터를 비주얼 데이터로 변환하기 위한 데이터변형기능(133b)을 포함하되,
    상기 데이터변형기능(133b)은
    오디오데이터 및 외부 환경에 대한 정보에 기초하여, 기 분류된 비주얼데이터 카테고리 중 상기 오디오데이터에 대응되는 비주얼데이터 카테고리 내에 속한 적어도 하나의 비주얼데이터를 선택하는 것을 특징으로 하고,

    상기 스크린구현세팅부(133)는
    다수개가 설치된 스크린연출출력부(700)를 통해 출력되는 각 콘텐츠의 위치별 방문자유지수치를 설정된 시간대별로 [수학식 1] 을 통하여 계산함으로서 어느 시간대에 일관성 있게 방문자들이 방문하는지 여부를 판단하기 위한 설정값변경기능(133c)을 더 포함하며.

    [수학식 1]은
    Figure 112023115404587-pat00006

    (여기서, G는 방문자유지수치, K는 스크린연출출력부(700)의 전체 개수, Dm은 m번째 스크린연출출력부(700)의 방문자밀집도측정값, Da는 산출된 모든 방문자밀집도측정값의 평균을 나타낸다.)
    이고,

    상기 [수학식 1]에 의해 계산된 방문자유지수치는 설정된 시간간격마다 각 스크린연출출력부(700)가 위치하는 위치에 방문하는 방문객의 방문밀집정보를 저장하고, 저장된 방문밀집정보의 분산을 구한 뒤 분산이 작을수록 일관성 있게 방문객이 유지되는 것으로 판정하고, 분산이 클수록 일관성이 없게 방문객이 유지되는 것으로 판단하는 것을 특징으로 하는 가상 현실 기반의 오디오 및 비주얼 컨텐츠 제작 및 전시 시스템.
  2. 삭제
  3. 삭제
KR1020230099165A 2023-07-28 2023-07-28 가상 현실 기반의 오디오 및 비주얼 컨텐츠 제작 및전시 시스템 Active KR102609850B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020230099165A KR102609850B1 (ko) 2023-07-28 2023-07-28 가상 현실 기반의 오디오 및 비주얼 컨텐츠 제작 및전시 시스템
KR1020230169264A KR102640685B1 (ko) 2023-07-28 2023-11-29 인터렉티브 vr 기술이 결합된 오디오 및 비주얼 컨텐츠 제작 및 전시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230099165A KR102609850B1 (ko) 2023-07-28 2023-07-28 가상 현실 기반의 오디오 및 비주얼 컨텐츠 제작 및전시 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230169264A Division KR102640685B1 (ko) 2023-07-28 2023-11-29 인터렉티브 vr 기술이 결합된 오디오 및 비주얼 컨텐츠 제작 및 전시 시스템

Publications (1)

Publication Number Publication Date
KR102609850B1 true KR102609850B1 (ko) 2023-12-05

Family

ID=89156998

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020230099165A Active KR102609850B1 (ko) 2023-07-28 2023-07-28 가상 현실 기반의 오디오 및 비주얼 컨텐츠 제작 및전시 시스템
KR1020230169264A Active KR102640685B1 (ko) 2023-07-28 2023-11-29 인터렉티브 vr 기술이 결합된 오디오 및 비주얼 컨텐츠 제작 및 전시 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230169264A Active KR102640685B1 (ko) 2023-07-28 2023-11-29 인터렉티브 vr 기술이 결합된 오디오 및 비주얼 컨텐츠 제작 및 전시 시스템

Country Status (1)

Country Link
KR (2) KR102609850B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0183927B1 (ko) 1996-09-20 1999-04-15 삼성전자주식회사 복호화장치
KR101723828B1 (ko) * 2016-08-30 2017-04-19 주식회사 케이쓰리아이 공간 확장이 가능한 공간증강 인터랙티브 엔진이 적용된 체험큐브 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230099156A (ko) * 2021-12-27 2023-07-04 주식회사 콜러노비타 충격센서를 이용한 욕실장치 동작 제어방법
KR20230099165A (ko) * 2021-12-27 2023-07-04 주식회사 선도소프트 Gis 활동자료 기반 데이터 블록형 온실가스 산정 관리 장치 및 방법
KR20230160970A (ko) * 2022-05-16 2023-11-27 계명대학교 산학협력단 인공지능 모듈을 활용한 골프 데이터 관리를 위한 골프 볼 감지 센서 모듈 장치 및 클라우드 기반 플랫폼 서비스 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0183927B1 (ko) 1996-09-20 1999-04-15 삼성전자주식회사 복호화장치
KR101723828B1 (ko) * 2016-08-30 2017-04-19 주식회사 케이쓰리아이 공간 확장이 가능한 공간증강 인터랙티브 엔진이 적용된 체험큐브 시스템

Also Published As

Publication number Publication date
KR102640685B1 (ko) 2024-02-27

Similar Documents

Publication Publication Date Title
JP7366196B2 (ja) 広範囲同時遠隔ディジタル提示世界
Gonçalves et al. Systematic review of comparative studies of the impact of realism in immersive virtual experiences
CN100534158C (zh) 产生虚拟图像和真实图像的合成图像
US7292240B2 (en) Virtual reality presentation device and information processing method
US8405680B1 (en) Various methods and apparatuses for achieving augmented reality
JP2019149202A (ja) エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン
CN102930753B (zh) 加油站虚拟培训系统及应用
US12020667B2 (en) Systems, methods, and media for displaying interactive augmented reality presentations
EP3383036A2 (en) Information processing device, information processing method, and program
JP2023520765A (ja) 仮想および拡張現実のためのシステムおよび方法
KR101947650B1 (ko) 게임 엔진 기반의 머신 러닝 학습이미지 생성 장치 및 방법
US20120196660A1 (en) Method and system for vision-based interaction in a virtual environment
US20090187389A1 (en) Immersive Collaborative Environment Using Motion Capture, Head Mounted Display, and Cave
Montero et al. Designing and implementing interactive and realistic augmented reality experiences
JP2013514585A (ja) プレゼンテーション用カメラ・ナビゲーション
TW201246088A (en) Theme-based augmentation of photorepresentative view
CN102332090A (zh) 划分在视野内的焦点区域
JP2006313549A (ja) 実マーカオブジェクトを識別する拡張現実システム
NL2002841A (en) Immersive collaborative environment using motion capture, head mounted display, and cave.
JP2020042362A (ja) 制御装置及びその制御方法
JP2024092924A (ja) Ｘｒコンテンツを用いた訓練システム、方法、および装置
US20170104982A1 (en) Presentation of a virtual reality scene from a series of images
JP7138392B1 (ja) 仮想空間体感システム
KR102609850B1 (ko) 가상 현실 기반의 오디오 및 비주얼 컨텐츠 제작 및전시 시스템
KR102605956B1 (ko) 3차원게임엔진을 기반으로 한 공연미디어 콘텐츠 제공시스템

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20230728

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20230728

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20231113

A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20231129

Patent event code: PA01071R01D

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20231130

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20231130

End annual number: 3

Start annual number: 1

PG1601 Publication of registration