[go: up one dir, main page]

KR102641519B1 - Method, apparatus, and system for providing metaverse - Google Patents

Method, apparatus, and system for providing metaverse Download PDF

Info

Publication number
KR102641519B1
KR102641519B1 KR1020210105773A KR20210105773A KR102641519B1 KR 102641519 B1 KR102641519 B1 KR 102641519B1 KR 1020210105773 A KR1020210105773 A KR 1020210105773A KR 20210105773 A KR20210105773 A KR 20210105773A KR 102641519 B1 KR102641519 B1 KR 102641519B1
Authority
KR
South Korea
Prior art keywords
metaverse
user
displays
content
providing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210105773A
Other languages
Korean (ko)
Other versions
KR20230024451A (en
Inventor
문연국
김민준
김지은
채승훈
원광호
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210105773A priority Critical patent/KR102641519B1/en
Priority to PCT/KR2021/011663 priority patent/WO2023017890A1/en
Publication of KR20230024451A publication Critical patent/KR20230024451A/en
Application granted granted Critical
Publication of KR102641519B1 publication Critical patent/KR102641519B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 따른 메타버스 제공 방법은 a) 복수의 디스플레이에 의해 제공되는 체험 공간을 포함하는 메타버스 제공 장치의 상기 체험 공간에서 카메라를 이용하여 하나 이상의 사용자의 위치를 탐지하는 단계; b) 상기 사용자의 위치 및 상기 사용자가 선택한 메타버스 콘텐츠에 근거하여 상기 복수의 디스플레이 중 하나 이상의 디스플레이에 상기 메타버스 콘텐츠를 표시하는 단계; c) 복수의 센서 중 상기 사용자의 위치에 가장 가까운 센서를 이용하여 상기 사용자의 행동을 감지하는 단계; 및 d) 상기 복수의 디스플레이 중 상기 가장 가까운 센서에 대응하는 디스플레이에 상기 사용자의 행동과 동기화된 사용자 아바타를 표시하는 단계를 포함하는 것을 특징으로 한다. A method for providing a metaverse according to an embodiment of the present invention includes the steps of: a) detecting the location of one or more users using a camera in the experience space of a metaverse providing device including an experience space provided by a plurality of displays; b) displaying the metaverse content on one or more of the plurality of displays based on the user's location and the metaverse content selected by the user; c) detecting the user's behavior using the sensor closest to the user's location among a plurality of sensors; and d) displaying a user avatar synchronized with the user's actions on a display corresponding to the closest sensor among the plurality of displays.

Figure 112021092496805-pat00002
Figure 112021092496805-pat00002

Description

메타버스 제공 방법, 메타버스 제공 장치, 및 메타버스 제공 시스템{Method, apparatus, and system for providing metaverse}Method for providing metaverse, apparatus for providing metaverse, and system for providing metaverse {Method, apparatus, and system for providing metaverse}

본 발명은 메타버스 제공 방법, 메타버스 제공 장치, 및 메타버스 제공 시스템에 관한 것으로, 상세하게는, 혼합 현실 기반의 체험 공간에서 접속이 가능한 메타버스를 구현하고, 동일한 체험 공간 내의 복수의 사용자 또는 서로 다른 체험 공간 내의 복수의 사용자가 접속하여 메타버스 콘텐츠의 경험을 공유하거나, 체험 공간 내의 단일 사용자가 메타버스 콘텐츠를 경험할 수 있는 메타버스 제공 방법, 메타버스 제공 장치, 및 메타버스 제공 시스템에 관한 것이다. The present invention relates to a metaverse providing method, a metaverse providing device, and a metaverse providing system. In detail, the present invention relates to a metaverse providing a metaverse that can be accessed in a mixed reality-based experience space, and to implement a metaverse that can be accessed by a plurality of users or users in the same experience space. Metaverse provision method, metaverse provision device, and metaverse provision system in which multiple users within different experience spaces can connect and share the experience of metaverse content, or a single user within the experience space can experience metaverse content will be.

최근, COVID-19로 인한 팬데믹 현상으로 인해 비대면 환경 기반의 활동이 대중화되었지만, 소비가능한 콘텐츠는 대부분 수동적인 형태이며, 그 종류 역시 한정적이다. 또한, 대부분의 혼합 현실 기반의 체험은 HMD(Head Mount Display)와 같은 가상 현실 기기를 이용하는 서비스를 제공하지만, 이러한 가상 현실 기기는 장시간 착용할 경우 사용자의 불편함을 가져오며, 가상 현실 기기를 착용한 채 활동적인 체험을 하는 것은 매우 어렵다. Recently, activities based on non-face-to-face environments have become popular due to the pandemic caused by COVID-19, but most consumable content is in a passive form and the types are limited. In addition, most mixed reality-based experiences provide services using virtual reality devices such as HMD (Head Mounted Display), but these virtual reality devices cause discomfort to users when worn for long periods of time. It is very difficult to have an active experience while staying alone.

사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법에 관한 종래 기술인 특허문헌 1(한국공개특허공보 제10-2014-0036555호)이 개시되어 있다. Patent Document 1 (Korean Patent Publication No. 10-2014-0036555), which is a prior art regarding a metaverse client terminal and method for providing a metaverse space where interaction between users is possible, is disclosed.

특허문헌 1에 개시된 메타버스 공간 제공 시스템은, 예를 들어, 집에 있는 제1 사용자 및 야외 공간에 있는 제2 사용자가 각각 단일 평면 디스플레이에 표시되는 메타버스 콘텐츠를 통해 경험을 공유하는 구성을 개시하고 있다. 이러한 종래 기술에서는, 각각의 사용자가 경험하는 둘레길 및 올레길과 같은 메타버스 콘텐츠가 각각의 실제 공간마다 마련된 단일 평면 디스플레이에 표시되기 때문에, 제공되는 메타버스의 현실감을 높이는 데에 한계가 있는 문제점이 있다. The metaverse space provision system disclosed in Patent Document 1, for example, discloses a configuration in which a first user at home and a second user in an outdoor space share an experience through metaverse content displayed on a single flat display. I'm doing it. In this prior art, metaverse content such as Dulle-gil and Olle-gil experienced by each user is displayed on a single flat display provided in each actual space, which is a problem in that there is a limit to enhancing the realism of the metaverse provided. There is.

한국공개특허공보 제10-2014-0036555호Korean Patent Publication No. 10-2014-0036555

본 발명의 목적은 메타버스의 현실감을 높일 수 있는 메타버스 제공 방법, 메타버스 제공 장치, 및 메타버스 제공 시스템을 제공하는 데에 있다. The purpose of the present invention is to provide a metaverse providing method, a metaverse providing device, and a metaverse providing system that can enhance the realism of the metaverse.

본 발명의 다른 목적은 HMD(Head Mount Display)와 같은 가상 현실로의 접속을 위한 별도의 착용 기기 없이 메타버스에 접속하여 활동적인 체험을 수행할 수 있는 메타버스 제공 방법, 메타버스 제공 장치, 및 메타버스 제공 시스템을 제공하는 데에 있다.Another object of the present invention is to provide a metaverse providing method, a metaverse providing device, and The purpose is to provide a metaverse provision system.

본 발명의 또 다른 목적은 체험 공간 내에 제공되는 메타버스 콘텐츠의 개수를 계속 확장할 수 있는 메타버스 제공 방법, 메타버스 제공 장치, 및 메타버스 제공 시스템을 제공하는 데에 있다. Another object of the present invention is to provide a metaverse providing method, a metaverse providing device, and a metaverse providing system that can continue to expand the number of metaverse contents provided in an experience space.

본 발명의 또 다른 목적은 체험 공간 내의 단일 사용자가 메타버스 콘텐츠를 경험할 수 있을 뿐만 아니라, 동일한 체험 공간 내의 복수의 사용자 또는 서로 다른 체험 공간 내의 복수의 사용자가 접속하여 메타버스 콘텐츠의 경험을 공유할 수 있는 메타버스 제공 방법, 메타버스 제공 장치, 및 메타버스 제공 시스템을 제공하는 데에 있다. Another purpose of the present invention is to enable not only a single user within an experience space to experience metaverse content, but also to allow multiple users within the same experience space or multiple users within different experience spaces to connect and share the experience of metaverse content. The goal is to provide a metaverse provision method, a metaverse provision device, and a metaverse provision system.

상기와 같은 목적을 달성하기 위하여, 본 발명의 실시예의 제1 특징에 따르는 메타버스 제공 방법은 a) 복수의 디스플레이에 의해 제공되는 체험 공간을 포함하는 메타버스 제공 장치의 상기 체험 공간에서 카메라를 이용하여 하나 이상의 사용자의 위치를 탐지하는 단계; b) 상기 사용자의 위치 및 상기 사용자가 선택한 메타버스 콘텐츠에 근거하여 상기 복수의 디스플레이 중 하나 이상의 디스플레이에 상기 메타버스 콘텐츠를 표시하는 단계; c) 복수의 센서 중 상기 사용자의 위치에 가장 가까운 센서를 이용하여 상기 사용자의 행동을 감지하는 단계; 및 d) 상기 복수의 디스플레이 중 상기 가장 가까운 센서에 대응하는 디스플레이에 상기 사용자의 행동과 동기화된 사용자 아바타를 표시하는 단계를 포함하는 것을 특징으로 한다. In order to achieve the above object, the metaverse providing method according to the first feature of the embodiment of the present invention a) uses a camera in the experience space of the metaverse providing device including the experience space provided by a plurality of displays. detecting the location of one or more users; b) displaying the metaverse content on one or more of the plurality of displays based on the user's location and the metaverse content selected by the user; c) detecting the user's behavior using the sensor closest to the user's location among a plurality of sensors; and d) displaying a user avatar synchronized with the user's actions on a display corresponding to the closest sensor among the plurality of displays.

상기 제1 특징에 따르는 메타버스 제공 방법은, 상기 b) 단계가, 상기 체험 공간 내의 복수의 사용자 중 제1 사용자가 제1 메타버스 콘텐츠를 선택하고 제2 사용자가 제2 메타버스 콘텐츠를 선택한 상태일 때, 상기 복수의 디스플레이 중 상기 제1 사용자의 위치에 가장 가까운 디스플레이에 제1 메타버스 콘텐츠를 표시하고, 나머지 디스플레이 중 하나 이상의 디스플레이에 제2 메타버스 콘텐츠를 표시하는 단계를 포함할 수 있다. In the metaverse providing method according to the first feature, step b) is a state in which a first user among a plurality of users in the experience space selects the first metaverse content and the second user selects the second metaverse content. In this case, displaying the first metaverse content on one of the plurality of displays closest to the location of the first user and displaying the second metaverse content on one or more of the remaining displays.

본 발명의 실시예의 제2 특징에 따르는 메타버스 제공 방법은 a) 각각이 복수의 디스플레이에 의해 제공되는 복수의 체험 공간을 포함하는 복수의 메타버스 제공 장치의 각각의 체험 공간에서 카메라를 이용하여 하나 이상의 사용자의 위치를 탐지하는 단계; b) 상기 각각의 체험 공간에서 상기 사용자의 위치 및 상기 사용자가 선택한 메타버스 콘텐츠에 근거하여 상기 복수의 디스플레이 중 하나 이상의 디스플레이에 상기 메타버스 콘텐츠를 표시하는 단계; c) 상기 각각의 체험 공간에서 복수의 센서 중 상기 사용자의 위치에 가장 가까운 센서를 이용하여 상기 사용자의 행동을 감지하는 단계; 및 d) 상기 각각의 체험 공간에서 상기 복수의 디스플레이 중 상기 가장 가까운 센서에 대응하는 디스플레이에 상기 사용자의 행동과 동기화된 사용자 아바타를 표시하는 단계를 포함하는 것을 특징으로 한다. The metaverse providing method according to the second feature of the embodiment of the present invention is a) using a camera in each experience space of a plurality of metaverse providing devices, each of which includes a plurality of experience spaces provided by a plurality of displays. Detecting the user's location; b) displaying the metaverse content on one or more of the plurality of displays based on the user's location in each experience space and the metaverse content selected by the user; c) detecting the user's behavior using the sensor closest to the user's location among a plurality of sensors in each experience space; and d) displaying a user avatar synchronized with the user's behavior on a display corresponding to the closest sensor among the plurality of displays in each experience space.

상기 제2 특징에 따르는 메타버스 제공 방법은 상기 d) 단계에서, 상기 복수의 메타버스 제공 장치 중 제1 메타버스 제공 장치의 제1 체험 공간의 사용자 및 제2 메타버스 제공 장치의 제2 체험 공간의 사용자가 동일한 제1 메타버스 콘텐츠를 선택한 상태일 때, 상기 제1 메타버스 제공 장치의 복수의 디스플레이 중 하나 이상의 디스플레이 및 상기 제2 메타버스 제공 장치의 복수의 디스플레이 중 하나 이상의 디스플레이에, 각각, 상기 제1 체험 공간의 사용자의 행동과 동기화된 사용자 아바타 및 상기 제2 체험 공간의 사용자의 행동과 동기화된 사용자 아바타를 동시에 표시할 수 있다. The metaverse providing method according to the second feature includes, in step d), a user in the first experience space of the first metaverse providing device among the plurality of metaverse providing devices and the second experience space of the second metaverse providing device. When the user selects the same first metaverse content, on one or more displays among the plurality of displays of the first metaverse providing device and one or more displays among the plurality of displays of the second metaverse providing device, respectively, A user avatar synchronized with the user's behavior in the first experience space and a user avatar synchronized with the user's behavior in the second experience space may be displayed at the same time.

본 발명의 실시예의 제3 특징에 따르는 메타버스 제공 장치는 체험 공간을 제공하도록 배치되며 메타버스 콘텐츠를 표시하는 복수의 디스플레이; 상기 체험 공간 내의 하나 이상의 사용자의 위치를 탐지하는 카메라; 상기 사용자의 행동을 감지하는 복수의 센서; 및 상기 사용자의 위치 및 상기 사용자가 선택한 상기 메타버스 콘텐츠에 근거하여 상기 복수의 디스플레이 중 하나 이상의 디스플레이에 상기 메타버스 콘텐츠를 표시하고, 상기 복수의 센서 중 상기 사용자의 위치에 가장 가까운 센서를 이용하여 상기 사용자의 행동을 감지하며, 상기 복수의 디스플레이 중 상기 가장 가까운 센서에 대응하는 디스플레이에 상기 사용자의 행동과 동기화된 사용자 아바타를 표시하도록 상기 복수의 디스플레이 및 상기 복수의 센서를 제어하는 제어부를 포함하는 것을 특징으로 한다. A metaverse providing device according to a third aspect of an embodiment of the present invention includes a plurality of displays arranged to provide an experience space and displaying metaverse content; a camera that detects the location of one or more users within the experience space; A plurality of sensors that detect the user's actions; and displaying the metaverse content on one or more of the plurality of displays based on the user's location and the metaverse content selected by the user, using the sensor closest to the user's location among the plurality of sensors. A control unit that detects the user's behavior and controls the plurality of displays and the plurality of sensors to display a user avatar synchronized with the user's behavior on a display corresponding to the closest sensor among the plurality of displays. It is characterized by

본 발명의 실시예의 제4 특징에 따르는 메타버스 제공 시스템은 복수의 메타버스 제공 장치; 및 메타버스 콘텐츠 및 사용자 아바타 중 하나 이상의 정보를 상기 복수의 메타버스 제공 장치와 송수신하는 서버를 포함하고, 상기 복수의 메타버스 제공 장치는 각각 체험 공간을 제공하도록 배치되며 메타버스 콘텐츠를 표시하는 복수의 디스플레이; 상기 체험 공간 내의 하나 이상의 사용자의 위치를 탐지하는 카메라; 상기 사용자의 행동을 감지하는 복수의 센서; 상기 사용자의 위치 및 상기 사용자가 선택한 상기 메타버스 콘텐츠에 근거하여 상기 복수의 디스플레이 중 하나 이상의 디스플레이에 상기 메타버스 콘텐츠를 표시하고, 상기 복수의 센서 중 상기 사용자의 위치에 가장 가까운 센서를 이용하여 상기 사용자의 행동을 감지하며, 상기 복수의 디스플레이 중 상기 가장 가까운 센서에 대응하는 디스플레이에 상기 사용자의 행동과 동기화된 사용자 아바타를 표시하도록 상기 복수의 디스플레이 및 상기 복수의 센서를 제어하는 제어부; 및 상기 메타버스 콘텐츠 및 상기 사용자 아바타 중 하나 이상의 정보에 대한 통신을 수행하는 통신부를 포함하는 것을 특징으로 한다. The metaverse providing system according to the fourth feature of the embodiment of the present invention includes a plurality of metaverse providing devices; and a server that transmits and receives information of one or more of metaverse content and user avatars with the plurality of metaverse providing devices, wherein the plurality of metaverse providing devices are each arranged to provide an experience space and display metaverse content. display of; a camera that detects the location of one or more users within the experience space; A plurality of sensors that detect the user's actions; Displaying the metaverse content on one or more of the plurality of displays based on the user's location and the metaverse content selected by the user, and using the sensor closest to the user's location among the plurality of sensors a control unit that detects a user's behavior and controls the plurality of displays and the plurality of sensors to display a user avatar synchronized with the user's behavior on a display corresponding to the closest sensor among the plurality of displays; and a communication unit that performs communication regarding one or more of the metaverse content and the user avatar.

본 발명의 실시예에 따른 메타버스 제공 방법, 메타버스 제공 장치, 및 메타버스 제공 시스템을 사용하면 다음과 같은 효과가 달성된다. The following effects are achieved by using the metaverse providing method, metaverse providing device, and metaverse providing system according to the embodiment of the present invention.

1. 메타버스의 현실감을 높일 수 있다. 1. It can increase the realism of the metaverse.

2. HMD(Head Mount Display)와 같은 가상 현실로의 접속을 위한 별도의 착용 기기 없이 메타버스에 접속하여 활동적인 체험을 수행할 수 있다.2. You can access the metaverse and have an active experience without a separate wearable device to access virtual reality, such as a Head Mount Display (HMD).

3. 체험 공간 내에 제공되는 메타버스 콘텐츠의 개수를 계속 확장할 수 있다. 3. The number of metaverse contents provided within the experience space can continue to expand.

4. 체험 공간 내의 단일 사용자가 메타버스 콘텐츠를 경험할 수 있을 뿐만 아니라, 동일한 체험 공간 내의 복수의 사용자 또는 서로 다른 체험 공간 내의 복수의 사용자가 접속하여 메타버스 콘텐츠의 경험을 공유할 수 있다. 4. Not only can a single user within an experience space experience metaverse content, but multiple users within the same experience space or multiple users within different experience spaces can connect and share the experience of metaverse content.

이하, 본 발명에 따른 메타버스 제공 방법, 메타버스 제공 장치, 및 메타버스 제공 시스템의 바람직한 실시형태를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시형태에 따른 메타버스 제공 장치의 블록도이다.
도 2는 본 발명의 일 실시형태에 따른 메타버스 제공 방법의 일 실시예를 설명하기 위한 메타버스 제공 장치의 개략 사시도이다.
도 3은 본 발명의 일 실시형태에 따른 메타버스 제공 방법의 다른 실시예를 설명하기 위한 메타버스 제공 장치의 개략 사시도이다.
도 4는 본 발명의 일 실시형태에 따른 메타버스 제공 방법의 순서도이다.
도 5는 본 발명의 일 실시형태에 따른 메타버스 제공 시스템의 블록도이다.
도 6은 본 발명의 일 실시형태의 변형예에 따른 메타버스 제공 방법의 일 실시예를 설명하기 위한 메타버스 제공 시스템의 개략 사시도이다.
도 7은 본 발명의 일 실시형태의 변형예에 따른 메타버스 제공 방법의 다른 실시예를 설명하기 위한 메타버스 제공 시스템의 개략 사시도이다.
도 8은 본 발명의 일 실시형태의 변형예에 따른 메타버스 제공 방법의 순서도이다. Hereinafter, preferred embodiments of the metaverse providing method, metaverse providing device, and metaverse providing system according to the present invention will be described in detail with reference to the attached drawings.
Figure 1 is a block diagram of a metaverse providing device according to an embodiment of the present invention.
Figure 2 is a schematic perspective view of a metaverse providing device for explaining an example of a metaverse providing method according to an embodiment of the present invention.
Figure 3 is a schematic perspective view of a metaverse providing device for explaining another example of a metaverse providing method according to an embodiment of the present invention.
Figure 4 is a flowchart of a metaverse provision method according to an embodiment of the present invention.
Figure 5 is a block diagram of a metaverse providing system according to an embodiment of the present invention.
Figure 6 is a schematic perspective view of a metaverse providing system for explaining an example of a metaverse providing method according to a modified example of an embodiment of the present invention.
Figure 7 is a schematic perspective view of a metaverse providing system for explaining another example of a metaverse providing method according to a modified example of an embodiment of the present invention.
Figure 8 is a flowchart of a method for providing a metaverse according to a modified example of an embodiment of the present invention.

이하, 본 발명에 따른 메타버스 제공 방법, 메타버스 제공 장치, 및 메타버스 제공 시스템의 바람직한 실시형태를 첨부된 도면을 참조하여 상세히 설명한다. Hereinafter, preferred embodiments of the metaverse providing method, metaverse providing device, and metaverse providing system according to the present invention will be described in detail with reference to the attached drawings.

도 1은 본 발명의 일 실시형태에 따른 메타버스 제공 장치의 블록도이고, 도 2는 본 발명의 일 실시형태에 따른 메타버스 제공 방법의 일 실시예를 설명하기 위한 메타버스 제공 장치의 개략 사시도이며, 도 3은 본 발명의 일 실시형태에 따른 메타버스 제공 방법의 다른 실시예를 설명하기 위한 메타버스 제공 장치의 개략 사시도이다. 이와 관련하여, 입력부(110), 제어부(150), 저장부(160), 통신부(170), 신호 수집부(180), 및 구동부(190)는 도 1에 도시되어 있으나, 도 2 및 3에는 도시되어 있지 않다. Figure 1 is a block diagram of a metaverse providing device according to an embodiment of the present invention, and Figure 2 is a schematic perspective view of a metaverse providing device for explaining an embodiment of a metaverse providing method according to an embodiment of the present invention. , and FIG. 3 is a schematic perspective view of a metaverse providing device for explaining another example of a metaverse providing method according to an embodiment of the present invention. In this regard, the input unit 110, the control unit 150, the storage unit 160, the communication unit 170, the signal collection unit 180, and the driver 190 are shown in Figure 1, but are shown in Figures 2 and 3. Not shown.

도 4는 본 발명의 일 실시형태에 따른 메타버스 제공 방법의 순서도이다. Figure 4 is a flowchart of a metaverse provision method according to an embodiment of the present invention.

도 1 내지 도 3을 참조하여, 본 발명의 일 실시형태에 따른 메타버스 제공 장치(100)를 설명하면 다음과 같다. With reference to FIGS. 1 to 3, the metaverse providing device 100 according to an embodiment of the present invention will be described as follows.

메타버스 제공 장치(100)는 복수의 디스플레이(121~123), 카메라(130), 복수의 센서(141~149), 및 제어부(150)를 포함한다. 또한, 메타버스 제공 장치(100)는 입력부(110), 저장부(160), 통신부(170), 신호 수집부(180), 및 구동부(190) 중 하나 이상을 더 포함할 수 있다. The metaverse providing device 100 includes a plurality of displays 121 to 123, a camera 130, a plurality of sensors 141 to 149, and a control unit 150. Additionally, the metaverse providing device 100 may further include one or more of an input unit 110, a storage unit 160, a communication unit 170, a signal collection unit 180, and a driver 190.

복수의 디스플레이(121~123)는 체험 공간(S)을 제공하도록 배치되며 메타버스 콘텐츠를 표시하는 구성요소이다. The plurality of displays 121 to 123 are arranged to provide an experience space (S) and are components that display metaverse content.

본 명세서에서, "복수의 디스플레이(121~123)가 체험 공간(S)을 제공함"은 "복수의 디스플레이(121~123)가 체험 공간(S)의 전체 측면 중 75% 이상의 개수의 측면에 마련됨"을 의미할 수 있다. 예를 들어, 도 2 및 도 3을 참조하면, 체험 공간(S)이 4개의 측면을 가지는 경우, 복수의 디스플레이(121~123)가 3개 이상의 측면에 마련됨을 의미할 수 있다. 물론, 복수의 디스플레이(121~123)는 측면뿐만 아니라 체험 공간(S)의 천장면 및 바닥면 중 하나 이상에 더 마련될 수도 있다. 본 명세서에서, "복수의 디스플레이(121~123)가 체험 공간(S)을 제공함"은 "복수의 디스플레이(121~123)가 체험 공간(S)을 둘러쌈"으로 표현될 수도 있다. In this specification, “a plurality of displays 121 to 123 provide the experience space (S)” means “a plurality of displays 121 to 123 are provided on more than 75% of the total sides of the experience space (S).” "It can mean. For example, referring to FIGS. 2 and 3 , if the experience space S has four sides, this may mean that a plurality of displays 121 to 123 are provided on three or more sides. Of course, the plurality of displays 121 to 123 may be further provided not only on the sides but also on one or more of the ceiling and floor surfaces of the experience space S. In this specification, “a plurality of displays 121 to 123 provide an experience space (S)” may be expressed as “a plurality of displays 121 to 123 surround the experience space (S).”

카메라(130)는 체험 공간(S) 내의 하나 이상의 사용자(U1~U3)의 위치를 탐지하는 구성요소이다. The camera 130 is a component that detects the location of one or more users (U1 to U3) within the experience space (S).

복수의 센서(141~149)는 사용자(U1~U3)의 행동을 감지하는 구성요소이다. 예를 들어, 복수의 센서(141~149)는 복수의 디스플레이(121~123)를 따라 배치될 수 있다. 예를 들어, "복수의 센서(141~149)가 복수의 디스플레이(121~123)를 따라 배치되는" 구성은 i) 복수의 센서(141~149)가 복수의 디스플레이(121~123)의 상단에 배치되는 구성, ii) 복수의 센서(141~149)가 복수의 디스플레이(121~123)의 전면(前面; 스크린(screen) 또는 스크린의 연장면)에 배치되는 구성, 및 iii) 복수의 센서(141~149)가 체험 공간(S)의 바닥면 중 복수의 디스플레이(121~123) 측의 면에 배치되는 구성 중 하나 이상의 구성을 포함할 수 있다. The plurality of sensors 141 to 149 are components that detect the actions of users (U1 to U3). For example, a plurality of sensors 141 to 149 may be arranged along a plurality of displays 121 to 123. For example, a configuration in which “a plurality of sensors 141 to 149 are disposed along a plurality of displays 121 to 123” means that i) the plurality of sensors 141 to 149 are placed on top of the plurality of displays 121 to 123. A configuration arranged in, ii) a configuration in which a plurality of sensors 141 to 149 are disposed on the front side (screen or extension of the screen) of a plurality of displays 121 to 123, and iii) a plurality of sensors (141 to 149) may include one or more of the configurations disposed on the floor surface of the experience space (S) on the side of the plurality of displays (121 to 123).

예를 들어, 복수의 센서(141~149)의 각각은 시선 센서, 동작 센서, 제스처 센서, 음성 센서, 및 터치 센서 중 하나 이상을 포함할 수 있다. For example, each of the plurality of sensors 141 to 149 may include one or more of a gaze sensor, a motion sensor, a gesture sensor, a voice sensor, and a touch sensor.

시선 센서는 사용자(U1~U3)의 시선을 감지할 수 있고, 예를 들어, Tobii Inc.의 시선 센서로 구현될 수 있다. The gaze sensor can detect the gaze of the user (U1 to U3) and can be implemented, for example, as a gaze sensor from Tobii Inc.

동작 센서는 사용자(U1~U3)의 동작을 감지할 수 있고, 제스처 센서는 사용자(U1~U3)의 제스처를 감지할 수 있다. 본 명세서에서, "제스처"는 "동작"보다 작은 움직임이다. 예를 들어, "동작"은 "팔"을 움직이는 것과 같이 상대적으로 큰 움직임이며, "제스처"는 "팔"이 실질적으로 정지된 상태에서 "손"을 움직이는 것과 같이 상대적으로 작은 움직임이다. 제스처 센서는, 예를 들어, Leap Motion, Inc.의 제스처 센서로 구현될 수 있으며, 동작 센서는, 예를 들어, 3DiVi Inc.의 NUITRACK SDK로 구현될 수 있다. 또한, 동작 센서는, 사용자(U1~U3)가 RFID 태그 또는 IMU(Inertial Measurement Unit)를 착용하고 있는 경우, 이들로부터 송신되는 신호를 수신하는 수신기로 구현될 수 있다. 또한, 동작 센서는, 사용자(U1~U3)의 발 동작을 감지하도록, 체험 공간(S)의 바닥면에 설치된 압력 센서로 구현될 수도 있다. The motion sensor can detect the movements of users (U1 to U3), and the gesture sensor can detect the gestures of users (U1 to U3). In this specification, a “gesture” is a smaller movement than an “action.” For example, a “motion” is a relatively large movement, such as moving an “arm,” and a “gesture” is a relatively small movement, such as moving a “hand” while the “arm” is substantially stationary. The gesture sensor may be implemented, for example, with a gesture sensor from Leap Motion, Inc., and the motion sensor may be implemented with, for example, the NUITRACK SDK from 3DiVi Inc. Additionally, the motion sensor may be implemented as a receiver that receives signals transmitted from users (U1 to U3) when they are wearing RFID tags or IMUs (Inertial Measurement Units). Additionally, the motion sensor may be implemented as a pressure sensor installed on the floor of the experience space (S) to detect the foot motion of the users (U1 to U3).

음성 센서는 사용자(U1~U3)의 음성을 감지할 수 있고, 예를 들어, 마이크로 구현될 수 있다. 또한, 음성 센서는 STT(Speech-To-Text) 센서로 구현될 수도 있다. The voice sensor can detect the voices of users (U1 to U3) and, for example, can be implemented as a microphone. Additionally, the voice sensor may be implemented as a Speech-To-Text (STT) sensor.

터치 센서는 사용자(U1~U3)의 터치를 감지할 수 있고, 예를 들어, 디스플레이(121~123)의 스크린에 터치 센서가 마련된 터치스크린 패널 디스플레이로 구현될 수 있다. The touch sensor can detect the touch of the user (U1 to U3) and, for example, can be implemented as a touch screen panel display in which touch sensors are provided on the screens of the displays (121 to 123).

제어부(150)는 사용자(U1~U3)의 위치 및 사용자(U1~U3)가 선택한 메타버스 콘텐츠에 근거하여 복수의 디스플레이(121~123) 중 하나 이상의 디스플레이(121~123)에 메타버스 콘텐츠를 표시하도록 복수의 디스플레이(121~123)를 제어한다. 또한, 제어부(150)는 복수의 센서(141~149) 중 사용자(U1~U3)의 위치에 가장 가까운 센서(141~149)를 이용하여 사용자(U1~U3)의 행동을 감지하도록 복수의 센서(141~149)를 제어한다. 또한, 제어부(150)는 복수의 디스플레이(121~123) 중 사용자(U1~U3)의 위치에 가장 가까운 센서(141~149)에 대응하는 디스플레이(121~123)에 사용자(U1~U3)의 행동과 동기화된 사용자 아바타(A1~A3)를 표시하도록 복수의 디스플레이(121~123)를 제어한다. The control unit 150 displays metaverse content on one or more displays (121 to 123) among the plurality of displays (121 to 123) based on the location of the user (U1 to U3) and the metaverse content selected by the user (U1 to U3). A plurality of displays 121 to 123 are controlled to display. In addition, the control unit 150 uses a plurality of sensors (141 to 149) to detect the actions of the users (U1 to U3) using the sensors (141 to 149) closest to the positions of the users (U1 to U3). Controls (141~149). In addition, the control unit 150 displays the user's (U1 to U3) information on the display (121 to 123) corresponding to the sensor (141 to 149) closest to the location of the user (U1 to U3) among the plurality of displays (121 to 123). A plurality of displays (121 to 123) are controlled to display user avatars (A1 to A3) synchronized with actions.

입력부(110)는 메타버스 콘텐츠 및 사용자 아바타(A1~A3)에 대한 사용자(U1~U3)의 선택 신호, 및 사용자(U1~U3)의 이미지를 입력받는 구성요소이다. 입력부(110)는, 예를 들어, 체험 공간(S)의 외부에 배치된 터치스크린 패널 및 카메라에 의해 구현될 수도 있다. 이 경우, 사용자(U1~U3)는 입력부(110)의 터치스크린 패널을 통해 메타버스 콘텐츠 및 사용자 아바타(A1~A3)를 선택할 수 있다. 또한, 사용자(U1~U3)는 입력부(110)의 카메라를 통해 사용자(U1~U3)의 이미지를 입력할 수 있다. 또한, 입력부(110)는 메타버스 제공 장치(100)의 통신부(170)와 통신할 수 있는 휴대 단말에 의해 구현될 수도 있다. The input unit 110 is a component that receives metaverse content, selection signals of users (U1 to U3) for user avatars (A1 to A3), and images of users (U1 to U3). The input unit 110 may be implemented, for example, by a touch screen panel and a camera disposed outside the experience space (S). In this case, users (U1 to U3) can select metaverse content and user avatars (A1 to A3) through the touch screen panel of the input unit 110. Additionally, users (U1 to U3) can input their images through the camera of the input unit 110. Additionally, the input unit 110 may be implemented by a portable terminal capable of communicating with the communication unit 170 of the metaverse providing device 100.

저장부(160)는 메타버스 콘텐츠 및 사용자 아바타(A1~A3)에 대한 정보가 저장되는 구성요소이다. 이러한 메타버스 콘텐츠 및 사용자 아바타(A1~A3)에 대한 정보는 저장부(160)에 미리 저장되어 있을 수도 있고, 도 5에 도시된 서버(200)로부터 수신되어 저장부(160)에 저장될 수도 있다. The storage unit 160 is a component that stores information about metaverse content and user avatars (A1 to A3). Information about these metaverse contents and user avatars (A1 to A3) may be pre-stored in the storage unit 160, or may be received from the server 200 shown in FIG. 5 and stored in the storage unit 160. there is.

통신부(170)는 메타버스 콘텐츠 및 사용자 아바타(A1~A3) 중 하나 이상의 정보에 대한 통신을 수행하는 구성요소이다. 예를 들어, 통신부(170)는 메타버스 콘텐츠 및 사용자 아바타(A1~A3) 중 하나 이상의 정보를 도 5에 도시된 서버(200)와 송수신할 수 있다. The communication unit 170 is a component that performs communication regarding one or more information among metaverse content and user avatars (A1 to A3). For example, the communication unit 170 may transmit and receive one or more information among metaverse content and user avatars (A1 to A3) with the server 200 shown in FIG. 5.

신호 수집부(180)는 카메라(130)로부터 수신된 제1 신호 및 복수의 센서(141~149)로부터 수신된 제2 신호를 수집할 수 있다. 신호 수집부(180)는 이렇게 수집된 제1 신호 및 제2 신호를 제어부(150)로 전달할 수 있다. The signal collection unit 180 may collect the first signal received from the camera 130 and the second signal received from the plurality of sensors 141 to 149. The signal collection unit 180 may transmit the first and second signals collected in this way to the control unit 150.

구동부(190)는 제어부(150)의 제어 신호에 따라 복수의 센서(141~149) 중 사용자(U1~U3)의 위치에 가장 가까운 센서(141~149)를 활성화시킬 수 있다. 이러한 활성화에 따라, 사용자(U1~U3)의 위치에 가장 가까운 센서(141~149)는 사용자(U1~U3)의 행동을 감지할 수 있다. The driver 190 may activate the sensors 141 to 149 closest to the positions of the users U1 to U3 among the plurality of sensors 141 to 149 according to the control signal from the controller 150. According to this activation, the sensors 141 to 149 closest to the location of the users (U1 to U3) can detect the actions of the users (U1 to U3).

도 4를 도 1 내지 도 3과 함께 참조하여, 본 발명의 일 실시형태에 따른 메타버스 제공 방법을 설명하면 다음과 같다. Referring to FIG. 4 together with FIGS. 1 to 3, a method for providing a metaverse according to an embodiment of the present invention will be described as follows.

단계 310에서, 카메라(130)는 복수의 디스플레이(121~123)에 의해 제공되는 체험 공간(S)에서 하나 이상의 사용자(U1~U3)의 위치를 탐지한다. In step 310, the camera 130 detects the location of one or more users (U1 to U3) in the experience space (S) provided by the plurality of displays (121 to 123).

예를 들어, 단계 310 이전에, 입력부(110)가 메타버스 콘텐츠 및 사용자 아바타(A1~A3)에 대한 사용자(U1~U3)의 선택 신호, 및 상기 사용자(U1~U3)의 이미지를 입력받는 단계가 수행될 수 있다. For example, before step 310, the input unit 110 receives the selection signal of the user (U1 to U3) for the metaverse content and the user avatar (A1 to A3), and the image of the user (U1 to U3). Steps can be performed.

단계 320에서, 제어부(150)는 사용자(U1~U3)의 위치 및 사용자(U1~U3)가 선택한 메타버스 콘텐츠에 근거하여 복수의 디스플레이(121~123) 중 하나 이상의 디스플레이(121~123)에 메타버스 콘텐츠를 표시하도록 복수의 디스플레이(121~123)를 제어한다. In step 320, the control unit 150 displays information on one or more displays (121 to 123) among the plurality of displays (121 to 123) based on the location of the users (U1 to U3) and the metaverse content selected by the users (U1 to U3). A plurality of displays 121 to 123 are controlled to display metaverse content.

예를 들어, 도 2를 참조하면, 제어부(150)는, 체험 공간(S) 내의 모든 사용자(U1~U3)가 예를 들어 "마라톤"에 관한 제1 메타버스 콘텐츠를 선택한 상태일 때, 복수의 디스플레이(121~123)에 이러한 제1 메타버스 콘텐츠를 표시하도록 복수의 디스플레이(121~123)를 제어할 수 있다. For example, referring to Figure 2, the control unit 150, when all users (U1 to U3) in the experience space (S) have selected the first metaverse content related to, for example, “marathon”, a plurality of A plurality of displays (121 to 123) can be controlled to display the first metaverse content on the displays (121 to 123).

예를 들어, 도 3을 참조하면, 제어부(150)는, 체험 공간(S) 내의 복수의 사용자(U1~U3) 중 제1 사용자(U1)가 예를 들어 "마라톤"에 관한 제1 메타버스 콘텐츠를 선택하고 제2 사용자(U2)가 예를 들어 "댄스"에 관한 제2 메타버스 콘텐츠를 선택한 상태일 때, 복수의 디스플레이(121~123) 중 제1 사용자(U1)의 위치에 가장 가까운 디스플레이(121)에 제1 메타버스 콘텐츠를 표시하고, 나머지 디스플레이(122, 123) 중 하나 이상의 디스플레이(122, 123)에 제2 메타버스 콘텐츠를 표시하도록 복수의 디스플레이(121~123)를 제어할 수 있다. 여기서, " 제1 사용자"는 "체험 공간(S) 내의 복수의 사용자(U1~U3) 중 우선순위가 제일 높은 사용자(U1)"일 수 있으나, 이에 한정되는 것은 아니며, 임의의 2명의 사용자 중 우선순위가 높은 사용자가 "제1 사용자"이고, 우선순위가 낮은 사용자가 "제2 사용자"일 수 있다. 또한, "제1 사용자(U1)의 위치에 가장 가까운 디스플레이"는 하나의 디스플레이일 수 있으나, 이에 한정되는 것은 아니며, 2개 이상의 디스플레이일 수도 있다. For example, referring to FIG. 3, the control unit 150 allows the first user (U1) among a plurality of users (U1 to U3) in the experience space (S) to enter a first metaverse related to, for example, “marathon”. When content is selected and the second user (U2) selects the second metaverse content about, for example, “dance,” the closest to the location of the first user (U1) among the plurality of displays (121 to 123) Displaying the first metaverse content on the display 121 and controlling the plurality of displays 121 to 123 to display the second metaverse content on one or more displays 122 and 123 among the remaining displays 122 and 123. You can. Here, the “first user” may be “the user (U1) with the highest priority among a plurality of users (U1 to U3) in the experience space (S),” but is not limited thereto, and may be one of any two users. A user with a high priority may be a “first user” and a user with a low priority may be a “second user.” Additionally, the “display closest to the location of the first user U1” may be one display, but is not limited thereto, and may include two or more displays.

단계 330에서, 제어부(150)는 복수의 센서(141~149) 중 사용자(U1~U3)의 위치에 가장 가까운 센서(141~149)를 이용하여 사용자(U1~U3)의 행동을 감지하도록 복수의 센서(141~149)를 제어한다. 예를 들어, 사용자(U1~U3)의 위치에 가장 가까운 센서(141~149)는 사용자(U1~U3)가 선택한 메타버스 콘텐츠에 근거하여 사용자(U1~U3)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 감지할 수 있다. In step 330, the control unit 150 uses the sensor (141 to 149) closest to the location of the user (U1 to U3) among the plurality of sensors (141 to 149) to detect the behavior of the user (U1 to U3). Controls the sensors (141 to 149). For example, the sensors (141 to 149) closest to the location of the user (U1 to U3) are based on the user's (U1 to U3) gaze, motion, gesture, and voice based on the metaverse content selected by the user (U1 to U3). One or more of , and touch can be detected.

예를 들어, 도 2를 참조하면, 사용자(U1~U3)가 선택한 메타버스 콘텐츠가 "마라톤"일 때, 사용자(U1~U3)의 위치에 가장 가까운 센서(142, 145, 148)는 사용자의 동작을 감지할 수 있다. 또한, 도 2에는 구체적으로 도시되어 있지 않으나, 사용자(U1~U3)가 선택한 메타버스 콘텐츠가 "바둑 게임"일 때, 사용자(U1~U3)의 위치에 가장 가까운 센서(142, 145, 148; 예를 들어, 디스플레이(121, 122, 123)의 스크린에 배치됨)는 사용자의 터치를 감지할 수 있다. For example, referring to Figure 2, when the metaverse content selected by the user (U1 to U3) is "marathon", the sensors 142, 145, and 148 closest to the location of the user (U1 to U3) detect the user's Motion can be detected. In addition, although not specifically shown in FIG. 2, when the metaverse content selected by the users (U1 to U3) is “Go game”, the sensors 142, 145, and 148 closest to the positions of the users (U1 to U3); For example, disposed on the screens of the displays 121, 122, and 123) can detect the user's touch.

단계 340에서, 제어부(150)는 복수의 디스플레이(121~123) 중 사용자(U1~U3)의 위치에 가장 가까운 센서(141~149)에 대응하는 디스플레이(121~123)에 사용자(U1~U3)의 행동과 동기화된 사용자 아바타(A1~A3)를 표시하도록 복수의 디스플레이(121~123)를 제어한다. 예를 들어, 도 2를 참조하면, 제어부(150)는 제1 사용자(U1)의 위치에 가장 가까운 제2 센서(142)에 대응하는 제1 디스플레이(121)에 제1 사용자(U1)의 행동과 동기화된 제1 사용자 아바타(A1)를 표시하도록 제1 디스플레이(121)를 제어하고, 제2 사용자(U2)의 위치에 가장 가까운 제5 센서(145)에 대응하는 제2 디스플레이(122)에 제2 사용자(U2)의 행동과 동기화된 제2 사용자 아바타(A2)를 표시하도록 제2 디스플레이(122)를 제어하며, 제3 사용자(U3)의 위치에 가장 가까운 제8 센서(148)에 대응하는 제3 디스플레이(123)에 제3 사용자(U3)의 행동과 동기화된 제3 사용자 아바타(A3)를 표시하도록 제3 디스플레이(123)를 제어할 수 있다. In step 340, the control unit 150 displays the user (U1 to U3) on the display (121 to 123) corresponding to the sensor (141 to 149) closest to the location of the user (U1 to U3) among the plurality of displays (121 to 123). ) controls a plurality of displays (121 to 123) to display user avatars (A1 to A3) synchronized with the actions of ). For example, referring to FIG. 2, the control unit 150 displays the behavior of the first user (U1) on the first display 121 corresponding to the second sensor 142 closest to the location of the first user (U1). Control the first display 121 to display the first user avatar A1 synchronized with the second display 122 corresponding to the fifth sensor 145 closest to the location of the second user U2. Controls the second display 122 to display the second user avatar A2 synchronized with the actions of the second user U2, and corresponds to the eighth sensor 148 closest to the location of the third user U3. The third display 123 may be controlled to display the third user avatar A3 synchronized with the actions of the third user U3 on the third display 123.

또한, 단계 340에서, 제어부(150)는 사용자(U1~U3)의 위치에 가장 가까운 센서(141~149)에 대응하는 디스플레이(121~123)의 전체 영역 중 이러한 가장 가까운 센서(141~149)에 대응되는 영역에 사용자(U1~U3)의 행동과 동기화된 사용자 아바타(A1~A3)를 표시하도록 복수의 디스플레이(121~123)를 제어할 수도 있다. 예를 들어, 도 2를 참조하면, 제어부(150)는 제1 사용자(U1)의 위치에 가장 가까운 제2 센서(142)에 대응하는 제1 디스플레이(121)의 전체 영역 중 제2 센서(142)에 대응되는 중앙 영역에 제1 사용자(U1)의 행동과 동기화된 제1 사용자 아바타(A1)를 표시하도록 제1 디스플레이(121)를 제어하고, 제2 사용자(U2)의 위치에 가장 가까운 제5 센서(145)에 대응하는 제2 디스플레이(122)의 전체 영역 중 제5 센서에(145) 대응되는 중앙 영역에 제2 사용자(U2)의 행동과 동기화된 제2 사용자 아바타(A2)를 표시하도록 제2 디스플레이(122)를 제어하며, 제3 사용자(U3)의 위치에 가장 가까운 제8 센서(148)에 대응하는 제3 디스플레이(123)의 전체 영역 중 제8 센서(148)에 대응하는 중앙 영역에 제3 사용자(U3)의 행동과 동기화된 제3 사용자 아바타(A3)를 표시하도록 제3 디스플레이(123)를 제어할 수 있다. Additionally, in step 340, the control unit 150 selects the closest sensors 141 to 149 among the entire areas of the displays 121 to 123 corresponding to the sensors 141 to 149 closest to the positions of the users U1 to U3. The plurality of displays 121 to 123 may be controlled to display user avatars A1 to A3 synchronized with the actions of the users U1 to U3 in the corresponding area. For example, referring to FIG. 2, the control unit 150 selects the second sensor 142 among the entire area of the first display 121 corresponding to the second sensor 142 closest to the location of the first user U1. ) Control the first display 121 to display the first user avatar (A1) synchronized with the actions of the first user (U1) in the central area corresponding to Displaying the second user avatar (A2) synchronized with the actions of the second user (U2) in the central area corresponding to the fifth sensor (145) among the entire area of the second display (122) corresponding to the fifth sensor (145). The second display 122 is controlled to The third display 123 may be controlled to display a third user avatar (A3) synchronized with the actions of the third user (U3) in the central area.

본 발명의 실시예의 제1 특징에 따르면, 메타버스 제공 방법은 a) 복수의 디스플레이(121~123)에 의해 제공되는 체험 공간(S)에서 카메라(130)를 이용하여 하나 이상의 사용자(U1~U3)의 위치를 탐지하는 단계(310); b) 상기 사용자(U1~U3)의 위치 및 상기 사용자(U1~U3)가 선택한 메타버스 콘텐츠에 근거하여 상기 복수의 디스플레이(121~123) 중 하나 이상의 디스플레이(121~123)에 상기 메타버스 콘텐츠를 표시하는 단계(320); c) 복수의 센서(141~149) 중 상기 사용자(U1~U3)의 위치에 가장 가까운 센서(141~149)를 이용하여 상기 사용자(U1~U3)의 행동을 감지하는 단계(330); 및 d) 상기 복수의 디스플레이(121~123) 중 상기 가장 가까운 센서(141~149)에 대응하는 디스플레이(121~123)에 상기 사용자(U1~U3)의 행동과 동기화된 사용자 아바타(A1~A3)를 표시하는 단계(340)를 포함하는 것을 특징으로 한다. 이에 따라, 메타버스 콘텐츠가 각각의 실제 공간마다 마련된 단일 평면 디스플레이에 표시되는 종래기술과 비교하여, 메타버스의 현실감을 높일 수 있다. 또한, HMD와 같은 가상 현실로의 접속을 위한 별도의 착용 기기 없이 메타버스에 접속하여 활동적인 체험을 수행할 수 있다. 또한, 체험 공간(S) 내의 복수의 사용자(U1~U3)가 메타버스 제공 장치(100)에 접속하여 메타버스 콘텐츠의 경험을 공유할 수 있다. According to the first feature of the embodiment of the present invention, the metaverse providing method is a) one or more users (U1 to U3) using the camera 130 in the experience space (S) provided by the plurality of displays (121 to 123). ) detecting the location (310); b) The metaverse content is displayed on one or more displays (121 to 123) among the plurality of displays (121 to 123) based on the location of the user (U1 to U3) and the metaverse content selected by the user (U1 to U3). displaying (320); c) detecting the behavior of the user (U1 to U3) using the sensor (141 to 149) closest to the location of the user (U1 to U3) among the plurality of sensors (141 to 149) (330); and d) user avatars (A1 to A3) synchronized with the actions of the users (U1 to U3) on the displays (121 to 123) corresponding to the closest sensors (141 to 149) among the plurality of displays (121 to 123). ), characterized in that it includes a step 340 of displaying. Accordingly, compared to the prior art in which metaverse content is displayed on a single flat display provided in each real space, the realism of the metaverse can be improved. Additionally, you can access the metaverse and have an active experience without a separate wearable device such as an HMD for accessing virtual reality. Additionally, a plurality of users (U1 to U3) within the experience space (S) may access the metaverse providing device 100 and share the experience of metaverse content.

또한, 상기 b) 단계가, 상기 체험 공간(S) 내의 복수의 사용자(U1~U3) 중 제1 사용자(U1)가 제1 메타버스 콘텐츠를 선택하고 제2 사용자(U2)가 제2 메타버스 콘텐츠를 선택한 상태일 때, 상기 복수의 디스플레이(121~123) 중 상기 제1 사용자(U1)의 위치에 가장 가까운 디스플레이(121)에 제1 메타버스 콘텐츠를 표시하고, 나머지 디스플레이(122, 123) 중 하나 이상의 디스플레이(122, 123)에 제2 메타버스 콘텐츠를 표시하는 단계를 포함함으로써, 체험 공간(S) 내에 제공되는 메타버스 콘텐츠의 개수를 계속 확장할 수 있다. In addition, in step b), among a plurality of users (U1 to U3) in the experience space (S), the first user (U1) selects the first metaverse content and the second user (U2) selects the second metaverse content. When content is selected, the first metaverse content is displayed on the display 121 closest to the location of the first user (U1) among the plurality of displays 121 to 123, and the remaining displays 122 and 123 are displayed. By including the step of displaying the second metaverse content on one or more of the displays 122 and 123, the number of metaverse content provided in the experience space S can be continuously expanded.

도 5는 본 발명의 일 실시형태에 따른 메타버스 제공 시스템의 블록도이고, 도 6은 본 발명의 일 실시형태의 변형예에 따른 메타버스 제공 방법의 일 실시예를 설명하기 위한 메타버스 제공 시스템의 개략 사시도이며, 도 7은 본 발명의 일 실시형태의 변형예에 따른 메타버스 제공 방법의 다른 실시예를 설명하기 위한 메타버스 제공 시스템의 개략 사시도이다. 이와 관련하여, 입력부(110a, 110b), 제어부(150a, 150b), 저장부(160a, 160b), 통신부(170a, 170b), 신호 수집부(180a, 180b), 및 구동부(190a, 190b)는 도 5에 도시되어 있으나, 도 6 및 도 7에는 도시되어 있지 않다. Figure 5 is a block diagram of a metaverse providing system according to an embodiment of the present invention, and Figure 6 is a metaverse providing system for explaining an embodiment of a metaverse providing method according to a modified example of an embodiment of the present invention. is a schematic perspective view of, and Figure 7 is a schematic perspective view of a metaverse providing system for explaining another embodiment of a metaverse providing method according to a modified example of an embodiment of the present invention. In this regard, the input units (110a, 110b), control units (150a, 150b), storage units (160a, 160b), communication units (170a, 170b), signal collection units (180a, 180b), and driving units (190a, 190b) It is shown in Figure 5, but not in Figures 6 and 7.

도 8은 본 발명의 일 실시형태의 변형예에 따른 메타버스 제공 방법의 순서도이다. Figure 8 is a flowchart of a method for providing a metaverse according to a modified example of an embodiment of the present invention.

도 5 내지 도 7을 참조하여, 본 발명의 일 실시형태에 따른 메타버스 제공 시스템(1000)을 설명하면 다음과 같다. With reference to FIGS. 5 to 7, the metaverse providing system 1000 according to an embodiment of the present invention is described as follows.

메타버스 제공 시스템(1000)은 복수의 메타버스 제공 장치(100A, 100B) 및 서버(200)를 포함한다. The metaverse provision system 1000 includes a plurality of metaverse provision devices 100A and 100B and a server 200.

복수의 메타버스 제공 장치(100A, 100B)의 각각은 복수의 디스플레이(121a~123a, 121b~123b), 카메라(130a, 130b), 복수의 센서(141a~149a, 141b~149b), 제어부(150a, 150b), 및 통신부(170a, 170b)를 포함한다. 또한, 복수의 메타버스 제공 장치(100A, 100b)의 각각은 입력부(110a, 110b), 저장부(160a, 160b), 신호 수집부(180a, 180b), 및 구동부(190a, 190b) 중 하나 이상을 더 포함할 수 있다.Each of the plurality of metaverse providing devices (100A, 100B) includes a plurality of displays (121a to 123a, 121b to 123b), cameras (130a, 130b), a plurality of sensors (141a to 149a, 141b to 149b), and a control unit (150a). , 150b), and communication units 170a and 170b. In addition, each of the plurality of metaverse providing devices (100A, 100b) includes one or more of input units (110a, 110b), storage units (160a, 160b), signal collection units (180a, 180b), and driving units (190a, 190b). It may further include.

서버(200)는 메타버스 콘텐츠 및 사용자 아바타(A11, A12, A13, A21, A22) 중 하나 이상의 정보를 복수의 메타버스 제공 장치(100A, 100B)와 송수신하는 구성요소이다. 서버(200)는 서버 저장부(210), 서버 통신부(220), 및 서버 제어부(230)를 포함할 수 있다. The server 200 is a component that transmits and receives one or more information among metaverse content and user avatars (A11, A12, A13, A21, and A22) with a plurality of metaverse providing devices (100A, 100B). The server 200 may include a server storage unit 210, a server communication unit 220, and a server control unit 230.

서버 저장부(210)는 메타버스 콘텐츠 및 사용자 아바타(A11, A12, A13, A21, A22) 중 하나 이상의 정보를 저장하는 구성요소이다. 이러한 메타버스 콘텐츠 및 사용자 아바타(A11, A12, A13, A21, A22) 중 하나 이상의 정보는 복수의 메타버스 제공 장치(100A, 100B)로 송신하기 위한 메타버스 콘텐츠 및 사용자 아바타(A11, A12, A13, A21, A22) 중 하나 이상의 정보일 수도 있고, 복수의 메타버스 제공 장치(100A, 100b)로부터 수신된 메타버스 콘텐츠 및 사용자 아바타(A11, A12, A13, A21, A22) 중 하나 이상의 정보일 수도 있다. The server storage unit 210 is a component that stores one or more information among metaverse content and user avatars (A11, A12, A13, A21, and A22). One or more of these metaverse content and user avatars (A11, A12, A13, A21, A22) are metaverse content and user avatars (A11, A12, A13) for transmission to a plurality of metaverse providing devices (100A, 100B). , A21, A22), or may be one or more of metaverse content and user avatars (A11, A12, A13, A21, A22) received from a plurality of metaverse providing devices (100A, 100b). there is.

서버 통신부(220)는 메타버스 콘텐츠 및 사용자 아바타(A11, A12, A13, A21, A22) 중 하나 이상의 정보에 대한 통신을 복수의 메타버스 제공 장치(100A, 100B)의 통신부(170a, 170b)와 수행하기 위한 구성요소이다. The server communication unit 220 communicates information about one or more of the metaverse content and user avatars (A11, A12, A13, A21, and A22) with the communication units 170a and 170b of the plurality of metaverse providing devices 100A and 100B. It is a component for execution.

서버 제어부(230)는 복수의 메타버스 제공 장치(100A, 100B)에서 선택되는 메타버스 콘텐츠에 따라 메타버스 콘텐츠 및 사용자 아바타(A11, A12, A13, A21, A22) 중 하나 이상의 정보를 복수의 메타버스 제공 장치(100A, 100B)와 송수신하도록 서버 통신부(220) 및 서버 저장부(210)를 제어할 수 있다. The server control unit 230 stores one or more of the metaverse content and user avatars (A11, A12, A13, A21, and A22) according to the metaverse content selected from the plurality of metaverse providing devices 100A and 100B. The server communication unit 220 and the server storage unit 210 can be controlled to transmit and receive data from the bus providing devices 100A and 100B.

도 8을 도 5 내지 도 7과 함께 참조하여, 본 발명의 일 실시형태의 변형예에 따른 메타버스 제공 방법을 설명하면 다음과 같다. Referring to FIG. 8 together with FIGS. 5 to 7, a method for providing a metaverse according to a modified example of an embodiment of the present invention will be described as follows.

단계 410에서, 각각이 복수의 디스플레이(121a~123a, 121b~123b)에 의해 제공되는 복수의 체험 공간(S1, S2)을 포함하는 복수의 메타버스 제공 장치(100A, 100B)의 각각의 체험 공간(S1, S2)에서, 카메라(130a, 130b)는 하나 이상의 사용자(U11~U13, U21~U22)의 위치를 탐지한다. In step 410, each experience space of the plurality of metaverse providing devices 100A and 100B each includes a plurality of experience spaces S1 and S2 provided by a plurality of displays 121a to 123a and 121b to 123b. In (S1, S2), the cameras 130a and 130b detect the location of one or more users (U11 to U13, U21 to U22).

예를 들어, 단계 410 이전에, 복수의 메타버스 제공 장치(100A, 100B)의 각각의 체험 공간(S1, S2)에 대하여, 입력부(110a, 110b)가 메타버스 콘텐츠 및 사용자 아바타(A11~A13, A21~A22)에 대한 사용자(U11~U13, U21~U22)의 선택 신호, 및 사용자의 이미지(U11~U13, U21~U22)를 입력받는 단계가 수행될 수 있다. For example, before step 410, for each experience space (S1, S2) of the plurality of metaverse providing devices (100A, 100B), the input units (110a, 110b) input metaverse content and user avatars (A11 to A13). , A step of receiving a selection signal of the user (U11 to U13, U21 to U22) for A21 to A22, and the user's image (U11 to U13, U21 to U22) may be performed.

단계 420에서, 복수의 메타버스 제공 장치(100A, 100B)의 각각의 체험 공간(S1, S2)에서, 제어부(150a, 150b)는 사용자(U11~U13, U21~U22)의 위치 및 사용자(U11~U13, U21~U22)가 선택한 메타버스 콘텐츠에 근거하여 복수의 디스플레이(121a~123a, 121b~123b) 중 하나 이상의 디스플레이(121a~123a, 121b~123b)에 메타버스 콘텐츠를 표시하도록 복수의 디스플레이(121a~123a, 121b~123b)를 제어한다. In step 420, in each experience space (S1, S2) of the plurality of metaverse providing devices (100A, 100B), the control unit (150a, 150b) determines the location of the user (U11 ~ U13, U21 ~ U22) and the user (U11) A plurality of displays to display the metaverse content on one or more displays (121a to 123a, 121b to 123b) among the plurality of displays (121a to 123a, 121b to 123b) based on the metaverse content selected by ~U13, U21 to U22). Controls (121a~123a, 121b~123b).

단계 430에서, 복수의 메타버스 제공 장치(100A, 100B)의 각각의 체험 공간(S1, S2)에서, 제어부(150a, 150b)는 복수의 센서(141a~149a, 141b~149b) 중 사용자(U11~U13, U21~U22)의 위치에 가장 가까운 센서(141a~149a, 141b~149b)를 이용하여 사용자(U11~U13, U21~U22)의 행동을 감지하도록 복수의 센서(141a~149a, 141b~149b)를 제어한다. 예를 들어, 복수의 메타버스 제공 장치(100A, 100B)의 각각의 체험 공간(S1, S2))에 대하여, 사용자(U11~U13, U21~U22)의 위치에 가장 가까운 센서(141a~149a, 141b~149b)는 사용자(U11~U13, U21~U22)가 선택한 메타버스 콘텐츠에 근거하여 사용자(U11~U13, U21~U22)의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 감지할 수 있다. In step 430, in each experience space (S1, S2) of the plurality of metaverse providing devices (100A, 100B), the control unit (150a, 150b) selects the user (U11) among the plurality of sensors (141a ~ 149a, 141b ~ 149b) A plurality of sensors (141a~149a, 141b~) to detect the actions of the user (U11~U13, U21~U22) using the sensors (141a~149a, 141b~149b) closest to the positions of ~U13, U21~U22). 149b) is controlled. For example, for each experience space (S1, S2) of a plurality of metaverse providing devices (100A, 100B), the sensors (141a - 149a, 141b~149b) detects one or more of the gaze, motion, gesture, voice, and touch of the user (U11~U13, U21~U22) based on the metaverse content selected by the user (U11~U13, U21~U22). You can.

단계 440에서, 복수의 메타버스 제공 장치(100A, 100B)의 각각의 체험 공간(S1, S2)에서, 제어부(150a, 150b)는 복수의 디스플레이(121a~123a, 121b~123b) 중 사용자(U11~U13, U21~U22)의 위치에 가장 가까운 센서(141a~149a, 141b~149b)에 대응하는 디스플레이(121a~123a, 121b~123b)에 사용자(U11~U13, U21~U22)의 행동과 동기화된 사용자 아바타(A11~A13, A21~A22)를 표시하도록 복수의 디스플레이(121a~123a, 121b~123b)를 제어한다. In step 440, in each experience space (S1, S2) of the plurality of metaverse providing devices (100A, 100B), the control unit (150a, 150b) displays the user (U11) among the plurality of displays (121a ~ 123a, 121b ~ 123b). Synchronize the actions of the user (U11 to U13, U21 to U22) with the display (121a to 123a, 121b to 123b) corresponding to the sensor (141a to 149a, 141b to 149b) closest to the position of ~U13, U21 to U22). A plurality of displays (121a to 123a, 121b to 123b) are controlled to display user avatars (A11 to A13, A21 to A22).

예를 들어, 도 6을 도 5와 함께 참조하면, 제1 메타버스 제공 장치(100A)의 제1 체험 공간(S1)과 제2 메타버스 제공 장치(100B)의 제2 체험 공간(S2) 간에 동일한 메타버스 콘텐츠를 선택한 사용자(U11~U13, U21~U22)가 존재하지 않을 때, 제1 체험 공간(S1)의 사용자(U11~U13)의 행동과 동기화된 사용자 아바타(A11~A13)의 제2 메타버스 제공 장치(100B)의 디스플레이(121b~123b)에 대한 표시가 정지되고, 제2 체험 공간(S2)의 사용자(U21~U22)의 행동과 동기화된 사용자 아바타(A21~A22)의 제1 메타버스 제공 장치(100A)의 디스플레이(121a~121b)에 대한 표시가 정지될 수 있다. 이러한 처리는, 예를 들어, 서버(200)가, 제1 메타버스 제공 장치(100A)의 제1 체험 공간(S1)과 제2 메타버스 제공 장치(100B)의 제2 체험 공간(S2) 간에 동일한 메타버스 콘텐츠를 선택한 사용자(U11~U13, U21~U22)가 존재하지 않을 때, 제1 체험 공간(S1)의 사용자(U11~U13)의 행동과 동기화된 사용자 아바타(A11~A13)에 대한 정보의 제2 메타버스 제공 장치(100B)로의 송신, 및 제2 체험 공간(S2)의 사용자(U21~U22)의 행동과 동기화된 사용자 아바타(A21~A22)에 대한 정보의 제1 메타버스 제공 장치(100A)로의 송신을 정지함으로써 행해질 수 있다. For example, referring to FIG. 6 together with FIG. 5, between the first experience space (S1) of the first metaverse providing device (100A) and the second experience space (S2) of the second metaverse providing device (100B) When there are no users (U11 to U13, U21 to U22) who selected the same metaverse content, the actions of the user avatars (A11 to A13) synchronized with the actions of the users (U11 to U13) in the first experience space (S1). 2 The display on the displays (121b to 123b) of the metaverse providing device (100B) is stopped, and the user avatars (A21 to A22) synchronized with the actions of the users (U21 to U22) in the second experience space (S2) are displayed. 1 Display on the displays 121a to 121b of the metaverse providing device 100A may be stopped. This processing is, for example, between the first experience space (S1) of the first metaverse providing device (100A) and the second experience space (S2) of the second metaverse providing device (100B) by the server 200. When there are no users (U11~U13, U21~U22) who selected the same metaverse content, the user avatars (A11~A13) synchronized with the actions of the users (U11~U13) in the first experience space (S1) Transmission of information to the second metaverse providing device 100B, and provision of the first metaverse of information about the user avatars (A21 to A22) synchronized with the actions of the users (U21 to U22) in the second experience space (S2) This can be done by stopping transmission to device 100A.

예를 들어, 도 7을 도 5와 함께 참조하면, 복수의 메타버스 제공 장치(100A, 100B) 중 제1 메타버스 제공 장치(100A)의 제1 체험 공간(S1)의 사용자(U12) 및 제2 메타버스 제공 장치(100B)의 제2 체험 공간(S2)의 사용자(U21)가 동일한 제1 메타버스 콘텐츠(도 7의 경우, "댄스")를 선택한 상태일 때, 제1 메타버스 제공장치(100A)의 복수의 디스플레이(121a~123a) 중 하나 이상의 디스플레이(122a, 123a) 및 제2 메타버스 제공 장치(100B)의 복수의 디스플레이(121b~123b) 중 하나 이상의 디스플레이(121b~123b)에, 각각, 제1 체험 공간(S1)의 사용자(U12)의 행동과 동기화된 사용자 아바타(A12) 및 제2 체험 공간(S2)의 사용자(U21)의 행동과 동기화된 사용자 아바타(A21)를 동시에 표시할 수 있다. 이러한 처리는, 예를 들어, 서버(200)가, 복수의 메타버스 제공 장치(100A, 100B) 중 제1 메타버스 제공 장치(100A)의 제1 체험 공간(S1)의 사용자(U12) 및 제2 메타버스 제공 장치(100B)의 제2 체험 공간(S2)의 사용자(U21)가 동일한 제1 메타버스 콘텐츠를 선택한 상태일 때, 제1 체험 공간(S1)의 사용자(U12)의 행동과 동기화된 사용자 아바타(A12)에 대한 정보의 제2 메타버스 제공 장치(100B)로의 송신, 및 제2 체험 공간(S2)의 사용자(U21)의 행동과 동기화된 사용자 아바타(A21)에 대한 정보의 제1 메타버스 제공 장치(100A)로의 송신을 수행함으로써 행해질 수 있다. For example, referring to FIG. 7 together with FIG. 5, the user (U12) and the first experience space (S1) of the first metaverse providing device (100A) among the plurality of metaverse providing devices (100A, 100B) 2 When the user (U21) of the second experience space (S2) of the metaverse providing device (100B) selects the same first metaverse content (in the case of FIG. 7, “dance”), the first metaverse providing device On one or more displays (122a, 123a) among the plurality of displays (121a ~ 123a) of (100A) and one or more displays (121b ~ 123b) among the plurality of displays (121b ~ 123b) of the second metaverse providing device (100B) , respectively, a user avatar (A12) synchronized with the behavior of the user (U12) in the first experience space (S1) and a user avatar (A21) synchronized with the behavior of the user (U21) in the second experience space (S2) at the same time. It can be displayed. For example, this processing is performed by the server 200, the user U12 and the first experience space S1 of the first metaverse providing device 100A among the plurality of metaverse providing devices 100A and 100B. 2 When the user (U21) of the second experience space (S2) of the metaverse providing device (100B) selects the same first metaverse content, synchronizes with the behavior of the user (U12) of the first experience space (S1) Transmission of information about the user avatar (A12) to the second metaverse providing device (100B), and provision of information about the user avatar (A21) synchronized with the behavior of the user (U21) in the second experience space (S2) 1 This can be done by performing transmission to the metaverse providing device 100A.

본 발명의 실시예의 제2 특징에 따르면, 메타버스 제공 방법은 a) 각각이 복수의 디스플레이(121a~123a, 121b~123b)에 의해 제공되는 복수의 체험 공간(S1, S2)을 포함하는 복수의 메타버스 제공 장치(100A, 100B)의 각각의 체험 공간(S1, S2)에서 카메라(130a, 130b)를 이용하여 하나 이상의 사용자(U11~U13, U21~U22)의 위치를 탐지하는 단계(410); b) 상기 각각의 체험 공간(S1, S2)에서 상기 사용자(U11~U13, U21~U22)의 위치 및 상기 사용자(U11~U13, U21~U22)가 선택한 메타버스 콘텐츠에 근거하여 상기 복수의 디스플레이(121a~123a, 121b~123b) 중 하나 이상의 디스플레이(121a~123a, 121b~123b)에 상기 메타버스 콘텐츠를 표시하는 단계(420); c) 상기 각각의 체험 공간(S1, S2)에서 복수의 센서(141a~149a, 141b~149b) 중 상기 사용자(U11~U13, U21~U22)의 위치에 가장 가까운 센서(141a~149a, 141b~149b)를 이용하여 상기 사용자(U11~U13, U21~U22)의 행동을 감지하는 단계(430); 및 d) 상기 각각의 체험 공간(S1, S2)에서 상기 복수의 디스플레이(121a~123a, 121b~123b) 중 상기 가장 가까운 센서(141a~149a, 141b~149b)에 대응하는 디스플레이(121a~123a, 121b~123b)에 상기 사용자(U11~U13, U21~U22)의 행동과 동기화된 사용자 아바타(A11~A13, A21~A22)를 표시하는 단계(440)를 포함하는 것을 특징으로 한다. 이에 따라, 메타버스 콘텐츠가 각각의 실제 공간마다 마련된 단일 평면 디스플레이에 표시되는 종래기술과 비교하여, 메타버스의 현실감을 높일 수 있다. 또한, HMD와 같은 가상 현실로의 접속을 위한 별도의 착용 기기 없이 메타버스에 접속하여 활동적인 체험을 수행할 수 있다.According to the second feature of the embodiment of the present invention, the method for providing a metaverse is a) a plurality of experience spaces (S1, S2) each provided by a plurality of displays (121a to 123a, 121b to 123b). Step 410 of detecting the location of one or more users (U11 to U13, U21 to U22) using cameras (130a, 130b) in each experience space (S1, S2) of the metaverse providing devices (100A, 100B). ; b) The plurality of displays based on the location of the users (U11 to U13, U21 to U22) in each experience space (S1, S2) and the metaverse content selected by the users (U11 to U13, U21 to U22) Displaying the metaverse content on one or more displays (121a to 123a, 121b to 123b) (121a to 123a, 121b to 123b) (420); c) Among the plurality of sensors (141a to 149a, 141b to 149b) in each experience space (S1, S2), the sensor (141a to 149a, 141b~) is closest to the location of the user (U11 to U13, U21 to U22). 149b) detecting the behavior of the users (U11 to U13, U21 to U22) (430); and d) displays (121a to 123a) corresponding to the closest sensors (141a to 149a, 141b to 149b) among the plurality of displays (121a to 123a, 121b to 123b) in each of the experience spaces (S1, S2). It is characterized by including a step 440 of displaying user avatars (A11 to A13, A21 to A22) synchronized with the actions of the users (U11 to U13, U21 to U22) in 121b to 123b. Accordingly, compared to the prior art in which metaverse content is displayed on a single flat display provided in each real space, the realism of the metaverse can be improved. Additionally, you can access the metaverse and have an active experience without a separate wearable device such as an HMD for accessing virtual reality.

또한, 상기 d) 단계에서, 상기 복수의 메타버스 제공 장치(100A, 100B) 중 제1 메타버스 제공 장치(100A)의 제1 체험 공간(S1)의 사용자(U12) 및 제2 메타버스 제공 장치(100B)의 제2 체험 공간(S2)의 사용자(U21)가 동일한 제1 메타버스 콘텐츠를 선택한 상태일 때, 상기 제1 메타버스 제공 장치(100A)의 복수의 디스플레이(121a~123a) 중 하나 이상의 디스플레이(122a~123a) 및 상기 제2 메타버스 제공 장치(100B)의 복수의 디스플레이(121b~123b) 중 하나 이상의 디스플레이(121b~123b)에, 각각, 상기 제1 체험 공간(S1)의 사용자(U12)의 행동과 동기화된 사용자 아바타(A12) 및 상기 제2 체험 공간(S2)의 사용자(U21)의 행동과 동기화된 사용자 아바타(A21)를 동시에 표시함으로써, 서로 다른 체험 공간(S1, S2) 내의 복수의 사용자(U12, U21)가 접속하여 메타버스 콘텐츠의 경험을 공유할 수 있다. In addition, in step d), the user (U12) and the second metaverse providing device in the first experience space (S1) of the first metaverse providing device (100A) among the plurality of metaverse providing devices (100A, 100B) When the user (U21) of the second experience space (S2) of (100B) selects the same first metaverse content, one of the plurality of displays (121a to 123a) of the first metaverse providing device (100A) The user of the first experience space (S1) appears on one or more displays (121b to 123b) among the displays (122a to 123a) and the plurality of displays (121b to 123b) of the second metaverse providing device (100B), respectively. By simultaneously displaying a user avatar (A12) synchronized with the behavior of (U12) and a user avatar (A21) synchronized with the behavior of the user (U21) of the second experience space (S2), different experience spaces (S1, S2) ) Multiple users (U12, U21) within can access and share the experience of metaverse content.

본 발명은 첨부된 예시 도면의 바람직한 실시형태를 중심으로 도시하고 설명하였지만, 이에 한정하지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 이하의 청구범위에 기재된 본 발명의 기술적 사상의 범위 내에서 다양한 형태로 실시할 수 있음은 물론이다. The present invention has been shown and described focusing on the preferred embodiments of the attached exemplary drawings, but is not limited thereto and is within the scope of the technical idea of the present invention as set forth in the following claims. Of course, it can be implemented in various forms.

100, 100A, 100B: 메타버스 제공 장치
110, 110a, 110b: 입력부 121, 121a, 121b: 제1 디스플레이
122, 122a, 122b: 제2 디스플레이 123, 123a, 123b: 제3 디스플레이
130, 130a, 130b: 카메라 141, 141a, 141b: 제1 센서
142, 142a, 142b: 제2 센서 143, 143a, 143b: 제3 센서
144, 144a, 144b: 제4 센서 145, 145a, 145b: 제5 센서
146, 146a, 146b: 제6 센서 147, 147a, 147b: 제7 센서
148, 148a, 148b: 제8 센서 149, 149a, 149b: 제9 센서
150, 150a, 150b: 제어부 160, 160a, 160b: 저장부
170, 170a, 170b: 통신부 180, 180a, 180b: 신호 수집부
190, 190a, 190b: 구동부 200: 서버
210: 서버 저장부 220: 서버 통신부
230: 서버 제어부 1000: 메타버스 제공 시스템
S, S1, S2: 체험 공간
U1, U2, U3, U11, U12, U13, U21, U22: 사용자
A1, A2, A3, A11, A12, A13, A21, A22: 사용자 아바타 100, 100A, 100B: Metaverse provision device
110, 110a, 110b: input unit 121, 121a, 121b: first display
122, 122a, 122b: second display 123, 123a, 123b: third display
130, 130a, 130b: Camera 141, 141a, 141b: First sensor
142, 142a, 142b: second sensor 143, 143a, 143b: third sensor
144, 144a, 144b: fourth sensor 145, 145a, 145b: fifth sensor
146, 146a, 146b: sixth sensor 147, 147a, 147b: seventh sensor
148, 148a, 148b: 8th sensor 149, 149a, 149b: 9th sensor
150, 150a, 150b: Control unit 160, 160a, 160b: Storage unit
170, 170a, 170b: Communication unit 180, 180a, 180b: Signal collection unit
190, 190a, 190b: driving unit 200: server
210: server storage unit 220: server communication unit
230: Server control unit 1000: Metaverse provision system
S, S1, S2: Experience space
U1, U2, U3, U11, U12, U13, U21, U22: User
A1, A2, A3, A11, A12, A13, A21, A22: User Avatar

Claims (12)

메타버스 제공 방법에 있어서,
a) 복수의 디스플레이에 의해 제공되는 체험 공간을 포함하는 메타버스 제공 장치의 상기 체험 공간에서 카메라를 이용하여 하나 이상의 사용자의 위치를 탐지하는 단계;
b) 상기 사용자의 위치 및 상기 사용자가 선택한 메타버스 콘텐츠에 근거하여 상기 복수의 디스플레이 중 하나 이상의 디스플레이에 상기 메타버스 콘텐츠를 표시하는 단계;
c) 복수의 센서 중 상기 사용자의 위치에 가장 가까운 센서를 이용하여 상기 사용자의 행동을 감지하는 단계; 및
d) 상기 복수의 디스플레이 중 상기 가장 가까운 센서에 대응하는 디스플레이에 상기 사용자의 행동과 동기화된 사용자 아바타를 표시하는 단계
를 포함하고,
상기 b) 단계는, 상기 체험 공간 내의 복수의 사용자 중 제1 사용자가 제1 메타버스 콘텐츠를 선택하고 제2 사용자가 제2 메타버스 콘텐츠를 선택한 상태일 때, 상기 복수의 디스플레이 중 상기 제1 사용자의 위치에 가장 가까운 디스플레이에 제1 메타버스 콘텐츠를 표시하고, 나머지 디스플레이 중 하나 이상의 디스플레이에 제2 메타버스 콘텐츠를 표시하는 단계를 포함하는 것을 특징으로 하는 메타버스 제공 방법. In the method of providing metaverse,
a) detecting the location of one or more users using a camera in the experience space of a metaverse providing device including an experience space provided by a plurality of displays;
b) displaying the metaverse content on one or more of the plurality of displays based on the user's location and the metaverse content selected by the user;
c) detecting the user's behavior using the sensor closest to the user's location among a plurality of sensors; and
d) displaying a user avatar synchronized with the user's actions on a display corresponding to the closest sensor among the plurality of displays.
Including,
In step b), when the first user among the plurality of users in the experience space selects the first metaverse content and the second user selects the second metaverse content, the first user among the plurality of displays A metaverse providing method comprising displaying first metaverse content on the display closest to the location of and displaying second metaverse content on one or more of the remaining displays. 삭제delete 제1항에 있어서, 상기 a) 단계 이전에, a1) 상기 메타버스 제공 장치의 입력부에서 상기 메타버스 콘텐츠 및 상기 사용자 아바타에 대한 상기 사용자의 선택 신호, 및 상기 사용자의 이미지를 입력받는 단계를 더 포함하는 것을 특징으로 하는 메타버스 제공 방법. The method of claim 1, further comprising, before step a), a1) receiving the user's selection signal for the metaverse content and the user avatar, and the user's image from an input unit of the metaverse providing device. A metaverse provision method comprising: 제1항에 있어서, 상기 c) 단계에서, 상기 사용자가 선택한 메타버스 콘텐츠에 근거하여 상기 가장 가까운 센서가 상기 사용자의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 감지하는 것을 특징으로 하는 메타버스 제공 방법. The method of claim 1, wherein in step c), the nearest sensor detects one or more of the user's gaze, motion, gesture, voice, and touch based on the metaverse content selected by the user. How to provide metaverse. 메타버스 제공 방법에 있어서,
a) 복수의 디스플레이에 의해 제공되는 체험 공간을 포함하는 메타버스 제공 장치의 상기 체험 공간에서 카메라를 이용하여 하나 이상의 사용자의 위치를 탐지하는 단계;
b) 상기 사용자의 위치 및 상기 사용자가 선택한 메타버스 콘텐츠에 근거하여 상기 복수의 디스플레이 중 하나 이상의 디스플레이에 상기 메타버스 콘텐츠를 표시하는 단계;
c) 복수의 센서 중 상기 사용자의 위치에 가장 가까운 센서를 이용하여 상기 사용자의 행동을 감지하는 단계; 및
d) 상기 복수의 디스플레이 중 상기 가장 가까운 센서에 대응하는 디스플레이에 상기 사용자의 행동과 동기화된 사용자 아바타를 표시하는 단계
를 포함하고,
상기 b) 단계에서, 상기 체험 공간 내의 모든 사용자가 제1 메타버스 콘텐츠를 선택한 상태일 때, 상기 복수의 디스플레이에 상기 제1 메타버스 콘텐츠를 표시하는 것을 특징으로 하는 메타버스 제공 방법. In the method of providing metaverse,
a) detecting the location of one or more users using a camera in the experience space of a metaverse providing device including an experience space provided by a plurality of displays;
b) displaying the metaverse content on one or more of the plurality of displays based on the user's location and the metaverse content selected by the user;
c) detecting the user's behavior using the sensor closest to the user's location among a plurality of sensors; and
d) displaying a user avatar synchronized with the user's actions on a display corresponding to the closest sensor among the plurality of displays.
Including,
In step b), when all users in the experience space select the first metaverse content, the metaverse content is displayed on the plurality of displays. 메타버스 제공 방법에 있어서,
a) 각각이 복수의 디스플레이에 의해 제공되는 복수의 체험 공간을 포함하는 복수의 메타버스 제공 장치의 각각의 체험 공간에서 카메라를 이용하여 하나 이상의 사용자의 위치를 탐지하는 단계;
b) 상기 각각의 체험 공간에서 상기 사용자의 위치 및 상기 사용자가 선택한 메타버스 콘텐츠에 근거하여 상기 복수의 디스플레이 중 하나 이상의 디스플레이에 상기 메타버스 콘텐츠를 표시하는 단계;
c) 상기 각각의 체험 공간에서 복수의 센서 중 상기 사용자의 위치에 가장 가까운 센서를 이용하여 상기 사용자의 행동을 감지하는 단계; 및
d) 상기 각각의 체험 공간에서 상기 복수의 디스플레이 중 상기 가장 가까운 센서에 대응하는 디스플레이에 상기 사용자의 행동과 동기화된 사용자 아바타를 표시하는 단계
를 포함하고,
상기 d) 단계에서, 상기 복수의 메타버스 제공 장치 중 제1 메타버스 제공 장치의 제1 체험 공간의 사용자 및 제2 메타버스 제공 장치의 제2 체험 공간의 사용자가 동일한 제1 메타버스 콘텐츠를 선택한 상태일 때, 상기 제1 메타버스 제공 장치의 복수의 디스플레이 중 하나 이상의 디스플레이 및 상기 제2 메타버스 제공 장치의 복수의 디스플레이 중 하나 이상의 디스플레이에, 각각, 상기 제1 체험 공간의 사용자의 행동과 동기화된 사용자 아바타 및 상기 제2 체험 공간의 사용자의 행동과 동기화된 사용자 아바타를 동시에 표시하는 것을 특징으로 하는 메타버스 제공 방법. In the method of providing metaverse,
a) detecting the location of one or more users using a camera in each experience space of a plurality of metaverse providing devices, each of which includes a plurality of experience spaces provided by a plurality of displays;
b) displaying the metaverse content on one or more of the plurality of displays based on the user's location in each experience space and the metaverse content selected by the user;
c) detecting the user's behavior using the sensor closest to the user's location among a plurality of sensors in each experience space; and
d) displaying a user avatar synchronized with the user's behavior on a display corresponding to the closest sensor among the plurality of displays in each experience space.
Including,
In step d), among the plurality of metaverse providing devices, a user of the first experience space of the first metaverse providing device and a user of the second experience space of the second metaverse providing device select the same first metaverse content. When in the state, one or more displays among the plurality of displays of the first metaverse providing device and one or more displays among the plurality of displays of the second metaverse providing device are synchronized with the user's actions in the first experience space, respectively. A method for providing a metaverse, characterized by simultaneously displaying a user avatar synchronized with the user's actions in the second experience space. 삭제delete 제6항에 있어서, 상기 a) 단계 이전에, a1) 상기 복수의 메타버스 제공 장치의 각각의 입력부에서, 상기 복수의 체험 공간의 각각에 대하여, 상기 메타버스 콘텐츠 및 상기 사용자 아바타에 대한 상기 사용자의 선택 신호, 및 상기 사용자의 이미지를 입력받는 단계를 더 포함하는 것을 특징으로 하는 메타버스 제공 방법. The method of claim 6, before step a), a1) at each input unit of the plurality of metaverse providing devices, for each of the plurality of experience spaces, the user for the metaverse content and the user avatar. A metaverse providing method further comprising receiving a selection signal and an image of the user. 제6항에 있어서, 상기 c) 단계에서, 상기 복수의 메타버스 제공 장치의 상기 각각의 체험 공간에 대하여, 상기 사용자가 선택한 메타버스 콘텐츠에 근거하여 상기 가장 가까운 센서가 상기 사용자의 시선, 동작, 제스처, 음성, 및 터치 중 하나 이상을 감지하는 것을 특징으로 하는 메타버스 제공 방법. The method of claim 6, wherein in step c), for each experience space of the plurality of metaverse providing devices, the nearest sensor detects the user's gaze, motion, A metaverse provision method characterized by detecting one or more of gesture, voice, and touch. 메타버스 제공 장치에 있어서,
체험 공간을 제공하도록 배치되며 메타버스 콘텐츠를 표시하는 복수의 디스플레이;
상기 체험 공간 내의 하나 이상의 사용자의 위치를 탐지하는 카메라;
상기 사용자의 행동을 감지하는 복수의 센서; 및
상기 사용자의 위치 및 상기 사용자가 선택한 상기 메타버스 콘텐츠에 근거하여 상기 복수의 디스플레이 중 하나 이상의 디스플레이에 상기 메타버스 콘텐츠를 표시하고, 상기 복수의 센서 중 상기 사용자의 위치에 가장 가까운 센서를 이용하여 상기 사용자의 행동을 감지하며, 상기 복수의 디스플레이 중 상기 가장 가까운 센서에 대응하는 디스플레이에 상기 사용자의 행동과 동기화된 사용자 아바타를 표시하도록 상기 복수의 디스플레이 및 상기 복수의 센서를 제어하는 제어부
를 포함하고,
상기 제어부는, 상기 체험 공간 내의 복수의 사용자 중 제1 사용자가 제1 메타버스 콘텐츠를 선택하고 제2 사용자가 제2 메타버스 콘텐츠를 선택한 상태일 때, 상기 복수의 디스플레이 중 상기 제1 사용자의 위치에 가장 가까운 디스플레이에 제1 메타버스 콘텐츠를 표시하고, 나머지 디스플레이 중 하나 이상의 디스플레이에 제2 메타버스 콘텐츠를 표시하도록 상기 복수의 디스플레이를 제어하는 것을 특징으로 하는 메타버스 제공 장치. In the metaverse provision device,
A plurality of displays arranged to provide an experience space and displaying metaverse content;
a camera that detects the location of one or more users within the experience space;
A plurality of sensors that detect the user's actions; and
Displaying the metaverse content on one or more of the plurality of displays based on the user's location and the metaverse content selected by the user, and using the sensor closest to the user's location among the plurality of sensors A control unit that detects the user's behavior and controls the plurality of displays and the plurality of sensors to display a user avatar synchronized with the user's behavior on the display corresponding to the closest sensor among the plurality of displays.
Including,
The control unit determines the location of the first user among the plurality of displays when the first user among the plurality of users in the experience space selects the first metaverse content and the second user selects the second metaverse content. A metaverse providing device, characterized in that for controlling the plurality of displays to display first metaverse content on the display closest to the display and display second metaverse content on at least one of the remaining displays. 제10항에 있어서, 상기 메타버스 콘텐츠 및 상기 사용자 아바타 중 하나 이상의 정보에 대한 통신을 수행하는 통신부를 더 포함하는 것을 특징으로 하는 메타버스 제공 장치. The metaverse providing device according to claim 10, further comprising a communication unit that communicates information about one or more of the metaverse content and the user avatar. 메타버스 제공 시스템에 있어서,
복수의 메타버스 제공 장치; 및
메타버스 콘텐츠 및 사용자 아바타 중 하나 이상의 정보를 상기 복수의 메타버스 제공 장치와 송수신하는 서버를 포함하고,
상기 복수의 메타버스 제공 장치는 각각 제11항에 기재된 메타버스 제공 장치로 구현되는 것을 특징으로 하는 메타버스 제공 시스템. In the metaverse provision system,
Multiple metaverse provision devices; and
Comprising a server that transmits and receives one or more information of metaverse content and user avatars with the plurality of metaverse providing devices,
A metaverse providing system, wherein the plurality of metaverse providing devices are each implemented as a metaverse providing device described in claim 11.
KR1020210105773A 2021-08-11 2021-08-11 Method, apparatus, and system for providing metaverse Active KR102641519B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210105773A KR102641519B1 (en) 2021-08-11 2021-08-11 Method, apparatus, and system for providing metaverse
PCT/KR2021/011663 WO2023017890A1 (en) 2021-08-11 2021-08-31 Method for providing metaverse, apparatus for providing metaverse, and system for providing metaverse

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210105773A KR102641519B1 (en) 2021-08-11 2021-08-11 Method, apparatus, and system for providing metaverse

Publications (2)

Publication Number Publication Date
KR20230024451A KR20230024451A (en) 2023-02-21
KR102641519B1 true KR102641519B1 (en) 2024-02-29

Family

ID=85200746

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210105773A Active KR102641519B1 (en) 2021-08-11 2021-08-11 Method, apparatus, and system for providing metaverse

Country Status (2)

Country Link
KR (1) KR102641519B1 (en)
WO (1) WO2023017890A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102863064B1 (en) * 2023-12-29 2025-09-22 경일대학교산학협력단 Electronic device and method for providing metaverse service
KR102861826B1 (en) * 2024-08-22 2025-09-22 주식회사 패러블엔터테인먼트 Metaverse content production system and method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130068593A (en) * 2011-12-15 2013-06-26 한국전자통신연구원 Metaverse platform for fusing actual feeling and method for providing service using the same
KR101923723B1 (en) 2012-09-17 2018-11-29 한국전자통신연구원 Metaverse client terminal and method for providing metaverse space for user interaction
IL313175A (en) * 2013-03-11 2024-07-01 Magic Leap Inc System and method for augmentation and virtual reality
KR101808598B1 (en) * 2014-05-12 2018-01-18 한국전자통신연구원 Experience Ride Representation Apparatus and its Method for Real-sense media service based on multi-vision
KR20170058817A (en) * 2015-11-19 2017-05-29 세창인스트루먼트(주) Virtual reality system having transparent display through which internal space is looked
JP2020502709A (en) * 2016-12-13 2020-01-23 ディープモーション、インコーポレイテッド Improved virtual reality system using multiple force arrays for solver

Also Published As

Publication number Publication date
KR20230024451A (en) 2023-02-21
WO2023017890A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
EP3496047B1 (en) Image distribution system
KR101764372B1 (en) Apparatus and method for compositing image in a portable terminal
US20190279407A1 (en) System and method for augmented reality interaction
TW202105133A (en) Virtual user interface using a peripheral device in artificial reality environments
JP2022535316A (en) Artificial reality system with sliding menu
KR20220012990A (en) Gating Arm Gaze-Driven User Interface Elements for Artificial Reality Systems
KR20220018562A (en) Gating Edge-Identified Gesture-Driven User Interface Elements for Artificial Reality Systems
KR20220018561A (en) Artificial Reality Systems with Personal Assistant Element for Gating User Interface Elements
US10978019B2 (en) Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
KR102641519B1 (en) Method, apparatus, and system for providing metaverse
US10296359B2 (en) Interactive system control apparatus and method
CN104270623B (en) A kind of display methods and electronic equipment
US10216357B2 (en) Apparatus and method for controlling the apparatus
US20220091809A1 (en) Information processing device and information processing method
JP7300436B2 (en) Information processing device, system, information processing method and information processing program
EP3382505B1 (en) Improved method and system for vr interaction
US12401883B2 (en) System, imaging apparatus, information processing apparatus, information processing method, and information processing program
WO2024064230A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
EP4577900A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
JP6739254B2 (en) Program, information processing device, information processing method, and server device
US20210349533A1 (en) Information processing method, information processing device, and information processing system
KR20220021886A (en) Vr system for controlling the viewpoint of users and sharing experience in the virtual environment
GB2535730A (en) Interactive system control apparatus and method
US11908097B2 (en) Information processing system, program, and information processing method
JP2025095759A (en) Information processing device, method for controlling information processing device, and program

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R15-X000 Change to inventor requested

St.27 status event code: A-3-3-R10-R15-oth-X000

R16-X000 Change to inventor recorded

St.27 status event code: A-3-3-R10-R16-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601