[go: up one dir, main page]

KR20220021886A - 가상 환경에서 사용자의 시야를 제어하고 경험을 실시간 공유하는 vr 시스템 - Google Patents

가상 환경에서 사용자의 시야를 제어하고 경험을 실시간 공유하는 vr 시스템 Download PDF

Info

Publication number
KR20220021886A
KR20220021886A KR1020210107550A KR20210107550A KR20220021886A KR 20220021886 A KR20220021886 A KR 20220021886A KR 1020210107550 A KR1020210107550 A KR 1020210107550A KR 20210107550 A KR20210107550 A KR 20210107550A KR 20220021886 A KR20220021886 A KR 20220021886A
Authority
KR
South Korea
Prior art keywords
user
view
information
hmd
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020210107550A
Other languages
English (en)
Inventor
김창헌
장치멍
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20220021886A publication Critical patent/KR20220021886A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

VR(Virtual Reality) 시스템이 개시된다. 상기 VR 시스템은 제1 사용자에 의해 착용되어 상기 제1 사용자의 회전 정보를 측정하고, 상기 제1 사용자의 회전 정보에 기초하여 가상 공간 상에서 상기 제1 사용자의 시야를 결정하는 HMD(Head Mounted Display) 기기, 제2 사용자에 의해 착용되어 상기 제2 사용자의 회전 정보를 측정하고, 상기 제2 사용자의 회전 정보에 기초하여 상기 가상 공간 상에서 상기 제2 사용자의 시야를 결정하는 non-HMD 기기, 및 상기 non-HMD 기기로부터 상기 제2 사용자의 시야에 대한 정보를 수신하고, 상기 제2 사용자의 시야에 대한 정보를 상기 HMD 기기로 송신하는 PUN(Photon Unity Networking) 네트워크 장치를 포함한다.

Description

가상 환경에서 사용자의 시야를 제어하고 경험을 실시간 공유하는 VR 시스템{VR SYSTEM FOR CONTROLLING THE VIEWPOINT OF USERS AND SHARING EXPERIENCE IN THE VIRTUAL ENVIRONMENT}
본 발명은 가상 환경에서 다양한 단말을 사용하는 다수의 사용자들 각각의 시야를 제어하고 경험을 공유하는 기술을 통해서 참여하는 모든 사용자의 몰입도를 높이고 효율적으로 다자간 협업 임무를 수행할 수 있는 시스템과 그 방법에 관한 것이다.
코로나19의 영향으로 언택트(Untact) 기술의 중심으로 기대되는 것은 VR(Virtual Reality, 가상 현실)과 AR(Augmented Reality, 증강 현실) 기술이다. 기존의 가상 현실 기술은 단독 사용자에게 가상환경에서의 몰입감을 주는 것에 주력하는 기술이지만 최근에는 다수의 참가자가 팀 기반으로 협동 작업하는 콘텐츠와 응용에 대한 요구가 많이 증대하고 있는 실정이다.
가상 환경에서 다자간의 협업을 위하여는 다자간의 시야, 행동 등에 관련된 정보공유가 협동 작업의 임무 수행에 필수적이고, 특히 시야 정보는 사용자의 몰입도 및 사용자 간의 경험 공유에 대한 큰 영향을 줄 수 있다. 예를 들어, 의료 교육 훈련, 실내 디자인, 단체경기 등의 콘텐츠에서 사용자 간의 위치와 시야에 따른 정보의 공유와 소통 프레임워크는 종래의 가상 현실 기술로는 해결하기 어려운 영역의 문제이다.
일반적으로 가상환경의 중요 참가자는 VR용 HMD(head-mounted display) 장비를 착용하는 사용자라서 대부분 종래기술은 HMD 단말 사용자를 중점으로 두었다. 그런데, 최근에 가상환경을 참여 수준에 따라 HMD 장비를 사용하는 사용자와 더불어, 스마트폰이나 모바일 태블릿 등의 장비로 VR 콘텐츠를 함께 참여하는 non-HMD 단말 사용자도 등장하게 되었다. 즉, 최근의 교육, 건강 관리, 신체 훈련 및 홈 엔터테인먼트와 같은 다양한 분야에서 출시된 많은 사용자 같이 즐길 수 있는 VR 응용 프로그램 및 시나리오 중에서 HMD 단말 사용자 아닌, non-HMD 단말 사용자의 비율도 매우 커지고 있다.
가상 환경의 모든 사용자가 다양한 임무를 동시에 수행하는 경우, 참여하는 사용자 각각의 시야를 파악하고 모든 사용자에게 그 정보를 공유할 수 있다면 HMD 단말 사용자 외 Non-HMD 사용자의 참여도와 몰입도를 동시에 높일 수 있다.
대부분 종래 기술은 non-HMD 단말 사용자한테 제공하는 시각화 장비는 고정된 PC 모니터나 프로젝터의 스크린이라서, non-HMD 단말 사용자가 HMD 단말 사용자가 보고 있는 시야만 볼 수 있고 스스로 제어할 수 있는 시야가 없음으로 인하여 Non-HMD 사용자의 참여도 및 몰입감이 많이 떨어질 수밖에 없는 문제가 존재하다.
이와 관련하여, 선행기술인 대한민국 등록특허 제1910516호는 non-HMD 단말 사용자의 몰입감 및 시각화를 위한 복수의 프로젝터를 통해서 몰입형 3차원 VR 콘텐츠를 제공한다. 또한, 종래기술에서 휴대용 태블릿이 non-HMD 단말 사용자의 시각화 장비로 제공하고 non-HMD 단말 사용자한테 자유로운 시야를 제공한다.
대한민국 등록특허 제1910516호 (2018.10.22. 공고)
본 발명은 상기와 같은 문제를 해결하기 위해 제안된 것으로, 모든 사용자에게 사용자 자신의 1인칭 시야와 공통으로 볼 수 있는 3인칭 시야(예컨대, 평면도(top view))를 제공하고, 사용자들 각각이 시야를 실시간으로 전송 및 공유할 수 있는 VR 시스템을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 의한 VR(Virtual Reality) 시스템은, 제1 사용자에 의해 착용되어 상기 제1 사용자의 회전 정보를 측정하고, 상기 제1 사용자의 회전 정보에 기초하여 가상 공간 상에서 상기 제1 사용자의 시야를 결정하는 HMD(Head Mounted Display) 기기, 제2 사용자에 의해 착용되어 상기 제2 사용자의 회전 정보를 측정하고, 상기 제2 사용자의 회전 정보에 기초하여 상기 가상 공간 상에서 상기 제2 사용자의 시야를 결정하는 non-HMD 기기, 및 상기 non-HMD 기기로부터 상기 제2 사용자의 시야에 대한 정보를 수신하고, 상기 제2 사용자의 시야에 대한 정보를 상기 HMD 기기로 송신하는 PUN(Photon Unity Networking) 네트워크 장치를 포함한다.
또한, 본 발명의 일 실시예에 의한 HMD 기기는 사용자에 의해 착용되는 HMD 기기로써, 상기 사용자의 회전 정보를 측정하는 자이로 센서, PUN 네트워크 장치로부터 제2 사용자의 시야에 대한 정보를 수신하는 통신부, 및 상기 사용자의 회전 정보에 기초하여 가상 공간 상에서의 상기 사용자의 시야를 결정하고, 상기 제2 사용자의 시야에 대한 정보에 기초하여 상기 가상 공간 상에서의 상기 제2 사용자의 시야를 결정하는 프로세서를 포함한다.
본 발명에 의한 VR 시스템에 의할 경우, 가상 환경에서 모든 사용자에게 각자가 자유롭게 제어할 수 있는 1인칭 시야를 제공함으로써 모든 사용자가 동시에 다양한 작업을 스스로 진행할 수 있으며, 공통으로 볼 수 있는 3인칭 시야를 제공함으로써 상호간에 가상 공간에서의 존재 위치 및 시야를 확인할 수 있는 효과가 있다.
또한, 제안하는 VR 시스템을 통해 모든 사용자의 시각화 경험을 실시간 공유할 수 있고 협업 임무를 효율적으로 수행할 수 있는 효과가 있다.
도 1은 본 발명의 제안하는 가상 환경에서 사용자의 시야을 제어하고 경험을 공유하는 VR(Virtual Reality) 시스템을 도시한다.
도 2는 본 발명에 따른 가상 환경에서 HMD 기기 사용자 및/또는 non-HMD 기기 사용자의 시야를 제어하고 경험을 공유하는 방법에 대한 개념도이다.
도 3은 본 발명에 따른 가상 환경 실행 구성을 나타낸다.
도 4는 본 발명에 따른 제1 사용자 및 제2 사용자가 착용 또는 소지하는 기기에서 표시되는 화면 구성을 나타낸다.
도 5는 본 발명에 따른 제1 사용자 및 제2 사용자가 착용 또는 소지하는 기기에서 표시되는 3인칭 시야의 다른예를 나타낸다.
도 6은 본 발명에 따른 제1 사용자 및 제2 사용자가 착용 또는 소지하는 기기에서 표시되는 공유 시야의 다른예를 나타낸다.
도 7은 본 발명에 따른 기기 내부의 자이로 센서를 이용하여 3축 회전 상태를 판단하는 개념도를 나타낸다.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제1, 제2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 모듈, 블록 및 부는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다. 하기에서 본 발명의 실시 예를 설명함에 있어, 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
이하에서는, 본 발명에 따른 가상 환경에서 사용자들 각각의 시야를 제어하고 경험을 공유하는 VR 시스템에 대해 도면을 참조하여 설명한다.
도 1은 본 발명의 제안하는 가상 환경에서 사용자의 시야을 제어하고 경험을 공유하는 VR(Virtual Reality) 시스템을 도시한다.
도 1을 참조하면, VR 시스템은 제1 센서 기기(10), 제2 센서 기기(20), HMD(Head Mounted Display) 기기(100, HMD 장치로 명명될 수도 있음), 및 non-HMD 기기(200, non-HMD 장치로 명명될 수도 있음)를 포함할 수 있다. 한편, 도 2는 본 발명에 따른 가상 환경에서 HMD 기기 사용자 및/또는 non-HMD 기기 사용자의 시야를 제어하고 경험을 공유하는 방법에 대한 개념도이다.
도 1 및 도 2를 참조하면, HMD 기기(100)를 착용하고 제1 센서 기기(10)를 소지하는 제1 사용자와 non-HMD 기기(200)와 제2 센서 기기(20)를 소지하는 제2 사용자의 시야 정보, 위치 정보, 이동 상태 정보 등의 수집은 특정 기기 또는 네트워크 장치에 의해 수행될 수 있다. 도 1에서 VR 시스템은 PUN(Photon Unity Networking) 네트워크 장치(300)를 더 포함하고, PNU 네트워크 장치(300)가 시야 정보, 위치 정보, 이동 상태 정보 등을 수집할 수 있다. 그러나, 본 발명이 이에 한정되는 것은 아니고, 실시예에 따라 변경 가능하다. VR 시스템이 구현되는 공간 영역이 특정 영역으로 한정될 수 있으며, 특정 기기에 의한 시야 정보, 위치 정보, 이동 상태 정보 등의 수집이 가능하다면 특정 기기(예컨대, 적어도 프로세서 및/또는 메모리를 포함하는 컴퓨팅 장치)에 의해 수집될 수도 있다.
도 1 및 도 2를 참조하면, 제1 센서 기기(10)는 HMD 기기(100)를 착용하고 있는 제1 사용자에 의해 소지되어 상기 제1 사용자의 제1 이동 상태 데이터를 수집하도록 구성된 컨트롤러(controller)를 의미할 수 있다. 또한, 제1 사용자는 상기 컨트롤러를 이용하여 HMD 기기(100)에 포함되는 디스플레이 장치에 디스플레이(표시)되는 화면에 대한 선택 정보를 입력할 수 있다. 또한, 제1 사용자는 상기 컨트롤러를 이용하여 가상 공간 상에서 제1 사용자의 초기 위치(초기 좌표) 및/또는 초기 시야 방향을 설정할 수도 있다. 실시예에 따라, 제1 사용자의 초기 위치 및/또는 초기 시야는 임의로 결정될 수도 있다.
또한, 제1 사용자의 시야 정보, 예컨대 가상 공간 상에서의 제1 사용자의 시야 방향 및/또는 시야각에 대한 정보는 HMD 기기(100)에 포함된(또는 부착된) 센서에 의해 측정(또는 수집)될 수 있다. HMD 기기(100)에 포함된 센서는 자이로 센서(gyro sensor) 또는 자이로스코프(gyroscope)를 의미할 수 있다.
제2 센서 기기(20)는 HMD를 착용하고 있지 않은 제2 사용자에 의해 소지되어 제2 사용자의 시야 방향 및/또는 시야각에 대한 정보를 수집(또는 측정)할 수 있다. 제2 센서 기기(20)는 non-HMD 기기(200)에 포함되는 자이로 센서를 의미할 수 있다. 예컨대, non-HMD 기기(200)가 태블릿 PC, 모바일 폰, 스마트 폰, 노트북 등과 같은 컴퓨팅 장치로 구현될 경우, 제2 센서 기기(20)는 상기 컴퓨팅 장치에 내장된 자이로 센서를 의미할 수 있다.
제2 사용자의 이동 상태 데이터는 제2 사용자에 의한 입력될 수 있다. 또한, 제2 사용자는 소정의 입력 인터페이스, 예컨대 터치 스크린을 통한 터치 입력을 통해 가상 공간 상에서 제2 사용자의 초기 위치(초기 좌표) 및/또는 초기 시야 방향을 설정할 수 있다. 실시예에 따라, 제2 사용자의 초기 위치 및/도는 초기 시야는 임의로 결정될 수도 있다.
HMD 기기(100)는 제1 사용자에 의해 착용되어, 센서로부터 제1 사용자의 시야 정보(예컨대 시야 방향 정보, 3축에 대한 회전 정보)를 수신하고, 가상 공간 상에서 시야 정보에 대응되는 화면을 제1 사용자에게 제공하도록 구성될 수 있다. 제1 사용자의 현재 시야는 이전 시야와 제1 사용자의 시야 정보(예컨대, (3축에 대한) 제1 사용자 또는 HMD 기기(100)의 회전 정보)에 기초하여 결정될 수 있다. 즉, HMD 기기(100)는 이전의 시야에 소정의 센서(예컨대, 자이로스코프)에 의해 측정된 회전 정보(단축 또는 다축(예컨대, 3축) 회전 정보)를 반영하여 현재 시야를 결정하고, 가상 공간 상에서 현재 시야에 해당하는 화면을 디스플레이할 수 있다.
non-HMD 기기(200)는 제2 사용자에 의해 소지되고, 제2 센서 기기(20)로부터 제2 사용자의 시야 정보(예컨대, 시야 방향 정보, 회전 정보)를 수신하고, 가상 공간 상에서 시야 정보에 대응되는 화면을 제2 사용자에게 제공하도록 구성될 수 있다. 제2 사용자의 현재 시야는 이전 시야와 제2 사용자의 시야 정보(예컨대, (3축에 대한) 제2 사용자 또는 non-HMD 기기(200)의 회전 정보)에 기초하여 결정될 수 있다. 즉, non-HMD 기기(200)는 이전 시야에 소정의 센서(예컨대, 자이로 센서)에 의해 측정된 회전 정보(단축 또는 다축(예컨대, 3축) 회전 정보)를 반영하여 현재 시야를 결정하고, 가상 공간 상에서 현재 시야에 해당하는 화면을 디스플레이할 수 있다.
HMD 기기(100)의 개수 및/또는 non-HMD 기기(200)의 개수는 1개뿐만 아니라 여러 개로 확장 가능하다. 따라서, 본 발명은 HMD 기기 및 non-HMD 기기의 1:1 환경뿐만 아니라, 대규모 사용자로 인한 1:N 환경에서 적용될 수 있다. 또한, 본 발명은 모든 사용자의 시야를 사실적으로 반영하고 가상 환경에서의 시야(1인칭 시야, 3인칭 시야, 공유 시야)가 실시간 공유될 수 있는 시스템과 방법을 제안할 수 있다.
HMD 기기(100)는 무선 통신부(110) 및 프로세서(120)를 포함하도록 구성 가능하다. non-HMD 기기(200)는 통신부(210) 및 프로세서(220)를 포함하도록 구성 가능하다. HMD 기기(100)의 무선 통신부(110)는 실시예에 따라 유선 통신 프로토콜을 사용하는 유선 통신부를 의미할 수도 있다. non-HMD 기기(200)의 통신부(210) 또한 무선 통신부로 구현이 가능하다. 실시예에 따라, 제2 센서 기기(20)는 non-HMD 기기(200)에 내장될 수 있고, 이 경우 제2 센서 기기(20)는 통신부(210)를 경유하지 않고 직접 non-HMD 기기(200)에 데이터를 송신(전송)할 수 있다.
HMD 기기(100)가 자신의 시야 정보 이외에 다른 사용자의 시야 정보를 수집하도록 구성될 수 있다. 이 경우, HMD 기기(100)의 무선 통신부(110)는 다른 사용자들의 시야 정보를 수신하도록 구성될 수 있다. 프로세서(120)는 무선 통신부(110)와 소정의 데이터를 주고 받도록 결합될 수 있다. 프로세서(120)는 다른 사용자의 시야 정보에 기초하여 다른 사용자들 각각의 시야를 판단할 수 있다. 프로세서(120)는 다른 사용자들의 시야 정보에 기초하여 가상 환경에서 다자 간 시야 제어(시야 공유) 어플리케이션 프로그램을 제어하도록 구성될 수 있다. 실시예에 따라, 프로세서(120)는 PUN 네트워크 장치(300)로부터 수신된 다른 사용자의 1인칭 시야(공유 화면) 및/또는 3인칭 시야를 디스플레이하도록 구성될 수 있다. HMD 기기(100)가 수신하는 다른 사용자의 시야 정보는 다른 사용자의 화면에 디스플레이되는 영상 자체, 가상 공간 상에서의 다른 사용자의 시야 방향(시야 각 및/또는 위치 정보를 포함할 수 있음), 또는 시야를 결정하기 위한 기초 자료(회전 정보)를 의미할 수 있다. 실시예에 따라, HMD 기기(100)에 제공되는 다른 사용자의 시야에 대한 정보는 가상 공간 상에서의 다른 사용자의 위치(예컨대, 좌표), 시야 방향, 및 시야각 중 적어도 하나를 의미할 수도 있다. 이 경우, HMD 기기(100)는 다른 사용자의 시야에 대한 정보에 기초하여 다른 사용자에게 제공되는 가상 공간을 HMD 기기(100) 내의 디스플레이 장치에 디스플레이할 수 있다.
한편, 본 발명에 따른 가상 환경 실행 구성에 대해 설명하면 다음과 같다. 이와 관련하여, 도 3은 본 발명에 따른 가상 환경 실행 구성을 나타낸다. 도 1 내지 도 3을 참조하면, Non-HMD 기기(200)는 1인칭 시야, 3인칭 시야, 및 공유 시야 중 적어도 하나를 디스플레이하도록 구성될 수 있고, 일 예로 이동 단말기나 태블릿 PC, 스마트폰 등으로 구현될 수 있다. 한편, 제2 센서 기기(20)는 non-HMD 기기(200)에 내장되어 제2 사용자의 시야와 연관된 데이터를 수집/전송할 수 있다.
HMD 기기(100)는 제1 사용자의 시야와 연관된 데이터를 수집/전송하는 센서를 구비하고 노트북 PC(또는 태블릿 PC, 데스크톱 PC 등)와 연동될 수 있다. 이와 관련하여, HMD 기기(100)는 HMD 기기(100)와 연동되는 노트북 PC와 같은 전자 기기를 포함하여 구성될 수 있다. 다른 예로, HMD 기기(100) 자체에 프로세서가 구비되거나 HMD 기기(100) 내에 이동 단말기가 장착될 수도 있다. 이러한 경우, HMD 기기(100)는 노트북 PC 없이도 자체적으로 가상 환경을 구축하도록 구성될 수 있다. 한편, 모든 사용자가 PUN(Photon Unity Networking)을 통해서 동일한 가상 환경 콘텐츠에 참여할 수 있다. PUN 프로토콜에 따라 가상 환경을 구축하는 도 1 및 도 2의 PUN 네트워크 장치(300)는 도 3의 노트북 PC에 해당할 수도 있다.
도 1 내지 도 3를 참조하여, HMD 기기(100) 및 non-HMD 기기(200)의 상세한 동작에 대해 설명한다. HMD 기기(100)의 프로세서(120)와 non-HMD 기기(200)의 프로세서(220)는 PUN 프로토콜에 따라 가상 환경에서 다자 간 시야 제어(시야 공유) 어플리케이션 프로그램을 구동할 수 있다. 프로세서(120, 220)는 각 사용자의 시야 정보에 기초하여 상기 어플리케이션 프로그램에 의해 표시되는 화면에 1인칭 시야, 3인칭 시야, 및 공유 시야 중 적어도 하나를 표시하도록 제어할 수 있다. 1인칭 시야는 사용자 자신의 시야를 의미하고, 3인칭 시야는 제공되는 가상 공간의 탑뷰(top view, 평면도)를 의미하고, 공유 시야는 다른 사용자들 중 적어도 한 사용자의 1인칭 시야를 의미할 수 있다.
화면에 표시되는 시야에 대한 선택 정보는 사용자에 의해 입력될 수 있다. HMD 기기(100)의 제1 사용자는 소정의 입력 장치, 예컨대 컨트롤러와 같은 제1 센서 기기(10)를 통해 화면에 표시되는 시야를 선택할 수 있다. non-HMD 기기(200)의 제2 사용자는 소정의 입력 장치, 예컨대 태블릿으로 구현되는 non-HMD 기기(200)에 구현된 터치 스크린을 통해 화면에 표시되는 시야를 선택할 수 있다. 이때, 화면에는 적어도 하나 이상의 시야가 디스플레이되는 것도 가능하다. 예컨대, 1인칭 시야, 3인칭 시야, 공유 시야, 1인칭 시야와 3인칭 시야, 1인칭 시야와 공유 시야, 3인칭 시야와 공유 시야, 또는 1인칭 시야, 공유 시야, 및 3인칭 시야가 디스플레이될 수 있다.
이와 관련하여, 도 4는 본 발명에 따른 제1 사용자 및 제2 사용자가 착용 또는 소지하는 기기에서 표시되는 화면 구성을 나타낸다.
본 발명은 사용자 각각의 시야 정보를 측정/수집하여, 각 사용자의 선택 정보에 대응하는 시야를 디스플레이할 수 있다. 이를 통해서 모든 사용자가 가상 공간에서 다른 사용자의 시야 및/또는 위치를 인지할 수 있고, 가상 공간에 있는 다른 사용자에게도 서로의 시야 및/또는 위치 정보를 공유(확인)할 수 있다.
도 4에서, HMD 사용자1의 1인칭 시야는 좌측 위에 도시되어 있고, non-HMD 사용자1의 1인칭 시야는 좌측 아래에 도시되어 있다. 또한, 모든 사용자에게 공통적으로 제공될 수 있는 3인칭 시야(top view)는 오른쪽에 도시되어 있다. 3인칭 시야에서는 가상 공간에 위치하는 모든 사용자의 위치가 표시될 수도 있다.
도 1 내지 도 4를 참조하면, HMD 기기(100)의 프로세서(120)는 소정의 어플리케이션 프로그램에 의해 표시되는 가상 환경이 구현된 화면에 1인칭 시야, 3인칭 시야, 및 공유 시야 중 적어도 하나가 디스플레이되도록 제어할 수 있다. 프로세서(120)는 프로세서(120)는 업데이트되는 제1 사용자의 시야 정보에 기초하여, 가상 공간에서 대응되는 시야가 디스플레이되도록 제어할 수 있다. 또한, 프로세서(120)는 다른 사용자의 시야 정보 및/또는 위치 정보 등에 기초하여 업데이트된 3인칭 시야 및/또는 공유 시야를 화면에 디스플레이되도록 제어할 수 있다.
non-HMD 기기(200)의 프로세서(220)의 동작은 HMD 기기(100)의 프로세서(120)의 동작과 동일하므로 이에 관한 상세한 설명은 생략하기로 한다.
도 5는 본 발명에 따른 제1 사용자 및 제2 사용자가 착용 또는 소지하는 기기에서 표시되는 3인칭 시야의 다른예를 나타낸다.
도 1 내지 도 5를 참조하면, 본 발명에 따른 가상 환경에서 사용자의 시야를 제어(공유)하고 경험을 공유하는 방법 및 VR 시스템은 각 사용자의 위치 및/또는 시야(예컨대, 시야 방향)가 표시된 3인칭 시야를 각 사용자에게 제공할 수 있다. 즉, 프로세서(120) 및/또는 프로세서(220)는 각 사용자의 위치와 각 사용자의 시야 방향이 표시된 3인칭 시야가 각 장치(100, 200)의 디스플레이에 표시되도록 제어할 수 있다. 각 사용자의 위치 정보와 시야 정보(시야 방향)은 통신부(110, 210)를 경유하여 PUN 네트워크 장치(300)로부터 수신될 수 있다. 이를 위해, 각 기기(100, 200), 구체적으로 프로세서(120, 220)는 사용자의 위치 정보 및/또는 시야 정보(시야 방향 및/또는 시야각)를 통신부(110, 210)를 통해 PUN 네트워크 장치(300)로 송신할 수 있다.
도 6은 본 발명에 따른 제1 사용자 및 제2 사용자가 착용 또는 소지하는 기기에서 표시되는 공유 시야의 다른예를 나타낸다.
도 1 내지 도 6을 참조하면, 본 발명에 따른 가상 환경에서 사용자의 시야를 제어(공유)하고 경험을 공유하는 방법 및 VR 시스템은 다른 사용자들 중 적어도 한 사용자의 시야가 표시된 공유 시야를 각 사용자에게 제공할 수 있다. 도 6의 좌측에는 HMD 사용자1, 즉 본인의 시야인 1인칭 시야가 도시되어 있고, 도 6의 우측에는 HMD 사용자1을 제외한 사용자들의 1인칭 시야가 도시되어 있다. 즉, 프로세서(120) 및/또는 프로세서(220)는 다른 사용자들의 1인칭 시야가 각 장치(100, 200)의 디스플레이에 표시되도록 제어할 수 있다. 각 사용자의 1인칭 시야는 통신부(110, 210)를 경유하여 PUN 네트워크 장치(300)로부터 수신될 수 있다. 이를 위해, 각 기기(100, 200), 구체적으로 프로세서(120, 220)는 사용자의 1인칭 시야를 통신부(110, 210)를 통해 PUN 네트워크 장치(300)로 송신할 수 있다. 다른 예로, PUN 네트워크 장치(300)는 각 사용자의 1인칭 시야를 생성할 수 있는 정보(예컨대, 각 사용자의 회전 정보를 수집한 후 이에 기초하여 각 사용자의 1인칭 시야를 생성한 후 생성된 1인칭 시야를 다른 사용자에게 전송할 수도 있다.
기기(100, 200)의 종류에 따라 시야 방향(또는 시선 방향)을 결정하는 방식은 상이하다. HMD 기기(100)의 경우, 헤드셋에 포함된 카메라의 전면 방향(forward direction)을 시야 방향으로 결정할 수 있다. non-HMD 기기(200)는 헤드셋을 구비하지 않으며, 태블릿과 같은 휴대용 모바일 기기로 구현될 수 있다. 따라서, 태블릿과 같은 기기가 시각화 장치로 사용되고, 기기 내부의 자이로 센서를 이용해서 사용자의 시선 방향(시야 방향) 및/또는 회전 상태 등을 판단할 수 있다. 이와 관련하여, 도 7은 본 발명에 따른 기기 내부의 자이로 센서를 이용하여 3축 회전 상태를 판단하는 개념도를 나타낸다. 자이로 센서가 x (Roll), y (Pitch) 및 z (Yaw) 축을 따라 가속 기울기 값을 측정할 수 있고, 측정 값(3축 방향의 회전 정보)을 이용하면, non-HMD 기기(200)를 소지한 제2 사용자의 시야 방향을 결정할 수 있다. 물론, HMD 기기(100) 역시 자이로스코프(또는 자이로 센서)를 구비할 수 있고, 이 경우, 자이로스코프의 측정 값을 이용하여 제1 사용자의 시야 방향을 결정할 수 있다. 도 7과 같이, 사용자의 움직임의 방향 및 회전 값을 이용하여 사용자의 이동 방향 및/또는 시야 방향을 결정할 수 있다.
한편, 본 발명에 따른 가상 환경에서 경험을 공유하는 방법 및 VR 시스템의 시야 정보의 수집은 특정 기기 이외에 도 1의 PUN 네트워크 장치(300)에 의해서도 구현될 수 있다. 이와 관련하여, 도 1 내지 도 7을 참조하면, VR 시스템은 HMD 기기(100) 및 non-HMD 기기(200)와 연동하여, 각 기기(100, 200)의 시야 정보(시야 방향, 시야각 등)를 수집하도록 구성된 PUN 네트워크 장치(300)를 더 포함할 수 있다.
PUN 네트워크 장치(300)는 상기 시야 정보에 기초하여 제1 사용자 및 제2 사용자의 시야를 결정할 수 있다. 또한, PUN 네트워크 장치(300)는 각 사용자의 시야에 기초하여 가상 환경에서 어플리케이션 프로그램을 제어할 수 있다. 이와 관련하여, 각 사용자의 시야 정보의 수집 및/또는 시야의 판단은 특정 기기인 HMD 기기(100) 및 PUN 네트워크 장치(300)가 연동하여 수집 및 판단할 수도 있다.
한편, non-HMD 기기의 프로세서(220)는 PUN 네트워크 장치(300)로부터 수신된 정보에 기초하여, 어플리케이션 프로그램에 의해 표시되는 가상 환경이 구현된 화면에 1인칭 시야, 3인칭 시야, 공유 시야 중 적어도 하나를 표시하도록 제어할 수 있다.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능뿐만 아니라 각각의 구성 요소들에 대한 설계 및 파라미터 최적화는 별도의 소프트웨어 모듈로도 구현될 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부(controller) 또는 프로세서(processor)에 의해 실행될 수 있다.
10 : 제1 센서 기기
20 : 제2 센서 기기
100 : HMD 기기
200 : non-HMD 기기
300 : PUN 네트워크 장치

Claims (9)

  1. VR(Virtual Reality) 시스템에 있어서,
    제1 사용자에 의해 착용되어 상기 제1 사용자의 회전 정보를 측정하고, 상기 제1 사용자의 회전 정보에 기초하여 가상 공간 상에서 상기 제1 사용자의 시야를 결정하는 HMD(Head Mounted Display) 기기;
    제2 사용자에 의해 소지되어 상기 제2 사용자의 회전 정보를 측정하고, 상기 제2 사용자의 회전 정보에 기초하여 상기 가상 공간 상에서 상기 제2 사용자의 시야를 결정하는 non-HMD 기기; 및
    상기 non-HMD 기기로부터 상기 제2 사용자의 시야에 대한 정보를 수신하고, 상기 제2 사용자의 시야에 대한 정보를 상기 HMD 기기로 송신하는 컴퓨팅 장치를 포함하는 VR 시스템.
  2. 제1항에 있어서,
    상기 컴퓨팅 장치는 PUN(Photon Unity Networking) 네트워크 장치이고,
    상기 HMD 기기는,
    상기 PUN 네트워크 장치로부서 상기 제2 사용자의 시야에 대한 정보를 수신하는 통신부; 및
    상기 제2 사용자의 시야에 대한 정보에 기초하여 상기 제2 사용자의 시야를 결정하고 PUN 프로토콜에 따라 가상 환경에서 시야를 공유하는 어플리케이션 프로그램을 제어하도록 구성된 프로세서를 포함하는,
    VR 시스템.
  3. 제2항에 있어서,
    상기 제2 사용자의 시야에 대한 정보는 상기 non-HMD 기기의 3축 회전 정보인,
    VR 시스템.
  4. 제3항에 있어서,
    상기 HMD 기기의 상기 프로세서는,
    상기 제1 사용자의 결정된 시야에 따라 상기 어플리케이션 프로그램에 의해 표시되는 제1 가상 화면과 상기 제2 사용자의 결정된 시야에 따라 상기 어플리케이션 프로그램에 의해 표시되는 제2 가상 화면을 디스플레이하는,
    VR 시스템.
  5. 제3항에 있어서,
    상기 HMD 기기의 상기 프로세서는,
    상기 제1 사용자의 결정된 시야에 따라 상기 어플리케이션 프로그램에 의해 표시되는 제1 가상 화면과
    상기 어플리케이션 프로그램에 의해 제공되는 가상 공간의 평면으로써, 상기 제1 사용자의 위치와 상기 제2 사용자의 위치가 표시된 상기 가상 공간의 평면인 제3 가상 화면을 디스플레이하는,
    VR 시스템.
  6. 사용자에 의해 착용되는 HMD 기기에 있어서,
    상기 사용자의 회전 정보를 측정하는 자이로 센서;
    PUN 네트워크 장치로부터 제2 사용자의 시야에 대한 정보를 수신하는 통신부; 및
    상기 사용자의 회전 정보에 기초하여 가상 공간 상에서의 상기 사용자의 시야를 결정하고, 상기 제2 사용자의 시야에 대한 정보에 기초하여 상기 가상 공간 상에서의 상기 제2 사용자의 시야를 결정하는 프로세서를 포함하는 HMD 기기.
  7. 제6항에 있어서,
    상기 제2 사용자의 시야에 대한 정보는 상기 제2 사용자가 소지하는 non-HMD 기기의 3축 회전 정보인, HMD 기기.
  8. 제6항에 있어서,
    상기 HMD 기기의 상기 프로세서는,
    상기 사용자의 결정된 시야에 따라 가상 환경을 제공하는 어플리케이션 프로그램에 의해 표시되는 제1 가상화면과 상기 제2 사용자의 결정된 시야에 따라 상기 어플리케이션 프로그램에 의해 표시되는 제2 가상 화면을 디스플레이하는,
    HMD 기기.
  9. 제6항에 있어서,
    상기 HMD 기기의 상기 프로세서는,
    상기 사용자의 결정된 시야에 따라 가상 환경을 제공하는 어플리케이션 프로그램에 의해 표시되는 제1 가상 화면과
    상기 어플리케이션 프로그램에 의해 제공되는 가상 공간의 평면으로써, 상기 사용자의 위치와 상기 제2 사용자의 위치가 표시된 상기 가상 공간의 평면인 제3 가상 화면을 디스플레이하는,
    HMD 기기.
KR1020210107550A 2020-08-14 2021-08-13 가상 환경에서 사용자의 시야를 제어하고 경험을 실시간 공유하는 vr 시스템 Ceased KR20220021886A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200102515 2020-08-14
KR20200102515 2020-08-14

Publications (1)

Publication Number Publication Date
KR20220021886A true KR20220021886A (ko) 2022-02-22

Family

ID=80493935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210107550A Ceased KR20220021886A (ko) 2020-08-14 2021-08-13 가상 환경에서 사용자의 시야를 제어하고 경험을 실시간 공유하는 vr 시스템

Country Status (1)

Country Link
KR (1) KR20220021886A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102616084B1 (ko) * 2022-08-22 2023-12-20 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101910516B1 (ko) 2018-04-18 2018-10-22 (주)브로틴 Non hmd 기반의 3차원 vr 컨텐츠 제공 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101910516B1 (ko) 2018-04-18 2018-10-22 (주)브로틴 Non hmd 기반의 3차원 vr 컨텐츠 제공 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102616084B1 (ko) * 2022-08-22 2023-12-20 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치
WO2024043512A1 (ko) * 2022-08-22 2024-02-29 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치

Similar Documents

Publication Publication Date Title
US10109113B2 (en) Pattern and method of virtual reality system based on mobile devices
EP3223116B1 (en) Multiplatform based experience generation
Wagner et al. Towards massively multi-user augmented reality on handheld devices
US20240013502A1 (en) Storage medium, method, and information processing apparatus
WO2019216249A1 (ja) 所定のコンテンツを有する仮想空間を提供する方法
CN103197757A (zh) 一种沉浸式虚拟现实系统及其实现方法
KR102684302B1 (ko) 가상 현실 (vr) 디바이스에 의해 디스플레이되는 가상 컨텐트를 네비게이트하는 방법 및 장치
CN107407965A (zh) 连接至移动计算设备的虚拟现实头戴设备
EP2466440B1 (en) Display control program, display control apparatus, display control system, and display control method
CN107533230A (zh) 头戴式显示器用追踪系统
WO2021261346A1 (ja) 情報処理装置、方法、プログラム及び情報処理システム
JP2018106499A (ja) 仮想空間における画像の表示を制御するためにコンピュータによって実行される方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
JP7424121B2 (ja) 情報処理装置及びプログラム
WO2024254015A1 (en) Systems and methods for managing display of participants in real-time communication sessions
JP6779715B2 (ja) 情報処理システム
KR20220021886A (ko) 가상 환경에서 사용자의 시야를 제어하고 경험을 실시간 공유하는 vr 시스템
CN114053693B (zh) 虚拟场景中的对象控制方法、装置及终端设备
JP2018170013A (ja) 仮想空間における画像の表示を制御するためにコンピュータによって実行される方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
CN117666852A (zh) 虚拟现实空间中的目标对象确定方法、装置、设备及介质
JP6941715B2 (ja) 表示装置、表示プログラム、表示方法及び表示システム
TW201335887A (zh) 虛擬實境互動系統及方法
JP2018029969A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6744271B2 (ja) 表示装置、表示プログラム、表示方法及び表示システム
JP2024047008A (ja) 情報処理システム
JP2024047006A (ja) 情報処理システムおよびプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210813

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20221229

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20230726

Patent event code: PE09021S02D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20231229

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20230726

Comment text: Final Notice of Reason for Refusal

Patent event code: PE06011S02I

Patent event date: 20221229

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I