[go: up one dir, main page]

KR102077108B1 - 콘텐츠 체험 서비스 제공 장치 및 그 방법 - Google Patents

콘텐츠 체험 서비스 제공 장치 및 그 방법 Download PDF

Info

Publication number
KR102077108B1
KR102077108B1 KR1020130110421A KR20130110421A KR102077108B1 KR 102077108 B1 KR102077108 B1 KR 102077108B1 KR 1020130110421 A KR1020130110421 A KR 1020130110421A KR 20130110421 A KR20130110421 A KR 20130110421A KR 102077108 B1 KR102077108 B1 KR 102077108B1
Authority
KR
South Korea
Prior art keywords
image
motion information
camera
virtual space
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130110421A
Other languages
English (en)
Other versions
KR20150030993A (ko
Inventor
최윤석
정순철
최진성
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130110421A priority Critical patent/KR102077108B1/ko
Priority to US14/449,036 priority patent/US9236032B2/en
Publication of KR20150030993A publication Critical patent/KR20150030993A/ko
Application granted granted Critical
Publication of KR102077108B1 publication Critical patent/KR102077108B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 실제 공간에서의 체험자의 모션을 추적하고, 이를 가상 공간에 투영함으로써, 가상 공간과 체험자간의 즉각적인 상호작용을 시뮬레이션하고, 시뮬레이션한 결과에 대응하는 영상을 체험자를 위한 1인칭 몰입 영상과 관객을 위한 3인칭 관람 영상의 다중 영상 출력을 제공하여, 체험자와 관객들에게 몰입감이 높은 콘텐츠 체험 서비스를 제공하는 장치 및 그 방법에 관한 것이다.

Description

콘텐츠 체험 서비스 제공 장치 및 그 방법{APPARATUS AND METHOD FOR PROVIDING CONTENTS EXPERIENCE SERVICE}
본 발명은 콘텐츠 체험 서비스 제공 장치 및 그 방법에 관한 것으로, 특히 실제 공간에서의 체험자의 모션을 추적하고, 이를 가상 공간에 투영함으로써, 가상 공간과 체험자간의 즉각적인 상호작용을 시뮬레이션하고, 시뮬레이션한 결과에 대응하는 영상을 체험자를 위한 1인칭 몰입 영상과 관객을 위한 3인칭 관람 영상의 다중 영상 출력을 제공하여, 체험자와 관객들에게 몰입감이 높은 콘텐츠 체험 서비스를 제공하는 장치 및 그 방법에 관한 것이다.
컴퓨터 그래픽스 산업은 1980년대에 접어들면서 컴퓨터 하드웨어의 급격한 발달에 힘입어 게임이나 방송 등의 오락 분야에 본격적으로 활용되기 시작하였다. 2차원 이미지 위주와 흑백 위주로 표현되던 영상은 그래픽 전용 카드라는 영상 생성 전용 하드웨어의 비약적인 발전에 힘입어 3차원 그래픽과 칼라 표현으로 확대되기 시작하였다. 특히, 3차원 그래픽 분야에서 영상 품질의 개선은 놀라울 정도여서 1993년 세가에서 "버추얼 파이터"라는 최초의 3차원 격투 액션 게임 발표하였다. 사실 현재의 그래픽 수준에서 보면 아주 저수준 평면으로 구성된 캐릭터였지만, 단순한 2D평면과 고정된 시점에서의 장면 제공에서 벗어나 사용자가 실제로 게임에 참여한 듯한 자유로운 시점의 설정과 현실성 있는 타격감은 비싼 이용 요금에도 엄청 인기를 끌었다. 고성능 하드웨어의 발표와 더불어 이를 활용한 게임 시리즈들은 더욱더 사람과 가까운 형태의 캐릭터인 디지털 액터로 발전하게 되었다. 특히, 비싼 워크스테이션 정도에서 지원되었던 3차원 그래픽 전용 하드웨어 가속 기능이 개인용 컴퓨터에서도 사용하도록 저렴해지면서 고가의 하드웨어로만 즐길 수 있었던 3차원 가상 공간 기반의 콘텐츠들이 더욱 더 보급되었다.
이때까지는 3차원 가상 공간으로의 인터페이스는 주로 조이스틱을 위주로 하였다. 게임의 종류와는 상관없이 방향 스틱과 여러 개의 버튼의 조합으로 이루어진 조이스틱은 명령을 입력하기는 편하였지만, 가상 공간과의 연관성이 거의 없는 인터페이스이기에 몰입감을 기대하기 힘들었다. 물론, 레이싱 게임 기반의 가상 공간에서는 가속 패들이나 브레이크 패들, 운전 휠 등의 자동차의 운전 제어 환경을 재현한 인터페이스를 선보였지만, 특정 가상 공간에 한정되었다.
1990년대 후반부터는 단순히 눈과 손으로 경험하던 가상 공간 기반 콘텐츠들은 신체를 활용하는 인터페이스로 진화되었다. 음악에 맞추어서 춤을 추면서 바닥에 표시된 센서를 누르도록 하는 인터페이스를 접목한 게임은 순식간에 엄청난 인기를 끌게 되었으며 닌텐도 사에서 발표한 Wii(위)는 Wii 리모컨이라 불리는 리모콘 형태의 컨트롤 인터페이스를 제공하였는데 단순한 형태의 조이스틱에서 벗어나 실제 체험자의 모션을 통해서 가상 환경을 제어하게 함으로써 수 많은 사람들에게 인기를 받게 되었다. Wii 리모컨으로 인한 닌텐도 Wii의 인기에 대항하고자 인기를 MS사는 자사의 가정용 게임기인 XBox에 사용이 가능한 "키넥트"를 발표하였다. 키넥트는 기존의 인터페이스와는 달리 사용자가 조이스틱이나 리모컨과 같은 하드웨어 없이 체험자의 제스처를 기반으로 게임을 진행하게 되었다.
가상 공간 기반 콘텐츠들은 예를 들어, 한국공개특허 제10-2012-0044461호 "융합 현실을 이용한 가상 훈련 장치 및 방법"과 같이, 사용자의 시야에 들어오는 객체를 갭쳐하여 실제 영상을 생성하고, 이에 따른 가상 영상을 생성하여, 실제 영상과 가상 영상을 융합하여, 이를 토대로 가상 훈련을 수행하는 즉, 실제 사용자의 특정 훈련에 활용하는 인테페이스로 진화되었다.
또한, 얇고 작으면서도 고해상도의 영상을 출력하는 디스플레이 기술의 발달에 힘입어 몰입형 디스플레이(HMD) 장치도 많은 상품이 시장에 소개되기 시작하였다. 이러한 하드웨어의 발달은 보다 체험자에게 몰입감이 높은 가상 공간을 구현할 수 있는 좋은 도구를 제공하고 있으며, 이와 더불어 사용자의 몰입감을 높인 콘텐츠 기반 체험 서비스를 구현한 방법이 필요하다.
본 발명의 목적은 실제 공간에서의 체험자의 모션을 추적하고, 이를 가상 공간에 투영함으로써, 가상 공간과 체험자간의 즉각적인 상호작용을 시뮬레이션하고, 시뮬레이션한 결과에 대응하는 영상을 체험자를 위한 1인칭 몰입 영상과 관객을 위한 3인칭 관람 영상의 다중 영상 출력을 제공하여, 체험자와 관객들에게 몰입감이 높은 콘텐츠 체험 서비스를 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 콘텐츠 체험 서비스 제공 방법은
스튜디오 공간에 위치하는 몰입 영상 카메라 장치와 관람뷰 카메라 장치의 위치와 방향을 추적한 결과에 해당하는 카메라 모션 정보와, 체험자의 위치와 방향에 해당하는 체험자의 모션 정보를 수집하는 단계; 상기 체험자를 포함하는 공간을 촬영하고, 촬영한 결과에 해당하는 실사 영상을 배경 키 테이블을 이용하여 전경과 배경으로 분리하는 단계; 상기 전경과 배경을 기반으로 상기 카메라 모션 정보와 상기 체험자의 모션 정보를 보정하는 단계; 보정한 카메라 모션 정보와 체험자의 모션 정보를 토대로 가상 공간 제어 정보와 가상 공간 정보를 생성하는 단계; 및 상기 가상 공간 제어 정보와 상기 가상 공간 정보를 토대로 다중 가상 영상을 생성하고, 생성한 다중 가상 영상을 토대로 콘텐츠 체험 서비스를 제공하는 단계를 포함한다.
이 때, 상기 콘텐츠 체험 서비스를 제공하는 단계는 상기 체험자가 착용하는 상기 몰입 영상 카메라 장치에 제공하는 1인칭 시점의 몰입 영상을 생성하는 단계; 및 상기 체험자가 아닌 관람자에 해당하는 관람용 영상 장치에 출력하는 관람자 시점 영상을 생성하는 단계를 포함한다.
이 때, 상기 수집하는 단계는 상기 스튜디오 공간 내에서의 마커 기반 추적 시스템을 이용하여 상기 카메라 모션 정보와 체험자의 모션 정보를 수집하는 것을 특징으로 한다.
이 때, 상기 전경과 배경으로 분리하는 단계는 상기 체험자의 몰입 환경을 관람객들에게 제공하기 위하여 상기 체험자의 실사 영상을 촬영하는 단계; 상기 실사 영상을 상기 콘텐츠 체험 서비스의 영상에 활용할 관심 영역에 해당하는 전경과 그렇지 않은 배경으로 분리하기 위해 배경으로 분리할 실사 영상의 특징을 설정하는 단계; 및 상기 관람뷰 카메라 장치가 영상을 촬영하며 이동하는 경우에, 상기 관람뷰 카메라 장치의 위치와 방향을 상기 배경 키 테이블과 비교하여, 최종 배경 키 값을 결정하는 단계를 포함한다.
이 때, 상기 생성하는 단계는 상기 카메라 모션 정보와 체험자의 모션 정보를 기반으로 가상 공간을 구성하는 상기 가상 공간 제어 정보를 생성하는 단계; 상기 가상 공간에서 카메라의 역할을 수행하는 카메라의 속성을 제어하는 단계; 상기 가상 공간 내에서 상기 체험자의 모습을 대신하는 3차원 모델에 해당하는 아바타의 모션을 제어하는 단계; 및 상기 체험자의 모션 정보를 토대로 특정 제스처를 인식하고, 인식한 결과를 토대로 상기 가상 공간을 구성하는 객체를 제어하는 단계를 포함한다.
또한, 본 발명의 일실시예에 따른 콘텐츠 체험 서비스 제공 장치는
스튜디오 공간에 위치하는 몰입 영상 카메라 장치와 관람뷰 카메라 장치의 위치와 방향을 추적한 결과에 해당하는 카메라 모션 정보를 수집하는 카메라 장치 추적부; 체험자의 위치와 방향에 해당하는 체험자의 모션 정보를 수집하는 사용자 행동 추적부; 상기 체험자를 포함하는 공간을 촬영하고, 촬영한 결과에 해당하는 실사 영상을 배경 키 테이블을 이용하여 전경과 배경으로 분리하는 실사 영상 취득부; 상기 전경과 배경을 기반으로 상기 카메라 모션 정보와 상기 체험자의 모션 정보를 보정하는 모션 정보 처리부; 및 보정한 카메라 모션 정보와 체험자의 모션 정보를 토대로 가상 공간 제어 정보와 가상 공간 정보를 생성하는 가상 공간 제어부; 및 상기 가상 공간 제어 정보와 상기 가상 공간 정보를 토대로 다중 가상 영상을 생성하고, 생성한 다중 가상 영상을 토대로 콘텐츠 체험 서비스를 제공하는 다중 가상 영상 생성부를 포함한다.
이 때, 상기 카메라 장치 추적부는 상기 스튜디오 공간 내에서의 마커 기반추적 시스템을 이용하여 상기 몰입 영상 카메라 장치와 관람뷰 카메라 장치의 위치와 방향을 추적하는 카메라 장치 모션 추적부; 상기 카메라 장치 모션 추적부가 추적한 결과에 해당하는 상기 카메라 모션 정보를 네트워크를 통해 영상 서버로 전달하는 카메라 장치 모션 정보 전송부; 및 상기 카메라 모션 정보를 카메라 별 식별자 단위로 관리하는 카메라 장치 모션 정보 관리부를 포함한다.
이 때, 상기 사용자 행동 추적부는 상기 체험자의 모션 정보를 수집하는 사용자 모션 수집부; 상기 체험자의 모션 정보를 네트워크를 통해 영상 서버로 전달하는 사용자 모션 전송부; 및 상기 체험자에 장착되어 있는 각 마커에 따른 역할에 따라서 상기 체험자의 모션 정보를 관리하는 사용자 모션 관리부를 포함한다.
이 때, 상기 실사 영상 취득부는 영상 기기를 활용하여 상기 실사 영상을 촬영하는 실사 영상 촬영부; 상기 실사 영상을 상기 전경과 배경으로 분리할 실사 영상의 특징을 설정하는 영상 배경 설정부; 상기 관람뷰 카메라 장치가 영상을 촬영하며 이동하는 경우에, 상기 관람뷰 카메라 장치의 위치와 방향을 상기 배경 키 테이블과 비교하여, 최종 배경 키 값을 결정하는 전경 영상 관리부를 포함한다.
이 때, 상기 가상 공간 제어부는 상기 카메라 모션 정보와 체험자의 모션 정보를 기반으로 가상 공간을 구성하는 상기 가상 공간 제어 정보를 생성하는 가상 공간 제어 데이터 생성부; 상기 가상 공간에서 카메라의 역할을 수행하는 카메라의 속성을 제어하는 카메라 속성 제어부; 상기 가상 공간 내에서 상기 체험자의 모습을 대신하는 3차원 모델에 해당하는 아바타의 모션을 제어하는 아바타 모션 제어부; 상기 체험자의 모션 정보를 토대로 특정 제스처를 인식하는 체험자 제스처 인식부; 및 상기 체험자 제스처 인식부에서 인식한 결과를 토대로 상기 가상 공간을 구성하는 객체를 제어하는 가상 공간 상호작용 제어부를 포함한다.
이 때, 상기 다중 가상 영상 생성부는 상기 실사 영상에서 상기 사용자를 관심 영역으로 지정한 경우, 체험 사용자 이미지와 가상 공간 영상을 겹칠 때 설정에 따라 실사 영상의 깊이 위치를 조절하는 관람 장면 생성부를 포함하는 것을 특징으로 한다.
본 발명은 체험자의 실제 공간에서의 행동이 그대로 가상 공간에 재현되어 체험자가 가상 공간을 실제 공간처럼 느낄 수 있는 1인칭 시점의 가상 콘텐츠 체험 서비스를 제공하며, 관객들에게는 체험 사용자가 경험하는 가상 공간을 스포츠 경기를 관람하는 듯한 3인칭 시점의 관람자 영상을 제공하는 다중 영상 기능을 제공한다. 또한, 체험자에게는 서비스 종료 후 경험한 가상 영상을 제공하는데 이는 체험자의 선택에 따라 1인칭 체험자 시점의 영상이나 3인칭 관람자 시점에서 체험자를 포함하는 영상의 형태로 제공되며 이를 통해 체험자는 서비스 체험 당시의 경험을 다시 재생해 볼 수 있다. 실제 공간에서 사용자와 체험자의 모션을 하나의 가상 공간으로 투영하고 가상 공간과의 상호 작용을 시뮬레이션하는 방법과 도구를 제공함으로써 날로 관심이 높아 가는 모션 기반 실감 및 체험형 게임이나 특수 효과 영화 제작 등에 널리 쓰이는 실시간 사전시각화 작업을 기반으로 한 디지털 영상 콘텐츠 제작에 응용할 수 있다. 이는 카메라나 배우 모션 설정을 영상 촬영 당시에 사전에 결정함으로써 실제 촬영지에서 카메라 구도 설정, 배우의 액션, 3D특수 효과 등의 작업에 대한 반복 작업을 줄이고 감독의 의도나 창의력을 충분히 반영할 수 있는 효과적인 시스템 구축이 가능 할 것이다.
도 1은 본 발명의 실시예에 따른 콘텐츠 체험 서비스 제공 장치가 적용되는환경을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 콘텐츠 체험 서비스 제공 장치를 개략적으로 나타내는 구성도이다.
도 3은 본 발명의 실시예에 따른 체험자의 신체에 부착한 마커의 배치를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 배경 키 테이블 기반의 전배경 분리를 위한 키 베이스 영역을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 배경 키 테이블에 적용하는 카메라 방향 공간과 방향을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 배경 키 테이블을 나타내는 도면이다.
도 7a 내지 도 7c는 본 발명의 실시예에 따른 마커를 기반으로 아바타의 골격 정보를 계산하기 위한 대응 마커를 나타내는 도면이다.
도 8a 내지 도 8d는 본 발명의 실시예에 따른 체험자 모션 분석에 따른 깊이 추정을 기반으로 한 실사와 가상 공간의 합성 개념을 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 콘텐츠 체험 서비스를 제공하는 방법을 나타내는 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예 따른 콘텐츠 체험 서비스 제공 장치 및 그 방법에 대하여 첨부한 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 콘텐츠 체험 서비스 제공 장치가 적용되는환경을 나타내는 도면이다.
먼저, 체험자는 몰입 영상 카메라 장치(10)을 착용하고, 스튜디오 공간(10)으로 입장한다.
도 1을 참고하면, 스튜디오 공간(10)에는 두 개의 카메라 장치가 설치된다. 여기서, 두 개의 카메라 장치는 체험자에게 1인칭 시점 장면을 제공하는 몰입 영상 카메라 장치(11)와 관람자 시점의 영상을 생성하는 관람뷰 카메라 장치(12)를 포함한다.
스튜디오 공간(10)에서 체험자는 모션 추적 마커가 부착되어 있는 몰입 영상 카메라 장치(11)를 머리에 장착하고, 이를 토대로 가상 공간 장면을 감상하게 된다.
모션 추적 장치(20)는 몰입 영상 카메라 장치(11)와 관람뷰 카메라 장치(12)에 장착된 마커를 기반으로, 체험자 시점의 위치와 방향, 관람자 시점의 위치와 방향을 추적한다. 또한, 모션 추적 장치(20)는 체험자의 신체에 마커를 부착하여 체험자의 모션 정보를 수집하거나, 비마커 기반의 모션 센서를 이용하여 모션 정보를 수집하고, 수집한 모션 정보를 영상 서버(40)로 전송한다.
영상 서버(40)에 전송된 모션 정보를 기반으로 가상 공간을 구성하는 카메라들의 속성을 설정하고, 영상을 생성한다. 다시 말하면, 체험자가 몰입 영상 카메라 장치(11)를 착용하고 행동하는 경우에는 몰입 영상 카메라 장치(11)의 모션 정보를 실시간으로 가상 공간에 투영함으로써, 체험자가 마치 실제 공간에서 움직이는 듯한 몰입 영상을 느낄 수 있다. 여기서, 몰입 영상 카메라 장치(11)는 무선 영상 전송 장치와 휴대용 전원 장치를 결합하여, 체험자가 스튜디오 공간(10)에서 자유롭게 움직일 수 있도록 한다.
관람뷰 카메라 장치(12)에는 몰입 영상 카메라 장치(11)와 마찬가지로 모션 추적을 위한 모션 추적 마커가 장착되어 있다. 관람뷰 카메라 장치(12)는 스튜디오 공간(10)에 체험자를 촬영하고, 촬영한 영상 즉, 실사 영상을 실사 취득 서버(30)로 전송한다.
실사 취득 서버(30)는 전달받은 실사 영상을 체험자와 배경으로 분리하고, 분리한 결과를 영상 서버(40)로 전달한다.
영상 서버(40)는 실사 취득 서버(30)로부터 전달받은 실사 영상에 해당하는 정보 즉, 실사 영상 정보와 모션 추적 장치(20)에서 계산한 관람뷰 카메라 장치(12)의 모션 정보를 결합하여 3인칭 관람뷰 영상을 생성하고, 이를 관람뷰 영상 장치(50)로 전달한다. 이로써, 콘텐츠 체험 서비스에 참여하지 않은 일반 관람자들도 체험자가 경험하는 가상 콘텐츠를 같이 체험할 수 있도록 영상을 제공할 수 있다.
다음, 실제 공간에서의 체험자의 모션을 추적하고, 이를 가상 공간에 투영함으로써, 가상 공간과 체험자간의 즉각적인 상호작용을 시뮬레이션하고, 시뮬레이션한 결과에 대응하는 영상을 체험자를 위한 1인칭 몰입 영상과 관객을 위한 3인칭 관람 영상의 다중 영상 출력을 제공하여, 체험자와 관객들에게 몰입감이 높은 콘텐츠 체험 서비스를 제공하는 콘텐츠 체험 서비스 제공 장치를 도 2를 참조하여 상세하게 설명한다.
도 2는 본 발명의 실시예에 따른 콘텐츠 체험 서비스 제공 장치를 개략적으로 나타내는 구성도이다.
도 2를 참고하면, 콘텐츠 체험 서비스 제공 장치(200)는 카메라 장치 추적부(210), 사용자 행동 추적부(220), 실사 영상 취득부(230), 모션 정보 처리부(240), 가상 공간 제어부(250), 다중 가상 영상 생성부(260) 및 데이터 호환성 지원부(270)를 포함한다.
카메라 장치 추적부(210)는 스튜디오 공간(10)에서 마커를 장착한 카메라 즉, 몰입 영상 카메라 장치(11)와 관람뷰 카메라 장치(12)의 움직임을 추적한다.
이를 위하여, 카메라 장치 추적부(210)는 카메라 장치 모션 추적부(211), 카메라 장치 모션 정보 전송부(212) 및 카메라 장치 모션 정보 관리부(213)를 포함한다.
카메라 장치 모션 추적부(211)는 스튜디오 공간(10) 내에서의 마커 기반 추적 시스템을 이용하여, 몰입 영상 카메라 장치(11)와 관람뷰 카메라 장치(12)의 위치와 방향을 자동으로 추적한다. 이때, 몰입 영상 카메라 장치(11)와 관람뷰 카메라 장치(12)의 위치와 방향을 추적한 결과는 카메라 모션 정보이다.
카메라 장치 모션 정보 전송부(212)는 카메라 장치 모션 추적부(211)에서 추적한 결과에 해당하는 카메라 모션 정보를 네트워크를 통해 영상 서버(40) 내에서 운영되는 카메라 장치 모션 정보 관리부(213)로 전달한다.
카메라 장치 모션 정보 관리부(213)는 각각의 카메라에 고유의 식별자를 할당하고, 모션 식별자 단위로 카메라 모션 정보를 관리한다.
사용자 행동 추적부(220)는 체험자 즉, 사용자의 모션 정보를 추적한다. 이러한 사용자 행동 추적부(220)는 서비스 특성상 체험자에게 많은 수의 마커를 장착하기 어렵기 때문에 최소한의 마커를 장착하여 체험자의 모션을 추적하거나, 키넥트와 같이 마커를 사용하지 않는 모션 추적 시스템을 이용하여 체험자의 모션 정보를 추적한다.
여기서, 마커 추적 시스템과 비마커 추적 시스템을 활용하는 방법의 차이에는 스튜디오 공간(10)의 환경적 요인(색상, 밝기, 크기 등)이나 서비스 구성상의 형태에 따라 가장 적합한 방법을 사용하게 된다.
사용자 행동 추적부(220)는 사용자 모션 수집부(221), 사용자 모션 전송부(222) 및 사용자 모션 관리부(223)를 포함한다.
사용자 모션 수집부(221)는 체험자의 위치와 방향에 해당하는 체험자의 모션 정보를 수집한다.
사용자 모션 전송부(222)는 사용자 모션 수집부(221)에서 수집한 결과에 해당하는 체험자의 모션 정보를 네트워크를 통해 영상 서버(40) 내에서 운영되는 사용자 모션 관리부(223)로 전달한다.
사용자 모션 관리부(223)는 체험자에게 장착되어 있는 각 마커에 따른 역할에 따라서 체험자 모션 정보를 관리한다. 도 3을 참고하면, 본 발명의 실시예에 따른, 사용자 행동 추적부(220)는 체험자의 신체 중 양손, 양옆구리, 양발에 장착되어 있는 총 6개의 마커를 통해 체험자의 위치와 방향을 수집할 수 있다.
체험자의 양손에 장착되어 있는 마커 즉, 양손 마커(310)의 모션 정보는 가상 공간에서의 손 제스처를 이용한 상호작용을 정의하기 위한 정보로 활용될 수 있다.
체험자의 양옆구리에 장착되어 있는 마커 즉, 양옆구리 마커(320)의 모션 정보는 체험자의 방향 정보를 제어하기 위한 정보로 활용될 수 있다.
체험자의 양발에 장착되어 있는 마커 즉, 양발 마커(330)의 모션 정보는 체험자의 위치 정보를 제어하기 위한 정보로 활용될 수 있다.
실사 영상 취득부(230)는 콘텐츠 체험 서비스에 참가하는 체험자를 포함하는 공간을 촬영하고, 촬영한 결과에 해당하는 실사 영상을 콘텐츠 체험 서비스의 영상에 활용할 관심 영역에 해당하는 전경과 그렇지 않은 배경으로 분리한다.
이를 위하여, 실사 영상 취득부(230)는 실사 영상 촬영부(231), 영상 배경 설정부(232) 및 전경 영상 관리부(233)를 포함한다.
실사 영상 촬영부(231)는 콘텐츠 체험 서비스에 참가하는 체험자의 몰입 환경을 관람객들에게 제공하기 위하여 체험자의 실사 영상을 촬영한다.
구체적으로, 실사 영상 촬영부(231)는 USB(universal serial bus) 캠부터 고품질 방송용 카메라까지 다양한 형태의 영상 기기를 활용할 수 있으며, 1080p나 2K 영상의 고해상도까지 적용이 가능하다. 실사 영상 촬영부(231)에서 촬영된 영상은 각 촬영 프레임 단위로 분리되어 영상 정보 및 카메라 동기 신호로 관리될 수 있다.
영상 배경 설정부(232)는 실사 영상 촬영부(231)에서 촬영된 실사 영상을 콘텐츠 체험 서비스의 영상에 활용할 관심 영역에 해당하는 전경과 그렇지 않은 배경으로 분리하기 위해 배경으로 분리할 실사 영상의 특징을 설정한다.
기본적으로, 실사 영상을 전경과 배경으로 분리하기 위해 배경으로 분리할 실사 영상의 특징을 설정하는 작업의 수행 난이도를 낮추기 위하여, 스튜디오 공간(10)은 하나의 단일 색상으로 칠한 크로마키 스튜디오로 구축하고, 스튜디오 환경(예를 들어, 조명 위치, 카메라의 위치, 카메라 방향 등)에 따른 키 영역을 설정하여, 실사 영상에서 키의 영역에 해당하는 부분을 배경으로 설정한다. 이는 기존의 가상 스튜디오에서 많이 사용되는 방법이지만, 대게의 경우 영상 촬영 카메라의 위치가 고정이 되거나 방향이 특정 방향으로 고정된다. 만약, 촬영 카메라의 위치와 방향이 변하는 경우에는 조명의 방향, 그립자 효과 등에 의해 기존에 설정한 키 영역과 일치하지 않게되어 배경 분리의 품질이 떨어지게 된다.
본 발명의 실시예에 따른 콘텐츠 체험 서비스 제공 장치(200)에서는 체험자를 포함하는 관람뷰를 생성하기 위하여, 크로마키를 기반으로 하는 전경/배경 분리 방법을 적용하며, 이에 한정되지 않는다.
일반적으로, 크로마키 기반 배경 분리 방법은 카메라를 고정하기 때문에 배경이 변경되지 않아서 하나의 고유의 키 값을 사용하지 않고, 카메라의 위치와 방향에 따라 배경을 분리할 수 있는 키 테이블을 구축하고, 콘텐츠 체험 서비스 제공시에 카메라의 위치와 방향을 분석하여, 이에 가장 비슷한 테이블의 키 값을 읽어와 이를 키 값으로 사용한다.
도 4를 참고하면, 콘텐츠 체험 서비스 제공 장치(200)는 스튜디오 공간(10)의 바닥에서 관람뷰 카메라 장치(12)가 이동하는 영역을 키 베이스 영역(401)으로 정의한다. 키 베이스 영역(401)은 가로(M) X 세로(N) 개의 공간을 포함한다.
관람뷰 카메라 장치(12)는 키 베이스 영역(401)을 이동하면서 스튜디오 공간(10)의 배경 공간을 미리 촬영한 다음에, 해당 배경의 키 값을 계산한다. 키 베이스 영역(401)을 지정된 크기의 분할 영역(402) 단위로 분할하고, 각 분할 영역에 관람뷰 카메라 장치(12)를 위치하게 하여, 크로마키가 설치된 스튜디오 공간(10)의 배경을 향하게 하여 배경 키 값을 계산한다.
도 5를 참고하면, 미리 정의된 카메라 방향 공간(510)에 D 개 이상의 방향(520)을 설정하여, 방향마다 배경 키 값을 계산하여 테이블에 추가한다. 즉, 각 분할 영역(402)에는 D 개 이상의 방향에 따른 배경 키 값을 저장하게 된다.
본 발명의 실시예에 따른 모션 추적 장치(20)는 공간 설정 작업에서 사전에 배경 키 테이블을 도 6과 같이 생성하고, 관람뷰 카메라 장치(12)의 모션 정보에 따라 위치와 방향값을 계산하고, 이를 테이블에서 검색하여 가장 적합한 배경 키 값을 추출한다.
도 6을 참고하면, 배경 키 테이블은 모두 5개의 열로 구성된다. m은 키 베이스 영역(401)의 가로 분할값을 저장하고, n은 키 베이스 영역(401)의 세로 분할값을 저장한다. 방향은 카메라의 방향을 의미하는 것으로, 사원수(Quaternion)값으로 나타낼 수 있다. 관람뷰 카메라 장치(12)의 방향은 모션 추적 장치(20)가 관람뷰 카메라 장치(12)에 부착된 마커를 추적함으로써 구할 수 있다. 배경 키는 실제 배경의 키 값을 저장한다.
전경 영상 관리부(233)는 관람뷰 카메라 장치(12)가 영상을 촬영하며 이동하는 경우에, 모션 추적 장치(20)에서 계산한 관람뷰 카메라 장치(12)의 위치(
Figure 112013084043412-pat00001
)와 방향(
Figure 112013084043412-pat00002
)을 도 6과 같은 배경 키 테이블과 비교하여, 최종 배경 키 값을 결정한다.
구체적으로, 전경 영상 관리부(233)는 관람뷰 카메라 장치(12)의 위치(
Figure 112013084043412-pat00003
)를 분석하여 키 베이스 영역(401) 중에 어느 분할 영역에 해당하는지를 판단하고, 판단한 결과를 토대로 배경 키 테이블의 m과 n의 값을 결정한다. 다음, 전경 영상 관리부(233)는 모션 정보의 방향에 대응하는 방향을 찾아서 최종적으로 배경 키 값을 결정한다.
여기서, 모션 정보의 방향에 대응하는 방향이 정확히 일치하지 않은 경우에는 가장 근사한 방향을 다음 배경 키로 결정하거나, 가장 인접한 2개의 방향 값을 갖는 열을 찾아, 이 방향 값에 의한 배경키를 선형 보간하여 최종 배경 키(
Figure 112013084043412-pat00004
)로 결정한다. 다음, 최종 배경 키는 수학식 1과 같이 구할 수 있다.
[수학식 1]
Figure 112013084043412-pat00005
모션 정보 처리부(240)는 카메라 장치 추적부(210)에서 추적한 카메라 모션 정보와 사용자 행동 추적부(220)에서 추적한 체험자의 모션 정보를 최종 배경 키 값을 토대로 보정한다.
구체적으로, 모션 정보 처리부(240)는 카메라 장치 추적부(210)에서 추적한 카메라 모션 정보를 카메라 장치의 식별자 단위로 관리하고, 카메라 모션 정보에 대한 잡음 제거, 표본 단순화 등의 작업을 제공하는 카메라 모션 정보 처리부(241) 및 사용자 행동 추적부(220)에서 추적한 체험자의 모션 정보를 토대로 체험자의 위치와 방향을 계산하는 체험자 모션 정보 처리부(242)를 포함한다.
가상 공간 제어부(250)는 모션 정보 처리부(240)에서 처리한 카메라 모션 정보와 체험자의 모션 정보를 가상 공간에서 활용할 수 있는 형태로 가공하고, 이를 토대로 가상 장면 생성을 위한 정보 즉, 가상 공간 제어 정보와 가상 공간 정보를 생성한다.
이를 위하여, 가상 공간 제어부(250)는 가상 공간 제어 데이터 생성부(251), 카메라 속성 제어부(252), 아바타 모션 제어부(253), 체험자 제스처 인식부(254), 가상 공간 상호작용 제어부(255)를 포함한다.
가상 공간 제어 데이터 생성부(251)는 카메라 모션 정보와 체험자의 모션 정보를 기반으로 가상 공간을 구성하는 가상 공간 제어 정보를 생성한다.
구체적으로, 가상 공간 제어 데이터 생성부(251)는 카메라 모션 정보와 체험자의 모션 정보를 영상 장면에 사용할 수 있도록 변환한다.
본 발명의 실시예에 따른 체험자의 모션 추적을 위해서 사용되는 마커는 착탈이 용이하도록 적게 사용한다. 적은 수의 마커를 사용하기에 마커 정보를 분석하여 체험자의 움직임을 최대한 자세히 계산해야 한다. 가상 공간에서 체험자 아바타를 조절하기 위해서는 아바타의 골격 구조에 대응하는 값을 생성해야 하는데, 적은 수의 마커는 골격 구조를 일대일로 제어하기 어렵다.
가상 공간 제어 데이터 생성부(251)는 도 3의 6개의 마커와 체험자가 착용하는 몰입 영상 카메라 장치(11)의 마커 정보를 기반으로 아바타를 제어하기 위한 모션 정보를 산출하다. 도 7a 내지 도 7c는 마커를 기반으로 아바타의 골격 정보를 계산하기 위한 대응 마커를 나타내고 있다.
카메라 속성 제어부(252)는 가상 공간에서 카메라의 역할을 수행하는 카메라의 속성을 제어한다. 여기서, 카메라의 속성은 일반 영상 카메라와 입체 영상 카메라에 해당하는 2가지 영상 모드를 포함한다.
구체적으로, 카메라 속성 제어부(252)는 모션 정보 처리부(240)로부터 전달받은 카메라 모션 정보를 기반으로 사용자의 선택에 따라서 일반 영상을 생성하거나, 카메라 모션 정보를 이용하여 좌우 2개의 스테레오 카메라를 설정하여 입체 영상을 생성할 수 있다.
본 발명의 실시예에 따른 콘텐츠 체험 서비스 제공 장치는 체험자의 몰입감을 증가시키기 위하여 몰입 영상 카메라 장치(11)에는 입체 영상을 생성하고 적용하고, 관람자를 위한 영상을 일반 영상으로 제공한다.
아바타 모션 제어부(253)는 가상 공간 내에서 체험자 아바타의 모션 제어를 수행한다. 아바타는 가상 공간에서 체험자의 모습을 대신하는 3차원 모델로써, 체험자가 가상 공간에서 손을 휘젓거나 할 때 체험자의 시야에 손이나 발이 보이게 된다. 또한, 아바타 모션 제어부(253)는 관람뷰 영상에 체험자 대신에 아바타 모델을 화면에 삽입하여 화면에 출력하는 기능을 제공한다.
체험자 제스처 인식부(254)는 체험자의 모션 정보에서 양손 마커(310)와 양발 마커(330)의 모션 정보를 분석하고, 분석한 결과를 토대로 특정 제스처를 인식한다. 사용자의 모션은 어느 한가지 형태로 고정되는 것이 아니라, 콘텐츠의 내용에 따라 동적으로 변경할 수 있도록 등록 기반의 모션 제스처 인식을 포함한다. 설계자는 콘텐츠에서 제공하는 모션의 종류와 개수를 정의하고, 이를 사전에 등록한다. 즉, 체험자는 등록된 모션 제스처를 따라 함으로써, 가상 공간을 제어하게 된다.
가상 공간 상호작용 제어부(255)는 체험자 제스처 인식부(254)에서 인식한 제스처를 기반으로 가상 공간을 구성하는 객체를 제어한다. 가상 공간 상호작용 제어부(255)는 제스처를 기반으로 가상 공간을 구성하는 객체를 제어함으로써, 제스처에 반응하도록 하여 가상 공간과의 상호작용을 구현할 수 있다.
가상 공간 상호작용 제어부(255)는 기본적인 손의 움직임이나 발의 움직임을 기반으로 제스처를 인식하고, 인식한 제스처에 대응하게 가상 공간의 객체들이 움직이도록 설정한다. 제스처 인식에 필요한 정보는 체험자에게 부착한 마커의 모션 정보를 활용하거나, 키넥트와 같은 모션 추적 시스템을 이용하여 수행할 수 있다.
이와 같은 기술은 바닷속이나 우주 유영과 같은 공간을 구축하는데 유용하며, 실제 공간의 제약 없이 무한의 가상 공간을 구축하기 위한 제스처 조합 기능을 지원한다. 손과 발의 제스처를 조합함으로써 체험자의 공간 이동을 제어하는 기능으로 체험자를 와이어 같은 기구를 이용하여 공중에 띄운 후에 조합 제스처를 사용하여 체험자의 이동을 가능하게 한다. 또한, 추가적으로 체험자의 제스처뿐 아니라, 스키나 보드, 바이크 등의 센서를 장착한 기기를 이용하여 해당 기기를 활용한 가상 공간을 구축할 수 있으며, 보다 몰입감이 높이기 위해 바람, 열 등의 촉감을 느낄 수 있는 시스템으로 확장할 수 있다.
다중 가상 영상 생성부(260)는 가상 공간 제어 정보와 가상 공간 정보를 토대로 다중 가상 영상을 생성하고, 생성한 다중 가상 영상을 토대로 콘텐츠 체헙 서비스를 제공한다. 이를 위하여, 다중 가상 영상 생성부(260)는 몰입 영상 생성부(261), 관람 장면 생성부(262), 입체 장면 생성부(263) 및 체험 영상 제작부(264)를 포함한다.
몰입 영상 생성부(261)는 체험자가 착용하는 몰입 영상 카메라 장치(11)에 제공하는 1인칭 시점의 몰입 영상을 생성한다.
관람 장면 생성부(262)는 콘텐츠 체험 서비스를 직접 체험하는 체험자 이외에도 콘텐츠를 동시에 즐길 수 있도록 관람용 영상 장치(50)에 출력하는 관람자 시점 영상을 생성한다. 관람 장면 생성부(262)는 관람용 영상 장치(50)에서 취득한 실사 영상과 가상 공간의 장면을 결합하고, 결합한 결과를 스튜디오 공간(10)의 외부에 설치된 모니터나 빔프로젝트 등의 관람용 영상 장치(50)에 출력한다.
관람 장면 생성부(262)는 취득한 실사 영상에서 체험 사용자를 관심 영역으로 지정한 경우, 체험 사용자 이미지(도 8a에서의 701)와 가상 공간 영상을 겹칠 때 설정에 따라 실사 영상의 깊이 위치를 조절한다. 실사 영상을 배경으로 정한 경우에는 무조건 배경에 위치(도 8b에서의 702)하며, 전경으로 설정한 경우에는 사용자 행동 추적부(220)와 가상 공간 제어부(250)의 데이터를 기반으로 가상 공간 내의 위치를 결정하여 중간에 위치(도 8c에서의 703)하거나 전경에 위치(도 8d에서의 704)하여 영상을 생성한다
입체 장면 생성부(263)는 몰입 영상 생성부(261)와 관람 장면 생성부(262)에 사실감 극대화를 위한 입체 영상 생성 기능을 제공한다. 즉, 입체 장면 생성부(263)는 카메라 속성 제어부(252)에서 설정한 카메라의 위치값을 이용하여 좌안에 해당하는 영상과 우안에 해당하는 영상을 생성하고, 이를 몰입 영상 카메라 장치(11)와 관람뷰 영상 장치(50)에 출력한다.
체험 영상 제작부(264)는 관람뷰 카메라 장치(12)에서 취귿한 실사 영상을 이용하여 체험자를 포함하는 영상을 생성하고, 이를 동영상으로 저장한다. 체험자는 몰입 가상 공간 체험 후에도 자신이 경험한 가상 공간을 별도의 정보로 저장할 수 있도록 한다.
데이터 호환성 지원부(270)는 카메라 모션 정보와 사용자의 모션 정보를 마야나 맥스와 같은 3D 영상 생성 상용 프로그램이나, 취득한 실사 영상을 아도브 프리미어 같은 기존의 상용 영상 편집 프로그램에서 활용할 수 있도록 표준 형식에 기반한 정보 출력 기능을 지원함으로써, 다양한 활용을 위한 호환성을 지원할 수 있다.
다음, 콘텐츠 체험 서비스를 제공하는 방법을 도 9를 참조하여 상세하게 설명한다.
도 9는 본 발명의 실시예에 따른 콘텐츠 체험 서비스를 제공하는 방법을 나타내는 흐름도이다.
도 9를 참고하면, 콘텐츠 체험 서비스 제공 장치(200)는 몰입 영상 카메라 장치(11)와 관람뷰 카메라 장치(12)의 위치와 방향을 추적한 결과에 해당하는 카메라 모션 정보와, 체험자의 위치와 방향에 해당하는 체험자의 모션 정보를 수집한다(S100).
구체적으로, 콘텐츠 체험 서비스 제공 장치(200)는 스튜디오 공간(10)에서 마커를 장착한 카메라 즉, 몰입 영상 카메라 장치(11)와 관람뷰 카메라 장치(12)의 움직임을 추적한다.
콘텐츠 체험 서비스 제공 장치(200)는 서비스 특성상 체험자에게 많은 수의 마커를 장착하기 어렵기 때문에 최소한의 마커를 장착하여 체험자의 모션을 추적하거나, 키넥트와 같이 마커를 사용하지 않는 모션 추적 시스템을 이용하여 체험자의 모션 정보를 추적한다. 또한, 콘텐츠 체험 서비스 제공 장치(200)는 체험자에게 장착되어 있는 각 마커에 따른 역할에 따라서 체험자 모션 정보를 관리한다. 예를 들어, 체험자에게 장착되어 있는 마커는 체험자의 양손에 장착되어 있는 양손 마커(310), 체험자의 양옆구리에 장착되어 있는 양옆구리 마커(320) 및 체험자의 양발에 장착되어 있는 양발 마커(330)일 수 있으며, 이에 한정되지 않는다.
콘텐츠 체험 서비스 제공 장치(200)는 콘텐츠 체험 서비스에 참가하는 체험자를 포함하는 공간을 촬영하고, 촬영한 결과에 해당하는 실사 영상을 콘텐츠 체험 서비스의 영상에 활용할 관심 영역에 해당하는 전경과 그렇지 않은 배경으로 분리한다(S200).
구체적으로, 콘텐츠 체험 서비스 제공 장치(200)는 콘텐츠 체험 서비스에 참가하는 체험자의 몰입 환경을 관람객들에게 제공하기 위하여 체험자의 실사 영상을 촬영한다. 이때, USB(universal serial bus) 캠부터 고품질 방송용 카메라까지 다양한 형태의 영상 기기를 활용할 수 있다.
다음, 콘텐츠 체험 서비스 제공 장치(200)는 촬영된 실사 영상을 콘텐츠 체험 서비스의 영상에 활용할 관심 영역에 해당하는 전경과 그렇지 않은 배경으로 분리하기 위해 배경으로 분리할 실사 영상의 특징을 설정한다.
본 발명의 실시예에 따른 콘텐츠 체험 서비스 제공 장치(200)에서는 체험자를 포함하는 관람뷰를 생성하기 위하여, 크로마키를 기반으로 하는 전경/배경 분리 방법을 적용하며, 이에 한정되지 않는다.
콘텐츠 체험 서비스 제공 장치(200)는 스튜디오 공간(10)의 바닥에서 관람뷰 카메라 장치(12)가 이동하는 영역을 키 베이스 영역(401)으로 정의한다. 키 베이스 영역(401)은 가로(M) X 세로(N) 개의 공간을 포함한다.
관람뷰 카메라 장치(12)는 키 베이스 영역(401)을 이동하면서 스튜디오 공간(10)의 배경 공간을 미리 촬영한 다음에, 해당 배경의 키 값을 계산한다. 키 베이스 영역(401)을 지정된 크기의 분할 영역(402) 단위로 분할하고, 각 분할 영역에 관람뷰 카메라 장치(12)를 위치하게 하여, 크로마키가 설치된 스튜디오 공간(10)의 배경을 향하게 하여 배경 키 값을 계산한다.
도 5를 참고하면, 미리 정의된 카메라 방향 공간(510)에 D 개 이상의 방향(520)을 설정하여, 방향마다 배경 키 값을 계산하여 테이블에 추가한다. 즉, 각 분할 영역(402)에는 D 개 이상의 방향에 따른 배경 키 값을 저장하게 된다.
본 발명의 실시예에 따른 모션 추적 장치(20)는 공간 설정 작업에서 사전에 배경 키 테이블을 도 6과 같이 생성하고, 관람뷰 카메라 장치(12)의 모션 정보에 따라 위치와 방향값을 계산하고, 이를 테이블에서 검색하여 가장 적합한 배경 키 값을 추출한다.
콘텐츠 체험 서비스 제공 장치(200)는 관람뷰 카메라 장치(12)가 영상을 촬영하며 이동하는 경우에, 모션 추적 장치(20)에서 계산한 관람뷰 카메라 장치(12)의 위치(
Figure 112013084043412-pat00006
)와 방향(
Figure 112013084043412-pat00007
)을 도 6과 같은 배경 키 테이블과 비교하여, 최종 배경 키 값을 결정한다.
콘텐츠 체험 서비스 제공 장치(200)는 S100 단계에서 수집한 카메라 모션 정보와 체험자의 모션 정보를 최종 배경 키 값을 토대로 보정한다(S300).
S300 단계에서, 콘텐츠 체험 서비스 제공 장치(200)는 카메라 모션 정보를 카메라 장치의 식별자 단위로 관리하고, 카메라 모션 정보에 대한 잡음 제거, 표본 단순화 등의 작업을 제공하며, 체험자의 모션 정보를 토대로 체험자의 위치와 방향을 계산한다.
콘텐츠 체험 서비스 제공 장치(200)는 S300 단계에서 보정한 카메라 모션 정보와 체험자의 모션 정보를 가상 공간에서 활용할 수 있는 형태로 가공하고, 이를 토대로 가상 장면 생성을 위한 정보 즉, 가상 공간 제어 정보와 가상 공간 정보를 생성한다(S400).
콘텐츠 체험 서비스 제공 장치(200)는 S400 단계에서 생성한 가상 공간 제어 정보와 가상 공간 정보를 토대로 다중 가상 영상을 생성하고, 생성한 다중 가상 영상을 토대로 콘텐츠 체험 서비스를 제공한다(S500).
콘텐츠 체험 서비스 제공 장치(200)는 체험자가 착용하는 몰입 영상 카메라 장치(11)에 제공하는 1인칭 시점의 몰입 영상을 생성하고, 콘텐츠 체험 서비스를 직접 체험하는 체험자 이외에도 콘텐츠를 동시에 즐길 수 있도록 관람용 영상 장치(50)에 출력하는 3인칭 시점의 관람자 시점 영상을 생성한다.
이와 같이, 본 발명은 체험자의 실제 공간에서의 행동이 그대로 가상 공간에 재현되어 체험자가 가상 공간을 실제 공간처럼 느낄 수 있는 1인칭 시점의 가상 콘텐츠 체험 서비스를 제공하며, 관객들에게는 체험 사용자가 경험하는 가상 공간을 스포츠 경기를 관람하는 듯한 3인칭 시점의 관람자 영상을 제공하는 다중 영상 기능을 제공한다. 또한, 체험자에게는 서비스 종료 후 경험한 가상 영상을 제공하는데 이는 체험자의 선택에 따라 1인칭 체험자 시점의 영상이나 3인칭 관람자 시점에서 체험자를 포함하는 영상의 형태로 제공되며 이를 통해 체험자는 서비스 체험 당시의 경험을 다시 재생해 볼 수 있다. 실제 공간에서 사용자와 체험자의 모션을 하나의 가상 공간으로 투영하고 가상 공간과의 상호 작용을 시뮬레이션하는 방법과 도구를 제공함으로써 날로 관심이 높아 가는 모션 기반 실감 및 체험형 게임이나 특수 효과 영화 제작 등에 널리 쓰이는 실시간 사전시각화 작업을 기반으로 한 디지털 영상 콘텐츠 제작에 응용할 수 있다. 이는 카메라나 배우 모션 설정을 영상 촬영 당시에 사전에 결정함으로써 실제 촬영지에서 카메라 구도 설정, 배우의 액션, 3D특수 효과 등의 작업에 대한 반복 작업을 줄이고 감독의 의도나 창의력을 충분히 반영할 수 있는 효과적인 시스템 구축이 가능 할 것이다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (11)

  1. 스튜디오 공간에 위치하는 몰입 영상 카메라 장치와 관람뷰 카메라 장치의 위치와 방향을 추적한 결과에 해당하는 카메라 모션 정보와, 체험자의 위치와 방향에 해당하는 체험자의 모션 정보를 수집하는 단계;
    상기 체험자를 포함하는 공간을 촬영하고, 촬영한 결과에 해당하는 실사 영상을 배경 키 테이블을 이용하여 전경과 배경으로 분리하는 단계;
    상기 전경과 배경을 기반으로 상기 카메라 모션 정보와 상기 체험자의 모션 정보를 보정하는 단계;
    보정한 카메라 모션 정보와 체험자의 모션 정보를 토대로 가상 공간 제어 정보와 가상 공간 정보를 생성하는 단계; 및
    상기 가상 공간 제어 정보와 상기 가상 공간 정보를 토대로 다중 가상 영상을 생성하고, 생성한 다중 가상 영상을 토대로 콘텐츠 체험 서비스를 제공하는 단계
    를 포함하고,
    상기 배경 키 테이블은
    상기 스튜디오 공간이 기설정된 크기의 분할 영역 단위로 분할된 분할 영역들마다의 카메라 장치의 위치와 방향에 대응하는 배경 키 값에 관한 정보가 기록된 것이고,
    상기 전경과 배경으로 분리하는 단계는
    상기 배경 키 테이블에서 상기 카메라 모션 정보에 포함된 카메라 장치의 위치와 방향에 대응하는 배경 키 값을 이용하여 키 영역을 설정하고, 상기 실사 영상에서 상기 키 영역에 해당하는 부분을 상기 배경으로 설정하여 상기 배경과 상기 전경을 분리하는 것을 특징으로 하는 콘텐츠 체험 서비스 제공 방법.
  2. 청구항 1에 있어서,
    상기 콘텐츠 체험 서비스를 제공하는 단계는
    상기 체험자가 착용하는 상기 몰입 영상 카메라 장치에 제공하는 1인칭 시점의 몰입 영상을 생성하는 단계; 및
    상기 체험자가 아닌 관람자에 해당하는 관람용 영상 장치에 출력하는 관람자 시점 영상을 생성하는 단계
    를 포함하는 콘텐츠 체험 서비스 제공 방법.
  3. 청구항 1에 있어서,
    상기 수집하는 단계는
    상기 스튜디오 공간 내에서의 마커 기반 추적 시스템을 이용하여 상기 카메라 모션 정보와 체험자의 모션 정보를 수집하는 것을 특징으로 하는 콘텐츠 체험 서비스 제공 방법.
  4. 청구항 1에 있어서,
    상기 전경과 배경으로 분리하는 단계는
    상기 체험자의 몰입 환경을 관람객들에게 제공하기 위하여 상기 체험자의 실사 영상을 촬영하는 단계;
    상기 실사 영상을 상기 콘텐츠 체험 서비스의 영상에 활용할 관심 영역에 해당하는 전경과 그렇지 않은 배경으로 분리하기 위해 배경으로 분리할 실사 영상의 특징을 설정하는 단계; 및
    상기 관람뷰 카메라 장치가 영상을 촬영하며 이동하는 경우에, 상기 관람뷰 카메라 장치의 위치와 방향을 상기 배경 키 테이블과 비교하여, 최종 배경 키 값을 결정하는 단계
    를 포함하는 콘텐츠 체험 서비스 제공 방법.
  5. 청구항 1에 있어서,
    상기 생성하는 단계는
    상기 카메라 모션 정보와 체험자의 모션 정보를 기반으로 가상 공간을 구성하는 상기 가상 공간 제어 정보를 생성하는 단계;
    상기 가상 공간에서 카메라의 역할을 수행하는 카메라의 속성을 제어하는 단계;
    상기 가상 공간 내에서 상기 체험자의 모습을 대신하는 3차원 모델에 해당하는 아바타의 모션을 제어하는 단계; 및
    상기 체험자의 모션 정보를 토대로 특정 제스처를 인식하고, 인식한 결과를 토대로 상기 가상 공간을 구성하는 객체를 제어하는 단계
    를 포함하는 콘텐츠 체험 서비스 제공 방법.
  6. 스튜디오 공간에 위치하는 몰입 영상 카메라 장치와 관람뷰 카메라 장치의 위치와 방향을 추적한 결과에 해당하는 카메라 모션 정보를 수집하는 카메라 장치 추적부;
    체험자의 위치와 방향에 해당하는 체험자의 모션 정보를 수집하는 사용자 행동 추적부;
    상기 체험자를 포함하는 공간을 촬영하고, 촬영한 결과에 해당하는 실사 영상을 배경 키 테이블을 이용하여 전경과 배경으로 분리하는 실사 영상 취득부;
    상기 전경과 배경을 기반으로 상기 카메라 모션 정보와 상기 체험자의 모션 정보를 보정하는 모션 정보 처리부; 및
    보정한 카메라 모션 정보와 체험자의 모션 정보를 토대로 가상 공간 제어 정보와 가상 공간 정보를 생성하는 가상 공간 제어부; 및
    상기 가상 공간 제어 정보와 상기 가상 공간 정보를 토대로 다중 가상 영상을 생성하고, 생성한 다중 가상 영상을 토대로 콘텐츠 체험 서비스를 제공하는 다중 가상 영상 생성부
    를 포함하고,
    상기 배경 키 테이블은
    상기 스튜디오 공간이 기설정된 크기의 분할 영역 단위로 분할된 분할 영역들마다의 카메라 장치의 위치와 방향에 대응하는 배경 키 값에 관한 정보가 기록된 것이고,
    상기 실사 영상 취득부는
    상기 배경 키 테이블에서 상기 카메라 모션 정보에 포함된 카메라 장치의 위치와 방향에 대응하는 배경 키 값을 이용하여 키 영역을 설정하고, 상기 실사 영상에서 상기 키 영역에 해당하는 부분을 상기 배경으로 설정하여 상기 배경과 상기 전경을 분리하는 것을 특징으로 하는 콘텐츠 체험 서비스 제공 장치.
  7. 청구항 6 있어서,
    상기 카메라 장치 추적부는
    상기 스튜디오 공간 내에서의 마커 기반 추적 시스템을 이용하여 상기 몰입 영상 카메라 장치와 관람뷰 카메라 장치의 위치와 방향을 추적하는 카메라 장치 모션 추적부;
    상기 카메라 장치 모션 추적부가 추적한 결과에 해당하는 상기 카메라 모션 정보를 네트워크를 통해 영상 서버로 전달하는 카메라 장치 모션 정보 전송부; 및
    상기 카메라 모션 정보를 카메라 별 식별자 단위로 관리하는 카메라 장치 모션 정보 관리부
    를 포함하는 콘텐츠 체험 서비스 제공 장치.
  8. 청구항 6 있어서,
    상기 사용자 행동 추적부는
    상기 체험자의 모션 정보를 수집하는 사용자 모션 수집부;
    상기 체험자의 모션 정보를 네트워크를 통해 영상 서버로 전달하는 사용자 모션 전송부; 및
    상기 체험자에 장착되어 있는 각 마커에 따른 역할에 따라서 상기 체험자의 모션 정보를 관리하는 사용자 모션 관리부
    를 포함하는 콘텐츠 체험 서비스 제공 장치.
  9. 청구항 6에 있어서,
    상기 실사 영상 취득부는
    영상 기기를 활용하여 상기 실사 영상을 촬영하는 실사 영상 촬영부;
    상기 실사 영상을 상기 전경과 배경으로 분리할 실사 영상의 특징을 설정하는 영상 배경 설정부;
    상기 관람뷰 카메라 장치가 영상을 촬영하며 이동하는 경우에, 상기 관람뷰 카메라 장치의 위치와 방향을 상기 배경 키 테이블과 비교하여, 최종 배경 키 값을 결정하는 전경 영상 관리부
    를 포함하는 콘텐츠 체험 서비스 제공 장치.
  10. 청구항 6에 있어서,
    상기 가상 공간 제어부는
    상기 카메라 모션 정보와 체험자의 모션 정보를 기반으로 가상 공간을 구성하는 상기 가상 공간 제어 정보를 생성하는 가상 공간 제어 데이터 생성부;
    상기 가상 공간에서 카메라의 역할을 수행하는 카메라의 속성을 제어하는 카메라 속성 제어부;
    상기 가상 공간 내에서 상기 체험자의 모습을 대신하는 3차원 모델에 해당하는 아바타의 모션을 제어하는 아바타 모션 제어부;
    상기 체험자의 모션 정보를 토대로 특정 제스처를 인식하는 체험자 제스처 인식부; 및
    상기 체험자 제스처 인식부에서 인식한 결과를 토대로 상기 가상 공간을 구성하는 객체를 제어하는 가상 공간 상호작용 제어부
    를 포함하는 콘텐츠 체험 서비스 제공 장치.
  11. 청구항 6에 있어서,
    상기 다중 가상 영상 생성부는
    상기 실사 영상에서 상기 사용자를 관심 영역으로 지정한 경우, 체험 사용자 이미지와 가상 공간 영상을 겹칠 때 설정에 따라 실사 영상의 깊이 위치를 조절하는 관람 장면 생성부를 포함하는 것을 특징으로 하는 콘텐츠 체험 서비스 제공 장치.
KR1020130110421A 2013-09-13 2013-09-13 콘텐츠 체험 서비스 제공 장치 및 그 방법 Active KR102077108B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130110421A KR102077108B1 (ko) 2013-09-13 2013-09-13 콘텐츠 체험 서비스 제공 장치 및 그 방법
US14/449,036 US9236032B2 (en) 2013-09-13 2014-07-31 Apparatus and method for providing content experience service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130110421A KR102077108B1 (ko) 2013-09-13 2013-09-13 콘텐츠 체험 서비스 제공 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20150030993A KR20150030993A (ko) 2015-03-23
KR102077108B1 true KR102077108B1 (ko) 2020-02-14

Family

ID=52668012

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130110421A Active KR102077108B1 (ko) 2013-09-13 2013-09-13 콘텐츠 체험 서비스 제공 장치 및 그 방법

Country Status (2)

Country Link
US (1) US9236032B2 (ko)
KR (1) KR102077108B1 (ko)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
NO20140637A1 (no) * 2014-05-21 2015-11-23 The Future Group As Virtuell protokoll
US10600245B1 (en) 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
US9710972B2 (en) * 2014-05-30 2017-07-18 Lucasfilm Entertainment Company Ltd. Immersion photography with dynamic matte screen
US9977495B2 (en) 2014-09-19 2018-05-22 Utherverse Digital Inc. Immersive displays
US9315197B1 (en) * 2014-09-30 2016-04-19 Continental Automotive Systems, Inc. Hands accelerating control system
US10146877B1 (en) * 2015-08-17 2018-12-04 Amazon Technologies, Inc. Area of interest subscription
JP6832061B2 (ja) * 2015-12-29 2021-02-24 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
US10748444B2 (en) 2016-06-13 2020-08-18 Electronics And Telecommunications Research Institute Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same
US10427305B2 (en) * 2016-07-21 2019-10-01 Autodesk, Inc. Robotic camera control via motion capture
US20180061269A1 (en) * 2016-09-01 2018-03-01 Honeywell International Inc. Control and safety system maintenance training simulator
KR20230153524A (ko) 2016-09-23 2023-11-06 애플 인크. 아바타 생성 및 편집
KR102091145B1 (ko) * 2016-09-23 2020-03-20 주식회사 홀로티브글로벌 입체영상 장치 및 이를 이용한 콘텐츠 제공방법
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
US11223853B2 (en) 2016-10-20 2022-01-11 Samsung Electronics Co., Ltd. Image display method and electronic device therefor
JP6447644B2 (ja) * 2017-02-16 2019-01-09 富士ゼロックス株式会社 情報処理装置及びプログラム
WO2018155670A1 (ja) * 2017-02-27 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
US10901494B2 (en) 2017-03-28 2021-01-26 Wipro Limited Method and a system for providing gesture-based interaction with a virtual product
JP2018198025A (ja) * 2017-05-25 2018-12-13 株式会社Ｆｉｖｅ ｆｏｒ 画像処理装置、画像処理装置の制御方法及びプログラム
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
KR101986808B1 (ko) * 2017-12-12 2019-06-07 주식회사 리얼리티매직 착용형 게임 장치
KR101893038B1 (ko) * 2017-12-18 2018-08-29 유미란 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
JP6933727B2 (ja) * 2017-12-19 2021-09-08 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法、およびプログラム
JP2019152980A (ja) 2018-03-01 2019-09-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2019195270A1 (en) * 2018-04-03 2019-10-10 Kaarta, Inc. Methods and systems for real or near real-time point cloud map data confidence evaluation
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
KR102099135B1 (ko) * 2018-07-17 2020-04-09 주식회사 씨투몬스터 가상현실 컨텐츠 제작 시스템 및 제작 방법
KR102664710B1 (ko) 2018-08-08 2024-05-09 삼성전자주식회사 외부 객체의 위치의 변화에 따라 외부 객체에 대응하는 아바타를 표시하기 위한 전자 장치
KR102710460B1 (ko) 2018-08-14 2024-09-27 삼성전자주식회사 전자 장치, 그 제어 방법 및 전자 시스템
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
KR102144556B1 (ko) * 2018-11-12 2020-08-14 주식회사 로뎀마이크로시스템 체험형 콘텐츠 생성 방법, 장치 및 시스템
WO2020122463A1 (ko) * 2018-12-10 2020-06-18 주식회사 씨투몬스터 가상 현실을 이용한 치매 환자 훈련 시스템
CN109765798B (zh) * 2018-12-21 2021-09-28 北京电影学院 一种影视摄影的半实物仿真系统
KR102663906B1 (ko) 2019-01-14 2024-05-09 삼성전자주식회사 아바타를 생성하기 위한 전자 장치 및 그에 관한 방법
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
KR102222291B1 (ko) * 2020-09-03 2021-03-03 아날로그플러스 주식회사 영상 컨텐츠 자판기 및 그 제어 방법
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
KR102594249B1 (ko) 2020-11-18 2023-10-26 한국전자통신연구원 실감 인터랙션 기반의 가상 훈련 방법 및 장치
DE102021106488A1 (de) * 2020-12-23 2022-06-23 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Hintergrund-Wiedergabeeinrichtung, Hintergrundwiedergabesystem, Aufnahmesystem, Kamerasystem, digitale Kamera und Verfahren zum Steuern einer Hintergrund-Wiedergabeeinrichtung
WO2022168428A1 (ja) * 2021-02-02 2022-08-11 ソニーグループ株式会社 情報処理方法、情報処理装置およびプログラム
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
KR102809918B1 (ko) * 2022-04-19 2025-05-19 차세영 메타버스 서비스 제공 방법 및 그를 위한 메타버스 서비스 제공 시스템
US20230360356A1 (en) * 2022-05-03 2023-11-09 Kibsi, Inc. Computer vision platform for building a digital representation of physical objects and responding to events and state changes involving the physical objects
CN115396603B (zh) * 2022-08-23 2023-05-16 广州呗呗科技有限公司 一种虚拟制片对焦同步系统、方法、存储介质及电子设备
US12287913B2 (en) 2022-09-06 2025-04-29 Apple Inc. Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments
AU2023347513A1 (en) * 2022-09-21 2025-04-03 Lucasfilm Entertainment Company Ltd. LLC Latency reduction for immersive content production systems

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6308565B1 (en) * 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6057856A (en) * 1996-09-30 2000-05-02 Sony Corporation 3D virtual reality multi-user interaction with superimposed positional information display for each user
US6999083B2 (en) * 2001-08-22 2006-02-14 Microsoft Corporation System and method to provide a spectator experience for networked gaming
US6917370B2 (en) * 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
US20040189676A1 (en) * 2003-03-24 2004-09-30 Dischert Lee R. Method, apparatus , and system for selectively combining video signals
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
US7719563B2 (en) * 2003-12-11 2010-05-18 Angus Richards VTV system
US20080030429A1 (en) * 2006-08-07 2008-02-07 International Business Machines Corporation System and method of enhanced virtual reality
US8016653B2 (en) * 2007-02-01 2011-09-13 Sportvision, Inc. Three dimensional virtual rendering of a live event
US8615383B2 (en) 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US8294732B2 (en) * 2008-03-24 2012-10-23 International Business Machines Corporation Contextual camera method and apparatus for virtual environments
CA2662318C (en) * 2009-01-17 2014-12-02 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US8194101B1 (en) * 2009-04-01 2012-06-05 Microsoft Corporation Dynamic perspective video window
US9299184B2 (en) * 2009-04-07 2016-03-29 Sony Computer Entertainment America Llc Simulating performance of virtual camera
US8334842B2 (en) * 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US20120200600A1 (en) * 2010-06-23 2012-08-09 Kent Demaine Head and arm detection for virtual immersion systems and methods
KR20120013021A (ko) * 2010-08-04 2012-02-14 주식회사 자이닉스 인터랙티브 가상현실 서비스 방법 및 장치
KR20120044461A (ko) * 2010-10-28 2012-05-08 (주)브이엔에스텍 융합 현실을 이용한 가상 훈련 장치 및 방법
KR20130061538A (ko) * 2011-12-01 2013-06-11 한국전자통신연구원 가상현실 기반 콘텐츠 제공장치 및 그 방법
KR20130098770A (ko) * 2012-02-28 2013-09-05 한국전자통신연구원 입체감 확장형 가상 스포츠 체험 시스템
US9390562B2 (en) * 2013-08-01 2016-07-12 Nbcuniversal Media, Llc Multiple perspective video system and method

Also Published As

Publication number Publication date
KR20150030993A (ko) 2015-03-23
US9236032B2 (en) 2016-01-12
US20150078621A1 (en) 2015-03-19

Similar Documents

Publication Publication Date Title
KR102077108B1 (ko) 콘텐츠 체험 서비스 제공 장치 및 그 방법
US11899835B2 (en) Control of personal space content presented via head mounted display
US11389726B2 (en) Second screen virtual window into VR environment
US10810798B2 (en) Systems and methods for generating 360 degree mixed reality environments
JP6976424B2 (ja) 実世界会場で開催されたライブイベントで見せられるインタラクティブなゲーム世界の観客ビュー
EP3265864B1 (en) Tracking system for head mounted display
US10424077B2 (en) Maintaining multiple views on a shared stable virtual space
CN103390287B (zh) 用于增强现实的装置和方法
CN107735152B (zh) 用于虚拟现实(vr)观看的扩展视野重新渲染
US8241125B2 (en) Apparatus and method of interaction with a data processor
TWI468734B (zh) 用於在共享穩定虛擬空間維持多個視面的方法、攜帶式裝置以及電腦程式
KR101327995B1 (ko) 디지털 캐릭터를 이용한 무대 공연을 처리하는 장치 및 방법
CN106730815B (zh) 一种易实现的体感互动方法及系统
JP6714625B2 (ja) コンピュータシステム
KR102200239B1 (ko) 실시간 cg 영상 방송 서비스 시스템
JP4330494B2 (ja) ブロードキャスト番組参加システム、及び方法
JP2023132320A (ja) 画像処理システム、画像処理方法及びコンピュータプログラム
JP7699785B1 (ja) 撮影システム
CN112245910B (zh) 一种基于Quest头显的建模、极限运动方法和系统
EP4546276A1 (en) Method and arrangement for generating augmented video of an event
US20240078767A1 (en) Information processing apparatus and information processing method
JP2024098577A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130913

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180410

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130913

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190617

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20191127

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200207

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200207

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20221110

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20231127

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20250124

Start annual number: 6

End annual number: 6