[go: up one dir, main page]

KR102295265B1 - 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법 - Google Patents

복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR102295265B1
KR102295265B1 KR1020190156487A KR20190156487A KR102295265B1 KR 102295265 B1 KR102295265 B1 KR 102295265B1 KR 1020190156487 A KR1020190156487 A KR 1020190156487A KR 20190156487 A KR20190156487 A KR 20190156487A KR 102295265 B1 KR102295265 B1 KR 102295265B1
Authority
KR
South Korea
Prior art keywords
real
angle
image
view
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190156487A
Other languages
English (en)
Other versions
KR20210067155A (ko
Inventor
차동우
정태식
Original Assignee
주식회사 알파서클
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 알파서클 filed Critical 주식회사 알파서클
Priority to KR1020190156487A priority Critical patent/KR102295265B1/ko
Priority to PCT/KR2020/017154 priority patent/WO2021107708A1/ko
Priority to CN202080083114.0A priority patent/CN114762353B/zh
Publication of KR20210067155A publication Critical patent/KR20210067155A/ko
Application granted granted Critical
Publication of KR102295265B1 publication Critical patent/KR102295265B1/ko
Priority to US17/827,225 priority patent/US11503268B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 동일한 시간에 동일한 지점에서 서로 다른 방향을 촬영하기 위해 배치된 복수의 촬영부, 복수의 촬영부 각각이 커버하는 화각과 사용자단말의 시선방향을 비교하여, 복수의 촬영부 중 사용자단말의 시선방향에 대응하는 영상을 촬영하는 촬영부의 영상을 선택하는 영상선택부, 영상선택부에서 선택된 촬영부에서 촬영된 가상현실영상을 실시간으로 사용자단말에게 전송하는 영상전송부, 및 가상현실영상을 시청하는 사용자단말의 시선방향이 어느 방향인지 피드백받아 영상선택부에 전달하는 시선방향수신부를 포함하고, 복수의 촬영부로부터 촬영된 복수의 가상현실영상을 스티칭(stitching)하지 않고 사용자단말의 시선방향이 포함된 촬영부의 영상만을 사용자단말에게 전송하여 가상현실 콘텐츠의 실시간 방송을 구현하는 것을 특징으로 하는, 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 가상현실영상의 실시간방송장치를 제공한다.

Description

복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법{APPARATURS AND METHOD FOR REAL-TIME BROARDCASTING OF VR VIDEO FILMED BY SEVERAL CAMERA}
본 발명은 가상현실재생장치 및 방법에 대한 것이다.
가상현실(Virtual Reality)은 컴퓨터 등을 사용한 인공적인 기술로 만들어낸 실제와 유사한 환경을 제공하는 기술을 의미한다.
360VR 영상은 복수의 카메라를 이용하여 360도 전 방향을 커버하는 영상으로, 이를 감상하는 사용자는 마치 자신이 해당 영상의 촬영현장에 있는 듯한 상당한 수준의 몰입감을 느낄 수 있다.
360VR영상은 복수의 카메라가 서로 다른 방향을 촬영하도록 배치한 후, 각각의 카메라가 촬영한 영상 이어 붙여 마치 360도 전 방향을 동시에 촬영한 것과 같은 원본영상을 만드는 방식으로 제작된다. 이때 복수의 카메라가 촬영한 다른 방향의 영상을 자연스럽게 보이도록 이어 붙이는 편집과정을 스티칭(stitching)이라고 부른다.
스티칭 기술은 복수의 카메라에서 촬영된 영상을 정해진 시야각과 화면크기에 대한 기준에 맞게 초점거리와 왜곡률을 보정한 후, 이를 이어 붙이는 기술이다. 정확한 스티칭을 위해서는 서로 인접한 영상들의 엣지에 촬영된 이미지의 색상정보, 위치, 각도가 일치해야하고, 카메라의 성능차로 발생되는 이미지의 선예도나 피사체의 수직, 수평 라인을 일치시키는 등의 보정이 필수적이다.
그러나, 이와 같이 복수의 영상을 정교하게 스티칭하기 위해서는 보정 및 편집에 상당한 시간이 소요된다는 문제가 있다.
따라서 생방송으로 진행되는 컨텐츠를 360VR 영상으로 스트리밍하기 위해서는 실시간으로 컨텐츠를 방송할 수는 없고, 적어도 스티칭에 필요한 시간만큼 시간이 딜레이되는 문제가 발생된다.
이에 본 발명의 발명자는 그런 문제점을 해결하기 위해서 오랫동안 연구하고 시행착오를 거치며 개발한 끝에 본 발명을 완성하기에 이르렀다.
본 발명은 이와 같은 문제점을 해결하기 위하여 동일한 위치에서 서로 다른 방향으로 배치된 복수의 카메라를 이용하여 촬영된 가상현실영상을 스티칭하지 않고 실시간으로 방송하는 장치를 제공한다.
한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다
본 발명의 제1국면은 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 가상현실영상의 실시간방송장치는,
동일한 시간에 동일한 지점에서 서로 다른 방향을 촬영하기 위해 배치된 복수의 촬영부;
복수의 촬영부 각각이 커버하는 화각과 사용자단말의 시선방향을 비교하여, 복수의 촬영부 중 사용자단말의 시선방향에 대응하는 영상을 촬영하는 촬영부의 영상을 선택하는 영상선택부;
영상선택부에서 선택된 촬영부에서 촬영된 가상현실영상을 실시간으로 사용자단말에게 전송하는 영상전송부; 및
가상현실영상을 시청하는 사용자단말의 시선방향이 어느 방향인지 피드백받아 영상선택부에 전달하는 시선방향수신부;를 포함하고,
상기 실시간방송장치는 복수의 촬영부로부터 촬영된 복수의 가상현실영상을 스티칭(stitching)하지 않고 사용자단말의 시선방향이 포함된 촬영부의 영상만을 사용자단말에게 전송하여 가상현실 콘텐츠의 실시간 방송을 구현하는 것을 특징으로 하는,
복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 가상현실영상의 실시간방송장치를 제공한다.
바람직한 실시예에 있어서, 복수의 촬영부는
동일한 시간에 동일한 지점에서 서로 다른 방향을 촬영하기 위해 배치된 N개의 카메라부를 포함하고,
N개의 카메라부는 N개의 카메라부가 커버하는 전체화각을 N개로 나눈 임시화각의 양측에 각각 소정의 보호화각을 더한 값인 촬영화각을 촬영하도록 구성되어,
하나의 카메라부가 촬영하는 화각이 양측에 인접한 다른 카메라부가 커버하는 화각과 소정의 화각만큼 중첩되도록 설정되는 것이 좋다.
바람직한 실시예에 있어서,
시선방향수신부는 사용자단말에서 재생할 수 있는 사용자단말 고유의 재생화각 및 사용자의 시선방향을 수신하고,
영상선택부는 사용자단말의 시선방향이 변함에 따라 재생화각의 일단이 현재 실시간 방송 중인 촬영부의 촬영화각에 포함된 보호화각에 진입하면, 재생화각의 일단이 소정의 전환기준을 충족하는지 여부를 판단하여, 재생화각의 일단이 소정의 전환기준을 만족할 때 현재 실시간 방송 중인 촬영부의 영상을 차단하고 인접한 촬영부의 영상이 전송되도록 촬영부를 전환하는 것이 좋다.
본 발명의 제2국면은 제1항의 가상현실영상의 실시간방송장치를 이용하여 실시간 방송하기 위한 방법으로서:
(a) 복수의 촬영부에 포함된 카메라부가 촬영하는 촬영화각을 결정하는 단계;
(b) 복수의 촬영부 중 사용자단말의 시선방향과 매칭되는 촬영부에서 촬영 중인 영상을 사용자단말로 실시간 전송하는 단계;
(c) 사용자단말의 시선방향 및 사용자단말에서 재생할 수 있는 사용자단말 고유의 재생화각을 수신하는 단계;
(d) 사용자단말의 시선방향이 변함에 따라, 재생화각의 일단과 현재 실시간 방송 중인 촬영부의 촬영화각이 소정의 전환기준을 만족하는지 여부를 판단하는 단계; 및
(e) 전환기준이 만족되면, 현재 실시간 방송 중인 촬영부의 영상을 차단하고 인접한 촬영부의 영상이 전송되도록 촬영부를 전환하는 단계;를 포함하는 것을 특징으로 하는,
복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 가상현실영상의 실시간방송방법을 제공한다.
바람직한 실시예에 있어서,
(a) 단계에서 복수의 촬영부는동일한 시간에 동일한 지점에서 서로 다른 방향을 촬영하기 위해 배치된 N개의 카메라부가, N개의 카메라부가 커버하는 전체화각을 N개로 나눈 임시화각의 양측에 각각 소정의 보호화각을 더한 값인 촬영화각을 촬영하도록 설정되고,
(d) 단계는
(d-1) 사용자단말의 시선방향이 변함에 따라 재생화각의 일단이 현재 실시간 방송 중인 촬영부의 촬영화각에 포함된 보호화각에 진입했는지 판단하는 단계;
(d-2) 재생화각의 일단이 보호화각에 진입하면, 재생화각의 일단이 소정의 전환기준을 충족하는지 여부를 판단하는 단계; 및
(d-3) 재생화각의 일단이 보호화각을 벗어나면 전환기준을 충족하는지 여부에 대한 판단을 중지하는 단계;를 포함하는 것이 좋다.
바람직한 실시예에 있어서, (e) 단계는 촬영부의 전환절차가 시작되면, 촬영부 영상의 키프레임(key frame)에서만 영상의 전환이 실행되도록 하여 전환 전후의 영상 사이에 프레임 동기화를 구현하는 것이 좋다.
본 발명은 동일한 위치에서 서로 다른 방향으로 배치된 복수의 카메라를 이용하여 촬영된 가상현실영상을 스티칭하지 않고 실시간으로 가상현실을 방송할 수 있는 효과가 있다.
따라서, 복수의 가상현실영상을 스티칭하는데 소요되는 장비와 시간을 절약할 수 있는 효과가 있다.
본 발명은 무엇보다 실시간성을 확보할 수 있기 때문에 가상현실콘텐츠를 생방송으로 전송할 수 있다는 장점이 있다.
한편, 여기에서 명시적으로 언급되지 않은 효과라하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.
도 1은 본 발명의 실시간방송장치의 바람직한 실시예를 나타내기 위한 도면이다.
도 2는 본 발명의 복수의 촬영부에서 촬영하는 촬영화각에 대한 바람직한 실시예를 나타내기 위한 도면이다.
도 3은 본 발명의 실시간방송방법의 바람직한 실시예를 나타내는 도면이다.
도 4는 본 발명의 광역영상과 패치영상, 복수의 분할영상의 컨셉을 설명하기 위한 도면이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.
본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
도 1은 본 발명의 실시간방송장치의 바람직한 실시예를 나타내기 위한 도면이다. 도 2는 본 발명의 복수의 촬영부에서 촬영하는 촬영화각에 대한 바람직한 실시예를 나타내기 위한 도면이다.
본 발명의 실시간방송장치는 복수의 촬영부로부터 촬영된 복수의 가상현실영상을 스티칭(stitching)하지 않고 사용자단말의 시선방향이 포함된 촬영부의 영상만을 사용자단말에게 전송하여 가상현실 콘텐츠의 실시간 방송을 구현하는 것을 특징으로 한다. 이하 구체적인 내용에 대해 상세하게 설명한다.
도 1 및 도 2에서 알 수 있듯이, 본 발명의 실시간방송장치(100)는 복수의 촬영부(110), 영상선택부(120), 영상전송부(130), 시선방향수신부(140)를 포함한다.
복수의 촬영부(110)는 동일한 시간에 다른 영상을 촬영하는 N개의 카메라부를 포함한다. 바람직한 실시예에서 복수의 촬영부(110)는 동일한 시간에 동일한 지점에서 서로 다른 방향을 촬영하기 위해 배치된다.
복수의 촬영부(110)는 도 2의 (a)와 같이 서로 중첩되지 않는 임시화각을 촬영하도록 배치될 수 있다. 그러나, 바람직한 실시예에서 복수의 촬영부(110)는 서로 소정의 보호화각 만큼 중첩되도록 배치될 수 있다. 소정의 보호화각이 중첩되면 실시간 방송 중인 촬영부의 전환시점을 보다 여유있게 제어할 수 있는 효과가 있다.
도 2의 (b)와 같이 복수의 촬영부(110)는 동일한 시간에 동일한 지점에서 서로 다른 방향을 촬영하기 위해 배치된 N개의 카메라부를 포함할 수 있다. N개의 카메라부는 N개의 카메라부가 커버하는 전체화각을 N개로 나눈 임시화각의 양측에 각각 소정의 보호화각을 더한 값인 촬영화각을 촬영하도록 구성될 수 있다. 이렇게 배치되면 하나의 카메라부가 촬영하는 화각이 양측에 인접한 다른 카메라부가 커버하는 화각과 소정의 화각만큼 중첩되도록 설정된다.
예를들어, 3대의 카메라부를 사용하여 360VR 영상을 전송하고자 하는 경우, 각 카메라부의 임시화각은 120도가 될 것이다. 그러나, 양 끝단이 15도의 보호화각을 더 갖도록 설정되면 하나의 카메라부가 커버하는 촬영화각은 150도가 될 것이다.
한편, 복수의 촬영부에 포함된 카메라부는 3D를 구현하기 위한 한 쌍의 카메라를 포함할 수 있다. 한 쌍의 카메라는 각각 우안영상용 카메라 및 좌안영상용 카메라일 수 있다.
영상선택부(120)는 복수의 촬영부(110) 각각이 커버하는 촬영화각과 사용자단말의 시선방향을 비교하여, 복수의 촬영부 중 사용자단말의 시선방향에 대응하는 영상을 촬영하는 촬영부의 영상을 선택한다.
영상선택부(120)가 실시간 전송할 촬영부를 선택하는 방법에는 다양한 실시예가 있을 수 있다.
사용자단말은 사용자단말의 디스플레이장치가 커버할 수 있는 고유한 화각이 있는데 이를 재생화각이라고 정의한다. 또한 사용자단말이 바라보는 특정 방향을 시선방향이라고 정의한다.
영상선택부(120)는 시선방향수신부(140)로부터 수신한 재생화각 및 시선방향을 이용할 수 있다.
바람직한 실시예에 있어서, 영상선택부(120)는 사용자단말의 시선방향이 변함에 따라 재생화각의 일단이 현재 실시간 방송 중인 촬영부의 촬영화각에 포함된 보호화각에 진입했는지 여부를 판단한다. 영상선택부(120)는 재생화각의 일단이 보호화각에 진입했다고 판단되면, 재생화각의 일단이 소정의 전환기준을 충족하는지 여부를 판단하는 절차를 개시한다. 영상선택부(120)는 재생화각의 일단이 소정의 전환기준을 만족한다고 판단되면, 현재 실시간 방송 중인 촬영부의 영상을 차단하고 인접한 촬영부의 영상이 전송되도록 촬영부를 전환한다. 소정의 전환기준에도 다양한 실시예가 있을 수 있다. 바람직한 실시예에서 전환기준은 재생화각의 일단이 1) 보호화각에 진입한 순간, 2) 보호화각의 1/2에 해당하는 지점에 도달한 순간 등으로 설정될 수 있으나 이에 제한되는 것은 아니다.
영상전송부(130)는 영상선택부에서 선택된 촬영부에서 촬영된 가상현실영상을 실시간으로 사용자단말에게 전송한다.
시선방향수신부(140)는 가상현실영상을 시청하는 사용자단말의 시선방향이 어느 방향인지 피드백받아 영상선택부에 전달한다. 시선방향수신부(140)는 사용자단말의 디스플레이장치에서 재생할 수 있는 고유한 범위에 해당하는 사용자단말 고유의 재생화각 및 사용자의 시선방향을 수신할 수 있다.
도 3은 본 발명의 실시간방송방법의 바람직한 실시예를 나타내는 도면이다. 도 3의 실시간방송방법은 본 발명의 실시간방송장치에 의해 구현된다.
도 3에서 알 수 있듯이, 실시간방송방법은 복수의 촬영부에 포함된 카메라부가 촬영하는 촬영화각을 결정하는 단계를 실행한다(S1100).
바람직한 실시예에 있어서 촬영화각은 동일한 시간에 동일한 지점에서 서로 다른 방향을 촬영하기 위해 N개의 카메라부가 있다고 가정할 때, N개의 카메라부가 커버하는 전체화각을 N개로 나눈 값을 임시화각으로 결정하고, 임시화각의 양측에 각각 소정의 보호화각을 더한 값으로 결정될 수 있다.
이렇게 촬영화각을 결정하면 하나의 카메라부가 촬영하는 화각이 양측에 인접한 다른 카메라부가 커버하는 화각과 소정의 화각만큼 중첩된다.
다음으로 복수의 촬영부 중 사용자단말의 시선방향과 매칭되는 촬영부에서 촬영 중인 영상을 사용자단말로 실시간 전송한다(S1200).
이때 본 발명의 실시간방송방법은 복수의 촬영부로부터 촬영된 복수의 가상현실영상을 스티칭(stitching)하지 않고 사용자단말의 시선방향이 포함된 촬영부의 영상만을 사용자단말에게 전송하여 가상현실 콘텐츠의 실시간 방송을 구 현 한다.
다음으로 사용자단말로부터 사용자단말의 시선방향 및 사용자단말에서 재생할 수 있는 사용자단말 고유의 재생화각을 수신한다(S1300).
다음으로 사용자단말의 시선방향이 변함에 따라, 재생화각의 일단과 현재 실시간 방송 중인 촬영부의 촬영화각이 소정의 전환기준을 만족하는지 여부를 판단한다(S1400).
바람직한 실시예에서 전환기준을 만족하는지 여부는 아래와 같은 방법으로 판단될 수 있다.
먼저 사용자단말의 시선방향이 변함에 따라 재생화각의 일단이 현재 실시간 방송 중인 촬영부의 촬영화각에 포함된 보호화각에 진입했는지 판단한다.
재생화각의 일단이 보호화각에 진입하면, 재생화각의 일단이 소정의 전환기준을 충족하는지 여부를 판단하는 절차를 시작한다.
반대로 재생화각의 일단이 보호화각을 벗어나면 전환기준을 충족하는지 여부에 대한 판단을 중지하여 부하를 감소시킨다.
전환기준을 만족한다고 판단되면, 현재 실시간 방송 중인 촬영부의 영상을 차단하고 인접한 촬영부의 영상이 전송되도록 촬영부를 전환한다(S1500).
[전환 전후 재생되는 영상의 프레임 동기화 방법]
실시간 방송 중인 촬영부의 영상을 교체하면 사용자단말에서 재생되는 영상의 끊김현상이 발생할 수 있다. 이를 방지하기 위해 본 발명의 바람직한 실시예는, 촬영부의 전환절차가 시작되면, 촬영부 영상의 키프레임(key frame)에서만 영상의 전환이 실행되도록 하여 전환 전후의 영상 사이에 프레임 동기화를 구현할 수 있다.
이를 좀 더 구체적으로 설명하면 다음과 같다.
화상집합(Group of Picture: GOP)은 MPEG 화상처리에서 적어도 1장 이상의 I프레임을 포함하는 집합을 의미한다. 프레임에는 I(Intra-coded), P(Predictive-coded), B(Bidirectional-coded) 프레임이 존재한다. I 프레임은 키프레임으로, 다른 프레임의 참조없이 부호화된다. 따라서, I 프레임은 다른 프레임을 참조하지 않고 독립적으로 디코딩할 수 있다.
P 프레임은 이전의 I 프레임 및 P 프레임을 참조하여 부호화된다. B 프레임은 이전, 이후의 I 프레임과 P 프레임을 모두 사용하여 부호화된다. 따라서, B프레임을 복호화하는데는 상당한 시간이 소요된다.
따라서, 전환 후 재생되는 영상의 프레임이 B 프레임인 경우 이를 복호화하는데 소요되는 시간이 크게 증가할 수 있고, 이는 자칫 동기화의 실패로 이어질 우려가 있다.
이에 본 발명은 키프레임에서만 영상 간 전환이 이루어지도록 하여 복호화에 필요한 시간을 예측가능한 범위 내로 유지한다.
이를 위해 본 발명의 바람직한 실시예는 영상의 키프레임거리(key frame distance:KFD)을 소정의 방법을 이용하여 단축시킨다. 그리고, 사용자의 시선이 변화됨에 따라 재생되는 영상을 전환할 때, 영상을 구성하는 프레임 중 키프레임(key frame)에서만 영상의 전환이 실행되도록 하여 전환 전후의 영상 사이에 프레임 동기화를 구현한다.
일 실시예에 있어서, 키프레임거리는 화상집합에 B 프레임이 포함되지 않도록 하는 방법을 통해 단축될 수 있다. B 프레임은 복호화를 위해 필요한 시간이 상당하기 때문이다.
한편, 즉시 전환을 하는 것이 아니라 키프레임에서만 전환을 하기 위해서는 소정의 지연시간을 확보해야한다. 바꾸어말하면 소정의 지연시간만큼 늦게 전환을 해야하고, 지연시간 동안 재생되는 화면이 끊기거나 하는 문제가 없도록 만들어야 한다. 이를 위해 본 발명은 앞서 설명한 바와 같이 소정의 보호화각을 설정하고, 여유있게 전환기준을 설정함으로서 이와 같은 지연시간을 확보할 수 있다.
[광역영상, 패치영상 등의 실시간 방송]
바람직한 실시예에서 본 발명에서 실시간으로 전송되는 가상현실영상은 광역영상, 패치영상, 분할영상을 포함하는 개념이다.
도 4는 본 발명의 광역영상과 패치영상, 복수의 분할영상의 컨셉을 설명하기 위한 도면이다.
도 4의 (a)를 이용하여 본 발명의 광역영상과 패치영상에 대한 개념을 설명한다. 360도의 가상현실영역(10) 전체를 구로 표현한다고 가정했을 때 광역영상(V0)은 360도의 가상현실영역(10) 전체 또는 패치영상보다 넓은 영역을 표현하는 영상이다. 이하에서 편의상 광역영상은 가상현실영역의 전체를 커버하는 것으로 설명하지만 반드시 이에 한정되는 것은 아니다.
패치영상(V1~3)은 360도의 가상현실영역(10) 일부를 표현하는 영상이다. 패치영상(V1~3)은 커버하는 영역이 서로 다를 수 있고, 면적이 다를 수 있고, 화질도 서로 다를 수 있다. 예를들어, 제1패치영상(V1)은 전면부의 상하 일부영역을 커버하는 고화질의 영상일 수 있다. 가상현실 콘텐츠가 뮤지컬이라면 제1패치영상(V1)은 뮤지컬의 무대를 커버하는 영역일 수 있다. 제2패치영상(V2)은 후면부 상단 일부영역을 커버하는 영상이고, 제3패치영상(V3)은 후면부 하단 일부영역을 커버하는 영상일 수 있다.
패치영상(V1~3)은 광역영상(V0) 위에 오버랩되어 또는 패치되어(patched) 재생된다. 따라서, 재생되는 패치영상(V1~3) 중 어느 하나를 필요에 따라 오프(off)하더라도 뒤에 광역영상(V0)이 재생되고 있으므로 영상에 공백이 발생하지 않는다.
패치영상(V1~3)은 광역영상(V0)과 동기화되어 재생된다. 패치영상(V1~3)은 광역영상(V0)의 동기화가 구현되지 않으면 사용자에게 어지러움을 유발할 수 있기 때문이다.
비동기콘텐츠(V4)는 복수의 가상현실영상과 무관하게 제작자의 의도에 의해 임의로 삽입된 콘텐츠를 의미한다. 비동기콘텐츠(V4)는 동영상일 수도 있고 특정한 이벤트 동작일 수도 있다. 내용 상 광고일 수도 있고, 가상현실영상과 연관된 이벤트일 수 있다.
비동기콘텐츠(V4)는 복수의 가상현실영상과 동기화되지 않는다. 즉, 패치영상(V1~3)과 광역영상(V0)의 싱크와 무관하게 별도의 트리거정보에 의해 재생되거나 동작한다. 바람직한 실시예에서 트리거정보는 사용자의 시선이 비동기콘텐츠(V4)의 위치를 바라보는지 여부에 관한 정보를 포함한다.
도 4의 (b)를 이용하여 본 발명의 분할영상(V1~N)에 대한 개념을 설명한다(N은 1보다 큰 자연수).
일 실시예에서 분할영상(V1~N)은 서로 중첩되지 않는 N개의 영역으로 분할한 영상일 수 있다. 복수의 분할영상(V1~N)은 서로 다른 크기일 수 있고, 서로 다른 화질일 수 있다.
서로 소정의 보호화각만큼 중첩되는 영상에 대해서는 도 2에서 설명했으므로 중복설명을 피한다.
본 발명은 본 발명의 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (6)

  1. 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 가상현실영상의 실시간방송장치는,
    동일한 시간에 동일한 지점에서 서로 다른 방향을 촬영하기 위해 배치된 복수의 촬영부;
    복수의 촬영부 각각이 커버하는 화각과 사용자단말의 시선방향을 비교하여, 복수의 촬영부 중 사용자단말의 시선방향에 대응하는 영상을 촬영하는 촬영부의 영상을 선택하는 영상선택부;
    영상선택부에서 선택된 촬영부에서 촬영된 가상현실영상을 실시간으로 사용자단말에게 전송하는 영상전송부; 및
    가상현실영상을 시청하는 사용자단말의 시선방향이 어느 방향인지 피드백받아 영상선택부에 전달하는 시선방향수신부;를 포함하고,
    상기 실시간방송장치는 실시간성을 확보하기 위해 복수의 촬영부로부터 촬영된 복수의 가상현실영상을 스티칭(stitching)하지 않고 사용자단말의 시선방향이 포함된 촬영부의 영상만을 사용자단말에게 전송하여 가상현실 콘텐츠의 실시간 방송을 구현하는 것을 특징으로 하는,
    복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 가상현실영상의 실시간방송장치.
  2. 제1항에 있어서,
    복수의 촬영부는
    동일한 시간에 동일한 지점에서 서로 다른 방향을 촬영하기 위해 배치된 N개의 카메라부를 포함하고,
    N개의 카메라부는 N개의 카메라부가 커버하는 전체화각을 N개로 나눈 임시화각의 양측에 각각 소정의 보호화각을 더한 값인 촬영화각을 촬영하도록 구성되어,
    하나의 카메라부가 촬영하는 화각이 양측에 인접한 다른 카메라부가 커버하는 화각과 소정의 화각만큼 중첩되도록 설정되는 것인,
    복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 가상현실영상의 실시간방송장치.
  3. 제1항에 있어서,
    시선방향수신부는 사용자단말에서 재생할 수 있는 사용자단말 고유의 재생화각 및 사용자의 시선방향을 수신하고,
    영상선택부는 사용자단말의 시선방향이 변함에 따라 재생화각의 일단이 현재 실시간 방송 중인 촬영부의 촬영화각에 포함된 보호화각에 진입하면, 재생화각의 일단이 소정의 전환기준을 충족하는지 여부를 판단하여, 재생화각의 일단이 소정의 전환기준을 만족할 때 현재 실시간 방송 중인 촬영부의 영상을 차단하고 인접한 촬영부의 영상이 전송되도록 촬영부를 전환하는 것인,
    복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 가상현실영상의 실시간방송장치.
  4. 제1항의 가상현실영상의 실시간방송장치를 이용하여 실시간 방송하기 위한 실시간방송방법으로서:
    (a) 복수의 촬영부에 포함된 카메라부가 촬영하는 촬영화각을 결정하는 단계;
    (b) 복수의 촬영부 중 사용자단말의 시선방향과 매칭되는 촬영부에서 촬영 중인 영상을 사용자단말로 실시간 전송하는 단계;
    (c) 사용자단말의 시선방향 및 사용자단말에서 재생할 수 있는 사용자단말 고유의 재생화각을 수신하는 단계;
    (d) 사용자단말의 시선방향이 변함에 따라, 재생화각의 일단과 현재 실시간 방송 중인 촬영부의 촬영화각이 소정의 전환기준을 만족하는지 여부를 판단하는 단계; 및
    (e) 전환기준이 만족되면, 현재 실시간 방송 중인 촬영부의 영상을 차단하고 인접한 촬영부의 영상이 전송되도록 촬영부를 전환하는 단계;를 포함하는 것이고,
    상기 실시간방송방법은 실시간성을 확보하기 위해 복수의 촬영부로부터 촬영된 복수의 가상현실영상을 스티칭(stitching)하지 않고 사용자단말의 시선방향이 포함된 촬영부의 영상만을 사용자단말에게 전송하여 가상현실 콘텐츠의 실시간 방송을 구현하는 것을 특징으로 하는,
    복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 가상현실영상의 실시간방송방법.
  5. 제4항에 있어서,
    (a) 단계에서 복수의 촬영부는동일한 시간에 동일한 지점에서 서로 다른 방향을 촬영하기 위해 배치된 N개의 카메라부가, N개의 카메라부가 커버하는 전체화각을 N개로 나눈 임시화각의 양측에 각각 소정의 보호화각을 더한 값인 촬영화각을 촬영하도록 설정되고,
    (d) 단계는
    (d-1) 사용자단말의 시선방향이 변함에 따라 재생화각의 일단이 현재 실시간 방송 중인 촬영부의 촬영화각에 포함된 보호화각에 진입했는지 판단하는 단계;
    (d-2) 재생화각의 일단이 보호화각에 진입하면, 재생화각의 일단이 소정의 전환기준을 충족하는지 여부를 판단하는 단계; 및
    (d-3) 재생화각의 일단이 보호화각을 벗어나면 전환기준을 충족하는지 여부에 대한 판단을 중지하는 단계;를 포함하는 것인,
    복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 가상현실영상의 실시간방송방법.
  6. 제4항에 있어서,
    (e) 단계는 촬영부의 전환절차가 시작되면, 촬영부 영상의 키프레임(key frame)에서만 영상의 전환이 실행되도록 하여 전환 전후의 영상 사이에 프레임 동기화를 구현하는 것인,
    복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 가상현실영상의 실시간방송방법.
KR1020190156487A 2019-11-29 2019-11-29 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법 Active KR102295265B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190156487A KR102295265B1 (ko) 2019-11-29 2019-11-29 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법
PCT/KR2020/017154 WO2021107708A1 (ko) 2019-11-29 2020-11-27 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법
CN202080083114.0A CN114762353B (zh) 2019-11-29 2020-11-27 实时播放由多个摄像头输入的虚拟现实影像的装置及方法
US17/827,225 US11503268B2 (en) 2019-11-29 2022-05-27 Device and method for broadcasting virtual reality images input from plurality of cameras in real time

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190156487A KR102295265B1 (ko) 2019-11-29 2019-11-29 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210067155A KR20210067155A (ko) 2021-06-08
KR102295265B1 true KR102295265B1 (ko) 2021-08-30

Family

ID=76129824

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190156487A Active KR102295265B1 (ko) 2019-11-29 2019-11-29 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법

Country Status (4)

Country Link
US (1) US11503268B2 (ko)
KR (1) KR102295265B1 (ko)
CN (1) CN114762353B (ko)
WO (1) WO2021107708A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291804B (zh) * 2023-09-28 2024-09-13 武汉星巡智能科技有限公司 基于加权融合策略的双目图像实时拼接方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018033107A (ja) 2016-08-26 2018-03-01 株式会社ｈｏｌｏ 動画の配信装置及び配信方法
KR101887380B1 (ko) 2017-03-30 2018-08-10 에스피테크놀러지 주식회사 복수 개의 카메라를 이용한 촬영 이미지의 전송 및 처리를 위한 장치 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101577627B1 (ko) * 2014-04-25 2015-12-15 세종대학교산학협력단 혼합 현실 콘텐츠 재생 장치 및 렌더링 방법
CN106598235B (zh) * 2016-11-29 2019-10-22 歌尔科技有限公司 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备
US10186075B2 (en) * 2016-11-30 2019-01-22 Adcor Magnet Systems, Llc System, method, and non-transitory computer-readable storage media for generating 3-dimensional video images
KR101908952B1 (ko) * 2017-02-27 2018-12-19 (주)진명아이앤씨 Uhd동영상 스티칭 방법 및 그 장치
CN107169924B (zh) * 2017-06-14 2020-10-09 歌尔科技有限公司 三维全景图像的建立方法和系统
KR102111501B1 (ko) * 2017-06-19 2020-05-15 주식회사 케이티 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법
KR20180137916A (ko) * 2017-06-20 2018-12-28 (주)레드몽키픽처스 가상현실 영상컨텐츠 제공시스템 및 제공방법
KR20190085681A (ko) * 2018-01-11 2019-07-19 주식회사 제이슨와이 실감형 ｖｒ 영상의 제공 방법 및 이를 위한 서버 장치
JP6670965B2 (ja) * 2019-04-23 2020-03-25 株式会社スクウェア・エニックス 表示システム及び表示方法
KR20190078553A (ko) * 2019-06-14 2019-07-04 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
US11362251B2 (en) * 2019-12-02 2022-06-14 Facebook Technologies, Llc Managing thermal resistance and planarity of a display package

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018033107A (ja) 2016-08-26 2018-03-01 株式会社ｈｏｌｏ 動画の配信装置及び配信方法
KR101887380B1 (ko) 2017-03-30 2018-08-10 에스피테크놀러지 주식회사 복수 개의 카메라를 이용한 촬영 이미지의 전송 및 처리를 위한 장치 및 방법

Also Published As

Publication number Publication date
CN114762353B (zh) 2023-01-24
WO2021107708A1 (ko) 2021-06-03
US11503268B2 (en) 2022-11-15
CN114762353A (zh) 2022-07-15
KR20210067155A (ko) 2021-06-08
US20220295035A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
WO2021179783A1 (zh) 基于自由视点的视频直播处理方法、设备、系统、芯片及介质
US9313421B2 (en) Multiple-input configuration and playback video enhancement
US10262692B2 (en) Method and system for automatic television production
CN109121466B (zh) 全向视频编码和流传输
EP3028472B1 (en) Providing tile video streams to a client
US8953079B2 (en) System and method for generating 360 degree video recording using MVC
KR101667723B1 (ko) 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법
EP3827594A1 (en) Bookmarking system and method in 360-degree immersive video based on gaze vector information
CN111355966A (zh) 环绕自由视角直播方法及系统
GB2444533A (en) Rendering composite images
CA3018600C (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN113556462B (zh) 用于控制平移倾斜变焦相机的方法和系统以及存储介质
CN114727126A (zh) 一种将图像缝合应用于多机位vr导播台的实现方法
WO2024082561A1 (zh) 视频处理方法、装置、计算机、可读存储介质及程序产品
KR102295265B1 (ko) 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법
US10015531B1 (en) Occlusionless method for virtual image insertion
CN116781958B (zh) 一种基于xr的多机位演播系统及方法
CN113938617A (zh) 一种多路视频显示方法、设备、网络摄像机及存储介质
GB2354388A (en) System and method for capture, broadcast and display of moving images
US11321845B2 (en) Method and device for controlling transit time of reproduced image among a plurality of segmented images
CN113949884A (zh) 多视点视频数据处理方法、设备及存储介质
JP4608139B2 (ja) 画像合成方法及び画像合成装置
KR20170107779A (ko) 3분할 디지털 시네마의 상영 방법 및 장치
TWI822158B (zh) 沉浸式串流影像擷取與成像之裝置及方法
KR102124194B1 (ko) 영상분석을 위한 다채널 영상 전송 시스템 및 이의 제어 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191129

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200916

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210528

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210824

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210824

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20231227

Start annual number: 4

End annual number: 4