[go: up one dir, main page]

KR20190112407A - 홀로포테이션 컨텐츠 운용 방법 - Google Patents

홀로포테이션 컨텐츠 운용 방법 Download PDF

Info

Publication number
KR20190112407A
KR20190112407A KR1020180034362A KR20180034362A KR20190112407A KR 20190112407 A KR20190112407 A KR 20190112407A KR 1020180034362 A KR1020180034362 A KR 1020180034362A KR 20180034362 A KR20180034362 A KR 20180034362A KR 20190112407 A KR20190112407 A KR 20190112407A
Authority
KR
South Korea
Prior art keywords
holographic content
electronic device
processor
output
holographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020180034362A
Other languages
English (en)
Inventor
강병두
경동욱
박명환
엄준열
이주화
Original Assignee
(주)씨소
쿠도커뮤니케이션 주식회사
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)씨소, 쿠도커뮤니케이션 주식회사, 주식회사 엘지유플러스 filed Critical (주)씨소
Priority to KR1020180034362A priority Critical patent/KR20190112407A/ko
Publication of KR20190112407A publication Critical patent/KR20190112407A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 홀로포테이션 컨텐츠 운용 방법에 관한 것이다. 본 발명의 홀로포테이션 컨텐츠 운용 방법은 피사체에 대하여 다양한 각도에서 촬영한 동영상들을 획득하는 단계, 상기 획득된 동영상들에서 지정된 객체를 검출하는 마스킹 단계, 상기 검출된 객체에 해당하는 영상들을 기반으로 실시간 또는 움직임을 가지는 홀로그램을 포함하는 홀로포테이션 컨텐츠를 생성하는 단계를 포함할 수 있다.

Description

홀로포테이션 컨텐츠 운용 방법{Operating method for Holoportation contents}
본 발명은 적어도 하나의 홀로그램 객체와 관련한 무빙 홀로그램 또는 실시간 홀로그램에 해당하는 홀로포테이션 컨텐츠의 생성과 전송 및 출력과 관련한 홀로포테이션 컨텐츠 운용 방법에 관한 것이다.
사람의 눈이 물체를 볼 수 있는 것은 빛이 물체에 부딪쳐 반사되어 나오는 빛으로 인해서 볼 수 있는 것이다. 예를 들면, 사진은 물체에서 반사되어 나온 빛의 세기를 렌즈를 사용하여 필름에 기록한 것이다. 하지만, 사진 속의 물체들이 2차원으로 보이는 이유는 사진이 빛의 위상 정보는 모두 버리고 빛의 밝고 어두운 정도인 진폭 정보만을 기록하기 때문이다. 실제 3차원 물체의 영상을 제공하려면, 빛의 밝기, 색상 정보뿐만 아니라 사람의 눈으로부터 물체까지의 거리에 관한 위상 정보를 모두 기록해야만 한다. 이러한 빛의 밝기, 색상 정보 및 위상 정보를 모두 기록한 것을 홀로그램(Hologram)이라 하며, 홀로그램을 재현하는 기술이 홀로그래피(Holography)라 한다. 종래 아날로그 방식의 홀로그램은 필름 기반의 사진과 동일한 기술로써 촬영, 인화 및 재생의 과정이 필요한 3차원 사진술의 범주에 머물러 있으며, 홀로그램의 획득은 일체의 진동이 없는 암실에서 레이저를 이용해 촬영하는 단계를 필요로 하므로 보편적인 활용은 쉽지 않은 상황이다.
상기와 같은 아날로그 방식의 홀로그래피를 개선하기 위해 컴퓨터로 CGH(Computer Generated Hologram)를 생성하고 재현하는 디지털 홀로그래피 기술이 제공되고 있다. 디지털 홀로그래피 디스플레이 기술은 광변조기(SLM)를 기반으로 레이저와 같은 빛의 회절 현상을 이용하여 3차원 공간에 입체 영상을 출력하는 기술이다.
종래 디지털 홀로그래피 기술은 지정된 모델을 지정된 공간 상에 출력하는 형태로만 설계되고 있다. 이에 따라, 종래 디지털 홀로그래피 기술은 단순히 정해진 컨텐츠를 재생하는 형태의 서비스만을 제공하고 있어, 컨텐츠가 단조롭고, 주변 상황을 반영할 수 없는 문제점이 있었다.
등록특허공보 제10-1734635호(2017.05.02. 등록)
본 발명은 적어도 하나의 홀로그램 객체의 무빙 홀로그램 또는 실시간 홀로그램을 포함하는 홀로포테이션 컨텐츠의 생성과, 전송 및 출력 중 적어도 일부를 수행하는 홀로포테이션 컨텐츠 운용 방법을 제공함에 있다.
본 발명의 실시 예에 따르면, 본 발명의 홀로포테이션 컨텐츠 운용 방법은 피사체에 대하여 다양한 각도에서 촬영한 동영상들을 획득하는 단계, 상기 획득된 동영상들에서 지정된 객체를 검출하는 마스킹 단계, 상기 검출된 객체에 해당하는 영상들을 기반으로 실시간 또는 움직임을 가지는 홀로그램을 포함하는 홀로포테이션 컨텐츠를 생성하는 단계를 포함할 수 있다.
상기 획득하는 단계는 상기 피사체의 RGB 영상 및 상기 피사체의 깊이 영상을 획득하는 단계를 포함할 수 있다.
상기 생성하는 단계는 상기 마스킹된 객체들을 스테레오 정합하는 단계, 상기 스테레오 정합된 정보에 TSDF(truncated signed distance representation) 알고리즘을 적용하여 Voxel 구조를 생성하는 단계를 포함할 수 있다.
또한, 상기 홀로포테이션 컨텐츠 운용 방법은 상기 홀로포테이션 컨텐츠를 수신하여 표시할 표시 장치와 통신 채널을 형성하는 단계, 상기 생성된 홀로포테이션 컨텐츠를 상기 표시 장치에 전송하는 단계를 더 포함할 수 있다.
또는, 상기 홀로포테이션 컨텐츠 운용 방법은 통신 인터페이스를 통하여 외부로부터 홀로포테이션 컨텐츠를 수신하는 단계, 상기 수신된 홀로포테이션 컨텐츠를 출력하는 단계를 더 포함할 수 있다.
여기서, 상기 출력하는 단계는 상기 수신된 홀로포테이션 컨텐츠를 증강 현실 환경에서 출력하는 단계를 포함할 수 있다.
상기 출력하는 단계는 상기 수신된 홀로포테이션 컨텐츠를 가상 현실 환경에서 출력하는 단계를 포함할 수 있다.
또한, 상기 출력하는 단계는 상기 전자 장치의 움직임에 따른 센서 정보를 수집하는 단계, 상기 센서 정보에 따라 출력 중인 홀로포테이션 컨텐츠의 출력 면을 변경하는 단계를 포함할 수 있다.
상술한 바와 같이, 본 발명의 홀로포테이션 컨텐츠 운용 방법에 따르면, 본 발명은 실시간으로 생성되는 홀로그램 또는 움직임을 가지는 객체에 대응하는 무빙 홀로그램을 포함하는 홀로포테이션 컨텐츠를 기반으로 다양하고 실제에 가까운 다양한 가상 환경을 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 홀로포테이션 컨텐츠 운용 방법과 관련한 전자 장치 구성의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 홀로포테이션 컨텐츠 운용 방법의 한 예를 나타낸 도면이다.
도 3a는 본 발명의 실시 예에 따른 홀로포테이션 컨텐츠 생성 방법의 한 예를 나타낸 도면이다.
도 3b는 본 발명의 실시 예에 따른 TSDF 알고리즘 적용을 설명하는 도면이다.
도 4는 본 발명의 실시 예에 따른 홀로포테이션 컨텐츠 표시 방법의 한 예를 나타낸 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
도 1은 본 발명의 실시 예에 따른 홀로포테이션 컨텐츠 운용 방법과 관련한 전자 장치 구성의 한 예를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 홀로포테이션 컨텐츠 운용과 관련한 전자 장치(800)는 프로세서(860), 통신 인터페이스(810) 및 메모리(820)를 포함하고, 입력부(830), 출력 장치(840), 카메라 장치(850) 중 적어도 하나를 지원하는 기능(예: 홀로포테이션 컨텐츠 생성 기능, 전송 기능, 표시 기능 등)에 따라 선택적으로 포함할 수 있다. 예컨대, 상기 전자 장치(800)가 홀로포테이션 컨텐츠를 생성하는 생성 장치인 경우, 상기 전자 장치(800)는 통신 인터페이스(810), 메모리(820), 카메라 장치(850) 및 프로세서(860)를 포함할 수 있다. 상기 전자 장치(800)가 홀로포테이션 컨텐츠를 전송하는 장치인 경우, 상기 전자 장치(800)는 프로세서(860), 통신 인터페이스(810) 및 메모리(820)를 포함할 수 있다. 상기 전자 장치(800)가 홀로포테이션 컨텐츠를 표시하는 장치인 경우, 상기 전자 장치(800)는 통신 인터페이스(810), 메모리(820), 입력부(830), 출력 장치(840) 및 프로세서(860)를 포함할 수 있다. 상기 전자 장치(800)가 홀로포테이션 컨텐츠 생성 및 표시를 동시 수행할 수 있는 경우, 상기 전자 장치(800)는 통신 인터페이스(810), 메모리(820), 입력부(830), 출력 장치(840), 카메라 장치(850) 및 프로세서(860)를 포함할 수 있다. 상기 홀로포테이션 컨텐츠는 특정 피사체를 다양한 각도에서 복수개의 카메라를 이용하여 촬영하되, RGB 영상 및 깊이 영상을 획득하고 이를 기반으로 생성한 실시간 홀로그램 또는 무빙 홀로그램을 포함할 수 있다.
상기 통신 인터페이스(810)는 외부 전자 장치(예: 홀로포테이션 컨텐츠를 수집하여 제공하는 서버 장치 또는 상기 홀로포테이션 컨텐츠를 수신하여 표시하는 표시 장치)와 통신 채널을 형성할 수 있다. 상기 통신 인터페이스(810)는 상기 전자 장치(800)가 홀로포테이션 컨텐츠 생성 기능을 지원하는 경우, 생성된 홀로포테이션 컨텐츠를 외부 전자 장치에 전송할 수 있다. 상기 통신 인터페이스(810)는 상기 전자 장치(800)가 홀로포테이션 컨텐츠 표시 기능을 지원하는 경우, 홀로포테이션 컨텐츠를 외부 전자 장치(예: 홀로포테이션 컨텐츠를 생성하는 생성 장치 또는 홀로포테이션 컨텐츠를 제공하는 서버 장치)로부터 홀로포테이션 컨텐츠를 수신할 수 있다. 이러한 통신 인터페이스(810)는 5G 통신 네트웍을 지원하는 통신 회로를 포함할 수 있다.
상기 메모리(820)는 상기 전자 장치(800) 운용과 관련한 적어도 하나의 응용 프로그램 및 데이터, 운영 체제 등을 저장할 수 있다. 상기 메모리(820)는 상기 전자 장치(800)는 홀로포테이션 컨텐츠 생성 기능을 지원하는 경우, 다양한 각도에서 피사체에 대한 동영상을 촬영하는 복수의 카메라들을 포함하는 카메라 장치(850)가 촬영한 동영상들을 임시 저장할 수 있다. 상기 메모리(820)는 상기 동영상들에 대한 마스킹 작업 및 TSDF 알고리즘 적용에 따라 생성된 홀로포테이션 컨텐츠를 저장할 수 있다. 상기 메모리(820)는 상기 전자 장치(800)가 홀로포테이션 컨텐츠 표시 기능을 지원하는 경우, 홀로포테이션 컨텐츠를 제공하는 생성 장치 또는 서버 장치로부터 수신된 홀로포테이션 컨텐츠를 저장할 수 있다.
상기 입력부(830)는 상기 전자 장치(800)의 사용자 입력을 생성할 수 있는 적어도 하나의 수단을 포함할 수 있다. 예컨대, 상기 입력부(830)는 버튼 키, 또는 터치스크린, 음성 입력 기능 등을 지원할 수 있는 마이크 및 오디오 처리 장치 등을 포함할 수 있다. 상기 입력부(830)는 홀로포테이션 컨텐츠 생성과 관련한 카메라 장치(850) 제어와 관련한 사용자 입력 신호를 생성할 수 있다. 상기 입력부(830)는 홀로포테이션 컨텐츠를 제공하는 생성 장치 또는 서버 장치 접속과 관련한 사용자 요청에 대응하는 사용자 입력 신호를 생성할 수 있다. 상기 입력부(830)는 수신된 홀로포테이션 컨텐츠의 출력 제어와 관련한 사용자 입력 신호를 생성할 수 있다. 예컨대, 상기 입력부(830)는 표시 중인 홀로포테이션 컨텐츠의 조정 및 컨텐츠 표시 종료와 관련한 사용자 입력 신호를 생성할 수 있다.
상기 출력 장치(840)는 상기 전자 장치(800)가 표시할 수 있는 적어도 하나의 텍스트 또는 이미지 등을 출력할 수 있는 디스플레이, 오디오 정보를 출력할 수 있는 오디오 출력 장치 등을 포함할 수 있다. 상기 전자 장치(800)가 홀로포테이션 컨텐츠 생성 기능을 지원하는 동안 상기 출력 장치(840)는 카메라 장치(850)가 촬영하고 있는 복수의 동영상들 중 적어도 하나를 디스플레이에 출력할 수 있다. 상기 출력 장치(840)는 복수의 동영상들로부터 생성된 홀로포테이션 컨텐츠를 디스플레이 출력할 수 있다. 상기 전자 장치(800)가 홀로포테이션 컨텐츠 표시 기능을 지원하는 동안 상기 출력 장치(840)는 홀로포테이션 컨텐츠를 제공하는 생성 장치 또는 서버 장치 목록 화면, 상기 생성 장치 또는 서버 장치와의 연결 상태 정보, 수신된 홀로포테이션 컨텐츠가 표시된 화면 등을 출력할 수 있다. 상기 오디오 출력 장치는 상기 홀로포테이션 컨텐츠 생성 과정에서 함께 포함된 오디오 정보를 상기 홀로포테이션 컨텐츠 재생 과정에서 출력할 수 있다. 상기 홀로포테이션 컨텐츠 재생과 관련하여 상기 출력 장치(840)는 증강 현실 환경을 제공할 수 있는 장치를 포함할 수 있다. 또는, 상기 출력 장치(840)는 가상 현실 환경을 제공할 수 있는 장치, 다초점 디스플레이가 가능한 장치, 또는 모바일 장치에 적용된 출력 장치를 포함할 수 있다.
상기 카메라 장치(850)는 상기 전자 장치(800)가 홀로포테이션 컨텐츠 생성 기능을 지원하는 동안 운용될 수 있다. 상기 카메라 장치(850)는 다양한 각도에서 피사체에 대한 복수의 동영상들을 촬영할 수 있는 복수의 카메라들을 포함할 수 있다. 상기 복수의 카메라들은 예컨대 일정 그룹 단위로 묶여 피사체를 중심으로 일정 방위에 배치될 수 있다. 상기 복수의 카메라들을 예컨대, 적어도 하나의 RGB 카메라 및 적어도 하나의 깊이 카메라(IR 카메라 또는 NIR 카메라)를 포함할 수 있다. 이에 따라, 촬영된 동영상들은 피사체에 대한 다양한 각도에서 촬영한 RGB 동영상들과, 피사체에 대한 다양한 각도에서 촬영한 Depth 동영상들을 포함할 수 있다. 상기 카메라 장치(850)가 촬영한 동영상들을 프로세서(860) 처리에 따라 홀로포테이션 컨텐츠로 변환될 수 있다. 상기 홀로포테이션 컨텐츠는 마스킹 작업, 스테레오 정합 작업, TSDF 알고리즘을 기반으로 Voxel 구조화 작업, 색상 입히기 작업 등을 통하여 생성될 수 있다. 상기 마스킹 작업에는 CRF(Conditional Random Fields) 알고리즘 또는 MOG 알고리즘이 적용될 수 있다. 상기 Voxel 구조화 작업에는 TSDF(truncated signed distance representation) 알고리즘이 적용될 수 있다. 상기 Voxel은 예컨대, 2차원 Pixel들을 3차원 좌표로 적용한 셀들에 대응될 수 있다. 추가적으로, 상기 Voxel 구조화 작업 시, 상기 홀로포테이션 컨텐츠 표시 장치는 TSDF에서 정규화된 marching cubes를 통해서 Mesh화 데이터들을 기반으로 객체에 대한 Voxel 구조를 구축할 수 있다.
상기 프로세서(860)는 상기 전자 장치(800)의 기능 운용과 관련한 명령어들의 처리 또는 데이터들의 처리를 수행할 수 있다. 상기 전자 장치(800)가 홀로포테이션 컨텐츠 생성 기능을 수행하는 동안, 상기 프로세서(860)는 기 설정된 스케줄리오딘 정보 또는 사용자 제어에 대응하여 상기 카메라 장치(850)를 운용하여 피사체에 대한 다양한 각도에서의 복수의 동영상들을 수집할 수 있다. 상기 프로세서(860)는 수집된 복수의 동영상들의 깊이 정보 및 RGB 이미지를 기반으로 마스킹 작업을 수행하여 지정된 피사체에 대응하는 객체 검출을 수행할 수 있다. 예컨대, 프로세서(860)는 다양한 각도에서의 객체 검출을 수행할 수 있다. 상기 프로세서(860)는 객체 검출 과정에서 TSDF 알고리즘을 적용할 수 있다. 상기 프로세서(860)는 검출된 다양한 각도에서의 객체들에 대한 스테레오 정합을 수행하여 3D 홀로그램을 생성할 수 있다. 이 작업에서, 상기 프로세서(860)는 실시간 3D 홀로그램 또는 움직임을 가지는 3D 홀로그램을 포함하는 홀로포테이션 컨텐츠를 생성할 수 있다.
상기 프로세서(860)는 생성된 홀로포테이션 컨텐츠를 수집하여 제공하는 서버 장치에 전송하거나 또는 홀로포테이션 컨텐츠를 소비하는 홀로포테이션 컨텐츠 표시 장치에 전송할 수 있다. 이 과정과 관련하여, 상기 프로세서(860)는 서버 장치 주소 정보 또는 홀로포테이션 컨텐츠 표시 장치의 연결 정보를 사용자 입력 등을 통해 획득하고, 통신 채널을 형성한 후 상기 홀로포테이션 컨텐츠를 상기 서버 장치 또는 표시 장치에 전송할 수 있다.
상기 프로세서(860)는 홀로포테이션 컨텐츠를 생성 장치 또는 서버 장치로부터 수신할 수 있다. 이와 관련하여, 상기 프로세서(860)는 생성 장치 또는 서버 장치와 통신 채널을 형성하고, 사용자 입력에 대응하여 지정된 홀로포테이션 컨텐츠를 수신하거나 또는 상기 생성 장치 또는 서버 장치가 제공하는 홀로포테이션 컨텐츠를 수신할 수 있다. 상기 프로세서(860)는 수신된 홀로포테이션 컨텐츠를 상기 출력 장치(840)에 출력할 수 있다. 상기 프로세서(860)는 상기 입력부(830)로부터 입력되는 사용자 입력에 대응하여 상기 홀로포테이션 컨텐츠의 표시면을 변경할 수 있다. 다른 예시로서, 상기 전자 장치(800)는 움직임을 감지할 수 있는 가속도 센서나 지자기 센서 또는 자이로 센서 등을 포함하고, 센서 정보에 대응하여 상기 홀로포테이션 컨텐츠의 표시면을 변경할 수 있다.
도 2는 본 발명의 실시 예에 따른 홀로포테이션 컨텐츠 운용 방법의 한 예를 나타낸 도면이다.
도 2를 참조하면, 상기 홀로포테이션 컨텐츠 운용 방법과 관련하여, 홀로포테이션 컨텐츠 생성 기능을 수행하는 상기 전자 장치(800)의 프로세서(860)는 801 단계에서 홀로포테이션 컨텐츠의 생성 여부를 확인할 수 있다. 홀로포테이션 컨텐츠 생성과 관련하여, 전자 장치(800)의 피사체에 대해 다양한 각도에서 복수의 카메라를 이용하여 동영상들을 촬영하고, 촬영된 동영상에 대한 마스킹 작업(예: CRF 알고리즘 적용), 스테레오 정합 작업, TSDF 알고리즘 적용 작업 등을 수행할 수 있다.
홀로포테이션 컨텐츠가 생성된 경우, 프로세서(860)는 803 단계에서, 홀로포테이션 컨텐츠 전송을 수행할 수 있다. 이와 관련하여, 프로세서(860)는 홀로포테이션 컨텐츠를 수신하는 표시 장치와 통신 채널(예: 5G 통신 네트웍 기반의 통신 채널)을 형성할 수 있다. 사용자는 표시 장치와 연결할 수 있는 연결 정보를 전자 장치(800)에 입력할 수 있다. 다른 예로서, 사용자는 폰 북 등에 포함된 표시 장치 연결 정보를 선택할 수 있으며, 전자 장치(800)는 폰 북에 저장된 연결 정보를 기반으로 표시 장치와 5G 통신 채널을 형성할 수도 있다. 또는, 상기 전자 장치(800)는 네트웍을 통하여 표시 장치와 통신 채널을 형성할 수도 있다.
상기 프로세서(860)는 805 단계에서, 홀로포테이션 컨텐츠 수신이 있는지 확인할 수 있다. 상기 전자 장치(800)의 홀로포테이션 컨텐츠 수신을 확인하는 동작은 상술한 홀로포테이션 컨텐츠 생성 동작과는 독립적으로 또는 병렬적으로 처리될 수 있다. 예컨대, 상기 프로세서(860)는 홀로포테이션 컨텐츠 생성 과정 중에 외부 전자 장치(예: 서버 장치 또는 타 홀로포테이션 컨텐츠 생성 장치)로부터 홀로포토에이션 컨텐츠를 수신할 수도 있다.
홀로포테이션 컨텐츠가 수신되면, 프로세서(860)는 807 단계에서 수신된 홀로포테이션 컨텐츠를 출력할 수 있다. 이와 관련하여, 프로세서(860)는 통신 인터페이스(810)를 통해 연결된 타 홀로포테이션 컨텐츠 생성 장치 또는 홀로포테이션 컨텐츠를 제공하거나 중계하는 서버 장치로부터 홀로포테이션 컨텐츠를 수신할 수 있다.
상기 프로세서(860)는 홀로포테이션 컨텐츠 수신이 없는 경우 801 단계 이전으로 분기하여 이하 동작을 재수행할 수 있다. 상기 프로세서(860)는 801 단계에서 홀로포테이션 컨텐츠 생성이 없는 경우 809 단계 이전으로 분기하여 이후 홀로포테이션 컨텐츠 운용 기능의 종료가 발생하는지 확인할 수 있다. 809 단계에서, 기능 종료와 관련한 입력 신호가 발생하지 않으면, 상기 프로세서(860)는 805 단계 이전으로 분기하여 이하 과정을 재수행할 수 있다.
도 3a는 본 발명의 실시 예에 따른 홀로포테이션 컨텐츠 생성 방법의 한 예를 나타낸 도면이다.
도 3a를 참조하면, 전자 장치(800)의 프로세서(860)는 510 단계에서 복수의 카메라를 이용하여 다양한 각도에서 피사체에 대한 동영상들을 획득할 수 있다. 이와 관련하여, 특정 피사체를 중심으로 상기 복수의 카메라들이 다양한 각도로 배치될 수 있다. 예컨대, 상기 복수의 카메라는 상기 피사체의 전후좌우면이 RGB 영상 및 Depth 영상을 촬영할 수 있도록 배치될 수 있다. 또는, RGB 영상을 획득할 수 있는 카메라와 Depth 영상을 획득할 수 있는 카메라들이 쌍으로 또는 그룹으로 복수의 지점(예: 피사체를 중심으로 4방위 또는 8 방위 또는 36 방위 등)에 배치될 수 있다.
전자 장치(800)의 프로세서(860)는 520 단계에서 마스킹을 수행하여 주요 객체를 추출할 수 있다. 상기 마스킹 작업에는 CRF(Conditional Random Fields) 알고리즘 또는 MOG 알고리즘이 적용될 수 있다.
전자 장치(800)의 프로세서(860)는 530 단계에서 깊이 정보(또는 Depth 영상)를 기반으로 홀로포테이션 컨텐츠를 생성할 수 있다. 상기 깊이 정보 기반으로 생성되는 홀로포테이션 컨텐츠는 Voxel 구조의 데이터로 저장될 수 있다. 상기 Voxel 구조화 작업에는 TSDF(truncated signed distance representation) 알고리즘이 적용될 수 있다. 상기 Voxel은 예컨대, 2차원 Pixel들을 3차원 좌표로 적용한 셀들에 대응될 수 있다. 추가적으로, 상기 Voxel 구조화 작업 시, 상기 홀로포테이션 컨텐츠 표시 장치는 TSDF에서 정규화된 marching cubes를 통해서 Mesh화 데이터들을 기반으로 객체에 대한 Voxel 구조를 구축할 수 있다. 추가적으로 상기 프로세서(860)는 3D 모델링된 홀로그램의 적어도 한 면에 특정 색체를 입힐 수 있다. 이와 관련하여, 프로세서(860)는 홀로그램의 복수의 면에 적용할 색체를 RGB 영상들로부터 획득하고, 획득된 RGB 영상들을 기반으로 복수의 면에 동일 또는 각기 다른 색체를 입힐 수 있다.
도 3b는 본 발명의 실시 예에 따른 TSDF 알고리즘 적용을 설명하는 도면이다.
도 3b를 참조하면, TSDF 알고리즘 적용에 따라 3차원 구조의 Voxel은 501 상태에서와 같이 입방체의 형태로 표시될 수 있다. 여기서, dx, dy, dz의 길이는 홀로포테이션 컨텐츠 표시 장치의 설정에 따라 달라질 수 있다. 복수의 카메라들이 획득한 영상들에 대하여 상술한 3차원 구조의 Voxel 구조를 적용하면, 503 상태에서와 같이, 복수개의 단위 큐브들로 구성된 Voxel 구조가 만들어질 수 있다. 여기서, 복수개의 단위 큐브들은 컴퓨팅 장치가 지원하는 형태 또는 사용자 설정에 따라 변경될 수 있다. 예컨대, Vx, Vy, Vz는 32, 64, 128, 512 개의 큐브들을 가지는 Voxel 구조를 가질 수 있다.
상술한 Voxel 구조를 기반으로 홀로포테이션 컨텐츠 표시 장치는 객체의 표면을 기준으로 주변 큐브들에 대한 가중치 설정을 수행할 수 있다. 예컨대, 홀로포테이션 컨텐츠 표시 장치는 505 상태에서와 같이, 객체 표면선(109)을 기준으로 인접된 큐브들에 대하여 가중치 점수가 설정될 수 있다. 상기 가중치 점수는 객체 표면선(109)에 가까울수록 0이고, 객체 표면선(109)으로부터 멀어질수록 1 또는 ??1로 설정될 수 있다. 예를 들어, 홀로포테이션 컨텐츠 표시 장치는 객체 표면선(109)으로부터 멀어지되 객체의 바깥쪽 방향으로 멀어지는 경우 1에 가까운 값을 설정하고, 객체 표면선(109)으로부터 멀어지되 객체의 안쪽 방향으로 멀어지는 경우 ??1에 가까운 값을 설정할 수 있다. 상기 홀로포테이션 컨텐츠 표시 장치는 상기 Voxel 구조에서 ??1 또는 1 값을 가지는 Voxel 등은 제거하고, 0에 가까운 가중치 값을 가지는 Voxel들을 추출하고, 추출된 Voxel들을 기반으로 홀로그램 데이터를 메모리(320)에 저장할 수 있다. 또는, 홀로포테이션 컨텐츠 표시 장치는 객체 표면선(109)에 대하여 일정 거리 이내에 있는 Voxel들을 스트리밍 방식으로 외부 전자 장치에 전송할 수 있다. 상기 홀로포테이션 컨텐츠 표시 장치는 상기 Voxel 구조에서, 객체 표면선(109)과 관련하여 일정 가중치 값들을 포함하는 데이터들로만 구성된 홀로포테이션 컨텐츠를 수신하여 표시할 수 있다.
도 4는 본 발명의 실시 예에 따른 홀로포테이션 컨텐츠 표시 방법의 한 예를 나타낸 도면이다.
도 4를 참조하면, 전자 장치(800)의 프로세서(860)는 710 단계에서 홀로포테이션 컨텐츠를 출력 장치(840)에 출력할 수 있다. 이와 관련하여, 상기 전자 장치(800)는 통신 인터페이스(810)를 통하여 홀로포테이션 컨텐츠를 외부 전자 장치(예: 홀로포테이션 컨텐츠 생성 장치 또는홀로포테이션 컨텐츠를 제공하는 서버 장치)로부터 실시간으로 수신하거나 또는 메모리(820)에 저장된 홀로포테이션 컨텐츠를 사용자 입력에 대응하여 재생할 수 있다. 상기 출력 장치(840)는 예컨대, AR(Augmented Reality) 환경을 지원하는 장치, VR(Virtual Reality) 환경을 지원하는 장치, 다초점 디스플레이, 또는 모바일 장치의 디스플레이 중 적어도 하나를 포함할 수 있다. 증강 현실 환경 또는 가상 현실 환경에서, 상기 홀로포테이션 컨텐츠는 증강 현실 환경의 일정 지점에 출력되거나, 가상 환경의 일정 지점에 일정 면이 사용자의 시야에 관측되도록 배치될 수 있다.
홀로포테이션 컨텐츠가 출력되고 있는 상태에서 전자 장치(800)의 프로세서(860)는 720 단계에서 센서 정보를 수집할 수 있다. 이와 관련하여, 상기 전자 장치(800)는 센서를 포함할 수 있다. 상기 센서 정보는 예컨대, 전자 장치(800)의 움직임 또는 회전 등을 감지한 센서 정보를 포함할 수 있다.
전자 장치(800)의 프로세서(860)는 730 단계에서 센서 정보에 따른 홀로포테이션 컨텐츠 표시 위치 및 각도 조절을 수행할 수 있다. 상기 홀로포테이션 컨텐츠는 실시간 홀로그램 또는 무빙 홀로그램의 형태를 가지며, 일정 표시 공간 상에서 그 위치가 변경될 수 있다. 여기서, 프로세서(860)는 복수개의 면 또는 복수의 방향으로 관찰될 수 있는 홀로포테이션 컨텐츠에 포함된 특정 객체의 제1 면이 사용자가 바라보는 방향에 표시하다가, 사용자가 바라보는 방향이 변경됨에 따른 센서 정보가 수신되면, 변경 방향에 대응하여 특정 객체의 다른 면 예컨대, 제2 면이 사용자가 바라보는 방향에 배치되도록 홀로포테이션 컨텐츠의 표시 방향으로 변경할 수 있다.
예를 들어, 6개의 면(제1 면의 왼쪽 방향으로 90도 회전된 면이 제2 면, 제2 면의 왼쪽 방향으로 90도 회전된 면이 제3 면, 제4 면은 제1 면과 제3 면 사이의 면, 제1 면의 위쪽에 배치되는 면은 제5 면, 상기 제5 면과 반대 반향에 배치되는 면이 제6 면)을 가지는 객체(또는 홀로그램 객체)가 증강 현실 환경 또는 가상 현실 환경에서 표시되고 있고, 그 중 제1 면이 사용자가 바라보는 방향에 배치되고 제3 면이 상기 제1 면의 반대 면인 상태의 홀로포테이션 컨텐츠가 표시 장치를 통해 표시될 수 있다. 상기 표시 장치는 예컨대, HMD 장치일 수 있다. 이에 따라, 사용자가 표시 장치를 착용하고, 일정 방향(예: 좌측 방향 또는 우측 방향)으로 180도 회전각이 생기도록 이동할 수 있다. 이 경우, 프로세서(860)는 상기 180도 회전각 발생에 대응하는 센서 정보가 수집되면, 제3 면이 사용자가 바라보는 방향에 배치되도록 홀로포테이션 컨텐츠의 출력 방향으로 조정할 수 있다. 또는, 표시 장치를 착용한 사용자는 현재 제1 면의 객체를 보고 있는 상태에서 객체를 중심으로 왼쪽으로 90도 회전이 되도록 이동할 수 있다. 프로세서(860)는 왼쪽으로 90도 회전각이 생기는 센서 정보를 수신할 수 있다. 이 경우, 프로세서(860)는 제2 면이 사용자가 바라보는 방향에 배치되도록 홀로포테이션 컨텐츠의 출력 방향을 조정할 수 있다.
전자 장치(800)의 프로세서(860)는 740 단계에서 표시 종료와 관련한 이벤트가 발생하는지 확인할 수 있다. 표시 종료와 관련한 이벤트 발생이 없으면, 상기 프로세서(860)는 동작 710 단계 이전으로 분기하여 이하 동작을 재수행할 수 있다.
다른 예시로서, 상기 전자 장치(800)의 프로세서(860)는 사용자 입력에 대응하여 상기 홀로포테이션 컨텐츠에 포함된 적어도 하나의 객체의 표시 방향을 변경할 수 있다. 예컨대, 프로세서(860)는 현재 표시 중인 객체(또는 홀로그램 객체)를 선택하는 사용자 입력 및 상기 객체의 회전을 지시하는 사용자 입력(예: 터치 드래그 신호)을 수신할 수 있다. 상기 프로세서(860)는 상기 사용자 입력에 대응하여 현재 출력 중인 객체의 표시 방향을 변경할 수 있다. 이 동작에서 프로세서(860)는 터치 드래그되는 양과 방향에 따라 상기 표시 중인 객체의 표시 방향을 조정할 수 있다.
상술한 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
800: 전자 장치
810: 입력부
820: 메모리
830: 출력 장치
850: 통신 인터페이스
860: 프로세서

Claims (8)

  1. 피사체에 대하여 다양한 각도에서 촬영한 동영상들을 획득하는 단계;
    상기 획득된 동영상들에서 지정된 객체를 검출하는 마스킹 단계; 및
    상기 검출된 객체에 해당하는 영상들을 기반으로 실시간 또는 움직임을 가지는 홀로그램을 포함하는 홀로포테이션 컨텐츠를 생성하는 단계;를 포함하는 것을 특징으로 하는 홀로포테이션 컨텐츠 운용 방법.
  2. 제1항에 있어서,
    상기 획득하는 단계는
    상기 피사체의 RGB 영상 및 상기 피사체의 깊이 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 홀로포테이션 컨텐츠 운용 방법.
  3. 제1항에 있어서,
    상기 생성하는 단계는
    상기 마스킹된 객체들을 스테레오 정합하는 단계; 및
    상기 스테레오 정합된 정보에 TSDF(truncated signed distance representation) 알고리즘을 적용하여 Voxel 구조를 생성하는 단계;를 포함하는 것을 특징으로 하는 홀로포테이션 컨텐츠 운용 방법.
  4. 제1항에 있어서,
    상기 홀로포테이션 컨텐츠를 수신하여 표시할 표시 장치와 통신 채널을 형성하는 단계; 및
    상기 생성된 홀로포테이션 컨텐츠를 상기 표시 장치에 전송하는 단계;를 더 포함하는 것을 특징으로 하는 홀로포테이션 컨텐츠 운용 방법.
  5. 제1항에 있어서,
    통신 인터페이스를 통하여 외부로부터 홀로포테이션 컨텐츠를 수신하는 단계; 및
    상기 수신된 홀로포테이션 컨텐츠를 출력하는 단계;를 더 포함하는 것을 특징으로 하는 홀로포테이션 컨텐츠 운용 방법.
  6. 제5항에 있어서,
    상기 출력하는 단계는
    상기 수신된 홀로포테이션 컨텐츠를 증강 현실 환경에서 출력하는 단계;를 포함하는 것을 특징으로 하는 홀로포테이션 컨텐츠 운용 방법.
  7. 제5항에 있어서,
    상기 출력하는 단계는
    상기 수신된 홀로포테이션 컨텐츠를 가상 현실 환경에서 출력하는 단계;를 포함하는 것을 특징으로 하는 홀로포테이션 컨텐츠 운용 방법.
  8. 제5항에 있어서,
    상기 출력하는 단계는
    상기 전자 장치의 움직임에 따른 센서 정보를 수집하는 단계; 및
    상기 센서 정보에 따라 출력 중인 홀로포테이션 컨텐츠의 출력 면을 변경하는 단계;를 포함하는 것을 특징으로 하는 홀로포테이션 컨텐츠 운용 방법.
KR1020180034362A 2018-03-26 2018-03-26 홀로포테이션 컨텐츠 운용 방법 Ceased KR20190112407A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180034362A KR20190112407A (ko) 2018-03-26 2018-03-26 홀로포테이션 컨텐츠 운용 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180034362A KR20190112407A (ko) 2018-03-26 2018-03-26 홀로포테이션 컨텐츠 운용 방법

Publications (1)

Publication Number Publication Date
KR20190112407A true KR20190112407A (ko) 2019-10-07

Family

ID=68422359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180034362A Ceased KR20190112407A (ko) 2018-03-26 2018-03-26 홀로포테이션 컨텐츠 운용 방법

Country Status (1)

Country Link
KR (1) KR20190112407A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210068673A (ko) * 2019-12-02 2021-06-10 한국전자통신연구원 3차원 표면정보 기반의 깊이정보 보정 방법 및 장치
WO2024101485A1 (ko) * 2022-11-11 2024-05-16 한국전자기술연구원 움직이는 이미지 홀로그램 제작 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101734635B1 (ko) 2014-01-24 2017-05-15 아바야 인코포레이티드 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제공

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101734635B1 (ko) 2014-01-24 2017-05-15 아바야 인코포레이티드 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제공

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210068673A (ko) * 2019-12-02 2021-06-10 한국전자통신연구원 3차원 표면정보 기반의 깊이정보 보정 방법 및 장치
WO2024101485A1 (ko) * 2022-11-11 2024-05-16 한국전자기술연구원 움직이는 이미지 홀로그램 제작 방법 및 시스템

Similar Documents

Publication Publication Date Title
US11756223B2 (en) Depth-aware photo editing
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
Matsuyama et al. 3D video and its applications
JP2022527708A (ja) 画像処理方法およびヘッドマウントディスプレイデバイス
CN109309796A (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
JP2014014076A (ja) ３ｄ深度情報に基づいたイメージぼかし
CN101577795A (zh) 一种实现全景图像的实时预览的方法和装置
CN110636276B (zh) 视频拍摄方法、装置、存储介质及电子设备
CN109584358A (zh) 一种三维人脸重建方法及装置、设备和存储介质
EP3549108A1 (en) Determining size of virtual object
JP7371264B2 (ja) 画像処理方法、電子機器及びコンピュータ可読記憶媒体
KR20150091064A (ko) 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템
CN111292424A (zh) 多视点360度vr内容提供系统
CN119365889A (zh) 自动成像域转移的系统和方法
KR20190112407A (ko) 홀로포테이션 컨텐츠 운용 방법
JP2011113206A (ja) 映像コミュニケーションシステム、及び映像コミュニケーション方法
CN117319790A (zh) 基于虚拟现实空间的拍摄方法、装置、设备及介质
JP2018033107A (ja) 動画の配信装置及び配信方法
JPH08242469A (ja) 撮像カメラ装置
JP2024114712A (ja) 撮像装置、撮像方法、及び、プログラム
CN111192305B (zh) 用于生成三维图像的方法和装置
CN115035178B (zh) 一种增强现实显示系统、方法及存储介质
KR102019879B1 (ko) 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
KR102019880B1 (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법
US20240073520A1 (en) Dual camera tracking system

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180326

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190403

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20190924

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20190403

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PG1501 Laying open of application