[go: up one dir, main page]

KR102360179B1 - 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라 - Google Patents

가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라 Download PDF

Info

Publication number
KR102360179B1
KR102360179B1 KR1020160012894A KR20160012894A KR102360179B1 KR 102360179 B1 KR102360179 B1 KR 102360179B1 KR 1020160012894 A KR1020160012894 A KR 1020160012894A KR 20160012894 A KR20160012894 A KR 20160012894A KR 102360179 B1 KR102360179 B1 KR 102360179B1
Authority
KR
South Korea
Prior art keywords
camera
cameras
unique
polyhedron
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160012894A
Other languages
English (en)
Other versions
KR20170091950A (ko
Inventor
안드리 볼로크니우크
콘스탄틴 모로조프
김선경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160012894A priority Critical patent/KR102360179B1/ko
Priority to US16/075,089 priority patent/US10750156B2/en
Priority to CN201680080840.0A priority patent/CN108702497B/zh
Priority to PCT/KR2016/004365 priority patent/WO2017135514A1/ko
Priority to EP16889492.1A priority patent/EP3404915B1/en
Publication of KR20170091950A publication Critical patent/KR20170091950A/ko
Application granted granted Critical
Publication of KR102360179B1 publication Critical patent/KR102360179B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

일 실시 예에 따른 3차원 카메라는 복수의 카메라들; 상기 3차원 카메라의 위치를 추적(track)하는 위치 센서; 상기 카메라들은 다면체의 각 버텍스에 배치되고, 각 버텍스에는 적어도 3개 이상의 카메라들이 배치되는 것을 특징으로 한다.

Description

가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라{3D camera of capturing image for providing virtual reality}
가상현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라에 관한 것이다.
최근 가상 현실 디바이스(Virtual Reality Device)를 이용하여 사용자에게 3차워 영상을 제공하는 장치들이 개발되고 있다. 가상 현실 디바이스는 사용자의 움직임을 감지하고, 사용자의 움직임에 따라 변경된 이미지를 제공할 수 있다.
사용자에게 3차원 이미지를 제공하기 위해서, 3차원 이미지를 촬영하는 3차원 카메라가 필요하다. 3차원 카메라는 공간에서의 움직임에 따라 이미지를 촬영하고, 촬영된 이미지를 저장한다. 3차원 카메라는 사용자가 움직일 때마다 이미지를 촬영 및 저장해야 하므로 저장 공간을 포함해야 한다.
가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라를 제공하는 데 있다.
일 실시 예에 따른 가상현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라는 복수의 카메라들; 상기 3차원 카메라의 위치를 추적하는 위치 센서; 상기 카메라들은 다면체의 각 버텍스에 배치되고, 각 버텍스에는 적어도 3개 이상의 카메라들이 배치된다.
일 실시 예에 따른 3차원 카메라는 다면체이고, 다면체의 각 버텍스에 위치한 2차원 카메라들을 이용하여 이미지를 촬영할 수 있다.
일 실시 예에 따른 3차원 카메라는 3차원 카메라의 위치에 따라 인덱스 분포 맵 및 촬영된 이미지를 메모리에 저장할 수 있다.
일 실시 예에 따른 3차원 카메라는 3차원 카메라의 유니크 위치에서만 인덱스 및 이미지를 메모리에 저장할 수 있다.
도 1은 가상 현실의 일 예를 설명하는 도면이다.
도 2는 3차원 카메라 및 가상 현실 디바이스의 관계를 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 가상 현실을 제공하는 장치 및 방법을 설명하기 위한 도면이다.
도 4는 3차원 카메라의 위치 이동을 나타내는 도면이다.
도 5는 3차원 카메라가 인덱스들을 생성하는 방법을 설명하기 위한 도면이다.
도 6은 인덱스들이 커버하는 영역을 원으로 표현한 도면이다.
도 7은 3차원 카메라의 형태를 설명하기 위한 도면이다.
도 8은 버텍스에 위치한 카메라의 시야를 계산하는 방법을 설명하는 도면이다.
도 9는 일 실시 예에 따른 3차원 카메라를 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 3차원 카메라를 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 이미지 촬영 방법을 설명하기 위한 순서도이다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 가상 현실의 일 예를 설명하는 도면이다. 도 1을 참조하면, 사용자는 가상 현실 디바이스(200)를 착용한다. 가상 현실 디바이스(200, VR Device)는 사용자가 있는 공간과 다른 공간의 영상을 사용자에게 제공한다. 예를 들어, 사용자는 실내에서 가상 현실 디바이스(200)를 착용하고, 가상 현실 디바이스(200)는 외국의 도시를 디스플레이 할 수 있다.
가상 현실 디바이스(200)는 사용자의 움직임에 따라 이미지를 디스플레이 한다. 사용자는 몸 전체를 움직이거나, 머리만 움직일 수 있다. 가상 현실 디바이스(200)는 사용자의 몸 전체가 움직이면 사용자의 이동 방향에 따라 이미지의 크기를 조절할 수 있다. 또한, 가상 현실 디바이스(200)는 사용자의 머리가 움직이면 사용자의 머리의 이동 방향에 따라 다른 영상을 디스플레이 할 수 있다.
가상 현실 디바이스(200)는 헤드 마운트 디스플레이(Head Mounted Display) 또는 헤드셋(headset) 등으로 명명될 수 있다.
도 2는 3차원 카메라 및 가상 현실 디바이스의 관계를 설명하기 위한 도면이다. 도 2를 참조하면, 3차원 카메라(100)는 이미지를 촬영하고, 촬영된 이미지를 가상 현실 디바이스(200)로 전송한다. 또한, 3차원 카메라(100)는 이미지를 촬영할 때 3차원 카메라(100)의 위치, 버텍스들의 위치 및 인덱스를 가상 현실 디바이스(200)로 전송한다. 인덱스는 버텍스들이 구성하는 가상의 다면체를 나타낸다. 또한, 인덱스는 가상의 다면체를 식별하기 위한 기호, 문자 또는 숫자 등의 조합일 수 있다. 3차원 카메라(100)는 인덱스들과 버텍스들의 위치를 포함하는 인덱스 분포 맵을 생성하고, 인덱스 분포 맵을 가상 현실 디바이스(200)로 전송할 수 있다.
3차원 카메라(100)는 인덱스 분포 맵(index distribution map)을 생성하고, 메모리에 저장할 수 있다. 인덱스 분포 맵은 유니크 인덱스(unique index) 및 3차원 카메라(100)의 버텍스들의 위치를 포함한다. 3차원 카메라(100)는 3차원 카메라(100)의 위치가 변경되면, 변경된 버텍스들의 위치, 및 인덱스를 메모리에 저장한다.
3차원 카메라(100)는 유니크 인덱스만을 메모리에 저장하고, 유일하지 않은 인덱스는 저장하지 않는다. 유니크 인덱스는 메모리에 저장된 또 다른 인덱스에 속하지(belong) 않는 인덱스이다. 다시 말해서, 인덱스는 가상의 다면체를 나타내고, 다면체들은 서로 오버랩될 수 있다. 오버랩되지 않는 다면체들을 나타내는 인덱스들은 유니크 인덱스이고, 유니크 인덱스들만이 메모리에 저장될 수 있다. 예를 들어, 제1 다면체가 메모리에 저장된 제2 다면체와 오버랩되지 않으면 제1 다면체를 나타내는 인덱스는 유니크 인덱스이다. 3차원 카메라(100)는 유니크 인덱스가 나타내는 위치에서 촬영된 이미지만을 메모리에 저장한다. 3차원 카메라(100)는 3차원 카메라(100)의 위치가 변경되면, 인덱스 분포 맵을 업데이트한다. 3차원 카메라(100)는 인덱스의 위치가 유니크지 판단하고, 유니크 인덱스인 경우에만 인덱스 분포 맵을 업데이트한다. 인덱스 분포 맵은 유니크 인덱스들의 위치 관계를 나타내는 맵이다.
3차원 카메라(100)는 인덱스 분포 맵 및 이미지들을 가상 현실 디바이스(200)로 전송한다.
가상 현실 디바이스(200)는 3차원 카메라(100)로부터 이미지들 및 인덱스 분포 맵을 수신한다. 가상 현실 디바이스(200)는 이미지들을 이용하여 콤플렉스 뷰(complex view)를 생성하고, 사용자에게 콤플렉스 뷰를 디스플레이 한다.
가상 현실 디바이스(200)는 사용자의 위치에 따라 콤플렉스 뷰를 결정한다. 가상 현실 디바이스(200)는 사용자의 현재 위치와 가장 가까운 인덱스 또는 사용자의 현재 위치를 포함하는 인덱스를 검색한다. 가상 현실 디바이스(200)는 검색된 인덱스에서 촬영된 이미지들을 이용하여 콤플렉스 뷰를 생성 및 디스플레이 할 수 있다.
도 3은 일 실시 예에 따른 가상 현실을 제공하는 장치 및 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 가상 현실을 제공 방법은 이미지를 촬영하는 단계 및 이미지를 제공하는 단계를 포함한다.
3차원 카메라(100)는 카메라 그룹(110), 위치 센서(120), 메모리(130) 및 프로세서(140)를 포함한다. 카메라 그룹(110)는 복수의 카메라들을 포함한다. 카메라 그룹(110)는 3차원 카메라(100)의 각 버텍스들에 위치한다. 카메라 그룹(110)는 적어도 3개의 카메라들을 포함할 수 있다. 3개의 카메라들은 하나의 버텍스에 위치하고, 각각의 카메라들의 시야들(fields of view)은 서로 오버랩된다. 동일한 버텍스에 위치한 카메라들의 시야들은 서로 오버랩되고, 서로 다른 버텍스에 위치한 카메라들의 시야들도 서로 오버랩된다. 오버랩되는 부분들은 파노라바 뷰를 생성시 이용된다.
위치 센서(120)는 3차원 카메라(100)의 위치를 감지한다. 위치 센서(120)는 3차원 카메라(100)의 이동에 따라 3차원 카메라(100)의 위치를 나타내는 정보를 프로세서(140)로 전송한다. 예를 들어, 위치 센서(120)는 GPS(Global positioning system) 또는 IMU(inertial measurement unit) 등일 수 있다.
메모리(130)는 카메라 그룹(110)에 의해 촬영된 이미지 및 위치 센서(120)에 의해 감지된 위치 정보를 저장한다.
프로세서(140)는 카메라 그룹(110)로부터 이미지를 수신하고, 위치 센서(120)로부터 위치 정보를 수신한다. 프로세서(140)는 메모리(130)에 저장할 이미지, 위치 정보 또는 인덱스 등을 결정할 수 있다. 예를 들어, 프로세서(140)는 유니크 이미지 및 유니크 인덱스를 메모리(130)에 저장할 수 있다. 유니크 이미지는 유니크 인덱스의 위치에서 촬영된 이미지이다. 다시 말해서, 유니크 이미지는 3차원 카메라(100)의 버텍스들로 구성된 다면체가 오버랩되지 않는 위치에서 카메라 그룹(110)들에 의해 촬영된 이미지이다.
프로세서(140)는 인덱스 분포 맵을 생성한다. 인덱스 분포 맵은 3차원 카메라(100)가 이동한 위치를 나타낼 수 있다. 인덱스 분포 맵은 3차원 카메라(100)의 버텍스들의 위치 및 인덱스를 포함한다.
3차원 카메라(100)는 3차원 카메라(100)의 위치 정보 및 이미지들을 가상 현실 디바이스(200)로 전송한다. 3차원 카메라(100)는 인덱스 분포 맵 및 유니크 이미지들을 가상 현실 디바이스(200)로 전송할 수 있다.
가상 현실 디바이스(200)는 위치 센서(210), 회전 센서(220), 프로세서(230), 디스플레이 장치(240) 및 메모리(250)를 포함한다. 위치 센서(210)는 가상 현실 디바이스(200)의 위치를 감지한다. 위치 센서(210)는 가상 현실 디바이스(200)의 이동에 따라 가상 현실 디바이스(200)의 위치를 나타내는 정보를 프로세서(140)로 전송한다. 예를 들어, 위치 센서(210)는 GPS(Global positioning system) 또는 IMU(inertial measurement unit) 등일 수 있다.
회전 센서(220)는 가상 현실 디바이스(200)의 회전 운동을 감지한다. 사용자는 가상 현실 디바이스(200)를 착용하고 x,y,z 축을 기준으로 머리을 회전할 수 있다. 사용자의 머리가 회전함에 따라 가상 현실 디바이스(200)도 함께 회전한다. 회전 센서(220)는 가상 현실 디바이스(200)의 회전 운동을 감지하고, x,y,z 축을 기준으로 회전한 각도를 측정한다. 회전 센서(220)는 측정된 각도를 프로세서(230)로 전송한다.
프로세서(230)는 사용자의 움직임에 따라 사용자에게 표시할 이미지를 생성한다. 프로세서(230)는 위치 센서(210) 및 회전 센서(220)로부터 수신된 데이터에 기초하여 이미지를 생성한다. 프로세서(230)는 사용자의 이동 방향, 이동 거리, 회전 방향, 회전 각도에 기초하여 이미지를 생성할 수 있다.
프로세서(230)는 3차원 카메라(100)로부터 수신된 이미지를 합성하여 콤플렉스 뷰를 생성한다. 프로세서(230)는 사용자의 움직임에 따라 3차원 카메라(100)로부터 수신된 이미지들 중에서 일부 이미지들을 선택하고, 선택된 이미지들을 이용하여 콤플렉스 뷰를 생성한다.
디스플레이 장치(240)는 프로세서(230)에 의해 생성된 콤플렉스 뷰를 디스플레이 한다.
메모리(250)는 3차원 카메라(100)로부터 수신된 이미지들 및 인덱스 분포 맵 등을 저장한다. 또한, 메모리(250)는 콤플렉스 뷰를 저장하고, 사용자의 움직임에 대한 정보를 저장할 수도 있다.
도 4 내지 도 6은 일 실시 예에 따른 인덱스 분포 맵을 생성하는 방법을 설명하기 위한 도면이다. 도 4 내지 도 6을 참조하면, 3차원 카메라(100)는 유니크 인덱스들만으로 구성된 인덱스 분포 맵을 생성할 수 있다.
도 4는 3차원 카메라의 위치 이동을 나타내는 도면이다. 3차원 카메라(100)는 A 지점에서 B 지점까지 연결된 선을 따라 이동할 수 있다. 도 4에 도시된 원들은 서로 오버랩되지 않는다. 새로운 원은 3차원 카메라(100)의 위치가 변경되고, 기존의 원과 오버랩되지 않는 위치에 생성된다. 원들은 3차원 카메라(100)가 생성하는 이미지들의 경계를 나타낸다.
도 5는 3차원 카메라가 인덱스들을 생성하는 방법을 설명하기 위한 도면이다. 3차원 카메라(100)는 버텍스들(p0 내지 p6)에서 촬영된 이미지를 저장한다. 버텍스들(p0 내지 p6)는 2차원 카메라들의 위치를 나타낼 수 있다. 2차원 카메라들은 3차원 카메라(100)가 A 지점에서 B 지점으로 이동할 때 이미지를 촬영할 수 있다. 다만, 3차원 카메라(100)는 버텍스들(p0 내지 p6)에서 촬영된 이미지들만 저장할 수 있다. 버텍스들(p0 내지 p6) 사이의 거리는 사용자의 두 눈 사이의 거리와 가까울(close) 수 있다. 예를 들어, 사용자들의 두 눈 사이의 평균 거리와 버텍스들(p0 내지 p6) 사이의 거리는 동일할 수 있다.
3차원 카메라(100)는 인덱스들(idx1 내지 idx4)를 생성한다. 인덱스들(idx1 내지 idx4)이 나타내는 사면체들은 서로 오버랩 되지 않는다. 제1 인덱스(idx1)는 가장 왼쪽의 사면체를 식별하기 위한 인덱스이고, 제2 인덱스(idx2)는 가운데 사면체를 식별하기 위한 인덱스이고, 제3 인덱스(idx3)는 오른쪽 아래의 사면체를 식별하기 위한 인덱스이고, 제3 인덱스(idx4)는 오른쪽 위의 사면체를 식별하기 위한 인덱스이다.
도 6은 인덱스들이 커버하는 영역을 원으로 표현한 도면이다. 도 5에서의 다면체들에 대응하는 원들이 도시되어 있다. 원들은 각각의 인덱스들(idx1 내지 idx4)이 나타내는 위치에서 촬영되는 이미지들의 영역을 나타낸다.
원들은 서로 오버랩되지 않는다. 원들 사이의 거리는 사용자의 두 눈 사이의 거리와 가까울(close) 수 있다. 3차원 카메라(100)는 오버랩되지 않는 영역의 이미지들만을 저장할 수 있고, 오버랩되지 않는 영역에 유니크 인덱스를 부여한다.
도 7은 3차원 카메라의 형태를 설명하기 위한 도면이다. 도 7을 참조하면, 3차원 카메라(100)는 사면체, 육면체, 팔면체, 십이면체, 이십면체 등이 될수 있다. 도 7에서는 5가지의 예를 설명하고 있으나, 3차원 카메라(100)은 다양한 형태의 다면체일 수 있다. 다면체의 각 버텍스들에는 적어도 3개의 카메라들이 위치할 수 있다.
도 8은 버텍스에 위치한 카메라의 시야를 계산하는 방법을 설명하는 도면이다.
시야(Field of View, FOV) >= 90 + 이면각(Dihedral angle) -1/2 X 버텍스 각(Vertex angle)
이면각은 다면체에서 두 평면이 서로 만날 때 생기는 각이고, 버텍스 각은 하나의 평면에서 두 모서리가 만날 때 생기는 각이다. 예를 들어, 3차원 카메라(100)가 사면체일 때, 사면체의 각 버텍스에 위치한 카메라의 시야는 다음과 같이 계산될 수 있다.
시야 >= 90 + 70.53 - 1/2 X 60 = 130.53
따라서, 사면체의 각 버텍스에 위치한 카메라의 시야는 130.53 도(dgree) 이상일 수 있다.
그룹의 각(Group's angle) = 180 + 이면각 - 버텍스 각
그룹의 각은 하나의 버텍스가 커버하는 시야를 나타낸다. 예를 들어, 사면체의 각 버텍스에 위치한 카메라의 그룹(적어도 3개의 카메라들)의 그룹의 각은 다음과 같이 계산될 수 있다.
그룹의 각 = 180 + 70.53 - 60 = 190.53
따라서, 사면체의 각 버텍스에 위치한 카메라의 그룹의 각은 190.53 도(dgree)가 될 수 있다.
다른 다면체들의 시야 및 그룹의 각도 상기와 동일한 방법으로 계산될 수 있다.
도 9는 일 실시 예에 따른 3차원 카메라를 설명하기 위한 도면이다. 3차원 카메라(900)는 사면체이고, 4개의 버텍스(920)들을 포함한다. 버텍스(920)에는 3개의 카메라(910)들이 위치한다. 3개의 카메라(910)들은 이미지들을 촬영하고, 촬영된 이미지들은 서로 오버랩된다. 3개의 카메라(910)들이 커버하는 시야는 180도 이상일 수 있다. 구 이미지(spherical image, 930)는 3개의 카메라(910)들에 의해 촬영된 이미지들을 합성하여 생성되는 이미지를 나타낸다. 서로 다른 버텍스(920)에서 촬영된 구 이미지(930)는 서로 오버랩될 수 있다.
3차원 카메라(900)는 4개의 버텍스(920)들을 연결하는 바(bar, 940)들을 포함한다. 바(940)의 길이는 사람의 두 눈 사이의 거리에 대응한다. 다시 말해서, 각각의 바(940)의 길이는 사람의 두 눈 사이의 거리에 가까운 길이일 수 있다.
도 7에서 계산된 바와 같이, 3차원 카메라(900)는 사면체이므로, 카메라(910)의 시야는 130.53 도이고, 버텍스(920)에 위치한 3개의 카메라(910)들에 의 각은 190.53 도이다.
도 10은 일 실시 예에 따른 3차원 카메라를 설명하기 위한 도면이다. 3차원 카메라(1000)는 팔면체이고, 8개의 버텍스(1020)들을 포함한다. 버텍스(1020)에는 3개의 카메라(1010)들이 위치한다. 3개의 카메라(1010)들은 이미지들을 촬영하고, 촬영된 이미지들은 서로 오버랩된다. 구 이미지(spherical image, 1030)은 3개의 카메라(1010)들에 의해 촬영된 이미지들을 합성하여 생성되는 이미지를 나타낸다.
3차원 카메라(1000)는 8개의 버텍스(1020)들을 연결하는 바(bar, 1040)들을 포함한다. 바(1040)의 길이는 사람의 두 눈 사이의 거리에 대응한다. 다시 말해서, 각각의 바(1040)의 길이는 사람의 두 눈 사이의 거리에 가까운 길이일 수 있다.
도 7에서 계산된 바와 같이, 3차원 카메라(1000)는 팔면체이므로, 카메라(1010)의 시야는 135 도이고, 버텍스(920)에 위치한 3개의 카메라(910)들에 의 각은 210 도이다.
시야 >= 90 + 90 - 1/2 X 90 = 135
그룹의 각 = 180 + 90 - 60 = 210
도 11은 일 실시 예에 따른 이미지 촬영 방법을 설명하기 위한 순서도이다.
단계 1110에서, 3차원 카메라는 3차원 카메라의 위치를 추적한다. 3차원 카메라는 이동할 수 있으며, 3차원 카메라의 이동시 GPS, IMU 등은 3차원 카메라의 위치를 추적한다. 3차원 카메라는 유니크 위치를 나타내는 유니크 인덱스를 포함하는 인덱스 분포 맵을 생성 및 저장할 수 있다. 3차원 카메라는 3차원 카메라의 위치 및 3차원 카메라가 차지하는 영역 등에 기초하여 인덱스 분포 맵을 생성한다. 예를 들어, 3차원 카메라는 다면체가 이동할 때마다 다면체가 차지하는 영역이 오버랩 되지 않는 위치를 유니크 위치로 결정하고, 유니크 위치를 나타내는 인덱스를 부여한다.
단계 1120에서, 3차원 카메라는 다면체이고, 다면체의 버텍스들에 카메라들이 배치된다. 하나의 버텍스에는 적어도 3개의 2차원 카메라들이 배치될 수 있다.
단계 1130에서, 3차원 카메라에 포함된 복수의 카메라들은 이미지를 촬영한다. 3차원 카메라는 촬영된 이미지들 중, 유니크 인덱스가 나타내는 위치에서 촬영된 유니크 이미지들만을 저장할 수 있다. 동일한 버텍스에 위치한 카메라들은 서로 오버랩되는 이미지를 촬영한다. 인접한 버텍스들에 위치한 카메라 그룹들은 서로 오버랩 되는 이미지를 촬영한다. 인접한 버텍스들 사이의 거리는 사용자의 두 눈 사이의 거리에 대응한다. 동일한 버텍스에 위치한 카메라 그룹의 시야는 180도 이상일 수 있다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (16)

  1. 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라에 있어서,
    복수의 카메라들;
    상기 3차원 카메라의 위치를 추적(track)하는 위치 센서;
    프로세서; 및
    메모리;
    를 포함하고,
    상기 복수의 카메라들은 다면체의 각 버텍스(vertex)에 배치되고, 각 버텍스에는 적어도 3개 이상의 카메라들이 배치되고,
    상기 프로세서는,
    상기 3차원 카메라의 유니크 위치를 나타내는 유니크 인덱스를 포함하는 인덱스 분포 맵을 생성하고, 상기 유니크 위치는 상기 3차원 카메라의 버텍스들에 의해 형성된 상기 다면체에 의해 점유되는 영역들이 서로 중첩되지 않는 위치를 나타내고,
    상기 유니크 인덱스에 의해 지시된 위치에서 촬영된 유니크 이미지를 결정하고,
    상기 메모리는 상기 유니크 이미지를 저장하는 3차원 카메라.
  2. 제1항에 있어서,
    상기 복수의 카메라들이 커버하는 시야가 180도 이상이 되도록 상기 복수의 카메라들이 배치되는 3차원 카메라.
  3. 제1항에 있어서,
    상기 다면체의 각 버텍스 사이의 거리는, 사용자의 두 눈 사이의 거리에 대응하는 3차원 카메라.
  4. 제1항에 있어서,
    상기 다면체의 각 버텍스에 배치된 3개 이상의 카메라들은 구 파노라마 이미지를 촬영하는 3차원 카메라.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 위치 센서로부터 상기 3차원 카메라의 위치 정보를 수신하고,
    상기 3차원 카메라의 위치를 나타내는 인덱스 분포 맵을 생성하는 3차원 카메라.
  6. 제1항에 있어서,
    상기 3차원 카메라는 사면체이고, 4개의 버텍스들에 각각 3개의 2차원 카메라들이 배치되는 3차원 카메라
  7. 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라의 동작 방법에 있어서,
    상기 3차원 카메라의 위치를 추적하는 단계;
    다면체의 각 버텍스(vertex)에 복수의 카메라들을 배치하고, 상기 복수의 카메라들은 적어도 3개 이상의 카메라들을 포함하는 단계;
    상기 3차원 카메라의 유니크 위치를 나타내는 유니크 인덱스를 포함하는 인덱스 분포 맵을 생성하고, 상기 유니크 위치는 상기 3차원 카메라의 버텍스들에 의해 형성된 상기 다면체에 의해 점유되는 영역들이 서로 중첩되지 않는 위치를 나타내는 단계;
    상기 유니크 인덱스에 의해 지시된 위치에서 촬영된 유니크 이미지를 결정하는 단계; 및
    상기 유니크 이미지를 저장하는 단계;
    를 포함하는 방법.
  8. 제7항에 있어서,
    상기 다면체의 동일한 버텍스에 위치한 카메라들에 의해 서로 오버랩되는 이미지를 촬영하는 단계;
    를 더 포함하는 방법.
  9. 제7항에 있어서,
    상기 다면체의 인접한 버텍스들에 위치한 카메라 그룹들에 의해 서로 오버랩 되는 이미지를 촬영하는 단계;
    를 더 포함하는 방법.
  10. 제9항에 있어서,
    상기 인접한 버텍스들 사이의 거리는 사용자의 두 눈 사이의 거리에 대응하는 방법.
  11. 제7항에 있어서,
    상기 다면체의 동일한 버텍스에 위치한 카메라 그룹의 시야는 180도 이상인 방법.
  12. 제 7 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적(non-transitory) 기록매체.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
KR1020160012894A 2016-02-02 2016-02-02 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라 Active KR102360179B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160012894A KR102360179B1 (ko) 2016-02-02 2016-02-02 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라
US16/075,089 US10750156B2 (en) 2016-02-02 2016-04-26 Three-dimensional camera for capturing image to provide virtual reality
CN201680080840.0A CN108702497B (zh) 2016-02-02 2016-04-26 用于拍摄提供虚拟现实的图像的三维相机
PCT/KR2016/004365 WO2017135514A1 (ko) 2016-02-02 2016-04-26 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라
EP16889492.1A EP3404915B1 (en) 2016-02-02 2016-04-26 Three-dimensional camera for capturing image to provide virtual reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160012894A KR102360179B1 (ko) 2016-02-02 2016-02-02 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라

Publications (2)

Publication Number Publication Date
KR20170091950A KR20170091950A (ko) 2017-08-10
KR102360179B1 true KR102360179B1 (ko) 2022-02-08

Family

ID=59500447

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160012894A Active KR102360179B1 (ko) 2016-02-02 2016-02-02 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라

Country Status (5)

Country Link
US (1) US10750156B2 (ko)
EP (1) EP3404915B1 (ko)
KR (1) KR102360179B1 (ko)
CN (1) CN108702497B (ko)
WO (1) WO2017135514A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102360179B1 (ko) 2016-02-02 2022-02-08 삼성전자주식회사 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라
HRP20250132T1 (hr) * 2020-07-03 2025-03-28 Pfetch, Inc. Sustavi i postupci prisustva i sudjelovanja na daljinu
US11947740B2 (en) * 2021-06-02 2024-04-02 Qingdao Pico Technology Co., Ltd. 6DoF positioning tracking device and method, and electronic apparatus
KR102760143B1 (ko) * 2021-10-25 2025-01-23 한남대학교 산학협력단 가상 공간 사이트맵 구축을 위한 다중 이미지 스티칭 및 보정 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
JP2001285894A (ja) * 2000-03-31 2001-10-12 Olympus Optical Co Ltd ３次元画像データの掲載方法
WO2006110584A2 (en) * 2005-04-07 2006-10-19 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
CN101055494B (zh) * 2006-04-13 2011-03-16 上海虚拟谷数码科技有限公司 基于空间索引立方体全景视频的虚拟场景漫游方法及其系统
JP2009077363A (ja) 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
CN101627623A (zh) 2007-08-24 2010-01-13 索尼株式会社 图像处理设备、运动图像播放设备及其处理方法和程序
JP5299054B2 (ja) 2009-04-21 2013-09-25 ソニー株式会社 電子機器、表示制御方法およびプログラム
KR101594048B1 (ko) 2009-11-09 2016-02-15 삼성전자주식회사 카메라들의 협력을 이용하여 3차원 이미지를 생성하는 방법 및 상기 방법을 위한 장치
KR101146620B1 (ko) * 2010-08-17 2012-05-16 옥영선 기울기 센서를 이용한 3차원 이미지 조망기능을 갖는 디스플레이장치 및 디스플레이 시스템
KR20130058782A (ko) * 2011-11-27 2013-06-05 공석태 카메라내장 자동차라이트
KR102099834B1 (ko) 2013-06-18 2020-04-10 엘지전자 주식회사 전자장치 및 전자장치의 동작방법
KR20130092522A (ko) * 2013-07-02 2013-08-20 삼성전자주식회사 카메라들의 협력을 위한 방법 및 장치
KR20150084200A (ko) * 2014-01-13 2015-07-22 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
US9992502B2 (en) * 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
KR102360179B1 (ko) 2016-02-02 2022-02-08 삼성전자주식회사 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라

Also Published As

Publication number Publication date
CN108702497A (zh) 2018-10-23
EP3404915A4 (en) 2019-01-09
US10750156B2 (en) 2020-08-18
WO2017135514A1 (ko) 2017-08-10
US20190045171A1 (en) 2019-02-07
EP3404915B1 (en) 2023-08-23
KR20170091950A (ko) 2017-08-10
CN108702497B (zh) 2020-07-24
EP3404915A1 (en) 2018-11-21

Similar Documents

Publication Publication Date Title
US10897584B2 (en) In-time registration of temporally separated images acquired with image acquisition system having three dimensional sensor
US11880956B2 (en) Image processing method and apparatus, and computer storage medium
JP7349793B2 (ja) 画像処理装置および画像処理方法、プログラム
CN107836012B (zh) 投影图像生成方法及其装置、图像像素与深度值之间的映射方法
US10852847B2 (en) Controller tracking for multiple degrees of freedom
JP7566973B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN110956695B (zh) 信息处理装置、信息处理方法和存储介质
KR102360179B1 (ko) 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라
TW201835723A (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
JP6818968B2 (ja) オーサリング装置、オーサリング方法、及びオーサリングプログラム
KR102381370B1 (ko) 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스
KR102199772B1 (ko) 3차원 모델 데이터 생성 방법
JP4710081B2 (ja) 画像作成システム及び画像作成方法
CN117710445B (zh) 一种应用于ar设备的目标定位方法、装置及电子设备
CN118570345A (zh) 虚拟对象驱动系统、方法、存储介质及电子设备
CN120233867A (zh) 设备定位方法、装置及计算机可读存储介质
KR20200005236A (ko) 연속적 콘텐츠를 위한 가상현실 제공방법 및 가상현실 제공 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160202

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201109

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160202

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210724

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20211220

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220203

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220204

End annual number: 3

Start annual number: 1

PG1601 Publication of registration