[go: up one dir, main page]

CN107636534A - 一般球面捕获方法 - Google Patents

一般球面捕获方法 Download PDF

Info

Publication number
CN107636534A
CN107636534A CN201680025207.1A CN201680025207A CN107636534A CN 107636534 A CN107636534 A CN 107636534A CN 201680025207 A CN201680025207 A CN 201680025207A CN 107636534 A CN107636534 A CN 107636534A
Authority
CN
China
Prior art keywords
image
data
region
camera
diagram picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680025207.1A
Other languages
English (en)
Other versions
CN107636534B (zh
Inventor
A.I.拉塞尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107636534A publication Critical patent/CN107636534A/zh
Application granted granted Critical
Publication of CN107636534B publication Critical patent/CN107636534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

描述了用于捕获球面内容的系统和方法。系统和方法可以包括：确定用多个相机捕获的多个图像中的其中将二维数据变换为三维数据的区域；计算该区域中的部分像素的深度值；生成球面图像，该球面图像包括该区域中的该部分像素的图像数据；使用图像数据在图像处理系统生成的计算机图形对象的三维空间中构造三维表面；使用所述图像数据生成到所述计算机图形对象的表面的纹理映射；以及发送球面图像和纹理映射，用于在头戴式显示设备中显示。

Description

一般球面捕获方法
相关申请的交叉引用
本申请要求2011年9月15日提交的题为“General Spherical Capture Methods”的美国非临时专利申请第15/266,602号的优先权并且是其继续申请，该美国非临时专利申请第15/266,602号又要求2015年9月16日提交的题为“General Spherical CaptureMethods”的美国临时专利申请第62/219,534号的优先权，上述两个美国申请的全部内容通过引用并入本文。
技术领域
本说明书一般涉及用于捕获和处理二维(2D)和三维(3D)图像的方法和设备。
背景技术
球面图像可以提供场景的360度视图。可以使用特定的投影格式捕获和定义这些图像。例如，可以以等距柱状(equirectangular)投影格式定义球面图像，以提供相对于图像的宽度和高度具有2:1宽高比的单个图像。在另一示例中，可以以立方投影格式定义球面图像，以提供重新映射到立方体的六个面的图像。
发明内容
一个或多个计算机的系统可以被配置为通过在系统上安装有软件、固件、硬件或它们的组合来执行特定的操作或动作，所述软件、固件、硬件或它们的组合在操作中使系统执行动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定操作或动作，所述指令在由数据处理装置执行时使装置执行动作。
在一个一般方面，指令可以包括计算机实现的方法，其包括确定用多个相机捕获的多个图像内的将二维数据转换为三维数据的区域。至少部分地基于在头戴式显示器检测到的用户输入，可以自动地执行将二维数据变换为三维数据的区域的确定。用户输入可以包括头转动，并且三维数据可以用于在与视图对应的多个图像中的至少一个中生成三维部分。在另一示例中，用户输入可以包括眼睛注视方向的改变，并且三维数据可以用于在用户的视线上的多个图像中的至少一个中生成三维部分。
该方法还可以包括计算该区域中的一部分像素的深度值并生成球面图像。球面图像可以包括该区域中的该部分像素的图像数据。在一些实现方式中，该部分像素被表示在计算机图形对象的表面上，该计算机图形对象的半径等于与该区域中的该部分像素中的一个或多个相关联的对应的深度值。该方法还包括使用图像数据在由图像处理系统生成的计算机图形对象的三维空间中构建三维表面，并且使用图像数据生成到计算机图形对象的表面的纹理映射。纹理映射可以包括图像数据到计算机图形对象的表面的映射。该方法还可以包括发送用于在头戴式显示设备中显示的球面图像和纹理映射。该方面的其他实施例包括在一个或多个计算机存储设备上记录的相应计算机系统、设备和计算机程序，每个计算机系统、设备和计算机程序被配置为执行方法的动作
在一些实现方式中，该方法还可以包括生成与该区域相关联的额外球面图像和纹理映射，通过组合图像数据的一部分和球面图像来生成左眼视图，通过生成额外图像数据并将该额外图像数据和该额外球面图像组合来生成右眼视图，以及在头戴式显示设备中显示左眼视图和右眼视图。图像数据可以包括该区域中的该部分像素的至少一些的深度值数据和RGB数据。
在一些实现方式中，多个图像包括视频内容，并且图像数据包括与该部分像素相关联的RGB数据和深度值数据。在一些实现方式中，该方法还包括使用图像数据将该区域的二维版本转换为该区域的三维版本，并且提供该区域的三维版本用于在头戴式显示设备中显示。在一些实现方式中，多个图像被安装在球形相机套装上的多个相机捕获。
在另一个一般方面，描述了一种计算机实现的方法，包括：使用多个相机获得多个图像，为所述多个图像生成至少两个更新的图像，其中所述至少两个更新的图像通过内插至少一个虚拟相机的视点而生成，所述至少一个虚拟相机被配置为捕获从预定义中心线向左偏移的内容并且捕获从所述预定中心线向右偏移的内容。在一些实现方式中，内插视点包括对所述多个图像中的多个像素进行采样，使用光流生成虚拟内容，以及将虚拟内容放置在所述至少两个更新图像中的至少一个中。
所述方法还可以包括：将所述至少两个更新的图像中的第一图像映射到第一球面，以生成用于提供到头戴式显示器的左目镜的第一球面图像，将至少两个更新的图像中的第二图像映射到第二球面，以生成用于提供到头戴式显示器的右目镜的第二球面图像，并且将第一球面图像显示在头戴式显示器的左目镜中并将第二球面图像显示在头戴式显示器的右目镜中。
在一些实现方式中，所述至少一个虚拟相机被配置为使用使用一个或多个物理相机捕获的内容并且适应从视点提供的内容。在一些实现方式中，第一图像的映射包括通过将像素坐标从第一图像分配到第一球面来将纹理应用于第一图像，并且第二图像的映射包括通过将像素坐标从第二图像分配到第二球面来将纹理应用于第二图像。
在一些实现方式中，所述至少两个球面图像包括具有包含在左偏移捕获的内容中的多个像素的至少一部分的RGB图像、和具有包含在右偏移捕获的内容中的多个像素的至少一部分的RGB图像。在一些实现方式中，向左偏移和向右偏移是可修改的，并且用于适应头戴式显示器中的第一图像和第二图像的显示精度。
该方面的其他实施例包括在一个或多个计算机存储设备上记录的对应的计算机系统、设备和计算机程序，每个计算机系统、设备和计算机程序被配置为执行方法的动作。
在附图和下面的描述中阐述了一个或多个实现方式的细节。其他特征将从描述和附图以及权利要求书中而变得明显。
附图说明
图1是用于捕获、处理和呈现用于虚拟现实(VR)空间的2D和3D内容的示例系统100的框图。
图2是描绘被配置为捕获用于生成视频内容的3D部分的场景的图像的示例球面相机套装(rig)的图。
图3是描绘被配置为捕获用于生成视频内容的3D部分的场景的图像的示例二十面相机套装的图。
图4是描绘被配置为捕获用于生成视频内容的3D部分的场景的图像的示例六方球面相机套装的图。
图5是示出生成视频内容的过程的一个实施例的流程图。
图6示出了可以用于实现本文描述的技术的计算机设备和移动计算机设备的示例。
各附图中相同的附图标记表示相同的元件。
具体实施方式
获取可以用于精确地再现二维和/或三维场景的每个部分的图像内容通常包括：使用容纳在三维相机套装中的多个相机捕获场景的图像或视频。相机可以被配置为捕获在顶部、侧面、底部围绕相机套装的场景的每个部分以及在中间描绘的任何场景内容。在本公开中描述的系统和方法可以使用形状上为例如球形、二十面形或3D多边形的相机套装。这种相机套装可以容纳策略地放置在套装上的若干组(例如，三个一组)相机，以捕获与围绕套装的每个向外可捕获区域相关的图像内容。图像内容可以包括在多个相机之间捕获的重叠图像内容，并且可以在稍后时间使用该重叠以生成额外图像内容、拼接现有图像内容、或者在图像内容中生成光学效果(例如，3D效果)。
一种这样的光学效果可以包括在图像内容内产生3D区域。可以使用在本文描述的系统和方法捕获的内容来实现在运行时(或近实时)在图像内容(例如，视频内容)内产生3D区域，这是因为，这样的相机套装被配置为捕获围绕被配置为容纳相机的球形或其他3D形状的每个区域。可以访问场景内所有可能的观看内容，这使得能够进行深度计算，所述深度可用于将2D内容修改为3D内容并将3D内容修改回2D内容。产生3D区域的一个示例可以包括基于图像内容中所示的对象或动作来确定特定区域应当以3D显示。
例如，如果图像内容描绘了从天花板显示的杂技表演，则本公开中描述的系统和方法可以确定3D效果应当被应用于例如当用户看到VR空间的天花板时、在VR空间中用户上方所示的内容。可以将3D效果自动应用于图像内容(例如，视频内容)，并在VR头戴式显示器(HMD)设备中向用户显示。在一些实现方式中，可以手动配置3D效果以移位应用3D效果的区域。例如，在杂技演员示例中，当表演被安排为从舞台移动到天花板时，3D效果可以从主舞台移位到天花板。也就是说，图像内容(例如，视频内容)可以被配置为随着杂技演员开始在用户(例如观众)上方表演，将3D效果移位到天花板。在一些实现方式中，图像3D效果可以应用于图像内容的一部分，同时图像内容的周围部分保持为二维格式。在一些实现方式中，本文描述的系统可用于将3D效果应用于整个图像或视频。在其他实现方式中，本文描述的系统可以用于将3D效果应用于场景、场景的一部分、图像/场景中的区域、图像/场景的用户选择的或用户注视选择的部分。
可以执行从二维(2D)到三维(3D)的图像内容的修改，这是因为使用球面相机套装来从球面相机套装周围的所有角度捕获图像，从而使所有可能的区域可进行3D调整。自动调整可以包括计算密集光流以计算与图像内容相关联的深度图。计算深度图可以包括计算表示场景中的各个点相对于相机位置的距离的多个深度值。在一些示例中，可以使用两个或更多个图像来计算深度值，并且除了2D图像数据之外，还可以使用深度值来估计特定场景的部分的3D图像数据。
在一些实现方式中，到对象的纹理映射可以产生将二维数据映射到对象上的二维效果。在其他实现方式中，将深度图数据(或深度数据)和纹理图数据发送到深度表面，效果可以是三维效果。
在本公开中描述的系统和方法可以包括使用光流算法、深度图计算、用户输入和/或导演输入来产生图像内容内的3D区域。例如，所描述的系统和方法可以将3D效果应用于图像内容的所选择的区域。3D效果可以被策略性地计算并且接近实时地放置在诸如视频内容的图像内容中。在一些实现方式中，在虚拟现实(VR)空间内提供图像内容之前可以手动放置3D效果。在一些实现方式中，例如，当用户正在观看VR空间中的图像内容时，可以例如响应于用户转向感兴趣的区域，自动放置3D效果。例如，如果利用本文描述的设备捕获的图像内容被提供给VR空间中的用户，则用户可以转向VR空间中的区域以观看内容，并且响应于用户表现对内容感兴趣可以将内容自动生成为3D内容。
在具体实现方式中，本文所述的系统和方法可以包括计算球面相机套装上的多个三个一组的相机之间的密集光流场，以配置和显示3D图像内容。可以执行流场的计算和传输(使用光流内插技术)以(在运行时或在运行时之前)重建用户可能希望观看的特定3D视图。这些技术可以考虑用户头部的倾斜和平转，并且可以允许在由球面相机套装捕获的场景内的任何可选区域处提供3D内容。在一些实现方式中，还可以执行前向和后向的头部平转。
在一些实现方式中，本文所述的系统和方法可以采用光流和/或立体匹配技术来获得图像的每个像素的深度值。例如，可以将使用光流和/或立体匹配技术生成的球面图像(或视频)发送到HMD设备。球面图像可以包括RGB(红绿蓝)像素数据、YUV(亮度和色度)数据、深度数据或额外计算的或可获得的图像数据。HMD设备可以接收这样的数据，并将图像呈现为映射到由深度分量定义的3D空间中的表面上的纹理。
在一些实现方式中，本文描述的系统和方法可以使用光流技术来内插多个不同的虚拟相机。可以使用得到的光流数据(例如，左RGB球面图像和右RGB球面图像)生成至少两个球面图像。可以从左偏移的虚拟相机获得左RGB球面图像中的像素，并且可以从右偏移的虚拟相机获得右RGB球面图像中的像素。为了生成精确的3D效果，本文描述的系统和方法可以修改用于虚拟相机的左和右偏移的量。也就是说，选择最大的偏移可以用于基于图像或视频中的内容或者基于来自导演的输入来提供精确的3D图像内容。例如，左图像和右图像因而可以是映射到HMD设备中的(恒定半径的)球面上的纹理。
图1是用于捕获、处理和呈现用于虚拟现实(VR)空间的2D和3D内容的示例系统100的框图。在示例系统100中，球形相机套装102可以通过网络104捕获并提供静态图像和视频图像，或者替代地，可以将图像直接提供给图像处理系统106用于分析和处理。一旦图像被捕获，图像处理系统106就可以对图像执行多个计算和处理，并且例如将处理后的图像提供给头戴式显示器(HMD)设备110，用于通过网络104进行呈现。在一些实现方式中，图像处理系统106还可以将处理后的图像提供给移动设备108和/或计算设备112用于呈现、存储或进一步处理。
HMD设备110可以表示能够显示虚拟现实内容的虚拟现实耳机、眼镜、目镜或其他穿戴式设备。在操作中，HMD设备110可以执行VR应用(未示出)，该应用可以将接收的和/或处理的图像向用户回放。在一些实现方式中，VR应用可以由图1中所示的设备106、108或112中的一个或多个主控。在一个示例中，HMD设备110可以将场景的部分生成为3D视频内容，并且可以在策略性选择的位置以3D格式提供由相机套装102捕获的场景的视频回放。
相机套装102可以被配置为用作相机(也可以称为捕获设备)和/或处理设备，以收集用于在VR空间中呈现内容的图像数据。虽然相机套装102被示出为用本文的特定功能描述的框图，但套装102可以采取图2至图4所示的任何实现方式的形式。并且另外可以具有在本公开全文中针对相机描述的功能。例如，为了简化描述系统100的功能，图1示出了相机套装102，而没有设置在套装周围的用于拍摄图像的相机。相机套装102的其他实现方式可以包括可以设置在例如套装102的3D相机套装上的任何点的任何数量的相机。
如图1所示，相机套装102包括多个相机130和通信模块132。相机130可以包括照相机或摄像机。在一些实现方式中，相机130可以包括沿着球面套装102的表面设置(例如，坐落)的多个照相机或多个摄像机。相机130可以包括摄像机、图像传感器、立体相机、红外线相机和/或移动设备相机。通信系统132可以用于上传和下载图像、指令和/或其它相机相关内容。通信系统132可以是有线或无线的，并且可以通过专用或公共网络进行接口。
相机套装102可以被配置为用作静止套装或旋转套装。套装上的每个相机被设置(例如放置)偏离于套装的旋转中心。相机套装102可以被配置为围绕360度旋转以扫描和捕获例如场景的360度球面视图的全部或一部分。在一些实现方式中，套装102可以被配置为在静止位置操作，并且在这种配置中，可以向套装添加额外的相机以捕获场景的额外的向外视角。
在一些实现方式中，相机可以被配置(例如，设置)以同步地工作，以在特定时间点从相机套装上的相机捕获视频。在一些实现方式中，相机可被配置为同步地工作，以在一段时间内从相机中的一个或多个来捕获视频的特定部分。校准相机套装的另一个示例可以包括配置如何存储进入的图像。例如，进入的图像可以作为单独的帧或视频(例如.avi文件，.mpg文件)存储，并且这些存储的图像可以被上传到因特网、另一个服务器或设备，或者利用在相机套装102上的每个相机本地存储。
图像处理系统106包括内插模块114、光流模块116、拼接模块118、深度图生成器120和3D生成器模块122。内插模块116表示可用于对数字图像和视频的部分采样的算法，并且例如确定在从相机套装102捕获的相邻图像之间可能出现的多个内插图像。在一些实现方式中，内插模块114可以被配置为确定相邻图像之间的内插图像片段、图像部分和/或垂直或水平图像条带。在一些实现方式中，内插模块114可以被配置为确定相邻图像中相关像素之间的流场(和/或流向量)。流场可以用于补偿图像已经经历的变换和处理已进行变换的图像。例如，可以使用流场来补偿所获得的图像的特定像素网格的变换。在一些实现方式中，内插模块114可以通过对周围图像的内插来生成不是所捕获的图像的一部分的一个或多个图像，并且可以将生成的图像交织到所捕获的图像中，以生成对于场景的额外的虚拟现实内容。例如，内插模块116可以通过从真实(例如，物理)相机之间的虚拟相机重建视图、并且选择每个视图的中心射线以从球面的中心构成一个虚拟相机图像，提供2D(平面)照片/视频球面的拼接。
光流模块116可以被配置为计算每个三个一组的相机之间的密集光流。例如，模块116可以计算在球面相机套装上形成三角形的相机对之间的三向成对光流。光流模块116可以计算第一相机和第二相机之间、第二相机和第三相机之间、以及第三相机和第一相机之间的光流。在计算中使用的每对相机可以被认为是立体对。在一些实现方式中，当流向量指向任何方向使得向量创建2D量或排列时，可以在一对相机之间执行光流计算。在一些实现方式中，当流向量被限制到一维(例如，其中流为水平的水平立体对)时，可以执行光流计算。
使用在相机套装的表面周围具有多个三个一组的相机的球形相机套装(或本文描述的其他3D形套装)，光流模块116可以产生围绕套装的精确场景。例如，光流模块116可以计算特定被捕获的图像内容的光流场，并访问拼接模块118以将场景的单像全景拼接在一起。这可以减少视频内容中的伪影。生成单像全景可以包括将相同的图像呈现给用户的双眼。这可以向用户表现为2D。在一些实现方式中，拼接模块118可以将可以向与用户相关联的每只眼睛提供独特且不同的图像的立体全景拼接在一起，并且这些图像可以向用户表现为3D。如本文所使用的，3D内容可以被认为是立体呈现的内容，并且可以指示映射到深度表面上的纹理。类似地，例如，2D内容可以被认为是指示映射到平坦或球形表面上的纹理的单像表现的内容。
在一些实现方式中，模块114和拼接模块118可以用于通过采取非中心射线来生成立体球面对，而不是引入全景扭曲，或者例如在所选择的方向上引入3D效果。全景扭曲包括用在第一方向偏转的射线捕获针对第一眼睛(左眼)的光线，并用在相反方向偏转的射线捕获针对第二眼睛(右眼)的光线。
通常，光流模块116可以使用光流技术，以通过计算相机的球面星座(constellation)中的相邻的相机对之间的光流，生成精确的单像全景和立体球面全景(例如，全向立体或大型立体全景的全景扭曲)。相机的星座可能受到相机布置的约束，使得空间中的每个点对于至少三个相机是可见的。
在一些实现方式中，本文所述的相机套装可以提供减少或去除伪像(例如，拼接错误/伪像、相机边界上的对象的不连续性、边界处的缺失数据或边界附近的图像内容重复、对象断裂、歪曲对象、移除内容等)的优点。对于表示运动图像内容的视频内容，可以特别好地去除伪影。基于使用具有包含重叠的视频/图像内容的三个一组的相机的球面相机套装，可以去除这些伪像，该重叠的视频/图像内容可以用于通过访问由相机捕获的重叠图像区域、执行光学流技术、以及重新计算可能提供伪像/错误的图像区域来校正拼接错误/伪像。
本文描述的系统和方法可以用于在3D球形相机套装(或其他3D形状的相机套装)周围能够捕获的任何点处生成立体3D内容。这种广泛捕获的内容使得能够以数学方式将立体3D效果/视频内容策略性地放置在静态或视频内容内的任何位置，同时去除3D或不在其他位置提供3D效果，以节省流传输带宽、处理能力和/或存储空间。
深度图生成器120可以访问与利用相机套装102捕获的图像相关的光流数据(例如，流场)，并且可以使用这些流数据来计算所捕获的图像内容的深度图。例如，深度图生成器120可以使用来自套装102上指向各种方向的许多相机的图像数据。深度图生成器120可以访问并采用立体匹配算法来计算所捕获的图像中表示的每个像素的深度值。来自各个相机的视图和深度值可以组合成一个球面图像，其具有每个像素的R(红色)值、G(绿色)值、B(蓝色)值和深度值。在观看者，深度图生成器120可以对通过在每个像素处取深度值构造的3D空间中的表面执行RGB图像的纹理映射，使得球面的每个点具有等于深度值的半径。该技术可能与通常使用立体对而不是深度值和/或深度图的3D球面图像技术不同。
通常，深度图生成器120生成要用球面图像发送的深度图。随图像内容进行深度图的这种发送可以提供以下优点：使得用户能够在所有方向上观看，并且包括在极点(例如，用户上方的北部和用户下方的南部)都能看到3D内容。另外，随图像内容进行深度图的发送也可以使用户能够倾斜她的头部并仍然看到3D效果。在一个示例中，用户可以能够从她的标称位置移动一小段距离(例如，在X、Y和/或Z方向)，并且可能能够以适当的视差看到对象以正确的方式移动，这是因为，深度信息随图像内容一起发送。用户在VR空间内的移动可以指实际移动，并且系统100可以跟踪用户位置。
计算的光流数据(包括光场传输数据)可以与球面视频数据组合并发送到HMD设备(或其他设备)，以针对访问HMD设备的用户生成左视图和右视图。在一些实现方式中，深度图生成器120可为每只眼睛提供单独且不同的球面图像和RGB数据。
在一些实现方式中，光流内插可以由与HMD设备106通信的计算机系统来执行，并且可将特定图像内容发送到HMD设备。在其他实现方式中，可以在HMD设备106本地执行内插，以便修改用于显示的3D图像内容。可以使用流数据来生成访问HMD设备106的左眼和右眼的左视图和右视图。可以在HMD设备106处执行内插，这是因为，系统106在运行时提供组合数据(例如，球面视频数据和光流数据)。
在一些实现方式中，3D生成器模块122使用光流数据和深度图数据来在图像内容内生成3D区域，并且向VR空间中的用户提供这些3D效果。可以触发3D效果以通过手动或自动方式放置。例如，特定图像内容的3D方面可以在导演决策期间的后处理中的捕获之后配置。具体地，导演可以确定他的VR空间中的场景可以被配置为提供飞机和直升机队列，其中飞机和直升机被模拟为在VR空间中的用户之上飞行。导演可以访问包括3D生成器工具(未示出)的一组工具，以将3D效果应用于视频内容。在该示例中，导演可以确定用户在听到飞机或直升机噪声时可能会看向天空，并且可以使用3D生成器工具来调整视频图像内容，以将飞机和直升机提供为3D内容。在这样的示例中，导演可以确定其他周围的视频内容如果作为3D内容提供可能不会对用户提供太多的用途，这是因为，用户可能仰望天空直到直升机和飞机通过。因此，导演可以配置视频内容，以当包括直升机和飞机的队列调度结束时，将3D效果从视频内容中的天空调整到另一区域。
例如，图像内容的包括3D效果的部分的手动选择可以由VR电影导演来触发。导演可以基于内容或基于期望的用户响应来配置图像内容。例如，导演可能希望将用户注意力集中在内容中的某个地方，并且可以这样做以提供例如对数据的有用访问、艺术视觉或平滑过渡。导演可以预先配置图像内容中的3D修改，并调整向VR空间中的用户显示这种修改的时间。
图像内容的包括3D效果的部分的自动选择可以包括使用用户输入来触发效果。例如，系统100可以用于基于检测到VR空间中访问内容的用户的头部倾斜，触发3D效果以出现在图像内容内。其他用户移动、内容修改、传感器和基于位置的效果可用作触发特定应用程序或去除3D效果的输入。在一个示例中，在VR空间中可以以3D描绘舞台上的音乐会，而访问音乐会的用户后面的人群可被保留为2D，这是因为，在音乐会期间用户不太可能转身。然而，如果用户选择转身，则3D效果可以从舞台/音乐会图像内容移位到观众图像内容。
在示例系统100中，设备106、108和112可以是膝上计算机、桌面计算机、移动计算设备或游戏控制台。在一些实现方式中，设备106、108和112可以是可以在HMD设备110内设置(例如，放置/定位)的移动计算设备。移动计算设备可以包括显示设备，其可以被用作例如HMD设备110的屏幕。设备106、108和112可以包括用于执行VR应用的硬件和/或软件。此外，设备106、108和112可以包括当这些设备被放置在相对于HMD设备110的位置范围的前方或在所述范围内被握持时、能够识别、监视和跟踪HMD设备110的3D运动的硬件和/或软件。在一些实现方式中，设备106、108和112可以通过网络104向HMD设备110提供额外内容。在一些实现方式中，设备102、106、108、110和112可以连接到/接口连接到彼此配对或通过网络104连接的设备中的一个或多个。该连接可以是有线的或无线的。网络104可以是公共通信网络或专用通信网络。
系统100可以包括电子存储器。电子存储器可以包括电子存储信息的非暂时性存储媒介。电子存储器可以被配置为存储捕获的图像、获得的图像、预处理图像、后处理图像等。用所公开的相机套装中的任何相机捕获的图像可以被处理并存储为一个或多个视频流，或存储为各个帧。在一些实现方式中，存储可以发生在捕获期间，并且渲染可以在捕获各部分之后直接发生，以使得比捕获和处理并发的情况更早地访问全景立体内容。
图2是描绘被配置为捕获用于生成视频内容的3D部分的场景的图像的示例球面相机套装200的图。相机套装200包括多个相机202、204、206、208、210、212、214、216和218。相机202-218被示出为附到球形套装上。图2中未示出用于球形的其他角度的额外相机，但被配置为从这些其他角度收集图像内容。相机202-218被布置成使得三个相机中的每一个可以一起工作以捕获围绕球面的每个点/区域的图像内容。捕获每个点/区域包括捕获围绕套装200的场景的静态图像或视频图像。相机202-218可以抵靠球面(或其他形状套装)放置。在一些实现方式中，相机202-218(和/或更多或更少的相机)可以以与球体成一定角度放置以捕获额外图像内容。
在非限制示例中，相机202、204和206可被布置成捕获围绕球面的场景的区域的图像。捕获的图像可以被分析并组合(例如，拼接)在一起以形成对于VR空间中的用户的可视场景。类似地，用相机204捕获的图像可以与用相机202和208捕获的图像组合，以提供可视场景的另一区域。用相机202、208和210捕获的图像可以以与相机206、212和214相同的方式组合。相机之间的更宽的空间也是可能的。例如，可以组合用相机210、212和216捕获的图像，以提供可从套装200的半球的一半可视的场景(例如，点)的图像内容。可以使用相机202、212和218进行类似的组合，以从球体200的半球的另一半提供可视的图像。在一些实现方式中，相机套装200可以具有从约0.15米至约1.5米的任何长度的直径220。在一个非限制示例中，直径220为约0.2至约0.9米。在另一非限制示例中，直径220为约0.5至约0.6米。在一些实现方式中，相机之间的间隔可以从大约0.05米到大约0.6米之间。在一个非限制示例中，相机之间的间隔约为0.1米。
在一些实现方式中，可以在多个方向上在这种球面相机套装(或其他3D形套装)上布置相机的星座，以捕获空间中的每个点。也就是说，空间中的每个点可以被至少三个相机捕获。在一个示例中，可以在球面上尽可能靠近地(例如，在二十面体的每个角上、在网格状球顶的每个角上等)布置多个相机。以下将描述多个套装布置。本公开中描述的每个布置可以配置有上述或其他直径和相机之间的距离。
参考图3，描绘了二十面相机套装300。可以将多个相机安装在相机套装300上。如相机302、304和306所示，相机可以放置在二十面体中的三角形的点处。替代地或者额外地，相机可以被放置在如由相机308、310、312和314所示的二十面体的三角形的中心。相机316、318、320、322和324被示出为在二十面体的边缘附近。在二十面体周围可以包含额外的相机。相机间隔和直径326可以被配置为类似于贯穿本公开描述的其它相机套装。在一些实现方式中，相机可以放置成与相机套装相切。在其他实现方式中，每个相机可以以相对于相机套装的不同角度放置。
相机套装300可以是静态的并且配置有具有宽视场的相机302-324。例如，相机302-324可捕获大约150度至大约180度的视场。相机302-324可以具有鱼眼镜头以捕获更宽的视图。在一些实现方式中，相邻的相机(例如，302和320)可以用作立体对，并且第三相机306可与相机302和320中的每一个配对，以产生立体的三个一组的相机，其中可以从自相机302、306和320获得的图像中计算光流。类似地，以下相机可以产生可组合的图像以产生3D图像(相机302、312和324)、(相机302、304和324)、(相机304、316和324)、(相机302、306、320)、(相机304、316和318)、(相机304、306和318)和(相机310、312和318)，以及在图3中未绘出的其他相机组合。
在一些实现方式中，相机套装300(和本文描述的其它相机)可以被配置为捕获诸如场景330的场景的图像。图像可以包括场景330的部分、场景330的视频或场景330的全景视频。在操作中，本文描述的系统可以检索这样的捕获的图像，并且可以处理内容以便以三维格式显示捕获的图像内的特定区域。例如，本文描述的系统可以确定用多个相机捕获的多个图像中的其中将二维数据变换为三维数据的区域。示例区域包括区域332、334和336。这些区域可以是用户选择的、导演选择的或者自动选择的。在一些实现方式中，可以在图像被捕获之后并且在HMD设备中的图像显示期间选择区域。可以在整个场景330中选择其他区域，并且区域332、334和336表示示例区域。区域332描绘由套装300使用捕获路径338、340和342捕获的区域。
参考图4，描绘了六边形球面相机套装400。可以将多个相机安装在相机套装400上。相机可以放置在六边形的点处，或者沿着六边形的侧边放置，如相机402、404和406所示。替代地或者额外地，相机可以放置在六边形的中心。可以在六边形球面相机套装400的周围包括额外的相机。相机间隔和直径408可以被配置为类似于贯穿本公开描述的其它相机套装。
图5是示出向访问VR空间的用户提供3D图像内容的区域的处理500的一个实施例的流程图。处理500可以使用捕获的图像来检索和/或计算包括但不限于RGB数据的图像数据，并且可以使用这些数据来计算与图像的区域中的像素的一部分相关联的深度值数据。该系统可以使用图像数据，将该区域的二维版本转换为该区域的三维版本，以便提供用于在头戴式显示设备中显示该区域的三维版本。
在框502，系统100可以确定用多个相机捕获的多个图像中的将二维数据变换为三维数据的区域。多个图像可以是静态图像、视频、图像的各部分和/或视频的各部分。在一些实现方式中，多个图像可以包括用安装在球形相机套装上的多个相机捕获的视频图像内容。在一些实现方式中，至少部分地基于在诸如显示设备106的头戴式显示器处检测到的用户输入，自动地执行将二维数据变换成三维数据的区域的确定。用户输入可以包括头部转动、眼睛注视方向的改变、手势、位置改变等。在一些实现方式中，基于在特定视频或图像内提供3D区域的VR电影导演选择手动地发生区域确定。
在框504，系统100可以计算该区域中的一部分像素的深度值。在一些实现方式中，系统100可以计算该区域中每个像素的深度值。计算深度值可包括比较由多个相机捕获的多个区域。例如，区域332的三个图像可以由相对于区域332不同角度的三个相机(例如，相机304、316和324)捕获。系统100可以比较三个图像中的像素强度和位置，以确定像素强度的精度。使用比较结果，可以对区域332中的一个或多个像素计算深度值。可以在场景中比较其他参考对象以确定像素强度的精度。
在框506，系统100可以生成球面图像。生成球面图像可以包括使用图像数据来计算图像的球形格式版本。
在框508，系统100可以使用图像数据构造由图像处理系统生成的计算机图形对象的三维空间中的三维表面。例如，像素的部分可以在计算机图形对象的表面上表示，其半径等于与该区域中的像素的各部分中的一个或多个相关联的相应深度值。计算机图形对象可以是球形、二十面形、三角形或其他多边形。
在框510，系统100可以使用图像数据生成到计算机图形对象的表面的纹理映射。纹理映射可以包括将图像数据映射到计算机图形对象的表面。在框512，系统100可以发送球面图像和纹理映射，用于在头戴式显示设备中显示。
在框512，系统100可以发送球面图像和纹理映射，用于在头戴式显示设备中显示。在一些实现方式中，处理500可以包括为该区域生成额外的球面图像和纹理映射，通过将图像数据的一部分和球面图像组合来生成左眼视图。处理500可额外包括通过生成额外图像数据并将额外图像数据和额外球面图像组合来生成右眼视图。处理500可以额外包括在头戴式显示设备中显示左眼视图和右眼视图。在一些实现方式中，图像数据包括该区域中的像素中的至少部分的深度值数据和RGB数据。
显示可以包括该区域中的3D图像内容。该方法还可以包括生成额外的球面图像和纹理映射，通过将深度值的一部分与RGB数据和球面图像组合来生成左眼视图，通过生成额外的深度值并将额外的深度值与更新的RGB数据和额外的球面图像组合来生成右眼视图，以及在头戴式显示设备中显示左眼视图和右眼视图。
在一些实现方式中，本文所述的系统可以被配置为用任何数量的相机获得图像。例如，相机402、404和406(图4)可用于捕获特定图像。本文描述的系统可以使用捕获的图像中的一个或多个来生成至少两个更新的图像，用于提供给头戴式显示设备。更新的图像可以被配置为提供2D或3D内容。可以在更新的图像的部分或更新的图像的全部中配置3D内容。可以使用从自物理相机(诸如相机402、404和406)捕获的图像生成的虚拟相机视点，生成更新的图像。视点可以涉及被选择以在图像的特定区域中提供特定3D内容的一个或多个偏移。
在一些实现方式中，更新的图像包括从特定偏移生成的图像数据。例如，一个更新的图像可以包括从一个或多个相机402、404或406的向左的偏移捕获内容中的一部分像素的图像内容。另一更新的图像可以包括从一个或多个相机402、404或406的向右的偏移捕获内容中的一部分像素的图像内容。
通常，更新的图像可以包括偏移图像内容、虚拟内容、来自各种相机角度的内容、操纵的图像内容及其组合。在一些实现方式中，可以通过内插至少一个虚拟相机的视点来生成更新的图像。内插可以包括对捕获的图像中的多个像素进行采样、使用光流产生虚拟内容、以及使虚拟内容适合于放置在更新的图像中的至少一个中。
虚拟相机可以被配置为捕获从预定义中心线向左偏移中的内容，并捕获从预定义中心线向右偏移中的内容。向左偏移和向右偏移可以是可修改的并且可用于使图像适合于头戴显示器中的精确显示。
虚拟相机可以被配置为使用用一个或多个物理相机捕获的内容，并且适应从内插视点提供的内容。具体地，虚拟相机可以适于捕获由一个或多个物理相机生成的任何偏移(角度)。偏移可以定义视点。偏移可以从物理相机中心线或两个物理相机之间定义的中心线定义。可以调谐内容的内插以生成具有从任何一个中心线进行任何偏移的内容，并且可以选择偏移量和方向来确保在HMD显示设备中提供的图像中的三维效果的精确描绘。
在生成至少两个更新的图像时，本文所述的系统可以被配置为将第一图像映射到第一球面以生成用于提供到头戴式显示器的左目镜的第一球面图像。类似地，本文描述的系统可以被配置为将第二图像映射到第二球面以产生用于提供到头戴式显示器的右目镜的第二球面图像。第一图像的映射和第二图像的映射可以包括将纹理应用于第一图像和第二图像。如上面详细描述的，纹理的应用可以包括将像素坐标从第一图像分配给第一球面并且将像素坐标从第二图像分配给第二球面。
图6示出了可以与这里描述的技术一起使用的通用计算机设备600和通用移动计算机设备650的示例。计算设备600包括处理器602、存储器604、存储设备606、连接到存储器604和高速扩展端口610的高速接口608、以及连接到低速总线614和存储设备606的低速接口612。组件602、604、606、608、610和612中的每一个使用各种总线互连，并且可以安装在公共母板上或以其他方式适当地安装。处理器602可以处理用于在计算设备600内执行的指令，包括存储在存储器604中或存储设备606上的指令，以在诸如耦合到高速接口608的显示器616的外部输入/输出设备上显示用于GUI的图形信息。在其他实现方式中，可以适当地使用多个处理器和/或多个总线以及多个存储器和多个类型的存储器。此外，可以连接多个计算设备600，每个设备提供必要操作的部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。
存储器604在计算设备600内存储信息。在一个实现方式中，存储器604是一个或多个易失性存储器单元。在另一实现方式中，存储器604是一个或多个非易失性存储器单元。存储器604还可以是另一种形式的计算机可读介质，诸如磁盘或光盘。
存储设备606能够为计算设备600提供大容量存储。在一个实现方式中，存储设备606可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其它类似的固态存储器设备、或设备阵列，包括存储区域网络中的设备或其他配置。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含指令，所述指令当被运行时执行一个或多个方法，诸如上述的方法。信息载体是诸如存储器604、存储设备606或处理器602上的存储器的计算机或机器可读介质。
高速控制器608管理计算设备600的带宽密集型操作，而低速控制器612管理较低带宽密集型操作。功能的这种分配仅是示例性的。在一个实现方式中，高速控制器608耦合到存储器604、显示器616(例如，通过图形处理器或加速器)以及可接受各种扩展卡(未示出)的高速扩展端口610。在实现方式中，低速控制器612耦合到存储设备606和低速扩展端口614。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以耦合到一个或多个输入/输出设备，诸如键盘、指示设备、扫描仪或例如通过网络适配器耦合到诸如交换机或路由器的联网设备。
计算设备600可以以多种不同的形式来实现，如图所示。例如，其可以被实现为标准服务器620，或者在一组这样的服务器中多次实现。其也可以被实现为机架服务器系统624的一部分。此外，其可以在诸如膝上计算机622的个人计算机中实现。替代地，来自计算设备600的组件可以与诸如设备650的移动设备(未示出)中的其他组件组合。这些设备中的每一个可以包含计算设备600、650中的一个或多个，并且整个系统可以由彼此通信的多个计算设备600、650组成。
计算设备650包括处理器652、存储器664、诸如显示器654的输入/输出设备、通信接口666和收发器668以及其他组件。设备650还可以被提供有诸如微驱动器或其他设备的存储设备，以提供额外的存储。组件650、652、664、654、666和668中的每一个使用各种总线互连，并且若干组件可以安装在公共主板上或以其他方式适当地安装。
处理器652可以执行计算设备650内的指令，包括存储在存储器664中的指令。处理器可以被实现为包括单独的和多个模拟和数字处理器的芯片的芯片组。处理器可以例如提供用于设备650的其他组件的协调，诸如用户接口的控制、由设备650运行的应用以及由设备650进行的无线通信。
处理器652可以通过耦合到显示器654的显示接口656和控制接口658与用户通信。显示器654可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其他适当的显示技术。显示接口656可以包括用于驱动显示器654以向用户呈现图形和其他信息的适当电路。控制接口658可以接收来自用户的命令并将其转换以提交给处理器652。另外，外部接口662可以被提供与处理器652通信，以便设备650能够与其他设备进行近区域通信。外部接口662可以提供例如用于在一些实现方式中的有线通信、或者在其它实现方式中的无线通信，并且还可以使用多个接口。
存储器664在计算设备650内存储信息。存储器664可以被实现为计算机可读介质或媒介、易失性存储器单元或非易失性存储器单元中的一个或多个。扩展存储器674还可以被提供并通过扩展接口672连接到设备650，扩展接口672可以包括例如SIMM(单边接触存储器模块)卡接口。这种扩展存储器674可以为设备650提供额外的存储空间，或者还可以存储用于设备650的应用或其他信息。具体来说，扩展存储器674可以包括用于执行或补充上述处理的指令，并且还可以包括安全信息。因此，例如，扩展存储器674可以被提供为用于设备650的安全模块，并且可以用允许安全使用设备650的指令来编程。此外，可以经由SIMM卡以及额外信息来提供安全应用，诸如以安全的方式将识别信息放置在SIMM卡上。
存储器可以包括例如闪存和/或NVRAM存储器，如下所述。在一个实现方式中，计算机程序产品被有形地体现在信息载体中。计算机程序产品包含指令，所述指令当被运行时执行诸如上述的一个或多个方法。信息载体是可以例如通过收发器668或外部接口662接收的计算机或机器可读介质，诸如存储器664、扩展存储器674或处理器652上的存储器。
设备650可以通过通信接口666进行无线通信，通信接口666可以在必要时包括数字信号处理电路。通信接口666可以在各种模式或协议下提供通信，诸如GSM语音呼叫、SMS、EMS或MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发器668发生。另外，可以发生短距离通信，诸如使用蓝牙、Wi-Fi或其他此类收发器(未示出)。此外，GPS(全球定位系统)接收器模块670可以向设备650提供额外的导航和与位置相关的无线数据，其可以由在设备650上运行的应用来适当地使用。
设备650还可以使用音频编解码器660可听地通信，音频编解码器660可以从用户接收言语信息并将其转换为可用的数字信息。音频编解码器660诸如通过例如在设备650的手机中的扬声器，同样可以为用户生成可听见的声音。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件，等等)，并且还可以包括由在设备650上运行的应用生成的声音。
计算设备650可以以多种不同的形式来实现，如图所示。例如，其可以被实现为蜂窝电话680。其还可以被实现为智能电话682、个人数字助理或其他类似移动设备的一部分。
这里描述的系统和技术的各种实现可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实现方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实现方式，所述可编程系统包括：可以是特殊或通用目的的至少一个可编程处理器，其被耦合以从存储系统接收数据和指令以及发送数据以及指令至存储系统；至少一个输入设备和至少一个输出设备。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级过程化和/或面向对象编程语言和/或汇编/机器语言来实现。如本文所使用的，术语“机器可读介质”、“计算机可读介质”是指任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，其用于向可编程处理器提供机器指令和/或数据，包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，本文描述的系统和技术可以在计算机上实现，所述计算机具有：显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)，用于向用户显示信息；以及键盘和指点设备(例如，鼠标或轨迹球)，用户可以通过键盘和指点设备向计算机提供输入。也可以使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。
本文描述的系统和技术可以在包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器))的计算系统中实现，或者在包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过该图形用户界面或Web浏览器与这里描述的系统和技术的实现进行交互)的计算系统中实现，或者以这种后端、中间件或前端组件的任何组合实现。系统的组件可以通过数字数据通信(例如，通信网络)的任何形式或介质来互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系是由于各自计算机上运行的并且彼此之间具有客户端-服务器关系的计算机程序而产生的。
在一些实现方式中，图6所绘的计算设备可以包括与虚拟现实(VR耳机690)接口的传感器。例如，包括在计算设备650或图6所示的其他计算设备上的一个或多个传感器可以向VR耳机690提供输入，或者一般来说，为VR空间提供输入。传感器可以包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物测定传感器、温度传感器、湿度传感器和环境光传感器。计算设备650可以使用传感器来确定VR空间中的计算设备的绝对位置和/或检测到的旋转，然后可以将其用作VR空间的输入。例如，计算设备650可以作为虚拟对象(诸如控制器、激光指示器、键盘、武器等)并入VR空间中。当被并入到VR空间中时，由用户对计算设备/虚拟对象VR空间的定位可以允许用户定位计算设备以在VR空间中以某些方式查看虚拟对象。例如，如果虚拟对象表示激光指示器，则用户可以操纵计算设备，就好像其是实际的激光指示器一样。用户可以将计算设备左右移动、上下移动、画圈移动等，并以与使用激光指示器相似的方式使用该设备。
在一些实现方式中，包括在计算设备650上或连接到计算设备650的一个或多个输入设备可以用作VR空间的输入。输入设备可以包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板、指示设备、鼠标、轨迹球、操纵杆、相机、麦克风、具有输入功能的耳机或耳塞、游戏控制器或其他可连接的输入设备。当计算设备被并入到VR空间中时，与包括在计算设备650上的输入设备交互的用户可以使得在VR空间中发生特定动作。
在一些实现方式中，计算设备650的触摸屏可以被呈现为VR空间中的触摸板。用户可以与计算设备650的触摸屏进行交互。例如，交互在VR耳机690中呈现为VR空间中所呈现的触摸板上的移动。呈现的移动可以控制VR空间中的对象。
在一些实现方式中，包括在计算设备650上的一个或多个输出设备可以向VR空间中的VR耳机690的用户提供输出和/或反馈。输出和反馈可以是视觉、触觉或音频。输出和/或反馈可以包括但不限于振动、打开和关闭或闪烁和/或闪光一个或多个灯或闪光灯、发出警报、播放铃声、播放歌曲和播放音频文件。输出设备可以包括但不限于振动马达、振动线圈、压电设备、静电设备、发光二极管(LED)、闪光灯和扬声器。
在一些实现方式中，计算设备650可以在计算机生成的3D环境中表现为另一个对象。用户与计算设备650的交互(例如，旋转、振动、触摸触摸屏、在触摸屏上滑动手指)可以被解释为与VR空间中的对象的交互。在VR空间中的激光指示器的示例中，计算设备650在计算机生成的3D环境中表现为虚拟激光指示器。当用户操纵计算设备650时，VR空间中的用户看到激光指示器的移动。用户从计算设备650上或VR耳机690上与VR空间中的计算设备650的交互接收反馈。
在一些实现方式中，除了计算设备之外的一个或多个输入设备(例如，鼠标、键盘)可以在计算机生成的3D环境中呈现。呈现的输入设备(例如，呈现的鼠标、呈现的键盘)可以被用于在VR空间中呈现以控制VR空间中的对象。
计算设备600意图表示各种形式的数字计算机，诸如膝上计算机、桌面计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备650旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。这里所示的组件、它们的连接和关系以及它们的功能仅仅是示例性的，并不意味着限制本文中描述和/或要求保护的发明的实现。
已经描述了许多实施例。然而，应当理解，在不脱离本说明书的主旨和范围的情况下，可以进行各种修改。
另外，附图中描绘的逻辑流程不需要所示的特定次序或顺序的次序来实现期望的结果。此外，可以提供其他步骤，或者可以从所描述的流程中消除步骤，并且可以将其他组件添加到所描述的系统中或从所描述的系统中移除。因此，其它实施例在所附权利要求的范围内。
以下示例中总结了进一步的实现方式。
示例1：一种计算机实现的方法，包括：确定用多个相机捕获的多个图像中的将二维数据变换为三维数据的区域；计算该区域中的一部分像素的深度值；生成球面图像，该球面图像包括该区域中的该部分像素的图像数据；使用图像数据在图像处理系统生成的计算机图形对象的三维空间中构造三维表面；使用所述图像数据生成到所述计算机图形对象的表面的纹理映射，所述纹理映射包括将所述图像数据映射到所述计算机图形对象的表面；以及发送球面图像和纹理映射，用于在头戴式显示设备中显示。
示例2：示例1的方法，其中该部分像素在计算机图形对象的表面上表示，该计算机图形对象的半径等于与该区域中的该部分像素中的一个或多个相关联的相应深度值。
示例3：示例1或2的方法，还包括：生成与所述区域相关联的额外球面图像和纹理映射；通过组合图像数据的一部分和球面图像来产生左眼视图；通过生成额外图像数据并将额外图像数据和额外球面图像组合来生成右眼视图；在头戴显示设备中显示左眼视图和右眼视图；并且其中所述图像数据包括所述区域中的该部分像素中的至少一些的深度值数据和RGB数据。
示例4：示例1至3中的一个的方法，其中所述多个图像包括视频内容，并且其中所述图像数据包括与该部分像素相关联的RGB数据和深度值数据，所述方法还包括：使用图像数据，将该区域的二维版本转换成该区域的三维版本；并且提供用于在头戴式显示设备中显示的该区域的三维版本。
示例5：示例1至4中的一个的方法，其中所述多个图像用安装在球形相机套装上的多个相机进行捕获。
示例6：示例1至5中的一个的方法，其中至少部分地基于在头戴式显示器上检测到的用户输入自动地执行将二维数据变换成三维数据的区域的确定。
示例7：示例6的方法，其中用户输入包括头转动，并且三维数据用于在对应于视图的所述多个图像中的至少一个中生成三维部分。
示例8：示例6或7的方法，其中用户输入包括眼睛注视方向的改变，并且三维数据用于在用户视线中的所述多个图像中的至少一个中生成三维部分。
示例9：一种计算机实现的系统，包括：至少一个处理器；存储器，存储指令，所述指令当由所述至少一个处理器执行时，使所述系统执行操作，所述操作包括确定用多个相机捕获的多个图像内的将二维数据变换成三维数据的区域；计算该区域中的一部分像素的深度值；生成球面图像，该球面图像包括该区域中的该部分像素的图像数据；使用图像数据在图像处理系统生成的计算机图形对象的三维空间中构造三维表面；使用所述图像数据生成到所述计算机图形对象的表面的纹理映射，所述纹理映射包括将所述图像数据映射到所述计算机图形对象的表面；以及发送球面图像和纹理映射，用于在头戴式显示设备中显示。
示例10：示例9的系统，还包括：生成额外球面图像和纹理映射；通过组合图像数据的一部分和球面图像来产生左眼视图；通过生成额外图像数据并将额外图像数据和额外球面图像组合来生成右眼视图；在头戴显示设备中显示左眼视图和右眼视图；并且其中所述图像数据包括所述区域中的该部分像素中的至少一些的深度值数据和RGB数据。
示例11：示例9或10的系统，其中所述多个图像包括视频内容，并且其中所述图像数据包括与该部分像素相关联的RGB数据和深度值数据，所述系统还包括：使用所述图像数据将所述区域的二维版本转换为所述区域的三维版本；并且提供用于在头戴式显示设备中显示的该区域的三维版本。
示例12：示例9至11中的一个的系统，其中所述多个图像用安装在球形相机套装上的多个相机进行捕获。
示例13：示例9至12中的一个的系统，其中至少部分地基于在头戴式显示器上检测到的用户输入自动地执行将二维数据变换成三维数据的区域的确定。
示例14：示例13的系统，其中用户输入包括眼睛注视方向的改变，并且三维数据用于在用户视线中的所述多个图像中的至少一个中生成三维部分。
示例15：一种计算机实现的方法，包括：用多个相机获得多个图像；为所述多个图像生成至少两个更新的图像，所述至少两个更新的图像通过内插至少一个虚拟相机的视点而生成，所述至少一个虚拟相机被配置为捕获从预定义中心线向左偏移的内容并且捕获从所述预定中心线向右偏移的内容；将所述至少两个更新的图像中的第一图像映射到第一球面，以生成用于提供到头戴式显示器的左目镜的第一球面图像；将所述至少两个更新的图像中的第二图像映射到第二球面，以生成用于提供到所述头戴式显示器的右目镜的第二球面图像；并且将第一球面图像显示在头戴式显示器的左目镜中，并将第二球面图像显示在头戴式显示器的右目镜中。
示例16：示例15的方法，其中所述至少一个虚拟相机被配置为使用使用一个或多个物理相机捕获的内容并且适应从视点提供的内容。
示例17：示例15或16的方法，其中：第一图像的映射包括：通过将像素坐标从第一图像分配给第一球面来将纹理应用到第一图像；并且第二图像的映射包括：通过将像素坐标从第二图像分配到第二球面来将纹理应用于第二图像。
示例18：示例15至17中的一个的方法，其中内插视点包括对所述多个图像中的多个像素进行采样，使用光流生成虚拟内容，并将虚拟内容放置在所述至少两个更新的图像中的至少一个中。
示例19：示例18的方法，其中所述至少两个球面图像包括具有包含在左偏移捕获的内容中的所述多个像素的至少一部分的RGB图像、和具有包含在右偏移捕获的内容中的所述多个像素的至少一部分的RGB图像。
示例20：示例15至19中的一个的方法，其中左偏移和右偏移是可修改的，并且用于适应头戴式显示器中的第一图像和第二图像的显示精度。

Claims (20)

1.一种计算机实现的方法，包括：
确定用多个相机捕获的多个图像中的其中将二维数据变换为三维数据的区域；
计算所述区域中的部分像素的深度值；
生成球面图像，所述球面图像包括所述区域中的所述部分像素的图像数据；
使用所述图像数据在图像处理系统生成的计算机图形对象的三维空间中构造三维表面；
使用所述图像数据生成到所述计算机图形对象的表面的纹理映射，所述纹理映射包括将所述图像数据映射到所述计算机图形对象的表面；以及
发送所述球面图像和所述纹理映射，用于在头戴式显示设备中显示。
2.如权利要求1所述的方法，其中所述部分像素在所述计算机图形对象的表面上表示，所述计算机图形对象的半径等于与所述区域中的所述部分像素中的一个或多个相关联的相应深度值。
3.如权利要求1所述的方法，还包括：
生成与所述区域相关联的额外球面图像和纹理映射；
通过将图像数据的一部分和球面图像组合来产生左眼视图；
通过生成额外图像数据并将额外图像数据和额外球面图像组合来生成右眼视图；
在头戴显示设备中显示左眼视图和右眼视图；并且
其中所述图像数据包括所述区域中的所述部分像素中的至少一些的深度值数据和RGB数据。
4.如权利要求1所述的方法，其中所述多个图像包括视频内容，并且其中所述图像数据包括与所述部分像素相关联的RGB数据和深度值数据，所述方法还包括：
使用图像数据，将所述区域的二维版本转换成所述区域的三维版本；以及
提供用于在头戴式显示设备中显示的所述区域的三维版本。
5.如权利要求1所述的方法，其中所述多个图像用安装在球形相机套装上的多个相机进行捕获。
6.如权利要求1所述的方法，其中至少部分地基于在头戴式显示器上检测到的用户输入来自动地执行其中将二维数据变换成三维数据的区域的确定。
7.如权利要求6所述的方法，其中用户输入包括头部转动，并且所述三维数据用于在与视图对应的所述多个图像中的至少一个中生成三维部分。
8.如权利要求6所述的方法，其中用户输入包括眼睛注视方向的改变，并且所述三维数据用于在用户视线中的所述多个图像中的至少一个中生成三维部分。
9.一种计算机实现的系统，包括：
至少一个处理器；
存储器，存储指令，所述指令当由所述至少一个处理器执行时，使所述系统执行操作，所述操作包括：
确定用多个相机捕获的多个图像内的其中将二维数据变换成三维数据的区域；
计算所述区域中的部分像素的深度值；
生成球面图像，所述球面图像包括所述区域中的所述部分像素的图像数据；
使用所述图像数据在图像处理系统生成的计算机图形对象的三维空间中构造三维表面；
使用所述图像数据生成到所述计算机图形对象的表面的纹理映射，所述纹理映射包括将所述图像数据映射到所述计算机图形对象的表面；以及
发送所述球面图像和所述纹理映射，用于在头戴式显示设备中显示。
10.如权利要求9所述的系统，还包括：
生成额外球面图像和纹理映射；
通过将图像数据的一部分和球面图像组合来产生左眼视图；
通过生成额外图像数据并将额外图像数据和额外球面图像组合来生成右眼视图；
在头戴显示设备中显示左眼视图和右眼视图；并且
其中所述图像数据包括所述区域中的所述部分像素中的至少一些的深度值数据和RGB数据。
11.如权利要求9所述的系统，其中所述多个图像包括视频内容，并且其中所述图像数据包括与所述部分像素相关联的RGB数据和深度值数据，所述系统还包括：
使用所述图像数据将所述区域的二维版本转换为所述区域的三维版本；以及
提供用于在头戴式显示设备中显示的所述区域的三维版本。
12.如权利要求9所述的系统，其中所述多个图像用安装在球形相机套装上的多个相机进行捕获。
13.如权利要求9所述的系统，其中至少部分地基于在头戴式显示器上检测到的用户输入来自动地执行其中将二维数据变换成三维数据的区域的确定。
14.如权利要求13所述的系统，其中用户输入包括眼睛注视方向的改变，并且三维数据用于在用户视线中的所述多个图像中的至少一个中生成三维部分。
15.一种计算机实现的方法，包括：
用多个相机获得多个图像；
针对所述多个图像生成至少两个更新的图像，所述至少两个更新的图像通过内插至少一个虚拟相机的视点而生成，所述至少一个虚拟相机被配置为捕获从预定义中心线向左偏移的内容并且捕获从所述预定中心线向右偏移的内容；
将所述至少两个更新的图像中的第一图像映射到第一球面，以生成用于提供到头戴式显示器的左目镜的第一球面图像；
将所述至少两个更新的图像中的第二图像映射到第二球面，以生成用于提供到所述头戴式显示器的右目镜的第二球面图像；以及
将第一球面图像显示在头戴式显示器的左目镜中，并将第二球面图像显示在头戴式显示器的右目镜中。
16.如权利要求15所述的方法，其中所述至少一个虚拟相机被配置为使用使用一个或多个物理相机捕获的内容并且适应从视点提供的内容。
17.如权利要求15所述的方法，其中：
第一图像的映射包括通过将像素坐标从第一图像分配给第一球面来将纹理应用到第一图像；并且
第二图像的映射包括通过将像素坐标从第二图像分配到第二球面来将纹理应用于第二图像。
18.如权利要求15所述的方法，其中内插视点包括：对所述多个图像中的多个像素进行采样，使用光流生成虚拟内容，并将虚拟内容放置在所述至少两个更新的图像中的至少一个中。
19.如权利要求18所述的方法，其中所述至少两个球面图像包括具有在左偏移捕获的内容中包括的所述多个像素的至少一部分的RGB图像、和具有在右偏移捕获的内容中包括的所述多个像素的至少一部分的RGB图像。
20.如权利要求15所述的方法，其中左偏移和右偏移是可修改的，并且用于适应头戴式显示器中的第一图像和第二图像的显示精度。
CN201680025207.1A 2015-09-16 2016-09-16 用于图像处理的方法和系统 Active CN107636534B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562219534P 2015-09-16 2015-09-16
US62/219,534 2015-09-16
US15/266,602 US10217189B2 (en) 2015-09-16 2016-09-15 General spherical capture methods
US15/266,602 2016-09-15
PCT/US2016/052086 WO2017049055A1 (en) 2015-09-16 2016-09-16 General spherical capture methods

Publications (2)

Publication Number Publication Date
CN107636534A true CN107636534A (zh) 2018-01-26
CN107636534B CN107636534B (zh) 2020-05-19

Family

ID=58238875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680025207.1A Active CN107636534B (zh) 2015-09-16 2016-09-16 用于图像处理的方法和系统

Country Status (8)

Country Link
US (1) US10217189B2 (zh)
EP (1) EP3350653B1 (zh)
JP (1) JP6643357B2 (zh)
KR (1) KR101986329B1 (zh)
CN (1) CN107636534B (zh)
DE (1) DE112016004216T5 (zh)
GB (1) GB2555724B (zh)
WO (1) WO2017049055A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110072158A (zh) * 2019-05-06 2019-07-30 复旦大学 球面赤道区域双c型全景视频投影方法
CN111061123A (zh) * 2019-12-25 2020-04-24 重庆特斯联智慧科技股份有限公司 一种旅游景观展示的旋转全景成像系统及使用方法
CN111243001A (zh) * 2019-06-11 2020-06-05 牧今科技 基于第二图像更新第一图像的方法和处理系统
CN111819570A (zh) * 2018-05-21 2020-10-23 谷歌有限责任公司 用于检测滥用球形视频内容中被放置在球体上的二维视频的方法、系统和介质
CN112204949A (zh) * 2018-03-29 2021-01-08 天穹有限公司 用于实现球面成像的相机系统
CN115699114A (zh) * 2020-06-13 2023-02-03 高通股份有限公司 用于分析的图像增广

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2544970B (en) * 2015-11-27 2018-01-24 Sony Interactive Entertainment Inc Image capture apparatus
JP2019035584A (ja) * 2015-12-01 2019-03-07 株式会社ソニー・インタラクティブエンタテインメント 距離計測デバイス
EP3190780A1 (en) * 2016-01-05 2017-07-12 Giroptic Two-lens spherical camera
KR102381370B1 (ko) * 2016-02-19 2022-03-31 삼성전자주식회사 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스
US9972066B1 (en) * 2016-03-16 2018-05-15 Gopro, Inc. Systems and methods for providing variable image projection for spherical visual content
FI20165256L (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
US10057487B1 (en) * 2016-03-25 2018-08-21 Scott Zhihao Chen Panoramic imaging systems based on normal-lens cameras
US10057562B2 (en) * 2016-04-06 2018-08-21 Facebook, Inc. Generating intermediate views using optical flow
US10210660B2 (en) 2016-04-06 2019-02-19 Facebook, Inc. Removing occlusion in camera views
US20190253624A1 (en) 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
CN114245121A (zh) 2016-10-04 2022-03-25 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
KR102531386B1 (ko) 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
CN107993276B (zh) * 2016-10-25 2021-11-23 杭州海康威视数字技术股份有限公司 一种全景图像的生成方法及装置
KR102589853B1 (ko) * 2016-10-27 2023-10-16 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
GB2558283B (en) * 2016-12-23 2020-11-04 Sony Interactive Entertainment Inc Image processing
US10497100B2 (en) 2017-03-17 2019-12-03 Disney Enterprises, Inc. Image cancellation from video
JP7070547B2 (ja) * 2017-03-22 2022-05-18 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム
WO2018234622A1 (en) * 2017-06-21 2018-12-27 Nokia Technologies Oy METHOD OF DETECTING EVENTS OF INTEREST
JP6951917B2 (ja) * 2017-09-15 2021-10-20 株式会社ソニー・インタラクティブエンタテインメント 撮像装置
US10594917B2 (en) * 2017-10-30 2020-03-17 Microsoft Technology Licensing, Llc Network-controlled 3D video capture
KR102435519B1 (ko) 2018-06-20 2022-08-24 삼성전자주식회사 360도 영상을 처리하는 방법 및 장치
CN110956583B (zh) * 2018-09-26 2022-05-10 华为技术有限公司 球面图像处理方法、装置及服务器
KR102065632B1 (ko) * 2018-10-22 2020-02-11 전자부품연구원 복수의 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
CN111489448B (zh) * 2019-01-24 2024-08-20 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
SG10201902889VA (en) * 2019-03-29 2020-10-29 Nec Corp System and Method for Adaptively Constructing a Three-Dimensional Facial Model Based on Two or More Inputs of a Two- Dimensional Facial Image
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
US11048376B2 (en) * 2019-05-15 2021-06-29 Microsoft Technology Licensing, Llc Text editing system for 3D environment
US11164395B2 (en) 2019-05-15 2021-11-02 Microsoft Technology Licensing, Llc Structure switching in a three-dimensional environment
US11800231B2 (en) 2019-09-19 2023-10-24 Apple Inc. Head-mounted display
CN111738923B (zh) * 2020-06-19 2024-05-10 京东方科技集团股份有限公司 图像处理方法、设备及存储介质
CN111754606B (zh) * 2020-07-01 2024-12-03 深圳市小猴跳跳网络科技有限公司 一种2d地图弯曲模拟地平线消失的方法
PL4176334T3 (pl) * 2020-07-03 2025-03-17 Pfetch, Inc. Systemy i sposoby zdalnej obecności oraz uczestnictwa
CN114077410A (zh) * 2020-08-11 2022-02-22 北京芯海视界三维科技有限公司 图像处理装置及虚拟现实设备
US11405544B2 (en) * 2020-10-09 2022-08-02 Sony Group Corporation Programmable rig control for three-dimensional (3D) reconstruction
KR20230014943A (ko) * 2021-07-22 2023-01-31 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
CN115474034B (zh) * 2021-06-11 2024-04-26 腾讯科技（深圳）有限公司 沉浸媒体的数据处理方法、装置、相关设备及存储介质
EP4322525A4 (en) * 2021-07-22 2024-09-18 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE FOR PROVIDING AUGMENTED REALITY OR VIRTUAL REALITY, AND METHOD OF OPERATING ELECTRONIC DEVICE
KR102636562B1 (ko) 2023-12-01 2024-02-14 주식회사라이브아레나 구형 디스플레이를 통한 컨텐츠 제공 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07240868A (ja) * 1994-02-28 1995-09-12 Nippon Hoso Kyokai <Nhk> テレビジョンカメラ撮影制御装置
US20070097246A1 (en) * 2005-10-31 2007-05-03 Adams Guy D W Image capture device and method of capturing an image
CN102971770A (zh) * 2011-03-31 2013-03-13 松下电器产业株式会社 进行全周围立体图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5703604A (en) 1995-05-22 1997-12-30 Dodeca Llc Immersive dodecaherdral video viewing system
US5986668A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Deghosting method and apparatus for construction of image mosaics
JP2001273522A (ja) * 2000-03-23 2001-10-05 Ntt Comware Corp キャラクタ画像データ登録システムおよびその記録媒体
JP2001298652A (ja) * 2000-04-17 2001-10-26 Sony Corp 画像圧縮方法及び画像圧縮装置、並びにソフトウェア記憶媒体
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
US6947059B2 (en) 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
US7619629B1 (en) * 2006-06-15 2009-11-17 Nvidia Corporation Method and system for utilizing memory interface bandwidth to connect multiple graphics processing units
JP4764305B2 (ja) * 2006-10-02 2011-08-31 株式会社東芝 立体画像生成装置、方法およびプログラム
KR100987412B1 (ko) * 2009-01-15 2010-10-12 포항공과대학교 산학협력단 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
JP5675260B2 (ja) * 2010-10-15 2015-02-25 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法
KR102082300B1 (ko) 2013-07-01 2020-02-27 삼성전자주식회사 삼차원 영상 생성 또는 재생을 위한 장치 및 방법
JP5824537B2 (ja) * 2014-01-16 2015-11-25 キヤノン株式会社 情報処理装置および情報処理方法
EP3155560B1 (en) * 2014-06-14 2020-05-20 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
JP5743016B2 (ja) * 2014-09-29 2015-07-01 株式会社リコー 画像を生成する装置および方法
GB2534921B (en) * 2015-02-06 2021-11-17 Sony Interactive Entertainment Inc Head-mountable display system
US20170363949A1 (en) 2015-05-27 2017-12-21 Google Inc Multi-tier camera rig for stereoscopic image capture
KR101944050B1 (ko) * 2015-05-27 2019-04-17 구글 엘엘씨 파노라마 가상 현실 콘텐츠의 캡쳐 및 렌더링
WO2017026705A1 (ko) 2015-08-07 2017-02-16 삼성전자 주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
KR102458339B1 (ko) 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07240868A (ja) * 1994-02-28 1995-09-12 Nippon Hoso Kyokai <Nhk> テレビジョンカメラ撮影制御装置
US20070097246A1 (en) * 2005-10-31 2007-05-03 Adams Guy D W Image capture device and method of capturing an image
CN102971770A (zh) * 2011-03-31 2013-03-13 松下电器产业株式会社 进行全周围立体图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112204949A (zh) * 2018-03-29 2021-01-08 天穹有限公司 用于实现球面成像的相机系统
CN111819570A (zh) * 2018-05-21 2020-10-23 谷歌有限责任公司 用于检测滥用球形视频内容中被放置在球体上的二维视频的方法、系统和介质
CN110072158A (zh) * 2019-05-06 2019-07-30 复旦大学 球面赤道区域双c型全景视频投影方法
CN110072158B (zh) * 2019-05-06 2021-06-04 复旦大学 球面赤道区域双c型全景视频投影方法
CN111243001A (zh) * 2019-06-11 2020-06-05 牧今科技 基于第二图像更新第一图像的方法和处理系统
CN111243001B (zh) * 2019-06-11 2021-01-12 牧今科技 基于第二图像更新第一图像的方法和处理系统
US11080876B2 (en) 2019-06-11 2021-08-03 Mujin, Inc. Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera
US11688089B2 (en) 2019-06-11 2023-06-27 Mujin, Inc. Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera
CN111061123A (zh) * 2019-12-25 2020-04-24 重庆特斯联智慧科技股份有限公司 一种旅游景观展示的旋转全景成像系统及使用方法
CN111061123B (zh) * 2019-12-25 2022-02-15 重庆特斯联智慧科技股份有限公司 一种旅游景观展示的旋转全景成像系统及使用方法
CN115699114A (zh) * 2020-06-13 2023-02-03 高通股份有限公司 用于分析的图像增广
CN115699114B (zh) * 2020-06-13 2023-10-20 高通股份有限公司 用于分析的图像增广的方法和装置

Also Published As

Publication number Publication date
GB2555724A (en) 2018-05-09
DE112016004216T5 (de) 2018-06-07
CN107636534B (zh) 2020-05-19
US10217189B2 (en) 2019-02-26
JP6643357B2 (ja) 2020-02-12
WO2017049055A1 (en) 2017-03-23
KR20170133444A (ko) 2017-12-05
JP2018523326A (ja) 2018-08-16
GB201716679D0 (en) 2017-11-29
GB2555724A8 (en) 2018-10-03
EP3350653B1 (en) 2022-06-01
US20170076429A1 (en) 2017-03-16
GB2555724B (en) 2020-04-22
EP3350653A1 (en) 2018-07-25
WO2017049055A9 (en) 2018-01-04
KR101986329B1 (ko) 2019-06-05

Similar Documents

Publication Publication Date Title
CN107636534A (zh) 一般球面捕获方法
US12211160B2 (en) Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
US10645371B2 (en) Inertial measurement unit progress estimation
US11010958B2 (en) Method and system for generating an image of a subject in a scene
JP6518582B2 (ja) 情報処理装置および操作受付方法
US10229541B2 (en) Methods and systems for navigation within virtual reality space using head mounted display
CN111696213B (zh) 图像生成装置、图像生成方法以及计算机可读介质
US12026833B2 (en) Few-shot synthesis of talking heads
US20170366758A1 (en) System and method for acquiring virtual and augmented reality scenes by a user
US20170286993A1 (en) Methods and Systems for Inserting Promotional Content into an Immersive Virtual Reality World
TWI813098B (zh) 用於新穎視圖合成之神經混合
WO2015122108A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN107305435A (zh) 在增强现实和虚拟现实环境之间链接和交互的系统和方法
CN111602104B (zh) 用于与所识别的对象相关联地呈现合成现实内容的方法和设备
US20190259198A1 (en) Systems and methods for generating visual representations of a virtual object for display by user devices
US20210058611A1 (en) Multiviewing virtual reality user interface
US20220337805A1 (en) Reproduction device, reproduction method, and recording medium
US11128836B2 (en) Multi-camera display
CN117223050A (zh) 影像显示系统、信息处理方法及程序
CN109923540A (zh) 实时记录用于修改动画的手势和/或声音

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant