[go: up one dir, main page]

CN108351523A - 利用头戴式显示器使用立体照相机以及结构光的深度映射 - Google Patents

利用头戴式显示器使用立体照相机以及结构光的深度映射 Download PDF

Info

Publication number
CN108351523A
CN108351523A CN201680064632.1A CN201680064632A CN108351523A CN 108351523 A CN108351523 A CN 108351523A CN 201680064632 A CN201680064632 A CN 201680064632A CN 108351523 A CN108351523 A CN 108351523A
Authority
CN
China
Prior art keywords
image
equipment
noise ratio
captures
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680064632.1A
Other languages
English (en)
Inventor
尼古拉斯·丹尼尔·特瑞尔
亚历山大·约伯·菲克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Oculus VR Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oculus VR Inc filed Critical Oculus VR Inc
Publication of CN108351523A publication Critical patent/CN108351523A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/52—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Analysis (AREA)

Abstract

一种增强现实(AR)头戴设备，包括结合立体成像与结构光(SL)以生成感兴趣区域的深度信息的深度照相机组件。深度照相机组件包括至少两个图像捕捉设备以及SL照明器并且基于通过一个或多个照相机捕捉的图像的信噪比或空间差异确定成像模式。不同成像模式与一个或多个图像捕捉设备和SL照明器的不同操作对应。深度照相机组件包括不同范围的信噪比，每个范围对应于一种成像模式，并且深度照相机组件基于与包括捕捉的图像的信噪比的信噪比的范围相关联的成像模式配置图像捕捉设备和SL照明器。

Description

利用头戴式显示器使用立体照相机以及结构光的深度映射
背景技术
本公开总体涉及增强现实系统或虚拟现实系统，并且更具体地，涉及用于获得局部区域的深度信息的虚拟或增强现实系统的头戴设备。
虚拟现实(VR)系统可以包括增强现实(AR)系统，可以影响在三维空间(3D)中围绕用户的环境的捕捉。然而，传统的深度照相机成像架构相对大、重、并且消耗大量的功率。例如，飞行时间(直接检测脉冲以及编码波形图)、结构光(SL)、以及立体视觉是普遍使用的用于获得场景的三维信息的照相机架构。在SL架构内，具有有已知基线距离的单个照相机以及单一的SL源的不对称照相机设计是用于捕捉三维场景信息的普遍使用的框架。在不对称照相机设计中，通过将结构光图案映射到重叠的照相机视野来提供场景的三维信息。然而，SL设计的测量结果受在被成像的局部区域中具有带内背景光级别影响。例如，在局部区域的背景光的亮度横跨量级的多个级别(比SL源的表观强度相同或更亮)的情况下，SL方案会退化(因为所关心的信号最终消失在背景光源的光子噪声极限中)。飞行时间(ToF)架构在渐增的环境亮度下经历相似的性能下降。然而，没有通过受控或不受控的环境源的至少最小的背景亮度，立体视觉无法捕捉三维场景信息。
发明内容
包括在增强现实(AR)系统或虚拟现实(VR)系统中的头戴设备包括深度照相机组件(depth camera assembly，DCA)使能在具有各种动态范围的环境光条件下的视觉信息捕捉。DCA包括多个图像捕捉设备(例如，照相机、摄影机)，被配置为捕捉围绕DCA的局部区域(也称作“局部区域”)的图像，以及结构光(SL)源，被配置为发射SL图案到局部区域上。SL图案是特定图案，诸如对称或拟随机格网或水平条。基于当投射入局部区域到表面上时的SL图案的变形，确定在局部区域内的物体的深度以及表面信息。图像捕捉设备捕捉并且记录光的波长的特定范围(即，光的“频带”)。
DCA被配置为使用一个或多个图像捕捉设备捕捉局部区域的一个或多个图像。DCA中的不同图像捕捉设备被配置为捕捉包括通过照明源投射的SL图案的部分(即，“SL元素”)的图像或捕捉在不同图像捕捉设备的视野中的局部区域的表示。在一些实施方式中，至少一组捕捉的图像包括一个或多个SL元素。
DCA在各种成像模式中运行。基于局部区域的照明条件来确定这些模式。不同成像模式对应于SL照明器与DCA的各个图像捕捉设备的不同操作。在各种实施方式中，DCA确定通过DCA的图像捕捉设备捕捉的一个或多个图像的信噪比(SNR)并且比较该SNR与通过该DCA保持的SNR的各个范围。每个SNR的范围与不同成像模式相关联。DCA基于包括所确定的SNR的SNR的成像模式范围配置SL照明器与一个或多个图像捕捉设备的操作。除SNR之外，DCA还可以确定与一个或该一个或多个图像相关联的对比度。在实施方式中，所确定的SNR与对比度都被用于确定成像模式。在一些实施方式中，所确定的SNR是对比度与SNR的组合。在另外的实施方式中，DCA也确定通过DCA的图像捕捉设备捕捉的一个或多个图像的空间差异，并且比较所确定的空间差异与保持的空间差异的范围，每个该空间差异的范围与一种成像模式相关联。DCA基于与包括所确定的SNR的SNR的范围相关联、并且与包括所确定的空间差异的空间差异的范围相关联的成像模式，配置SL照明器以及一个或多个图像捕捉设备的操作。
在一个实施方式中，DCA保持阈值与小于该阈值的附加阈值。如果所确定的SNR等于或超过该阈值，DCA配置多个图像捕捉设备以在彩色空间(例如，在红色，蓝色，绿色彩色空间中)中捕捉局部区域的图像并且停用SL照明器。两个照相机都捕捉彩色图像或局部环境的形式允许基于在通过不同图像捕捉设备捕捉的图像之间的像素与像素的相关性的该局部环境的高分辨率深度信息的判定。
然而，如果所确定的SNR小于该阈值并且大于该附加阈值，DCA配置SL照明器以投射SL图案到局部区域上。此外，DCA配置图像捕捉设备以在彩色空间(诸如红色，蓝色，绿色)中捕捉局部区域的图像并且配置另一照相机以在包括SL照明器投射的波长的波长的范围中捕捉局部区域的图像。此外，DCA从图像捕捉设备中并且从另一图像捕捉设备中同步的或异步的检索图像数据以将从图像捕捉设备中检索的图像数据交错，以获得关于局部区域的深度信息。从不同图像捕捉设备中同时或在阈值时间或空间(相对于运动)量内检索图像数据，提供基于不同图像捕捉设备之间的间距，在通过图像捕捉设备捕捉的图像数据内填充图像数据中的阴影的信息。
如果所确定的SNR小于或等于该附加阈值，DCA配置SL照明器以投射SL图案到局部区域上。此外，DCA配置图像捕捉设备以及附加图像捕捉设备以在包括通过SL照明器投射的波长的波长的范围中捕捉局部区域的图像。例如，如果局部区域中的环境光足够低以使所确定的SNR低于该附加阈值，DCA配置图像捕捉设备以及附加图像捕捉设备以捕捉约在750至900纳米之间的波长。因此，在这种配置中，DCA在由SL照明器使用的波长中捕捉有关局部区域的信息。基于从图像捕捉设备以及从附加图像捕捉设备获得的投射到局部区域上的SL图案的图像数据，DCA执行粗糙以及精细立体匹配以获得关于局部区域的粗糙深度信息。
附图说明
图1是根据一种实施方式的包括增强现实系统的系统环境的方框图。
图2是根据一种实施方式的增强现实头戴设备的示图。
图3是根据一种实施方式的增强现实头戴设备的前刚体的横截面。
图4是根据一种实施方式的通过结构光源照亮的局部区域与通过照相机捕捉由局部区域反射的光的示例。
图5是根据实施方式的深度照相机组件的方框图。
图6是根据一种实施方式的确定场景的深度信息的过程的流程图。
附图仅为了说明的目的描述本公开的实施方式。本领域技术人员从下列描述中容易认识到，在不背离此处所描述的本公开内容的原理或推崇的益处的情况下，可以采用本发明中所示出的结构和方法的替代实施方式。
具体实施方式
系统概述
图1是增强现实(AR)系统环境100的一个实施方式的方框图，AR操纵台110在其中运行。如本文中使用的，AR系统环境100还可以包括将用户可以与之交互的虚拟环境呈现给用户的虚拟现实系统环境。通过图1示出的AR系统环境100包括各自耦接至AR操纵台110的AR头戴设备105以及AR输入/输出(I/O)接口115。虽然图1示出了包括一个AR头戴设备105以及一个AR I/O接口115的系统100实例，在其他实施例中，可以在AR系统环境100中包括任意数量的这些组件。例如，可以有多个AR头戴设备105，各自具有关联的AR I/O接口115，每个AR头戴设备105与AR I/O接口115与AR操纵台110通信。在替换的配置中，不同和/或附加组件可以包括在AR系统环境100中。此外，结合一个或多个在图1中示出的组件描述的功能可以在组件之间以与在一些实施方式中结合图1描述的不同的方式分配。例如，由AR头戴设备105提供AR操纵台110的一些或所有功能。
AR头戴设备105是呈现内容给用户的头戴式显示器，该内容包括以计算机产生的元素(例如，二维(2D)或三维(3D)图像、二维或三维视频、声音等)增强的物理的、现实世界环境的视图。在一些实施方式中，呈现的内容包括经由从AR头戴设备105、AR操纵台110或此两者接收音频信息并且基于该音频信息呈现音频数据的外部装置(例如，扬声器和/或头戴耳机)呈现的音频。下面结合图2和3进一步描述一种AR头戴设备105的实施方式。AR头戴设备105可以包括一个或多个刚体，其可刚性地或非刚性地彼此耦合在一起。刚体之间的刚性联接使得联接的刚体起单个刚性实体的作用。与此相反，刚体之间的非刚性联接允许刚体相对彼此移动。
AR头戴设备105包括深度照相机组件(DCA)120、电子显示器125、光学块130、一个或多个位置传感器135、以及惯性测量单元(IMU)140。AR头戴设备105的一些实施方式具有与结合图1描述的头戴设备不同组件。此外，由结合图1描述的各个组件提供的功能可以不同地分配在在其他实施例中的AR头戴设备105的组件之中。
DCA 120使能在各种动态范围的环境光条件中的视觉信息的捕捉。一些DCA 120的实施方式可以包括一个或多个图像捕捉设备(例如，照相机、摄影机)以及被配置为发射SL图案的结构光(SL)源。如以下进一步讨论的，结构光投射指定图案(诸如对称或伪随机格网或水平条)到场景上。基于当投射到表面上时的图案的变形，确定在场景内的物体的深度以及表面信息。因此，示例照明源发射格网或系列水平条到围绕AR头戴设备105的环境上。图像捕捉设备捕捉并且记录光的波长的特定范围(即，光的“频带”)。通过图像捕捉设备捕捉的光的示例频带包括：可见频带(～380纳米至750纳米)、红外(IR)频带(～750纳米至1500纳米)，紫外频带(10纳米至380纳米)、电磁光谱的另一部分、或其组合物。一个或多个图像捕捉设备还可以对具有可见光波长的光以及具有IR波长或电磁光谱的其它部分中的波长的光敏感。例如，图像捕捉设备是红色，绿色，蓝色，IR(RGBI)照相机。在一些实施方式中，一个或多个图像捕捉设备包括电荷耦合装置(CCD)、互补型金属-氧化物-半导体(CMOS)成像器、其它感光设备、或其组合物。此外，DCA 120可以包括一个或多个用于确定通过一个或多个图像捕捉设备捕捉的图像的信噪比，或用于确定任何其它合适的度量的传感器。
DCA 120被配置为使用包括在DCA 120中的一个或多个图像捕捉设备捕捉紧邻AR头戴设备105的区域(也称作“局部区域”)的一个或多个图像。DCA 120中的不同图像捕捉设备被配置为捕捉包括通过照明源投射的SL图案的部分(即，“SL元素”)的图像或捕捉在不同图像捕捉设备的视野中的局部区域的表示。在一些实施方式中，至少一组捕捉的图像包括一个或多个SL元素。在多种实施方式中，通过图像捕捉设备捕捉的图像提供用于选择DCA120的成像模式的光强度信息，如同结合图5和6进一步描述的。此外，DCA 120可以从AR操纵台110接收一个或多个输入以调整用于捕捉局部区域的图像的一个或多个成像参数(例如，焦距、焦点、帧率、ISO、传感器温度、快门速度、光圈等)。在一个实施方式中，DCA120包括两个RGBI照相机以及IR激光，每个被配置为基于环境光级别和可见动态范围在多个成像模式中的一个中运行，允许DCA来基于一个或多个阈值条件修改成像模式，如同下面结合图5以及6进一步说明的。
电子显示器125根据从AR操纵台110接收的数据向用户显示二维或三维图像。在各种实施方式中，电子显示器125包括单个电子显示器或多个电子显示器(例如，对用户的每个眼睛的显示器)。电子显示器125的实例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、其他显示器、或其组合物。
光学块130放大从电子显示器125接收的图像光，校正与图像光相关联的光学误差，并将校正的图像光呈现给AR头戴设备105的用户。在各种实施例中，光学块130包括一个或多个光学元件。包括在光学块130中的光学元件实例包括：光圈、菲涅尔透镜、凸透镜、凹透镜、滤光镜、或任何其它影响图像光的合适的光学元件。此外，光学块130可以包括不同光学元件的组合。在一些实施例中，光学块130中的一个或多个光学元件可具有一个或多个涂层，诸如抗反射涂层。
通过光学块130的图像光的放大与聚焦允许电子显示器125变得物理地较小、更轻、并且比更大的显示器消耗更少电力。另外，放大可增加通过电子显示器125呈现的内容的视野。例如，所显示的内容的视野是使用几乎所有(例如，近似110度对角)，并且在一些情况下，用户的视野的全部，来呈现所显示的内容。此外，在一些实施方式中，可以通过添加或者移除光学元件调整放大的量。
在一些实施方式中，光学块130可以被设计成校正一个或多个类型的光学误差。光学误差的示例包括桶形畸变、枕形失真、纵向色差、或横向色差。其它类型的光学误差可以进一步包括球面像差、彗形象差、或归于透镜像场弯曲的误差、像散、或任何其它类型的光学误差。在一些实施方式中，用于显示的提供至电子显示器125的内容是预失真的，并且光学块130当接收来自电子显示器125的基于内容产生的图像光时校正该失真。
IMU 140是基于从一个或多个位置传感器135接收的测量信号以及根据从DCA 120接收的环境光级别生成表示AR头戴设备105的位置的数据的电子设备。位置传感器135的示例包括：一个或多个加速计、一个或多个陀螺仪、一个或多个磁力计、另一合适类型的检测运动的传感器、一类用于IMU 140的误差校正传感器、或其组合物。位置传感器135可以位于IMU 140外部、IMU 140内部、或其某些组合。
基于来自一个或多个位置传感器135的一个或多个测量信号，IMU 140生成表示AR头戴设备105的相对于AR头戴设备105的初始位置的估计当前位置的数据。例如，位置传感器135包括多个加速计以测量平移运动(前/后、上/下、左/右)和多个陀螺仪以测量旋转运动(例如，俯仰、偏转、滚动)。在一些实施方式中，IMU 140迅速取样测量信号并且从取样数据计算AR头戴设备105的估计当前位置。例如，IMU 140对随时间从加速计接收的测量信号积分以估计速度矢量，并且对随时间的速度矢量积分以确定AR头戴设备105上的参考点的估计当前位置。可替代地，IMU 140提供样本测量信号到解释数据以减少误差的AR操纵台110。参考点是可以用于描述AR头戴设备105的位置的点。参考点可以通常定义为与AR头戴设备105的方位和位置相关的空间点或位置。
IMU 140接收来自VR操纵台110的一个或多个参数。如下面进一步讨论的，该一个或多个参数被用于保持AR头戴设备105的追踪。基于接收的参数，IMU 140可以调节一个或多个IMU参数(例如，采样率)。在一些实施方式中，某些参数引起IMU 140更新参考点的初始位置，从而其对应于参考点的下一个位置。更新参考点的初始位置为参考点的下一个校准位置有助于减少与当前位置估计的IMU 140相关联的累积误差。累积误差，也称为漂移误差，导致参考点的估计位置随着时间“漂移”而远离参考点的实际位置。在AR头戴设备105的一些实施方式中，IMU 140可以是专用硬件组件。在其他实施例中，IMU 140可以是在一个或多个处理器中实现的软件组件。
AR I/O接口115是允许用户发送动作请求并且从AR操纵台110接收响应的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据的捕捉的指令或在应用程序内执行具体动作的指令。AR I/O接口115可以包括一个或多个输入设备。示例性输入设备包括：键盘、鼠标、游戏控制器、或用于接收动作请求并将动作请求传达至VR操纵台110的任何其他合适的设备。由AR I/O接口115接收的动作请求被传达至执行对应于动作请求的动作的AR操纵台110。在一些实施方式中，如同上面进一步描述的，AR I/O接口115包括捕捉校准数据的IMU 140，该校准数据表示AR I/O接口115相对于AR I/O接口115的初始位置的估计位置。在一些实施方式中，AR I/O接口115可以根据从AR操纵台110接收的指令向用户提供触觉反馈。例如，当接收动作请求时提供触觉反馈，或者AR操纵台110将指令传达至AR I/O接口115，引起AR I/O接口115在AR操纵台110执行动作时生成触觉反馈。
AR操纵台110向AR头戴设备105提供用于根据从下述中的一个或多个接收的信息处理的内容：DCA 120、AR头戴设备105、以及AR I/O接口115。在图1中示出的实例中，AR操纵台110包括应用存储器150、追踪模块155、以及AR引擎145。AR操纵台110的一些实施方式具有与结合图1所描述的模块或元件不同模块或元件。类似地，能够以与结合图1所描述的不同的方式在AR操纵台110的组件中分配下面进一步描述的功能。
应用存储器150存储通过AR操纵台110执行的一个或多个应用。应用是当通过处理器执行时生成用于向用户显示的内容的一组指令。通过应用程序产生的内容可以响应于经由AR头戴设备105或者AR I/O接口115的移动而从用户接收的输入。应用的实例包括游戏应用、会议应用、视频播放应用、或其他合适的应用。
追踪模块155使用一个或多个校准参数校准AR系统环境100并且可以调整一个或多个校准参数以减少AR头戴设备105或AR I/O接口115的位置判定的误差。例如，追踪模块155传达交准参数到DCA 120以调整DCA 120的聚焦，以更加精确的确定通过DCA 120捕捉的SL元素的位置。通过追踪模块155执行的校准也考虑从AR头戴设备105中的IMU 140和/或ARI/O接口115中包括的IMU 140接收的信息。此外，如果AR头戴设备105的追踪丢失(例如，DCA120失去至少阈值数量的SL元素的视线)，追踪模块140可以重新校准一些或整个AR系统环境100。
追踪模块155使用来自DCA 120、一个或多个位置传感器135、IMU 140或其组合物的传感器数据信息追踪AR头戴设备105或AR I/O接口115的运动。例如，追踪模块155在局部区域的映射中基于来自AR头戴设备105信息确定AR头戴设备105的参考点的位置。追踪模块155还可以使用来自IMU 140的表示AR头戴设备105的位置的数据，或使用来自包括在AR I/O接口115中的IMU 140的表示AR I/O接口115的位置的数据，来分别确定AR头戴设备105的参考点或AR I/O接口115的参考点的位置。此外，在一些实施方式中，追踪模块155可以使用来自IMU 140的表示AR头戴设备105的位置的数据的部分，以及来自DCA 120的局部区域的表示，以预测AR头戴设备105的未来位置。追踪模块155向AR引擎145提供估计的或预测的AR头戴设备105或AR I/O接口115的未来位置。
AR引擎145基于从AR头戴设备105接收的立体信息或投射的SL元素的图像的变形生成局部区域的三维映射。在一些实施方式中，AR引擎145基于通过AR头戴设备105的DCA120中的图像捕捉设备捕捉的立体图像确定局部区域的三维映射的深度信息。此外或可替换地，AR引擎145基于通过AR头戴设备105的DCA 120捕捉的变形的SL元素的图像确定局部区域的三维映射的深度信息。下面结合图5进一步说明根据从DCA 120接收的信息的局部区域的深度映射。
AR引擎145还执行AR系统环境100内的应用并且从跟踪模块155接收AR头戴设备105的位置信息、加速度信息、速度信息、预测的未来位置或其某些组合。基于所接收的信息，AR引擎145确定提供给AR头戴设备105的用于呈现给用户的内容。例如，如果所接收的信息表示用户刚刚注视左边，AR引擎145生成在虚拟环境中或在以附加内容增强局部区域的环境中反映用户的移动的AR头戴设备105的内容。此外，AR引擎145响应于从AR I/O接口115接收的动作请求在AR操纵台110上执行的应用程序内执行动作并且将该动作被执行的反馈提供给用户。所提供的反馈可以是经由AR头戴设备105的视觉反馈或听觉反馈或者经由ARI/O接口115的触觉反馈。
图2是AR头戴设备200的一个实施方式的线图。AR头戴设备200是AR头戴设备105的一种实施方式，并且包括前刚体205、带210、参考点215、左侧220A、顶侧220B、右侧220C、底侧220D、以及前侧220E。在图2中示出的AR头戴设备200也包括深度照相机组件(DCA)120的实施方式，包括照相机225、附加照相机227、以及结构光(SL)照明器230，下面结合图3与4进一步说明。前刚体205包括电子显示器125(未示出)的一个或多个电子显示元件、IMU 130、一个或多个位置传感器135、以及参考点215。
在由图2所示的实施方式中，AR头戴设备200包括DCA 120，包括以已知距离隔开并且具有共同视野的照相机225与附加照相机227，以及SL照明器230，被配置为投射已知图案(例如，格网、一系列线、对称的或伪随机定位的圆点图案)到局部区域上。照相机225与附加照相机227捕捉局部区域的图像，该图像被用于计算局部区域的深度图，如同下面进一步结合图3-6描述的。
图3是图2中描述的AR头戴设备200的前刚体205的横截面。如在图3中所示，前刚体205包括照相机315以及SL照明器325。前刚体205具有对应于路径的光轴320，光沿着该路径传播穿过前刚体205。在图3的实例中，照相机315沿着光轴320放置并且捕捉局部区域305的图像，该图像是在照相机315的视野内的围绕前刚体205的环境的一部分。此外，前刚体205包括电子显示器125以及光学块130，上面已结合图1进一步描述。前刚体205也包括用户的眼睛340所位于的出射光孔335。为了说明的目的，图3示出了符合单个眼睛340的前刚体205的横截面。
局部区域305反射入射环境光以及通过SL照明器325投射的光。如在图3中所示，SL照明器325沿着与光轴320平行的轴线放置，而照相机315沿着光轴320放置。如在图2与3中所示，SL照明器325放置在与光轴320平行的，与包括照相机315的与光轴320平行的平面不同的平面中。上面已结合图1中的DCA 120进一步描述了SL照明器325与照相机315。
如同上面结合图1所述，电子显示器元件125发射形成朝向光学块130的图像的光，该光学块130改变从电子显示器元件125接收的光。光学块130引导该改变的图像光到出射光孔335，该出射光孔335是前刚体205的用户的眼睛340所在的位置。如上所述，图3示出了用于用户的单个眼睛340的前刚体205的横截面，在前刚体205中包括与图3中示出的电子显示器与光学块分离的另一电子显示器125与光学块130，以对用户的另一眼睛呈现局部区域305或其它内容的增强的表示。
图4是正在通过包括DCA 400的AR头戴设备105的实施方式捕捉图像的示例。在图4的实例中，DCA 400在特定的成像模式中运行并且捕捉围绕AR头戴设备105的局部区域410的图像。如同上面结合图1与3进一步描述的，图4中的DCA 400包括结构光(SL)照明器420、照相机430、以及附加照相机435，照相机430与附加照相机435以已知的差值隔开并且具有重叠的视野。SL照明器420放置在照相机430与附加照相机435之间，诸如在与在照相机430中并且在附加照相机435中包括的透镜相垂直的平面的中点，或在与在照相机430中并且在附加照相机435中包括的透镜相垂直的平面内的另一位置(允许SL照明器420被更接近照相机430或附加照相机435地放置)。在另一个实施方式中，SL照明器420被放置为使SL照明器420、照相机430、以及附加照相机435被安排为形成近似地等边三角形。SL照明器420、照相机430、以及附加照相机435之间的准确间距有助于定义三维灵敏度与由于来自视点偏移的三角测量的期望的侧向图像偏移，但可以被另外修改以优化不同实施方式中的各个标准。
DCA 400可以在SL照明器420不照明局部区域410时通过基于诸如通过照相机430或通过附加照相机435捕捉的图像中的信噪比(SNR)等的参数选择用于运行的成像模式，而在多种成像模式中运行，该SNR受局部区域410中的环境光级别的影响。如同下面结合图5与6进一步描述的，DCA 400确定通过一个或多个照相机430与附加照相机435捕捉的图像的SNR，并且基于所确定的SNR确定成像模式。例如，DCA 400确定包括所确定的SNR的范围并且选择与该包括所确定的SNR的范围相关联的成像模式。例如，如果通过照相机430在SL照明器420不照明局部区域410时捕捉的局部区域410的图像的SNR超过阈值，DCA 400通过立体匹配通过照相机430以及通过附加照相机435捕捉的图像确定局部区域410的深度信息。在前述示例中，如果SNR小于该阈值并且小于附加阈值，DCA 400用SL照明器420照亮局部区域410并且从通过SL照明器420投射到局部区域410上的图案的图像确定局部区域410的深度信息。此外，基于跨越局部区域410的变化的环境光级别，DCA 400可以将立体的与不对称的SL的拍摄的图像交错，以合并完全不同的数据组。在该实例中，DCA 400可以操作包括照相机430与附加照相机435的基础立体对、包括SL照明器420与照相机430的右SL对、包括SL照明器420与附加照相机435的左SL对、或在收集来自照相机430与附加照相机435的立体数据的同时操作该SL照明器420的协助立体组合。该协助立体组合可以在局部区域410中的空间频率或动态辐射变化在环境照明下不够独特以唯一地解释立体匹配输入时运行。然而DCA400可以从在各种实施方式中的任意数量的成像模式中选择，如同下面结合图5与6进一步描述的。
图5是DCA 120的一个实施方式的方框图。在由图5示出的实例中，DCA 120包括SL照明器510、照相机520、附加照相机525、SNR模块530、以及模式选择模块540。在其他实施例中DCA 120可以包括与在图5中示出的组件相比不同和/或额外的组件。如上面结合图1与4进一步描述的，照相机520与附加照相机525具有重叠的视野并且被以已知距离隔开。照相机520与附加照相机525每个捕捉围绕AR头戴设备105的环境的局部区域的图像，该AR头戴设备105包括在照相机520与附加照相机525的视野内的DCA 120。结构光(SL)照明器510投射SL图案，诸如伪随机点图形、格网、或水平条，到局部区域上。例如，SL图案包括已知宽度与高度的一个或多个几何元素，允许当SL图案被投射到局部区域上时的各个几何元素的变形的计算，以提供有关局部区域中的物体的信息。
DCA 120能够在不同地捕捉局部区域的图像的不同成像模式中运行。在各种实施方式中，至少部分基于通过一个或多个照相机520与附加照相机525捕捉的一个或多个图像的信噪比(SNR)确定在其中运行DCA 120的成像模式。DCA 120还可以确定与通过照相机520与附加照相机525捕捉的局部区域的一个或多个图像中的至少一个相关联的对比度。例如，除SNR之外，DCA 120还确定对比度，即局部区域中的最亮的颜色(例如，白色)与最暗的颜色(例如，黑色)的亮度的比例。在一种实施方式中，通过DCA 120确定的SNR是所确定的SNR与所确定的对比度的组合。
在一些实施方式中，DCA 120基于通过照相机520与附加照相机525捕捉的一个或多个图像的SNR以及该一个或多个图像的空间差异的度量确定成像模式。图像的空间差异基于在图像中不同位置的像素的大小或强度的变化，并且基于局部区域的空间频率内容。如同SNR部分地随局部区域中的环境光条件而定，DCA 120基于局部区域中的环境光而在不同成像模式中运行。当使用SNR与空间差异以选择成像模式时，在其中运行DCA 120的成像模式基于局部区域中的环境光与空间频率内容中的两者。在各种实施方式中，SNR模块530接收来自通过照相机520或通过附加照相机525捕捉的图像(例如，在SL照明器510不照明局部区域时捕捉的图像)的图像数据并且从所接收的图像数据确定SNR。还可以通过SNR模块530从各种实施方式中接收的图像数据中确定空间差异。可选地或此外，SNR模块530接收来自一个或多个光强度传感器(例如，包括在DCA 120中、包括在AR头戴设备105中、或者其它传达信息到AR系统环境100中的组件的光强度传感器)的数据，并且基于来自光强度传感器的数据确定SNR。在一些实施方式中，SNR模块530以周期性的间隔确定SNR。例如，SNR模块530通过将原始图象通过一个或更多校正滤波器(场平衡、功率校正、渐晕校正等)来确定图像的SNR，并且应用本地信号倾角推导滤波器(local signal slope derivative filter)以从图像删除低于最小值的环境照明频率成分(例如，低于SL照明的频率成分)。在移除低于该最小值的频率成分之后，将等于或超过阈值信号的度量与捕捉光强度数据的设备(例如，照相机、附加照相机、光强度传感器的最小信号(暗)下取整(floor)相比较以确定图像的SNR。下面结合图6进一步描述图像的SNR与空间差异的判定。
模式选择模块540至少部分基于通过SNR模块530确定的SNR从多个模式中选择成像模式。在SNR模块530确定空间差异的实施方式中，模式选择模块540还至少部分基于该空间差异选择成像模式。基于所选择的成像模式，模式选择模块540传达指令到一个或多个照相机520、附加照相机525、以及SL照明器510以配置该照相机520、该附加照相机525、以及该SL照明器510。在一些实施方式中，模式选择模块540保持多个SNR的范围，每个范围由阈值SNR与附加阈值SNR限制。不同范围与不同成像模式相关联，并且在一些实施方式中模式选择模块540选择与包括所确定的SNR的范围相关联的成像模式。模式选择模块540还可以保持多个空间差异的范围，每个范围由阈值差异与附加阈值差异限制并且与一种成像模式相关联，因此模式选择模块540选择对应于包括通过SNR模块530确定的SNR与空间差异的SNR的范围与空间差异的范围的成像模式。
在一个实施方式中模式选择模块540保持阈值与附加阈值，该附加阈值与该阈值不同并且低于该阈值，以识别三个SNR的范围，不同的成像模式与每个范围相关联。如果来自SNR模块530的SNR等于或超过该阈值，模式选择模块540传达指令到照相机520与附加照相机525以使两者都在彩色空间(例如，在红色，蓝色，绿色彩色空间中)中捕捉局部区域的图像。此外，如果来自SNR模块530的SNR等于或超过该阈值，SNR模块530还传达指令到SL照明器510以停用SL照明器510。两个照相机都捕捉彩色图像或局部环境的形式允许基于在通过照相机520与通过附加照相机525捕捉的图像之间的像素与像素的相关性的局部环境的高分辨率深度信息的判定。
然而，如果从SNR模块530接收的SNR小于该阈值并且大于该附加阈值，模式选择模块540指令到SL照明器510以投射SL图案到局部区域上。此外，模式选择模块540传达指令到照相机520以在彩色空间(诸如红色，蓝色，绿色)中捕捉局部区域的图像并且传达指令到附加照相机525以在包括SL照明器510投射的波长的波长的范围中捕捉局部区域的图像。例如，如果SL照明器510经由红外光投射SL图案，该指令配置附加照相机525以检测红外波长并且捕捉该检测的红外波长的的图像。此外，DCA 120同步地或异步地从照相机520并且从附加照相机525检索图像数据以将从照相机520与从附加照相机525检索的图像数据交错，获得关于局部区域的深度信息。同时地或在阈值时间或空间(关于运动)量内从照相机520并且从附加照相机525检索图像数据提供基于照相机520与附加照相机525的以已知距离的间距并且具有相似和重叠的视野，在通过照相机520捕捉的图像数据内填充图像数据中的阴影的信息。
如果从SNR模块530接收的SNR小于或等于该附加阈值，模式选择模块540传达指令到SL照明器510以投射SL图案到局部区域上。此外，模式选择模块540传达指令到照相机520以及附加照相机525以在包括SL照明器510投射的波长的波长的范围中捕捉局部区域的图像。例如，如果SL照明器510经由红外波长的光投射SL图案，传达到照相机520与附加照相机525的该指令引起照相机520与附加照相机525检测并且捕捉红外波长的图像。例如，如果局部区域中的环境光足够低以使模式选择模块540选择此成像模式，照相机520与附加照相机525捕捉近似750至900纳米之间的波长(因为大多数可以由照相机520或由附加照相机525使用的红色，蓝色，绿色拜耳滤波器(Bayer filter)允许近似等量的红外光通过)。因此，给出环境光条件低于限定的阀值的知识，此成像模式使用SL照明器510在红外波长中捕捉有关局部区域的信息。基于从照相机520以及从附加照相机525获得的投射到局部区域上的SL图案的图像数据，DCA120执行粗糙以及精细立体匹配以获得关于局部区域的粗糙深度信息。此外，模式选择模块540可以传达指令到SL照明器510、照相机520、以及附加照相机525，使SL照明器510与照相机520可以运行以形成“右”数据对，同时SL照明器510与附加照相机525可以运行以形成“左”数据对。SL照明器510和照相机520的组合与SL照明器510和附加照相机525的组合是不对称的，其允许三维信息的提取以及通过重叠比较的图像数据中的遗漏位置的校正。在其他实施例中，模式选择模块540可以选自任意数量的成像模式并且可以使用任何合适的标准以选择一种成像模式。
在其他实施例中，模式选择模块540保持最小SNR与最小空间差异并且将通过SNR模块530确定的SNR和空间差异与该最小SNR并且与该最小空间差异相比较。如果来自SNR模块530的SNR等于或超过该最小SNR并且来自SNR模块530的空间差异超过该最小空间差异，模式选择模块540传达指令到照相机520与附加照相机525以使两者都在彩色空间(例如，在红色，蓝色，绿色彩色空间中)中捕捉局部区域的图像。此外，如果来自SNR模块530的SNR等于或超过该最小SNR并且来自SNR模块530的空间差异等于或超过该最小空间差异，SNR模块530传达指令到SL照明器510以停用该SL照明器510。如果来自SNR模块530的SNR小于该最小SNR并且来自SNR模块530的空间差异等于或超过该最小空间差异，模式选择模块540传达指令到SL照明器510以投射SL图案到局部区域上，并且传达指令到照相机520或到附加照相机525以从SL510与照相机520以及SL510与附加照相机525的对捕捉数据。如果来自SNR模块530的SNR等于或超过该最小SNR并且来自SNR模块530的空间差异小于该最小空间差异，模式选择模块540传达指令到SL照明器510以投射SL图案到局部区域上。此外，模式选择模块540传达指令到照相机520以及附加照相机525以在包括SL照明器510投射的波长的波长的范围中捕捉局部区域的图像。
图6是选择一种用于深度照相机组件120的成像模式的过程的一个实施方式的流程图。可以通过在一些实施方式中的DCA 120或AR头戴设备105中的其它组件执行结合图6描述的功能。可替代地，AR系统环境100中的其它组件可以执行结合图6描述的功能。此外，在一些实施方式中，该过程包括与结合图6描述的步骤不同的或额外的步骤。此外，某些实施方式能够以与结合图6描述的顺序不同的顺序执行结合图6描述的步骤。
DCA120获得610包括在DCA 120中的图像捕捉设备(例如，照相机)的视野内围绕AR头戴设备105的环境的局部区域中的环境光强度的度量。在一些实施方式中，DCA 120通过分析通过图像捕捉设备在局部区域不通过包括在DCA 120中的SL照明器照亮时捕捉的一个或多个图像获得610环境光强度的度量。在一些实施方式中，通过一个或多个图像捕捉设备捕捉的图像被分割为多个区域，每个区域具有指定的尺寸。DCA 120可以可选地或额外地从包括在DCA 120中或包括在AR系统环境100的另一组件中的一个或多个光强度传感器获得610环境光强度的度量。
DCA 120计算620通过一个或多个图像捕捉设备捕捉的图像的平均信噪比(SNR)。当DCA 120分割捕捉的图像为多个区域时，DCA 120对于捕捉的图像的各个区域计算620平均SNR。在各种实施方式中，DCA 120通过平衡或校正捕捉的图像并且对平衡的或校正的图象应用自适应均值滤波器而对捕捉的图像的区域计算620平均SNR。在一些实施方式中，DCA120基于区域中的像素的数字计数将区域中的像素排名，并且确定在排名中具有至少一种阈值位置的像素的平均数字计数、以及在排名中具有小于附加阈值位置的像素的附加平均数字计数。DCA 120基于该平均数字计数与该附加平均数字计数之间的比较对区域计算620平均SNR。
在一些实施方式(诸如在图6中示出的实施方式)中，DCA 120还计算630图像的或图像的区域的空间差异。例如，DCA 120在自适应滤波器或其它滤波器的应用之前，确定捕捉的图像的空间变换(例如，傅里叶变换)，并且从捕捉的图像的空间转换中识别频率成分和差异。在一些实施方式中，DCA 120从捕捉的图像的空间转换中识别某些频率成分和差异。在一些实施方式中，DCA 120可以并行计算620捕捉的图像的或捕捉的图像区域的SNR和计算630捕捉的图像的或捕捉的图像区域的空间变化。在其他实施例中，DCA 120可以在计算620捕捉的图像的或捕捉的图像的区域的SNR之前，计算630捕捉的图像的或捕捉的图像的区域的空间变化。
在一些实施方式中，如同上面结合图5进一步描述的，DCA 120比较640捕捉的图像的或捕捉的图像的区域的SNR与一个或多个阈值并且基于该比较选择650一种成像模式。可替代地，同样如同上面结合图5进一步描述的，DCA 120比较640捕捉的图像的或捕捉的图像的区域的SNR与最小SNR并且比640较捕捉的图像的或捕捉的图像的区域的空间变化。基于该比较，DCA 120选择630一种成像模式，如同上面结合图5进一步描述的。使用选定的成像模式，DCA 120捕捉局部区域的图像并且确定局部区域的深度信息。DCA 120可以执行上面描述的用于捕捉的图像的各个区域的步骤，并且能够以周期性的间隔或当各条件被满足时执行上面描述的步骤，以修改成像模式并且更加精确的确定局部区域的深度信息。
实施方式的上述描述出于说明的目的而呈现，并且不旨在穷尽或者将专利权局限于所公开的确切形式。相关领域技术人员应认识到，根据上述公开内容，可以有多种修改和变化。
原则上出于可读性和说明性之目的来选择本说明书中使用的语言，并且所使用的语言并不被选择来划定或者限制本发明的主题。因此，专利权的范围并不旨在由具体实施方式来限定，而是由基于具体实施方式的本申请所发布的任何权利要求来限定。相应地，实施方式的公开旨在说明，而不是限制专利权的范围。

Claims (20)

1.一种头戴设备，包括：
结构光照明器，被配置为发射结构光图案到局部区域上，
图像捕捉设备，被配置为捕捉通过所述结构光图案照亮的所述局部区域的一组图像；
附加图像捕捉设备，以已知距离与所述图像捕捉设备隔开并且与所述图像捕捉设备具有共同的视野，所述附加图像捕捉设备被配置为捕捉通过所述结构光图案照亮的所述局部区域的一组附加图像，以及
模式选择模块，耦接至所述图像捕捉设备和所述附加图像捕捉设备，所述模式选择模块被配置为基于通过所述图像捕捉设备或通过所述附加图像捕捉设备捕捉的一个或多个图像的信噪比确定所述图像捕捉设备、所述附加图像捕捉设备、以及所述结构光照明器的成像模式，并且被配置为传达用于配置所确定的成像模式的指令到所述图像捕捉设备、所述附加图像捕捉设备、以及所述结构光照明器中的一个或多个。
2.根据权利要求1所述的系统，其中，所述模式选择模块保持信噪比的多个范围，信噪比的不同范围与不同成像模式相关联。
3.根据权利要求2所述的系统，其中，所述模式选择模块被配置为确定所述图像捕捉设备、所述附加图像捕捉设备、以及所述结构光照明器的所述成像模式为与包括通过所述图像捕捉设备和通过所述附加图像捕捉设备捕捉的一个或多个图像的信噪比的信噪比的范围相关联的成像模式。
4.根据权利要求1所述的系统，其中，所述模式选择模块保持所述信噪比的阈值以及所述信噪比的附加阈值，所述附加阈值与所述阈值不同并且低于所述阈值，并且所述模式选择模块被配置为：
确定成像模式，其中，所述图像捕捉设备与所述附加图像捕捉设备都在彩色空间中捕捉所述局部区域的图像，并且响应于确定通过所述图像捕捉设备或通过所述附加图像捕捉设备捕捉的一个或多个图像的信噪比等于或超过所述阈值而停用所述结构光照明器；
传达指令到所述图像捕捉设备并且到所述附加图像捕捉设备以在彩色空间中捕捉所述局部区域的图像；并且
传达指令到所述结构光照明器以停用所述结构光照明器。
5.根据权利要求4所述的系统，其中，所述模式选择模块进一步被配置为：
确定替换的成像模式，其中，所述图像捕捉设备在彩色空间中捕捉所述局部区域的图像，所述附加图像捕捉设备在包括通过所述结构光照明器发射的波长的波长的范围中捕捉所述局部区域的图像，并且所述结构光照明器响应于确定通过所述图像捕捉设备或通过所述附加图像捕捉设备捕捉的一个或多个图像的信噪比小于所述阈值并且大于所述附加阈值，发射所述结构光图案到所述局部区域上；
传达指令到所述图像捕捉设备以在彩色空间中捕捉所述局部区域的图像；
传达指令到所述附加图像捕捉设备以在包括通过所述结构光照明器发射的波长的波长范围内捕捉所述局部区域的图像；并且
传达指令到所述结构光照明器以发射所述结构光图案到所述局部区域上。
6.根据权利要求5所述的系统，其中，所述结构光照明器在红外波长中发射所述结构光图案并且所述附加图像捕捉设备在红外波长中捕捉所述局部区域的图像。
7.根据权利要求5所述的系统，其中，所述头戴设备被配置为在自检索通过所述附加图像捕捉设备捕捉的图像起的阈值时间量内检索通过所述图像捕捉设备捕捉的图像。
8.根据权利要求5所述的系统，其中，所述模式选择模块进一步被配置为：
确定附加成像模式，其中，所述图像捕捉设备与所述附加图像捕捉设备在包括通过所述结构光照明器发射的波长的波长的范围中捕捉所述局部区域的图像，并且所述结构光照明器响应于确定通过所述图像捕捉设备或通过所述附加图像捕捉设备捕捉的一个或多个图像的信噪比小于或等于所述附加阈值，发射所述结构光图案到所述局部区域上；
传达指令到所述图像捕捉设备以在包括通过所述结构光照明器发射的波长的波长范围内捕捉所述局部区域的图像；
传达指令到所述附加图像捕捉设备以在包括通过所述结构光照明器发射的波长的波长范围内捕捉所述局部区域的图像；并且
传达指令到所述结构光照明器以发射所述结构光图案到所述局部区域上。
9.根据权利要求8所述的系统，其中，所述结构光照明器在红外波长中发射所述结构光图案并且所述图像捕捉设备与所述附加图像捕捉设备在红外波长中捕捉所述局部区域的图像。
10.根据权利要求1所述的系统，其中，所述模式选择模块被配置为：
基于通过所述图像捕捉设备或通过所述附加图像捕捉设备捕捉的一个或多个图像的信噪比与空间差异，确定所述图像捕捉设备、所述附加图像捕捉设备、以及所述结构光照明器的成像模式。
11.根据权利要求10所述的系统，其中，基于通过所述图像捕捉设备或通过所述附加图像捕捉设备捕捉的一个或多个图像的信噪比与空间差异确定所述图像捕捉设备、所述附加图像捕捉设备、以及所述结构光照明器的成像模式包括：
确定成像模式，其中，所述图像捕捉设备与所述附加图像捕捉设备都在彩色空间中捕捉所述局部区域的图像，并且响应于通过所述图像捕捉设备或通过所述附加图像捕捉设备捕捉的一个或多个图像的信噪比等于或超过最小信噪比并且响应于所述空间差异等于或超过最小空间差异而停用所述结构光照明器；
确定替换的成像模式，其中，响应于所述信噪比小于所述最小信噪比并且响应于所述空间差异等于或超过所述最小空间差异，所述结构光照明器发射所述结构光图案到所述局部区域上，所述图像捕捉设备与所述结构光照明器的组合捕捉所述局部区域的图像，并且所述附加图像捕捉设备与所述结构光照明器的组合捕捉的所述局部区域的图像。并且
确定附加成像模式，其中，所述图像捕捉设备以及所述附加图像捕捉设备在包括通过所述结构光照明器发射的波长的波长的范围中捕捉所述局部区域的图像，并且所述结构光照明器响应于所述信噪比等于或超过所述最小信噪比并且响应于所述空间差异小于所述最小空间差异，发射所述结构光图案到所述局部区域上；并且
12.一种方法，包括：
获得围绕深度照相机组件的局部区域中的环境光强度的度量，所述深度照相机组件包括结构光照明器、图像捕捉设备、以及附加图像捕捉设备；
基于环境光强度的所述度量计算通过所述图像捕捉设备或通过所述附加图像捕捉设备捕捉的图像的信噪比；
保持多个信噪比的范围，每个信噪比的范围与指定所述结构光照明器、所述图像捕捉设备、以及所述附加图像捕捉设备的操作的所述图像捕捉设备的不同成像模式相关联；
确定与包括所计算的信噪比的信噪的范围比相关联的成像模式；并且
基于所确定的成像模式配置所述结构光照明器、所述图像捕捉设备、以及所述附加图像捕捉设备。
13.根据权利要求12所述的方法，其中，确定与包括所计算的信噪比的信噪比的范围相关联的成像模式包括：
确定成像模式，其中，所述图像捕捉设备以及所述附加图像捕捉设备都在彩色空间中捕捉所述局部区域的图像，并且响应于确定所计算的信噪比等于或超过阈值而停用所述结构光照明器。
14.根据权利要求13所述的方法，其中，确定与包括所计算的信噪比的信噪比的范围相关联的成像模式包括：
确定替换的成像模式，其中，所述图像捕捉设备在彩色空间中捕捉所述局部区域的图像，所述附加图像捕捉设备在包括通过所述结构光照明器发射的波长的波长的范围中捕捉所述局部区域的图像，并且所述结构光照明器响应于确定所计算的信噪比小于所述阈值并且大于附加阈值，发射所述结构光图案到所述局部区域上，其中，所述附加阈值小于所述阈值并且与所述阈值不同。
15.根据权利要求14所述的方法，其中，确定与包括所计算的信噪比的信噪比的范围相关联的成像模式包括：
确定附加成像模式，其中，所述图像捕捉设备以及所述附加图像捕捉设备在包括通过所述结构光照明器发射的波长的波长的范围中捕捉所述局部区域的图像，并且所述结构光照明器响应于确定所计算的信噪比小于或等于所述附加阈值，发射所述结构光图案到所述局部区域上。
16.根据权利要求12所述的方法，其中，计算通过所述图像捕捉设备或通过所述附加图像捕捉设备捕捉的图像的信噪比包括：
计算通过所述图像捕捉设备或通过所述附加图像捕捉设备捕捉的图像的信噪比；以及
计算通过所述图像捕捉设备或通过所述附加图像捕捉设备捕捉的图像的空间差异。
17.根据权利要求16所述的方法，其中，保持每个信噪比的范围与不同成像模式相关联的多个信噪比的范围包括：
保持多个信噪比与空间差异的范围，每个信噪比的范围和空间差异的范围与指定所述结构光照明器、所述图像捕捉设备、以及所述附加图像捕捉设备的操作的所述图像捕捉设备的不同成像模式相关联。
18.根据权利要求17所述的方法，其中，确定与包括所计算的信噪比的信噪比的范围相关联的成像模式包括：
确定与包括所计算的信噪比的信噪比的范围相关联的成像模式，所计算的信噪比与包括所计算的空间差异的空间差异的范围相关联。
19.根据权利要求12所述的方法，其中，获得围绕所述深度照相机组件的所述局部区域中的环境光强度的度量包括：
当所述结构光发射器不照明所述局部区域时，基于通过所述图像捕捉设备或通过所述附加图像捕捉设备捕捉的一个或多个图像确定环境光强度的度量。
20.根据权利要求12所述的方法，还包括：
基于环境光强度的所述度量计算对比度，以及
保持多个对比度的范围，每个对比度的范围与指定所述结构光照明器、所述图像捕捉设备、以及所述附加图像捕捉设备的操作的所述图像捕捉设备的不同成像模式相关联；并且
其中，确定与信噪比的范围相关联的所述成像模式包括所计算的对比度。
CN201680064632.1A 2015-11-06 2016-11-03 利用头戴式显示器使用立体照相机以及结构光的深度映射 Pending CN108351523A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562252279P 2015-11-06 2015-11-06
US62/252,279 2015-11-06
US15/342,036 2016-11-02
US15/342,036 US10440355B2 (en) 2015-11-06 2016-11-02 Depth mapping with a head mounted display using stereo cameras and structured light
PCT/US2016/060364 WO2017079458A1 (en) 2015-11-06 2016-11-03 Depth mapping with a head mounted display using stereo cameras and structured light

Publications (1)

Publication Number Publication Date
CN108351523A true CN108351523A (zh) 2018-07-31

Family

ID=58662720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680064632.1A Pending CN108351523A (zh) 2015-11-06 2016-11-03 利用头戴式显示器使用立体照相机以及结构光的深度映射

Country Status (6)

Country Link
US (2) US10440355B2 (zh)
EP (1) EP3371641B1 (zh)
JP (1) JP6866365B2 (zh)
KR (1) KR20180066116A (zh)
CN (1) CN108351523A (zh)
WO (1) WO2017079458A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107462994A (zh) * 2017-09-04 2017-12-12 浙江大学 沉浸式虚拟现实头戴显示装置和沉浸式虚拟现实显示方法
CN110836647A (zh) * 2018-08-17 2020-02-25 鉴微科技股份有限公司 三维扫描系统
CN113661433A (zh) * 2019-04-11 2021-11-16 三星电子株式会社 头戴式显示设备及其操作方法
US11809623B2 (en) 2019-04-11 2023-11-07 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2890125B1 (en) * 2013-12-24 2021-10-13 Sony Depthsensing Solutions A time-of-flight camera system
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10440355B2 (en) * 2015-11-06 2019-10-08 Facebook Technologies, Llc Depth mapping with a head mounted display using stereo cameras and structured light
US10582169B2 (en) * 2016-12-23 2020-03-03 Lumileds Llc Compensating for vignetting
US10209360B2 (en) * 2017-02-01 2019-02-19 Microsoft Technology Licensing, Llc Reduced phase sampling for high speed depth sensing
US10726574B2 (en) 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
US10061352B1 (en) * 2017-08-14 2018-08-28 Oculus Vr, Llc Distributed augmented reality system
US10506217B2 (en) 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
US10491877B1 (en) * 2017-12-21 2019-11-26 Facebook Technologies, Llc Depth camera assembly using multiplexed sensor phase measurements to determine depth using fringe interferometry
US11094075B1 (en) * 2018-01-23 2021-08-17 Facebook Technologies, Llc Systems and methods utilizing a machine learning model for generating defocus blur effects
US11716548B2 (en) 2018-03-13 2023-08-01 Meta Platforms Technologies, Llc Timing of multiplexed sensor phase measurements in a depth camera assembly for depth determination using fringe interferometry
US10944957B2 (en) * 2018-03-22 2021-03-09 Microsoft Technology Licensing, Llc Active stereo matching for depth applications
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11182914B2 (en) 2018-05-21 2021-11-23 Facebook Technologies, Llc Dynamic structured light for depth sensing systems based on contrast in a local area
CN119864004A (zh) 2018-06-14 2025-04-22 奇跃公司 混响增益归一化
DE102018117274A1 (de) 2018-07-17 2020-01-23 Sick Ag Sichere Kamera und Verfahren zur sicheren Aufnahme und Auswertung von Bilddaten
US11094079B2 (en) * 2018-08-28 2021-08-17 Facebook Technologies, Llc Determining a pose of an object from RGB-D images
EP3857292A4 (en) 2018-09-26 2022-06-29 Snap Inc. Depth sculpturing of three-dimensional depth image utilizing two-dimensional input selection
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11137520B2 (en) 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Integrated depth sensor window lens and method
EP3726459B1 (en) * 2019-04-17 2022-02-16 Leica Instruments (Singapore) Pte. Ltd. Signal to noise ratio adjustment circuit, signal to noise ratio adjustment method and signal to noise ratio adjustment program
US12178666B2 (en) 2019-07-29 2024-12-31 Augmedics Ltd. Fiducial marker
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
EP4049466B1 (en) 2019-10-25 2025-04-30 Magic Leap, Inc. Methods and systems for determining and processing audio information in a mixed reality environment
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US12239385B2 (en) 2020-09-09 2025-03-04 Augmedics Ltd. Universal tool adapter
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US12150821B2 (en) 2021-07-29 2024-11-26 Augmedics Ltd. Rotating marker and adapter for image-guided surgery
CN118541734A (zh) * 2021-10-25 2024-08-23 奇跃公司 混合现实设备上环境音频响应的映射
EP4511809A1 (en) 2022-04-21 2025-02-26 Augmedics Ltd. Systems and methods for medical image visualization
US12003862B2 (en) * 2022-06-21 2024-06-04 Snap Inc. Camera timestamp validation
US20240046577A1 (en) * 2022-08-05 2024-02-08 Samsung Electronics Co., Ltd. Video See-Through Augmented Reality
EP4587881A1 (en) 2022-09-13 2025-07-23 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5442462A (en) * 1992-06-10 1995-08-15 D.V.P. Technologies Ltd. Apparatus and method for smoothing images
US20080279446A1 (en) * 2002-05-21 2008-11-13 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US7990460B2 (en) * 2004-11-16 2011-08-02 Aptina Imaging Corporation System and method for focusing a digital camera
KR101289283B1 (ko) * 2012-03-13 2013-08-09 안양대학교 산학협력단 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법
US20130293468A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Collaboration environment using see through displays
CN103620476A (zh) * 2011-06-30 2014-03-05 通用电气医疗集团生物科学公司 生物成像的图像质量优化
WO2014060562A1 (en) * 2012-10-17 2014-04-24 Cathx Research Ltd Improvements in relation to underwater imaging for underwater surveys
CN103903002A (zh) * 2012-12-24 2014-07-02 联想(北京)有限公司 环境亮度检测方法和系统
US20140198185A1 (en) * 2013-01-17 2014-07-17 Cyberoptics Corporation Multi-camera sensor for three-dimensional imaging of a circuit board
US20140240464A1 (en) * 2013-02-28 2014-08-28 Motorola Mobility Llc Context-Based Depth Sensor Control
US20150193949A1 (en) * 2014-01-06 2015-07-09 Oculus Vr, Llc Calibration of multiple rigid bodies in a virtual reality system

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4860096A (en) * 1988-07-21 1989-08-22 Ball Corporation Motion analysis tool and method therefor
JP2002300605A (ja) * 2001-03-29 2002-10-11 Minolta Co Ltd ３次元入力のための撮影装置
JP3996408B2 (ja) 2002-02-28 2007-10-24 ローム株式会社 半導体発光素子およびその製造方法
JP3855812B2 (ja) * 2002-03-15 2006-12-13 ソニー株式会社 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置
JP2004200902A (ja) * 2002-12-17 2004-07-15 Nikon Corp 画像処理装置、電子カメラ、及び画像処理プログラム
DE602004028115D1 (de) 2003-05-02 2010-08-26 Univ College Cork Nat Univ Ie Lichtemittierende mesastrukturen mit hohem höhe-zu-breite-verhältnis und quasi-parabolischen seitenwänden und ihre herstellung
JP3800217B2 (ja) * 2003-10-10 2006-07-26 コニカミノルタホールディングス株式会社 監視システム
US7742232B2 (en) * 2004-04-12 2010-06-22 Angstrom, Inc. Three-dimensional imaging system
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
CN200976080Y (zh) 2006-04-07 2007-11-14 陈文雷 自适应变光摄像机
CN100533199C (zh) * 2006-05-02 2009-08-26 佳能株式会社 焦点检测装置、光学设备和摄像系统
US20110057930A1 (en) * 2006-07-26 2011-03-10 Inneroptic Technology Inc. System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy
JP5161024B2 (ja) * 2008-10-10 2013-03-13 富士フイルム株式会社 ３次元形状計測用撮影装置および方法並びにプログラム
JP4748204B2 (ja) * 2008-11-05 2011-08-17 ソニー株式会社 撮像装置、撮像装置の表示制御方法
US20100182340A1 (en) 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments
WO2012051216A1 (en) * 2010-10-11 2012-04-19 The Regents Of The University Of Colorado, A Body Corporate Direct echo particle image velocimetry flow vector mapping on ultrasound dicom images
KR101818024B1 (ko) * 2011-03-29 2018-01-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
WO2013066351A1 (en) * 2011-11-04 2013-05-10 Empire Technology Development Llc Ir signal capture for images
JP2013104784A (ja) * 2011-11-14 2013-05-30 Mitsubishi Electric Corp 光３次元カメラ
US9066021B2 (en) * 2012-10-18 2015-06-23 Ortho-Clinical Diagnostics, Inc. Full resolution color imaging of an object
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
US9412189B2 (en) * 2013-05-13 2016-08-09 General Electric Company Method and system for detecting known measurable object features
US20140340424A1 (en) 2013-05-17 2014-11-20 Jeri J. Ellsworth System and method for reconfigurable projected augmented/virtual reality appliance
CN104603574B (zh) * 2013-07-01 2017-10-13 松下电器（美国）知识产权公司 具有多个光源的运动传感器装置
JP6500355B2 (ja) * 2014-06-20 2019-04-17 富士通株式会社 表示装置、表示プログラム、および表示方法
WO2016138003A1 (en) * 2015-02-23 2016-09-01 The Research Foundation For The State University Of New York Method and apparatus for tiling light sheet selective plane illumination microscopy with real-time optimized light sheet
JP2016158108A (ja) * 2015-02-24 2016-09-01 株式会社リコー 頭部装着型表示装置、情報処理システム、および情報処理方法
US9553423B2 (en) * 2015-02-27 2017-01-24 Princeton Optronics Inc. Miniature structured light illuminator
JP6377863B2 (ja) * 2015-05-13 2018-08-22 フェイスブック，インク． 反射マップ表現による奥行きマップ表現の増補
US10326981B2 (en) * 2015-05-15 2019-06-18 Semyon Nisenzon Generating 3D images using multi-resolution camera set
GB2541970B (en) 2015-09-02 2020-08-19 Facebook Tech Llc Display manufacture
US10440355B2 (en) * 2015-11-06 2019-10-08 Facebook Technologies, Llc Depth mapping with a head mounted display using stereo cameras and structured light

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5442462A (en) * 1992-06-10 1995-08-15 D.V.P. Technologies Ltd. Apparatus and method for smoothing images
US20080279446A1 (en) * 2002-05-21 2008-11-13 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US7990460B2 (en) * 2004-11-16 2011-08-02 Aptina Imaging Corporation System and method for focusing a digital camera
CN103620476A (zh) * 2011-06-30 2014-03-05 通用电气医疗集团生物科学公司 生物成像的图像质量优化
KR101289283B1 (ko) * 2012-03-13 2013-08-09 안양대학교 산학협력단 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법
US20130293468A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Collaboration environment using see through displays
WO2014060562A1 (en) * 2012-10-17 2014-04-24 Cathx Research Ltd Improvements in relation to underwater imaging for underwater surveys
CN103903002A (zh) * 2012-12-24 2014-07-02 联想(北京)有限公司 环境亮度检测方法和系统
US20140198185A1 (en) * 2013-01-17 2014-07-17 Cyberoptics Corporation Multi-camera sensor for three-dimensional imaging of a circuit board
US20140240464A1 (en) * 2013-02-28 2014-08-28 Motorola Mobility Llc Context-Based Depth Sensor Control
US20150193949A1 (en) * 2014-01-06 2015-07-09 Oculus Vr, Llc Calibration of multiple rigid bodies in a virtual reality system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107462994A (zh) * 2017-09-04 2017-12-12 浙江大学 沉浸式虚拟现实头戴显示装置和沉浸式虚拟现实显示方法
CN110836647A (zh) * 2018-08-17 2020-02-25 鉴微科技股份有限公司 三维扫描系统
CN113661433A (zh) * 2019-04-11 2021-11-16 三星电子株式会社 头戴式显示设备及其操作方法
CN113661433B (zh) * 2019-04-11 2023-10-24 三星电子株式会社 头戴式显示设备及其操作方法
US11809623B2 (en) 2019-04-11 2023-11-07 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
US12340016B2 (en) 2019-04-11 2025-06-24 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same

Also Published As

Publication number Publication date
US10893260B2 (en) 2021-01-12
US20190387218A1 (en) 2019-12-19
US20170134717A1 (en) 2017-05-11
EP3371641B1 (en) 2022-02-16
JP6866365B2 (ja) 2021-04-28
JP2019504522A (ja) 2019-02-14
US10440355B2 (en) 2019-10-08
EP3371641A4 (en) 2019-06-12
EP3371641A1 (en) 2018-09-12
WO2017079458A1 (en) 2017-05-11
KR20180066116A (ko) 2018-06-18

Similar Documents

Publication Publication Date Title
CN108351523A (zh) 利用头戴式显示器使用立体照相机以及结构光的深度映射
JP7076368B2 (ja) レンジゲート式デプスカメラ部品
US10972715B1 (en) Selective processing or readout of data from one or more imaging sensors included in a depth camera assembly
JP6827073B2 (ja) 構造化光およびタイムオブフライトを用いた深度マッピング
KR101892168B1 (ko) 반사도 맵 표현을 이용한 깊이 맵 표현의 증강
US10120442B2 (en) Eye tracking using a light field camera on a head-mounted display
EP3288259B1 (en) Array detector for depth mapping
KR20180101496A (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
CN109565585A (zh) 用于深度信息确定的多发射器照明源
CN110658914A (zh) 边界区域的闪烁追踪
CN104885451A (zh) 用于获得3d图像的方法和装置
KR102502310B1 (ko) 적외선 이미징을 사용한 색상 식별
KR20170133730A (ko) 물체의 3차원 정보 획득을 위한 카메라 센싱 장치 및 이를 이용한 가상 골프 시뮬레이션 장치
WO2018164104A1 (ja) 眼部画像処理装置
JP7118776B2 (ja) 撮像装置、画像処理方法、画像処理プログラムおよび記録媒体
US11688040B2 (en) Imaging systems and methods for correcting visual artifacts caused by camera straylight
JP2021004762A (ja) 計測装置、撮像装置、計測システム、制御方法、プログラム及び記録媒体
US20230379594A1 (en) Image blending

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: California, USA

Applicant before: OCULUS VR, LLC

CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180731