CN114761909A - 针对头戴式显示器的内容稳定 - Google Patents

Abstract

一种头戴式设备可以包括处理器，该处理器被配置为：从传感器接收信息，该信息指示头戴式设备相对于在用户的面部上的参考点的位置；以及基于设备相对于面部的位置或该位置的变化来调整对虚拟内容项的渲染。传感器可以是距离传感器，并且处理器可以被配置为：基于所测量的在头戴式设备与用户的面部上的参考点之间的距离或该距离的变化来调整对虚拟内容项的渲染。用户的面部上的参考点可以是用户的眼睛中的一只眼睛或两只眼睛。

Description

针对头戴式显示器的内容稳定

优先权

本专利申请要求享受于2019年12月13日递交的、编号为16/713,462、名称为“Content Stabilization for Head-Mounted Displays”的非临时申请的优先权，该非临时申请被转让给本申请的受让人并且据此通过引用的方式明确地并入本文中。

背景技术

近年来，将来自用户的物理环境的真实世界图像与计算机生成的影像或虚拟对象(VO)进行组合的增强现实软件应用已经在普及度和使用方面得以增长。增强现实软件应用可以向在应用的用户周围的自然世界添加图形、声音和/或触觉反馈。关于人和/或对象的图像、视频流和信息可以叠加在视觉世界上，作为在可穿戴电子显示器或头戴式设备(例如，智能眼镜、增强现实眼镜等)上的增强场景而呈现给用户。

发明内容

各个方面包括用于在增强现实系统中使用的头戴式设备，该头戴式设备被配置为补偿设备在用户的面部上的移动。在各个方面中，一种头戴式设备可以包括：存储器；传感器；以及耦合到存储器和传感器的处理器，其中，处理器可以被配置为：从传感器接收信息，其中，该信息可以指示头戴式设备相对于在用户的面部上的参考点的位置；以及基于该位置来调整对虚拟内容项的渲染。

在一些方面中，从传感器接收的信息与头戴式设备相对于用户的眼睛的位置有关，其中，处理器可以被配置为基于头戴式设备相对于用户的眼睛的位置来调整对虚拟内容项的渲染。在一些方面中，传感器可以包括红外(IR)传感器和被配置为朝着用户的面部发射IR光的IR光源。在一些方面中，传感器可以包括超声传感器，超声传感器被配置为朝着用户的面部发射超声脉冲并且确定头戴式设备相对于在用户的面部上的参考点的位置。在一些方面中，传感器可以包括第一相机，并且在一些方面中，传感器还可以包括第二相机。在一些方面中，头戴式设备还可以包括：图像渲染设备，其耦合到处理器并且被配置为渲染虚拟内容项。

在一些方面中，处理器还可以被配置为：确定从头戴式设备上的图像渲染设备到用户的眼睛的角度；以及基于所确定的到用户的眼睛的角度以及所确定的在头戴式设备与用户的面部上的参考点之间的距离，来调整对虚拟内容项的渲染。

一些方面可以包括一种在增强现实系统中调整对虚拟内容项的渲染以补偿头戴式设备在用户上的移动的方法，该方法可以包括：确定头戴式设备相对于用户的面部上的参考点的位置；以及基于所确定的头戴式设备相对于用户的面部上的参考点的位置来调整对虚拟内容项的渲染。在一些方面中，用户的面部上的参考点可以包括用户的眼睛。

一些方面还可以包括从传感器接收与头戴式设备相对于用户的眼睛的位置有关的信息，其中，基于所确定的头戴式设备相对于在用户的面部上确定的参考点的位置来调整对虚拟内容项的渲染可以包括：基于根据头戴式设备相对于用户的眼睛的位置而确定的到用户的眼睛的距离和角度，来调整对虚拟内容项的渲染。

在一些方面中，确定头戴式设备相对于用户的面部上的参考点的位置可以包括：基于从红外(IR)传感器和被配置为朝着用户的面部发射IR光的IR光源接收的信息，来确定头戴式设备相对于用户的面部上的参考点的位置。

在一些方面中，确定头戴式设备相对于用户的面部上的参考点的位置可以包括：基于从被配置为朝着用户的面部发射超声脉冲的超声传感器接收的信息，来确定头戴式设备相对于用户的面部上的参考点的位置。

在一些方面中，确定头戴式设备相对于用户的面部上的参考点的位置可以包括：确定头戴式设备相对于用户的面部上的参考点的位置的变化；以及基于所确定的头戴式设备相对于用户的面部上的参考点的位置来调整对虚拟内容项的渲染可以包括：基于头戴式设备相对于用户的面部上的参考点的位置的变化来调整对虚拟内容项的渲染。

在一些方面中，确定头戴式设备相对于用户的面部上的参考点的位置可以包括：通过处理器基于由头戴式设备上的传感器发射的信号来执行飞行时间测量。在一些方面中，确定头戴式设备相对于用户的面部上的参考点的位置可以包括：通过处理器基于由头戴式设备上的成像传感器捕获的图像来执行三角测量操作。

进一步的方面包括在其上存储有处理器可执行指令的非暂时性处理器可读存储介质，该处理器可执行指令被配置为使得在头戴式设备或相关联的计算设备中的处理器执行上文概述的方法中的任何方法的操作。进一步的方面包括头戴式设备或相关联的计算设备，其具有用于完成上文概述的方法中的任何方法的功能。

附图说明

被并入本文并且构成本说明书的一部分的附图示出了各个实施例的示例实施例，并且与上文给出的总体描述和下文给出的详细描述一起用于解释权利要求的特征。

图1A是根据各个实施例的头戴式设备(例如，增强现实眼镜)的示图，该头戴式设备可以被配置为执行基于视觉的配准操作，该配准操作考虑了在头戴式设备的相机之间的距离/角度的变化。

图1B是示出根据各个实施例的可以被包括在头戴式设备中的计算机架构和传感器的系统框图，该头戴式设备被配置为执行基于视觉的配准操作，该配准操作考虑了在头戴式设备的相机与用户的眼睛之间的距离/角度的变化。

图2A-图2E是适于在平视显示系统上显示电子生成的图像或虚拟内容项的成像系统的示图。

图3-图5是示出根据各个实施例的执行基于视觉的配准操作的额外方法的处理器流程图，该配准操作考虑了在头戴式设备的相机与用户的眼睛之间的距离/角度的变化。

图6是适于实现一些实施例的移动设备的组件框图。

图7是适于与各个实施例一起使用的示例计算设备的组件图。

具体实施方式

将参照附图来详细描述各个实施例。在可能的情况下，将贯穿附图使用相同的附图标记来指代相同或相似的部分。对特定示例和实现方式的提及是出于说明性目的，而不旨在限制权利要求的范围。

增强现实系统通过以下方式来工作：显示虚拟内容的元素，使得其出现在真实世界中的体积对象上、附近或与其相关联。术语“增强现实系统”指代在包括真实世界对象的场景内渲染虚拟内容项的任何系统，包括渲染虚拟内容项使得它们表现为悬浮在真实世界、混合现实系统以及视频透传系统内的系统，视频透传系统渲染与虚拟内容项组合的(例如，通过面向外部的相机获得的)真实世界对象的图像。在常见形式的增强现实系统中，用户佩戴头戴式设备，该头戴式设备包括：捕获真实世界的图像的面向外部的相机；处理器(其可以是单独的计算设备或在头戴式设备内的处理器)，其生成虚拟内容项(例如，图像、文本、图标等)，使用来自面向外部的相机的图像来确定虚拟内容项应当如何或在何处被渲染以出现在选择的真实世界对象上、附近或与其相关联；以及图像渲染设备(例如，显示器或投影仪)，其渲染图像，使得对于用户而言虚拟内容项表现为在相对于真实世界对象的所确定的地点(location)。

为了便于描述各个实施例，虚拟内容项相对于选择的真实世界对象的定位(positioning)在本文中被称为“配准”，并且当虚拟内容项对于用户而言表现为在选择的真实世界对象上、附近或与其相关联时，该项与真实世界对象“配准”。如本文所使用的，当增强现实系统尝试渲染虚拟内容项，使得该项表现为与真实世界对象配准(即，表现为在固定的相对位置(position)、附近或保持在固定的相对位置处)时，该项与真实世界对象“相关联”。

在配准与远处的真实世界对象相关联的虚拟内容项时，头戴式设备渲染虚拟内容，使得其对于用户而言表现为处于与真实世界对象相同的距离，即使虚拟内容是正在由距用户的眼睛仅几厘米的图像渲染设备(例如，投影仪或显示器)渲染的。这可以通过在图像渲染设备中使用透镜来实现，这些透镜重新聚焦来自虚拟内容的投影或显示的光，使得当用户正在观看远处的真实世界对象时，该光被用户的眼睛的晶状体聚焦在视网膜上。因此，即使虚拟内容的图像是在用户的眼睛的几毫米内生成的，虚拟内容也表现为对焦，如同其与用户的距离与通过增强现实系统与其相关联的真实世界对象的距离相同。

用于增强现实应用的传统头戴式设备通常包括厚的或笨重的鼻梁和框架，或者被设计为经由头带固定到用户的头部。随着增强现实软件应用在普及度和使用方面持续增长，预计将存在对于新类型的头戴式设备的增加的消费者需求，新类型的头戴式设备具有更薄或更轻的鼻梁和框架，并且可以在没有头带的情况下佩戴，类似于阅读眼镜或护目镜。由于这些特性和其它新特性，更加可能的是，鼻梁从用户的鼻子上滑下，框架将在用户的面部上移动或移位，并且用户将频繁地调整头戴式设备在用户的鼻子和面部上的地点(location)、位置(position)和朝向(类似于人们目前如何调整其阅读眼镜或护目镜)。设备的这样的移动和调整可能改变在头戴式设备的相机、用户的眼睛和头戴式设备的电子显示器之间的位置、朝向、距离和角度。

将来自图像渲染设备(例如，投影仪或显示器)的虚拟内容项投影或透镜化到用户的眼睛附近，使得当用户在头戴式设备中观看远处的真实世界对象时虚拟内容表现为与真实世界对象配准并且对焦，涉及使用波导管、激光投影、透镜或投影仪。这样的渲染技术使得经渲染的内容的表观位置对于在用户的眼睛与图像渲染设备(例如，投影仪或显示器)之间的距离和角度的变化敏感。如果这样的距离和角度保持固定，那么虚拟内容项可以保持对焦，并且表现为保持与在由增强现实系统确定的固定的相对位置上的真实世界对象配准。然而，如果在用户的眼睛与图像渲染设备(例如，投影仪或显示器)之间的距离和角度改变(例如，如果头戴式设备从用户的鼻子滑下，或者用户将头戴式设备重新放置到用户的面部上)，这将改变虚拟内容项的表观深度和/或地点，而与真实世界对象的距离以及真实世界对象的地点不表现为改变(即，虚拟内容项表现为相对于真实世界对象移动)。由于相比于与真实世界对象的距离，从图像渲染设备(例如，投影仪或显示器)到用户的眼睛的短距离，所以即使头戴式设备的距离和角度的微小变化也将表现为使虚拟内容项移动穿过与远处对象相比大的角度和距离。

即使在不直接与虚拟对象交互时，用户也可能作出细微的移动(头部、颈部或面部移动等)和突然的移动(例如，奔跑、跳跃、弯腰等)，这可能影响虚拟内容项相对于真实世界对象的表观位置和朝向。这样的用户移动还可能导致头戴式设备在用户的鼻子或面部上移动或移位，这改变了在虚拟对象图像渲染设备(例如，投影仪或显示器)与用户的眼睛之间的距离和角度。这可能导致虚拟内容项相对于真实世界对象的位置、表观距离和/或朝向的明显变化。类似地，当用户手动调整头戴式设备在用户的面部上的位置时，任何移动改变显示光学元件相对于用户的眼睛的朝向、距离和/或位置，这取决于移动的量和方向/旋转。头戴式设备相对于用户的眼睛的这些移动可能导致虚拟对象出现在与真实世界对象不同的距离处(例如，当用户观看真实世界对象时表现为不对焦)，以及与真实世界对象相比出现在不同的角度地点处。虚拟对象表观距离和角度位置对头戴式设备在用户的面部上的移动的这种敏感性可能影响增强场景的保真度并且使用户体验降级。

一些传统的解决方案尝试通过以下方式来提高配准的准确性：从外部感测设备(诸如通信地耦合到头戴式设备的磁性或超声传感器)收集信息以确定相对于用户的眼睛的位置和朝向，并且在基于视觉的配准的定位阶段期间使用该信息来调整虚拟对象将被渲染的地点。例如，传统的头戴式设备可以包括陀螺仪和加速计，其可以通过三个旋转轴感测设备的旋转以及通过三个维度(即6个自由度)感测移动。虽然这些传统解决方案(尤其是结合由面向外部的相机提供的图像)向增强现实系统提供实现虚拟现实项与相关联的真实世界对象重新对准(例如，更新虚拟现实项的配准)的信息，但是这样的传感器不考虑头戴式设备相对于用户的眼睛的移动。相反，大多数传统的基于视觉的配准技术/科技假定面向外部的相机和面向内部的图像渲染设备(例如，波导管、投影仪或显示器)相对于用户的眼睛的固定位置和朝向。因此，传统的增强现实头戴式设备可能表现出虚拟内容项相对于远处对象的表观距离和角度位置的频繁变化(由于设备在用户的面部上的移动)。

概括而言，各个实施例包括一种头戴式设备，其配备有面向外部的世界视图图像传感器/相机和面向内部的注视视图传感器/相机。面向内部的注视视图传感器/相机可以被配置为确定或测量在图像渲染设备(例如，投影仪或显示器)与用户的眼睛之间的距离和角度(本文中被称为如下文定义的“位置”)的变化。在典型的头戴式设备中，图像渲染设备(例如，投影仪或显示器)将处于距面向外部的相机(或更准确地，面向外部的相机的图像平面)的固定距离。因此，虽然增强现实系统确定虚拟内容项的适当渲染以表现为与一个或多个真实世界对象相关联(即，表现为在一个或多个真实世界对象上或位于一个或多个真实世界对象附近)，但是为了该目的，该过程假定在面向外部的相机图像平面与图像渲染设备(例如，投影仪或显示器)之间的固定的距离和角度关系。为了纠正由于头戴式设备在用户的面部上的移动而导致的图像渲染设备相对于用户的眼睛的位置的变化，在头戴式设备内的或与头戴式设备进行通信(例如，经由无线或有线链路)的处理器可以被配置为使用来自被配置为确定到用户的面部或眼睛的距离和角度的变化的传感器的距离和角度测量，以及调整对虚拟内容项(例如，增强影像)的渲染，以考虑在头戴式设备与用户的眼睛之间的距离/角度的变化。这样的调整可以起到稳定虚拟内容项相对于距离真实世界对象的表观地点的作用，使得当头戴式设备在用户的头部上移位时，虚拟内容相对于观察到的真实世界保持在与由增强现实系统确定的地点相同的表观地点。

在一些实施例中，头戴式设备可以被配置为确定在头戴式设备上的配准点(例如，距离/角度传感器)与用户的面部上的配准点(例如，用户的眼睛)之间关于六个轴或自由度(即X、Y、Z、翻滚、俯仰和偏航轴和尺寸)的距离和角度(或距离和/或角度的变化)。为了便于引用，本文使用术语“位置”和“位置的变化”作为对在头戴式设备与用户的眼睛之间的距离和角度朝向的一般引用，并且旨在包括关于六个轴或自由度的任何尺寸或角度测量。例如，头戴式设备从用户的鼻子向下移动将导致沿着X轴和Z轴(例如)的距离变化以及围绕俯仰轴的旋转，其中的所有的组合在本文中可以被称为头戴式设备相对于用户的眼睛的位置的变化。

假设头戴式设备是刚性的，则在面向外部的图像传感器、渲染虚拟内容项的图像的投影仪或显示器、以及被配置为确定头戴式设备相对于在用户的面部上的参考点的位置的面向内部的传感器之间将存在恒定的距离和角度关系。例如，传感器可以测量到用户的面部上的点的距离(或距离变化)和角度(或角度变化)，以确定沿着六个轴或自由度的位置(或位置的变化)。此外，传感器相对于在用户的面部上的配准点的位置的测量可以通过固定的几何变换与面向外部的图像传感器和投影仪或显示器两者相关。因此，面向内部的距离和角度测量传感器可以被放置在头戴式设备上的任何地方，并且处理器可以使用距离和角度测量来确定头戴式设备相对于用户的眼睛的位置，以及调整对虚拟内容项的渲染，使得其对于用户表现为仍然与相关联的真实世界对象配准。

在各个实施例中，可以使用各种类型的传感器来确定头戴式设备相对于用户的眼睛的相对位置或位置的变化。在示例实施例中，传感器可以是面向内部的红外传感器，其生成红外光的小闪光，检测红外光的小闪光从用户的眼睛的反射，并且通过执行对所检测到的反射的飞行时间测量来确定在面向外部的图像传感器与用户的眼睛之间的距离和角度(或距离和/或角度的变化)。在另一示例中，单个可见光相机可以被配置为基于观察到的在两个或更多个图像之间的特征的位置的变化来确定在面向外部的图像传感器与用户的眼睛之间的距离和/或角度的变化。在另一示例中，两个间隔开的成像传感器(即，双目图像传感器或立体相机)可以用于通过由处理器进行的图像处理来确定距离，以确定在每个传感器中到用户的面部上的公共参考点(例如，一只眼睛的瞳孔)的角度，并且使用三角测量来计算距离。在另一示例实施例中，传感器可以是一个或多个电容触摸感测电路，其可以嵌入在头戴式设备的内部以便与用户的面部(例如，鼻梁、眉毛区域或太阳穴区域)接触，以及被配置为输出电容数据，处理器可以分析该电容数据以确定该设备是否已经在用户的面部上移动或移位。在另一示例实施例中，传感器可以是超声换能器，其生成超声脉冲，检测超声脉冲从用户的面部的回波，并且通过执行对所检测到的回波的飞行时间测量来确定面向外部的图像传感器与用户的面部之间的距离(或距离变化)。距离或距离变化可以基于在IR闪光或超声的生成与光速或声速之间的时间来确定。传感器可以被配置为确定与用户的眼睛的角度，并且因而还测量头戴式设备(以及因此面向外部的相机)和用户的眼睛的角度朝向的变化。处理器然后可以使用这样的测量来确定头戴式设备相对于用户的眼睛的位置(或位置的变化)，并且确定要对虚拟内容项的渲染进行的调整，使得该项表现为保持与相关联的真实世界对象配准。

头戴式设备处理器可以在经更新的显示地点(即，距离和角度)处渲染经调整或经更新的虚拟内容的图像以生成增强场景，使得虚拟内容项保持与如由增强现实系统确定的真实世界对象配准。

术语“移动设备”在本文中用于指代以下各者中的任何一者或全部：蜂窝电话、智能手机、物联网(IOT)设备、个人或移动多媒体播放器、膝上型计算机、平板计算机、超极本、掌上计算机、无线电子邮件接收器、启用多媒体互联网的蜂窝电话、无线游戏控制器、头戴式设备、以及包括可编程处理器、存储器和用于向无线通信网络发送无线通信信号和/或从无线通信网络接收无线通信信号的电路的类似的电子设备。虽然各个实施例在诸如智能电话和平板设备的移动设备中特别有用，但是这些实施例通常在包括用于接入蜂窝或无线通信网络的通信电路的任何电子设备中是有用的。

短语“头戴式设备”和首字母缩写词(HMD)在本文中用于指代向用户呈现计算机生成的影像和来自用户的物理环境的真实世界图像(即，用户在不利用眼镜的情况下将看到的图像)的组合和/或使得用户能够在真实世界场景的背景下查看所生成的图像的任何电子显示系统。头戴式设备的非限制性示例包括头盔、眼镜、虚拟现实眼镜、增强现实眼镜、电子护目镜和其它类似的科技/设备或者可以被包括在头盔、眼镜、虚拟现实眼镜、增强现实眼镜、电子护目镜和其它类似的科技/设备中。如本文所描述的，头戴式设备可以包括处理器、存储器、显示器、一个或多个相机(例如，世界视图相机、注视视图相机等)、一个或多个六自由度三角测量扫描器、以及用于与互联网、网络或另一计算设备连接的无线接口。在一些实施例中，头戴式设备处理器可以被配置为执行或执行增强现实软件应用。

在一些实施例中，头戴式设备可以是用于移动设备(例如，台式计算机、膝上型计算机、智能电话、平板计算机等)的附件和/或从移动设备接收信息，其中，所有或部分处理在该移动设备(例如，在图6和图7中所示的计算设备等)的处理器上被执行。因此，在各个实施例中，头戴式设备可以被配置为在头戴式设备中的处理器上本地执行所有处理，将所有主要处理卸载到另一计算设备(例如，与头戴式设备位于同一房间的膝上型计算机等)中的处理器，或者在头戴式设备中的处理器与所述另一计算设备中的处理器之间拆分主要处理操作。在一些实施例中，在所述另一计算设备中的处理器可以是“云”中的服务器，在头戴式设备中或在相关联的移动设备中的处理器经由网络连接(例如，到互联网的蜂窝网络连接)与该服务器进行通信。

短语“六自由度(6-DOF)”在本文中用于指代头戴式设备或其组件(相对于用户的眼睛/头部、计算机生成的图像或虚拟对象、真实世界对象等)在三维空间中或相对于关于用户的面部的三个垂直轴的移动自由度。头戴式设备在用户的头部上的位置可以改变，诸如在向前/向后方向上或沿着X轴(纵荡)、在向左/向右方向上或沿着Y轴(横荡)、以及向上/向下方向上或着沿Z轴(垂荡)移动。头戴式设备在用户的头部上的朝向可以改变，诸如围绕三个垂直轴旋转。术语“翻滚”可以指代沿着纵轴旋转或在X轴上一侧到另一侧倾斜。术语“俯仰”可以指代沿着横轴旋转或在Y轴上向前和向后倾斜。术语“偏航”可以指代沿着法向轴旋转或在Z轴上向左和向右转动。

多种不同的方法、科技、解决方案和/或技术(本文中统称为“解决方案”)可以用于确定用户的面部上的点的地点、位置或朝向(例如，在用户的眼睛周围的面部结构上的点、眼睛、眼窝、眼角、角膜、瞳孔等)，其中的任何或全部可以通过各个实施例来实现，被包括在各个实施例中，和/或由各个实施例使用。如上所述，各种类型的传感器(包括IR、图像传感器、双目图像传感器、电容触摸感测电路和超声传感器)可以用于测量从头戴式设备上的传感器到用户的面部上的点的距离和角度。处理器可以将三边测量或多边测量应用于由传感器进行的测量以及加速计和陀螺仪传感器数据，以确定头戴式设备相对于用户的面部的通过六自由度(DOF)的位置(即，距离和角度朝向)的变化。例如，头戴式设备可以被配置为将声音(例如，超声)、光或无线电信号发送到目标点，测量由在头戴式设备上的传感器检测声音、光或无线电信号的反射花费了多长时间，以及使用上述任何或所有技术(例如，到达时间、到达角度等)来估计在头戴式设备的透镜或相机与目标点之间的距离和角度。在一些实施例中，处理器(诸如头戴式设备的处理器)可以在处理由面向内部的图像传感器(例如，数码相机)拍摄的图像时使用用户的面部的三维(3D)模型(例如，3D重建)，以确定头戴式设备相对于用户的眼睛的位置。

如上文所讨论的，增强现实系统可以使用基于视觉的配准技术/科技来对准虚拟内容项(例如，计算机生成的影像等)的经渲染的图像，使得该项对于用户而言表现为与真实世界对象配准。因此，基于头戴式设备在用户的面部或头部上的位置和朝向，设备对虚拟内容项进行投影或以其它方式渲染虚拟内容项，使得其相对于相关联的真实世界对象表现为用户所期望的。基于视觉的配准技术的示例包括基于光学的配准、基于视频的配准、与人工标记的配准、与自然标记的配准、基于多相机模型的配准、混合配准和通过模糊估计的配准。

例如，增强现实系统可以执行包括以下各项的操作：头戴式设备捕获真实场景(即，用户周围的物理环境)的图像；处理所捕获的图像以从真实场景的图像中识别四个已知点；在这些点周围设置四个单独的跟踪窗口；基于这些点来确定相机校准矩阵(M)；基于相机校准矩阵(M)来确定四个已知点的“世界”、“相机”和“屏幕”坐标；基于这些坐标来确定投影矩阵；以及使用投影矩阵来将所生成的虚拟对象中的每一者顺序地叠加到真实场景的图像上。

上文提及的基于视觉的配准技术中的每一者都可以包括定位阶段、渲染阶段和合并阶段。在定位阶段期间，头戴式设备可以捕获真实世界场景(即，用户周围的物理环境)的图像，并且确定虚拟对象要在真实世界场景中显示的地点。在渲染阶段期间，头戴式设备可以生成虚拟内容项的二维图像。在合并阶段期间，头戴式设备可以经由图像渲染设备(例如，投影仪或显示器)渲染虚拟内容项，所以这些项对于用户而言表现为叠加在真实世界场景上或与真实世界场景叠加。具体地，头戴式设备可以向用户呈现所叠加的图像，使得用户能够以对于用户而言看起来自然的方式查看虚拟内容项和/或与虚拟内容项交互，而不管头戴式设备的位置和朝向如何。在采用视频透传技术的混合现实设备中，合并阶段可以涉及在显示器中一起渲染真实世界的图像和虚拟内容项两者。

在合并阶段之后或作为合并阶段的一部分，随着头戴式设备在用户的头部上的位置和/或朝向改变(诸如当用户手动重新放置用户的面部上的头戴式设备时)，处理器可以从面向内部的距离和角度传感器获得到用户的面部上的配准点的距离和/或角度测量，并且调整对虚拟内容项的渲染以使得虚拟内容项表现为保持在到真实世界场景的相同的相对位置(即，距离和角度)处。

图1A示出了可以根据各个实施例而配置的头戴式设备100。在图1A中所示的示例中，头戴式设备100包括框架102、两个光学透镜104和处理器106，处理器106通信地耦合到面向外部的世界视图图像传感器/相机108、面向内部的注视视图传感器/相机110、传感器阵列112、存储器114和通信电路116。在一些实施例中，头戴式设备100可以包括沿着框架的臂120或在头戴式设备100的鼻梁122中的电容触摸感测电路。在一些实施例中，头戴式设备100还可以包括用于监测物理状况(例如，地点、运动、加速度、朝向、高度等)的传感器。传感器可以包括以下各者中的任何一者或全部：陀螺仪、加速计、磁强计、磁罗盘、高度计、里程表和压力传感器。传感器还可以包括用于收集与环境和/或用户状况有关的信息的各种生物传感器(例如，心率监测器、体温传感器、碳传感器、氧传感器等)。传感器还可以位于头戴式设备100的外部，并且经由有线或无线连接(例如，

等)与头戴式设备100配对或分组。

在一些实施例中，处理器106还可以通信地耦合到图像渲染设备118(例如，图像投影仪)，图像渲染设备118可以嵌入在框架102的臂部分120中，并且被配置为将图像投影到光学透镜104上。在一些实施例中，图像渲染设备118可以包括发光二极管(LED)模块、光隧道、均化透镜、光学显示器、折叠镜或其它组件(公知的投影仪或头戴式显示器)。在一些实施例(例如，其中不包括或不使用图像渲染设备118的实施例)中，光学透镜104可以是、或者可以包括透明或部分透明的电子显示器。在一些实施例中，光学透镜104包括图像产生元件，诸如透明的有机发光二极管(OLED)显示元件或硅上液晶(LCOS)显示元件。在一些实施例中，光学透镜104可以包括独立的左眼和右眼显示元件。在一些实施例中，光学透镜104可以包括用于将光从显示元件传递到佩戴者的眼睛的光导管或者作为光导管操作。

面向外部或世界视图图像传感器/相机108可以被配置为从用户的物理环境捕获真实世界图像，并且将对应的图像数据发送给处理器106。处理器106可以将真实世界图像与计算机生成的影像或虚拟对象(VO)进行组合以生成增强场景，并且在头戴式设备100的电子显示器或光学透镜104上渲染增强场景。

面向内部或注视视图传感器/相机110可以被配置为从用户的眼睛或用户的眼睛周围的面部结构获取图像数据。例如，注视视图传感器/相机110可以被配置为产生小闪光(红外光等)，捕获它们从用户的眼睛的反射(例如，眼窝、眼角、角膜、瞳孔等)，并且将对应的图像数据发送给处理器106。处理器106可以使用从注视视图传感器/相机110接收的图像数据来确定用户的眼睛中的每只眼睛的光轴、每只眼睛的注视方向、用户的头部朝向、各种眼睛注视速度或加速度值、眼睛注视方向的角度变化、或其它类似的注视相关信息。此外，处理器106可以使用从注视视图传感器/相机110和/或头戴式设备100中的其它传感器组件(例如，电容触摸感测电路)接收的图像数据来确定在用户的眼睛中的每只眼睛与世界视图图像传感器/相机108或光学透镜104之间的距离和角度。

在一些实施例中，头戴式设备100(或面向内部或注视视图传感器/相机110)可以包括扫描器和/或跟踪器，其被配置为确定在用户的眼睛中的每只眼睛与世界视图图像传感器/相机108或光学透镜104之间的距离和角度。扫描器/跟踪器可以被配置为测量到用户的面部上的配准点(例如，在用户的眼睛或用户的眼睛周围的面部结构上的点)的距离和角度。可以使用各种类型的扫描器或跟踪器。在一个示例实施例中，扫描器/跟踪器可以是面向内部的双目图像传感器，其对用户的面部或眼睛进行成像，并且通过三角测量来确定到配准点的距离和角度。在另一示例实施例中，扫描器/跟踪器可以是IR传感器，其被配置为将激光光束朝着配准点投影，并且通过测量在扫描器/跟踪器与点之间的距离(例如，通过测量反射IR闪光的飞行时间)和两个角度(例如，经由绝对测距仪、干涉仪、角度编码器等)来确定配准点的坐标。在一些实施例中，扫描器/跟踪器可以包括超声换能器(例如，压电换能器)，其被配置为通过以下操作来执行飞行时间测量：朝着用户的眼睛的表面或用户的眼睛周围的面部特征发射超声，测量在声脉冲与检测到的回波之间的时间，以及基于所测量到的飞行时间来确定距离。

在一些实施例中，扫描器/跟踪器可以是或包括三角测量扫描器，其被配置为基于本领域已知的各种图像三角测量技术中的任何一者来确定对象(例如，用户的眼睛或用户的眼睛周围的面部结构)的坐标。通常，三角测量扫描器将光线(例如，来自激光线探头的光)或者在区域之上的二维(2D)光图案(例如，结构光)投影到对象表面上。三角测量扫描器可以包括耦合到光源(例如，IR发光二极管激光器)的相机，该光源与头戴式设备上的面向外部的相机具有固定机械关系。所投影的从光源发射的光线或光图案可以从用户的面部(例如，用户的一只或两只眼睛)上的表面反射并且由相机成像。由于相机和光源被布置为处于与彼此的固定关系，因此可以根据三角学原理，从所投影的光线或图案、所捕获的相机图像以及分离光源和相机的基线距离来确定到对象表面的距离和角度。

在一些实施例中，扫描器/跟踪器可以被配置为获取一系列图像，并且将这些图像相对于彼此配准使得每个图像相对于其它图像的位置和朝向是已知的，使用位于图像中的特征(例如，基点)来匹配相邻图像帧的重叠区域，并且基于重叠区域来确定在用户的眼睛中的每只眼睛与世界视图图像传感器/相机108或光学透镜104之间的距离和角度。

在一些实施例中，头戴式设备100的处理器106可以被配置为使用定位和建图技术(诸如即时定位和建图(SLAM)、视觉即时定位和建图(VSLAM)、和/或本领域已知的其它技术)来构建和更新可视环境的地图和/或确定在用户的眼睛中的每只眼睛、光学透镜104中的每个光学透镜104和/或世界视图图像传感器/相机108中的每个世界视图图像传感器/相机108之间的距离和角度。例如，世界视图图像传感器/相机108可以包括从环境中捕获图像或帧的单目图像传感器。头戴式设备100可以识别在所捕获的图像内的突出对象或特征，估计图像中的特征的尺寸和比例，将所识别的特征彼此比较和/或与测试图像中的具有已知尺寸和比例的特征进行比较，并且基于比较来识别对应关系。每个对应关系可以是值集合或信息结构，该值集合或信息结构将一个图像中的特征(或特征点)标识为具有作为另一图像(例如，随后捕获的图像)中的相同特征的高概率。换句话说，对应关系可以是处于对应关系的图像点集合(例如，第一图像中的第一点和第二图像中的第二点等)。头戴式设备100可以基于所识别的对应关系来产生单应矩阵信息结构，并且使用单应矩阵来确定其在环境内的姿势(例如，位置、朝向等)。

图1B示出了根据一些实施例的可以被包括在头戴式设备100中的计算机架构和各种传感器，头戴式设备100被配置为考虑在头戴式设备的相机与用户的眼睛之间的距离/角度的变化。在图1B中所示的示例中，头戴式设备100包括主板组件152、图像传感器154、微控制器单元(MCU)156、红外(IR)传感器158、惯性测量单元(IMU)160、激光距离和角度传感器(LDS)162和光流传感器164。

传感器154、158-164可以收集对于在头戴式设备100中采用SLAM技术有用的信息。例如，光流传感器164可以测量光流或视觉运动，并且基于光流/视觉运动来输出测量。光流可以标识或定义由在观察者(例如，头戴式设备100、用户等)与场景之间的相对运动而引起的视觉场景中的对象、表面和边缘的表观运动的图案。MCU 156可以使用光流信息来确定在头戴式设备100与在头戴式设备100附近的真实世界对象之间的视觉运动或相对运动。基于真实世界对象的视觉或相对运动，处理器可以使用SLAM技术来确定与真实世界对象的距离和角度。通过确定与真实世界对象的距离和角度，增强现实系统可以确定渲染虚拟内容项的虚拟距离，使得它们表现为与虚拟内容要与其配准的真实世界对象相同的距离(即，焦点)。在一些实施例中，光流传感器164可以是耦合到MCU 156(或在图1A中所示的处理器106)的图像传感器，MCU 156被编程为运行光流算法。在一些实施例中，光流传感器164可以是在相同芯片或管芯上包括图像传感器和处理器的视觉芯片。

头戴式设备100可以被配备有各种额外的传感器，包括陀螺仪、加速计、磁强计、磁罗盘、高度计、相机、光学读取器、朝向传感器、单目图像传感器、和/或用于监测物理状况(例如，地点、运动、加速度、朝向、高度等)或收集对于采用SLAM技术有用的信息的类似传感器。

图2A示出了作为增强现实系统的一部分的适于在头戴式设备上渲染电子生成的图像或虚拟内容项的成像系统。图2A中的示例示图包括用户的视网膜252、真实世界对象视网膜图像254、眼睛焦点256、虚拟内容项(虚拟球)视网膜图像258、虚拟内容项焦点260、用户的眼睛262(例如，眼睛晶状体、瞳孔、角膜等)、用户的虹膜264、用于虚拟内容项的光投影266、用户的眼睛周围的表面或面部特征268、用于测量在传感器272与面部特征268之间的距离(d)270和角度的传感器272、图像传感器透镜274、图像渲染设备276、来自真实世界对象的光278、图像传感器透镜274的视野(FOV)锥体280以及真实世界对象282。在一些实施例中，图像渲染设备276可以是投影仪或显示器(例如，波导管、激光投影仪等)，其被配置为渲染虚拟内容项的图像，以便出现在真实世界对象的一距离处以及靠近真实世界对象。

图2B示出了当用户调整头戴式设备在用户的面部上的位置时，或者当头戴式设备在用户的鼻子上移位时，在传感器272与面部特征268之间的距离(d’)270改变。虽然头戴式设备在用户的面部上的移动改变了图像渲染设备276相对于用户的眼睛262和面部268的位置(例如，距离和/或角度)(这改变了虚拟内容项258的感知地点)，但是与真实世界对象282的距离D 284没有变化。因此，真实世界对象282的感知地点(其与对象图像254在视网膜252上的地点相关)保持不变，但是随着虚拟内容视网膜图像258相对于真实世界对象视网膜图像254改变，图像渲染设备276相对于用户的眼睛262和面部268的位置的变化改变了用户感知虚拟内容项(虚拟球)的地点。

图2C示出了根据各个实施例的被配置为执行基于视觉的调整的系统可以确定图像传感器274相对于眼睛262的位置(或位置的变化)，以及基于位置或位置的变化来调整对虚拟内容项258的渲染，使得虚拟内容相对于真实世界对象而言表现为稳定的，并且对于用户而言表现为自然的，而不管头戴式设备在用户的头部上的位置如何。

在一些实施例中，该系统可以被配置为通过各种技术(诸如测量IR闪光或超声脉冲的飞行时间、对从双目图像传感器获得的图像进行三角测量)来确定在传感器272与用户的眼睛262(或用户的面部上的另一参考点)之间的新距离(d’)270(或距离变化)。该系统可以基于在图像传感器与用户的眼睛之间的所确定的距离或距离变化来调整对虚拟内容项258的渲染，使得虚拟内容项(图中的球)再次表现为(即，视网膜图像)与真实世界对象(图中的球拍)配准，这是因为球的视网膜图像258在到真实世界对象的视网膜图像254的相同焦距处并且在真实世界对象的视网膜图像254旁边。

图2D和图2E示出了在一些实施例中，确定图像传感器274相对于用户的眼睛262的位置可以包括确定由于头戴式设备在用户的面部上的移动而导致的图像渲染设备276的角度朝向的变化。例如，如图2D中所示，随着头戴式设备从用户的鼻子滑下，分离距离d’将改变，并且头戴式设备的垂直朝向将相对于用户的眼睛262的中心线290下降高度h，从而导致围绕俯仰轴的变化。作为垂直距离变化h的结果，从图像渲染设备276到虹膜264的投影277的角度将改变一个量a1，这将进一步改变虚拟内容项的表观地点，除非调整对虚拟内容的渲染。作为进一步的示例，如图2E中所示，如果头戴式设备在用户的面部上或围绕用户的面部旋转，则在从图像渲染设备276到虹膜264的投影277的角度之间的角度将改变一个量a2，这还将改变虚拟内容项的表观地点，除非调整对虚拟内容的渲染。

在一些实施例(诸如向内聚焦传感器272是双目图像传感器的实施例)中，传感器还可以被配置为基于用户的眼睛262(或用户的面部上的与眼睛相关的另一配准点)相对于传感器272的位置的角度变化来测量垂直平移和旋转变化。例如，对垂直平移和旋转变化的测量可以通过图像处理来确定，该图像处理识别用户的面部上的在多个图像中辨别出的特征或斑点(例如，虹膜、眼角、痣等)，并且跟踪该特征在多个图像上并且来自两个图像传感器的表观位置的变化，并且使用三角学来确定从传感器到眼睛的距离以及头戴式设备相对于用户的眼睛的旋转移动(即，投影角度和距离的变化)。在一些实施例中，可以通过头戴式设备上的不同传感器来获得旋转变化测量。通过确定图像渲染设备276相对于用户的眼睛的位置和朝向的这种变化，处理器可以应用一个或多个三角变换来适当地调整对虚拟内容项的渲染。

图3示出了根据一些实施例的在头戴式设备中调整对虚拟内容项的渲染以考虑头戴式设备相对于用户的眼睛的位置(例如，距离/角度)的变化的方法300。方法300的全部或部分可以由头戴式设备中的组件或处理器(例如，处理器106)或另一计算设备(例如，在图6和图7中所示的设备)中的处理器来执行。

在启动方法300之前，诸如在头戴式设备中实现的增强现实系统可以使用面向外部的图像传感器从头戴式设备周围的物理环境捕获真实世界场景的图像。所捕获的图像可以包括在用户的视野中物理存在的表面、人和对象。增强现实系统可以处理所捕获的图像，以识别在所捕获的真实世界场景的图像中的真实世界对象或表面的地点。例如，增强现实系统可以执行图像处理操作，以识别在所捕获的图像内的突出对象或特征，估计图像中的特征的尺寸和比例，将所识别的特征彼此比较和/或与测试图像中的具有已知尺寸和比例的特征进行比较，并且基于比较来识别对应关系。作为这样的操作的一部分，增强现实系统可以基于所识别的对应关系来产生单应矩阵信息结构，并且使用单应矩阵来识别在所捕获的图像中的真实世界对象或表面的地点。增强现实系统可以生成虚拟对象的图像，并且基于真实世界对象或表面的地点来确定虚拟对象的显示地点。

在框302中，头戴式设备处理器可以处理从面向内部的传感器接收的信息，以确定头戴式设备相对于在头戴式设备的用户的面部上的参考点的位置(或位置的变化)。在一些实施例中，用户的面部上的参考点可以是相对于用户的眼睛具有固定地点的面部特征。在一些实施例中，参考点可以是用户的一只眼睛或两只眼睛。如所描述的，如果头戴式设备是刚性的，则传感器相对于虚拟内容图像渲染设备的位置和面向外部的成像传感器的图像平面将是固定的，因此，由传感器在头戴式设备上的任何位置测量到的距离和角度的变化将转化为在虚拟内容图像渲染设备与面向外部的成像传感器的图像平面之间的距离和角度的等效变化。类似地，因为用户的面部上的特征通常处于相对于用户的眼睛的固定位置，所以传感器可以向处理器提供指示头戴式设备相对于在用户的面部上的各种配准点(诸如以下各者中的一者或多者：用户的眼睛(或眼睛的一部分)、脸颊、眼眉、鼻子等)中的任何配准点的位置的信息，这是因为任何变化将转化为到用户的眼睛的距离和角度的等效变化。例如，由处理器从传感器接收的信息可以与头戴式设备相对于用户的一只眼睛或两只眼睛的位置有关。

如本文所描述的，各种传感器中的任何一种传感器都可以用于进行由处理器在框302中使用的测量。例如，在一些实施例中，头戴式设备处理器可以使用图像处理(诸如跟踪用户的面部上的特征从一个图像到下一个图像的地点或相对移动)使得面向内部的图像传感器提供与头戴式设备或图像渲染设备相对于用户的眼睛或周围面部结构的相对位置(例如，在距离和角度方面)有关的信息。在一些实施例中，面向内部的传感器可以被组合或耦合到IR发射器(例如，IR LED激光器)，IR发射器可以被配置为发射IR光的闪光，并且传感器可以被配置为检测IR光的散射，并且基于在发射IR闪光的时间与检测到散射光的时间之间的飞行时间测量来提供与头戴式设备或图像渲染设备相对于用户的面部或眼睛的相对位置(例如，在距离和角度方面)有关的信息。IR成像传感器还可以基于来自眼睛的反射(相对于散射)光的图像地点，来提供与头戴式设备或图像渲染设备相对于用户的眼睛的相对位置(例如，角度)有关的信息。在一些实施例中，处理器可以使得压电换能器发射声脉冲(诸如超声脉冲)，并且记录来自用户的眼睛或周围面部结构的回波的时间以确定飞行时间，根据该飞行时间可以计算在传感器与用户的面部之间的相对距离。在框302中，头戴式设备处理器可以基于由传感器提供的飞行时间测量信息来确定面向外部的图像传感器相对于用户的眼睛的位置。在一些实施例中，传感器可以是双目图像传感器，并且处理器可以基于由面向内部的传感器获得的信息，使用三角测量操作和/或6-DOF计算来确定头戴式设备相对于在用户的面部上的参考点(例如，用户的一只或两只眼睛)的位置。在一些实施例中，传感器可以在处理由图像传感器获得的图像时使用用户的面部的3D渲染来确定头戴式设备相对于用户的眼睛的位置。在一些实施例中，传感器可以是一个或多个电容触摸感测电路，其可以嵌入头戴式设备的内部，以便与用户的面部(例如，鼻梁、眉毛区域或太阳穴区域)接触，以及被配置为输出电容数据，处理器可以分析该电容数据以确定该设备是否已经在用户的面部上移动或移位。

在框304中，头戴式设备处理器可以基于在框302中确定的头戴式设备相对于用户的面部(例如，用户的眼睛)上的参考点的位置(或位置的变化)，来确定并且应用对由图像渲染设备对虚拟内容项或虚拟对象的显示位置的渲染的调整(例如，在焦点和/或地点方面)。在一些实施例中，处理器可以被配置为基于图像渲染设备相对于用户的一只或两只眼睛的位置(或位置的变化)来确定并且应用对由图像渲染设备对虚拟内容项或虚拟对象的显示地点的渲染的调整(例如，在焦点和/或地点方面)。处理器可以调整虚拟内容渲染，以考虑在头戴式设备的面向外部的相机、用户的眼睛和头戴式设备的图像渲染设备(例如，投影仪或显示器)之间的位置、朝向、距离和/或角度的变化。例如，随着头戴式设备的鼻梁从用户的鼻子滑下，对虚拟内容渲染的调整可以针对图像渲染设备的距离和高度(相对于眼睛中心线)的变化进行调整。作为另一示例，对虚拟内容渲染的调整可以针对由于具有薄或轻量的框架的头戴式设备在用户的面部上的移动而导致的投影角度的旋转变化进行调整。

处理器可以连续地、周期性地或由事件触发而偶发地重复在框302和框304中的操作，以便频繁地调整对虚拟内容项的渲染，使得尽管头戴式设备在用户上移动，图像仍然相对于真实世界表现为保持稳定。

图4示出了根据一些实施例的执行基于视觉的配准操作的方法400，该配准操作考虑了头戴式设备相对于用户的眼睛的位置(即，距离/角度)的变化。方法400的全部或部分可以由头戴式设备中的组件或处理器(例如，处理器106)或另一计算设备(例如，在图6和图7中所示的设备)中的处理器来执行。

在框402中，头戴式设备的面向外部的图像传感器可以从头戴式设备周围的物理环境中捕获真实世界场景的图像。所捕获的图像可以包括用户/佩戴者的视野中物理存在的表面、人和对象。作为框402中的操作的一部分，所捕获的图像可以被提供给头戴式设备处理器。

在框404中，头戴式设备处理器可以处理所捕获的图像，以识别在所捕获的真实世界场景的图像中的真实世界对象或表面的地点(在增强现实场景中一个或多个虚拟内容项可以与其相关)。例如，头戴式设备100可以执行图像处理操作，以识别在所捕获的图像内的突出对象或特征，估计图像中的特征的尺寸和比例，将所识别的特征彼此比较和/或与测试图像中的具有已知尺寸和比例的特征进行比较，并且基于比较来识别对应关系。作为在框404中识别真实世界对象或表面的地点的一部分，处理器可以使用已知方法(诸如VSLAM或双目三边测量(如果传感器是双目的话))来确定到这样的对象或表面的距离。同样作为框404中的操作的一部分，头戴式设备100可以基于所识别的对应关系来产生单应矩阵信息结构，并且使用单应矩阵来识别所捕获的图像中的真实世界对象或表面的地点。

在框406中，作为生成增强现实场景的一部分，头戴式设备处理器可以生成虚拟对象的图像，并且基于真实世界对象或表面的地点来确定虚拟对象的显示地点。头戴式设备处理器可以执行框406中的操作，作为增强现实过程中的基于视觉的配准的定位阶段的一部分。

在框302中，头戴式设备处理器可以处理从面向内部的传感器接收的信息，以确定头戴式设备相对于在用户的面部上的参考点(诸如头戴式设备的用户的一只或两只眼睛)的位置(或位置的变化)，如针对方法300的类似编号的框所描述的。

在框410中，头戴式设备处理器可以基于所确定的头戴式设备上的面向外部的图像传感器或图像渲染设备相对于用户的一只或两只眼睛的位置来调整虚拟内容项的图像。处理器可以调整图像(例如，缩小、放大、旋转、平移等)以考虑细微的移动和调整，这些移动和调整改变了在头戴式设备的相机、用户的眼睛和头戴式设备的电子显示器之间的相对位置和朝向(例如，在距离和角度方面)。例如，当头戴式设备的鼻梁从用户的鼻子上滑下时，头戴式设备的薄或轻量的框架在用户的面部上移动或移位，或者用户手动调整头戴式设备在用户的鼻子或面部上的地点、位置和/或朝向时，这种调整可以进行补偿。

在框412中，头戴式设备处理器可以调整对虚拟内容项的经调整的图像的渲染，使得内容表现为在真实世界对象的相同焦深处与真实世界场景配准(例如，与真实世界场景相邻或叠加在真实世界场景上)。头戴式设备处理器可以执行框412中的操作，作为基于视觉的配准过程的合并阶段的一部分。

在框414中，头戴式设备处理器可以使用头戴式设备的图像渲染设备来渲染增强场景。例如，图像渲染设备可以是投影仪(例如，激光投影仪或波导管)，其将虚拟内容项的图像投影到头戴式设备的透镜上或用户的眼睛中，使得虚拟内容与相关联的远处真实世界对象对焦并且出现在相关联的远处真实世界对象附近。头戴式设备处理器可以执行框414中的操作，作为用于增强现实场景的基于视觉的配准的渲染阶段的一部分。在框414中，头戴式设备可以向用户呈现叠加图像，使得用户可以查看虚拟对象和/或与虚拟对象交互。

处理器可以连续地、周期性地或由事件触发而偶发地重复在框302和410-414中的操作，以便频繁地调整对虚拟内容项的渲染，使得尽管头戴式设备在用户上移动，图像仍然相对于真实世界表现为保持稳定。此外，处理器可以周期性地或由事件触发而偶发地重复方法400，以更新增强现实场景，诸如添加、移除或改变虚拟内容项，以及随着用户移动穿过环境而调整虚拟内容项相对于真实世界对象的表观位置。

图5示出了根据一些实施例的执行基于视觉的配准操作的方法500，该配准操作考虑了在头戴式设备的面向外部的相机与用户/佩戴者的眼睛之间的距离/角度的变化。方法500的全部或部分可以由头戴式设备中的组件或处理器(例如，处理器106)或另一计算设备(例如，在图6和图7中所示的设备)中的处理器来执行。在框402-406中，头戴式设备处理器可以执行与在参考图4描述的方法400的类似编号的框中的操作相同或类似的操作。

在框508中，头戴式设备处理器可以与头戴式设备的面向内部的图像传感器进行通信，以使得面向内部的图像传感器朝着用户的眼睛生成红外光的短暂闪光。面向内部的注视视图传感器/相机可以被配置为捕获用户的眼睛的图像，并且执行三角学计算以确定到每只眼睛(或角膜、瞳孔等)的距离以及在每只眼睛(或角膜、瞳孔等)与头戴式设备的面向外部的相机(例如，世界视图相机、注视视图相机)和/或图像渲染设备(例如，投影仪或显示器)之间的角度。

在框510中，头戴式设备处理器可以接收在面向内部的图像传感器捕获红外光的短暂闪光从用户的眼睛或周围面部特征的反射或散射时从面向内部的图像传感器接收的信息。反射可以由头戴式设备中的面向内部的注视视图传感器/相机或另一传感器捕获。

在框512中，头戴式设备处理器可以使用从传感器接收的信息，以通过基于所捕获的反射光和/或散射光执行飞行时间测量和/或三角学计算，来确定面向外部的相机相对于用户的一只或两只眼睛的位置。例如，头戴式设备处理器可以处理从传感器接收的与头戴式设备相对于用户的眼睛的位置有关的信息，以确定头戴式设备或面向图像传感器相对于用户的眼睛的纵荡、横荡、垂荡、翻滚、俯仰和偏航(或其相应的三角形)移动。

在框514中，头戴式设备处理器可以基于所确定的面向外部的图像传感器相对于用户的一只或两只眼睛的位置来调整对虚拟对象的渲染。头戴式设备处理器可以执行框514中的操作，作为增强现实场景的基于视觉的配准的渲染阶段的一部分。在框514中，头戴式设备可以向用户呈现叠加图像，使得用户可以查看虚拟对象和/或与虚拟对象交互。

处理器可以连续地、周期性地或由事件触发而偶发地重复在框508-514中的操作，以便频繁地调整对虚拟内容项的渲染，使得尽管头戴式设备在用户上移动，图像仍然相对于真实世界表现为保持稳定。此外，处理器可以周期性地或由事件触发而偶发地重复方法500，以更新增强现实场景，诸如添加、移除或改变虚拟内容项，以及随着用户移动穿过环境而调整虚拟内容项相对于真实世界对象的表观位置。

各个实施例可以在各种移动设备上实现，在图6中示出了以智能电话的形式的移动设备的示例。例如，由头戴式设备100的成像传感器捕获的图像可以被无线地发送(例如，经由蓝牙或WiFi无线通信链路610)给智能电话600，其中，处理器601可以执行方法200、300、400和500中的任何一种方法中的处理的一部分，并且然后将结果发送回头戴式设备100。智能电话600可以包括耦合到内部存储器602、显示器603和扬声器604的处理器601。另外，智能电话600可以包括用于发送和接收无线信号610的天线605，无线信号610可以连接到耦合到处理器601的无线数据链路和/或蜂窝电话收发机606。智能电话600通常还包括用于接收用户输入的菜单选择按钮或翘板开关607。

典型的智能电话600还包括声音编码/解码(CODEC)电路608，其将从麦克风接收的声音数字化为适于无线传输的数据分组，以及对接收到的声音数据分组进行解码以生成提供给扬声器以生成声音的模拟信号。此外，处理器601、无线收发机606和CODEC 608中的一者或多者可以包括数字信号处理器(DSP)电路(未单独地示出)。

各种实施例方法可以在各种个人计算设备(诸如如图7中所示的膝上型计算机700)中实现。例如，由头戴式设备100的成像传感器捕获的图像可以被无线地发送(例如，经由蓝牙或WiFi无线通信链路708)给膝上型计算机700，其中，处理器701可以执行在方法200、300、400和500中的任何一种方法中的处理的一部分，并且然后将结果发送回头戴式设备100。膝上型计算机700通常将包括处理器701，其耦合到易失性存储器702和大容量非易失性存储器(诸如闪存的磁盘驱动器704)。膝上型计算机700还可以包括耦合到处理器706的软盘驱动器705。计算机接收机设备700还可以包括耦合到处理器701的数个连接器端口或其它网络接口，其用于建立数据连接或者接收外部存储器接收机设备，诸如通用串行总线(USB)或

连接器插座、或用于将处理器701耦合到网络(例如，通信网络)的其它网络连接电路。在笔记本配置中，计算机壳体包括全部耦合到处理器701的触摸板710、键盘712和显示器714。计算设备的其它配置可以包括公知的耦合到处理器(例如，经由USB输入)的计算机鼠标或轨迹球，其还可以结合各个实施例使用。

处理器可以是任何可编程的微处理器、微型计算机或一个或多个多处理器芯片，这些芯片可以通过软件指令(应用)进行配置，以执行各种功能，其包括在本申请中描述的各个实施例的功能。在一些移动设备中，可以提供多个处理器，诸如专用于无线通信功能的一个处理器和专用于运行其它应用的一个处理器。通常，软件应用可以在其被存取和加载到处理器之前被存储在内部存储器606中。处理器可以包括足以存储应用软件指令的内部存储器。

所示出的和描述的各个实施例仅是作为示例来提供的，以说明权利要求的各种特征。然而，关于任何给定实施例示出的和描述的特征不一定限于相关联的实施例，并且可以与所示出的和描述的其它实施例一起使用或组合。此外，权利要求不旨在被任何一个示例实施例所限制。例如，这些方法的操作中的一个或多个操作可以被这些方法的一个或多个操作替换或与这些方法的一个或多个操作进行组合。

前述的方法描述和过程流图仅是作为说明性示例来提供的，而不旨在要求或暗示各个实施例的操作可以按照所给出的顺序来执行。如本领域技术人员将明白的，前述实施例中的操作的顺序可以按照任何顺序来执行。诸如“此后”、“随后”、“接着”等词不旨在限制操作的顺序；这些词用于引导读者通过对方法的描述。此外，以单数形式(例如，使用冠词“一(a)”、“一个(an)”或“所述(the)”)对权利要求要素的任何引用不应被解释为将该元素限制成单数。

结合本文公开的实施例所描述的各种说明性的逻辑框、功能性组件、功能组件、电路和算法操作可以实现成电子硬件、计算机软件、或者两者的组合。为了清楚地示出硬件和软件的这种可互换性，各种说明性的组件、框、功能性组件、电路以及操作已经在上文中就其功能性进行了总体描述。至于这种功能是实现成硬件还是软件，则取决于具体应用和施加在整体系统上的设计约束。技术人员可以针对每个特定应用，以变化的方式实现所描述的功能，但是，这样的实施例决策不应当被解释为导致脱离权利要求的范围。

可以利用被设计为执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件、或者其任何组合来实现或执行用于实现结合本文公开的实施例所描述的各种说明性的逻辑、逻辑块、功能性组件以及电路的硬件。通用处理器可以是微处理器，但是在替代的方式中，处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或者任何其它这样的配置。替代地，一些操作或方法可以由特定于给定功能的电路来执行。

在一个或多个实施例中，所描述的功能可以用硬件、软件、固件或其任何组合来实现。如果用软件来实现，则可以将所述功能作为一个或多个指令或代码存储在非暂时性计算机可读介质或者非暂时性处理器可读介质上。本文所公开的方法或算法的操作可以体现在处理器可执行软件模块中，处理器可执行软件模块可以驻留在非暂时性计算机可读或处理器可读存储介质上。非暂时性计算机可读或处理器可读存储介质可以是可以由计算机或处理器存取的任何存储介质。通过举例而非限制性的方式，这样的非暂时性计算机可读或处理器可读介质可以包括RAM、ROM、EEPROM、闪存、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或者可以用于以指令或数据结构的形式存储期望的程序代码并且可以由计算机存取的任何其它介质。如本文所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘利用激光来光学地复制数据。上述的组合还被包括在非暂时性计算机可读和处理器可读介质的范围之内。另外，方法或算法的操作可以作为代码和/或指令中的一个或任何组合、或代码和/或指令集驻留在非暂时性处理器可读介质和/或计算机可读介质上，所述非暂时性处理器可读存储介质和/或计算机可读存储介质可以被并入计算机程序产品。

提供所公开的实施例的以上描述以使得本领域任何技术人员能够实施或使用权利要求。对于本领域技术人员来说，对这些实施例的各种修改将是显而易见的，并且在不脱离权利要求的范围的情况下，可以将本文定义的总体原理应用于其它实施例和实现方式。因此，本公开内容不旨在限于本文描述的实施例和实现方式，而是要被赋予与所附权利要求和本文所公开的原理和新颖特征的相一致的最宽范围。

Claims (30)

1.一种用于在增强现实系统中使用的头戴式设备，包括：

存储器；

传感器；以及

耦合到所述存储器和所述传感器的处理器，其中，所述处理器被配置为：

从所述传感器接收信息，其中，所述信息指示所述头戴式设备相对于在用户的面部上的参考点的位置；以及

基于所述位置来调整对虚拟内容项的渲染。

2.根据权利要求1所述的头戴式设备，其中，从所述传感器接收的所述信息与所述头戴式设备相对于所述用户的眼睛的位置有关，并且其中，所述处理器被配置为基于所述头戴式设备相对于所述用户的所述眼睛的所述位置来调整对所述虚拟内容项的所述渲染。

3.根据权利要求2所述的头戴式设备，其中，所述传感器包括红外(IR)传感器和被配置为朝着所述用户的面部发射IR光的IR光源。

4.根据权利要求2所述的头戴式设备，其中，所述传感器包括超声传感器，所述超声传感器被配置为朝着所述用户的面部发射超声脉冲。

5.根据权利要求2所述的头戴式设备，其中，所述传感器包括第一相机。

6.根据权利要求5所述的头戴式设备，其中，所述传感器还包括第二相机。

7.根据权利要求1所述的头戴式设备，还包括：图像渲染设备，所述图像渲染设备耦合到所述处理器并且被配置为渲染所述虚拟内容项。

8.根据权利要求1所述的头戴式设备，其中，所述处理器还被配置为：

确定从所述头戴式设备上的图像渲染设备到所述用户的眼睛的角度；以及

基于所确定的到所述用户的眼睛的角度以及所确定的在所述头戴式设备与所述用户的面部上的所述参考点之间的距离，来调整对所述虚拟内容项的所述渲染。

9.一种在增强现实系统中调整对虚拟内容项的渲染以补偿头戴式设备在用户上的移动的方法，包括：

通过处理器确定所述头戴式设备相对于所述用户的面部上的参考点的位置；以及

通过所述处理器基于所确定的所述头戴式设备相对于所述用户的面部上的所述参考点的位置，来调整对所述虚拟内容项的所述渲染。

10.根据权利要求9所述的方法，其中，所述用户的面部上的所述参考点包括所述用户的眼睛。

11.根据权利要求9所述的方法，还包括：从传感器接收与所述头戴式设备相对于所述用户的眼睛的位置有关的信息，其中，基于所确定的所述头戴式设备相对于在所述用户的面部上确定的所述参考点的位置来调整对所述虚拟内容项的所述渲染包括：基于所述头戴式设备相对于所述用户的所述眼睛的所述位置来调整对所述虚拟内容项的所述渲染。

12.根据权利要求11所述的方法，其中，确定所述头戴式设备相对于所述用户的面部上的所述参考点的所述位置包括：基于从红外(IR)传感器和被配置为朝着所述用户的面部发射IR光的IR光源接收的信息，来确定所述头戴式设备相对于所述用户的面部上的所述参考点的所述位置。

13.根据权利要求11所述的方法，其中，确定所述头戴式设备相对于所述用户的面部上的所述参考点的所述位置包括：基于从被配置为朝着所述用户的面部发射超声脉冲的超声传感器接收的信息，来确定所述头戴式设备相对于所述用户的面部上的所述参考点的所述位置。

14.根据权利要求9所述的方法，其中：

确定所述头戴式设备相对于所述用户的面部上的参考点的所述位置包括：通过所述处理器确定所述头戴式设备相对于所述用户的面部上的所述参考点的所述位置的变化；以及

基于所确定的所述头戴式设备相对于所述用户的面部上的所述参考点的位置来调整对所述虚拟内容项的所述渲染包括：通过所述处理器基于所述头戴式设备相对于所述用户的面部上的所述参考点的位置的所述变化，来调整对所述虚拟内容项的所述渲染。

15.根据权利要求9所述的方法，其中，确定所述头戴式设备相对于所述用户的面部上的参考点的所述位置包括：通过所述处理器基于由所述头戴式设备上的传感器发射的信号来执行飞行时间测量。

16.根据权利要求9所述的方法，其中，确定所述头戴式设备相对于所述用户的面部上的参考点的所述位置包括：通过所述处理器基于由所述头戴式设备上的成像传感器捕获的图像来执行三角测量操作。

17.一种在其上存储有处理器可执行指令的非易失性处理器可读介质，所述处理器可执行指令被配置为使得头戴式设备的处理器执行包括以下各项的操作：

确定所述头戴式设备相对于在用户的面部上的参考点的位置；以及

基于所确定的所述头戴式设备相对于所述用户的面部上的所述参考点的位置，来调整对虚拟内容项的渲染。

18.根据权利要求17所述的非易失性处理器可读介质，其中，所存储的处理器可执行指令被配置为使得头戴式设备的处理器执行进一步包括以下各项的操作：从传感器接收与所述头戴式设备相对于所述用户的眼睛的位置有关的信息，以及

其中，所存储的处理器可执行指令被配置为使得头戴式设备的处理器执行操作，使得基于所确定的所述头戴式设备相对于所述用户的面部上的所述参考点的位置来调整对所述虚拟内容项的所述渲染包括：基于所述头戴式设备相对于所述用户的所述眼睛的所述位置来调整对所述虚拟内容项的渲染。

19.根据权利要求18所述的非易失性处理器可读介质，其中，所存储的处理器可执行指令被配置为使得头戴式设备的处理器执行操作，使得确定所述头戴式设备相对于所述用户的面部上的所述参考点的所述位置包括：基于从红外(IR)传感器和被配置为朝着所述用户的面部发射IR光的IR光源接收的信息，来确定所述头戴式设备相对于所述用户的面部上的所述参考点的所述位置。

20.根据权利要求18所述的非易失性处理器可读介质，其中，所存储的处理器可执行指令被配置为使得头戴式设备的处理器执行操作，使得确定所述头戴式设备相对于所述用户的面部上的所述参考点的所述位置包括：基于从被配置为朝着所述用户的面部发射超声脉冲的超声传感器接收的信息，来确定所述头戴式设备相对于所述用户的面部上的所述参考点的所述位置。

21.根据权利要求17所述的非易失性处理器可读介质，其中，所存储的处理器可执行指令被配置为使得头戴式设备的处理器执行操作，使得：

确定所述头戴式设备相对于所述用户的面部上的参考点的所述位置包括：确定所述头戴式设备相对于所述用户的面部上的所述参考点的所述位置的变化；以及

基于所确定的所述头戴式设备相对于所述用户的面部上的所述参考点的位置来调整对所述虚拟内容项的所述渲染包括：基于所述头戴式设备相对于所述用户的面部上的所述参考点的位置的所述变化来调整对所述虚拟内容项的所述渲染。

22.根据权利要求17所述的非易失性处理器可读介质，其中，所存储的处理器可执行指令被配置为使得头戴式设备的处理器执行操作，使得通过处理器确定所述头戴式设备相对于所述用户的面部上的参考点的所述位置包括：通过所述处理器基于由所述头戴式设备上的传感器发射的信号来执行飞行时间测量。

23.根据权利要求17所述的非易失性处理器可读介质，其中，所存储的处理器可执行指令被配置为使得头戴式设备的处理器执行操作，使得通过处理器确定所述头戴式设备相对于所述用户的面部上的参考点的所述位置包括：通过所述处理器基于由所述头戴式设备上的成像传感器捕获的图像来执行三角测量操作。

24.一种头戴式设备，包括：

用于确定所述头戴式设备相对于在用户的面部上的参考点的位置的单元；

用于渲染虚拟内容项的单元；以及

用于基于所确定的所述头戴式设备相对于所述用户的面部上的所述参考点的位置来调整对所述虚拟内容项的渲染的单元。

25.根据权利要求24所述的头戴式设备，其中，用于通过处理器确定所述头戴式设备相对于所述用户的面部上的参考点的位置的单元包括：用于确定所述头戴式设备相对于用户的眼睛的位置的单元，并且

其中，用于基于所确定的所述头戴式设备相对于在所述用户的面部上确定的所述参考点的位置来调整对所述虚拟内容项的所述渲染的单元包括：用于基于所述头戴式设备相对于所述用户的所述眼睛的所述位置来调整对所述虚拟内容项的所述渲染的单元。

26.根据权利要求25所述的头戴式设备，其中，用于确定所述头戴式设备相对于所述用户的面部上的所述参考点的所述位置的单元包括：红外(IR)传感器和被配置为朝着所述用户的面部发射IR光的IR光源。

27.根据权利要求25所述的头戴式设备，其中，用于确定所述头戴式设备相对于所述用户的面部上的所述参考点的所述位置的单元包括：用于朝着所述用户的面部发射超声脉冲的单元。

28.根据权利要求24所述的头戴式设备，其中：

用于确定所述头戴式设备相对于所述用户的面部上的参考点的所述位置的单元包括：用于确定所述头戴式设备相对于所述用户的面部上的所述参考点的所述位置的变化的单元；以及

用于基于所确定的所述头戴式设备相对于所述用户的面部上的所述参考点的位置来调整对所述虚拟内容项的所述渲染的单元包括：用于基于位置的所述变化来调整对所述虚拟内容项的所述渲染的单元。

29.根据权利要求24所述的头戴式设备，其中，用于确定所述头戴式设备相对于所述用户的面部上的参考点的所述位置的单元包括：用于通过所述处理器基于由所述头戴式设备上的传感器发射的信号来执行飞行时间测量的单元。

30.根据权利要求2所述的头戴式设备，其中，用于确定所述头戴式设备相对于所述用户的面部上的参考点的所述位置的单元包括：用于通过所述处理器基于由所述头戴式设备上的成像传感器捕获的图像来执行三角测量操作的单元。

Images