CN112114429B - 基于用户的上下文敏感全息图反应 - Google Patents

Abstract

本申请涉及基于用户的上下文敏感全息图反应。公开了用于显示虚拟内容的系统和方法。当用户被安定在给定地理区域中时，该内容的完整版本可被显示在用户定义的位置或处理器定义的位置处。当用户正在移动(例如离开该地理区域)时，该内容的移动版本可被显示于在用户的视野外围的身体锁定的位置处。

Description

基于用户的上下文敏感全息图反应

本申请是申请号为201680014895.1、申请日为2016年3月2日、发明名称为“基于用户的上下文敏感全息图反应”的专利申请的分案申请。

背景

混合现实是一种允许将虚拟图像与现实世界物理环境相混合的技术。用户可佩戴透视、头戴式、混合现实显示设备来观看用户的视野中所显示的现实物体和虚拟物体的混合图像。允许移动混合现实体验将是有利的，在该移动混合现实体验中，佩戴头戴式显示设备的用户能够到处移动(例如从一个房间移动到另一房间)，同时参与混合现实体验。提供对用户的动作和移动智能地反应的移动混合现实体验将是进一步有利的。

概述

本技术的各实施例涉及一种用于提供对用户移动、推断出的意图和交互作出反应的智能移动混合现实体验的系统和方法。一种用于为混合现实体验创建虚拟物体的系统一般包括耦合至至少一个处理单元的透视、头戴式显示设备。处理单元与(诸)头戴式显示设备合作能够检测并标识出用户正在其中接收虚拟内容的地理区域。该内容可根据与那个地理区域有关的用户定义的规则和偏好被显示给该地理区域内的用户。在没有用户定义的规则的情况下，处理单元能够通过确定最好如何以及在哪里显示该虚拟内容来优化该体验。

处理单元和头戴式显示设备还能够确定用户何时离开该地理区域或何时在该地理区域内移动。在各示例中，处理单元可随后将所显示的内容切换到该内容的移动版本，在该移动版本中，该内容被定位在用户的外围视野中，以便不抑制用户到处移动的能力。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。

附图简述

图1是包括现实和虚拟物体的虚拟现实环境的例示图。

图2是头戴式显示单元的一个实施例的立体图。

图3是头戴式显示单元的一个实施例的一部分的侧视图。

图4是头戴式显示单元的组件的一个实施例的框图。

图5是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。

图6是与头戴式显示单元相关联的处理单元的软件组件的一个实施例的框图。

图7是示出与本系统的头戴式显示单元相关联的一个或多个处理单元的操作的流程图。

图8-11是图7的流程图中所示的各步骤的示例的更详细的流程图。

图12-17解说根据本技术的各方面的静止和移动虚拟环境的各示例。

详细描述

现将参考各附图描述本技术的各实施例，这些实施例一般涉及一种用于提供对用户移动、推断出的意图和交互作出反应的智能移动混合现实体验的系统和方法。当用户被安定在给定地理区域中时，该内容的完整版本可被显示在用户定义的位置或处理器定义的位置处。当用户正在移动(例如离开该地理区域)时，该内容的移动版本可被显示于在用户视野外围的身体锁定的位置处。

在各实施例中，该系统和方法可使用移动混合现实套件来生成三维的混合现实环境。该混合现实套件包括耦合到具有相机和显示元件的头戴式显示设备(或其他合适的装置)的移动处理单元。该显示元件在一定程度上是透明的，使得用户可透过该显示元件看到该用户的视野(FOV)内的现实世界物体。该显示元件还提供将虚拟图像投影到该用户的FOV中以使得所述虚拟图像也可出现在现实世界物体旁边的能力。该系统自动地跟踪用户所看之处，从而该系统可确定将虚拟图像插入到该用户的FOV中的何处。一旦该系统知晓要将该虚拟图像投影至何处，就使用该显示元件投影该图像。

在各实施例中，处理单元可构建该环境的模型，包括给定地理区域(诸如房间或其他环境)中的用户、现实世界物体和虚拟三维物体的x、y、z笛卡尔位置。每一头戴式显示设备的位置可被校准到该环境的模型。这允许该系统确定每个用户的视线以及该环境的FOV。从而，可向每个用户显示虚拟图像，但是该系统根据每个用户的视角来确定该虚拟图像的显示，从而针对视差以及该环境中的其他物体的任何遮挡或由于其造成的任何遮挡来调整该虚拟图像。该环境的三维模型(在本文中被称为场景图)以及对每一用户的FOV以及该环境中的物体的跟踪可由移动处理单元自身或与其他处理设备配合工作来生成，如以下所解释的。

本系统所提供的虚拟环境可与现实世界空间同延。换言之，虚拟环境可覆盖并共享与现实世界空间相同的区域。在现实世界空间中到处移动的用户也可在同延的虚拟环境中到处移动，并从不同的角度和有利位置查看虚拟和/或现实物体。一种类型的虚拟环境是混合现实环境，其中虚拟环境包括虚拟物体和现实世界物体两者。另一种类型的虚拟环境仅包括虚拟物体。

该虚拟环境可适配在房间或其他现实世界空间的范围之内。替换地，虚拟环境可大于现实世界物理空间的范围。虚拟环境可由一个或多个用户完全创建。替换地，虚拟环境的各部分可例如通过在处理单元上运行的软件应用来下载。

以下描述了智能地定位和/或选择一个或多个地理区域内的一个或多个虚拟物体(诸如虚拟内容)以供向用户显示的各实施例。如本文中使用的地理区域指的是在其中使用头戴式显示设备并且一般由场景图定义的区域，如以下所描述的。一般来说，地理区域可以是家、办公室或其他建筑物中以一个或多个墙壁为界的房间。地理区域可以是在其中使用头戴式显示设备的其他区域，包括例如小隔间。

地理区域可以是用户已知的，诸如例如为用户的住宅中的一个或多个房间。在该实例中，用户可创建定义将如何在此一个或多个已知的地理区域内显示虚拟内容的一个或多个规则，如以下所解释的。在进一步实施例中，地理区域可以不是用户已知的，或者可以是用户已知的但用户尚未针对该区域定义任何规则。在该实例中，本技术可应用各试探法来确定最好在哪里以及如何显示该内容，如以下所解释的。

在各实施例中，本技术可采用来供用户查看虚拟物体，在各实施例中，虚拟物体可以是虚拟内容。该内容可例如被显示在漂浮在三维空间中的虚拟显示板(诸如，以下描述的图13中的显示内容510的显示板508)上。不透明滤光器114被用来遮盖现实世界物体和虚拟显示板508后面(从用户的视点来看)的光，使得虚拟显示板508表现为用于查看虚拟内容510的虚拟屏。虚拟显示板可具有某一深度，使得用户当被定位在该虚拟显示板的前面时可查看内容，但当被定位在该虚拟显示板的后面时看见该虚拟显示板的背面(而非内容)。在进一步实施例中，本技术可省略显示板，而只是将所显示的内容锁定到这个人被定位在其中的地理区域内的墙壁上，如以下所解释的。

无论是被显示在虚拟显示板上还是墙壁上，虚拟内容都可以是包括静态图像和动态视频在内的各种各样的内容类型中的任一者。视频可例如是电影、电视节目、体育赛事、时事和各种各样的其他媒体内容的实况视频馈源或经录制视频馈源。显示的内容还可以是应用(诸如搜索引擎、电子邮件应用、文字处理程序和各种各样的其他应用)的网页和用户界面。显示的内容可如以下所解释的通过网络连接下载并在虚拟显示板上或墙壁上向用户显示。

应理解，本技术可被用于显示各种其他虚拟物体。如本文中所使用的，虚拟内容和虚拟显示板是在本文中有时也被称为全息图的虚拟物体的示例。此外，在以下描述中，虚拟内容被描述为被显示在三维空间的特定位置处，诸如例如被显示在墙壁上。应理解，这涉及将虚拟内容立体地显示到头戴式显示设备2中的各透镜上，以使得用户将该虚拟内容感知为被显示在三维空间中的该位置(诸如墙壁)处。

如以下所描述的，用户可用各种各样的方式与所显示的全息图交互，例如移动所显示的全息图以及重设所显示的全息图的大小。在全息图是诸如视频之类的动态内容的情况下，用户可与该全息图交互以快进、倒带和暂停该全息图。

如本文中所使用的，用户可使用身体和/或言语姿势与全息图交互。身体姿势包括用户使用他或她的手指、手和/或其他身体部位执行被混合现实系统识别为使该系统执行预定义动作的用户命令的预定义姿势。这样的预定义姿势可包括但不限于指向、抓握、推动、重设大小和塑造虚拟物体。身体交互可进一步包括用户与虚拟物体的接触。例如，用户可将他或她的手定位在三维空间中与虚拟物体的位置相对应的位置处。此后，用户可执行一姿势(诸如抓握或推动)，该姿势由混合现实系统来解释，并且相应的动作被对该虚拟物体执行，例如该物体可被抓握并且此后可被拉伸或重设大小。作为进一步示例，用户可通过推动虚拟按钮来与该虚拟按钮交互。

用户还可用他或她的头部或眼睛来与虚拟物体物理地交互。在一些实例中，头部位置或眼睛注视数据标识用户正关注于FOV中的何处，并且因而可以标识用户正在看某一特定虚拟物体。持续的头部位置、眼睛注视或者一次眨眼或眨眼序列因而可以是用户用来选择一个或多个虚拟物体或以其他方式与其进行交互的身体交互。

替代地或附加地，用户可使用言语姿势来与虚拟物体交互，这些言语姿势为诸如例如被混合现实系统识别为使该系统执行预定义动作的用户命令的所说的单词或短语。言语姿势可结合身体姿势一起被用来与虚拟环境中的一个或多个虚拟物体交互。

图1解说了用于通过使虚拟内容21(在本示例中为完整的虚拟内容)与每一用户的FOV中的现实内容23融合来向用户提供混合现实体验的混合现实环境10。图1示出两个用户18a和18b，每一用户都佩戴着头戴式显示设备2，并且每一用户都在查看针对其视角来调整的虚拟内容21。应理解，图1中示出的特定虚拟内容仅作为示例，并且可以是各种各样的虚拟物体(包括如以下解释的虚拟工具和虚拟工件)中的任一者。如图2所示，每一头戴式显示设备2可包括其自己的处理单元4，或例如经由柔性线6与其自己的处理单元4通信。替代地，头戴式显示设备可与处理单元4无线通信。在进一步的实施例中，处理单元4可被集成到头戴式显示设备2中。在一个实施例中为眼镜形状的头戴式显示设备2被佩戴在用户的头上，使得用户可以透过显示器进行观看，并且从而具有该用户前方的空间的实际直接视图。下面提供头戴式显示设备2和处理单元4的更多细节。

在处理单元4没有被合并到头戴式显示设备2中的情况下，处理单元4可以是例如佩戴在用户的手腕上或储放在用户的口袋中的小型便携式设备。处理单元4可包括执行诸如游戏应用、非游戏应用等应用的硬件组件和/或软件组件。在一个实施例中，处理单元4可包括可执行在处理器可读存储设备上存储的、用于执行在此描述的过程的指令的处理器，诸如标准化处理器、专用处理器、微处理器等。在各实施例中，处理单元4可与一个或多个远程计算系统无线地(例如，WiFi、蓝牙、红外、或其他无线通信手段)通信。这些远程计算系统可包括计算机、游戏系统或控制台、或者远程服务提供者。

头戴式显示设备2和处理单元4可彼此协作以在混合现实环境10中向用户呈现虚拟物体21。以下解释用于构建虚拟物体的本系统的细节。现将参考图2-6来解释启用虚拟物体的构建的移动头戴式显示设备2和处理单元4的细节。

图2和3示出头戴式显示设备2的立体图和侧视图。图3仅示出头戴式显示设备2的右侧，包括该设备的具有镜腿102和鼻梁104的一部分。在鼻梁104中置入了话筒110，该话筒110用于记录声音以及将音频数据传送给处理单元4，如下所述。在头戴式显示设备2的前方是朝向房间的视频相机112，该视频相机112可以捕捉视频和静止图像。那些图像被传送至处理单元4，如下所述。

头戴式显示设备2的镜架的一部分将围绕显示器(该显示器包括一个或多个透镜)。为了示出头戴式显示设备2的组件，未描绘围绕显示器的镜架部分。该显示器包括光导光学元件115、不透明度滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明度滤光器114处于透视透镜116之后并与其对齐，光导光学元件115处于不透明度滤光器114之后并与其对齐，而透视透镜118处于光导光学元件115之后并与其对齐。透视透镜116和118是眼镜中使用的标准镜片，并且可根据任何验光单(包括无验光单)来制作。在一个实施例中，透视透镜116和118可由可变处方透镜取代。不透明度滤光器114滤除自然光(要么以每像素为基础，要么均匀地)以增强虚拟图像的对比度。光导光学元件115将人造光引导到眼睛。下面提供不透明度滤光器114和光导光学元件115的更多细节。

在镜腿102处或镜腿102内安装有图像源，该图像源(在一个实施例中)包括用于对虚拟图像进行投影的微显示器120、以及用于将图像从微显示器120引导到光导光学元件115中的透镜122。在一个实施例中，透镜122是准直透镜。

控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图4提供。处于镜腿102内部或安装到镜腿102的是耳机130、惯性测量单元132、以及温度传感器138。在图4中所示的一个实施例中，惯性测量单元132(或IMU132)包括惯性传感器，诸如三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C。惯性测量单元132感测头戴式显示设备2的位置、定向和突然加速度(俯仰、滚转和偏航)。除了磁力计132A、陀螺仪132B和加速度计132C之外或者取代磁力计132A、陀螺仪132B和加速度计132C，IMU 132还可包括其他惯性传感器。

微显示器120通过透镜122来投影图像。存在着可被用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常使用具有强大背光和高光能量密度的LCD型显示器来实现。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理(DLP)、硅上液晶(LCOS)、以及来自Qualcomm有限公司的

显示技术是高效的反射技术的示例(因为大多数能量从已调制结构反射离开)并且可被用在本系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoPTM显示引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束(例如，激光)发射到眼睛。

光导光学元件115将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的眼睛140。光导光学元件115还允许如箭头142所描绘的那样将光从头戴式显示设备2的前方通过光导光学元件115传送到眼睛140，从而除了接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。从而，光导光学元件115的壁是透视的。光导光学元件115包括第一反射表面124(例如镜面或其他表面)。来自微显示器120的光穿过透镜122并入射在反射表面124上。反射表面124反射来自微显示器120的入射光，使得光通过内反射被陷在包括光导光学元件115的平面基底内。在基底的表面上进行若干次反射之后，被陷的光波到达选择性反射表面126的阵列。注意，五个表面中只有一个表面被标记为126以防止附图太过拥挤。反射表面126将从基底出射并入射在这些反射表面上的光波耦合进用户的眼睛140。

由于不同光线将以不同角度传播并弹离衬底的内部，因此这些不同的光线将以不同角度击中各个反射面126。因此，不同光线将被所述反射面中的不同反射面从基底反射出。关于哪些光线将被哪个表面126从基底反射出的选择是通过选择表面126的合适角度来设计的。光导光学元件的更多细节可在于2008年11月20日公开的题为“Substrate-GuidedOptical Devices”(基底导向的光学设备)的美国专利公开No.2008/0285140中找到。在一个实施例中，每只眼睛将具有其自己的光导光学元件115。当头戴式显示设备2具有两个光导光学元件时，每只眼睛都可以具有其自己的微显示器120，该微显示器120可以在两只眼睛中显示相同图像或者在两只眼睛中显示不同图像。在另一实施例中，可以存在将光反射到两只眼睛中的一个光导光学元件。

与光导光学元件115对齐的不透明度滤光器114要么均匀地、要么以每像素为基础来选择性地阻挡自然光，以免其穿过光导光学元件115。于2010年9月21日提交的Bar-Zeev等人的题为“Opacity Filter For See-Through Mounted Display(用于透视安装显示器的不透明度滤光器)”的美国专利公开No.2012/0068913中提供了不透明度滤光器114的示例的细节。然而，一般而言，不透明度滤光器114的一实施例可以是透视LCD面板、电致变色膜(electrochromic film)或能够充当不透明滤光器的类似设备。不透明度滤光器114可包括致密的像素网格，其中每个像素的透光率能够在最小和最大透光率之间用阿尔法值的掩码(mask)来单独地控制。尽管0-100％的透光率范围是理想的，但更有限的范围也是可接受的，诸如例如为约每像素的50％到90％。

在用代理为现实世界物体进行z-缓冲(z-buffering)之后，可以使用来自渲染流水线的阿尔法值的掩码。当系统为增强现实显示而呈现场景时，该系统记录哪些现实世界物体处于哪些虚拟物体之前，如同下面解释的。如果虚拟物体处于现实世界物体之前，则不透明度对于该虚拟物体的覆盖区域而言可以是开启的。如果虚拟物体(虚拟地)处于现实世界物体之后，则不透明度以及该像素的任何颜色都可被关闭，使得对于现实光的该相应区域(其大小为一个像素或更多)而言，用户将会看到现实世界物体。覆盖将是以逐像素为基础的，所以该系统可以处置虚拟物体的一部分处于现实世界物体之前、该虚拟物体的一部分处于现实世界物体之后、以及该虚拟物体的一部分与现实世界物体相重合的情况。对这种用途而言，最期望的是能够以低的成本、功率和重量来从0％开始直至100％不透明度的显示器。此外，不透明滤光器可以比如用彩色LCD或用诸如有机LED等其他显示器来以彩色进行渲染。

头戴式显示设备2还包括用于跟踪用户的眼睛的位置的系统。如下面将会解释的那样，该系统将跟踪用户的位置和定向，使得该系统可以确定用户的FOV。然而，人类将不会感知到他们前方的一切。而是，用户的眼睛将被导向该环境的一子集。因此，在一个实施例中，该系统将包括用于跟踪用户的眼睛的位置以便细化对该用户的FOV的测量的技术。例如，头戴式显示设备2包括眼睛跟踪组件134(图3)，该眼睛跟踪组件134具有眼睛跟踪照明设备134A和眼睛跟踪相机134B(图4)。在一个实施例中，眼睛跟踪照明设备134A包括一个或多个红外(IR)发射器，这些红外发射器向眼睛发射IR光。眼睛跟踪相机134B包括一个或多个感测反射的IR光的相机。通过检测角膜的反射的已知成像技术，可以标识出瞳孔的位置。例如，参见于2008年7月22日颁发的题为“Head Mounted Eye Tracking and DisplaySystem”(头戴式眼睛跟踪和显示系统)的美国专利号7,401,920。此类技术可以定位眼睛的中心相对于跟踪相机的位置。一般而言，眼睛跟踪涉及获得眼睛的图像并使用计算机视觉技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛的位置就足够了，因为双眼通常一致地移动。然而，单独地跟踪每只眼睛是可能的。

在一个实施例中，该系统将使用以矩形布置的4个IR LED和4个IR光电检测器，使得在头戴式显示设备2的透镜的每个角处存在一个IR LED和IR光电检测器。来自LED的光从眼睛反射离开。由在4个IR光电检测器中的每个处所检测到的红外光的量来确定瞳孔方向。也就是说，眼睛中眼白相对于眼黑的量将确定对于该特定光电检测器而言从眼睛反射离开的光量。因此，光电检测器将具有对眼睛中的眼白或眼黑的量的度量。从这4个采样中，该系统可确定眼睛的方向。

另一替代方案是如上面所讨论的那样使用4个红外LED，但是在头戴式显示设备2的透镜的一侧上使用一个红外CCD。CCD可使用小反射镜和/或透镜(鱼眼)，以使得CCD可对来自眼镜框的可见眼睛的多达75％成像。然后，该CCD将感测图像并且使用计算机视觉来找出该图像，就像上文所讨论的那样。因此，尽管图3示出了具有一个IR发射器的一个部件，但是图3的结构可以被调整为具有4个IR发射器和/或4个IR传感器。也可以使用多于或少于4个的IR发射器和/或多于或少于4个的IR传感器。

用于跟踪眼睛的方向的另一实施例基于电荷跟踪。此概念基于以下观察：视网膜携带可测量的正电荷而角膜具有负电荷。传感器被安装在用户的耳朵旁(靠近耳机130)以检测眼睛在转动时的电势并且高效地实时读出眼睛正在干什么。也可以使用用于跟踪眼睛的其他实施例。

图3仅仅示出了头戴式显示设备2的一半。完整的头戴式显示设备可包括另一组透视透镜、另一不透明度滤光器、另一光导光学元件、另一微显示器120、另一透镜122、面向房间的相机、眼睛跟踪套件134、耳机、和温度传感器。

图4是描绘了头戴式显示设备2的各个组件的框图。图5是描述处理单元4的各种组件的框图。头戴式显示设备2(其组件在图4中被描绘)被用于通过将一个或多个虚拟图像与用户对现实世界的视图无缝地融合来向用户提供虚拟体验。另外，图4的头戴式显示设备组件包括跟踪各种状况的许多传感器。头戴式显示设备2将从处理单元4接收关于虚拟图像的指令，并且将把传感器信息提供回给处理单元4。处理单元4可确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给图4的头戴式显示设备。

图4的组件中的一些(例如朝向房间的相机112、眼睛跟踪相机134B、微显示器120、不透明滤光器114、眼睛跟踪照明134A、耳机130和温度传感器138)是以阴影示出的，以指示这些设备中的每个都存在两个，其中一个用于头戴式显示设备2的左侧，而一个用于头戴式显示设备2的右侧。图4示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器214(例如D-RAM)进行通信的存储器控制器212、相机接口216、相机缓冲器218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。

在一个实施例中，控制电路200的组件都通过专用线路或一个或多个总线彼此进行通信。在另一实施例中，控制电路200的各组件都与处理器210通信。相机接口216提供到两个朝向房间的相机112的接口，并且将从朝向房间的相机所接收到的图像存储在相机缓冲器218中。显示驱动器220将驱动微显示器120。显示格式化器222向控制不透明度滤光器114的不透明度控制电路224提供关于微显示器120上所正显示的虚拟图像的信息。定时生成器226被用来为该系统提供定时数据。显示输出接口228是用于将图像从朝向房间的相机112提供给处理单元4的缓冲器。显示输入接口230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲器。显示输出接口228和显示输入接口230与作为到处理单元4的接口的带接口232通信。

电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、音频DAC和放大器238、话筒前置放大器和音频ADC 240、温度传感器接口242、以及时钟发生器244。电压调节器234通过带接口232从处理单元4接收电力，并将该电力提供给头戴式显示设备2的其他组件。每个眼睛跟踪照明驱动器236都如上面所述的那样为眼睛跟踪照明134A提供IR光源。音频DAC和放大器238向耳机130输出音频信息。话筒前置放大器和音频ADC 240提供用于话筒110的接口。温度传感器接口242是用于温度传感器138的接口。电源管理电路202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。

图5是描述处理单元4的各种组件的框图。图5示出与电源管理电路306通信的控制电路304。控制电路304包括：中央处理单元(CPU)320、图形处理单元(GPU)322、高速缓存324、RAM 326、与存储器330(例如D-RAM)进行通信的存储器控制器328、与闪存334(或其他类型的非易失性存储)进行通信的闪存控制器332、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输出缓冲器336、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输入缓冲器338、与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340、用于连接到无线通信设备346的PCI express接口、以及(诸)USB端口348。在一个实施例中，无线通信设备346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等。USB端口可以用于将处理单元4对接到处理单元计算系统22，以便将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟三维物体的主要力量。以下提供更多的细节。

电源管理电路306包括时钟发生器360、模数转换器362、电池充电器364、电压调节器366、头戴式显示器电源376、以及与温度传感器374进行通信的温度传感器接口372(其可能位于处理单元4的腕带上)。模数转换器362被用于监视电池电压、温度传感器，以及控制电池充电功能。电压调节器366与用于向该系统提供电力的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电力时(通过电压调节器366)对电池368进行充电。HMD电源376向头戴式显示设备2提供电力。

图6解说了包括显示设备2的面向房间的相机112和处理单元4上的一些软件模块的移动混合现实套件30的高级框图。这些软件模块中的一些或全部可替换地被实现在头戴式显示设备2的处理器210上。如图所示，面向房间的相机112向头戴式显示设备2中的处理器210提供图像数据。在一个实施例中，面向房间的相机112可包括深度相机、RGB相机和IR光组件以捕捉场景的图像数据。如以下所解释的，面向房间的相机112可包括少于全部这些组件。

例如使用飞行时间分析，IR光组件可将红外光发射到场景上，并且可随后使用传感器(未示出)用例如深度相机和/或RGB相机来检测从场景中的一个或多个物体的表面反向散射的光。在一些实施例中，可以使用脉冲红外光，使得可以测量出射光脉冲与相应入射光脉冲之间的时间，并且将其用于确定从面向房间的相机112到场景中的物体(包括例如用户的手)上的特定位置的物理距离。另外，在其他示例实施例中，可以将出射光波的相位与入射光波的相位相比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。

根据另一示例性实施例，可以使用飞行时间分析来通过经由包括例如快门式光脉冲成像在内的各种技术分析反射光束随时间的强度来间接地确定从面向房间的相机112到物体上的特定位置的物理距离。

在另一示例实施例中，面向房间的相机112可使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即，被显示为诸如网格图案、条纹图案、或不同图案之类的已知图案的光)可经由例如IR光组件被投影到场景上。在落到场景中的一个或多个目标或物体的表面上以后，作为响应，图案可以变为变形的。图案的这种变形可由例如3-D相机和/或RGB相机(和/或其他传感器)来捕捉，并可随后被分析以确定从面向房间的相机112到物体上的特定位置的物理距离。在一些实现中，IR光组件从深度和/或RGB相机移位，使得可以使用三角测量来确定与深度和/或RGB相机的距离。在一些实现中，面向房间的相机112可包括感测IR光的专用IR传感器或具有IR滤波器的传感器。

应理解，本技术可在没有深度相机、RGB相机和IR光组件中的每一者的情况下感测物体和物体的三维位置。在各实施例中，面向房间的相机112可例如仅与标准图像相机(RGB或黑或白)一起工作。这样的实施例可由单独或组合使用的各种图像跟踪技术操作。例如，单个、标准的面向房间的图像相机112可使用特征标识和跟踪。即，使用来自标准相机的图像数据，有可能提取该场景的感兴趣的区域或特征。通过在某一时间段内寻找那些相同的特征，可在三维空间中确定针对物体的信息。

在各实施例中，头戴式显示设备2可包括两个间隔开的标准的面向房间的图像相机112。在该实例中，物体在场景中的深度可依据两个相机的立体效果来确定。每一相机可对某一重叠特征集成像，并且深度可根据其视野中的视差来计算。

一种用于确定未知环境内具有位置信息的场景图的进一步方法被称为同时定位和映射(SLAM)。SLAM的一个示例题为“Systems and Methods for Landmark Generationfor Visual Simultaneous Localization and Mapping”(用于可视同时定位和映射的地标生成的系统和方法)的美国专利No.7,774,158中被公开。此外，来自IMU的数据可被用于更准确地解释视觉跟踪数据。

处理单元4可包括场景映射模块452。使用以上所描述的来自(诸)面向前面的相机112的数据，场景映射模块能够将场景中的各物体(包括用户的一个或两个手)映射到三维参考帧。以下描述了场景映射模块的进一步细节。

为了跟踪用户在场景内的位置，可从图像数据中识别用户。处理单元4可实现骨架识别和跟踪模块448。题为“Skeletal Joint Recognition And Tracking System(骨架关节识别和跟踪系统)”的美国专利公开No.2012/0162065中公开了骨架跟踪模块448的一示例。这样的系统也可跟踪用户的手。然而，在各实施例中，处理单元4还可执行手部识别和跟踪模块450。模块450接收来自面向房间的相机112的图像数据，并且能够标识用户的手以及用户的手在FOV中的位置。题为“System for Recognizing an Open or Closed Hand(用于识别张开或闭合的手的系统)”的美国专利公开No.2012/0308140中公开了手部识别和跟踪模块450的一示例。一般来说，模块450可检查图像数据以辨别物体的宽度和长度，物体可以是手指、在手指并在一起的情况下手指和指间之间的间距，以便标识并跟踪处于其各位置的用户的手。

处理单元4可进一步包括用于接收场景中的一个或多个用户的骨架模型和/或手数据，并确定该用户是否正在执行预定义的姿势或影响在处理单元4上运行的应用的应用控制移动的姿势识别引擎454。关于姿势识别引擎454的更多信息可以在2009年4月13日提交的题为“Gesture Recognizer System Architecture(姿势识别器系统架构)”的美国专利申请No.12/422,661中找到。

如上所述，用户可例如以口述命令的形式执行各种语言姿势以选择物体并可能修改那些物体。因此，本系统进一步包括语音识别引擎456。语音识别引擎456可根据各种已知技术中的任一者操作。

在一个示例实施例中，头戴式显示设备2和处理单元4一起工作以创建用户所处的环境的场景图或模型并且跟踪该环境中的各个移动的或静止的物体。此外，处理单元4通过跟踪头戴式显示设备2的位置和定向来跟踪用户18所佩戴的头戴式显示设备2的FOV。由头戴式显示设备2获得的例如来自面向房间的相机112和IMU 132的传感器信息被传送到处理单元4。处理单元4处理该数据并更新场景模型。根据本技术，处理单元4进一步实现用于智能地定位向用户显示的虚拟物体的上下文显示软件引擎458。处理单元4部分地使用来自上下文显示软件引擎458的指令来向头戴式显示设备2提供与在何处、何时以及如何插入虚拟物体有关的指令。现将参考图7的流程图更详细地描述上述操作中的每一者。

图7是处理单元4和头戴式显示设备2在离散时间段(诸如其生成、渲染和向每个用户显示单帧图像数据所花的时间)期间的操作和交互性的高级流程图在各实施例中，数据可以以60Hz的速率被刷新，但是在其他实施例中数据可以以更高或更低的频度被刷新。

一般而言，该系统可生成具有环境和该环境中的物体(诸如虚拟物体和现实世界物体)的x、y、z坐标的场景图。对于给定图像数据帧，用户的视图可以包括一个或多个现实和/或虚拟物体。随着用户转动他或她的头(例如左右或上下转动他或她的头)，静止的现实世界物体或某些虚拟物体的位置在三维空间中没有改变，但在用户的FOV中其位置确实改变了。这样的物体在本文中可被称为是世界锁定的。

一些虚拟物体在用户的FOV中可保持在相同的位置，即使在用户移动他或她的头部的情况下。这样的物体在本文中可被称为是头部锁定的。第三类虚拟物体相对于人的身体保持在相同的位置。由此，例如在用户行走或转身时，这些虚拟物体可与用户一起移动，但用户可移动他或她的头部以看这些虚拟物体或把目光从这些虚拟物体处移开。这样的物体在本文中可被称为是身体锁定的。

可以在步骤600配置用于将虚拟环境呈现给一个或多个用户18的系统。例如，如以下所解释的，系统的用户18或操作者可指定要被呈现的视频或其他虚拟内容以及要在何处呈现该视频或其他虚拟内容。在步骤604，处理单元4收集来自场景的数据。该数据可以是由头戴式显示设备2感测到的图像数据，且具体而言，是由面向房间的相机112、眼睛跟踪组装件134和IMU 132感测到的图像数据。

在步骤610，可开发场景图，该场景图标识该场景的几何形状以及该场景内的物体的几何形状和位置。在各实施例中，在给定帧中生成的场景图可包括该场景中用户的(诸)手、其他现实世界物体和虚拟物体的x、y和z位置。以上解释了用于收集深度和位置数据的方法。

处理单元4可接着将传感器所捕捉到的图像数据点转换为正交3D场景图。此正交3D场景图可以是由头戴式显示设备相机所捕捉的所有图像数据在正交x、y、z笛卡尔坐标系中的点云图。使矩阵变换等式将相机视图转换成正交3D世界视图的方法是已知的。例如，参见Morgan Kaufman Publishers(2000年)出版的David H.Eberly的“3d Game EngineDesign:A Practical Approach To Real-Time Computer Graphics(3d游戏引擎设计：实时计算机图形的可行方法)。”

在步骤612，该系统可检测并跟踪用户的骨架和/或手(如以上所描述的)，并基于移动身体部位和其他移动物体的位置来更新场景图。在步骤614，处理单元4确定场景内的头戴式显示设备2的x、y和z位置、定向以及FOV。现在参考附图8的流程图描述步骤614的进一步细节。

在步骤700，由处理单元4分析场景的图像数据以确定用户头部位置以及从用户的面部向外直视的面部单位向量二者。头部位置可从来自头戴式显示设备2的反馈中标识出，并且根据该反馈，可构建面部单位向量。面部单位向量可被用来定义用户的头部定向，且在各示例中可被认为是用户的FOV的中心。也可或替代地根据从头戴式显示设备2上的面向房间的相机112返回的相机图像数据来标识面部单位向量。特别而言，基于头戴式显示设备2上的相机112所看到的，处理单元4能够确定表示用户的头部定向的面部单位向量。

在步骤704，用户的头部的位置和定向还可或替代地通过如下方式来被确定：分析来自较早的时间(要么在帧中较早，要么来自前一帧)的用户的头部的位置和定向，以及然后使用来自IMU 132的惯性信息来更新用户的头部的位置和定向。来自IMU 132的信息可以提供用户的头部的精确动力学数据，但是IMU典型地不提供关于用户的头部的绝对位置信息。该绝对位置信息(也被称为“地面真值”)可提供自从头戴式显示设备2上的相机获得的图像数据。

在各实施例中，用户的头部的位置和定向可以通过联合作用的步骤700和704来确定。在又一些实施例中，步骤700和704中的一者或另一者可被用来确定用户的头部的头部位置和定向。

可能发生的是，用户未向前看。因此，除了标识用户头部位置和定向以外，处理单元可进一步考虑用户的眼睛在其头部中的位置。该信息可由上述眼睛跟踪套件134提供。眼睛跟踪套件能够标识出用户的眼睛的位置，该位置可以被表示成眼睛单位向量，该眼睛单位向量示出了与用户的眼睛聚焦所在且向前看的位置的向左、向右、向上和/或向下的偏离(即面部单位向量)。面部单位向量可以被调整为定义用户正在看向何处的眼睛单位向量。

在步骤710，接着可以确定用户的FOV。头戴式显示设备2的用户的视图范围可以基于假想用户的向上、向下、向左和向右的边界视力(peripheral vision)来预定义。为了确保针对给定用户计算得到的FOV包括特定用户或许能够在该FOV的范围内看到的物体，这一假想用户可不被当作具有最大可能边界视力的人。在一些实施例中，某一预定的额外FOV可被添加于此以确保对给定用户捕捉足够的数据。

然后，可以通过取得视图范围并且将其中心定在调整了眼睛单位向量的任何偏离的面部单位向量周围来计算该用户在给定时刻的FOV。除了定义用户在给定时刻正在看什么之外，用户的FOV的这一确定还有用于确定用户可能不能看到什么。如以下所解释的，将对虚拟物体的处理限制于特定用户的FOV内的那些区域可提高处理速度并降低延迟。

本技术的各方面涉及响应于用户移动、推断出的意图和交互来智能地定位和显示虚拟内容。这种对虚拟内容的智能定位和显示可由在处理单元4上执行的上下文显示引擎458(图6)基于经由该头戴式显示设备2接收到的输入来提供。现将参考图9-15更详细地解释经由上下文显示引擎458、处理单元4和显示设备2对虚拟内容的智能定位和显示。尽管以下描述了由处理单元4执行的处理步骤，但应理解，这些步骤也可由或替换地由头戴式显示设备2和/或一些其他计算设备内的处理器来执行。

在步骤622，处理单元4可检测上下文改变。此上下文方面的改变可按各种方式发生。在一个实施例中，上下文方面的改变可通过由用户执行并由头戴式显示设备2感知的表达姿势来指示给处理单元4。在进一步的实施例中，上下文方面的改变可独立于用户姿势由头戴式显示设备2中的传感器检测。这样的上下文改变可包括离开或进入地理区域，或在地理区域内到处移动。上下文改变还可是时间上的，例如处理单元4和/或头戴式设备2检测是上午、中午还是晚上，或者是工作日还是周末。在步骤622检测到上下文改变之际，可在步骤626基于检测到的上下文改变修改虚拟内容。现在将参考附图9的流程图解释步骤622和626的进一步细节。

在步骤712，处理单元4可寻找旨在修改虚拟内容的姿势。例如，用户可希望拉伸虚拟内容或以其他方式重设虚拟内容的大小。此外，在虚拟内容是视频的情况下，可与视频一起显示允许用户播放或暂停视频以及快进或回退视频的虚拟控件。例如题为“Control ofDisplayed Content in Virtual Environments(虚拟环境中的显示内容的控制)”的美国专利公开No.2013/0342572中公开了关于用于该目的的示例虚拟控件的细节。如果在步骤712检测到这样的姿势，则可在步骤714根据所执行的姿势来修改虚拟内容。

在步骤718，处理单元4可寻找旨在将虚拟内容重新定位到地理区域中的用户指定位置处的姿势。如果在步骤718中检测到这样的姿势，则可在步骤734设置虚拟内容的位置。如上所述，用户可将虚拟内容(诸如视频)定位在给定地理区域的墙壁的空白空间上。例如，图12示出地理区域500(在本示例中为包括墙壁502和504的房间)中的用户18。用户18正在查看虚拟内容510(可通过头戴式显示设备2看见)，该虚拟内容510在本示例中为足球比赛的视频馈源。虚拟内容510已由于来自用户18的姿势或者基于处理单元4所作出的确定被定位或锁定到墙壁504上，如以下所描述的。

替换地，可发生不存在便于用户的足够的墙壁空间，或者用户希望将内容显示在比现有墙壁更近的位置处。用户可由此在给定地理区域内设立显示器以将虚拟内容510显示在虚拟显示板508上，如例如图13中示出的。用户可将该偏好作为规则来保存，如以下所解释的。

一旦被定位在墙壁504或板508上，用户就可执行姿势来将虚拟内容510的大小重设到期望大小，如以上结合步骤712和714所描述的。替换地，处理单元4可自动将内容510的大小重设为被确定为合适并且在各实施例中为最优的大小。该重设大小可基于内容510距用户18有多远以及(在内容510被锁定到墙壁的情况下)墙壁上的可用空白区域。例如，内容可被显示为适配墙壁上的整个空白区域。如果墙壁上或墙壁前面存在图片、窗户或其他物体，则处理单元可限制所显示的内容的大小以适配可用空间。替换地，在可用空白空间的量不作为约束或者内容在显示板508上的情况下，该内容可被显示在仍舒适地适配在用户的视锥体的边界内的大区域上。该大区域可使用以下来预定义：多个人的视锥体大小数据以及对于用户查看所显示的内容的所有部分而无需移动他或她的头而言什么将被认为是舒适的。

如果在步骤718没有检测到定位姿势，则处理单元4可接着在步骤720检查用户是否在已知地理区域中。具体地，如以上结合图7的步骤604和610所述的，头戴式显示设备2能够接收定义用户的环境的数据。例如，如果用户在房间内，则头戴式显示设备2能够确定墙壁和房间中的物体的位置和房间的总体几何结构。在用户之前到过该房间或其他地理区域中的情况下，处理单元可存储定义墙壁和可能房间内的其他物体的位置的数据。

由此，当用户再次进入该房间或地理区域时，处理单元4能够在步骤720确定这是已知的地理区域。在一示例中，处理单元4能够通过获取从地理区域捕捉到的图像数据，并将该图像数据与存储的已知地理区域的图像数据进行比较来作出该确定。有可能或很可能新获取的房间或其他地理区域的图像数据将没有从与存储的已知地理区域的图像数据相同的视角被捕捉。使用矩阵变换方程，处理单元4能够相对于存储的已知地理区域的图像数据来转换和比较地理区域的当前图像数据。如前所述，用于使用矩阵变换方程来在给定地理区域内的不同视角之间转换和比较图像数据的方法是已知的。

如果处理单元4在步骤720确定用户不在已知地理区域中，则处理单元4可在步骤734自动为虚拟内容选择和设置默认显示参数。这些默认显示参数可包括由处理单元4作出的与当用户在地理区域内的不同位置处时在何处以及如何显示内容有关的自动确定。现在将参考附图10的流程图解释步骤734的进一步细节。

如上所述，虚拟内容的显示位置可通过表达姿势来设置(步骤752和756)。在没有接收到这样的表达姿势的情况下，处理单元4可推断用户何时处于与移动状态相对的安定状态。术语“安定状态”和“移动状态”在以下被解释。但一般而言，当处理单元4接收到表达姿势或者否则能够基于试探法和线索作出推断以确定用户被安定在某位置(坐着或站着)以查看虚拟内容510时，用户18被认为处于安定状态(步骤758)。当处理单元4接收到表达姿势或者相反能够基于试探法和线索作出推断以确定用户是可移动的并且在移动中(例如正从一个地理区域走到另一地理区域或者在某移动区域内走动)时，用户18被认为处于移动状态。

一旦处理单元4能够确定用户18处于安定状态，则处理单元可随后使用那个位置来选择合适的以及在各实施例中为最优的在用户视野中心的位置来显示该内容(步骤760)。对于步骤760，处理单元4可自动选择在用户视野中心的位置来显示该虚拟内容。在各示例中，在用户前面可存在空白墙壁或表面上的空间。如上所述，处理单元4确定包括墙壁和物体在用户的视野中的位置的场景图。处理单元4可由此选择空白墙壁空间或其他表面，并将虚拟显示锁定到该空白墙壁空间或其他表面。同样如上所述，处理单元4可基于可用空间以及虚拟内容和用户之间的距离来将虚拟内容的大小自动地重设为最优大小。

情况可能是在用户前面不存在开放的墙壁空间时，或者在用户正在移动的情况下，用户选择查看虚拟内容，如以下所解释的。在这样的实施例中，在步骤760，处理单元可显示漂浮在用户前面的空间中的虚拟显示板，并将虚拟内容显示在该虚拟显示板上，虚拟显示板为诸如图13中的虚拟显示板508。

在以上所述的实施例中，处理单元等待直到用户处于一的位置(步骤758)，并且随后基于该位置选择要在哪里显示该内容(步骤760)。在进一步实施例中，在用户第一次进入新的地理区域(诸如房间)之际，头戴式设备2可扫描整个房间，并向用户作出关于最好在哪里显示该内容的推荐。如果用户接受那个推荐，则那个位置可在此后被存储为针对那个地理区域的规则。

另一方面，如果处理单元4在步骤720确定用户在已知地理区域中，则处理单元4可随后执行检查是否存在与虚拟内容在那个已知地理区域中的显示有关的一个或多个经存储规则的步骤722。这些经存储规则可以是用户基于用户偏好定义的。经存储规则可包括与用户希望在给定地理区域中查看什么内容和/或要如何以及在哪里呈现该内容有关的任何用户偏好。

例如，当坐在该地理区域内的特定位置(诸如例如图12所示的沙发上)时，用户可按需定位虚拟内容并设置该虚拟内容的大小，例如将该虚拟内容定位在对面的墙壁504上。此后，当在该地理区域中的沙发上时，用户可执行某一预定义的姿势以形成并存储以当前大小在对面的墙壁504上显示该内容的规则。此后，当用户再次处于那个相同地理区域的那个位置时，处理单元4在步骤722标识存在针对那个地理区域的经存储规则。一旦标识出，该规则就可在步骤726被应用来根据该规则中表达的用户定义的偏好来显示该虚拟内容。如以下所解释的，可针对地理区域内的不同位置创建不同的规则。

可为单个地理区域创建一个以上的规则。如以下结合图14所解释的，用户可在房间或其他地理区域内到处移动，并且用户可存储涵盖针对地理区域内的不同位置的不同内容查看偏好的规则。

另一方面，当在步骤722中没有标识出针对已知地理区域的经存储规则的情况下，处理单元4可改为在步骤734设置该虚拟内容的默认显示参数，如以上所解释的。

根据本技术的各方面，处理单元4提供对虚拟内容的智能显示，这取决于处理单元4确定用户处于安定状态还是移动状态。在用户大致静止时，处理单元4可确定用户处于安定状态。即，用户可能正在移动他或她的手臂、腿部、头部等，但大致坐在或站在一个位置处。在用户大致不在一个位置，而改为走到另一位置的情况下，处理单元可确定用户处于移动状态。在查看虚拟内容的过程期间，处理单元4可确定用户从安定状态转变为移动状态。处理单元可用各种方式推断这个，如以下所解释的。用户可能处于在地理区域内到处移动的移动状态。用户也可能处于移动状态并离开某地理区域。在各实施例中，移动单元可按不同方式处理这些情况。

例如，当处于移动状态但在地理区域内移动时，虚拟内容可保持在其当前位置(在没有移动该虚拟内容的表达姿势的情况下)。由此，在图12，如果用户18离开沙发，并在房间500内到处移动，则虚拟内容510可保持被锁定到其在墙壁504上的位置。

可发生用户重新定位到地理区域内的新位置(步骤738)。例如，在图14，用户已移动到同一房间内的另一位置。在步骤738，可使用头戴式显示设备2中的传感器检测用户的移动。一旦处理单元4确定用户再次处于安定状态，处理单元4可再次执行检查是否将任何经存储规则应用于从地理区域内的新位置显示虚拟内容的步骤722。

如果经存储规则阐述当用户处于新位置时在哪里和/或如何显示虚拟内容，则在步骤726应用该规则来定义在哪里和/或如何显示该虚拟内容。另一方面，如果没有经存储规则适用于地理区域内的新位置，则处理单元4可在步骤734设置显示位置，如以上所解释的。例如，处理单元4可以选择用户正面对的大致方向上的开放墙壁，并将虚拟内容锁定到该墙壁。

由此，在图14，用户已相对于图12中示出的位置移动到地理区域(房间500)内的新位置。由于经存储规则应用于那个位置，或者由于在没有规则的情况下处理单元4确定在哪里以及如何显示虚拟内容，虚拟内容510从墙壁504移动到墙壁502。可发生用户重新定位到给定地理区域内的新位置，但内容保持在它所在的地方(例如，在图14中内容保持在墙壁504上)。这可由于覆盖该新位置的规则或者由于处理单元4确定墙壁504仍是供用户从该新位置查看内容510的最佳位置而发生。

图12-14解说了其中内容被大致垂直地向用户显示以供用户在站着或坐着时查看的情况。然而，应理解，内容可以暗任何定向显示给用户。例如，在用户躺下的情况下，内容可被水平地显示在例如天花板或水平显示板上。

取代重新定位到地理区域内的新位置，用户可选择完全离开地理区域。头戴式显示设备2知道地理区域的边界，并且可感测用户何时离开那些边界。在该情况下，该内容可从完整视图切换到该内容的移动版本，如以下所解释的。为了本技术的目的，在地理区域不具有清楚定义的边界的情况下，任意边界可被处理单元4选择，并且一旦用户离开地理区域的任意边界，内容可从完整视图切换到移动版本。

在虚拟内容的移动版本中，该内容可跳跃离开墙壁或其先前位置，并与用户一起行进。当在移动版本中与用户一起行进时，虚拟内容按使得不干扰用户的移动或注意的方式被定位。由此，在步骤742，处理单元4检测用户是否正离开地理区域。如果不是，则流程可返回到图7中的步骤620。另一方面，如果头戴式显示设备2和处理单元4在步骤742检测到用户正离开地理区域，则处理单元4可在步骤746切换到虚拟内容的移动版本，并在步骤748身体锁定该虚拟内容。

虚拟内容的移动版本可仅示出虚拟内容的一部分，并且可以被定位在用户的外围视野处的显示板上。例如，图15解说用户已离开房间500并且现在正沿走廊520走(图15是透过头戴式显示设备2的视图)。如所示出的，虚拟内容510可被减少为仅示出该内容的一部分，并且可被定位在用户的视野的外围，诸如例如朝向用户的视野的底部。虚拟内容510在该内容的移动版本中示出的量可比图15中示出的更多或更少。并且虚拟内容510在移动版本中示出的位置可以是用户的视野内的侧面、上面或某个其他外围位置处。

在显示内容的移动版本时，虚拟内容可以按某一透明度被显示，以使得在该内容后面的现实世界物体不被该内容完全遮挡。在这样的实施例中，虚拟内容可变得较透明(减小α值)或者以其他方式在视觉上被弱化。

当用户正以安定状态查看内容时，内容510被世界锁定，但在内容的移动版本中内容510被身体锁定以与用户一起移动。该内容可保持被身体锁定在用户的视野的外围中，以使得当用户到处移动时不遮挡他或她的视野。然而，在任何时间，用户可移动他或她的头部以看虚拟内容510的移动版本。在处理单元4检测到用户看着虚拟内容的方向达某个预定时间段之际，处理单元4可退出该内容的移动版本。由此，即使用户仍处于移动状态，处理单元4可将完整的虚拟内容显示在身体锁定的虚拟显示板上在用户视野中心或外围的位置处，如以上所解释的。

在某个点，用户可返回到原始地理位置，或者进入新的地理位置，并且安定在从其查看虚拟内容的新位置(诸如图16所示的新房间524)处。此时，处理单元4可从移动状态切换到安定状态。处理单元4可随后再次运行通过图9的各步骤以将虚拟内容显示在可用墙壁或虚拟显示板上。内容可根据针对该新地理区域的任何可用规则来显示，或者在没有任何可用规则的情况下，处理单元4可确定如何最优地向用户显示该内容。由此，用户可在一个地理区域享受内容，在很忙时将内容存储为移动版本，并且随后在新的地理区域重新显示该内容，而不会打断所显示的内容，并且在用户到处移动时不会妨碍他或她。

取代等待直到用户安定下来并处于安定状态，处理单元4可识别用户何时首次进入某地理位置，并这时根据可适用的规则或在确定的最优位置处显示内容。此后，用户可走到要从其查看该内容的期望位置。

在以上所述的各实施例中，当用户在地理区域内到处移动时，处理单元可处于移动状态，但内容可停留在其原始的完全显示位置。在进一步实施例中，一旦用户开始在同一地理区域内到处移动，处理单元就可将内容切换为该内容的移动版本。即，当处理单元4确定用户已从安定状态移动到移动状态时，内容被切换到移动版本，即使用户还在同一地理区域内到处移动。

在以上所述的各实施例中，例如，当用户移动到新地理区域时，该内容切换到移动版本。在进一步实施例中，取代内容的移动版本，该内容可在用户离开一个地理区域时停止，并且随后一旦用户在新地理区域中达到安定状态后在该内容被中断的点处重新出现。在进一步实施例中，用户可希望即使该用户离开了给定地理区域，该内容也保持被锁定在该地理区域中的给定位置处。这可由处理单元4根据从用户接收到的姿势(诸如“将内容锁定在这里”的言语姿势)来执行。在用户离开时，该内容可要么继续要么暂停。

本技术提供虚拟内容的智能显示和移动查看。本技术还涉及用于确定在用户移动之际何时移动所显示的内容的智能方案。在各实施例中，公开了提供对内容的稳定显示同时在用户移动时作出响应的方案。如上所述，当用户从安定状态切换到移动状态时，所显示的内容可在用户在给定地理区域内到处移动时保持就位。如果用户再次从移动状态切换到该地理区域内的安定状态，则显示的图像可停留在它所在的地方或移动到该地理区域内的新位置处。替换地，如果用户离开该地理区域，则显示的内容可于是改变到该内容的移动版本以与用户一起行进。如果用户再次从移动状态切换到新地理区域内的安定状态(或者返回到原始地理区域)，则显示的图像可在用户选择的位置或处理单元选择的位置处从该内容的移动版本切换到完整显示版本。

应理解，本系统可被不同地配置以在用户移动之际更改所显示的内容的位置。例如，在各实施例中，该系统可变得对用户移动更敏感，以使得所显示的内容可在用户的轻微移动之际从一个位置移动到另一位置，或者从完整视图移动到移动版本。

在给定大范围的可能用户移动和位置的情况下，不存在指示从移动状态到安定状态的切换的单个可定义的用户动作集合，并且反之亦然。然而，处理单元4能够通过解释表达姿势来确定这些状态切换，并且基于试探法以及身体位置和移动线索作出推断。

例如，如上所述，用户具有通过表达姿势来精确控制在哪里显示内容以及以完整版本还是移动版本显示该内容的选项。在用户已安定在某位置以观看内容的情况下，用户可例如说“播放内容”(或“播放电影”、“开始游戏”等)。在用户希望移动到新地理区域或在给定地理区域内移动的情况下，用户可说“变为移动”(或“让我们走”等)，并且内容可移动或切换到移动版本。

在没有表达姿势的情况下，处理单元4可基于用户移动和/或上下文作出推断。头戴式显示设备2具有允许处理单元4确定用户何时从站着的位置移动到坐着的位置(或反之亦然)或者用户何时停止或开始走动的传感器。头戴式显示设备2还具有允许处理单元4确定用户何时注视特定位置达某个预定时间长度的传感器。这些动作中的每一者都可被处理单元4用来确定用户何时处于安定状态或移动状态。

替换地，试探算法可连同骨架跟踪模块448和头戴式显示设备2中的传感器一起被应用以理解用户何时移动，或者何时被安定到用户准备好接收虚拟内容的位置。例如，骨架跟踪模块448和头戴式显示设备2内的传感器可标识用户何时相对静止，并且处理单元可推断用户已移动到他或她准备好接收内容的安定状态。用户可设置偏好，或者处理单元4可优化设置以在移动内容过于频繁和移动内容过慢之间达到平衡。

为了防止内容来回快速跳跃(例如，在用户徘徊在地理位置的边界处的情况下)，各种已知的平滑算法可由处理单元4在分析用户移动时应用。这些平滑算法可例如在移动所显示的内容时造成小延迟，直到用户动作可被处理单元清楚地确定。

在进一步的实施例中，处理单元4可在开始或改变内容、改变内容的位置或在内容的完整版本和移动版本之间切换之前提示用户。

除了在给定地理区域中在哪里以及如何显示内容外，还可由用户创建并存储与要在给定地理区域内显示的类型内容有关的规则。例如，参考图17，当用户18在厨房中时，向用户显示的内容510可以是烹饪节目。如果当用户进入厨房或具有可适用的内容规则的其他地理区域时，用户已经在查看内容(例如，内容的移动版本)，则处理单元4可向用户18提示关于他们想要继续查看他们正在观看的内容还是切换到内容规则中指定的内容。针对厨房中的烹饪节目的内容规则是可针对用户的家、工作场所、频繁处理的场所中的地理区域设立的任何数目的内容规则中的一个内容规则。

除了基于地理区域的内容规则外，还可设立表达在一天或一个星期的特定时间查看特定内容(例如，在上午查看时事新闻以及在晚上查看电影)的偏好的规则。内容规则还可基于哪些用户在一起查看内容来设立。当用户正与他或她的孩子们一起观看内容时，可指定显示孩子们的内容的规则。应理解，各种各样的上下文规则中的任一者可基于如何以及在哪里显示内容以及该内容是什么的用户偏好来设立和存储。

根据本技术的其他方面，头戴式显示设备2连同处理单元4一起可提供立体声和局部音频来伴随所显示的视频。现在参考图11，在步骤764，处理单元4可确定是否正在显示该内容的完整版本。如果是，则处理单元4可在步骤766将立体声声音的位置同步到所显示的视频的位置。

替换地，如果处理单元4在步骤770确定正在显示内容的移动版本，则处理单元可在步骤774将该声音局部化到正在显示移动版本的用户的外围位置。用户可如上所述定义与伴随视频的音频回放有关的规则。例如，用户将具有在特定地理区域中时或者在内容的移动版本正被显示时使内容的音量静音或降低内容的音量的规则。

再次参考图7，除了基于上下文改变修改内容之外或者作为其替换，本技术可基于检测到在查看内容时存在另一个人来修改内容。具体地，在步骤630，处理单元4可检测到在用户正在查看内容时在地理区域中存在另一个人。在这样的检测之际，处理单元可在步骤632修改该虚拟内容。例如在2015年1月16日提交的题为“Conversation,Presence andContext Detection For Hologram Suppression(用于全息图抑制的会话、在场和上下文检测)”的美国专利申请No.14/598,578中提供了步骤630和632的进一步细节。然而，一般来说，在某个人进入用户正在查看内容的地理区域(步骤630)的情况下，处理单元可确定用户是否希望抑制内容以与进入的人进行会话。如果是，则可抑制该内容(步骤632)。可按各种方式中的任一者来抑制内容，包括例如暂停内容、停止内容和/或修改内容，以使得该内容不遮挡人。音频也可被静音或调低。

再次参考图7，一旦处理单元确定如何和在哪里显示内容，以及要显示什么内容，就可开始渲染操作。在步骤634，处理单元4可精选渲染操作以使得仅仅有可能在该头戴式显示设备2的最终FOV内出现的那些虚拟物体被渲染。其他虚拟物体的位置仍可被跟踪，但是它们不被渲染。还可设想，在另外的实施例中，步骤634可以被完全跳过，而整个图像被渲染。

处理单元4接着可执行渲染设置步骤638，在该步骤使用在步骤610和614中接收到的场景图和FOV来执行设置渲染操作。一旦接收到虚拟物体数据，处理单元就可以对要在该FOV中被渲染的虚拟物体执行步骤638中的渲染设置操作。步骤638中的设置渲染操作可包括与要在最终FOV中显示的虚拟物体相关联的常见渲染任务。这些渲染任务可包括例如阴影图生成、光照和动画。在一些实施例中，渲染设置步骤638可进一步包括对可能的绘制信息的编译，诸如要在预测的最终FOV中显示的虚拟物体的顶点缓冲区、纹理和状态。

使用关于物体在3D场景图中的位置的信息，处理单元4可接着在步骤644确定用户的FOV中的遮挡和阴影。具体地，该场景图具有该场景中的物体(包括任何移动的和非移动的虚拟或现实物体)的x、y和z位置。已知用户的位置以及他们对该FOV中的物体的视线的情况下，处理单元4随后可确定虚拟物体是否全部或部分遮挡该用户对现实世界物体的视图。此外，处理单元4可确定某一现实世界物体是否部分或全部地遮挡了该用户的虚拟物体的视图。

在步骤646，处理单元4的GPU 322可以接着渲染要向该用户显示的图像。渲染操作的各部分可能已经在渲染设置步骤638中被执行并且被周期性地更新。任何被遮挡的虚拟物体可不被渲染，或者它们可被渲染。在被渲染的情况下，被遮挡的物体将通过以上阐述的不透明度滤光器114而被略过显示。

在步骤650，处理单元4检查：是否到了将渲染的图像发送给头戴式显示设备2的时间、或者是否还有时间来使用来自头戴式显示设备2的较新近的位置反馈数据来进一步细化该图像。在使用60赫兹帧刷新率的系统中，单帧为约16毫秒。

如果到了显示更新的图像的时间，则针对该一个或多个虚拟物体的图像被发送至微显示器120以在恰适像素处显示，同时计入视角和遮挡。在此时，用于不透明滤光器的控制数据也从处理单元4被传送至头戴式显示设备2以控制不透明滤光器114。该头戴式显示器随后将在步骤658中向该用户显示该图像。

另一方面，在步骤650还没到发送要被显示的图像数据帧的时间的情况下，处理单元可为了获得更新近的数据而循环回以细化最终FOV的预测以及FOV中的物体的最终位置的预测。具体地，如果在步骤650还有时间，则处理单元4可返回到步骤604以从头戴式显式设备2处得到更新近的传感器数据。

上面仅以示例的方式描述了处理步骤600至658。理解到，这些步骤中的一个或多个步骤在另外的实施例中可被省略，这些步骤可以按不同次序来执行，或者可以添加附加步骤。

概括而言，本技术的一示例涉及一种用于呈现虚拟环境的系统，所述系统包括：头戴式显示设备，所述头戴式显示设备包括用于显示所述虚拟环境中的三维虚拟物体的显示单元；以及，操作地耦合到所述显示设备的处理单元，所述处理单元基于来自所述头戴式显示设备的反馈来确定所述头戴式显示设备所位于的地理区域，所述处理单元基于所确定的地理区域来引导所述显示单元显示虚拟内容。

本技术的另一示例涉及一种用于呈现虚拟环境的系统，所述系统包括：头戴式显示设备，所述头戴式显示设备包括用于显示所述虚拟环境中的三维虚拟物体的显示单元；以及，操作地耦合到所述显示设备的处理单元，所述处理单元至少部分地取决于所述处理单元确定所述用户处于安定状态还是处于移动状态来引导所述显示单元显示虚拟内容的完整世界锁定版本还是所述内容的移动身体锁定版本。

在进一步示例中，本技术涉及一种经由头戴式显示设备以及与所述头戴式显示设备相关联的处理单元来呈现虚拟环境的方法，所述方法包括：(a)检测所述头戴式显示设备在一地理位置中还是正走出所述第一地理位置；(b)在检测到所述头戴式显示设备在所述地理位置中之际，在所确定的世界锁定位置显示虚拟内容；以及(c)在检测到所述头戴式显示设备正离开所述地理位置之际，在身体锁定位置显示所述虚拟内容的移动版本。

尽管用结构特征和/或方法动作专用的语言描述了本发明主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。本发明的范围由所附的权利要求进行定义。

Claims (8)

1.一种用于呈现虚拟环境的系统，所述系统包括：

头戴式显示设备，所述头戴式显示设备包括用于显示所述虚拟环境中的三维虚拟物体的显示单元；以及

操作地耦合到所述显示设备的处理单元，所述处理单元被配置成：

基于来自所述头戴式显示设备的反馈来确定所述头戴式显示设备是处于一地理区域内的安定状态还是处于移动离开所述地理区域且不是在用户在所述地理区域内到处走动时的移动状态，所述地理区域包括至少以第一墙壁和第二墙壁为界的区域；

响应于确定所述头戴式显示设备处于安定状态来引导所述显示单元显示虚拟内容的完整世界锁定版本以及响应于确定所述头戴式显示设备处于移动状态来引导所述显示单元显示所述内容的移动身体锁定版本。

2.如权利要求1所述的系统，其特征在于，所述处理单元引导所述显示单元在被定位在所述用户的视野的外围时在所述移动身体锁定版本中显示所述虚拟内容的一部分。

3.如权利要求2所述的系统，其特征在于，所述处理单元引导所述显示单元在所述移动身体锁定版本中以一定半透明度显示所述虚拟内容。

4.如权利要求1所述的系统，其特征在于，所述处理单元基于所述处理单元是否检测到所述用户从移动状态变为安定状态而自动地在所述内容的所述完整世界锁定版本和所述内容的所述移动身体锁定版本之间切换，并且反之亦然。

5.一种经由头戴式显示设备和与所述头戴式显示设备相关联的处理单元来呈现虚拟环境的方法，所述方法包括：

(a)检测所述头戴式显示设备是处于一地理区域中的安定状态还是走出所述地理区域的移动状态，所述地理区域包括至少以第一墙壁和第二墙壁为界的区域；

(b)在检测到所述头戴式显示设备处于所述地理区域中的安定状态之际，将虚拟内容显示在确定的世界锁定位置中；以及

(c)在检测到所述头戴式显示设备处于正离开所述地理区域的移动状态之际，切换为将所述虚拟内容的移动版本显示在身体锁定位置中。

6.如权利要求5所述的方法，其特征在于，所述步骤(b)包括将所述虚拟内容显示在基于从用户接收到的输入确定的位置中的步骤。

7.如权利要求5所述的方法，其特征在于，所述步骤(b)包括将所述虚拟内容显示在由所述处理单元基于所述地理区域的确定布局以及用于显示所述虚拟内容的可用空间来确定的位置中的步骤。

8.如权利要求5所述的方法，其特征在于，所述步骤(b)包括基于所述头戴式显示设备在所述地理区域中的位置和定向将所述虚拟内容显示在所述区域中的多个位置之一中的步骤。

Images