[go: up one dir, main page]

CN117043709A - 用于生产力的扩展现实 - Google Patents

用于生产力的扩展现实 Download PDF

Info

Publication number
CN117043709A
CN117043709A CN202280023924.6A CN202280023924A CN117043709A CN 117043709 A CN117043709 A CN 117043709A CN 202280023924 A CN202280023924 A CN 202280023924A CN 117043709 A CN117043709 A CN 117043709A
Authority
CN
China
Prior art keywords
virtual
display
augmented reality
readable medium
transitory computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280023924.6A
Other languages
English (en)
Inventor
A·埃舍尔
D·A·特瑞
E·埃尔哈达德
O·诺姆
T·柏林尔
T·卡汉
O·多列夫
A·克纳尼
A·布尔施泰因
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vision Computer Co ltd
Original Assignee
Vision Computer Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Computer Co ltd filed Critical Vision Computer Co ltd
Priority claimed from PCT/US2022/015546 external-priority patent/WO2022170221A1/en
Publication of CN117043709A publication Critical patent/CN117043709A/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

集成计算接口设备可以包括：具有键区和非键区的便携式壳体；与壳体的键区相关联的键盘；以及与壳体的非键区相关联的托架。该托架可以被配置成用于选择性地与可穿戴扩展现实装置接合和分离，使得当可穿戴扩展现实装置经由托架选择性地与壳体接合时，可穿戴扩展现实装置是可与壳体一起运送的。

Description

用于生产力的扩展现实
相关申请的交叉引用
本申请要求2021年2月8日提交的美国临时专利申请No.63/147,051、2021年3月7日提交的美国临时专利申请No.63/157,768、2021年4月9日提交的美国临时专利申请No.63/173,095、2021年6月21日提交的美国临时专利申请No.63/213,019、2021年6月27日提交的美国临时专利申请No.63/215,500、2021年6月29日提交的美国临时专利申请No.63/216,335、2021年7月29日提交的美国临时专利申请No.63/226,977、2022年1月16日提交的美国临时专利申请No.63/300,005、2022年2月7日提交的美国临时专利申请No.63/307,207、2022年2月7日提交的美国临时专利申请No.63/307,203和2022年2月7日提交的美国临时专利申请No.63/307,217的优先权，所有这些通过引用全文引入本文中。
背景
I.技术领域
本公开总体上涉及扩展现实领域。更具体地，本公开涉及用于使用扩展现实环境来提供生产力应用的系统、方法和设备。
II.背景信息
多年来，PC用户面临生产力困境：限制其移动性(当选择台式计算机时)或限制其屏幕尺寸(当选择膝上型计算机时)。这个难题的一个部分解决方案是使用扩展坞(dockingstation)。扩展坞是一种用于将膝上型计算机与其它设备连接起来的接口设备。通过将膝上型计算机插入到扩展坞中，膝上型计算机用户可享受由较大监视器提供的增加的可见性。但是因为大监视器是固定的，所以用户的移动性(虽然得到了改善)仍然是有限的。例如，即使具有扩展坞的膝上型计算机用户也没有在他们需要的任何地方使用两个32"屏幕的自由。
所公开的一些实施方式旨在提供用于解决生产力困境的新方法，一种方法使用扩展现实(XR)来提供使得用户能够在他们想要的任何地方通过提供像虚拟桌面的屏幕来体验静止工作空间的舒适性的移动环境。
发明内容
与本公开一致的实施方式提供了用于使用扩展现实环境来提供和支持生产力应用的系统、方法和设备。
一些公开的实施方式可以包括集成计算接口设备，所述集成计算接口设备可以包括具有键区和非键区的便携式壳体；与所述壳体的所述键区相关联的键盘；以及与所述壳体的非键区相关联的托架。所述托架可以被配置成用于选择性地与可穿戴扩展现实装置接合和脱离，使得当该可穿戴扩展现实装置经由该托架选择性地与该壳体接合时，该可穿戴扩展现实装置可与所述壳体一起运送。
一些公开的实施方式可以包括集成计算接口设备，所述集成计算接口设备包括壳体、至少一个图像传感器和可折叠保护罩。所述壳体可以具有键区和非键区，以及与所述键区相关联的键盘。可折叠保护罩包括至少一个图像传感器。所述保护罩可以被配置成被操纵成多个折叠构造，包括第一折叠构造和第二折叠构造，其中，所述保护罩可以被配置成包覆住所述键区和该非键区的至少一部分，并且其中，所述保护罩可以被配置成以一种使得在用户在键盘上键入时所述至少一个图像传感器的光轴总体上面向所述集成计算接口设备的用户的方式直立。
一些公开的实施方式可以包括用于集成计算接口设备的壳体，所述集成计算接口设备包括至少一个图像传感器和结合所述至少一个图像传感器的可折叠保护罩。所述保护罩可以被配置成被操纵成多个折叠构造。在第一折叠构造中，保护罩可被配置成包覆住具有键区和非键区的集成计算接口设备的壳体。在第二折叠构造中，保护罩可以被配置成以一种使得在用户在与键区相关联的键盘上键入时所述至少一个图像传感器的光轴总体上面向所述集成计算接口设备的用户的方式直立。
一些公开的实施方式可包括用于基于温度来改变虚拟内容的显示的系统、方法和非暂时性计算机可读介质。这些实施方式中的一些可以涉及经由可穿戴扩展现实装置来显示虚拟内容，其中，在显示所述虚拟内容期间中，由所述可穿戴扩展现实装置的至少一个部件产生热量；接收指示与所述可穿戴扩展现实装置相关联的温度的信息；基于所接收的信息来确定需要改变所述虚拟内容的显示设置；以及基于所述确定，改变所述虚拟内容的显示设置以实现目标温度。
一些公开的实施方式可包括用于在扩展现实环境中实现混合虚拟键的系统、方法和非暂时性计算机可读介质。这些实施方式中的一些可以涉及在第一时间段期间接收第一信号，所述第一信号对应于多个虚拟可激活元件在触敏表面上的位置，所述虚拟可激活元件是由可穿戴扩展现实装置虚拟地投射在所述触敏表面上的；根据所述第一信号来确定所述多个虚拟可激活元件在所述触敏表面上的位置；经由所述触敏表面接收用户的触摸输入，其中，所述触摸输入包括作为与所述触敏表面内的至少一个传感器的交互的结果而生成的第二信号；基于作为与所述触敏表面内的所述至少一个传感器的交互的结果而生成的所述第二信号，确定与所述触摸输入相关联的坐标位置；将所述触摸输入的坐标位置与所确定的位置中的至少一个进行比较，以识别所述多个虚拟可激活元件中的与所述触摸输入相对应的虚拟可激活元件；以及引起与所述可穿戴扩展现实装置相关联的虚拟内容的改变，其中，所述改变对应于所述多个虚拟可激活元件中所识别的虚拟可激活元件。
一些公开的实施方式可以包括用于使用键盘和可穿戴扩展现实装置组合来控制虚拟显示的系统、方法和非暂时性计算机可读介质。这些实施方式中的一些可以涉及从与可穿戴扩展现实装置相关联的第一手位置传感器接收表示第一手移动的第一信号；从与所述键盘相关联的第二手位置传感器接收表示第二手移动的第二信号，其中，所述第二手移动包括除与反馈组件交互之外的动作；以及基于所述第一信号和所述第二信号来控制所述虚拟显示。
一些公开的实施方式可以包括用于将可移动输入设备与经由可穿戴扩展现实装置投影的虚拟显示集成的系统、方法和非暂时性计算机可读介质。这些实施方式中的一些可以包括接收与可移动输入设备相关联的运动信号，所述运动信号反映可移动输入设备的物理运动；在第一时间段期间，向所述可穿戴扩展现实装置输出第一显示信号，所述第一显示信号被配置成使所述可穿戴扩展现实装置以第一取向虚拟地呈现内容；在不同于所述第一时间段的第二时间段期间，向所述可穿戴扩展现实装置输出第二显示信号，所述第二显示信号被配置成使所述可穿戴扩展现实装置以不同于所述第一取向的第二取向虚拟地呈现所述内容；以及基于所接收的所述可移动输入设备的运动信号，在所述第一显示信号的输出与所述第二显示信号的输出之间切换。
一些公开的实施方式可以包括用于虚拟地扩展物理键盘的系统、方法和非暂时性计算机可读介质。这些实施方式中的一些可以涉及从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，所述图像数据表示放置在一表面上的键盘；确定所述键盘与所述可穿戴扩展现实装置配对；接收用于使虚拟控制器的显示与所述键盘联合的输入；经由所述可穿戴扩展现实装置将所述虚拟控制器显示在所述表面上的第一位置，其中，在所述第一位置，所述虚拟控制器具有相对于所述键盘的原始空间取向；检测所述键盘向所述表面上的不同位置的移动；以及响应于检测到的所述键盘的移动，将所述虚拟控制器呈现在所述表面上的第二位置，其中，在所述第二位置，所述虚拟控制器相对于所述键盘的后续空间取向对应于所述原始空间取向。
一些公开的实施方式可包括用于协调虚拟内容显示与移动状态的系统、方法和非暂时性计算机可读介质。这些实施方式中的一些可以涉及访问将多个用户移动状态与用于经由可穿戴扩展现实装置呈现虚拟内容的多个显示模式关联起来的规则；从与所述可穿戴扩展现实装置相关联的至少一个传感器接收第一传感器数据，所述第一传感器数据反映所述可穿戴扩展现实装置的用户在第一时间段期间的移动状态；基于所述第一传感器数据，确定在所述第一时间段期间所述可穿戴扩展现实装置的用户与第一移动状态相关联；实现至少第一访问规则以经由与所述第一移动状态相关联的所述可穿戴扩展现实装置生成所述虚拟内容的第一显示；从所述至少一个传感器接收第二传感器数据，所述第二传感器数据反映在第二时间段期间所述用户的移动状态；基于所述第二传感器数据，确定在所述第二时间段期间所述可穿戴扩展现实装置的用户与第二移动状态相关联；以及实现至少第二访问规则以经由与第二移动状态相关联的可穿戴扩展现实装置生成虚拟内容的第二显示，其中，虚拟内容的第二显示不同于虚拟内容的第一显示。
一些公开的实施方式可以包括用于修改对接到可移动输入设备的虚拟对象的显示的系统、方法和非暂时性计算机可读介质。这些实施方式中的一些可以涉及从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，所述图像数据表示放置在一支承表面上的第一位置处的输入设备；使所述可穿戴扩展现实装置在所述第一位置附近生成至少一个虚拟对象的呈现；将所述至少一个虚拟对象对接至所述输入设备；确定所述输入设备处于所述支承表面上的第二位置；响应于确定所述输入设备处于所述第二位置，更新所述至少一个虚拟对象的呈现，使得所述至少一个虚拟对象出现在所述第二位置附近；确定所述输入设备处于从所述支承表面移除的第三位置；以及响应于确定所述输入设备被从所述支承表面移除，修改所述至少一个虚拟对象的呈现。
一些公开的实施方式可包括用于在扩展现实环境中将虚拟对象对接至虚拟显示器的系统、方法和非暂时性计算机可读介质。这些实施方式中的一些可以涉及生成用于经由可穿戴扩展现实装置呈现的虚拟内容，其中，所述虚拟内容包括虚拟显示器和位于该虚拟显示器外部的多个虚拟对象；接收对所述多个虚拟对象中的至少一个虚拟对象的选择；将所述至少一个虚拟对象对接至所述虚拟显示器；在将所述至少一个虚拟对象对接至所述虚拟显示器之后，接收指示改变所述虚拟显示器的位置的意图而不表示移动所述至少一个虚拟对象的意图的输入；响应于所述输入来改变所述虚拟显示器的位置；并且其中，改变所述虚拟显示器的位置，使得作为将所述至少一个虚拟对象对接至所述虚拟显示器的结果，所述至少一个虚拟对象随着所述虚拟显示器移动。
一些公开的实施方式可包括用于实现选择性虚拟对象显示改变的系统、方法和非暂时性计算机可读介质。这些实施方式中的一些可以涉及经由可穿戴扩展现实装置生成扩展现实环境，所述扩展现实环境包括与物理对象相关联的第一虚拟平面和与一项目相关联的第二虚拟平面，所述第二虚拟平面在垂直于所述第一虚拟平面的方向上延伸；访问用于将第一组虚拟对象对接在与所述第一虚拟平面相关联的第一位置中的第一指令；访问用于将第二组虚拟对象对接在与第二虚拟平面相关联的第二位置中的第二指令；接收与所述物理对象的移动相关联的第一输入；响应于接收到所述第一输入，按照与所述物理对象的移动相对应的方式引起所述第一组虚拟对象的显示的改变，同时将所述第二组虚拟对象维持在所述第二位置；接收与所述项目的移动相关联的第二输入；以及响应于接收到所述第二输入，在保持所述第一组虚拟对象的所述第一位置的同时，按照与所述项目的移动相对应的方式引起所述第二组虚拟对象的显示的改变。
一些公开的实施方式可以包括用于确定用于呈现虚拟内容的显示配置的系统、方法和非暂时性计算机可读介质。这些实施方式中的一些可以涉及从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，其中，该可穿戴扩展现实装置被配置成与多个输入设备配对并且每个输入设备与默认显示设置相关联；分析所述图像数据以检测放置在表面上的特定输入设备；确定所述特定输入设备的至少一个使用参数的值；从存储器取回与所述特定输入设备相关联的默认显示设置；基于所述至少一个使用参数的值和所取回的默认显示设置来确定用于呈现虚拟内容的显示配置；以及使得根据所确定的显示配置经由所述可穿戴扩展现实装置呈现所述虚拟内容。
一些公开的实施方式可包括用于使用虚拟显示器增强物理显示器的系统、方法和非暂时性计算机可读介质。这些实施方式中的一些可以涉及接收表示完全呈现在物理显示器上的第一对象的第一信号；接收表示第二对象的第二信号，所述第二对象具有呈现在所述物理显示器上的第一部分和延伸超出所述物理显示器的边界的第二部分；接收表示第三对象的第三信号，所述第三对象最初呈现在所述物理显示器上并且随后完全移动超出所述物理显示器的边界；响应于接收到所述第二信号，在所述物理显示器上呈现所述第二对象的所述第一部分的同时，使所述第二对象的所述第二部分经由可穿戴扩展现实装置呈现在虚拟空间中；以及响应于接收到所述第三信号，使得在所述第三对象已经被完全呈现在所述物理显示器上之后，经由所述可穿戴扩展现实装置在所述虚拟空间中完全呈现所述第三对象。
与其他公开的实施方式一致，非暂时性计算机可读存储介质可以存储程序指令，所述程序指令由至少一个处理设备执行并且执行在此描述的任何方法。
前面的一般描述和下面的详细描述仅仅是示例性和说明性的，而不是对权利要求的限制。
附图说明
并入本公开中并构成其一部分的附图示出了各种公开的实施方式。在附图中：
图1是根据本公开的一些实施方式的使用示例扩展现实系统的用户的示意图。
图2是根据本公开的一些实施方式的图1的示例扩展现实系统的主要组件的示意图。
图3是示出根据本公开的一些实施方式的输入单元的一些组件的框图。
图4是示出根据本公开的一些实施方式的扩展现实单元的一些组件的框图。
图5是示出根据本公开的一些实施方式的远程处理单元的一些组件的框图。
图6是集成计算接口设备的示例性第一实施方式的顶视图，该集成计算接口设备具有选择性地与该集成计算接口设备接合的可穿戴扩展现实装置。
图7A是集成计算接口设备的示例性第二实施方式的顶视图，该集成计算接口设备具有选择性地与该集成计算接口设备接合的可穿戴扩展现实装置。
图7B是图7A所示的集成计算接口设备的第二示例性实施方式的左侧视图。
图8A是与托架的第一示例性实施方式选择性地接合的可穿戴扩展现实装置的正面立体图。
图8B是与图8A所示的托架的第一示例性实施方式选择性地分离的可穿戴扩展现实装置的背面立体图。
图9A是选择性地与托架的第二示例性实施方式接合的可穿戴扩展现实装置的正面立体图。
图9B是选择性地与图9A所示的托架的第二示例性实施方式脱离的可穿戴扩展现实装置的背面立体图。
图10A是选择性地与托架的第三示例性实施方式接合的可穿戴扩展现实装置的正面立体图。
图10B是选择性地与图10A所示的托架的第三示例性实施方式分离的可穿戴扩展现实装置的背面立体图。
图11A是选择性地与托架的第四示例性实施方式接合的可穿戴扩展现实装置的正面立体图。
图11B是选择性地与图11A所示的托架的第四示例性实施方式分离的可穿戴扩展现实装置的背面立体图。
图12A是集成计算接口设备的第三示例性实施方式的顶视图，该集成计算接口设备具有选择性地与该集成计算接口设备接合的可穿戴扩展现实装置。
图12B是图12A所示的集成计算接口设备的第三示例性实施方式的左侧视图。
图13A是根据本公开的一些实施方式的具有处于第一封装模式的保护罩的示例性集成计算接口设备的侧面立体图。
图13B是根据本公开的一些实施方式的图13A的具有处于第二封装模式的保护罩的集成计算接口设备的左侧立体图。
图14是具有处于第二包覆模式的保护罩的集成计算接口设备的第二示例性实施方式的侧面立体图。
图15是集成计算接口设备的第一示例性实施方式的正面立体图。
图16是集成计算接口设备的第二示例性实施方式的正面立体图。
图17是集成计算接口设备的第三示例性实施方式的顶视图。
图18是具有处于第一折叠构造的可折叠防护罩的集成计算接口设备的第四示例性实施方式的正面立体图。
图19是可折叠防护罩的示例性实施方式的一部分的分解图。
图20是集成计算接口设备的第五示例性实施方式的侧视图。
图21是集成计算接口设备的第六示例性实施方式的侧视图。
图22是集成计算接口设备的第七示例性实施方式的正面立体图。
图23是示出根据一些公开的实施方式的可穿戴扩展现实装置的示例性工作参数部分的框图。
图24是示出根据一些公开的实施方式的基于发热光源温度随时间变化的显示设置的示例性图表。
图25示出根据一些公开的实施方式的基于接收到的温度信息减小虚拟内容的一部分的显示尺寸的示例。
图26是示出根据本公开的一些实施方式的用于基于可穿戴扩展现实装置的温度来改变显示设置的示例性方法的流程图。
图27示出了根据本公开的一些实施方式的虚拟地投影到触敏表面上的可穿戴扩展现实装置的示例。
图28示出了根据本公开的一些实施方式的键盘和触敏表面的示例。
图29示出了根据本公开的一些实施方式的用户与触敏表面交互的示例。
图30示出了根据本公开的一些实施方式的用户与触敏表面交互以导航光标的示例。
图31示出了根据本公开的一些实施方式的用于在扩展现实环境中实现混合虚拟键的示例性方法的流程图。
图32示出了根据本公开的一些实施方式的具有虚拟地投影到键盘的键上的附加虚拟可激活元件的键盘的示例。
图33示出了根据本公开的一些实施方式的用于控制虚拟显示器的键盘和可穿戴扩展现实装置组合的示例。
图34展示了根据本公开的一些实施方式的与可穿戴扩展现实装置相关联的第一手位置传感器的示例。
图35示出了根据本公开的一些实施方式的与键盘相关联的第二手位置传感器的示例。
图36示出了根据本公开的一些实施方式的不同类型的第一手位置传感器和第二手位置传感器的示例。
图37示出了根据本公开的一些实施方式的包括关联输入区的键盘的示例，该关联输入区包括触摸板和按键。
图38示出了根据本公开的一些实施方式的可经由连接器选择性地连接到键盘的可穿戴扩展现实装置的示例。
图39示出了根据本公开的一些实施方式的在第一时间段具有可移动输入设备的示例性虚拟显示器。
图40示出了根据本公开的一些实施方式的在第二时间段具有可移动输入设备的示例性虚拟显示器。
图41示出了根据本公开的一些实施方式的示例性虚拟显示器和可移动输入设备的移动的类型。
图42示出了根据本公开的一些实施方式的在第一时间段之前在相对于可移动输入设备的第一方向上的示例性虚拟显示器。
图43说明根据本公开的一些实施方式的基于与可移动输入设备相关联的运动信号的示例性虚拟显示器的大小的改变。
图44示出了根据本公开的一些实施方式的被配置为实现使用可移动输入设备输入的文本输入的可视呈现的示例性虚拟显示器。
图45A示出了根据本公开的一些实施方式的用于将可移动输入设备与经由可穿戴扩展现实装置投影的虚拟显示器集成的示例性过程。
图45B示出了根据本公开的一些实施方式的用于将可移动输入设备与经由可穿戴扩展现实装置投影的虚拟显示器集成的另一示例性过程。
图46示出了根据本公开的一些实施方式的键盘和虚拟控制器的示例。
图47示出根据本公开的一些实施方式的从一个位置移动到另一位置的键盘和虚拟控制器的示例。
图48示出了根据本公开的一些实施方式的从一个位置移动到另一位置的键盘和虚拟控制器的另一示例。
图49是根据本公开的一些实施方式的用于虚拟地扩展物理键盘的示例性过程的框图。
图50A至图50D示出根据本公开的一些实施方式的与不同移动状态协调的各种虚拟内容显示的示例。
图51A和图51B示出根据本公开的一些实施方式的与用于不同移动状态的不同类型的虚拟对象相关联的不同显示模式的示例。
图52A和图52B示出根据本公开的一些实施方式的与基于环境上下文的不同移动状态相关联的不同显示模式的示例。
图53是根据本公开的一些实施方式的用于协调虚拟内容显示与移动状态的示例性方法的流程图。
图54大体示出了与一些公开的实施方式一致的对接概念。
图55A是根据一些公开的实施方式的在支承表面上的第一位置处与虚拟对象对接的键盘的示例性图示。
图55B是根据一些公开的实施方式的在支承表面上的第二位置处与虚拟对象对接的键盘的示例性图示。
图56A是根据一些公开的实施方式的从支承表面上的位置移动到不在支承表面上的位置的键盘的示例性图示，其中，一个或更多个呈现的虚拟对象被修改。
图56B是根据一些公开的实施方式的从支承表面上的位置移动到不在支承表面上的位置的键盘的示例性图示，其中，一个或更多个呈现的虚拟对象消失。
图57是示出根据一些公开的实施方式的用于基于检测到的键盘位置来演进对接的示例性方法的流程图。
图58示出了根据本公开的一些实施方式的表示用户的电话的虚拟显示器和对接的虚拟对象的示例。
图59A和图59B示出了根据本公开的一些实施方式的虚拟显示器以及在虚拟显示器改变位置之前和之后位于虚拟显示器外部的多个虚拟对象的示例。
图60A和图60B示出根据本公开的一些实施方式的虚拟显示器以及在虚拟显示器改变位置之前和之后对接至虚拟显示器和其他虚拟对象的多个虚拟对象的示例。
图61A和图61B示出了根据本公开的一些实施方式的虚拟显示器和物理对象的示例。
图62A和图62B示出了根据本公开的一些实施方式的虚拟显示器以及在虚拟显示器改变位置之前和之后的多个虚拟对象的示例。
图63示出了根据本公开的一些实施方式的用于将虚拟对象对接至虚拟显示屏的示例性方法的流程图。
图64示出根据本公开的一些实施方式的第一平面中的物理对象和第二平面中的项的示例。
图65示出根据本公开的一些实施方式的在物理对象移动之前对接到虚拟平面中的位置的虚拟对象的示例。
图66示出根据本公开的一些实施方式的物理对象和虚拟对象的移动的示例。
图67示出了根据本公开的一些实施方式的项目和虚拟对象的移动的示例。
图68示出了根据本公开的一些实施方式的可由处理器执行以执行用于实现选择性虚拟对象显示改变的操作的示例性方法的流程图。
图69示出了根据本公开的一些实施方式的示例性可穿戴扩展现实装置系统的示意图。
图70示出了根据本公开的一些实施方式的示例性显示配置的示意图。
图71示出了根据本公开的一些实施方式的另一示例性显示配置的示意图。
图72示出了示出根据本公开的一些实施方式的用于确定用于呈现虚拟内容的显示配置的示例性过程的流程图。
图73示出了根据本公开的一些实施方式的在计算机屏幕外显示的虚拟内容的示例。
图74示出了根据本公开的一些实施方式的在智能手表内外显示的虚拟内容的示例。
图75A至图75D示出了根据本公开的一些实施方式的虚拟内容在计算机屏幕之间的移动的示例。
图76是示出根据本公开的一些实施方式的用于扩展工作显示的示例性过程的流程图。
具体实施方式
以下详细描述参考附图。只要可能，在附图和下面的描述中使用相同的附图标记来表示相同或相似的部件。虽然这里描述了几个说明性实施方式，但是修改、改变和其它实现是可能的。例如，可以对附图中示出的组件进行替换、添加或修改，并且可以通过对所公开的方法进行替换、重新排序、移除或添加步骤来修改本文描述的说明性方法。因此，以下详细描述不限于特定实施方式和示例，而是除了所附权利要求书所包含的一般原理之外，还包括本文所述和附图所示的一般原理。
本公开涉及用于向用户提供扩展现实环境的系统和方法。术语“扩展现实环境”也可称为“扩展现实”、“扩展现实空间”或“扩展环境”，是指至少部分地通过计算机技术产生的所有类型的现实和虚拟组合环境以及人机交互。扩展的现实环境可以是用户可以从不同视角感知的完全模拟的虚拟环境或组合的现实和虚拟环境。在一些示例中，用户可以与扩展现实环境的元件交互。扩展现实环境的一个非限制性示例可以是虚拟现实环境，也称为“虚拟现实”或“虚拟环境”。沉浸式虚拟现实环境可以是向用户提供存在于虚拟环境中的感知的模拟非物理环境。扩展现实环境的另一个非限制性示例可以是增强现实环境，也称为“增强现实”或“增强环境”。增强现实环境可涉及用虚拟的、计算机生成的感知信息(诸如用户可与其交互的虚拟对象)增强的物理真实世界环境的实况直接视图(live direct view)或实况间接视图(live indirect view)。扩展现实环境的另一非限制性示例是混合现实环境，也称为“混合现实”或“混合环境”。混合现实环境可以是物理现实世界与虚拟环境的混合，其中，物理对象和虚拟对象可以共存并实时交互。在一些示例中，增强现实环境和混合现实环境两者都可以包括现实世界和虚拟世界的组合、实时交互以及虚拟和现实对象的准确3D配准。在一些示例中，增强现实环境和混合现实环境都可以包括可被添加到物理环境的建设性的叠加的感觉信息。在其他示例中，增强现实环境和混合现实环境两者都可以包括破坏性虚拟内容，该破坏性虚拟内容可以掩盖物理环境的至少一部分。
在一些实施方式中，所述系统和方法可以使用扩展现实装置来提供扩展现实环境。术语扩展现实装置可以包括使用户能够感知和/或与扩展现实环境交互的任何类型的设备或系统。扩展现实装置可以使用户能够通过一个或更多个感觉形态来感知扩展现实环境和/或与扩展现实环境交互。此类感觉形态的一些非限制性实例可包括视觉、听觉、触觉、体感和嗅觉。扩展现实装置的一个示例是使得用户能够感知虚拟现实环境和/或与虚拟现实环境交互的虚拟现实装置。扩展现实装置的另一示例是使得用户能够感知增强现实环境和/或与增强现实环境交互的增强现实装置。扩展现实装置的又一示例是使得用户能够感知混合现实环境和/或与混合现实环境交互的混合现实装置。
根据本公开的一个方面，扩展现实装置可以是可穿戴设备(诸如头戴式设备，例如智能眼镜、智能隐形眼镜、头戴式耳机或由人佩戴的用于向人呈现扩展现实的任何其他设备。其它扩展现实装置可以包括全息投影仪或能够提供增强现实(AR)、虚拟现实(VR)、混合现实(MR)或任何沉浸体验的任何其它设备或系统。可穿戴扩展现实装置的典型组件可以包括以下中的至少一个：立体头戴式显示器、立体头戴式音响系统、头部运动跟踪传感器(例如陀螺仪、加速度计、磁力计、图像传感器、结构光传感器等)、头戴式投影仪、眼跟踪传感器和下述附加部件。根据本公开的另一个方面，扩展现实装置可以是非可穿戴的扩展现实装置。具体地，非可穿戴的扩展现实装置可以包括多投影环境设备。在一些实施方式中，扩展现实装置可以被配置成响应于用户的移动并且特别是响应于用户的头部移动来改变扩展现实环境的观看视角。在一示例中，可穿戴扩展现实装置可以响应于用户头部姿态的改变来改变扩展现实环境的视场，例如通过改变空间取向而不改变用户在扩展现实环境中的空间位置。在另一示例中，非可穿戴的扩展现实装置可以响应于用户在现实世界中的位置的改变而改变用户在扩展现实环境中的空间位置，例如，通过改变用户在扩展现实环境中的空间位置而不改变相对于所述空间位置的视场方向。
根据一些实施方式，一种扩展现实装置可以包括数字通信设备，该数字通信设备被配置成用于以下各项中的至少一项：接收被配置为使得能够呈现虚拟内容的虚拟内容数据；发送用于与至少一个外部设备共享的虚拟内容；从至少一个外部设备接收情境数据；向至少一个外部设备发送情境数据；发送指示扩展现实装置的使用的使用数据；以及基于使用扩展现实装置中包括的至少一个传感器捕捉的信息来发送数据。在另外的实施方式中，扩展现实装置可以包括用于存储以下项中的至少一项的存储器：虚拟数据，其被配置为使能呈现虚拟内容；情境数据；使用数据，其指示扩展现实装置的使用；传感器数据，其基于使用扩展现实装置中包括的至少一个传感器捕捉的信息；被配置为使处理设备呈现虚拟内容的软件指令；被配置为使处理设备收集和分析情境数据的软件指令；被配置为使处理设备收集并分析所述使用数据的软件指令；以及被配置为使处理设备收集并分析所述传感器数据的软件指令。在另外的实施方式中，扩展现实装置可以包括被配置为执行以下项中的至少一项的处理设备：虚拟内容的呈现；情境数据的收集和分析；使用数据的收集和分析；以及传感器数据的收集和分析。在另外的实施方式中，扩展现实应用可以包括一个或更多个传感器。所述一个或更多个传感器可以包括一个或更多个图像传感器(例如，被配置成拍摄该装置的用户或该用户的环境的图像和/或视频)、一个或更多个运动传感器(例如，加速度计、陀螺仪、磁力计等)、一个或更多个定位传感器(例如，GPS、室外定位传感器、室内定位传感器等)、一个或更多个温度传感器(例如，被配置成测量该装置和/或该环境的至少一部分的温度)、一个或更多个接触传感器、一个或更多个接近传感器(例如，被配置成检测该装置当前是否被穿戴)、一个或更多个电阻抗传感器(例如，被配置成测量该用户的电阻抗)、一个或更多个眼跟踪传感器(例如，凝视检测器、光学跟踪器、电位跟踪器(例如，眼电图(EOG)传感器)、基于视频的眼跟踪器、红外/近红外传感器、无源光传感器、或能够确定人在何处看着或注视的任何其他技术)。
在一些实施方式中，所述系统和方法可以使用输入设备来与扩展现实装置交互。术语“输入设备”可以包括被配置为接收来自用户或用户的环境的输入并向计算设备提供数据的任何物理设备。提供给计算设备的数据可以是数字格式的和/或模拟格式的。在一个实施方式中，输入设备可以将从用户接收到的输入存储在可由处理设备访问的存储器设备中，并且处理设备可以访问所存储的数据以进行分析。在另一实施方式中，输入设备可以直接向处理设备提供数据，例如通过总线或通过被配置为将数据从输入设备传送到处理设备的另一通信系统。在一些示例中，由输入设备接收到的输入可以包括键按压、触觉输入数据、运动数据、位置数据、基于手势的输入数据、方向数据或为了进行计算而提供的任何其他数据。输入设备的一些示例可包括按钮、按键、键盘、计算机鼠标、触摸板、触摸屏、操纵杆或可从其接收输入的另一机构。输入设备的另一示例可以包括集成计算接口设备，该集成计算接口设备包括用于从用户接收输入的至少一个物理组件。集成计算接口设备可以至少包括至少一个存储器、处理设备和用于接收来自用户的输入的至少一个物理组件。在一示例中，集成计算接口设备还可包括实现与其它计算设备的数字通信的数字网络接口。在一示例中，集成计算接口设备还可包括用于向用户输出信息的物理组件。在一些示例中，集成计算接口设备的所有组件可被包括在单个壳体中，而在其他示例中，组件可分布在两个或更多个壳体中。可包括在集成计算接口设备中的用于接收来自用户的输入的物理组件的一些非限制性示例可包括按钮、键、键盘、触摸板、触摸屏、操纵杆或可从其接收计算信息的任何其他机构或传感器中的至少一个。用于向用户输出信息的物理组件的一些非限制性示例可包括提供人类可感知的输出的灯光指示器(诸如LED指示器)、屏幕、触摸屏、蜂鸣器、音频扬声器或任何其他音频、视频或触觉设备中的至少一个。
在一些实施方式中，可以使用一个或多个图像传感器来捕获图像数据。在一些示例中，图像传感器可以被包括在扩展现实装置中、可穿戴设备中、可穿戴扩展现实装置中、输入设备中、用户环境中等等。在一些示例中，图像数据可以从存储器读取，可以从外部设备接收，可以被生成(例如，使用生成模型)等。图像数据的一些非限制性示例可包括图像、灰度图像、彩色图像、2D图像、3D图像、视频、2D视频、3D视频、帧、片段、从其它图像数据导出的数据等。在一些示例中，图像数据可以按照任何模拟或数字格式来编码。这种格式的一些非限制性示例可包括原始格式、压缩格式、未压缩格式、有损格式、无损格式、JPEG、GIF、PNG、TIFF、BMP、NTSC、PAL、SECAM、MPEG、MPEG-4Part 14、MOV、WMV、FLV、AVI、AVCHD、WebM、MKV等。
在一些实施方式中，扩展现实装置可以例如从输入设备接收数字信号。术语数字信号是指在时间上离散的一系列数字值。数字信号可以表示例如传感器数据、文本数据、语音数据、视频数据、虚拟数据或提供可感知信息的任何其它形式的数据。根据本公开，数字信号可以被配置为使扩展现实装置呈现虚拟内容。在一个实施方式中，虚拟内容可以按照选定的取向呈现。在该实施方式中，数字信号可以指示如扩展现实环境的环境中的视点的位置和角度。具体地，数字信号可以包括六自由度坐标(例如，前/后、上/下、左/右、偏航、俯仰和滚动)中的位置和角度的编码。在另一实施方式中，数字信号可以包括将位置编码为三维坐标(例如，x，y和z)，并且将角度编码为源自编码位置的向量。具体地，例如，通过对所呈现的虚拟内容相对于标准默认角度的偏航、俯仰和滚动进行编码，数字信号可以指示所述虚拟内容在环境的绝对坐标中的取向和角度。在另一实施方式中，例如通过对所呈现的虚拟内容相对于与视点相对应的方向或相对于与另一对象(例如，虚拟对象、物理对象等)相对应的方向的偏航、俯仰和滚动进行编码，数字信号可指示所述虚拟内容相对于所述另一对象的视点的取向和角度。在另一实施方式中，这种数字信号可以包括虚拟内容的一个或多个投影，例如，以准备好呈现的格式(例如，图像、视频等)。例如，每个这样的投影可以对应于特定取向或特定角度。在另一实施方式中，例如通过以三维体素阵列、多边形网格或可以呈现虚拟内容的任何格式对对象进行编码，数字信号可以包括虚拟内容的表示。
在一些实施方式中，数字信号可以被配置为使扩展现实装置呈现虚拟内容。术语“虚拟内容”可包括可由扩展现实装置向用户显示的任何类型的数据表示。虚拟内容可以包括虚拟对象、静止的虚拟内容、被配置为随时间或响应于触发而改变的活动的虚拟内容、虚拟二维内容、虚拟三维内容、物理环境的一部分上或物理对象上的虚拟覆盖层、物理环境或物理对象的虚拟添加、虚拟促销内容、物理对象的虚拟表示、物理环境的虚拟表示、虚拟文档、虚拟人物或人物角色、虚拟计算机屏幕、虚拟窗件或用于虚拟显示信息的任何其他格式。根据本公开，虚拟内容可以包括由计算机或处理设备呈现的任何视觉呈现。在一个实施方式中，虚拟内容可以包括虚拟对象，该虚拟对象是由计算机在受限区域中呈现的视觉呈现，并且被配置成表示特定类型的对象(诸如静止虚拟对象、活动虚拟对象、虚拟家具、虚拟装饰对象、虚拟窗口小部件或其它虚拟表示)。所呈现的视觉呈现可以改变以反映对象状态的改变或对象的视角的改变，例如，以模仿物理对象外观的改变的方式。在另一实施方式中，虚拟内容可以包括虚拟显示器(在此也称为“虚拟显示屏”或“虚拟屏幕”)，诸如虚拟计算机屏幕、虚拟平板屏幕或虚拟智能电话屏幕，其被配置为显示由操作系统生成的信息，其中，操作系统可以被配置为从物理键盘和/或虚拟键盘接收文本数据，并使得文本内容显示在虚拟显示屏中。在一示例中，如图1所示，虚拟内容可以包括虚拟环境，该虚拟环境包括虚拟计算机屏幕和多个虚拟对象。在一些示例中，虚拟显示器可以是模仿和/或扩展物理显示屏的功能的虚拟对象。例如，可以使用扩展现实装置在扩展现实环境(诸如混合现实环境、增强现实环境、虚拟现实环境等)中呈现虚拟显示器。在一示例中，虚拟显示器可以呈现由常规操作系统产生的内容，该内容同样可以呈现在物理显示屏上。在一示例中，当文本内容被键入时，使用键盘(例如，使用物理键盘、使用虚拟键盘等)输入的文本内容可以实时地呈现在虚拟显示器上。在一示例中，虚拟光标可以呈现在虚拟显示器上，并且虚拟光标可以由指示设备(诸如物理指示设备、虚拟指示设备、计算机鼠标、操纵杆、触摸板、物理触摸控制器等)控制。在一示例中，图形用户界面操作系统的一个或更多个窗口可以呈现在虚拟显示器上。在另一示例中，呈现在虚拟显示器上的内容可以是交互式的，即，它可以响应于用户动作而改变。在又一示例中，虚拟显示器的呈现可以包括屏幕帧的呈现，或者可以不包括屏幕帧的呈现。
一些公开的实施方式可以包括和/或访问数据结构或数据库。根据本公开，术语数据结构和数据库可以包括数据值和它们之间的关系的任何集合。数据可以被线性地、水平地、分层地、有关系地、无关系地、一维地、多维地、可操作地、以有序的方式、以无序的方式、以面向对象的方式、以集中的方式、以分散的方式、以分布的方式、以定制的方式、或以允许数据访问的任何方式存储。作为非限制性示例，数据结构可包括数组、关联数组、链表、二叉树、平衡树、堆、栈、队列、集合、散列表、记录、标签联合、实体关系模型、图、超图、矩阵、张量等。例如，数据结构可以包括XML数据库、RDBMS数据库、SQL数据库或用于数据存储/搜索的NoSQL另选，例如，MongoDB、Redis、Couchbase、Datastax Enterprise Graph、弹性搜索、Splunk、Solr、Cassandra、Amazon DynamoDB、Scylla、HBase和Neo4J。数据结构可以是所公开的系统的组件或远程计算组件(例如，基于云的数据结构)。数据结构中的数据可以存储在连续或非连续存储器中。此外，数据结构不需要同地协作的信息。它可以分布在例如可以由相同或不同实体拥有或操作的多个服务器上。因此，单数形式的术语数据结构包括多个数据结构。
在一些实施方式中，系统可以确定接收到的输入或任何确定的值的置信水平。术语置信水平表示指示系统在所确定的数据处具有的置信度量的水平(例如，在预定范围内)的任何指示、数字或其他指示。例如，置信水平可以具有1至10之间的值。另选地，置信水平可表示为百分比或任何其它数值或非数值指示。在一些情况下，系统可以将置信水平与阈值进行比较。术语阈值可以表示参考值、水平、点或值的范围。在操作中，当所确定的数据的置信水平超过阈值(或低于阈值，取决于特定的使用情况)时，系统可以遵循第一动作过程，而当置信水平低于阈值(或高于阈值，取决于特定的使用情况)时，系统可以遵循第二动作过程。阈值的值可以针对每种类型的被检查对象而预先确定，或者可以基于不同的考虑而动态地选择。
系统概述
现在参考图1，其示出了使用根据本公开的各种实施方式的示例扩展现实系统的用户。图1仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。如图所示，用户100坐在桌子102后面，桌子支承键盘104和鼠标106。键盘104通过电线108连接到可穿戴扩展现实装置110，该可穿戴扩展现实装置向用户100显示虚拟内容。作为电线108的另选或补充，键盘104可以无线地连接到可穿戴扩展现实装置110。出于说明的目的，可穿戴扩展现实装置被描绘为一副智能眼镜，但是如上所述，可穿戴扩展现实装置110可以是用于向用户100呈现扩展现实的任何类型的头戴式设备。由可穿戴扩展现实装置110显示的虚拟内容包括虚拟屏幕112(在此也称为“虚拟显示屏幕”或“虚拟显示”)和多个虚拟窗口小部件114。虚拟窗口小部件114A-114D在虚拟屏幕112旁边显示，并且虚拟窗口小部件114E显示在桌子102上。用户100可以使用键盘104向显示在虚拟屏幕112中的文档116输入文本；并且可以使用鼠标106来控制虚拟光标118。在一示例中，虚拟光标118可以移动到虚拟屏幕112内的任何地方。在另一示例中，虚拟光标118可以移动到虚拟屏幕112内的任何地方，并且还可以移动到虚拟窗口小部件114A-114D中的任何一个而不移动到虚拟窗口小部件114E。在又一示例中，虚拟光标118可以移动到虚拟屏幕112内的任何地方，并且还可以移动到虚拟窗口小部件114A-114E中的任何一个。在附加示例中，虚拟光标118可以在包括虚拟屏幕112和虚拟窗口小部件114A-114E的扩展现实环境中的任何地方移动。在又一示例中，虚拟光标可在扩展现实环境中的所有可用表面(即，虚拟表面或物理表面)上移动或仅在所选表面上移动。另选地或附加地，用户100可以使用由可穿戴扩展现实装置110识别的手势来与虚拟窗口小部件114A-114E中的任何一个或与所选择的虚拟窗口小部件交互。例如，虚拟窗口小部件114E可以是可以用手势操作的交互式窗口小部件(例如，虚拟滑块控制器)。
图2示出了向如用户100的用户提供扩展现实(XR)体验的系统200的示例。图2仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。系统200可以是基于计算机的，并且可以包括计算机系统组件、可穿戴设备、工作站、平板电脑、手持式计算设备、存储设备和/或连接这些组件的内部网络。系统200可以包括或连接到用于支持由系统200提供的服务的各种网络计算资源(例如，服务器、路由器、交换机、网络连接、存储设备等)。根据本公开，系统200可以包括输入单元202、XR单元204、移动通信设备206和远程处理单元208。远程处理单元208可以包括联接到如数据结构212的一个或更多个物理或虚拟存储设备的服务器210。系统200还可以包括或连接到通信网络214，该通信网络214促进不同系统组件和与系统200相关联的不同实体之间的通信和数据交换。
根据本公开，输入单元202可以包括可以从用户100接收输入的一个或更多个设备。在一个实施方式中，输入单元202可以包括文本输入设备，例如键盘104。文本输入设备可以包括用于向系统200输入文本信息的所有可能类型的设备和机构。文本输入设备的示例可以包括机械键盘、薄膜键盘、柔性键盘、QWERTY键盘、Dvorak键盘、Colemak键盘、弦键盘、无线键盘、小键盘、基于键的控制板或其它控制键阵列、视觉输入设备或用于输入文本的任何其它机构(无论该机构是以物理形式提供还是虚拟呈现的)。在一个实施方式中，输入单元202还可以包括指示输入设备，例如鼠标106。指示输入设备可以包括用于向系统200输入二维或三维信息的所有可能类型的设备和机构。在一示例中，来自指示输入设备的二维输入可用于与经由XR单元204呈现的虚拟内容交互。指示输入设备的示例可以包括计算机鼠标、轨迹球、触摸板、轨迹板、触摸屏、操纵杆、指示棒、指示笔、光笔或任何其他物理或虚拟输入机构。在一个实施方式中，输入单元202还可以包括图形输入设备，例如被配置为检测接触、移动或移动中断的触摸屏。图形输入设备可以使用多种触摸灵敏度技术中的任何一种，包括但不限于电容、电阻、红外和表面声波技术以及用于确定一个或更多个接触点的其它接近传感器阵列或其它元件。在一个实施方式中，输入单元202还可以包括一个或更多个语音输入设备，例如麦克风。语音输入设备可以包括用于输入语音数据的所有可能类型的设备和机构，以便于支持语音的功能，例如语音识别、语音复制、数字记录和电话功能。在一个实施方式中，输入单元202还可以包括被配置为捕获图像数据的一个或更多个图像输入设备，例如图像传感器。在一个实施方式中，输入单元202还可以包括一个或更多个触觉手套，所述触觉手套被配置为捕捉手移动和姿势数据。在一个实施方式中，输入单元202还可以包括一个或更多个接近传感器，所述接近传感器被配置为检测传感器附近的选定区域中的对象的存在和/或移动。
根据一些实施方式，该系统可以包括至少一个传感器，所述至少一个传感器被配置成检测和/或测量与该用户、该用户的动作、或用户的环境相关联的特性。所述至少一个传感器的一个示例是包括在输入单元202中的传感器216。传感器216可以是运动传感器、触摸传感器、光传感器、红外传感器、音频传感器、图像传感器、接近传感器、定位传感器、陀螺仪、温度传感器、生物测定传感器、或任何其它传感设备以促进相关功能。传感器216可以与输入设备集成或连接到输入设备，或者它可以与输入设备分离。在一示例中，可以在鼠标106中包括温度计以确定用户100的体温。在另一示例中，定位传感器可与键盘104集成以确定用户100相对于键盘104的移动。这样的定位传感器可以使用以下技术之一来实现：全球定位系统(GPS)、全球导航卫星系统(GLONASS)、伽利略全球导航系统、北斗导航系统、其他全球导航卫星系统(GNSS)、印度区域性导航卫星系统(IRNSS)、本地定位系统(LPS)、实时定位系统(RTLS)、室内定位系统(IPS)、基于Wi-Fi的定位系统、蜂窝三角测量法、基于图像的定位技术、室内定位技术、室外定位技术或任何其他定位技术。
根据一些实施方式，该系统可以包括用于识别物理设备(诸如物理输入设备、物理计算设备、键盘104、鼠标106、可穿戴扩展现实装置110等)的位置和/或移动的一个或更多个传感器。所述一个或更多个传感器可以包括在物理设备中，或者可以位于物理设备外部。在一些示例中，可以使用物理设备外部的图像传感器(例如，包括在另一物理设备中的图像传感器)来捕捉物理设备的图像数据，并且可以分析图像数据以识别物理设备的位置和/或移动。例如，可以使用视觉对象跟踪算法来分析图像数据以识别物理设备的移动，可以使用视觉对象检测算法来分析图像数据以识别物理设备的位置(例如，相对于图像传感器、在全局坐标系中等)等。在一些示例中，包括在物理设备中的图像传感器可以用于捕捉图像数据，并且可以分析图像数据以识别物理设备的位置和/或移动。例如，可以使用视觉测程算法来分析图像数据以识别物理设备的位置，可以使用自我运动算法来分析图像数据以识别物理设备的移动等。在一些示例中，诸如室内定位传感器或室外定位传感器等定位传感器可被包括在物理设备中，并可用于确定物理设备的位置。在一些示例中，诸如加速度计或陀螺仪的运动传感器可被包括在物理设备中，并可用于确定物理设备的运动。在一些示例中，诸如键盘或鼠标的物理设备可被配置成位于物理表面上。这种物理设备可以包括瞄准物理表面的光学鼠标传感器(也称为非机械跟踪引擎)，并且可以分析光学鼠标传感器的输出以确定物理设备相对于物理表面的移动。
根据本公开，XR单元204可以包括被配置为向用户100呈现虚拟内容的可穿戴扩展现实装置。可穿戴扩展现实装置的一个示例是可穿戴扩展现实装置110。可穿戴扩展现实装置的附加示例可以包括虚拟现实(VR)设备、增强现实(AR)设备、混合现实(MR)设备或能够生成扩展现实内容的任何其他设备。这种设备的一些非限制性示例可以包括Nreal Light、Magic Leap One、Varjo、Quest 1/2、Vive等。在一些实施方式中，XR单元204可向用户100呈现虚拟内容。通常，扩展现实装置可以包括由计算机技术和可穿戴物生成的所有真实和虚拟的组合环境和人机交互。如上所述，术语“扩展现实”(XR)是指包括从“完全现实”到“完全虚拟”的整个范围的超集。它包括代表性的形式，例如增强现实(AR)、混合现实(MR)、虚拟现实(VR)和在它们之间内插的区域。因此，应当注意，术语“XR装置”、“AR装置”、“VR装置”和“MR装置”在这里可以互换使用，并且可以指上述各种装置中的任何装置。
根据本公开，所述系统可以和与用户相关联的各种通信设备(例如移动通信设备206)交换数据。术语“通信设备”旨在包括能够使用数字通信网络、模拟通信网络或被配置为传送数据的任何其他通信网络来交换数据的所有可能类型的设备。在一些示例中，通信设备可以包括智能电话、平板计算机、智能手表、个人数字助理、台式计算机、膝上型计算机、IoT设备、专用终端、可穿戴通信设备以及能够进行数据通信的任何其他设备。在一些情况下，移动通信设备206可以补充或替换输入单元202。具体地，移动通信设备206可以与可以用作指示输入设备的物理触摸控制器相关联。此外，移动通信设备206还可以例如用于实现虚拟键盘并代替文本输入设备。例如，当用户100离开桌子102并且带着他的智能眼镜走到休息室时，他可能接收到需要快速回答的电子邮件。在这种情况下，用户可以选择使用他或她自己的智能手表作为输入设备，并且在通过智能眼镜虚拟地呈现电子邮件时键入对电子邮件的回答。
根据本公开，系统的实施方式可以涉及云服务器的使用。术语“云服务器”是指经由如因特网的网络提供服务的计算机平台。在图2所示的示例实施方式中，服务器210可以使用可能不对应于单个硬件的虚拟机。例如，计算和/或存储能力可以通过从可扩展储存库(例如数据中心或分布式计算环境)分配期望的计算/存储能力的适当部分来实现。具体地，在一个实施方式中，远程处理单元208可以与XR单元204一起使用以向用户100提供虚拟内容。在一个示例配置中，服务器210可以是用作可穿戴扩展现实装置的操作系统(OS)的云服务器。在一示例中，服务器210可以使用定制的硬连线逻辑、一个或更多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)、固件和/或程序逻辑来实现在此描述的方法，所述定制的硬连线逻辑、一个或更多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)、固件和/或程序逻辑与计算机系统相结合使得服务器210是专用机器。
在一些实施方式中，服务器210可以访问数据结构212以确定例如显示给用户100的虚拟内容。数据结构212可以利用易失性或非易失性的、磁性的、半导体、磁带、光学的、可移除的、不可移除的、其它类型的存储设备或有形或非暂时性计算机可读介质，或用于存储信息的任何介质或机构。如图所示，数据结构212可以是服务器210的一部分或与服务器210分离。当数据结构212不是服务器210的一部分时，服务器210可以经由通信链路与数据结构212交换数据。数据结构212可以包括存储用于执行所公开的方法的一个或更多个特征的数据和指令的一个或更多个存储器设备。在一个实施方式中，数据结构212可以包括多个适当数据结构中的任何一种，范围从工作站上托管的小数据结构到分布在数据中心中的大数据结构。数据结构212还可以包括由存储器控制器设备(例如，服务器)或软件控制的一个或更多个数据结构的任何组合。
根据本公开，通信网络可以是支持通信、交换信息和/或促进系统的组件之间的信息交换的任何类型的网络(包括基础设施)。例如，系统200中的通信网络214可以包括例如电话网络、外联网、内联网、因特网、卫星通信、离线通信、无线通信、应答器通信、局域网(LAN)、无线网络(例如，Wi-Fi/302.11网络)、广域网(WAN)、虚拟专用网络(VPN)、数字通信网络、模拟通信网络、或能够进行数据传输的任何其它机构或机构的组合。
图2所示的系统200的组件和布置仅旨在是示例性的，而不旨在限制任何实施方式，因为用于实现所公开的过程和特征的系统组件可以变化。
图3是输入单元202的示例性配置的框图。图3仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。在图3的实施方式中，输入单元202可以直接或间接地访问总线300(或其它通信机制)，总线300使子系统和组件互连以在输入单元202内传送信息。例如，总线300可以将存储器接口310、网络接口320、输入接口330、电源340、输出接口350、处理设备360、传感器接口370和数据库380互连。
图3所示的存储器接口310可用于访问存储在非暂时性计算机可读介质上的软件产品和/或数据。一般来说，非暂时性计算机可读存储介质是指其上可存储可由至少一个处理器读取的信息或数据的任何类型的物理存储器。示例包含随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、硬盘驱动器、CD ROM、DVD、闪存驱动器、磁盘、任何其它光学数据存储介质、具有孔的图案的任何物理介质、PROM、EPROM、FLASH-EPROM或任何其它闪速存储器、NVRAM、高速缓冲存储器、寄存器、任何其它存储器芯片或存储器盒及其联网版本。术语“存储器”和“计算机可读存储介质”可以指多个结构，诸如位于输入单元内或位于远程位置的多个存储器或计算机可读存储介质。另外，一个或更多个计算机可读存储介质可用于实现计算机实现的方法。因此，术语计算机可读存储介质应当被理解为包括有形的物品并且排除载波和暂时性信号。在图3所示的特定实施方式中，存储器接口310可用于访问存储在如存储器设备311等存储器设备上的软件产品和/或数据。存储器装置311可包含高速随机存取存储器及/或非易失性存储器，例如一个或更多个磁盘存储设备、一个或更多个光学存储设备及/或闪速存储器(例如，NAND、NOR)。根据本公开，存储器设备311的组件可分布于系统200的更多个单元中及/或更多个存储器设备中。
图3中所示的存储器设备311可包含执行根据本公开的过程的软件模块。具体来说，存储器设备311可包含输入确定模块312、输出确定模块313、传感器通信模块314、虚拟内容确定模块315、虚拟内容通信模块316以及数据库存取模块317。模块312至317可以包含由与输入单元202相关联的至少一个处理器(例如，处理设备360)执行的软件指令。输入确定模块312、输出确定模块313、传感器通信模块314、虚拟内容确定模块315、虚拟内容通信模块316和数据库访问模块317可协作以执行各种操作。例如，输入确定模块312可以使用从例如键盘104接收到的数据来确定文本。此后，输出确定模块313可以使得例如在物理地或无线地联接到键盘104的专用显示器352上呈现最近输入的文本。这样，当用户100键入时，他可以看到所键入的文本的预览，而无需不断地上下移动他的头部来查看虚拟屏幕112。传感器通信模块314可以从不同的传感器接收数据以确定用户100的状态。此后，虚拟内容确定模块315可以基于所接收的输入和所确定的用户100的状态来确定要显示的虚拟内容。例如，所确定的虚拟内容可以是最近输入的文本在虚拟地位于键盘104附近的虚拟屏幕上的虚拟呈现。虚拟内容通信模块316可获得未由虚拟内容确定模块315确定的虚拟内容(例如，另一用户的化身)。虚拟内容的取回可以来自数据库380、来自远程处理单元208或任何其它源。
在一些实施方式中，输入确定模块312可以调整输入接口330的操作，以便接收指点器输入331、文本输入332、音频输入333和XR相关输入334。上面描述了指针输入、文本输入和音频输入的细节。术语“XR相关输入”可包括可引起显示给用户100的虚拟内容的变化的任何类型的数据。在一个实施方式中，XR相关输入334可以包括用户100的图像数据、可穿戴扩展现实装置(例如，检测到的用户100的手势)。在另一实施方式中，XR相关输入334可包括指示另一用户存在于用户100附近的无线通信。根据本公开，输入确定模块312可同时接收不同类型的输入数据。此后，输入确定模块312可以基于所检测到的输入类型进一步应用不同的规则。例如，指针输入可以优先于语音输入。
在一些实施方式中，输出确定模块313可以调节输出接口350的操作，以便使用灯光指示器351、显示器352和/或扬声器353来生成输出。通常，由输出确定模块313生成的输出不包括将由可穿戴扩展现实装置呈现的虚拟内容。相反，由输出确定模块313生成的输出包括与输入单元202的操作和/或XR单元204的操作相关的各种输出。在一个实施方式中，灯光指示器351可以包括显示可穿戴扩展现实装置的状态的灯光指示器。例如，当可穿戴扩展现实装置110连接到键盘104时，灯光指示器可以显示绿灯，而当可穿戴扩展现实装置110具有低电量时，灯光指示器闪烁。在另一实施方式中，显示器352可用于显示操作信息。例如，当可穿戴扩展现实装置不可操作时，显示器可呈现错误消息。在另一实施方式中，扬声器353可用于输出音频，例如，当用户100希望为其他用户播放一些音乐时。
在一些实施方式中，传感器通信模块314可以调节传感器接口370的操作，以便从与输入设备集成或连接到输入设备的一个或更多个传感器接收传感器数据。所述一个或更多个传感器可以包括：音频传感器371、图像传感器372、运动传感器373、环境传感器374(例如，温度传感器、环境光检测器等)和其它传感器375。在一个实施方式中，从传感器通信模块314接收到的数据可用于确定输入设备的物理取向。输入设备的物理取向可以指示用户的状态，并且可以基于倾斜移动、滚动移动动和横向移动的组合来确定。此后，虚拟内容确定模块315可使用输入设备的物理取向来修改虚拟内容的显示参数以匹配用户的状态(例如，注意力、困倦、活动、坐着、站立、向后倾斜、向前倾斜、行走、移动、骑行等)。
在一些实施方式中，虚拟内容确定模块315可以确定将由可穿戴扩展现实装置显示的虚拟内容。可基于来自输入确定模块312、传感器通信模块314和其它源(例如，数据库380)的数据来确定虚拟内容。在一些实施方式中，确定虚拟内容可以包括确定虚拟对象的距离、大小和方向。虚拟对象的位置的确定可以基于虚拟对象的类型来确定。具体地，关于图1所示的示例，虚拟内容确定模块315可以确定将四个虚拟窗口小部件114A-114D放置在虚拟屏幕112的侧面上并且将虚拟窗口小部件114E放置在桌子102上，这是因为虚拟窗口小部件114E是虚拟控制器(例如，音量条)。虚拟对象的位置的确定还可以基于用户的偏好来确定。例如，对于惯用左手的用户，虚拟内容确定模块315可以确定将虚拟音量条放置在键盘104的左边；并且对于惯用右手的用户，虚拟内容确定模块315可以确定将虚拟音量条放置在键盘104的右边。
在一些实施方式中，虚拟内容通信模块316可以调整网络接口320的操作，以便从一个或更多个源获得要作为虚拟内容呈现给用户100的数据。一个或更多个源可以包括其他XR单元204、用户的移动通信设备206、远程处理单元208、公开可用信息等。在一个实施方式中，虚拟内容通信模块316可以与移动通信设备206通信，以便提供移动通信设备206的虚拟表示。例如，虚拟表示可以使用户100能够读取消息并与安装在移动通信设备206上的应用交互。虚拟内容通信模块316还可以调整网络接口320的操作，以便与其他用户共享虚拟内容。在一示例中，虚拟内容通信模块316可使用来自输入确定模块的数据来标识触发器(例如，触发器可包括用户的手势)并将内容从虚拟显示器传送到物理显示器(例如，TV)或传送到不同用户的虚拟显示器。
在一些实施方式中，数据库访问模块317可以与数据库380协作来取回所存储的数据。取回的数据可包括例如与不同虚拟对象相关联的隐私级别、虚拟对象与物理对象之间的关系、用户的偏好、用户的过去行为等。如上所述，虚拟内容确定模块315可以使用存储在数据库380中的数据来确定虚拟内容。数据库380可以包括单独的数据库，例如包括矢量数据库、栅格数据库、瓦片数据库、视口数据库和/或用户输入数据库。存储在数据库380中的数据可以从模块314-317或系统200的其它组件接收。此外，存储在数据库380中的数据可以使用数据录入、数据传送或数据上载作为输入来提供。
模块312-317可以用软件、硬件、固件、任何这些的混合等来实现。在一些实施方式中，模块312-317中的任一个或更多个以及与数据库380相关联的数据可以存储在XR单元204、移动通信设备206或远程处理单元208中。系统200的处理设备可以被配置为执行模块312-317的指令。在一些实施方式中，模块312-317的各方面可以用硬件、软件(包括在一个或更多个信号处理和/或专用集成电路中)、固件或其任何组合来实现，可由一个或更多个处理器单独地或以彼此的各种组合来执行。具体地，模块312-317可以被配置为彼此交互和/或与系统200的其他模块交互以执行根据公开的实施方式的功能。例如，输入单元202可以对来自XR单元204的数据执行包括图像处理算法的指令，以确定用户100的头部移动。此外，在整个说明书中关于输入单元202或关于输入单元202的组件描述的每个功能可以对应于用于执行所述功能的一组指令。这些指令不需要实现为单独的软件程序、过程或模块。存储器设备311可包括额外的模块和指令或更少的模块和指令。例如，存储器设备311可以存储操作系统，例如ANDROID、iOS、UNIX、OSX、WINDOWS、DARWIN、RTXC、LINUX或嵌入式操作系统，例如VXWorkS。操作系统可以包括用于处理基本系统服务和用于执行硬件相关任务的指令。
图3所示的网络接口320可以向如通信网络214的网络提供双向数据通信。在一个实施方式中，网络接口320可以包括综合业务数字网(ISDN)卡、蜂窝调制解调器、卫星调制解调器或调制解调器，以通过因特网提供数据通信连接。作为另一示例，网络接口320可以包括无线局域网(WLAN)卡。在另一个实施方式中，网络接口320可以包括连接到射频接收器和发射器和/或光(例如，红外)接收器和发射器的以太网端口。网络接口320的具体设计和实现可以取决于输入单元202要在其上工作的一个或更多个通信网络。例如，在一些实施方式中，输入单元202可以包括被设计为在GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络以及蓝牙网络上工作的网络接口320。在任何这样的实现方式中，网络接口320可以被配置成发送和接收携带数字数据流或表示各种类型的信息的数字信号的电、电磁或光信号。
图3所示的输入接口330可以接收来自各种输入设备的输入，例如键盘、鼠标、触摸板、触摸屏、一个或更多个按钮、操纵杆、麦克风、图像传感器以及被配置为检测物理或虚拟输入的任何其他设备。所接收的输入可以是以下各项中的至少一项的形式：文本；声音；语音；手势；身体姿势；触觉信息；以及由用户生成的任何其它类型的物理或虚拟输入。在所描绘的实施方式中，输入接口330可接收指点器输入331、文本输入332、音频输入333和XR相关输入334。在另外的实施方式中，输入接口330可以是集成电路，其可以充当处理设备360与上面列出的任何输入设备之间的桥。
图3所示的电源340可以向电力输入单元202提供电能，并且可选地还向XR单元204提供电能。通常，包括在本公开的任何设备或系统中的电源可以是能够重复地存储、分配或传送电力的任何设备，包括但不限于一个或更多个电池(例如铅酸电池、锂离子电池、镍氢电池、镍镉电池)、一个或更多个电容器、到外部电源的一个或更多个连接、一个或更多个电力转换器、或它们的任何组合。参考图3所示的示例，电源可以是移动的，这意味着输入单元202可以容易地由手携带(例如，电源340的总重量可以小于1磅)。电源的移动性使得用户100能够在各种情况下使用输入单元202。在其它实施方式中，电源340可与可用于对电源340充电的外部电源(例如电网)的连接相关联。此外，电源340可以被配置成对包括在XR单元204中的一个或更多个电池充电；例如，当一副扩展现实眼镜(例如，可穿戴扩展现实装置110)被放置在输入单元202上或附近时，该副扩展现实眼镜可以被充电(例如，无线地或非无线地)。
图3所示的输出接口350可以例如使用灯光指示器351、显示器352和/或扬声器353导致来自各种输出设备的输出。在一个实施方式中，输出接口350可以是集成电路，其可以充当处理设备360与上面列出的至少一个输出设备之间的桥梁。灯光指示器351可以包括一个或多个光源，例如与不同颜色相关联的LED阵列。显示器352可以包括屏幕(例如，LCD或点阵屏幕)或触摸屏。扬声器353可以包括音频耳机、助听器型设备、扬声器、骨传导耳机、提供触觉提示的接口、振动触觉刺激器等。
图3所示的处理设备360可以包括至少一个处理器，所述至少一个处理器被配置为执行计算机程序、应用、方法、过程或其他软件以执行本公开中描述的实施方式。通常，包括在本公开的任何设备或系统中的处理设备可以包括一个或更多个集成电路、微芯片、微控制器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)的全部或部分，或适于执行指令或执行逻辑操作的其他电路。处理设备可以包括至少一个处理器，所述至少一个处理器被配置为执行所公开的方法的功能，例如由IntelTM制造的微处理器。处理设备可以包括同时执行并行过程的单核或多核处理器。在一示例中，处理设备可以是配置有虚拟处理技术的单核处理器。处理设备可以实现虚拟机技术或其它技术以提供执行、控制、运行、操纵、存储等多个软件进程、应用、程序等的能力。在另一示例中，处理设备可包括配置成提供并行处理功能以允许与处理设备相关联的设备同时执行多个进程的多核处理器布置(例如，双核、四核等)。应了解，可实现其它类型的处理器布置以提供本文所公开的能力。
图3所示的传感器接口370可以从各种传感器获得传感器数据，例如音频传感器371、图像传感器372、运动传感器373、环境传感器374和其它传感器375。在一个实施方式中，传感器接口370可以是集成电路，其可以充当处理设备360与上面列出的传感器中的至少一个之间的桥梁。
音频传感器371可以包括被配置为通过将声音转换为数字信息来捕获音频的一个或更多个音频传感器。音频传感器的一些示例可以包括：麦克风；单向麦克风；双向麦克风；心形麦克风；全向麦克风；车载麦克风；有线麦克风；无线麦克风或上述的任何组合。根据本公开，处理装置360可基于从音频传感器371接收到的数据(例如，语音命令)来修改虚拟内容的呈现。
图像传感器372可以包括被配置成通过将光转换成图像数据来捕获视觉信息的一个或更多个图像传感器。根据本公开，图像传感器可以被包括在本公开的任何设备或系统中，并且可以是能够检测近红外、红外、可见光和紫外光谱中的光信号并将其转换为电信号的任何设备。图像传感器的示例可包括数字相机、电话相机、半导体电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)中的有源像素传感器或N型金属氧化物半导体(NMOS、LiveMOS)。电信号可用于生成图像数据。根据本公开，图像数据可包含像素数据流、数字图像、数字视频流、从所拍摄的图像导出的数据和可用于构造一个或更多个3D图像、3D图像序列、3D视频或虚拟3D表示的数据。由图像传感器372获取的图像数据可以通过有线或无线传输被发送到系统200的任何处理设备。例如，可以处理图像数据以便：检测对象；检测事件；检测动作；检测面部；检测人；识别已知人或可由系统200使用的任何其它信息。根据本公开，处理装置360可基于从图像传感器372接收到的图像数据来修改虚拟内容的呈现。
运动传感器373可以包括被配置为测量输入单元202的运动或输入单元202的环境中的对象的运动的一个或更多个运动传感器。具体地，这些运动传感器可以执行以下各项中的至少一项：检测输入单元202的环境中的对象的运动；测量输入单元202的环境中的对象的速度；测量输入单元202的环境中的对象的加速度；检测输入单元202的运动；测量输入单元202的速度；测量输入单元202的加速度等等。在一些实施方式中，运动传感器373可以包括一个或更多个加速度计，所述一个或更多个加速度计被配置为检测真正的加速度的变化和/或测量输入单元202的真正加速度。在其他实施方式中，运动传感器373可以包括一个或更多个陀螺仪，所述一个或更多个陀螺仪被配置为检测输入单元202的取向的变化和/或测量与输入单元202的取向相关的信息。在其他实施方式中，运动传感器373可以包括使用图像传感器、LIDAR传感器、雷达传感器或接近传感器中的一个或更多个。例如，通过分析所拍摄的图像，处理设备可以例如使用自我运动算法来确定输入单元202的运动。此外，处理设备可以例如使用对象跟踪算法来确定输入单元202的环境中的对象的运动。根据本公开，处理设备360可以基于所确定的输入单元202的运动或所确定的输入单元202的环境中的对象的运动来修改虚拟内容的呈现。例如，使虚拟显示器跟随输入单元202的移动。
环境传感器374可以包括来自不同类型的一个或更多个传感器，所述一个或更多个传感器被配置为捕获反映输入单元202的环境的数据。在一些实施方式中，环境传感器374可以包括被配置成执行以下各项中的至少一项的一个或更多个化学传感器：测量输入设备202的环境中的化学特性；测量输入设备202的环境中的化学特性变化；检测输入设备202的环境中化学品的存在；测量输入设备202的环境中化学品的浓度。此类化学性质的示例可包括：pH水平；毒性；和温度。此类化学品的示例可包括：电解质；特定酶；特定激素；特定蛋白质；烟雾；二氧化碳；一氧化碳；氧气；臭氧；氢气；和硫化氢。在其它实施方式中，环境传感器374可以包括一个或更多个温度传感器，所述一个或更多个温度传感器被配置为检测输入单元202的环境温度的变化和/或测量输入单元202的环境温度。在其他实施方式中，环境传感器374可以包括一个或更多个气压计，所述一个或更多个气压计被配置为检测输入单元202的环境中的大气压力的变化和/或测量输入单元202的环境中的大气压力。在其他实施方式中，环境传感器374可以包括被配置成检测输入单元202的环境中的环境光的变化的一个或更多个光传感器。根据本公开，处理设备360可以基于来自环境传感器374的输入来修改虚拟内容的呈现。例如，当用户100的环境变暗时，自动降低虚拟内容的亮度。
其它传感器375可包括重量传感器、光传感器、电阻传感器、超声传感器、接近传感器、生物识别传感器或其它传感装置以促进相关功能。在特定实施方式中，其它传感器375可以包括一个或更多个定位传感器，所述一个或更多个定位传感器被配置为获得输入单元202的定位信息，检测输入单元202的位置变化，和/或测量输入单元202的位置。或者，GPS软件可允许输入单元202访问外部GPS接收器(例如，经由串行端口或蓝牙连接)。根据本公开，处理设备360可以基于来自其他传感器375的输入来修改虚拟内容的呈现。例如，仅在使用来自生物识别传感器的数据识别了用户100之后才呈现隐私信息。
图3所示的部件和布置并不旨在限制任何实施方式。受益于本公开的本领域技术人员将理解，可以对输入单元202的所描绘的配置进行多种变化和/或修改。例如，不是所有部件在所有情况下都是输入单元操作所必需的。任何组件可位于输入单元的任何适当部分中，并且所述组件可重新布置成各种配置，同时提供各种实施方式的功能。例如，一些输入单元可以不包括如输入单元202中所示的所有元件。
图4是XR单元204的示例性配置的框图。图4仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。在图4的实施方式中，XR单元204可以直接或间接地访问总线400(或其它通信结构)，总线400将用于在XR单元204内传输信息的子系统和组件互连。例如，总线400可以将存储器接口410、网络接口420、输入接口430、电源440、输出接口450、处理设备460、传感器接口470和数据库480互连。
假定图4所示的存储器接口410具有与以上详细描述的存储器接口310的功能类似的功能。存储器接口410可用于访问存储在非暂时性计算机可读介质上或诸如存储器设备411等存储器设备上的软件产品和/或数据。存储器设备411可包含执行与根据本公开的过程的软件模块。具体来说，存储器设备411可包括输入确定模块412、输出确定模块413、传感器通信模块414、虚拟内容确定模块415、虚拟内容通信模块416和数据库存取模块417。模块412-417可以包含由与XR单元204相关联的至少一个处理器(例如，处理设备460)执行的软件指令。输入确定模块412、输出确定模块413、传感器通信模块414、虚拟内容确定模块415、虚拟内容通信模块416和数据库访问模块417可以协作以执行各种操作。例如，输入确定模块412可以确定从输入单元202接收到的用户界面(UI)输入。同时，传感器通信模块414可以从不同的传感器接收数据以确定用户100的状态。虚拟内容确定模块415可以基于所接收的输入和所确定的用户100的状态来确定要显示的虚拟内容。虚拟内容通信模块416可取回未由虚拟内容确定模块415确定的虚拟内容。可以从数据库380、数据库480、移动通信设备206或从远程处理单元208取回虚拟内容。基于虚拟内容确定模块415的输出，输出确定模块413可以引起投影仪454向用户100显示的虚拟内容的改变。
在一些实施方式中，输入确定模块412可以调整输入接口430的操作，以便接收手势输入431、虚拟输入432、音频输入433和UI输入434。根据本公开，输入确定模块412可同时接收不同类型的输入数据。在一个实施方式中，输入确定模块412可以基于检测到的输入类型来应用不同的规则。例如，手势输入可以优先于虚拟输入。在一些实施方式中，输出确定模块413可以调节输出接口450的操作，以便使用灯光指示器451、显示器452、扬声器453和投影仪454生成输出。在一个实施方式中，灯光指示器451可以包括显示可穿戴扩展现实装置的状态的灯光指示器。例如，当可穿戴扩展现实装置110连接到输入单元202时，灯光指示器可以显示绿灯，而当可穿戴扩展现实装置110具有低电量时，灯光指示器闪烁。在另一实施方式中，显示器452可用于显示操作信息。在另一个实施方式中，扬声器453可以包括用于向用户100输出音频的骨传导耳机。在另一实施方式中，投影仪454可向用户100呈现虚拟内容。
上面参考图3描述了传感器通信模块、虚拟内容确定模块、虚拟内容通信模块和数据库访问模块的操作，这里不再重复其细节。模块412-417可以用软件、硬件、固件、任何这些的混合等来实现。
假设图4所示的网络接口420具有与以上详细描述网络接口320的功能类似的功能。网络接口420的具体设计和实现可以取决于XR单元204要在其上工作的通信网络。例如，在一些实施方式中，XR单元204被配置为可通过电线选择性地连接到输入单元202。当通过电线连接时，网络接口420可以实现与输入单元202的通信；并且当未通过电线连接时，网络接口420可以实现与移动通信设备206的通信。
假设图4所示的输入接口430具有与以上详细描述的输入接口330的功能类似的功能。在此情况下，输入接口430可与图像传感器通信以获得手势输入431(例如，用户100的手指指向虚拟对象)，与其它XR单元204通信以获得虚拟输入432(例如，与XR单元204共享的虚拟对象或在虚拟环境中检测到的化身的手势)，与麦克风通信以获得音频输入433(例如，语音命令)，并且与输入单元202通信以获得UI输入434(例如，由虚拟内容确定模块315确定的虚拟内容)。
假设图4所示的电源440具有与以上详细描述电源340的功能类似的功能，只是它向XR单元204提供电能。在一些实施方式中，电源440可以由电源340充电。例如，当XR单元204放置在输入单元202上或附近时，电源440可以无线地充电。
假设图4所示的输出接口450具有与以上详细描述的输出接口350的功能类似的功能。在这种情况下，输出接口450可以导致灯光指示器451、显示器452、扬声器453和投影仪454的输出。投影仪454可以是能够投射(或引导)光以在表面上显示虚拟内容的任何设备、装置、仪器等。该表面可以是XR单元204的一部分、用户100的眼睛的一部分或用户100附近的物体的一部分。在一个实施方式中，投影仪454可以包括照明单元，该照明单元通过一个或更多个反射镜和镜片将光集中在有限的立体角内，并且在限定的方向上提供高的发光强度值。
假设图4所示的处理设备460具有与以上详细描述的处理设备360的功能类似的功能。当XR单元204连接到输入单元202时，处理设备460可以与处理设备360一起工作。具体地，处理设备460可以实现虚拟机技术或其他技术以提供执行、控制、运行、操纵、存储等多个软件过程、应用、程序等的能力。可以理解，可以实现其他类型的处理器布置以提供这里所公开的能力。
假定图4所示的传感器接口470具有与以上详细描述的传感器接口370的功能类似的功能。具体地，传感器接口470可以与音频传感器471、图像传感器472、运动传感器473、环境传感器474和其他传感器475通信。上面参考图3描述了音频传感器、图像传感器、运动传感器、环境传感器和其它传感器的操作，这里不再重复其细节。可以理解，可以使用其它类型和组合的传感器来提供这里公开的能力。
图4所示的部件和布置并不旨在限制任何实施方式。受益于本公开的本领域技术人员将理解，可对XR单元204的所示构造进行多种变化和/或修改。例如，并非所有部件在所有情况下都是XR单元204操作所必需的。任何组件可位于系统200的任何适当部分中，并且所述组件可重新布置成各种配置，同时提供各种实施方式的功能性。例如，一些XR单元可以不包括XR单元204中的所有元件(例如，可穿戴扩展现实装置110可以不具有灯光指示器451)。
图5是远程处理单元208的示例性配置的框图。图5仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件，而添加其他元件。在图5的实施方式中，远程处理单元208可以包括直接或间接访问总线500(或其它通信机制)的服务器210，总线500将用于在服务器210内传送信息的子系统和组件互连。例如，总线500可以将存储器接口510、网络接口520、电源540、处理设备560和数据库580互连。远程处理单元208还可以包括一个或更多个数据结构，例如数据结构212A、212B和212C。
假定图5所示的存储器接口510具有与以上详细描述的存储器接口310的功能类似的功能。存储器接口510可用于访问存储在非暂时性计算机可读介质上或其他存储器设备(诸如存储器设备311、411、511或数据结构212A、212B和212C)上的软件产品和/或数据。存储器装置511可含有软件模块以执行与本公开一致的过程。具体地，存储器设备511可以包括共享存储器模块512、节点注册模块513、负载平衡模块514、一个或更多个计算节点515、内部通信模块516、外部通信模块517和数据库访问模块(未示出)。模块512-517可以包含由与远程处理单元208相关联的至少一个处理器(例如，处理设备560)执行的软件指令。共享存储器模块512、节点注册模块513、负载平衡模块514、计算模块515和外部通信模块517可协作以执行各种操作。
共享存储器模块512可以允许远程处理单元208与系统200的其它组件之间的信息共享。在一些实施方式中，共享存储器模块512可以被配置为使处理设备560(以及系统200中的其他处理设备)能够访问、取回和存储数据。例如，使用共享存储器模块512，处理设备560可以执行以下至少一项：执行存储在存储设备511，数据库580或数据结构212A-C上的软件程序；将信息存储在存储设备511、数据库580或数据结构212A-C中；或从存储器装置511、数据库580或数据结构212A-C取回信息。
节点注册模块513可以被配置为跟踪一个或更多个计算节点515的可用性。在某些示例中，节点注册模块513可以被实现为：软件程序，例如由一个或更多个计算节点515执行的软件程序；硬件解决方案；或组合的软件和硬件解决方案。在一些实现中，节点注册模块513可以例如使用内部通信模块516与一个或更多个计算节点515通信。在一些示例中，一个或更多个计算节点515可以例如通过在启动时、在关闭时、按照恒定的间隔、在选定的时间、响应于从节点注册模块513接收的查询、或在任何其他确定的时间发送消息来向节点注册模块513通知其状态。在一些示例中，节点注册模块513可以例如通过在启动时、按照恒定的间隔、在选定的时间，或在任何其它确定的时间发送消息来查询一个或更多个计算节点515的状态。
负载平衡模块514可被配置成在一个或更多个计算节点515之间划分工作负载。在某些示例中，负载平衡模块514可以被实现为：软件程序，如由一个或更多个计算节点515执行的软件程序；硬件解决方案；或组合的软件和硬件解决方案。在一些实现中，负载平衡模块514可以与节点注册模块513交互，以便获得关于一个或更多个计算节点515的可用性的信息。在一些实现中，负载平衡模块514可以例如使用内部通信模块516与一个或更多个计算节点515通信。在一些示例中，一个或更多个计算节点515可以例如通过在启动时、在关闭时、按照恒定的间隔、在选定的时间、响应于从负载平衡模块514接收的查询、或在任何其他确定的时间发送消息来向负载平衡模块514通知它们的状态。在一些示例中，负载平衡模块514可以例如通过在启动时、按照恒定的间隔、在预选的时间、或在任何其它确定的时间发送消息来查询一个或更多个计算节点515的状态。
内部通信模块516可以被配置为从远程处理单元208的一个或更多个组件接收和/或发送信息。例如，可以通过内部通信模块516发送和/或接收控制信号和/或同步信号。在一个实施方式中，可以通过内部通信模块516发送和/或接收计算机程序的输入信息、计算机程序的输出信息和/或计算机程序的中间信息。在另一实施方式中，通过内部通信模块516接收的信息可存储在存储器设备511中、数据库580中、数据结构212A-C中或系统200中的其它存储器设备中。例如，可使用内部通信模块516来传输从数据结构212A取回的信息。在另一示例中，可以使用内部通信模块516来接收输入数据并将其存储在数据结构212B中。
外部通信模块517可以被配置为从系统200的一个或更多个组件接收和/或发送信息。例如，可以通过外部通信模块517发送和/或接收控制信号。在一个实施方式中，通过外部通信模块517接收到的信息可以存储在存储器设备511中、数据库580中、数据结构212A-C中和/或系统200中的任何存储器设备中。在另一实施方式中，可使用外部通信模块517将从数据结构212A-C中的任一者取回的信息传输到XR单元204。在另一实施方式中，可以使用外部通信模块517发送和/或接收输入数据。这种输入数据的示例可包括从输入单元202接收到的数据、使用一个或更多个传感器(例如，音频传感器471、图像传感器472、运动传感器473、环境传感器474、其他传感器475)从用户100的环境捕获的信息等。
在一些实施方式中，模块512-517的各方面可以通过硬件、软件(包括在一个或更多个信号处理和/或专用集成电路中)、固件或其任何组合来实现，可由一个或更多个处理器单独地或以彼此的各种组合来执行。具体地，模块512-517可以被配置为彼此交互和/或与系统200的其他模块交互以执行根据本公开的实施方式的功能。存储器设备511可包括额外的模块和指令或更少的模块和指令。
假设图5所示的网络接口520、电源540、处理设备560和数据库580具有与上面参考图4和图5描述的类似元件的功能类似的功能。上述组件的具体设计和实现可以基于系统200的实现而变化。此外，远程处理单元208可以包括更多或更少的组件。例如，远程处理单元208可以包括被配置为从一个或更多个输入设备接收直接输入的输入接口。
根据本公开，系统200的处理设备(例如，移动通信设备206内的处理器、服务器210内的处理器、诸如可穿戴扩展现实装置110等可穿戴扩展现实装置内的处理器和/或诸如键盘104等与可穿戴扩展现实装置110相关联的输入设备内的处理器)可使用机器学习算法来实现本文所公开的任何方法。在一些实施方式中，例如在下面描述的情况下，可以使用训练示例来训练机器学习算法(在本公开中也称为机器学习模型)。此类机器学习算法的一些非限制性示例可包括分类算法、数据回归算法、图像分割算法、视觉检测算法(诸如对象检测器、面部检测器、人物检测器、运动检测器、边缘检测器等)、视觉识别算法(诸如面部识别、人物识别、对象识别等)、语音识别算法、数学嵌入算法、自然语言处理算法、支持向量机、随机森林、最近邻居算法、深度学习算法、人工神经网络算法、卷积神经网络算法、递归神经网络算法、线性机器学习模型、非线性机器学习模型、集成算法等。例如，经训练的机器学习算法可以包括推理模型，诸如预测模型、分类模型、数据回归模型、聚类模型、分割模型、人工神经网络(诸如深度神经网络、卷积神经网络、递归神经网络等)、随机森林、支持向量机等。在一些示例中，训练示例可以包括示例输入以及对应于示例输入的期望输出。此外，在一些示例中，使用训练示例的训练机器学习算法可以生成训练机器学习算法，并且经训练的机器学习算法可以用于估计不包括在训练示例中的输入的输出。在一些示例中，训练机器学习算法的工程师、科学家、过程和机器可以进一步使用验证示例和/或测试示例。例如，验证示例和/或测试示例可以包括示例输入以及对应于示例输入的期望输出，可以使用经训练的机器学习算法和/或中间的经训练的机器学习算法来估计验证示例和/或测试示例的示例输入的输出，可以将所估计的输出与对应的期望输出进行比较，并且可以基于比较结果来评估经训练的机器学习算法和/或中间的经训练的机器学习算法。在一些示例中，机器学习算法可具有参数和超参数，其中超参数可由人手动设置或由机器学习算法外部的过程(例如超参数搜索算法)自动设置，并且机器学习算法的参数可由机器学习算法基于训练示例来设置。在一些实现中，可以基于训练示例和验证示例来设置超参数，并且可以基于训练示例和所选择的超参数来设置参数。例如，在给定超参数的情况下，参数可以有条件地独立于验证示例。
在一些实施方式中，经训练的机器学习算法(在本公开中也称为机器学习模型和经训练的机器学习模型)可以用于分析输入并生成输出，例如在下面描述的情况下。在一些示例中，经训练的机器学习算法可被用作当被提供有输入时生成推断的输出的推断模型。例如，经训练的机器学习算法可以包括分类算法，输入可以包括样本，并且推断的输出可以包括样本的分类(诸如推断的标签(label)、推断的标记(tag)等)。在另一示例中，经训练的机器学习算法可以包括回归模型，输入可以包括样本，并且推断的输出可以包括对应于该样本的推断值。在又一示例中，经训练的机器学习算法可以包括聚类模型，输入可以包括样本，并且推断的输出可以包括将样本分配给至少一个聚类。在另外的示例中，训练的机器学习算法可以包括分类算法，输入可以包括图像，并且推断的输出可以包括图像中描绘的项目的分类。在又一示例中，经训练的机器学习算法可包括回归模型，输入可包括图像，并且推断的输出可包括对应于图像中描绘的项目的推断值(例如项目的估计属性，诸如图像中描绘的人的大小、体积、年龄、距图像中描绘的项目的距离等)。在另外的示例中，训练的机器学习算法可以包括图像分割模型，输入可以包括图像，并且推断的输出可以包括图像的分割。在又一示例中，经训练的机器学习算法可以包括对象检测器，输入可以包括图像，并且推断的输出可以包括图像中的一个或更多个检测到的对象和/或图像内的对象的一个或更多个位置。在一些示例中，经训练的机器学习算法可以包括一个或更多个公式和/或一个或更多个函数和/或一个或更多个规则和/或一个或更多个过程，输入可以用作公式和/或函数和/或规则和/或过程的输入，并且推断的输出可以基于公式和/或函数和/或规则和/或过程的输出(例如，使用公式和/或函数和/或规则和/或过程等的输出的统计测量，选择公式和/或函数和/或规则和/或过程的输出之一)。
根据本公开，系统200的处理设备可分析由图像传感器(例如，图像传感器372、图像传感器472或任何其它图像传感器)捕获的图像数据以实施本文所揭示的任何方法。在一些实施方式中，分析图像数据可以包括分析图像数据以获得预处理的图像数据，并且随后分析图像数据和/或预处理的图像数据以获得期望的结果。本领域普通技术人员将认识到以下是示例，并且可以使用其他种类的预处理方法来预处理图像数据。在一些示例中，可以通过使用变换函数对图像数据进行变换来预处理图像数据以获得变换的图像数据，并且预处理的图像数据可以包括变换的图像数据。例如，变换的图像数据可以包括图像数据的一个或更多个卷积。例如，变换函数可以包括一个或更多个图像滤波器，诸如低通滤波器、高通滤波器、带通滤波器、全通滤波器等。在一些示例中，变换函数可以包括非线性函数。在一些示例中，可以通过平滑至少部分图像数据来预处理图像数据，例如使用高斯卷积、使用中值滤波器等。在一些示例中，图像数据可以被预处理以获得图像数据的不同表示。例如，预处理图像数据可以包括：图像数据的至少一部分在频域中的表示；所述图像数据的至少一部分的离散傅立叶变换；图像数据的至少一部分的离散小波变换；图像数据的至少一部分的时间/频率表示；所述图像数据的至少一部分在低维中的表示；图像数据的至少一部分的有损表示；图像数据的至少一部分的无损表示；上述任一项的时间序列；以上的任何组合等。在一些示例中，可以对图像数据进行预处理以提取边缘，并且预处理的图像数据可以包括基于所提取的边缘和/或与所提取的边缘相关的信息。在一些示例中，可以对图像数据进行预处理以从图像数据中提取图像特征。这样的图像特征的一些非限制性示例可以包括基于和/或涉及以下的信息：边缘；角部；斑点(blob)；隆起(ridge)；尺度不变特征变换(SIFT)特征；时间特征等。在一些示例中，分析图像数据可以包括计算图像数据的至少一部分的至少一个卷积，并且使用所计算的至少一个卷积来计算至少一个结果值和/或进行确定、标识、识别、分类等。
根据本公开的另一方面，系统200的处理设备可分析图像数据以实施本文所公开的任何方法。在一些实施方式中，分析图像可以包括使用一个或更多个规则、函数、过程、人工神经网络、对象检测算法、面部检测算法、视觉事件检测算法、动作检测算法、运动检测算法、背景减除算法、推理模型等来分析图像数据和/或预处理图像数据。这样的推理模型的一些非限制性示例可以包括：手动预编程的推理模型；分类模型；回归模型；训练示例的训练算法(例如机器学习算法和/或深度学习算法)的结果，其中，训练示例可包括数据实例的示例，并且在一些情况下，数据实例可用相应的期望标签和/或结果等来标记。在一些实施方式中，分析图像数据(例如通过这里描述的方法、步骤和模块)可以包括分析包括在图像数据中的像素、体素、点云、距离数据等。
卷积可以包括任何维度的卷积。一维卷积是将原始数字序列变换为经变换的数字序列的函数。一维卷积可以由标量序列定义。变换后的数字序列中的每个特定值可以通过计算对应于该特定值的原始数字序列的子序列中的值的线性组合来确定。计算的卷积的结果值可以包括变换的数字序列中的任何值。同样，n维卷积是将原始n维阵列变换成变换阵列的函数。n维卷积可以由标量的n维阵列(称为n维卷积的核)定义。可以通过计算原始阵列的n维区域中对应于特定值的值的线性组合来确定变换阵列中的每个特定值。所计算的卷积的结果值可以包括变换阵列中的任何值。在一些示例中，图像可包含一个或更多个分量(例如颜色分量、深度分量等)，并且每一分量可包含像素值的二维阵列。在一示例中，计算图像的卷积可以包括计算图像的一个或更多个分量的二维卷积。在另一示例中，计算图像的卷积可包括堆叠来自不同分量的阵列以创建三维阵列，并计算所得的三维阵列的三维卷积。在一些示例中，视频可以包括一个或更多个分量(诸如颜色分量、深度分量等)，并且每个分量可以包括像素值的三维阵列(具有两个空间轴和一个时间轴)。在一示例中，计算视频的卷积可以包括计算视频的一个或更多个分量的三维卷积。在另一示例中，计算视频的卷积可包括堆叠来自不同分量的阵列以创建四维阵列，并计算所得的四维阵列的四维卷积。
以下详细描述参考附图。只要可能，在附图和下面的描述中使用相同的附图标记来表示相同或相似的部件。虽然这里描述了几个说明性实施方式，但是修改、改编和其它实现是可能的。例如，可以对附图中示出的组件进行替换、添加或修改，并且可以通过对所公开的方法进行替换、重新排序、移除或添加步骤来修改本文描述的说明性方法。因此，以下详细描述不限于所公开的实施方式和示例，而是除了所附权利要求书所包含的一般原理之外，还包括本文所述和附图所示的一般原理。
本公开涉及用于向用户提供扩展现实环境的系统和方法。术语“扩展现实环境”也可称为“扩展现实”、“扩展现实空间”或“扩展环境”，是指至少部分地通过计算机技术产生的所有类型的现实和虚拟组合环境以及人机交互。扩展的现实环境可以是用户可从不同视角感知的完全模拟的虚拟环境或组合的现实环境和虚拟环境。在一些示例中，用户可以与扩展现实环境的元件交互。扩展现实环境的一个非限制性示例可以是虚拟现实环境，也称为“虚拟现实”或“虚拟环境”。沉浸式虚拟现实环境可以是向用户提供存在于虚拟环境中的感知的模拟非物理环境。扩展现实环境的另一个非限制性示例可以是增强现实环境，也称为“增强现实”或“增强环境”。增强现实环境可涉及用虚拟计算机生成的感知信息(诸如用户可与之交互的虚拟对象)增强的物理真实世界环境的实况直接或间接视图。扩展现实环境的另一非限制性示例是混合现实环境，也称为“混合现实”或“混合环境”。混合现实环境可以是物理现实世界和虚拟环境的混合，其中物理对象和虚拟对象可以共存并实时交互。在一些示例中，增强现实环境和混合现实环境两者都可以包括现实世界和虚拟世界的组合、实时交互以及虚拟对象和现实对象的准确3D配准。在一些示例中，增强现实环境和混合现实环境都可以包括可以添加到物理环境的建设性的叠加的感觉信息。在其他示例中，增强现实环境和混合现实环境两者都可以包括破坏性虚拟内容，该破坏性虚拟内容可以掩盖物理环境的至少一部分。
在一些实施方式中，该系统和方法可以使用扩展现实装置来提供扩展现实环境。术语扩展现实应用可以包括使用户能够感知和/或与扩展现实环境交互的任何类型的设备或系统。扩展现实应用可以使用户能够通过一个或更多个感觉模态来感知扩展现实环境和/或与扩展现实环境交互。此类感觉形态的一些非限制性示例可包括视觉、听觉、触觉、体感和嗅觉。扩展现实装置的一个示例是使得用户能够感知虚拟现实环境和/或与虚拟现实环境交互的虚拟现实设备。扩展现实装置的另一示例是增强现实设备，其使得用户能够感知增强现实环境和/或与增强现实环境交互。扩展现实装置的又一示例是混合现实设备，其使得用户能够感知混合现实环境和/或与混合现实环境交互。
根据本公开的一个方面，扩展现实装置可以是可穿戴设备，诸如头戴式设备，例如智能眼镜、智能隐形眼镜、头戴式耳机或由人佩戴的用于向人呈现扩展现实的任何其他设备。其它扩展的现实装置可以包括全息投影仪或能够提供增强现实(AR)、虚拟现实(VR)、混合现实(MR)或任何沉浸体验的任何其它设备或系统。可穿戴扩展现实装置的典型组件可以包括以下中的至少一个：立体头戴式显示器；立体头戴式音响系统；头部运动跟踪传感器(例如陀螺仪、加速度计、磁力计、图像传感器、结构化光传感器等)、头戴式投影仪、眼睛跟踪传感器和下述附加部件。根据本公开的另一个方面，扩展现实装置可以是非可穿戴的扩展现实装置。具体地，非可穿戴的扩展现实装置可以包括多投影(multi-projected)环境装置。在一些实施方式中，扩展现实装置可以被配置成响应于用户的移动并且具体是响应于用户的头部移动来改变扩展现实环境的观看视角。在一示例中，可穿戴扩展现实装置可以响应于用户头部姿态的改变来改变扩展现实环境的视场，例如通过改变空间取向而不改变用户在扩展现实环境中的空间位置。在另一示例中，非可穿戴的扩展现实装置可以响应于用户在现实世界中的位置的改变而改变用户在扩展现实环境中的空间位置，例如，通过改变用户在扩展现实环境中的空间位置而不改变视场相对于空间位置的方向。
根据一些实施方式，一种扩展现实装置可以包括数字通信装置，该数字通信装置被配置成用于以下各项中的至少一项：接收被配置为使得能够呈现虚拟内容的虚拟内容数据；发送用于与至少一个外部设备共享的虚拟内容；从至少一个外部设备接收情境数据；向至少一个外部设备发送情境数据；发送指示扩展现实装置的使用的使用数据；以及基于使用包括在扩展现实装置中的至少一个传感器捕获的信息来发送数据。在另外的实施方式中，扩展现实装置可以包括用于存储虚拟数据、上下文数据、指示扩展现实装置的使用的使用数据、基于使用包括在可穿戴扩展现实装置中的至少一个传感器捕获的信息的传感器数据、被配置为使处理设备呈现虚拟内容的软件指令、被配置为使处理设备收集和分析上下文数据的软件指令、被配置为使处理设备收集并分析所述使用数据的软件指令以及被配置为使处理设备收集并分析所述传感器数据的软件指令中的至少一项的存储器。在另外的实施方式中，扩展现实装置可以包括被配置为执行虚拟内容的呈现、收集和分析上下文数据、收集和分析使用数据、收集和分析使用数据以及收集和分析传感器数据中的至少一项。在另外的实施方式中，扩展现实应用可以包括一个或更多个传感器。所述一个或更多个传感器可以包括一个或更多个图像传感器(例如，被配置成捕获该装置的用户或该用户的环境的图像和/或视频)、一个或更多个运动传感器(例如，加速度计、陀螺仪、磁力计等)、一个或更多个定位传感器(例如，GPS、室外定位传感器、室内定位传感器等)、一个或更多个温度传感器(例如，被配置成测量该装置和/或该环境的至少一部分的温度)、一个或更多个接触传感器、一个或更多个接近传感器(例如，被配置成检测该装置当前是否被穿戴)、一个或更多个电阻抗传感器(例如，被配置成测量该用户的电阻抗)、一个或更多个眼睛跟踪传感器(例如凝视检测器)、光跟踪器、电位跟踪器(例如，眼电图(EOG)传感器)、基于视频的眼睛跟踪器、红外/近红外传感器、无源光传感器，或能够确定人在何处看着或注视的任何其他技术。
在一些实施方式中，所述系统和方法可以使用输入设备来与扩展现实装置交互。术语“输入设备”可以包括被配置为接收来自用户或用户环境的输入并向计算设备提供数据的任何物理设备。提供给计算设备的数据可以是数字格式和/或模拟格式。在一个实施方式中，输入设备可以将从用户接收到的输入存储在可由处理设备访问的存储器设备中，并且处理设备可以访问所存储的数据以进行分析。在另一实施方式中，输入设备可以直接向处理设备提供数据，例如通过总线或通过被配置为将数据从输入设备传送到处理设备的另一通信系统。在一些示例中，由输入设备接收的输入可以包括键按压、触觉输入数据、运动数据、位置数据、基于手势的输入数据、方向数据或用于提供计算的任何其他数据。输入设备的一些示例可包括按钮、键、键盘、计算机鼠标、触摸板、触摸屏、操纵杆或可从其接收输入的另一机构。输入设备的另一示例可以包括集成计算接口设备，该集成计算接口设备包括用于从用户接收输入的至少一个物理组件。集成计算接口设备可以至少包括存储器、处理设备和用于接收来自用户的输入的至少一个物理组件。在一示例中，集成计算接口设备还可包括实现与其它计算设备的数字通信的数字网络接口。在一示例中，集成计算接口设备还可包括用于向用户输出信息的物理组件。在一些示例中，集成计算接口设备的所有组件可被包括在单个壳体中，而在其他示例中，组件可分布在两个或更多个壳体中。可被包括在集成计算接口识别中的用于接收来自用户的输入的物理组件的一些非限制性示例可包括按钮、键、键盘、触摸板、触摸屏、操纵杆或可从其接收计算信息的任何其他机构或传感器中的至少一个。用于向用户输出信息的物理组件的一些非限制性示例可包括提供人类可感知的输出的灯光指示器(诸如LED指示器)、屏幕、触摸屏、蜂鸣器、音频扬声器或任何其他音频、视频或触觉设备中的至少一个。
在一些实施方式中，可以使用一个或更多个图像传感器来捕获图像数据。在一些示例中，图像传感器可以被包括在扩展现实装置中、可穿戴设备中、可穿戴扩展现实装置中、输入设备中、用户环境中等。在一些示例中，图像数据可以从存储器读取，可以从外部设备接收，可以生成(例如，使用生成模型)等。图像数据的一些非限制性示例可包括图像、灰度图像、彩色图像、2D图像、3D图像、视频、2D视频、3D视频、帧、片段、从其它图像数据导出的数据等。在一些示例中，图像数据可以任何模拟或数字格式编码。这种格式的一些非限制性示例可包括原始格式、压缩格式、未压缩格式、有损格式、无损格式、JPEG、GIF、PNG、TIFF、BMP、NTSC、PAL、SECAM、MPEG、MPEG-4Part 14、MOV、WMV、FLV、AVI、AVCHD、WebM、MKV等。
在一些实施方式中，扩展现实装置可以例如从输入设备接收数字信号。术语数字信号可以是指在时间上离散的一系列数字值。数字信号可以表示例如传感器数据、文本数据、语音数据、视频数据、虚拟数据或提供可感知信息的任何其它形式的数据。根据本公开，数字信号可以被配置为使扩展现实装置呈现虚拟内容。在一个实施方式中，虚拟内容可以按照选定的取向呈现。在该实施方式中，数字信号可以指示如扩展现实环境的环境中的视点的位置和角度。具体地，数字信号可以包括六自由度坐标(例如，前/后、上/下、左/右、偏航、俯仰和滚动)中的位置和角度的编码。在另一实施方式中，数字信号可以包括将位置编码为三维坐标(例如，x，y和z)，并且将角度编码为源自编码位置的向量。具体地，例如，通过对所呈现的虚拟内容相对于标准默认角度的偏航、俯仰和滚动进行编码，数字信号可以指示所述虚拟内容在环境的绝对坐标中的取向和角度。在另一实施方式中，例如通过对所呈现的虚拟内容相对于与视点相对应的方向或相对于与另一对象(例如，虚拟对象、物理对象等)相对应的方向的偏航、俯仰和滚动进行编码，数字信号可指示所述虚拟内容相对于所述另一对象的视点的取向和角度。在另一实施方式中，这种数字信号可以包括虚拟内容的一个或多个投影，例如，以准备好呈现的格式(例如，图像、视频等)。例如，每个这样的投影可以对应于特定取向或特定角度。在另一实施方式中，例如通过以三维体素阵列、多边形网格或可以呈现虚拟内容的任何格式对对象进行编码，数字信号可以包括虚拟内容的表示。
在一些实施方式中，数字信号可以被配置为使扩展现实装置呈现虚拟内容。术语“虚拟内容”可包括可由扩展现实装置向用户显示的任何类型的数据表示。虚拟内容可以包括虚拟对象、静止的虚拟内容、被配置为随时间或响应于触发而改变的活动的虚拟内容、虚拟二维内容、虚拟三维内容、物理环境的一部分上或物理对象上的虚拟覆盖层、物理环境或物理对象的虚拟添加、虚拟促销内容、物理对象的虚拟表示、物理环境的虚拟表示、虚拟文档、虚拟人物或人物角色、虚拟计算机屏幕、虚拟窗件或用于虚拟显示信息的任何其他格式。根据本公开，虚拟内容可以包括由计算机或处理设备呈现的任何视觉呈现。在一个实施方式中，虚拟内容可以包括虚拟对象，该虚拟对象是由计算机在受限区域中呈现的视觉呈现，并且被配置成表示特定类型的对象(诸如静止虚拟对象、活动虚拟对象、虚拟家具、虚拟装饰对象、虚拟窗口小部件或其它虚拟表示)。所呈现的视觉呈现可以改变以反映对象状态的改变或对象的视角的改变，例如，以模仿物理对象外观的改变的方式。在另一实施方式中，虚拟内容可以包括虚拟显示器(在此也称为“虚拟显示屏”或“虚拟屏幕”)，诸如虚拟计算机屏幕、虚拟平板屏幕或虚拟智能电话屏幕，其被配置为显示由操作系统生成的信息，其中，操作系统可以被配置为从物理键盘和/或虚拟键盘接收文本数据，并使得文本内容显示在虚拟显示屏中。在一示例中，如图1所示，虚拟内容可以包括虚拟环境，该虚拟环境包括虚拟计算机屏幕和多个虚拟对象。在一些示例中，虚拟显示器可以是模仿和/或扩展物理显示屏的功能的虚拟对象。例如，可以使用扩展现实装置在扩展现实环境(诸如混合现实环境、增强现实环境、虚拟现实环境等)中呈现虚拟显示器。在一示例中，虚拟显示器可以呈现由常规操作系统产生的内容，该内容同样可以呈现在物理显示屏上。在一示例中，当文本内容被键入时，使用键盘(例如，使用物理键盘、使用虚拟键盘等)输入的文本内容可以实时地呈现在虚拟显示器上。在一示例中，虚拟光标可以呈现在虚拟显示器上，并且虚拟光标可以由指示设备(诸如物理指示设备、虚拟指示设备、计算机鼠标、操纵杆、触摸板、物理触摸控制器等)控制。在一示例中，图形用户界面操作系统的一个或更多个窗口可以呈现在虚拟显示器上。在另一示例中，呈现在虚拟显示器上的内容可以是交互式的，即，它可以响应于用户动作而改变。在又一示例中，虚拟显示器的呈现可以包括屏幕帧的呈现，或者可以不包括屏幕帧的呈现。
一些公开的实施方式可以包括和/或访问数据结构或数据库。根据本公开，术语数据结构和数据库可以包括数据值和它们之间的关系的任何集合。数据可以被线性地、水平地、分层地、有关系地、无关系地、一维地、多维地、可操作地、以有序的方式、以无序的方式、以面向对象的方式、以集中的方式、以分散的方式、以分布的方式、以定制的方式、或以允许数据访问的任何方式存储。作为非限制性示例，数据结构可包括数组、关联数组、链表、二叉树、平衡树、堆、栈、队列、集合、散列表、记录、标签联合、实体关系模型、图、超图、矩阵、张量等。例如，数据结构可以包括XML数据库、RDBMS数据库、SQL数据库或用于数据存储/搜索的NoSQL另选，例如，MongoDB、Redis、Couchbase、Datastax Enterprise Graph、弹性搜索、Splunk、Solr、Cassandra、Amazon DynamoDB、Scylla、HBase和Neo4J。数据结构可以是所公开的系统的组件或远程计算组件(例如，基于云的数据结构)。数据结构中的数据可以存储在连续或非连续存储器中。此外，数据结构不需要同地协作的信息。它可以分布在例如可以由相同或不同实体拥有或操作的多个服务器上。因此，单数形式的术语数据结构包括多个数据结构。
在一些实施方式中，系统可以确定接收到的输入或任何确定的值的置信水平。术语置信水平表示指示系统在所确定的数据处具有的置信度量的水平(例如，在预定范围内)的任何指示、数字或其他指示。例如，置信水平可以具有1至10之间的值。另选地，置信水平可表示为百分比或任何其它数值或非数值指示。在一些情况下，系统可以将置信水平与阈值进行比较。术语阈值可以表示参考值、水平、点或值的范围。在操作中，当所确定的数据的置信水平超过阈值(或低于阈值，取决于特定的使用情况)时，系统可以遵循第一动作过程，而当置信水平低于阈值(或高于阈值，取决于特定的使用情况)时，系统可以遵循第二动作过程。阈值的值可以针对每种类型的被检查对象而预先确定，或者可以基于不同的考虑而动态地选择。
现在参考图1，其示出了使用根据本公开的实施方式的示例扩展现实系统的用户。图1仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。如图所示，用户100坐在桌子102后面，桌子支承键盘104和鼠标106。键盘104通过电线108连接到可穿戴扩展现实装置110，该可穿戴扩展现实装置向用户100显示虚拟内容。作为电线108的另选或补充，键盘104可以无线地连接到可穿戴扩展现实装置110。出于说明的目的，可穿戴扩展现实装置被描绘为一副智能眼镜，但是如上所述，可穿戴扩展现实装置110可以是用于向用户100呈现扩展现实的任何类型的头戴式设备。由可穿戴扩展现实装置110显示的虚拟内容包括虚拟屏幕112(在此也称为“虚拟显示屏幕”或“虚拟显示”)和多个虚拟窗口小部件114。虚拟窗口小部件114A-114D在虚拟屏幕112旁边显示，并且虚拟窗口小部件114E显示在桌子102上。用户100可以使用键盘104向显示在虚拟屏幕112中的文档116输入文本；并且可以使用鼠标106来控制虚拟光标118。在一示例中，虚拟光标118可以移动到虚拟屏幕112内的任何地方。在另一示例中，虚拟光标118可以移动到虚拟屏幕112内的任何地方，并且还可以移动到虚拟窗口小部件114A-114D中的任何一个而不移动到虚拟窗口小部件114E。在又一示例中，虚拟光标118可以移动到虚拟屏幕112内的任何地方，并且还可以移动到虚拟窗口小部件114A-114E中的任何一个。在附加示例中，虚拟光标118可以在包括虚拟屏幕112和虚拟窗口小部件114A-114E的扩展现实环境中的任何地方移动。在又一示例中，虚拟光标可在扩展现实环境中的所有可用表面(即，虚拟表面或物理表面)上移动或仅在所选表面上移动。另选地或附加地，用户100可以使用由可穿戴扩展现实装置110识别的手势来与虚拟窗口小部件114A-114E中的任何一个或与所选择的虚拟窗口小部件交互。例如，虚拟窗口小部件114E可以是可以用手势操作的交互式窗口小部件(例如，虚拟滑块控制器)。
图2示出了向如用户100的用户提供扩展现实(XR)体验的系统200的示例。图2仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。系统200可以是基于计算机的，并且可以包括计算机系统组件、可穿戴设备、工作站、平板电脑、手持式计算设备、存储设备和/或连接这些组件的内部网络。系统200可以包括或连接到用于支持由系统200提供的服务的各种网络计算资源(例如，服务器、路由器、交换机、网络连接、存储设备等)。根据本公开，系统200可以包括输入单元202、XR单元204、移动通信设备206和远程处理单元208。远程处理单元208可以包括联接到如数据结构212的一个或更多个物理或虚拟存储设备的服务器210。系统200还可以包括或连接到通信网络214，该通信网络214促进不同系统组件和与系统200相关联的不同实体之间的通信和数据交换。
根据本公开，输入单元202可以包括可以从用户100接收输入的一个或更多个设备。在一个实施方式中，输入单元202可以包括文本输入设备，例如键盘104。文本输入设备可以包括用于向系统200输入文本信息的所有可能类型的设备和机构。文本输入设备的示例可以包括机械键盘、薄膜键盘、柔性键盘、QWERTY键盘、Dvorak键盘、Colemak键盘、弦键盘、无线键盘、小键盘、基于键的控制板或其它控制键阵列、视觉输入设备或用于输入文本的任何其它机构(无论该机构是以物理形式提供还是虚拟呈现的)。在一个实施方式中，输入单元202还可以包括指示输入设备，例如鼠标106。指示输入设备可以包括用于向系统200输入二维或三维信息的所有可能类型的设备和机构。在一示例中，来自指示输入设备的二维输入可用于与经由XR单元204呈现的虚拟内容交互。指示输入设备的示例可以包括计算机鼠标、轨迹球、触摸板、轨迹板、触摸屏、操纵杆、指示棒、指示笔、光笔或任何其他物理或虚拟输入机构。在一个实施方式中，输入单元202还可以包括图形输入设备，例如被配置为检测接触、移动或移动中断的触摸屏。图形输入设备可以使用多种触摸灵敏度技术中的任何一种，包括但不限于电容、电阻、红外和表面声波技术以及用于确定一个或更多个接触点的其它接近传感器阵列或其它元件。在一个实施方式中，输入单元202还可以包括一个或更多个语音输入设备，例如麦克风。语音输入设备可以包括用于输入语音数据的所有可能类型的设备和机构，以便于支持语音的功能，例如语音识别、语音复制、数字记录和电话功能。在一个实施方式中，输入单元202还可以包括被配置为捕获图像数据的一个或更多个图像输入设备，例如图像传感器。在一个实施方式中，输入单元202还可以包括一个或更多个触觉手套，所述触觉手套被配置为捕捉手移动和姿势数据。在一个实施方式中，输入单元202还可以包括一个或更多个接近传感器，所述接近传感器被配置为检测传感器附近的选定区域中的对象的存在和/或移动。
根据一些实施方式，该系统可以包括至少一个传感器，所述至少一个传感器被配置成检测和/或测量与该用户、该用户的动作、或用户的环境相关联的特性。所述至少一个传感器的一个示例是包括在输入单元202中的传感器216。传感器216可以是运动传感器、触摸传感器、光传感器、红外传感器、音频传感器、图像传感器、接近传感器、定位传感器、陀螺仪、温度传感器、生物测定传感器、或任何其它传感设备以促进相关功能。传感器216可以与输入设备集成或连接到输入设备，或者它可以与输入设备分离。在一示例中，可以在鼠标106中包括温度计以确定用户100的体温。在另一示例中，定位传感器可与键盘104集成以确定用户100相对于键盘104的移动。这样的定位传感器可以使用以下技术之一来实现：全球定位系统(GPS)、全球导航卫星系统(GLONASS)、伽利略全球导航系统、北斗导航系统、其他全球导航卫星系统(GNSS)、印度区域性导航卫星系统(IRNSS)、本地定位系统(LPS)、实时定位系统(RTLS)、室内定位系统(IPS)、基于Wi-Fi的定位系统、蜂窝三角测量法、基于图像的定位技术、室内定位技术、室外定位技术或任何其他定位技术。
根据一些实施方式，该系统可以包括用于识别物理设备(诸如物理输入设备、物理计算设备、键盘104、鼠标106、可穿戴扩展现实装置110等)的位置和/或移动的一个或更多个传感器。所述一个或更多个传感器可以包括在物理设备中，或者可以位于物理设备外部。在一些示例中，可以使用物理设备外部的图像传感器(例如，包括在另一物理设备中的图像传感器)来捕捉物理设备的图像数据，并且可以分析图像数据以识别物理设备的位置和/或移动。例如，可以使用视觉对象跟踪算法来分析图像数据以识别物理设备的移动，可以使用视觉对象检测算法来分析图像数据以识别物理设备的位置(例如，相对于图像传感器、在全局坐标系中等)等。在一些示例中，包括在物理设备中的图像传感器可以用于捕捉图像数据，并且可以分析图像数据以识别物理设备的位置和/或移动。例如，可以使用视觉测程算法来分析图像数据以识别物理设备的位置，可以使用自我运动算法来分析图像数据以识别物理设备的移动等。在一些示例中，诸如室内定位传感器或室外定位传感器等定位传感器可被包括在物理设备中，并可用于确定物理设备的位置。在一些示例中，诸如加速度计或陀螺仪的运动传感器可被包括在物理设备中，并可用于确定物理设备的运动。在一些示例中，诸如键盘或鼠标的物理设备可被配置成位于物理表面上。这种物理设备可以包括瞄准物理表面的光学鼠标传感器(也称为非机械跟踪引擎)，并且可以分析光学鼠标传感器的输出以确定物理设备相对于物理表面的移动。
根据本公开，XR单元204可以包括被配置为向用户100呈现虚拟内容的可穿戴扩展现实装置。可穿戴扩展现实装置的一个示例是可穿戴扩展现实装置110。可穿戴扩展现实装置的附加示例可以包括虚拟现实(VR)设备、增强现实(AR)设备、混合现实(MR)设备或能够生成扩展现实内容的任何其他设备。这种设备的一些非限制性示例可以包括Nreal Light、Magic Leap One、Varjo、Quest 1/2、Vive等。在一些实施方式中，XR单元204可向用户100呈现虚拟内容。通常，扩展现实装置可以包括由计算机技术和可穿戴物生成的所有真实和虚拟的组合环境和人机交互。如上所述，术语“扩展现实”(XR)是指包括从“完全现实”到“完全虚拟”的整个范围的超集。它包括代表性的形式，例如增强现实(AR)、混合现实(MR)、虚拟现实(VR)和在它们之间内插的区域。因此，应当注意，术语“XR装置”、“AR装置”、“VR装置”和“MR装置”在这里可以互换使用，并且可以指上述各种装置中的任何装置。
根据本公开，所述系统可以和与用户相关联的各种通信设备(例如移动通信设备206)交换数据。术语“通信设备”旨在包括能够使用数字通信网络、模拟通信网络或被配置为传送数据的任何其他通信网络来交换数据的所有可能类型的设备。在一些示例中，通信设备可以包括智能电话、平板计算机、智能手表、个人数字助理、台式计算机、膝上型计算机、IoT设备、专用终端、可穿戴通信设备以及能够进行数据通信的任何其他设备。在一些情况下，移动通信设备206可以补充或替换输入单元202。具体地，移动通信设备206可以与可以用作指示输入设备的物理触摸控制器相关联。此外，移动通信设备206还可以例如用于实现虚拟键盘并代替文本输入设备。例如，当用户100离开桌子102并且带着他的智能眼镜走到休息室时，他可能接收到需要快速回答的电子邮件。在这种情况下，用户可以选择使用他或她自己的智能手表作为输入设备，并且在通过智能眼镜虚拟地呈现电子邮件时键入对电子邮件的回答。
根据本公开，系统的实施方式可以涉及云服务器的使用。术语“云服务器”是指经由如因特网的网络提供服务的计算机平台。在图2所示的示例实施方式中，服务器210可以使用可能不对应于单个硬件的虚拟机。例如，计算和/或存储能力可以通过从可扩展储存库(例如数据中心或分布式计算环境)分配期望的计算/存储能力的适当部分来实现。具体地，在一个实施方式中，远程处理单元208可以与XR单元204一起使用以向用户100提供虚拟内容。在一个示例配置中，服务器210可以是用作可穿戴扩展现实装置的操作系统(OS)的云服务器。在一示例中，服务器210可以使用定制的硬连线逻辑、一个或更多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)、固件和/或程序逻辑来实现在此描述的方法，所述定制的硬连线逻辑、一个或更多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)、固件和/或程序逻辑与计算机系统相结合使得服务器210是专用机器。
在一些实施方式中，服务器210可以访问数据结构212以确定例如显示给用户100的虚拟内容。数据结构212可以利用易失性或非易失性的、磁性的、半导体、磁带、光学的、可移除的、不可移除的、其它类型的存储设备或有形或非暂时性计算机可读介质，或用于存储信息的任何介质或机构。如图所示，数据结构212可以是服务器210的一部分或与服务器210分离。当数据结构212不是服务器210的一部分时，服务器210可以经由通信链路与数据结构212交换数据。数据结构212可以包括存储用于执行所公开的方法的一个或更多个特征的数据和指令的一个或更多个存储器设备。在一个实施方式中，数据结构212可以包括多个适当数据结构中的任何一种，范围从工作站上托管的小数据结构到分布在数据中心中的大数据结构。数据结构212还可以包括由存储器控制器设备(例如，服务器)或软件控制的一个或更多个数据结构的任何组合。
根据本公开，通信网络可以是支持通信、交换信息和/或促进系统的组件之间的信息交换的任何类型的网络(包括基础设施)。例如，系统200中的通信网络214可以包括例如电话网络、外联网、内联网、因特网、卫星通信、离线通信、无线通信、应答器通信、局域网(LAN)、无线网络(例如，Wi-Fi/302.11网络)、广域网(WAN)、虚拟专用网络(VPN)、数字通信网络、模拟通信网络、或能够进行数据传输的任何其它机构或机构的组合。
图2所示的系统200的组件和布置仅旨在是示例性的，而不旨在限制所公开的实施方式，因为用于实现所公开的过程和特征的系统组件可以变化。
图3是输入单元202的示例性配置的框图。图3仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。在图3的实施方式中，输入单元202可以直接或间接地访问总线300(或其它通信机制)，总线300使子系统和组件互连以在输入单元202内传送信息。例如，总线300可以将存储器接口310、网络接口320、输入接口330、电源340、输出接口350、处理设备360、传感器接口370和数据库380互连。
图3所示的存储器接口310可用于访问存储在非暂时性计算机可读介质上的软件产品和/或数据。一般来说，非暂时性计算机可读存储介质是指其上可存储可由至少一个处理器读取的信息或数据的任何类型的物理存储器。示例包含随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、硬盘驱动器、CD ROM、DVD、闪存驱动器、磁盘、任何其它光学数据存储介质、具有孔的图案的任何物理介质、PROM、EPROM、FLASH-EPROM或任何其它闪速存储器、NVRAM、高速缓冲存储器、寄存器、任何其它存储器芯片或存储器盒及其联网版本。术语“存储器”和“计算机可读存储介质”可以指多个结构，诸如位于输入单元内或位于远程位置的多个存储器或计算机可读存储介质。另外，一个或更多个计算机可读存储介质可用于实现计算机实现的方法。因此，术语计算机可读存储介质应当被理解为包括有形的物品并且排除载波和暂时性信号。在图3所示的特定实施方式中，存储器接口310可用于访问存储在如存储器设备311等存储器设备上的软件产品和/或数据。存储器装置311可包含高速随机存取存储器及/或非易失性存储器，例如一个或更多个磁盘存储设备、一个或更多个光学存储设备及/或闪速存储器(例如，NAND、NOR)。根据本公开，存储器设备311的组件可分布于系统200的更多个单元中及/或更多个存储器设备中。
图3中所示的存储器设备311可包含执行根据本公开的过程的软件模块。具体来说，存储器设备311可包含输入确定模块312、输出确定模块313、传感器通信模块314、虚拟内容确定模块315、虚拟内容通信模块316以及数据库存取模块317。模块312至317可以包含由与输入单元202相关联的至少一个处理器(例如，处理设备360)执行的软件指令。输入确定模块312、输出确定模块313、传感器通信模块314、虚拟内容确定模块315、虚拟内容通信模块316和数据库访问模块317可协作以执行各种操作。例如，输入确定模块312可以使用从例如键盘104接收到的数据来确定文本。此后，输出确定模块313可以使得例如在物理地或无线地联接到键盘104的专用显示器352上呈现最近输入的文本。这样，当用户100键入时，他可以看到所键入的文本的预览，而无需不断地上下移动他的头部来查看虚拟屏幕112。传感器通信模块314可以从不同的传感器接收数据以确定用户100的状态。此后，虚拟内容确定模块315可以基于所接收的输入和所确定的用户100的状态来确定要显示的虚拟内容。例如，所确定的虚拟内容可以是最近输入的文本在虚拟地位于键盘104附近的虚拟屏幕上的虚拟呈现。虚拟内容通信模块316可获得未由虚拟内容确定模块315确定的虚拟内容(例如，另一用户的化身)。虚拟内容的取回可以来自数据库380、来自远程处理单元208或任何其它源。
在一些实施方式中，输入确定模块312可以调整输入接口330的操作，以便接收指点器输入331、文本输入332、音频输入333和XR相关输入334。上面描述了指针输入、文本输入和音频输入的细节。术语“XR相关输入”可包括可引起显示给用户100的虚拟内容的变化的任何类型的数据。在一个实施方式中，XR相关输入334可以包括用户100的图像数据、可穿戴扩展现实装置(例如，检测到的用户100的手势)。在另一实施方式中，XR相关输入334可包括指示另一用户存在于用户100附近的无线通信。根据本公开，输入确定模块312可同时接收不同类型的输入数据。此后，输入确定模块312可以基于所检测到的输入类型进一步应用不同的规则。例如，指针输入可以优先于语音输入。
在一些实施方式中，输出确定模块313可以调节输出接口350的操作，以便使用灯光指示器351、显示器352和/或扬声器353来生成输出。通常，由输出确定模块313生成的输出不包括将由可穿戴扩展现实装置呈现的虚拟内容。相反，由输出确定模块313生成的输出包括与输入单元202的操作和/或XR单元204的操作相关的各种输出。在一个实施方式中，灯光指示器351可以包括显示可穿戴扩展现实装置的状态的灯光指示器。例如，当可穿戴扩展现实装置110连接到键盘104时，灯光指示器可以显示绿灯，而当可穿戴扩展现实装置110具有低电量时，灯光指示器闪烁。在另一实施方式中，显示器352可用于显示操作信息。例如，当可穿戴扩展现实装置不可操作时，显示器可呈现错误消息。在另一实施方式中，扬声器353可用于输出音频，例如，当用户100希望为其他用户播放一些音乐时。
在一些实施方式中，传感器通信模块314可以调节传感器接口370的操作，以便从与输入设备集成或连接到输入设备的一个或更多个传感器接收传感器数据。所述一个或更多个传感器可以包括：音频传感器371、图像传感器372、运动传感器373、环境传感器374(例如，温度传感器、环境光检测器等)和其它传感器375。在一个实施方式中，从传感器通信模块314接收到的数据可用于确定输入设备的物理取向。输入设备的物理取向可以指示用户的状态，并且可以基于倾斜移动、滚动移动动和横向移动的组合来确定。此后，虚拟内容确定模块315可使用输入设备的物理取向来修改虚拟内容的显示参数以匹配用户的状态(例如，注意力、困倦、活动、坐着、站立、向后倾斜、向前倾斜、行走、移动、骑行等)。
在一些实施方式中，虚拟内容确定模块315可以确定将由可穿戴扩展现实装置显示的虚拟内容。可基于来自输入确定模块312、传感器通信模块314和其它源(例如，数据库380)的数据来确定虚拟内容。在一些实施方式中，确定虚拟内容可以包括确定虚拟对象的距离、大小和方向。虚拟对象的位置的确定可以基于虚拟对象的类型来确定。具体地，关于图1所示的示例，虚拟内容确定模块315可以确定将四个虚拟窗口小部件114A-114D放置在虚拟屏幕112的侧面上并且将虚拟窗口小部件114E放置在桌子102上，这是因为虚拟窗口小部件114E是虚拟控制器(例如，音量条)。虚拟对象的位置的确定还可以基于用户的偏好来确定。例如，对于惯用左手的用户，虚拟内容确定模块315可以确定将虚拟音量条放置在键盘104的左边；并且对于惯用右手的用户，虚拟内容确定模块315可以确定将虚拟音量条放置在键盘104的右边。
在一些实施方式中，虚拟内容通信模块316可以调整网络接口320的操作，以便从一个或更多个源获得要作为虚拟内容呈现给用户100的数据。一个或更多个源可以包括其他XR单元204、用户的移动通信设备206、远程处理单元208、公开可用信息等。在一个实施方式中，虚拟内容通信模块316可以与移动通信设备206通信，以便提供移动通信设备206的虚拟表示。例如，虚拟表示可以使用户100能够读取消息并与安装在移动通信设备206上的应用交互。虚拟内容通信模块316还可以调整网络接口320的操作，以便与其他用户共享虚拟内容。在一示例中，虚拟内容通信模块316可使用来自输入确定模块的数据来标识触发器(例如，触发器可包括用户的手势)并将内容从虚拟显示器传送到物理显示器(例如，TV)或传送到不同用户的虚拟显示器。
在一些实施方式中，数据库访问模块317可以与数据库380协作来取回所存储的数据。取回的数据可包括例如与不同虚拟对象相关联的隐私级别、虚拟对象与物理对象之间的关系、用户的偏好、用户的过去行为等。如上所述，虚拟内容确定模块315可以使用存储在数据库380中的数据来确定虚拟内容。数据库380可以包括单独的数据库，例如包括矢量数据库、栅格数据库、瓦片数据库、视口数据库和/或用户输入数据库。存储在数据库380中的数据可以从模块314-317或系统200的其它组件接收。此外，存储在数据库380中的数据可以使用数据录入、数据传送或数据上载作为输入来提供。
模块312-317可以用软件、硬件、固件、任何这些的混合等来实现。在一些实施方式中，模块312-317中的任一个或更多个以及与数据库380相关联的数据可以存储在XR单元204、移动通信设备206或远程处理单元208中。系统200的处理设备可以被配置为执行模块312-317的指令。在一些实施方式中，模块312-317的各方面可以用硬件、软件(包括在一个或更多个信号处理和/或专用集成电路中)、固件或其任何组合来实现，可由一个或更多个处理器单独地或以彼此的各种组合来执行。具体地，模块312-317可以被配置为彼此交互和/或与系统200的其他模块交互以执行根据公开的实施方式的功能。例如，输入单元202可以对来自XR单元204的数据执行包括图像处理算法的指令，以确定用户100的头部移动。此外，在整个说明书中关于输入单元202或关于输入单元202的组件描述的每个功能可以对应于用于执行所述功能的一组指令。这些指令不需要实现为单独的软件程序、过程或模块。存储器设备311可包括额外的模块和指令或更少的模块和指令。例如，存储器设备311可以存储操作系统，例如ANDROID、iOS、UNIX、OSX、WINDOWS、DARWIN、RTXC、LINUX或嵌入式操作系统，例如VXWorkS。操作系统可以包括用于处理基本系统服务和用于执行硬件相关任务的指令。
图3所示的网络接口320可以向如通信网络214的网络提供双向数据通信。在一个实施方式中，网络接口320可以包括综合业务数字网(ISDN)卡、蜂窝调制解调器、卫星调制解调器或调制解调器，以通过因特网提供数据通信连接。作为另一示例，网络接口320可以包括无线局域网(WLAN)卡。在另一个实施方式中，网络接口320可以包括连接到射频接收器和发射器和/或光(例如，红外)接收器和发射器的以太网端口。网络接口320的具体设计和实现可以取决于输入单元202要在其上工作的一个或更多个通信网络。例如，在一些实施方式中，输入单元202可以包括被设计为在GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络以及蓝牙网络上工作的网络接口320。在任何这样的实现方式中，网络接口320可以被配置成发送和接收携带数字数据流或表示各种类型的信息的数字信号的电、电磁或光信号。
图3所示的输入接口330可以接收来自各种输入设备的输入，例如键盘、鼠标、触摸板、触摸屏、一个或更多个按钮、操纵杆、麦克风、图像传感器以及被配置为检测物理或虚拟输入的任何其他设备。所接收的输入可以是以下各项中的至少一项的形式：文本；声音；语音；手势；身体姿势；触觉信息；以及由用户生成的任何其它类型的物理或虚拟输入。在所描绘的实施方式中，输入接口330可接收指点器输入331、文本输入332、音频输入333和XR相关输入334。在另外的实施方式中，输入接口330可以是集成电路，其可以充当处理设备360与上面列出的任何输入设备之间的桥。
图3所示的电源340可以向电力输入单元202提供电能，并且可选地还向XR单元204提供电能。通常，包括在本公开的任何设备或系统中的电源可以是能够重复地存储、分配或传送电力的任何设备，包括但不限于一个或更多个电池(例如铅酸电池、锂离子电池、镍氢电池、镍镉电池)、一个或更多个电容器、到外部电源的一个或更多个连接、一个或更多个电力转换器、或它们的任何组合。参考图3所示的示例，电源可以是移动的，这意味着输入单元202可以容易地由手携带(例如，电源340的总重量可以小于1磅)。电源的移动性使得用户100能够在各种情况下使用输入单元202。在其它实施方式中，电源340可与可用于对电源340充电的外部电源(例如电网)的连接相关联。此外，电源340可以被配置成对包括在XR单元204中的一个或更多个电池充电；例如，当一副扩展现实眼镜(例如，可穿戴扩展现实装置110)被放置在输入单元202上或附近时，该副扩展现实眼镜可以被充电(例如，无线地或非无线地)。
图3所示的输出接口350可以例如使用灯光指示器351、显示器352和/或扬声器353导致来自各种输出设备的输出。在一个实施方式中，输出接口350可以是集成电路，其可以充当处理设备360与上面列出的至少一个输出设备之间的桥梁。灯光指示器351可以包括一个或多个光源，例如与不同颜色相关联的LED阵列。显示器352可以包括屏幕(例如，LCD或点阵屏幕)或触摸屏。扬声器353可以包括音频耳机、助听器型设备、扬声器、骨传导耳机、提供触觉提示的接口、振动触觉刺激器等。
图3所示的处理设备360可以包括至少一个处理器，所述至少一个处理器被配置为执行计算机程序、应用、方法、过程或其他软件以执行本公开中描述的实施方式。通常，包括在本公开的任何设备或系统中的处理设备可以包括一个或更多个集成电路、微芯片、微控制器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)的全部或部分，或适于执行指令或执行逻辑操作的其他电路。处理设备可以包括至少一个处理器，所述至少一个处理器被配置为执行所公开的方法的功能，例如由IntelTM制造的微处理器。处理设备可以包括同时执行并行过程的单核或多核处理器。在一示例中，处理设备可以是配置有虚拟处理技术的单核处理器。处理设备可以实现虚拟机技术或其它技术以提供执行、控制、运行、操纵、存储等多个软件进程、应用、程序等的能力。在另一示例中，处理设备可包括配置成提供并行处理功能以允许与处理设备相关联的设备同时执行多个进程的多核处理器布置(例如，双核、四核等)。应了解，可实现其它类型的处理器布置以提供本文所公开的能力。
图3所示的传感器接口370可以从各种传感器获得传感器数据，例如音频传感器371、图像传感器372、运动传感器373、环境传感器374和其它传感器375。在一个实施方式中，传感器接口370可以是集成电路，其可以充当处理设备360与上面列出的传感器中的至少一个之间的桥梁。
音频传感器371可以包括被配置为通过将声音转换为数字信息来捕获音频的一个或更多个音频传感器。音频传感器的一些示例可以包括：麦克风；单向麦克风；双向麦克风；心形麦克风；全向麦克风；车载麦克风；有线麦克风；无线麦克风或上述的任何组合。根据本公开，处理装置360可基于从音频传感器371接收到的数据(例如，语音命令)来修改虚拟内容的呈现。
图像传感器372可以包括被配置成通过将光转换成图像数据来捕获视觉信息的一个或更多个图像传感器。根据本公开，图像传感器可以被包括在本公开的任何设备或系统中，并且可以是能够检测近红外、红外、可见光和紫外光谱中的光信号并将其转换为电信号的任何设备。图像传感器的示例可包括数字相机、电话相机、半导体电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)中的有源像素传感器或N型金属氧化物半导体(NMOS、LiveMOS)。电信号可用于生成图像数据。根据本公开，图像数据可包含像素数据流、数字图像、数字视频流、从所拍摄的图像导出的数据和可用于构造一个或更多个3D图像、3D图像序列、3D视频或虚拟3D表示的数据。由图像传感器372获取的图像数据可以通过有线或无线传输被发送到系统200的任何处理设备。例如，可以处理图像数据以便：检测对象；检测事件；检测动作；检测面部；检测人；识别已知人或可由系统200使用的任何其它信息。根据本公开，处理装置360可基于从图像传感器372接收到的图像数据来修改虚拟内容的呈现。
运动传感器373可以包括被配置为测量输入单元202的运动或输入单元202的环境中的对象的运动的一个或更多个运动传感器。具体地，这些运动传感器可以执行以下各项中的至少一项：检测输入单元202的环境中的对象的运动；测量输入单元202的环境中的对象的速度；测量输入单元202的环境中的对象的加速度；检测输入单元202的运动；测量输入单元202的速度；测量输入单元202的加速度等等。在一些实施方式中，运动传感器373可以包括一个或更多个加速度计，所述一个或更多个加速度计被配置为检测真正的加速度的变化和/或测量输入单元202的真正加速度。在其他实施方式中，运动传感器373可以包括一个或更多个陀螺仪，所述一个或更多个陀螺仪被配置为检测输入单元202的取向的变化和/或测量与输入单元202的取向相关的信息。在其他实施方式中，运动传感器373可以包括使用图像传感器、LIDAR传感器、雷达传感器或接近传感器中的一个或更多个。例如，通过分析所拍摄的图像，处理设备可以例如使用自我运动算法来确定输入单元202的运动。此外，处理设备可以例如使用对象跟踪算法来确定输入单元202的环境中的对象的运动。根据本公开，处理设备360可以基于所确定的输入单元202的运动或所确定的输入单元202的环境中的对象的运动来修改虚拟内容的呈现。例如，使虚拟显示器跟随输入单元202的移动。
环境传感器374可以包括来自不同类型的一个或更多个传感器，所述一个或更多个传感器被配置为捕获反映输入单元202的环境的数据。在一些实施方式中，环境传感器374可以包括被配置成执行以下各项中的至少一项的一个或更多个化学传感器：测量输入设备202的环境中的化学特性；测量输入设备202的环境中的化学特性变化；检测输入设备202的环境中化学品的存在；测量输入设备202的环境中化学品的浓度。此类化学性质的示例可包括：pH水平；毒性；和温度。此类化学品的示例可包括：电解质；特定酶；特定激素；特定蛋白质；烟雾；二氧化碳；一氧化碳；氧气；臭氧；氢气；和硫化氢。在其它实施方式中，环境传感器374可以包括一个或更多个温度传感器，所述一个或更多个温度传感器被配置为检测输入单元202的环境温度的变化和/或测量输入单元202的环境温度。在其他实施方式中，环境传感器374可以包括一个或更多个气压计，所述一个或更多个气压计被配置为检测输入单元202的环境中的大气压力的变化和/或测量输入单元202的环境中的大气压力。在其他实施方式中，环境传感器374可以包括被配置成检测输入单元202的环境中的环境光的变化的一个或更多个光传感器。根据本公开，处理设备360可以基于来自环境传感器374的输入来修改虚拟内容的呈现。例如，当用户100的环境变暗时，自动降低虚拟内容的亮度。
其它传感器375可包括重量传感器、光传感器、电阻传感器、超声传感器、接近传感器、生物识别传感器或其它传感装置以促进相关功能。在特定实施方式中，其它传感器375可以包括一个或更多个定位传感器，所述一个或更多个定位传感器被配置为获得输入单元202的定位信息，检测输入单元202的位置变化，和/或测量输入单元202的位置。或者，GPS软件可允许输入单元202访问外部GPS接收器(例如，经由串行端口或蓝牙连接)。根据本公开，处理设备360可以基于来自其他传感器375的输入来修改虚拟内容的呈现。例如，仅在使用来自生物识别传感器的数据识别了用户100之后才呈现隐私信息。
图3所示的部件和布置并不旨在限制所公开的实施方式。受益于本公开的本领域技术人员将理解，可以对输入单元202的所描绘的配置进行多种变化和/或修改。例如，不是所有部件在所有情况下都是输入单元操作所必需的。任何组件可位于输入单元的任何适当部分中，并且所述组件可重新布置成各种配置，同时提供所公开的实施方式的功能。例如，一些输入单元可以不包括如输入单元202中所示的所有元件。
图4是XR单元204的示例性配置的框图。图4仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。在图4的实施方式中，XR单元204可以直接或间接地访问总线400(或其它通信结构)，总线400将用于在XR单元204内传输信息的子系统和组件互连。例如，总线400可以将存储器接口410、网络接口420、输入接口430、电源440、输出接口450、处理设备460、传感器接口470和数据库480互连。
假定图4所示的存储器接口410具有与以上详细描述的存储器接口310的功能类似的功能。存储器接口410可用于访问存储在非暂时性计算机可读介质上或诸如存储器设备411等存储器设备上的软件产品和/或数据。存储器设备411可包含执行与根据本公开的过程的软件模块。具体来说，存储器设备411可包括输入确定模块412、输出确定模块413、传感器通信模块414、虚拟内容确定模块415、虚拟内容通信模块416和数据库存取模块417。模块412-417可以包含由与XR单元204相关联的至少一个处理器(例如，处理设备460)执行的软件指令。输入确定模块412、输出确定模块413、传感器通信模块414、虚拟内容确定模块415、虚拟内容通信模块416和数据库访问模块417可以协作以执行各种操作。例如，输入确定模块412可以确定从输入单元202接收到的用户界面(UI)输入。同时，传感器通信模块414可以从不同的传感器接收数据以确定用户100的状态。虚拟内容确定模块415可以基于所接收的输入和所确定的用户100的状态来确定要显示的虚拟内容。虚拟内容通信模块416可取回未由虚拟内容确定模块415确定的虚拟内容。可以从数据库380、数据库480、移动通信设备206或从远程处理单元208取回虚拟内容。基于虚拟内容确定模块415的输出，输出确定模块413可以引起投影仪454向用户100显示的虚拟内容的改变。
在一些实施方式中，输入确定模块412可以调整输入接口430的操作，以便接收手势输入431、虚拟输入432、音频输入433和UI输入434。根据本公开，输入确定模块412可同时接收不同类型的输入数据。在一个实施方式中，输入确定模块412可以基于检测到的输入类型来应用不同的规则。例如，手势输入可以优先于虚拟输入。在一些实施方式中，输出确定模块413可以调节输出接口450的操作，以便使用灯光指示器451、显示器452、扬声器453和投影仪454生成输出。在一个实施方式中，灯光指示器451可以包括显示可穿戴扩展现实装置的状态的灯光指示器。例如，当可穿戴扩展现实装置110连接到输入单元202时，灯光指示器可以显示绿灯，而当可穿戴扩展现实装置110具有低电量时，灯光指示器闪烁。在另一实施方式中，显示器452可用于显示操作信息。在另一个实施方式中，扬声器453可以包括用于向用户100输出音频的骨传导耳机。在另一实施方式中，投影仪454可向用户100呈现虚拟内容。
上面参考图3描述了传感器通信模块、虚拟内容确定模块、虚拟内容通信模块和数据库访问模块的操作，这里不再重复其细节。模块412-417可以用软件、硬件、固件、任何这些的混合等来实现。
假设图4所示的网络接口420具有与以上详细描述网络接口320的功能类似的功能。网络接口420的具体设计和实现可以取决于XR单元204要在其上工作的通信网络。例如，在一些实施方式中，XR单元204被配置为可通过电线选择性地连接到输入单元202。当通过电线连接时，网络接口420可以实现与输入单元202的通信；并且当未通过电线连接时，网络接口420可以实现与移动通信设备206的通信。
假设图4所示的输入接口430具有与以上详细描述的输入接口330的功能类似的功能。在此情况下，输入接口430可与图像传感器通信以获得手势输入431(例如，用户100的手指指向虚拟对象)，与其它XR单元204通信以获得虚拟输入432(例如，与XR单元204共享的虚拟对象或在虚拟环境中检测到的化身的手势)，与麦克风通信以获得音频输入433(例如，语音命令)，并且与输入单元202通信以获得UI输入434(例如，由虚拟内容确定模块315确定的虚拟内容)。
假设图4所示的电源440具有与以上详细描述电源340的功能类似的功能，只是它向XR单元204提供电能。在一些实施方式中，电源440可以由电源340充电。例如，当XR单元204放置在输入单元202上或附近时，电源440可以无线地充电。
假设图4所示的输出接口450具有与以上详细描述的输出接口350的功能类似的功能。在这种情况下，输出接口450可以导致灯光指示器451、显示器452、扬声器453和投影仪454的输出。投影仪454可以是能够投射(或引导)光以在表面上显示虚拟内容的任何设备、装置、仪器等。该表面可以是XR单元204的一部分、用户100的眼睛的一部分或用户100附近的物体的一部分。在一个实施方式中，投影仪454可以包括照明单元，该照明单元通过一个或更多个反射镜和镜片将光集中在有限的立体角内，并且在限定的方向上提供高的发光强度值。
假设图4所示的处理设备460具有与以上详细描述的处理设备360的功能类似的功能。当XR单元204连接到输入单元202时，处理设备460可以与处理设备360一起工作。具体地，处理设备460可以实现虚拟机技术或其他技术以提供执行、控制、运行、操纵、存储等多个软件过程、应用、程序等的能力。可以理解，可以实现其他类型的处理器布置以提供这里所公开的能力。
假定图4所示的传感器接口470具有与以上详细描述的传感器接口370的功能类似的功能。具体地，传感器接口470可以与音频传感器471、图像传感器472、运动传感器473、环境传感器474和其他传感器475通信。上面参考图3描述了音频传感器、图像传感器、运动传感器、环境传感器和其它传感器的操作，这里不再重复其细节。可以理解，可以使用其它类型和组合的传感器来提供这里公开的能力。
图4所示的部件和布置并不旨在限制所公开的实施方式。受益于本公开的本领域技术人员将理解，可对XR单元204的所示构造进行多种变化和/或修改。例如，并非所有部件在所有情况下都是XR单元204操作所必需的。任何组件可位于系统200的任何适当部分中，并且所述组件可重新布置成各种配置，同时提供所公开的实施方式的功能性。例如，一些XR单元可以不包括XR单元204中的所有元件(例如，可穿戴扩展现实装置110可以不具有灯光指示器451)。
图5是远程处理单元208的示例性配置的框图。图5仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件，而添加其他元件。在图5的实施方式中，远程处理单元208可以包括直接或间接访问总线500(或其它通信机制)的服务器210，总线500将用于在服务器210内传送信息的子系统和组件互连。例如，总线500可以将存储器接口510、网络接口520、电源540、处理设备560和数据库580互连。远程处理单元208还可以包括一个或更多个数据结构，例如数据结构212A、212B和212C。
假定图5所示的存储器接口510具有与以上详细描述的存储器接口310的功能类似的功能。存储器接口510可用于访问存储在非暂时性计算机可读介质上或其他存储器设备(诸如存储器设备311、411、511或数据结构212A、212B和212C)上的软件产品和/或数据。存储器装置511可含有软件模块以执行与本公开一致的过程。具体地，存储器设备511可以包括共享存储器模块512、节点注册模块513、负载平衡模块514、一个或更多个计算节点515、内部通信模块516、外部通信模块517和数据库访问模块(未示出)。模块512-517可以包含由与远程处理单元208相关联的至少一个处理器(例如，处理设备560)执行的软件指令。共享存储器模块512、节点注册模块513、负载平衡模块514、计算模块515和外部通信模块517可协作以执行各种操作。
共享存储器模块512可以允许远程处理单元208与系统200的其它组件之间的信息共享。在一些实施方式中，共享存储器模块512可以被配置为使处理设备560(以及系统200中的其他处理设备)能够访问、取回和存储数据。例如，使用共享存储器模块512，处理设备560可以执行以下至少一项：执行存储在存储设备511，数据库580或数据结构212A-C上的软件程序；将信息存储在存储设备511、数据库580或数据结构212A-C中；或从存储器装置511、数据库580或数据结构212A-C取回信息。
节点注册模块513可以被配置为跟踪一个或更多个计算节点515的可用性。在某些示例中，节点注册模块513可以被实现为：软件程序，例如由一个或更多个计算节点515执行的软件程序；硬件解决方案；或组合的软件和硬件解决方案。在一些实现中，节点注册模块513可以例如使用内部通信模块516与一个或更多个计算节点515通信。在一些示例中，一个或更多个计算节点515可以例如通过在启动时、在关闭时、按照恒定的间隔、在选定的时间、响应于从节点注册模块513接收的查询、或在任何其他确定的时间发送消息来向节点注册模块513通知其状态。在一些示例中，节点注册模块513可以例如通过在启动时、按照恒定的间隔、在选定的时间，或在任何其它确定的时间发送消息来查询一个或更多个计算节点515的状态。
负载平衡模块514可被配置成在一个或更多个计算节点515之间划分工作负载。在某些示例中，负载平衡模块514可以被实现为：软件程序，如由一个或更多个计算节点515执行的软件程序；硬件解决方案；或组合的软件和硬件解决方案。在一些实现中，负载平衡模块514可以与节点注册模块513交互，以便获得关于一个或更多个计算节点515的可用性的信息。在一些实现中，负载平衡模块514可以例如使用内部通信模块516与一个或更多个计算节点515通信。在一些示例中，一个或更多个计算节点515可以例如通过在启动时、在关闭时、按照恒定的间隔、在选定的时间、响应于从负载平衡模块514接收的查询、或在任何其他确定的时间发送消息来向负载平衡模块514通知它们的状态。在一些示例中，负载平衡模块514可以例如通过在启动时、按照恒定的间隔、在预选的时间、或在任何其它确定的时间发送消息来查询一个或更多个计算节点515的状态。
内部通信模块516可以被配置为从远程处理单元208的一个或更多个组件接收和/或发送信息。例如，可以通过内部通信模块516发送和/或接收控制信号和/或同步信号。在一个实施方式中，可以通过内部通信模块516发送和/或接收计算机程序的输入信息、计算机程序的输出信息和/或计算机程序的中间信息。在另一实施方式中，通过内部通信模块516接收的信息可存储在存储器设备511中、数据库580中、数据结构212A-C中或系统200中的其它存储器设备中。例如，可使用内部通信模块516来传输从数据结构212A取回的信息。在另一示例中，可以使用内部通信模块516来接收输入数据并将其存储在数据结构212B中。
外部通信模块517可以被配置为从系统200的一个或更多个组件接收和/或发送信息。例如，可以通过外部通信模块517发送和/或接收控制信号。在一个实施方式中，通过外部通信模块517接收到的信息可以存储在存储器设备511中、数据库580中、数据结构212A-C中和/或系统200中的任何存储器设备中。在另一实施方式中，可使用外部通信模块517将从数据结构212A-C中的任一者取回的信息传输到XR单元204。在另一实施方式中，可以使用外部通信模块517发送和/或接收输入数据。这种输入数据的示例可包括从输入单元202接收到的数据、使用一个或更多个传感器(例如，音频传感器471、图像传感器472、运动传感器473、环境传感器474、其他传感器475)从用户100的环境捕获的信息等。
在一些实施方式中，模块512-517的各方面可以通过硬件、软件(包括在一个或更多个信号处理和/或专用集成电路中)、固件或其任何组合来实现，可由一个或更多个处理器单独地或以彼此的各种组合来执行。具体地，模块512-517可以被配置为彼此交互和/或与系统200的其他模块交互以执行根据所公开的实施方式的功能。存储器设备511可包括额外的模块和指令或更少的模块和指令。
假设图5所示的网络接口520、电源540、处理设备560和数据库580具有与上面参考图4和图5描述的类似元件的功能类似的功能。上述组件的具体设计和实现可以基于系统200的实现而变化。此外，远程处理单元208可以包括更多或更少的组件。例如，远程处理单元208可以包括被配置为从一个或更多个输入设备接收直接输入的输入接口。
根据本公开，系统200的处理设备(例如，移动通信设备206内的处理器、服务器210内的处理器、诸如可穿戴扩展现实装置110等可穿戴扩展现实装置内的处理器和/或诸如键盘104等与可穿戴扩展现实装置110相关联的输入设备内的处理器)可使用机器学习算法来实现本文所公开的任何方法。在一些实施方式中，例如在下面描述的情况下，可以使用训练示例来训练机器学习算法(在本公开中也称为机器学习模型)。此类机器学习算法的一些非限制性示例可包括分类算法、数据回归算法、图像分割算法、视觉检测算法(诸如对象检测器、面部检测器、人物检测器、运动检测器、边缘检测器等)、视觉识别算法(诸如面部识别、人物识别、对象识别等)、语音识别算法、数学嵌入算法、自然语言处理算法、支持向量机、随机森林、最近邻居算法、深度学习算法、人工神经网络算法、卷积神经网络算法、递归神经网络算法、线性机器学习模型、非线性机器学习模型、集成算法等。例如，经训练的机器学习算法可以包括推理模型，诸如预测模型、分类模型、数据回归模型、聚类模型、分割模型、人工神经网络(诸如深度神经网络、卷积神经网络、递归神经网络等)、随机森林、支持向量机等。在一些示例中，训练示例可以包括示例输入以及对应于示例输入的期望输出。此外，在一些示例中，使用训练示例的训练机器学习算法可以生成训练机器学习算法，并且经训练的机器学习算法可以用于估计不包括在训练示例中的输入的输出。在一些示例中，训练机器学习算法的工程师、科学家、过程和机器可以进一步使用验证示例和/或测试示例。例如，验证示例和/或测试示例可以包括示例输入以及对应于示例输入的期望输出，可以使用经训练的机器学习算法和/或中间的经训练的机器学习算法来估计验证示例和/或测试示例的示例输入的输出，可以将所估计的输出与对应的期望输出进行比较，并且可以基于比较结果来评估经训练的机器学习算法和/或中间的经训练的机器学习算法。在一些示例中，机器学习算法可具有参数和超参数，其中超参数可由人手动设置或由机器学习算法外部的过程(例如超参数搜索算法)自动设置，并且机器学习算法的参数可由机器学习算法基于训练示例来设置。在一些实现中，可以基于训练示例和验证示例来设置超参数，并且可以基于训练示例和所选择的超参数来设置参数。例如，在给定超参数的情况下，参数可以有条件地独立于验证示例。
在一些实施方式中，经训练的机器学习算法(在本公开中也称为机器学习模型和经训练的机器学习模型)可以用于分析输入并生成输出，例如在下面描述的情况下。在一些示例中，经训练的机器学习算法可被用作当被提供有输入时生成推断的输出的推断模型。例如，经训练的机器学习算法可以包括分类算法，输入可以包括样本，并且推断的输出可以包括样本的分类(诸如推断的标签(label)、推断的标记(tag)等)。在另一示例中，经训练的机器学习算法可以包括回归模型，输入可以包括样本，并且推断的输出可以包括对应于该样本的推断值。在又一示例中，经训练的机器学习算法可以包括聚类模型，输入可以包括样本，并且推断的输出可以包括将样本分配给至少一个聚类。在另外的示例中，训练的机器学习算法可以包括分类算法，输入可以包括图像，并且推断的输出可以包括图像中描绘的项目的分类。在又一示例中，经训练的机器学习算法可包括回归模型，输入可包括图像，并且推断的输出可包括对应于图像中描绘的项目的推断值(例如项目的估计属性，诸如图像中描绘的人的大小、体积、年龄、距图像中描绘的项目的距离等)。在另外的示例中，训练的机器学习算法可以包括图像分割模型，输入可以包括图像，并且推断的输出可以包括图像的分割。在又一示例中，经训练的机器学习算法可以包括对象检测器，输入可以包括图像，并且推断的输出可以包括图像中的一个或更多个检测到的对象和/或图像内的对象的一个或更多个位置。在一些示例中，经训练的机器学习算法可以包括一个或更多个公式和/或一个或更多个函数和/或一个或更多个规则和/或一个或更多个过程，输入可以用作公式和/或函数和/或规则和/或过程的输入，并且推断的输出可以基于公式和/或函数和/或规则和/或过程的输出(例如，使用公式和/或函数和/或规则和/或过程等的输出的统计测量，选择公式和/或函数和/或规则和/或过程的输出之一)。
根据本公开，系统200的处理设备可分析由图像传感器(例如，图像传感器372、图像传感器472或任何其它图像传感器)捕获的图像数据以实施本文所揭示的任何方法。在一些实施方式中，分析图像数据可以包括分析图像数据以获得预处理的图像数据，并且随后分析图像数据和/或预处理的图像数据以获得期望的结果。本领域普通技术人员将认识到以下是示例，并且可以使用其他种类的预处理方法来预处理图像数据。在一些示例中，可以通过使用变换函数对图像数据进行变换来预处理图像数据以获得变换的图像数据，并且预处理的图像数据可以包括变换的图像数据。例如，变换的图像数据可以包括图像数据的一个或更多个卷积。例如，变换函数可以包括一个或更多个图像滤波器，诸如低通滤波器、高通滤波器、带通滤波器、全通滤波器等。在一些示例中，变换函数可以包括非线性函数。在一些示例中，可以通过平滑至少部分图像数据来预处理图像数据，例如使用高斯卷积、使用中值滤波器等。在一些示例中，图像数据可以被预处理以获得图像数据的不同表示。例如，预处理图像数据可以包括：图像数据的至少一部分在频域中的表示；所述图像数据的至少一部分的离散傅立叶变换；图像数据的至少一部分的离散小波变换；图像数据的至少一部分的时间/频率表示；所述图像数据的至少一部分在低维中的表示；图像数据的至少一部分的有损表示；图像数据的至少一部分的无损表示；上述任一项的时间序列；以上的任何组合等。在一些示例中，可以对图像数据进行预处理以提取边缘，并且预处理的图像数据可以包括基于所提取的边缘和/或与所提取的边缘相关的信息。在一些示例中，可以对图像数据进行预处理以从图像数据中提取图像特征。这样的图像特征的一些非限制性示例可以包括基于和/或涉及以下的信息：边缘；角部；斑点(blob)；隆起(ridge)；尺度不变特征变换(SIFT)特征；时间特征等。在一些示例中，分析图像数据可以包括计算图像数据的至少一部分的至少一个卷积，并且使用所计算的至少一个卷积来计算至少一个结果值和/或进行确定、标识、识别、分类等。
根据本公开的另一方面，系统200的处理设备可分析图像数据以实施本文所公开的任何方法。在一些实施方式中，分析图像可以包括使用一个或更多个规则、函数、过程、人工神经网络、对象检测算法、面部检测算法、视觉事件检测算法、动作检测算法、运动检测算法、背景减除算法、推理模型等来分析图像数据和/或预处理图像数据。这样的推理模型的一些非限制性示例可以包括：手动预编程的推理模型；分类模型；回归模型；训练示例的训练算法(例如机器学习算法和/或深度学习算法)的结果，其中，训练示例可包括数据实例的示例，并且在一些情况下，数据实例可用相应的期望标签和/或结果等来标记。在一些实施方式中，分析图像数据(例如通过这里描述的方法、步骤和模块)可以包括分析包括在图像数据中的像素、体素、点云、距离数据等。
卷积可以包括任何维度的卷积。一维卷积是将原始数字序列变换为经变换的数字序列的函数。一维卷积可以由标量序列定义。变换后的数字序列中的每个特定值可以通过计算对应于该特定值的原始数字序列的子序列中的值的线性组合来确定。计算的卷积的结果值可以包括变换的数字序列中的任何值。同样，n维卷积是将原始n维阵列变换成变换阵列的函数。n维卷积可以由标量的n维阵列(称为n维卷积的核)定义。可以通过计算原始阵列的n维区域中对应于特定值的值的线性组合来确定变换阵列中的每个特定值。所计算的卷积的结果值可以包括变换阵列中的任何值。在一些示例中，图像可包含一个或更多个分量(例如颜色分量、深度分量等)，并且每一分量可包含像素值的二维阵列。在一示例中，计算图像的卷积可以包括计算图像的一个或更多个分量的二维卷积。在另一示例中，计算图像的卷积可包括堆叠来自不同分量的阵列以创建三维阵列，并计算所得的三维阵列的三维卷积。在一些示例中，视频可以包括一个或更多个分量(诸如颜色分量、深度分量等)，并且每个分量可以包括像素值的三维阵列(具有两个空间轴和一个时间轴)。在一示例中，计算视频的卷积可以包括计算视频的一个或更多个分量的三维卷积。在另一示例中，计算视频的卷积可包括堆叠来自不同分量的阵列以创建四维阵列，并计算所得的四维阵列的四维卷积。
在一些实施方式中，集成计算接口设备可以包括具有键区和非键区的便携式壳体。集成计算接口设备的壳体可以包括外罩或壳体，所述外罩或壳体可以包括与集成计算接口设备相关联的一个更或多个组件。所公开的示例性壳体可以包围集成计算接口设备的组件，并且可以覆盖集成计算接口设备的一些或全部组件。可以设想，所公开的示例性壳体可以具有一个或更多个开口，这些开口可以露出集成计算接口设备的某些组件(例如，USB或其他端口)，或者可以允许某些组件(例如，键盘的键)从壳体突出。壳体可以在壳体的内部部分中支承集成计算接口设备(例如，电路板)的某些组件。壳体可以包括附加结构特征，所述附加结构特征可以允许集成计算接口设备的一个或更多个组件附接到壳体。壳体可以是正方形、矩形或其它形状，其尺寸适合用户的桌子、膝部或其它合适的工作面。壳体可由塑料、金属、塑料与金属的组合或其它合适的材料制成。
集成计算设备的壳体可以包括键区和不同于键区的非键区。集成计算接口设备的键区可以包括允许用户输入字母数字或其它字符作为输入的一个或更多个键。例如，在一些实施方式中，键盘可以与壳体的键区相关联。键盘可以是标准打字机式键盘(例如，QWERTY式键盘)或其它合适的键盘布局，例如Dvorak布局或弦布局。键盘可包括任何合适数量的键；例如，“全尺寸”键盘可以包括多达104或105个键。在一些实施方式中，键盘可以包括至少30个键。在其它实施方式中，键盘可包括少于10个键、至少10个键、至少20个键、至少50个键、至少80个键、至少100个键等。
键区可包括字母数字键、功能键、修改键、光标键、系统键、多媒体控制键或当按下时执行计算机专用功能的其它物理键。键区还可以包括虚拟或可编程键，使得键的功能根据要在集成计算接口设备上执行的功能或应用而改变。
在一些实施方式中，键盘可以包括用于执行可穿戴扩展现实装置的动作的专用输入键。专用输入键可以允许用户与通过可穿戴扩展现实装置观看的虚拟窗口小部件交互。专用输入键可以拍摄通过可穿戴扩展现实装置观看的一个或更多个虚拟窗口小部件的图片(即，“屏幕截图”)。如果可穿戴扩展现实装置包括相机，则专用输入键可通过相机拍照。在一个实施方式中，图片可以包括用户通过具有包括在图片中的任何虚拟窗口小部件的可穿戴扩展现实装置看到的内容(即，具有虚拟叠加的图片)。键盘可以包括用于执行动作的多个专用输入键，每个键被配置为执行不同的动作。在一个实施方式中，专用输入键可以由用户编程以执行一个或更多个动作(例如，“宏”)。注意，由专用输入键执行的动作的上述示例不是限制性的，并且其他动作可以由专用输入键执行。
在一些实施方式中，键盘可以包括用于改变由可穿戴扩展现实装置投影的虚拟显示器的明亮度的专用输入键。虚拟显示器的明亮度可以通过打开或关闭虚拟显示器或者通过增加或减少虚拟显示器的亮度、对比度或其它颜色设置来调节。在一实施方式中，键盘可以包括用于调整虚拟显示器的不同设置的多个专用输入键。可以调节的虚拟显示器的设置可以包括例如：图片设置，例如亮度、对比度、清晰度或显示模式(例如，具有预定设置的游戏模式)；颜色设置，例如颜色分量级别或其他颜色调节设置；虚拟显示器相对于用户头部位置的位置；或可增强用户观看虚拟显示器的其它设置。
便携式壳体的非键区可以是壳体的不包括任何键的区域。非键区可以是壳体的不包括任何键的区域，并且非键区的存在可以完成壳体的期望形状，该形状在任何方向上延伸超过壳体的键区。非键区可以是可以包括输入设备的区域，所述输入设备诸如是触控板、触摸屏、触控条或用于集成计算接口设备的其他形式的光标控制件。非键区可被细分成多个不同的非键区，诸如触控板或其它光标控制件、壳体的延伸部分、或壳体内包括的一个或更多个扬声器或其它音频输出设备的盖或格栅。非键区可以包括用于向用户显示信息的显示器，可以包括一个或更多个开口以允许空气循环通过壳体(例如，用于冷却壳体内包含的组件)，或者可以包括一个或更多个门或访问端口以允许访问壳体的内部部分(例如，电池隔室，其被配置为将可移除电池保持在其中或者允许某些组件被安装到壳体的内部部分中和/或从壳体的内部部分移除)。
在一些实施方式中，托架可以与壳体的非键区相关联。托架可以是在壳体的表面下方延伸的凹陷，或者可以完全搁置在壳体的表面上方。托架可以位于壳体的非键区的任何部分中。在一些实施方式中，托架可以位于壳体的非键区中，与壳体的键区相邻。托架可以包括一个或更多个结构特征，以选择性地与一个或更多个物品接合，所述一个或更多个物品诸如是书写工具、电线或电缆、适配器(dongle)、纸张(即，允许托架像复印架(copystand)一样起作用，或者用户可能希望容易地访问或储存的其他物品。
在一些实施方式中，托架可以被配置用于选择性地与可穿戴扩展现实装置接合和脱离，使得当可穿戴扩展现实装置经由托架选择性地与壳体接合时，可穿戴扩展现实装置可随壳体一起运送。在一些实施方式中，该托架的结构特征可以被配置成用于选择性地与可穿戴扩展现实装置相接合，使得可穿戴扩展现实装置可以卡扣配合、压入配合或压配合到该托架至少一部分中。当所述可穿戴扩展现实装置经由所述托架选择性地与所述壳体接合时，通过经由所述托架牢固地连接到所述壳体，所述可穿戴扩展现实装置可以与所述壳体一起运送。
图6是集成计算接口设备610的示例性实施方式的俯视图，该集成计算接口设备610具有与集成计算接口设备610选择性地接合的可穿戴扩展现实装置612。图6仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。
集成计算接口设备610可以包括壳体614。壳体614可以包括键区616和非键区618a和618b。如图6所示，非键区618a可以包括位于键区616上方的区域，并且非键区618b可以包括位于键区616下方的区域。壳体614可以仅包括一个非键区(例如，仅包括非键区618a或非键区618b)，可以具有彼此相邻定位的非键区618a和非键区618b，或者可以具有多于两个非键区。
键区616可以包括键盘620。键区616可以被细分成多个键区，并且键区可以是连续的或者可以是彼此分离的。
集成计算接口设备610可以包括托架622，该托架622可以被配置成用于与可穿戴扩展现实装置612选择性地接合。在一些实施方式中，可穿戴扩展现实装置可以包括一副智能眼镜。如图6所示，可穿戴扩展现实装置612可以是一副智能眼镜。智能眼镜可以看起来类似于传统眼镜，并且可以包括“智能”功能，诸如被定位成拍摄用户当前正在观看的图像的相机，或者被配置成将图像投影到智能眼镜的镜片上的一个或更多个显示器。在一些实施方式中，可穿戴扩展现实装置612可以包括一个或更多个镜片的其他形式，例如护目镜或其他形式的可穿戴装置。
在一些实施方式中，集成计算接口设备可以包括与壳体相关联的触控板。触控板可以使集成计算接口设备的用户能够控制集成计算接口设备上的光标，选择项目或激活项目。触控板可以包括单个表面或分段表面，例如光标控制部分和一个或更多个按钮部分。
在该可穿戴扩展现实装置是一副智能眼镜的实施方式中，该集成计算接口设备被配置成使得当该副智能眼镜经由该托架与壳体选择性地接合时，该智能眼镜的镜脚接触该触控板。因此，例如，托架可以位于壳体的第一部分处，并且触控板可以位于壳体的第二部分处，壳体的第一部分与壳体的第二部分间隔开。托架可以与触控板间隔开大约等于该副智能眼镜的镜脚部分的长度的距离。
这副智能眼镜的镜脚可以各自包括位于其远端上的弹性触控板保护器。镜脚可以在一个方向上彼此平行地延伸离开智能眼镜的镜片，以使用户能够佩戴智能眼镜。在一些示例中，该副智能眼镜可以包括至少两个镜脚和至少一个镜片。每个镜脚可以包括镜脚末端，并且每个镜脚末端可以包括弹性触控板保护器外部部分。在一些示例中，该副智能眼镜可以包括至少两个镜脚和至少一个镜片，并且每个镜脚可以包括弹性触控板保护器。当智能眼镜与托架选择性地接合并且镜脚的远端靠近壳体(例如，触控板)的表面时，触控板保护器可以保护智能眼镜的镜脚的远端不被损坏。触控板保护器可以包括在镜脚的远端上滑动的套筒，或者可以与镜脚的远端一体地形成。该触控板保护器可以由软的或柔性的材料制成，使得当该副智能眼镜经由托架与壳体选择性地接合并且该副智能眼镜的镜脚的远端接触触控板时，该副智能眼镜的镜脚的远端不会刮伤或损坏触控板。
图7A是集成计算接口设备710的第二示例性实施方式的俯视图，而图7B是其具有可穿戴扩展现实装置的左侧视图，该可穿戴扩展现实装置采用与集成计算接口设备710选择性地接合的一副智能眼镜712的形式。图7A和图7B仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。
集成计算接口设备710可以包括壳体714。壳体714可包括键区716和非键区718a和718b。键区716可以包括键盘720。集成计算接口设备710可以包括被配置用于与该副智能眼镜712选择性接合的托架722。非键区718b可以位于键盘720之下，并且可以包括触控板724。图7A和图7B所示的集成计算接口设备710可以具有与图6所示的集成计算接口设备610类似的结构和功能特性。例如，集成计算接口设备710可以包括集成计算接口设备610的全部或一些元件。
这副智能眼镜712可以包括镜片部分726和两个镜脚728，在镜片部分726的每一端上有一个镜脚。每个镜脚728可以包括将镜脚728连接到镜片部分726的近端730和位于镜脚728的相反端的远端732。远端732可包括弹性触控板保护器734。如上所述，弹性触控板保护器734可定位在远端732上或可与远端732一体形成。
在一些实施方式中，集成计算接口设备的托架可以包括至少两个夹持元件，所述至少两个夹持元件被配置为与该副智能眼镜的镜脚选择性地接合。在一些实施方式中，夹持元件可以被配置为与智能眼镜的不同部分选择性地接合，诸如一个或两个镜片、镜片之间的鼻桥或智能眼镜的其他部分。夹持元件可以与托架一体地形成，可以单独地从托架移除，或者可以共同地从托架移除。例如，夹持元件可以彼此一体地形成，并且可以作为一个单元从托架移除。夹持元件可以借助于其形状或通过使用弹簧或弹簧状构件而朝向彼此弹簧偏置。
每个夹持元件可以包括集成计算接口设备的表面上的突起。突起可以垂直地远离集成计算接口设备的表面延伸。凹陷可以形成在该突起内并且可以被配置成用于夹住镜脚。所述凹陷可以位于所述突起的与所述集成计算接口设备的表面相反的一侧，使得所述镜脚位于所述突起的顶表面上。所述凹陷可以位于所述突起的平行于所述集成计算接口设备的表面的一侧，使得所述镜脚位于所述突起的侧表面上。托架可由柔性材料、刚性或半刚性材料、或具有柔性凹陷的刚性或半刚性材料制成。柔性凹陷可以与突起一体地形成，或者可以是覆盖凹陷的柔性材料。
图8A是与托架的第一实施方式选择性地接合的可穿戴扩展现实装置的正面立体图。图8B是与图8A所示的托架的第一实施方式选择性地脱离的可穿戴扩展现实装置的背面立体图。图8A和图8B仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。
托架810可以包括两个夹持元件812，这两个夹持元件812彼此间隔开并且被配置成选择性地接合可穿戴扩展现实装置816的镜脚814，该可穿戴扩展现实装置在图8A和图8B中示出为一副智能眼镜。在一示例中，托架810可以是托架622和/或托架722和/或托架1218a的一部分。在一些实施方式中，夹持元件812可以具有其他构造，例如仅一个夹持元件812或两个夹持元件812可以位于托架810的同一侧。
在一些实施方式中，每个夹持元件812可以包括顶表面上的凹陷818以接合镜脚814。在一些实施方式中，每个夹持元件812可以具有平坦的顶表面以接合镜脚814。如图8B所示，凹陷818可以是U形的以部分地围绕镜脚814。在一些实施方式中，凹陷818可以不同地成形以接合镜脚814。
在一些实施方式中，集成计算接口设备的托架可以包括用于将可穿戴扩展现实装置选择性地与壳体连接的夹子。将可穿戴扩展现实装置选择性地与壳体连接是将可穿戴扩展现实装置与壳体选择性地接合的一个示例。该夹子可以被定位在托架的任何部分中并且可以包括集成计算接口设备的表面上的突起。所述夹子可以与可穿戴扩展现实装置的任何部分选择性地接合，以将可穿戴扩展现实装置连接到托架。在可穿戴扩展现实装置是一副智能眼镜的实施方式中，所述夹子可以选择性地与镜脚、镜片的一部分、围绕镜片的边缘的一部分、镜桥或鼻垫接合。该托架可以包括附加特征以选择性地与该可穿戴扩展现实装置的未被夹子选择性地接合的其他部分接合。附加特征可以包括从托架的表面延伸的一个或更多个附加突起。托架可以由柔性材料、刚性或半刚性材料、或具有柔性夹子或柔性突起的刚性或半刚性材料制成。柔性夹子或柔性突起可以与托架一体地形成，可以从托架拆卸，或者可以是覆盖夹子或突起的柔性材料。
图9A是与托架的第二示例性实施方式选择性地接合的可穿戴扩展现实装置的正面立体图。图9B是与图9A所示的托架的第二实施方式选择性地脱离的可穿戴扩展现实装置的背面立体图。图9A和图9B仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。
托架910可以包括夹子912，该夹子912被配置成选择性地接合可穿戴扩展现实装置916的镜桥914。如图9A和图9B所示，可穿戴扩展现实装置916可以包括一副智能眼镜。在一示例中，托架910可以是托架622和/或托架722和/或托架1218a的一部分。在如图9B所示的一个示例性实施方式中，夹子912可以包括柱918，柱918被配置成安装在可穿戴扩展现实装置916的鼻垫920之间。如图9B所示，柱918可以具有圆形或圆柱形形状。柱918可以是其它形状(例如，具有正方形、矩形、椭圆形或多边形横截面)，使得可穿戴扩展现实装置916的鼻垫920围绕柱918安装以选择性地接合柱918。
夹子912可包括被构造成接触镜桥914的前部的镜桥突起922。镜桥突起922可与柱918间隔开，使得当可穿戴扩展现实装置916选择性地与托架910接合时，镜桥914的一部分位于镜桥突起922与柱918之间。
托架910可以包括至少两个镜片突起924。镜片突起924与夹子912间隔开，使得每个镜片突起924选择性地接合可穿戴扩展现实装置916的镜片926的外部。如图9A所示，镜桥突起922可以成形为使得可穿戴扩展现实装置916的镜片926的内部部分选择性地接合镜桥突起922。
在一些实施方式中，夹子912可仅包括柱918。在一些实施方式中，托架910可以仅包括夹子912而不包括镜片突起924。在一些实施方式中，托架910可以仅包括镜片突起924而不包括夹子912。
在一些实施方式中，集成计算接口设备的托架可以包括用于在可穿戴扩展现实装置选择性地与托架接合时选择性地包围可穿戴扩展现实装置的至少一部分的隔室。所述隔室可以包括壳体中的凹陷或套筒，以接纳可穿戴扩展现实装置的一个或更多个部分。所述隔室可以包括所述托架的表面上的突起，并且可以被成形为使得当所述可穿戴扩展现实装置选择性地与所述托架接合时，所述可穿戴扩展现实装置不会在所述隔室内前后或左右滑动。所述突起可以包括一个或更多个壁，所述一个或更多个壁在所述托架的表面上方延伸，使得所述壁包围所述可穿戴扩展现实装置的一部分。这些壁可以被配置成适应可穿戴扩展现实装置的不同形状。例如，如果可穿戴扩展现实装置是一副智能眼镜，则这些壁可以包括切除部分，使得智能眼镜的鼻垫不接触所述壁。所述壁还可以朝向托架的表面逐渐变细以容纳智能眼镜的镜片，使得镜片的底部接触托架的表面。托架可由柔性材料、刚性或半刚性材料、或具有柔性隔室的刚性或半刚性材料制成。柔性隔室可以与托架一体地形成，或者可以是覆盖隔室的柔性材料。
图10A是与托架的第三示例性实施方式选择性地接合的可穿戴扩展现实装置的正面立体图。图10B是与图10A所示的托架的第三示例性实施方式选择性地脱离的可穿戴扩展现实装置的背面立体图。图10A和图10B仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。
托架1010可以包括隔室1012，隔室1012被配置成选择性地封闭可穿戴扩展现实装置1014的至少一部分。在一示例中，托架1010可以是托架622和/或托架722和/或托架1218a的一部分。隔室1012可以包括壁1016，壁1016沿着托架1010的表面的一部分延伸，使得壁1016限定隔室1012的外周。如图10A所示，壁1016可以朝向托架1010的中心和托架1010的表面逐渐变锥形，使得当可穿戴扩展现实装置1014选择性地与托架1010接合时，可穿戴扩展现实装置1014的镜片1018接触托架1010的表面。基于该示例性形状，壁1016可接触镜片1018的面向用户侧而不接触镜片1018的面向外侧。在一些实施方式中，壁1016可以不变锥形，使得壁1016在所有侧面上具有近似均匀的高度，以限定被配置成接收镜片1018的槽。如图10B所示，壁1016可包括切除部分1020以容纳可穿戴扩展现实装置1014的鼻垫1022，使得鼻垫1022不接触壁1016。
在一些实施方式中，集成计算接口设备的托架可以包括与可穿戴扩展现实装置的一部分的形状相对应的至少一个凹槽。在可穿戴扩展现实装置是一副智能眼镜的实施方式中，托架可以包括一个或更多个凹槽，这些凹槽可以被成形为与智能眼镜的镜片的形状相对应。在可穿戴扩展现实装置是护目镜的实施方式中，一个或更多个凹槽可以被成形为与护目镜的镜片的形状相对应。一个或更多个凹槽可以在托架的表面下方延伸，使得一个或更多个凹槽延伸到壳体的一部分中。一个或更多个凹槽的底部可以接触壳体的表面，使得托架的至少一部分在壳体的表面上方延伸。托架可由柔性材料、刚性或半刚性材料、或具有柔性凹槽的刚性或半刚性材料制成。柔性凹槽可以与托架一体地形成，或者可以是覆盖凹槽的柔性材料。
图11A是与托架的第四示例性实施方式选择性地接合的可穿戴扩展现实装置的正面立体图。图11B是与图11A所示的托架的第四示例性实施方式选择性地脱离的可穿戴扩展现实装置的背面立体图。图11A和图11B仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。
托架1110可以包括与可穿戴扩展现实装置1114的一部分的形状相对应的凹入部1112。在一示例中，托架1110可以是托架622和/或托架722和/或托架1218a的一部分。如图11A和图11B所示，可穿戴扩展现实装置1114可以包括一副智能眼镜，并且在托架1110中可以存在彼此间隔的两个凹入部1112，每个凹入部1112与智能眼镜的镜片1116的形状相对应。
在一些实施方式中，该托架还可以包括鼻梁突出部。在可穿戴扩展现实装置包括一副扩展现实眼镜的实施方式中，至少一个凹槽可以包括位于鼻梁突出部的相对侧上的两个凹槽，以容纳扩展现实眼镜的镜片。注意，术语“扩展现实眼镜”和“智能眼镜”在这里可以互换使用。鼻梁突出部可以是从托架的表面延伸离开的突起，并且可以被构造成支承智能眼镜的鼻垫或镜桥。这两个凹槽可以各自被成形为接纳一个镜片、围绕镜片的边缘、或围绕镜片的框架的一部分。托架可由柔性材料、刚性或半刚性材料、或具有柔性鼻梁突出部的刚性或半刚性材料制成。柔性鼻梁突出部可以与托架一体地形成，或者可以是覆盖鼻梁突出部的柔性材料。
再参考图11A和图11B，可穿戴扩展现实装置1114是一副智能眼镜。托架1110可以包括鼻梁突出部1118，鼻梁突出部1118被配置成支承智能眼镜的鼻垫1120或镜桥1122。
在可穿戴扩展现实装置包括一副智能眼镜的实施方式中，托架可以被配置成使得当智能眼镜的镜片位于键盘的一侧时，智能眼镜的镜脚在键盘上延伸，其远端位于键盘的与镜片相反的一侧。托架可以包括帮助将智能眼镜的镜脚定位在壳体的表面上方的特征。这些特征可以包括从壳体向上延伸以接合智能眼镜的镜脚的突起。所述突起可以位于壳体的键区或非键区中。
在一些实施方式中，托架可以包括位于键盘附近(例如，在托架与键区之间)的突起，并且可以被配置成在智能眼镜的镜脚与键盘之间产生间隙，使得当智能眼镜选择性地与托架接合时，智能眼镜的镜脚在键盘上延伸，镜脚的远端位于键盘的与镜片相反的一侧。镜脚的远端可以不接触壳体，因为所述突起可以将远端提升到壳体的表面之上。所述突起可以由弹性或其它可压缩材料制成，使得当智能眼镜的镜脚接触所述突起时，镜脚不会被损坏或划伤。
图12A是集成计算接口设备1210的第三实施方式的俯视图，而图12B是集成计算接口设备1210的第三实施方式的左侧视图，其中可穿戴扩展现实装置采用与集成计算接口设备1210选择性地接合的一副智能眼镜1212的形式。图12A和图12B仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。图12A和图12B中所示的集成计算接口设备1210可以具有与图6中所示的集成计算接口设备610和/或图7A和图7B中所示的集成计算接口设备710类似的结构和功能特性。例如，集成计算接口设备1210可以包括集成计算接口设备610的全部或一些元件。在另一示例中，集成计算接口设备1210可包括集成计算接口设备710的所有或一些元件。
集成计算接口设备1210可以包括壳体1214。壳体1214可包括键盘1216和托架1218a，托架1218a可被构造成与智能眼镜1212选择性地接合。托架1218a可包括位于键盘1216附近的突起1220。当智能眼镜1212的镜片1222与托架1218a选择性地接合时，镜脚1224可以接触突起1220，从而在镜脚1224与键盘1216之间产生间隙1226。当智能眼镜1212的镜片1222与托架1218a选择性地接合时，镜脚1224可以在键盘1216上延伸，使得镜脚1224的远端1228位于键盘1216的与镜片1222相反的一侧。远端1228可以与壳体1214间隔开，使得当智能眼镜1212与托架1218a选择性地接合时，远端1228不接触壳体1214。
在一些实施方式中，集成计算接口设备还可以包括与壳体相关联的充电器。该充电器可以被配置成当可穿戴扩展现实装置与托架选择性地接合时对可穿戴扩展现实装置充电。在这样的实施方式中，可穿戴扩展现实装置可以包括要充电的电池或其它电源。充电器可以提供DC电压或电流以对可穿戴扩展现实装置的电池充电。电池可以通过有线连接或无线连接充电。壳体和可穿戴扩展现实装置可以被配置成通过充电器对可穿戴扩展现实装置进行无线充电。充电器可以位于壳体的任何合适的部分中，使得当穿戴式扩展现实装置选择性地与托架接合时，充电器可以向穿戴式扩展现实装置供电。
可穿戴扩展现实装置可包括一个或更多个电触点，并且该壳体可包括一个或更多个相应的电触点，以在可穿戴扩展现实装置与托架接合时接合以对可穿戴扩展现实装置充电。在一些示例中，包括在可穿戴扩展现实装置中的一个或更多个电触点可以位于镜片中的一个或两个中、镜脚中的一个或两个中、或靠近镜片与镜脚连接的镜架的一部分中。在一些示例中，包括在壳体中的一个或更多个相应的电触点可以位于托架中或位于与托架相邻的壳体中，使得当可穿戴扩展现实装置与托架选择性地接合时，可穿戴扩展现实装置的一个或更多个电触点足够接近，使得可以进行无线充电。无线充电可通过无线充电标准(例如，Qi、AirFuel Resonant、近场磁性耦合(NFMC)、射频(RF)或其它合适的无线充电协议)来执行。在一些实施方式中，包含在壳体中的电触点的数量不必与包含在可穿戴扩展现实装置中的电触点的数量相匹配。
在可穿戴扩展现实装置是一副智能眼镜的实施方式中，每个镜片都可以包括电触点，并且壳体可以包括一个或更多个相应的电触点。当智能眼镜与壳体选择性地接合时，镜片中的电触点可以定位成足够靠近壳体中的一个或更多个相应的电触点，以完成无线充电电路。
例如，在图8A和图8B所示的实施方式中，电触点可以位于智能眼镜816的镜脚814中。相应的电触点可以位于托架810的夹持元件812中。
作为另一示例，在图9A和图9B所示的实施方式中，电触点可以位于可穿戴扩展现实装置916的镜桥914和/或鼻垫920中。相应的电触点可以位于夹子912和/或托架910的柱918中。在图9A和图9B所示的实施方式的另一实现中，电触点可以位于可穿戴扩展现实装置916的镜片926中或周围。相应的电触点可以位于镜片突起924中和/或位于镜片926下面的托架910的一部分中。
作为另一个例子，在图10A和图10B所示的实施方式中，电触点可以位于可穿戴扩展现实装置1014的镜片1018中或其周围。相应的电触点可以位于壁1016中。
作为另一个例子，在图11A和图11B所示的实施方式中，电触点可以位于可穿戴扩展现实装置1114的镜片1116中或其周围。相应的电触点可以位于托架1110的凹入部1112中。在图11A和图11B所示实施方式的另一实现中，电触点可位于可穿戴扩展现实装置1114的鼻垫1120或镜桥1122中。相应的电触点可以位于托架1110的鼻梁突出部1118中。
在一些实施方式中，壳体还可以包括电线端口，该电线端口被配置为接纳从可穿戴扩展现实装置延伸的电线。电线可以是适合于在集成计算接口设备与可穿戴扩展现实装置之间提供电力和/或数据的任何类型的电线。例如，该电线可以是通用串行总线(USB)类型的电线，如果该电线可从可穿戴扩展现实装置拆卸，则该电线具有用于该电线端口和可穿戴扩展现实装置的适当连接器。电线端口可以位于集成计算接口设备的壳体的用户容易接近的任何部分上。电线可以从可穿戴扩展现实装置的任何部分延伸。该电线可以固定地连接到可穿戴扩展现实装置上，或者可以从可穿戴扩展现实装置上拆卸下来。在可穿戴扩展现实装置是一副智能眼镜的实施方式中，电线可以从镜脚延伸。电线可以位于沿着镜脚长度的任何点处，使得电线会干扰用户的视力或者不会影响用户佩戴智能眼镜的能力。
在一些实施方式中，电线端口可以位于集成计算接口设备的正面，所述正面被配置为当用户在键盘上键入时面向用户。在一示例中，电线端口可以基本上位于集成计算接口设备的正面的中心(例如，距中心小于1cm、距中心小于2cm、距中心小于4cm、距中心小于8cm等)。在另一示例中，电线端口可以远离中心定位。在另一示例中，电线端口可位于集成计算接口设备的正面的一侧(诸如左侧、右侧等)，例如距正面的侧边缘小于1cm、距侧边缘小于2cm、距侧边缘小于4cm、距侧边缘小于8cm等。
例如，在图6所示的实施方式中，电线端口624可以位于壳体614中。当用户在键盘620上键入时，线端口624可位于集成计算接口设备610的用户附近的非键区618b中。电线626可以连接到可穿戴扩展现实装置612，并且可以由电线端口624接收。电线626可以是可选的，并且在图6中以虚线轮廓示出。在一些示例中，电线626可以选择性地与可穿戴扩展现实装置612附接和分离。在其它示例中，电线626可以永久地连接到可穿戴扩展现实装置612。在一些示例中，电线626可选择性地与电线端口624连接和分离。在其他示例中，电线626可以永久地连接到电线端口624。在一些示例中，电线626可以完全地或部分地缩回到壳体610中和/或缩回到由壳体610形成的隔室中。当电线626处于完全或部分缩回状态时，电线626可以例如由用户拉出壳体610和/或拉出隔室。
作为另一个例子，在图7A和图7B所示的实施方式中，电线端口736可以位于壳体714中。当用户在键盘720上键入时，电线端口736可位于集成计算接口设备710的用户附近的非键区718b中。电线738可以连接到智能眼镜712并且可以由电线端口736接收。将电线端口736定位在非键区718b中可以允许用户在将电线738连接到电线端口736时在键盘720上键入。电线738是可选的，并且在图7A和图7B中以虚线轮廓示出。在一些示例中，电线738可以选择性地与可穿戴扩展现实装置712附接和分离。在其它示例中，电线738可以永久地连接到可穿戴扩展现实装置712。在一些示例中，电线738可以选择性地与电线端口736附接和分离。在其它示例中，电线738可以永久地连接到电线端口736。在一些示例中，电线738可以完全或部分地缩回到壳体710中和/或缩回到由壳体710形成的隔室中。当电线738处于完全或部分缩回状态时，电线738可以例如由用户拉出壳体710和/或拉出隔室。
在一些实施方式中，电线可以被配置成当电线被连接到电线端口时对可穿戴扩展现实装置进行充电。电线可以是适合于向可穿戴扩展现实装置提供电力的任何类型的电线。例如，电线可以是通用串行总线(USB)类型的电线，其具有用于电线端口和可穿戴扩展现实装置的适当连接器。
在一些实施方式中，集成计算接口设备还可以包括位于壳体中的至少一个处理器。电线可以被配置为使得能够在可穿戴扩展现实装置与所述至少一个处理器之间进行数字数据通信。处理器可以包括适合于数字数据通信的任何处理设备。除了实现数字数据通信之外，处理设备可以被配置为在集成计算接口设备上执行计算机程序。电线可以是适合于实现可穿戴扩展现实装置与至少一个处理器之间的数字数据通信的任何类型的电线。例如，电线可以是通用串行总线(USB)类型的电线，其具有用于电线端口和可穿戴扩展现实装置的适当连接器。
在一些实施方式中，集成计算接口设备还可以包括位于壳体中的处理器。所述处理器可以被配置成与可穿戴扩展现实装置无线地配对。无线配对是无线链接集成计算接口设备和可穿戴扩展现实装置的过程，以实现集成计算接口设备与可穿戴扩展现实装置之间的无线数据通信。处理器可以包括适于在集成计算接口设备与可穿戴扩展现实装置之间实现无线配对协议的任何处理设备。无线配对协议可以是WiFi(基于IEEE 802.11)、射频(RF，诸如zigbee或ZWave)、射频标识(RFID，诸如有源读取器无源标签或有源读取器有源标签)、蓝牙、近场通信(NFC)或可用于短距离通信的任何其他无线配对协议。集成计算接口设备可以包括与键盘相邻的可视标记，以便于与可穿戴扩展现实装置进行无线配对。视觉标记可以帮助确保可穿戴扩展现实装置在集成计算接口设备的无线通信范围内。在一些实施方式中，键盘可以包括专用功能键以开始无线配对过程。
在一些实施方式中，集成计算接口设备还可以包括位于壳体内的至少一个运动传感器和在工作时能够连接到所述至少一个运动传感器的至少一个处理器。所述至少一个处理器可以被编程为基于从所述至少一个运动传感器接收到的输入来实现操作模式。在一些实施方式中，运动传感器可以确定集成计算接口设备是否正在移动，并且可以基于所述移动来调整集成计算接口设备的操作模式。在一些实施方式中，运动传感器可以确定可穿戴扩展现实装置是相对于集成计算接口设备移动还是与集成计算接口设备一起移动，并且可以基于所述移动来调整集成计算接口设备或可穿戴扩展现实装置的操作模式。例如，如果可穿戴扩展现实装置的用户在行走，则可以限制显示给用户的项目的数量以防止分散用户的注意力。
所述至少一个运动传感器可以包括加速度计、陀螺仪、磁力计、使用图像传感器并通过用自我运动算法分析使用图像传感器拍摄的图像而实现的运动传感器，或者被配置为测量集成计算接口设备的环境中的对象的运动的其它类型的传感器。例如，至少一个运动传感器可以是上面结合图3描述的运动传感器373。所述至少一个处理器可以包括被配置成用于接收来自所述至少一个运动传感器的输入并且被配置成被编程为基于该输入来实现一种操作模式的任何处理设备。
在一些实施方式中，所述至少一个处理器还可以被编程为基于从所述至少一个运动传感器接收到的输入来自动调整由可穿戴扩展现实装置呈现的虚拟显示器的设置。所述至少一个处理器可以包括被配置为被编程为自动调整由可穿戴扩展现实装置呈现的虚拟显示器的一个或更多个设置的任何处理设备。可以基于用户所处的环境来调整虚拟显示器的设置(例如，从光线不明亮的室内移动到光线明亮的室外)。可以调整的虚拟显示器的设置可以包括：图片设置，诸如亮度、对比度、清晰度或显示模式(例如，具有预定设置的游戏模式)；颜色设置，诸如颜色分量级别或其他颜色调整设置；虚拟显示器相对于用户头部位置的位置；或可增强虚拟显示的用户视图的其它设置。在图1所示的实施方式中，虚拟屏幕112的设置可以由至少一个处理器自动调整。
在一些实施方式中，所述至少一个处理器可以被进一步编程为：当所述集成计算接口设备被移动超过阈值距离，同时所述可穿戴扩展现实装置与所述托架脱离时，输出通知。所述至少一个处理器可以包括任何处理设备，该处理设备被配置成被编程为当该集成计算接口设备被移动超过阈值距离同时可穿戴扩展现实装置从托架脱离时，输出通知。例如，可以向用户提供通知以警告用户他们正在将可穿戴扩展现实装置移出无线通信范围，使得除非用户移动得比阈值距离更近，否则将中断与集成计算接口设备的交互。作为另一示例，如果可穿戴扩展现实装置通过电线连接到集成计算接口设备，则如果用户将要从集成计算接口设备进一步移动离开比电线的长度更远的距离，这可能导致电线断开，可穿戴扩展现实装置被意外地从用户的头部移除，或者集成计算接口设备被从集成计算接口设备所在的表面去除，则可以提供通知。
该通知可以包括警告、警报或其他音频和/或视觉指示符。该通知可以经由连接到图3所示的输出接口350(例如，灯光指示器351、显示器352和/或扬声器353)或图4所示的输出接口450(例如，灯光指示器451、显示器452、扬声器453和/或投影仪454)的任何设备输出。所述阈值距离可以是连接在所述集成计算接口设备与所述可穿戴扩展现实装置之间的导线的长度的百分比、相对于所述电线的长度的固定距离、距所述集成计算接口设备的固定距离、所述集成计算接口设备与所述可穿戴扩展现实装置之间的无线通信协议的距离范围的百分比、相对于所述无线通信协议的距离范围的固定距离，或者将可穿戴扩展现实装置带离集成计算接口设备的任何其他距离。
在一些实施方式中，集成计算接口设备还可以包括壳体内的至少一个传感器和在工作时能够连接到其上的至少一个处理器。所述至少一个传感器可以被配置成提供指示该可穿戴扩展现实装置是否与托架接合的输入。所述至少一个处理器可以被编程为基于可穿戴扩展现实装置是否与托架接合来使用所接收的输入来实现一种操作模式。例如，响应于指示可穿戴扩展现实装置与托架接合的输入，所述至少一个处理器可以实施第一操作模式，并且响应于指示可穿戴扩展现实装置未与托架接合的输入，所述至少一个处理器可以实施第二操作模式，该第二操作模式可以不同于该第一操作模式。在一些示例中，所述至少一个处理器可以被编程为基于可穿戴扩展现实装置是否与托架接合来自动调整由可穿戴扩展现实装置呈现的虚拟显示器的设置，例如如在此关于基于来自所述至少一个运动传感器的输入来调整这些设置所描述的。在一些示例中，所述至少一个处理器可以被编程为当可穿戴扩展现实装置与托架接合或可穿戴扩展现实装置与托架脱离接合中的至少一者发生时输出听觉指示。在一些示例中，操作模式可以是或可以包括以下中的至少一个的功率模式：所述至少一个处理器；包括在集成计算接口设备中的通信设备；或可穿戴扩展现实装置。在一示例中，当可穿戴扩展现实装置与托架接合时，电力模式可以是关闭模式、睡眠模式、休眠模式等。在另一示例中，与可穿戴扩展现实装置未与托架接合时的电力模式相比，可穿戴扩展现实装置与托架接合时的电力模式可以与更低的电力消耗相关联(例如，可穿戴扩展现实装置与托架接合时使用较少的硬件组件，可穿戴扩展现实装置与托架接合时使用较低的时钟速度等)。
在一些示例中，操作模式可以包括用于经由可穿戴扩展现实装置呈现虚拟内容的显示模式。在一示例中，在一种操作模式中，没有虚拟内容可以经由可穿戴扩展现实装置呈现(例如，当可穿戴扩展现实装置与托架接合时)，而在另一种操作模式中，所选择的虚拟内容可以经由可穿戴扩展现实装置呈现(例如，当可穿戴扩展现实装置不与托架接合时)。在另一示例中，在一种操作模式中，可以经由可穿戴扩展现实装置以较小的尺寸呈现虚拟内容(例如，当可穿戴扩展现实装置与托架接合时)，而在另一操作模式中，可以经由可穿戴扩展现实装置以较大的尺寸呈现所选择的虚拟内容(例如，当可穿戴扩展现实装置不与托架接合时)。在另一示例中，在一种操作模式中，可以经由可穿戴扩展现实装置以较低的不透明度呈现虚拟内容(例如，当可穿戴扩展现实装置与托架接合时)，而在另一操作模式中，可以经由可穿戴扩展现实装置以较高的不透明度呈现所选择的虚拟内容(例如，当可穿戴扩展现实装置不与托架接合时)。在另一示例中，在一种操作模式中，可以经由可穿戴扩展现实装置以较低亮度呈现虚拟内容(例如，当可穿戴扩展现实装置与托架接合时)，而在另一操作模式中，可以经由可穿戴扩展现实装置以较高亮度呈现所选虚拟内容(例如，当可穿戴扩展现实装置不与托架接合时)。
在一些示例中，当可穿戴扩展现实装置与托架接合时，可以基于在可穿戴扩展现实装置与托架接合之前经由可穿戴扩展现实装置呈现的虚拟内容来选择操作模式。例如，响应于第一虚拟内容(例如，与硬件维护相关的虚拟内容、与高优先级任务相关的虚拟内容等)，可以选择第一操作模式，并且响应于第二虚拟内容(例如，需要用户参与的虚拟内容、与低优先级任务相关的虚拟内容等)，可以选择第二操作模式，第二模式可以不同于第一模式。在一些示例中，当可穿戴扩展现实装置与托架接合时，可以基于对使用至少一个图像传感器(例如，包括在可穿戴扩展现实装置中、包括在集成计算接口设备中等的至少一个图像传感器)捕获的图像数据的分析来选择操作模式。例如，可以使用视觉分类算法来分析图像数据，以将集成计算接口的物理环境分类到多个可选类别中的特定类别，并且可以基于该特定类别来选择操作模式。这种类别的一些非限制性示例可包括“室外”、“室内”、“办公室”、“家庭”、“会议室”、“环境中的至少一个人”、“环境中的至少两个人”、“环境中没有人”等。在另一示例中，可以使用视觉运动识别算法来分析图像数据以检测集成计算接口的物理环境中的运动，并且可以基于是否识别了朝向集成计算接口的运动来选择操作模式。
在一些实施方式中，集成计算接口设备还可以包括保护罩。所述罩可以保护壳体的一部分在运送期间免受损坏，例如，壳体的一部分包括键区、非键区和托架。保护罩可以完全从壳体移除，或者可以通过其一个或更多个侧面连接到壳体。保护罩的一侧可以固定地连接到壳体。保护罩可以包括软材料(例如非织造织物)包围第二材料(例如硅)的两层。保护罩可包括第一层软材料(例如非织造织物)和第二层第二材料(例如硅)。保护罩可以由任何数量的层或不同类型的材料制成，以便当可穿戴扩展现实装置选择性地与托架接合时向键盘和/或壳体和/或可穿戴扩展现实装置提供撞击、震动或冲击保护。
保护罩可以按照两种包围模式操作。在第一包围模式中，保护罩可以被配置为将可穿戴扩展现实装置覆盖在壳体中。例如，在第一包围模式中，当可穿戴扩展现实装置选择性地与托架接合时，保护罩可以向键盘和/或壳体和/或可穿戴扩展现实装置提供撞击、震动或冲击保护。保护罩可以包括一个或更多个特征，例如一个或更多个突起，其被配置为将可穿戴扩展现实装置保持在第一包围模式。例如，保护罩可以包括一条或更多条折叠线，以允许保护罩在可穿戴扩展现实装置选择性地与托架接合时在可穿戴扩展现实装置上弯曲，并且在可穿戴扩展现实装置选择性地与托架脱离时不同地弯曲。
在第二包围模式中，保护罩可以被配置成使壳体升高。例如，在第二包围模式中，保护罩可以允许壳体相对于放置该壳体的表面(例如桌子、书桌或用户的膝盖)升高。为了提升壳体，保护罩可以被分段，使得保护罩可以被折叠到不同的位置，由此壳体可以被升高到壳体所放置的表面之上的一个或更多个距离。在第二包围模式中，保护罩可以不覆盖可穿戴扩展现实装置。
图13A是具有处于第一包围模式的保护罩1312的集成计算接口设备1310的右侧立体图。图13A仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。保护罩1312可覆盖壳体1314的上部，而壳体1314的底面接触可放置集成计算接口设备1310的表面1316。在一些非限制性示例中，集成计算接口设备1310可以包括集成计算接口设备610、集成计算接口设备710或集成计算接口设备1210中的至少一个的所有或一些元件。
图13B是图13A的集成计算接口设备1310的左侧立体图，其具有处于第二包围模式的保护罩1312。图13B仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。当保护罩1312处于第二包围模式时，保护罩1312可以至少部分地与壳体1314分离，以允许触及键盘1318、可穿戴扩展现实装置1320以及用于可穿戴扩展现实装置1320的托架1322。保护罩1312可以被分段以产生单独的段(例如段1324、1326、1328和1330)，使得保护罩1312可以被折叠以将壳体1314的至少一部分升高到表面1316上方。通过将折叠的保护罩1312放置在壳体的一端下方以使得壳体的该端升高，可以使壳体升高。注意，图13B中所示的段1324-1330的数量是示例性的，并且保护罩1312可以具有更少的段或更多的段。
保护罩还可以包括与其相关联的至少一个相机。例如，保护罩可以包括被配置为拍摄键盘、用户或用户周围的环境的图像的一个或更多个相机或其他类型的成像设备。所述一个或更多个相机可以包括一个或更多个自拍相机、后置相机或与保护罩相关联的其它相机，使得当保护罩处于第二包围模式时相机是可以使用的。
保护罩还可以包括在至少一个相机的至少两侧上的至少一个突起。例如，保护罩可包括从至少一个相机的两侧伸出的两个突起、从至少两侧环绕至少一个相机的一个突起、或另一数量的突起，使得至少一个突起被构造成当所述罩被定位在平坦表面上并且相机面向该平坦表面时防止至少一个相机接触该平坦表面。
图14是具有处于第二包围模式的保护罩1412的集成计算接口设备1410的另一实施方式的右侧立体图。图14仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。
当保护罩1412处于第二包围模式时，保护罩1412至少部分地与壳体1414分离，以允许使用键盘1416、可穿戴扩展现实装置1418和用于可穿戴扩展现实装置1418的托架1420。保护罩1412可以被分段以产生单独的段(例如段1422、1424和1426)，使得保护罩1412可以被折叠以将壳体1414的至少一部分升高到表面1428之上。注意，图14所示的段1422-1426的数量是示例性的，并且保护罩1412可以具有更少的段或更多的段。
相机1430可位于保护罩1412的段1422中。应当注意，相机1430可以位于保护罩1412的任何部分中。三个突起1432从保护罩1412向外延伸以形成围绕相机1430的三角形。突起1432被配置为当保护罩1412位于表面1428上并且相机1430面向表面1428时防止相机1430接触表面1428。
传统上，相机位于膝上型计算机屏幕的顶部框架上。当从相对于膝上型计算机放置的表面的升高位置使用膝上型计算机时，该位置使得相机面向用户。该升高的位置允许用户具有期望的视角。一些公开的实施方式允许膝上型计算机使用扩展现实装置而无需重要的物理屏幕。然而，这产生了相机位置的问题。将相机定位在键盘上产生了用户不习惯的不希望视角。因此，期望将相机定位在相对于键盘的升高位置。由一些公开的实施方式提供的一种解决方案包括将相机定位在键盘的可折叠罩中，该可折叠罩被配置为折叠成相机被升高到键盘上方并面向用户的配置。
在一些实施方式中，集成计算接口设备可以包括具有键区和非键区的壳体。集成计算接口可以包括具有多个功能组件的任何设备。该设备可以充当允许人与例如计算机的机器交互的接口。在一示例中，集成计算接口设备可以包括被配置成与集成计算接口设备外部的可穿戴扩展现实装置一起工作的计算设备，例如，使得能够经由可穿戴扩展现实装置呈现扩展现实环境。在一示例中，集成计算接口设备可以例如在单个壳体中包括与输入设备(诸如键盘、触摸屏、触摸板等)集成的计算设备(诸如处理器、CPU等)、被配置成将集成计算接口设备连接到数字通信网络(诸如以太网、蜂窝网络、因特网等)的数字通信设备以及被配置成将外部的可穿戴扩展现实装置连接到集成计算接口设备的通信端口。
壳体可以包括其中包含或容纳一个或更多个部件的任何物理结构。这种壳体可以具有键区(例如按键所在的一般区域)和通常没有按键的非键区。键可以包括任何按钮、开关、触发器、拨动开关或能够通过物理操纵激活的任何其它元件。在一些实施方式中，键本质上可以是机械的(例如，诸如在典型的计算机键盘上找到的机械按钮)。在其它情况下，键可以是软的(例如，在其上模拟键的图像的触摸显示器)。作为示例，键区可以覆盖字母数字键盘或数字键盘的区域，而非键区可以是接口的没有键的另一区域。在一些示例中，键区和/或非键区可以是集成计算接口设备的外表面(或上外表面)的区域。在一些实施方式中，集成计算接口设备可以包括具有输入区域和非输入区域的壳体。在一示例中，输入区域可以是包括触摸屏的集成计算接口设备的外部表面区域(或上部外部表面区域)。在另一示例中，输入区域可以是包括触摸板的集成计算接口设备的外部表面区域(或上部外部表面区域)。在又一示例中，输入区域可以是和/或包括如上所述的键区。在一示例中，非输入区域可以是接口的缺少任何输入设备的外部表面区域(或上部外部表面区域)。在另一示例中，输入区域可以是包括特定类型的输入设备的集成计算接口设备的外部表面区域(或上部外部表面区域)，而非输入区域可以是集成计算接口设备的缺少特定类型的输入设备的另一外部表面区域(或另一上部外部表面区域)。
壳体可包括外罩或外壳。壳体可以包围集成计算接口设备的组件，并且可以覆盖集成计算接口设备的一些或全部组件。可以设想，壳体可以具有一个或更多个开口，这些开口可以露出集成计算接口设备的某些组件(例如，USB或其他端口或图像传感器)，或者可以允许某些组件(例如，键盘的键)从壳体突出。壳体可以在壳体的内部部分中支承集成计算接口设备的某些组件(例如，电路板)。
集成计算设备的壳体可以包括键区和不同于该键区的非键区。如先前更详细地讨论的，键区可以包括一个或更多个键，所述键可以允许用户输入字母数字或其他字符作为输入。例如，在一些实施方式中，键盘可以与壳体的键区相关联。键盘可以是标准打字机式键盘(例如，QWERTY式键盘)或其它合适的键盘布局，例如Dvorak布局或弦式布局。键盘可包括任何合适数量的键；例如，“全尺寸”键盘可以包括多达104或105个键。在一示例中，键盘可包括至少10个键、至少30个键、至少80个键、至少100个键等。在一示例中，键盘可被包括在集成计算接口设备中、集成计算接口设备的外部表面区域中、集成计算接口设备的上部外部表面区域中、壳体中、壳体的外部表面中、壳体的上部外部表面中、键区中等等。在一些实施方式中，输入设备可以与壳体的输入区域相关联。这种输入设备的一些非限制性示例可以包括如上所述的触摸屏、触摸板、键盘等。例如，输入设备可以是触摸屏，并且触摸屏可以具有至少1英寸、至少5英寸、至少10英寸等的对角线长度。在另一示例中，输入设备可以是触摸板，并且触摸板可以具有至少1英寸、至少5英寸、、至少10英寸等的对角线长度。在一示例中，输入设备可以被包括在集成计算接口设备中、集成计算接口设备的外部表面区域中、壳体中、壳体的外部表面中、集成计算接口设备的上部外部表面区域中、壳体中、壳体的上部外部表面中、键区中等等。
如先前更详细地讨论的，非键区可以是壳体的不包括任何键的区域，并且可以存在以完成壳体的在任何方向上延伸超过壳体的键区的期望形状。非键区可以是可以包括输入元件的区域，所述输入元件例如是轨迹板、轨迹球、触摸屏、触杆或用于集成计算接口设备的其他形式的光标控制。非键区可被细分成多个不同的非键区，例如轨迹板或其它光标控制、壳体的延伸部分、或壳体内包括的一个或更多个扬声器或其它音频输出设备的盖或格栅。在一些实施方式中，壳体可以包括两个或更多个非键区。例如，第一非键区可以位于键区的顶部边缘，而第二非键区可以位于键区的底部边缘。在一些实施方式中，非键区可以仅仅是壳体的一部分，除了充当壳体的一部分之外没有任何功能。在一些示例中，如先前更详细地讨论的，非输入区域可以是壳体的不包括任何输入设备或不包括任何特定类型的输入设备的区域，并且可以存在以完成在任何方向上延伸超过壳体的输入区域的壳体的期望形状。在一些实施方式中，壳体可以包括两个或更多个非输入区域。
在一些实施方式中，集成计算接口设备可以包括至少一个图像传感器。图像传感器可以包括将光子(即，光)转换成电信号以供解释的设备。例如，图像传感器可以结合电荷耦合器件(CCD)或有源像素传感器(CMOS传感器)，以互补MOS(CMOS)或N型MOS(NMOS或LiveMOS)技术制造。所述至少一个图像传感器可以被配置为拍摄集成计算接口设备的用户的图像和/或视频，或者可以位于用户的物理环境中。如前所述，图像传感器可以被配置为通过将光转换为图像数据来捕获视觉信息。在一些实施方式中，所述至少一个图像传感器可以是以下各项中的至少一项：彩色图像传感器；单色图像传感器；立体图像传感器；红外图像传感器；或深度图像传感器。
在一些示例中，可以分析使用包括在集成计算接口设备中的至少一个图像传感器捕获的图像数据，以确定可穿戴扩展现实装置的用户是否正在接近集成计算接口设备。例如，可以使用视觉分类算法来分析图像数据，以确定可穿戴扩展现实装置的用户是否正在接近集成计算接口设备、接近集成计算接口设备的人是否是可穿戴扩展现实装置的用户等。在一些示例中，可以分析图像数据以识别接近集成计算接口设备的人所使用的可穿戴扩展现实装置。例如，可以在可穿戴扩展现实装置上呈现唯一的可视码(例如，在粘贴标签中或在可穿戴扩展现实装置的外侧上的显示屏上)，可以分析图像数据以检测和识别唯一的可视码，并且可以基于所识别的可视码来访问将可穿戴扩展现实装置与可视码相关联的数据结构，以识别可穿戴扩展现实装置。此外，在一些示例中，集成计算接口设备与所识别的可穿戴扩展现实装置的配对可以在识别出可穿戴扩展现实装置时启动。
在一些实施方式中，该集成计算接口设备可以包括包含了所述至少一个图像传感器的可折叠保护罩，其中，该保护罩可以被配置成被操纵成多个折叠构造。如果罩具有非刚性结构，则其可被认为是可折叠的，从而使其能够至少在一定程度上调节或符合位于所述罩下方的结构。作为示例，可折叠罩可以具有不同的折叠线或折痕，或者可以是大体上柔性的而没有特定的折痕。可折叠性可以通过罩中的折痕来促进，和/或可以基于其材料组成来促进。例如，所述罩可以由能够折叠的柔性材料制成。
在一些折叠构造中，所述罩可以保护壳体的一部分在运送过程中免受损坏，例如壳体的包括键区和非键区的至少一部分(或输入区域和非输入区域的至少一部分)的部分。在一些实施方式中，如果壳体具有多个非键区，则所述罩可以不覆盖所有非键区。例如，在一些实施方式中，所述罩可以不在位于键区的底部边缘处的非键区上延伸，或者可以仅覆盖位于键区的底部边缘处的非键区的一部分。在一些实施方式中，如果壳体具有多个非输入区域，则所述罩可以不覆盖所有非输入区域。例如，在一些实施方式中，所述罩可以不在位于输入区域的底部边缘处的非输入区域上方延伸，或者可以仅覆盖位于输入区域的底部边缘处的非输入区域的一部分。
所述罩可以包含图像传感器。例如，所述罩中的孔可以露出图像传感器的镜头，图像传感器可以嵌入在所述罩的层中(在至少一层中具有用于露出图像传感器的镜头的孔)，图像传感器可以固定到所述罩的外表面，或者图像传感器可以配置为以任何其它方式与所述罩连接或关联。
在一些实施方式中，保护罩可以具有四边形形状，其中一侧连接到壳体。在一些实施方式中，罩的形状可以不是完美的四边形。例如，罩的角部和/或边缘可由于其制造工艺而被倒圆、斜切或倒角。在一些实施方式中，保护罩可以具有与壳体的顶表面类似的形状，使得保护罩完全覆盖壳体的顶表面，包括覆盖键区以及非键区的至少一部分(或者包括覆盖输入区域以及非输入区域的至少一部分)。在一些实施方式中，所述罩可以被配置成延伸超过壳体的顶表面的一个或更多个边缘，使得所述罩可以至少部分地包覆壳体的一个或更多个侧面。
在一些实施方式中，所述至少一个图像传感器可以被定位成更靠近保护罩的连接至壳体的第一侧，而不是该保护罩的与第一侧相反的第二侧。在一些实施方式中，保护罩的第一侧可以通过被固定地附接到壳体而连接到壳体。例如，保护罩的第一侧可以通过铰链机构附接或连接到壳体。可以使用旋转铰链，或者铰链可以由柔性塑料或织物材料制成。这些仅仅是几个例子。
可以使用本领域已知的任何类型的铰链机构。尽管不是必需的，但是在一些实施方式中，铰链机构可以由柔性材料制成，并且柔性材料的第一边缘被固定地附接到壳体，并且与第一边缘相反的第二边缘被固定地附接到保护罩。在一些实施方式中，柔性材料可包括织物、硅树脂、橡胶或其它聚合物或弹性体材料。在一些实施方式中，铰链机构可以包括连接到保护罩并从保护罩延伸的一个或更多个关节(例如，刚性或半刚性环结构)、连接到壳体并从壳体延伸的一个或更多个关节以及插入穿过所有关节以形成铰链的销，使得保护罩可以围绕销旋转或枢转。当在插入销之前组装在一起时，保护罩的关节和壳体的关节可以对齐或交错。
在一些实施方式中，保护罩的第一侧可以按照可移除的方式连接到壳体。例如，保护罩的第一侧可以包括一个或更多个磁体，并且壳体可以包括铁磁材料以使得能够与磁体相互作用，从而保护罩可以按照可移除的方式连接到壳体。作为另一个示例，保护罩的第一侧可以包括铁磁材料，并且壳体可以包括一个或更多个磁体，使得保护罩可以按照可移除的方式连接到壳体。
在一些实施方案中，保护罩可包括相对软的材料(例如聚合物片材、织物、非织造织物或类似的软材料)包覆第二材料(例如有机硅)的多个(例如两个)层。在一些实施方式中，保护罩可以包括第一材料(例如，非织造织物)的第一层和第二材料(例如，硅树脂)的第二层。在一些实施方式中，保护罩可以由任何数量的层或不同类型的材料制成，以向键盘和/或输入设备和/或壳体提供撞击、震动或冲击保护。
在一些实施方式中，至少一个图像传感器的电子器件可以夹在保护罩的第一外层与保护罩的第二外层之间。夹在中间可以通过缝合、粘接、黏合或相邻层的至少一些部分之间的任何其它形式的固定来进行。在一些实施方式中，所述至少一个图像传感器可安装在图像传感器壳体中以保护所述至少一个图像传感器免受碰撞、冲击或震动。所述至少一个图像传感器的电子器件可以支持所述至少一个图像传感器的一个或更多个操作。例如，电子器件可以包括至少一个图像传感器的一些或基本上所有的部件，使其能够以预期的方式工作。在一些实施方式中，电子器件可包括例如向至少一个图像传感器供电的电源连接和将数据从至少一个图像传感器传送到集成计算接口设备的其它组件的数据连接。在一些实施方式中，电源连接和数据连接可以由单独的电线提供。在一些实施方式中，电源连接可以由与数据连接分开的电线提供。在一些实施方式中，图像传感器壳体可以被配置成保持一个图像传感器或多个图像传感器。在具有多个图像传感器的实施方式中，每个图像传感器可以具有单独的电源连接和数据连接，或者可以经由总线连接共享电源连接和/或数据连接，其中每个图像传感器连接到总线以共享电源连接和/或数据连接。在一些实施方式中，电子器件可包含在图像传感器壳体中。
在一些实施方式中，当保护罩处于第一折叠构造时，保护罩的第一外层可以面向壳体，并且保护罩的第二外层可以在保护罩的相反侧上，使得第二外层背对壳体。在一些实施方式中，所述至少一个图像传感器可位于所述第一外层与所述第二外层之间，以将所述至少一个图像传感器“夹”在所述第一外层与所述第二外层之间，以支承所述至少一个图像传感器并向所述至少一个图像传感器提供保护以防止碰撞、冲击或震动。在这种构造中，第一外层可以包括开口，使得至少一个图像传感器不被第一外层覆盖，并且至少一个图像传感器可以拍摄图像。在一些实施方式中，图像传感器壳体可以位于第一外层与第二外层之间。
在一些实施方式中，第一外层和第二外层中的每一层可由单一连续材料制成，并且其中，电子器件可位于由多个单独元件制成的中间层上。在一些实施方式中，第一外层和第二外层各自可以由单片材料制成并且可以例如通过缝合、压缩、熔融、粘合剂或将这些边缘熔合在一起的其他方法围绕其对应的边缘彼此连接，这样使得中间层的多个单独的元件被包含在第一外层与第二外层之间。
在一些实施方式中，多个单独的元件可以在相反两侧上被第一外层和第二外层围绕，其中，多个单独的元件被夹在第一外层与第二外层之间。在一些实施方式中，多个单独的元件可定位在形成于第一外层与第二外层之间的“袋”中，使得每个单独的元件在单独的袋中。在一些实施方式中，多个单独的元件可以允许保护罩是柔性的并且形成为多个构造，包括平坦构造和一个或更多个三维构造。关于保护罩的可能形状的附加细节将在下面描述。
在一些实施方式中，至少一个图像传感器的电子器件可以附接到多个单独的元件中的一个。例如，电子器件可以通过粘合剂附接到多个单独的元件中的一个。可以使用任何合适类型的粘合剂。作为另一示例，电子器件可定位在第一支承元件中，并且多个单独的元件中的一个可包括第二支承元件，使得第一支承元件和第二支承元件相互作用(例如，通过榫槽布置、滑动配合布置、卡扣配合布置或压配合布置)以将第一支承元件附接到第二支承元件。在一些实施方式中，第一支承元件可以包括先前描述的图像传感器壳体，并且第二支承元件可以包括支架，该支架被配置成与图像传感器壳体相互作用以将图像传感器壳体附接到多个单独的元件中的一个。在一些实施方式中，电子器件可以永久地附接到多个单独的元件中的一个。在一些实施方式中，电子器件可以按照可移除的方式附接到多个单独的元件中的一个。在一些实施方式中，电子器件可以与多个单独的元件中的一个一体形成。例如，多个单独元件中的一个可以被模制或形成在电子器件周围以在其中容纳电子器件。
在一些实施方式中，多个单独元件中的至少一些可以具有三角形形状。在一些实施方式中，多个单独元件中的至少一些可以具有四边形形状。在一些实施方式中，四边形元件可以具有圆形的、倒角的或倾斜的边缘和/或角。在一些实施方式中，多个单独元件中的至少一些可具有其它形状，例如圆形、半圆形、椭圆形、卵形或其它形状。通常，单独的元件可以具有带有直线或非直线(例如，弯曲的)侧边的任何形状。在一些实施方式中，多个单独的元件全部可以具有基本上相同的形状。在一些实施方式中，多个单独元件中的一些可以具有第一形状，而其它单独元件可以具有不同于第一形状的第二形状。在一些实施方式中，多个单独元件中的至少一些可以具有不同尺寸的基本相同的形状。例如，多个单独元件中的一些可以具有不同尺寸的大致三角形形状；例如，小三角形和大三角形。所描述的多个单独元件的形状是近似的，因为每个元件可以具有倒圆的、斜切的或倒角的边缘和/或角部。
在一些实施方式中，第一外层和第二外层可以由第一材料制成，并且中间层可以包括不同于第一材料的第二材料。在一些实施方式中，第一外层可以由与第二外层不同的材料制成。在一些实施方式中，中间层的第二材料可以是与第一外层或第二外层不同的材料。
在一些实施方式中，第一材料和第二材料可以包括塑料材料、硅、碳纤维、聚碳酸酯、织物或皮革。例如，第一材料可以是聚碳酸酯材料，第二材料可以是硅或织物。作为另一个例子，第一材料可以是第一类型的织物，并且第二材料可以是第二类型的织物。作为另一个例子，第二材料可以是玻璃、陶瓷、环氧树脂、塑料或聚四氟乙烯中的至少一种。在一些实施方式中，第一材料可比第二材料耐用。在一些实施方式中，第二材料可以比第一材料软。在一些实施方式中，第二材料可以是介电材料。
在一些实施方式中，第一材料可以比第二材料硬。在一些实施方式中，第一材料可以是刚性的或半刚性的。在一些实施方式中，第二材料可以比第一材料硬。在一些实施方式中，第二材料可以是刚性的或半刚性的。
在一些实施方式中，在第一折叠构造中，保护罩可构造成包围键区以及非键区的至少一部分。在一些实施方式中，在第一折叠构造中，保护罩可以包覆壳体的整个上表面，包括键区和整个非键区。例如，如果保护罩可以通过一侧连接到壳体，并且在第一折叠构造中，保护罩可以从壳体的一侧延伸，在该侧保护罩连接到壳体的相反侧，远离保护罩连接的位置。在另一示例中，在第一折叠构造中，保护罩可包覆壳体的上表面的一部分，包括键区以及非键区的至少一部分。在一些实施方式中，在第一折叠构造中，保护罩可以被配置成包覆输入区域以及非输入区域的至少一部分。例如，保护罩可以包覆壳体的上表面的一部分，包括输入区域以及非输入区域的至少一部分。在一些实施方式中，保护罩可以被平放在壳体的上表面上。
在一些实施方式中，保护罩可以在壳体的相反侧以可拆卸的方式连接到壳体，例如通过磁性连接。在一些示例中，集成计算接口设备可以包括传感器，并且使用传感器捕获的数据可以指示保护罩是否处于第一折叠构造。这种传感器的一些非限制性示例可以包括接近传感器、磁性传感器、物理按钮(用作开关)等。此外，在一些示例中，集成计算接口设备可以被配置成当保护罩处于第一折叠构造时抑制使用所述至少一个图像传感器拍摄图像和/或视频。在其它示例中，集成计算接口设备可被配置为基于保护罩是否处于第一折叠构造而改变操作电力模式(例如睡眠、休眠、常规等)。
在一些实施方式中，在第二折叠构造中，保护罩可以被配置为按照使当用户在键盘上键入时至少一个图像传感器的光轴大体上面向集成计算接口设备的用户的方式直立。例如，当所述罩被折叠到其中所述罩的至少一部分不再覆盖接口设备的第二配置时，所述罩的至少该部分可以被配置为呈现升高的位置，在该位置，当用户与接口设备交互(例如，使用该设备，例如在键盘上键入)时，图像传感器面向用户的方向。在一些实施方式中，保护罩可以被折叠成一个或更多个段，其中至少一些段有助于在第二折叠构造中支承保护罩。在一些实施方式中，当处于第二折叠构造时，保护罩可以被折叠成基本上三角形的形状。至少一个图像传感器的光轴可以是通过图像传感器的镜头中心的虚拟线，并且可以帮助限定图像传感器的视角，使得图像传感器可以拍摄用户的图像，例如当用户在键盘上键入时。在一些实施方式中，在第二折叠构造中，保护罩可以被配置成按照如下方式直立，即，使得在用户与输入设备物理地交互的同时，至少一个图像传感器的光轴大体上面向集成计算接口设备的用户。这种与输入设备的物理交互的一个非限制性示例可包括触摸输入设备(例如，触摸触摸屏、触摸触摸板等)。
在一些实施方式中，在第二折叠构造中，当壳体被搁置在表面上时，保护罩的与连接到壳体的四边形的侧面相对的区段也可被构造成搁置在表面上。在一些实施方式中，搁置在表面上的保护罩的区段帮助保护罩在第二折叠构造中直立。在一些实施方式中，保护罩的区段延伸离开壳体，同时搁置在表面上。在一些实施方式中，在保护罩的区段在搁置在表面上时朝向壳体延伸。
在一些实施方式中，被配置成在第二折叠构造中搁置在表面上的保护罩的区段的面积可以是保护罩的总面积的至少10％。在一些实施方式中，在第二折叠构造中搁置在表面上的保护罩的区段的面积可大于或小于保护罩的总面积的10％，使得搁置在表面上的保护罩的面积有助于保护罩保持在第二折叠构造中。
在一些实施方式中，保护罩的搁置在表面上的区段的一侧可以包括防滑部分，使得该区段在被搁置在该表面上时不滑动。例如，防滑部分可以包括纹理部分，诸如肋状、槽状或卵石状。作为另一个例子，防滑部分可以由防滑材料制成，例如硬塑料或橡胶。在一些实施方式中，防滑部分的尺寸小于搁置在表面上的保护罩的区段的面积。
在一些实施方式中，保护罩可以包括能够沿着多个预定折叠线折叠保护罩的柔性部分。这种折叠线例如可以是罩中的折痕。在一些实施方式中，柔性部分可以在保护罩的中间层的多个分离元件中的一个或更多个之间。在一些实施方式中，柔性部分可以位于保护罩的中间层的多个单独的元件中的每一个之间。在一些实施方式中，柔性部分可以形成在保护罩的第一外层和第二外层相接的位置。在一些实施方式中，预定的折叠线可以对应于保护罩的柔性部分。例如，保护罩的任何柔性部分可以是预定的折叠线。在一些实施方式中，柔性部分可以允许保护罩折叠成多个形状，包括一个或更多个三维形状。在一些实施方式中，预定的折叠线可以是保护罩的一部分，保护罩可以沿着折叠线折叠。
在一些实施方式中，至少一些折叠线可以是彼此不平行的，并且这些柔性部分可以使得能够折叠保护罩以形成三维形状，该三维形状包括用于选择性地封闭可穿戴扩展现实装置的隔室。在一些实施方式中，可穿戴扩展现实装置可以包括一副智能眼镜或护目镜，如前所述。智能眼镜可以看起来类似于传统眼镜，并且可以包括“智能”功能，例如被设置以拍摄用户当前正在观看的图像的相机，或者被配置成将图像投影到智能眼镜的镜片上的一个或更多个显示器。在一些实施方式中，可穿戴扩展现实装置可以采取可包括一个或更多个镜片的其他形式，例如护目镜或其他形式的可穿戴装置。
在一些实施方式中，可穿戴扩展现实装置可放置在壳体的非键区和/或键区上，并且在第一折叠构造中，保护罩可在被搁置在非键区和/或键区上时包覆可穿戴扩展现实装置。形成在保护罩中的隔室可以在保护罩的内表面与包括非键区和键区的壳体的表面之间提供空间，使得可穿戴扩展现实装置可以被包覆在其中。
在一些示例中，集成计算接口设备还可以包括至少一个投影仪，并且可折叠保护罩还可以包含所述至少一个投影仪。例如，所述至少一个投影仪可以被配置成发射可见光、红外光或近红外光中的至少一种。在一示例中，至少一个图像传感器的光轴可以平行于至少一个投影仪的中心方向。在一示例中，可以使用至少一个投影仪和至少一个图像传感器来实现有源立体相机。在另一示例中，可以使用至少一个投影仪和至少一个图像传感器来实现飞行时间相机。在一些示例中，至少一个投影仪可以在保护罩处于第二折叠构造时被激活，并且可以在保护罩处于第一折叠构造和/或处于第三折叠构造时被停用。在一些示例中，至少一个投影仪可以在保护罩处于第三折叠构造时被激活，并且可以在保护罩处于第一折叠构造和/或处于第二折叠构造时被停用。在一些示例中，所述至少一个投影仪可以包括位于距所述至少一个图像传感器第一距离处的第一投影仪和位于距所述至少一个图像传感器第二距离处的第二投影仪，所述第二距离可以大于所述第一距离。在一示例中，在第二折叠构造中，第一投影仪可以被激活而第二投影仪可以被停用，并且在第三折叠构造中，第二投影仪可以被激活而第一投影仪可以被停用。
在一些实施方式中，多个预定折叠线可以包括至少两条横向折叠线和至少两条非横向折叠线。在一些实施方式中，横向折叠线可以是与一个或更多个其它折叠线交叉的折叠线。在一些实施方式中，非横向折叠线可以是不与另一折叠线交叉的折叠线(例如，非横向折叠线可以彼此平行)。在一些实施方式中，横向折叠线和非横向折叠线可使保护罩能够折叠成第一折叠构造、第二折叠构造和一个或更多个三维形状。
在一些示例中，在第三折叠构造中，保护罩可以被配置成处于使所述至少一个图像传感器的光轴总体上背对用户的位置。例如，在第三折叠构造中，所述罩可以邻近集成计算接口设备的壳体的后表面(例如，与键盘相反)。在一些示例中，集成计算接口设备可以包括传感器，并且使用传感器捕获的数据可以指示保护罩是否处于第三折叠构造。这种传感器的一些非限制性示例可以包括接近传感器、磁性传感器、物理按钮(用作开关)等。在一些示例中，集成计算接口设备可以基于保护罩是否处于第三折叠构造来调整至少一个图像传感器的至少一个图像拍摄参数。例如，当保护罩处于第三折叠构造时，可以调整所述至少一个图像拍摄参数(如焦点、视场、分辨率等)以拍摄较远的对象的图像。在一示例中，所述至少一个图像拍摄参数可以包括视场、变焦、分辨率、聚焦、帧速率或色彩校正中的至少一项。
图15是集成计算接口设备1500的第一示例性实施方式的正面立体图。图15仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。在一些示例中，计算接口设备1500可以包括计算接口设备1600、1700、1800、2000、2100和2200的元件，这些元件在此未相对于计算接口设备1500进行描述和/或图15中未示出。
集成计算接口设备1500包括具有键区1504和非键区1506的壳体1502。键盘1508可以与键区1504相关联。图像传感器1510可以被包括在集成计算接口设备1500中。注意，虽然图15示出了一个图像传感器1510，但是可以提供附加的图像传感器。在一些实施方式中，图像传感器1510可以包括在图像传感器壳体1512中。
集成计算接口设备1500可以包括可折叠保护罩1514。可折叠保护罩1514可以包括图像传感器1510和/或图像传感器壳体1512。如图15所示，可折叠保护罩1514处于第二折叠构造，使得可折叠保护罩1514被配置为直立，并且当用户在键盘1508上键入时，图像传感器1510通常可以面向集成计算接口设备1500的用户。可折叠保护罩1514可以通过连接器1516连接到壳体1502。如本文所述，连接器1516可包括固定连接(例如，铰链机构)或可拆卸连接(例如，磁性连接)。
可折叠防护罩1514可包括多个部分。如图15所示，可折叠防护罩1514可包括第一部分1518、第二部分1520和第三部分1522。部分1518、1520和1522可以使得可折叠保护罩1514能够在第二折叠构造中直立。第一部分1518在图15中示出为被搁置在壳体1502被搁置在的表面上并且折叠在壳体1502的一部分之下。第三部分1522可通过连接器1516连接到壳体1502。在此示例中，图像传感器1510和/或图像传感器壳体1512可包含在部分1522中。
图16是集成计算接口设备1600的第二示例性实施方式的正面立体图。图16仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。为了便于描述，图16所示的与图15所示的元件相似的元件用相似的附图标记表示。例如，集成计算接口设备1600可包括类似于键区1504的键区1604，类似于非键区1506的非键区1606，类似于电线端口1524的电线端口1624等。在一示例中，计算接口设备1600可以用类似于电线1526的电线1626来链接类似于可穿戴扩展现实装置1528的可穿戴扩展现实装置1628等。在一些示例中，计算接口设备1600可以包括计算接口设备1500、1700、1800、2000、2100和2200的元件，这些元件在本文中未相对于计算接口设备1600进行描述和/或图16中未示出。
集成计算接口设备1600可以包括可折叠保护罩1614。可折叠防护罩1614可包含图像传感器1610。如图16所示，可折叠保护罩1614处于第二折叠构造，使得可折叠保护罩1614被配置为直立，并且当用户在键盘1608上键入时，图像传感器1610通常可以面向集成计算接口设备1600的用户。可折叠保护罩1614可以通过连接器1616连接到壳体1602。
可折叠防护罩1614可包括多个部分。如图16所示，可折叠防护罩1614可包括第一部分1618、第二部分1620和第三部分1622。部分1618、1620和1622可以使得可折叠保护罩1614能够在第二折叠构造中直立。第一部分1618在图16中示出为被搁置在壳体1602被搁置在的表面上并且折叠离开壳体1602。第三部分1622可通过连接器1616连接到壳体1602。
可折叠防护罩1614可包括预定的折叠线1630。预定的折叠线可以是在制造期间预先设置用于折叠的任何线。预定的折叠线1630可以将可折叠保护罩1614分成部分1618、1620和1622。一些预定折叠线1630可以延伸跨过可折叠保护罩1614的整个距离并且可以彼此平行。其它的预定折叠线1630可以在不同方向上延伸。预定折叠线1630可以产生能够使可折叠保护罩1614能够折叠成一个或更多个三维形状的图案。
图17是集成计算接口设备1700的第三示例性实施方式的俯视图。图17仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。为了便于描述，图17所示的与图15所示的元件相似的元件用相似的附图标记表示。例如，集成计算接口设备1700可以包括类似于键区1504的键区1704，类似于非键区1506的非键区1706，类似于键盘1508的键盘1708，类似于电线端口1524的电线端口1724等。在一示例中，计算接口设备1700可以用类似于电线1526的电线1726链接到类似于可穿戴扩展现实装置1528的可穿戴扩展现实装置1728等。在一些示例中，计算接口设备1700可以包括计算接口设备1500、1600、1800、2000、2100和2200的元件，这些元件在本文中未相对于计算接口设备1700进行描述和/或图17中未示出。
集成计算接口设备1700可以包括可折叠保护罩1714。可折叠保护罩1714可包括图像传感器1710。可折叠防护罩1714可通过连接器1716连接到壳体1702。可折叠防护罩1714可包括多个部分，例如第一部分1718、第二部分1720和第三部分1722。部分1718、1720和1722可以使得可折叠保护罩1714能够在第二折叠构造中直立。
可折叠防护罩1714可包括在图17中以虚线示出的预定折叠线1730。预定折叠线1730可以将可折叠保护罩1714分成部分1718、1720和1722。一些预定折叠线1730可以延伸跨过可折叠保护罩1714的整个距离并且可以彼此平行。其他的预定折叠线1730可以在不同的方向上延伸。预定折叠线1730可以产生使可折叠保护罩1714能够折叠成一个或更多个三维形状的图案。
图18是集成计算接口设备1800的第四示例性实施方式的正面立体图，其中可折叠保护罩1814处于第一折叠构造。图18仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。如图18所示，可折叠防护罩1814可形成三维形状。为了便于描述，图18所示的与图15所示的元件相似的元件用相似的附图标记表示。在一些示例中，计算接口设备1800可以包括计算接口设备1500、1600、、1700、2000、2100和2200的元件，这些元件在本文中未相对于计算接口设备1800进行描述和/或图18中未示出。
可折叠防护罩1814可包括多个部分，例如第一部分1818、第二部分1820和第三部分1822。可折叠防护罩1814可包括使得能够折叠可折叠防护罩1814的一个或更多个柔性部分1832。可折叠防护罩1814可以包括多个单独的元件，例如一个或更多个三角形元件1834和一个或更多个多边形元件1836。多个单独的元件1834、1836可以通过柔性部分1832彼此连接。
图19是可折叠防护罩1914的示例性实施方式的一部分的分解图。图19仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。为了便于描述，图19所示的与图15所示的元件相似的元件用相似的附图标记表示。
可折叠防护罩1914可包括第一外层1940、中间层1942和第二外层1944。当可折叠保护罩1914处于第一折叠构造时，第一外层1940可以面向集成计算接口设备的壳体，并且第二外层1944可以在可折叠保护罩1914的相反侧上，使得第二外层1944背对壳体。在一些实施方式中，中间层1942可以位于第一外层1940与第二外层1944之间，从而使中间层1942“夹在”第一外层1940与第二外层1944之间以支承中间层1942。
第一外层1940和第二外层1944可由单一连续材料制成，例如软材料(例如非织造织物)。第一外层1940可以包括开口1952，使得图像传感器1910可以接收图像数据而不受第一外层1940的阻碍。
中间层1942可以由多个单独的元件1946制成。在一些实施方式中，每个单独的元件1946可以被封闭在由第一外层1940和第二外层1944产生的袋中，这样使得这些单独的元件1946不彼此接触。
多个单独的元件1946可由刚性或半刚性材料制成，使得多个得到的元件1946可支承包含至少一个图像传感器1910的图像传感器壳体1912。图像传感器壳体1912可以被配置为与连接到多个单独的元件1946之一的支承元件1948相互作用，以使得图像传感器壳体1912能够连接到支承元件1948。电线1950可连接到图像传感器1910以向图像传感器1910供电和/或从图像传感器1910接收图像数据。虽然在图19中示出了一条电线1950，但是可以提供多于一条电线，其中一条电线向图像传感器1910供电，而第二条电线从图像传感器1910接收图像数据。
在一些实施方式中，所述集成计算接口设备还可以包括位于所述壳体中的电线端口，所述电线端口位于所述集成计算接口设备的与所述保护罩的第一侧相反的正面，所述电线端口被配置用于接收从可穿戴扩展现实装置延伸的电线。例如，这样的电线端口可以使得能够按照使得在使用期间电线不干扰键盘和/或输入设备的方式连接可穿戴扩展现实装置。在正面具有电线端口可能优于在集成计算接口设备的左侧或右侧具有电线端口，例如以避免在用户与键盘和/或输入设备交互时手受到线的干扰(手对线的干扰)。此外，电线端口可位于正面的中间或接近正面的中间(例如，距中间至多1英寸、距中间至多2英寸、距中间至多3英寸、距正面的左侧边缘和右侧边缘两者至少1英寸、距正面的左侧边缘和右侧边缘两者至少2英寸、距正面的左侧边缘和右侧边缘至少3英寸、距正面的左侧边缘和右侧边缘至少5英寸、相对于正面的左侧边缘和右侧边缘中的任一者更靠近中间等等)。在一些实施方式中，如前所述，电线可以是适于在集成计算接口设备与可穿戴扩展现实装置之间提供电力和/或数据的任何类型的电线。例如，如果电线可从集成计算接口设备和/或可穿戴扩展现实装置拆卸，则电线可以是具有用于电线端口和可穿戴扩展现实装置的适当连接器的通用串行总线(USB)型电线。在一些实施方式中，电线可以从可穿戴扩展现实装置的任何部分延伸。在一些实施方式中，电线可以固定地附接到可穿戴扩展现实装置上，或者可以从可穿戴扩展现实装置上拆卸。在一些实施方式中，电线可以固定地附接到集成计算接口设备，或者可以从集成计算接口设备拆卸。
再参考图15，壳体1502可以包括电线端口1524，该电线端口1524可以被配置成接收从可穿戴扩展现实装置1528延伸的电线1526。图15示出了作为一副智能眼镜的可穿戴扩展现实装置1528，但是可穿戴扩展现实装置1528可以包括其他形式(例如，一副护目镜)。可穿戴扩展现实装置1528的形式不改变图15所示实施方式的操作。
所述至少一个图像传感器通常可以包括任意数量的图像传感器。在一些实施方式中，至少一个图像传感器可以至少包括第一图像传感器和第二图像传感器。在一些实施方式中，第一图像传感器和第二图像传感器可以彼此邻近地定位。在一些实施方式中，第一图像传感器和第二图像传感器可被包含在同一图像传感器壳体中。在一些实施方式中，第一图像传感器和第二图像传感器可以彼此分离。在一些实施方式中，第一图像传感器和第二图像传感器可被包含在分离的图像传感器壳体中。
在一些实施方式中，在该第二折叠构造中，这些图像传感器中的至少一个的视场可以被配置成使用该设备来拍摄该用户的图像(至少部分图像)。例如，在给定了用户与接口设备之间的预期距离的情况下，图像传感器可以被配置成使得其视场主要针对用户的与所公开的实施方式的操作相关的部分来定制。举例来说，在一些实施方式中，在第二折叠构造中，第一图像传感器的第一视场可被配置以在用户在键盘上键入时拍摄用户的面部。此外，保护罩可以构造成使得图像传感器可以朝向用户的期望位置向上方倾斜。在另一示例中，在第二折叠构造中，第一图像传感器的第一视场可被配置为在用户与输入设备物理地交互时拍摄用户的面部。
在一些实施方式中，图像传感器可以被配置成使得当图像传感器之一被配置成拍摄用户面部的图像时，另一图像传感器可以被配置成拍摄用户的另一视图。例如，用户一只或两只手在键盘上的图像。因此，所述罩可以支承向用户面部的预期位置倾斜的一个图像传感器，同时同一罩中(或在壳体上的另一位置处)的第二图像传感器可以倾斜以捕捉用户的手在键盘上的移动。举例来说，在一些实施方式中，在第二折叠构造中，第二图像传感器的第二视场可被配置为在用户在键盘上键入时拍摄用户的手的图像。在另一示例中，在第二折叠构造中，第二图像传感器的第二视场可被配置为在用户与输入设备物理地交互时拍摄用户的手的图像。在一些实施方式中，第一视场和第二视场可以至少部分重叠。在一些实施方式中，第一视场和第二视场可以不重叠。
图20是集成计算接口设备2000的第五示例性实施方式的右侧视图。图20仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。为了便于描述，图20所示的与图15所示的元件相似的元件用相似的附图标记表示。例如，集成计算接口设备2000可以包括类似于壳体1502等的壳体2002。在一些示例中，计算接口设备2000可以包括计算接口设备1500、1600、1700、1800、2100和2200的元件，这些元件在本文中未相对于计算接口设备2000进行描述和/或图20中未示出。
集成计算接口设备2000可以包括可折叠保护罩2014。可折叠防护罩2014可包括多个部分，例如第一部分2018、第二部分2020和第三部分2022。部分2018、2020和2022可以使得可折叠保护罩2014能够在第二折叠构造中直立，如图20所示。
可折叠防护罩2014的第三部分2022可包括具有第一视场2062的第一图像传感器2060和具有第二视场2066的第二图像传感器2064。第一视场2062可以使第一图像传感器2060能够拍摄集成计算接口设备2000的用户的面部的一个或更多个图像。第二视场2066可以使第二图像传感器2064能够在用户在键盘2008上键入时拍摄用户的一只或多只手的图像。
在一些实施方式中，所述至少一个图像传感器可以连接到至少一个万向节，该万向节被配置成使得用户能够改变所述至少一个图像传感器的角度而不移动保护罩。万向节可以是枢轴支承件，其使至少一个图像传感器能够绕轴旋转，从而改变至少一个图像传感器的角度。在一些实施方式中，万向节可以实现为球突关节，以使至少一个图像传感器能够在360°范围内旋转。在一些实施方式中，万向节可以实现为销接头，以使至少一个图像传感器能够在一个自由度(即，左右或上下)内旋转。在一些实施方式中，可实施其它类型的机械接头或连接器以使至少一个图像传感器能够在一个或更多个自由度内倾斜。在一些实施方式中，所述至少一个图像传感器可以被包含在一个图像传感器壳体中，该图像传感器壳体可以被连接到所述至少一个万向节上。改变至少一个图像传感器的角度也可以改变至少一个图像传感器的视场。在一些实施方式中，万向节可以使至少一个图像传感器能够左右移动、上下移动或在360°范围内移动。
图21是集成计算接口设备2100的第六示例性实施方式的右侧视图。图21仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。为了便于描述，图21所示的与图15所示的元件相似的元件用相似的附图标记表示。例如，集成计算接口设备2100可以包括类似于壳体1502等的壳体2102。在一些示例中，计算接口设备2100可以包括计算接口设备1500、1600、1700、1800、2000和2200的元件，这些元件在本文中未相对于计算接口设备2100进行描述和/或图21中未示出。
集成计算接口设备2100可以包括可折叠保护罩2114。可折叠防护罩2114可包括多个部分，例如第一部分2118、第二部分2120和第三部分2122。部分2118、2120和2122可以使得可折叠保护罩2114能够在第二折叠构造中直立，如图21所示。
可折叠防护罩2114的第三部分2122可包括安装在万向节2172上的图像传感器2170。万向节2172可以被配置为使集成计算接口设备2100的用户能够改变图像传感器2170的角度而无需移动可折叠保护罩2114。
在一些实施方式中，集成计算接口设备还可以包括位于壳体的非键区中(或在壳体的非输入区域中)的托架。如前所述，在一些实施方式中，托架可以是在壳体的至少一部分的平面下方延伸的凹陷，或者可以完全搁置在壳体的表面上方。在一些实施方式中，托架可以包括一个或更多个结构特征，以选择性地接合一个或更多个物品，例如书写工具、电线或电缆、适配器、纸张(即，以允许托架起到类似复印台的作用)、护目镜、眼镜或用户可能希望容易地访问或存储的其他物品。
在一些实施方式中，托架可以被配置成用于与可穿戴扩展现实装置选择性地接合和脱离。如前所述，在一些实施方式中并且例如在图6-图12B中示出的，托架的结构特征可以被配置成与可穿戴扩展现实装置选择性地接合，使得可穿戴扩展现实装置可以卡扣配合、压入配合或压配合到托架的至少一部分中。
在一些实施方式中，当可穿戴扩展现实装置经由托架选择性地与壳体接合时，可穿戴扩展现实装置可以连接到键盘(或输入设备)并且可以与键盘一起运送。如前所述，在一些实施方式中，当可穿戴扩展现实装置经由托架选择性地与壳体接合时，通过经由托架牢固地连接到壳体，可穿戴扩展现实装置可以与壳体一起运送。
在一些实施方式中，第一折叠构造可以与两种包覆模式相关联。在一些实施方式中，在第一包覆模式中，当可穿戴扩展现实装置经由托架与壳体接合时，保护罩可以覆盖可穿戴扩展现实装置和键盘。如前所述，在处于第一包覆模式的一些实施方式中，当可穿戴扩展现实装置选择性地与托架接合时，保护罩可以向键盘和/或壳体和/或可穿戴扩展现实装置提供撞击、震动或冲击保护。在一些实施方式中，当处于第一包覆模式时，保护罩可以形成在壳体的上表面上方延伸的三维形状，以形成用于选择性地包围可穿戴扩展现实装置的隔室。在一些实施方式中，在第一包覆模式中，当可穿戴扩展现实装置经由托架与壳体接合时，保护罩可以覆盖可穿戴扩展现实装置和输入设备。
在一些实施方式中，在第一折叠构造的第一包覆模式中，至少一个图像传感器距键盘的距离可以在2厘米(cm)至5cm之间。在一些实施方式中，在第一折叠构造中由保护罩形成的三维形状可以使至少一个图像传感器升高到键盘上方。在一些实施方式中，至少一个图像传感器与键盘的距离可以小于2cm。在一些实施方式中，至少一个图像传感器与键盘的距离可以大于5cm。在一些实施方式中，在第一折叠构造的第一包覆模式中，至少一个图像传感器距输入设备的距离可以在2cm至5cm之间。
在一些实施方式中，在第二包覆模式中，当可穿戴扩展现实装置从壳体脱离时，保护罩可以覆盖键盘(或输入设备)。在一些实施方式中，在第二包覆模式中，保护罩在壳体的这个上表面上可以是基本上平坦的，使得保护罩靠近键盘(或输入设备)。在一些实施方式中，保护罩的柔性部分可以使保护罩形成第一包覆模式和第二包覆模式。在一些实施方式中，在第一折叠构造的第二包覆模式中，至少一个图像传感器与键盘的距离可以在1毫米(mm)至1cm之间。在一些实施方式中，当保护罩处于第二包覆模式时，它在壳体的上表面上可以是基本平坦，使得至少一个图像传感器可以靠近键盘定位。在一些实施方式中，至少一个图像传感器与键盘的距离可以小于1mm。在一些实施方式中，至少一个图像传感器与键盘的距离可以大于1cm。在一些实施方式中，在第一折叠构造的第二包覆模式中，至少一个图像传感器距输入设备的距离可以在1mm至1cm之间。
在一些实施方式中，在第二折叠构造中，至少一个图像传感器与键盘的距离可在4cm至8cm之间。如前所述，当保护罩处于第二折叠构造时，至少一个图像传感器可被定位成面向集成计算接口设备的用户。在一些实施方式中，至少一个图像传感器与键盘的距离可以小于4cm。在一些实施方式中，至少一个图像传感器与键盘的距离可以大于8cm。在一些实施方式中，在第二折叠构造中，至少一个图像传感器距输入设备的距离可在4cm至8cm之间。
在一些实施方式中，保护罩可以包括凹口，该凹口(notch)被配置成当可穿戴扩展现实装置选择性地与壳体接合时将可穿戴扩展现实装置保持在第一折叠构造中。在一些实施方式中，凹口可以是保护罩的第一外层中的凹槽，当保护罩处于第一折叠构造时，凹口面向壳体。在一些实施方式中，至少一个图像传感器可定位在凹口内。在一些实施方式中，当保护罩处于第一折叠构造时，凹口可位于从保护罩的面向壳体的表面的突起上。例如，突起可以是如前所述的图像传感器壳体，并且凹口可以包括图像传感器壳体中的一个或更多个凹入部。
图22是集成计算接口设备2200的第七示例性实施方式的正面立体图。图22仅是一个实施方式的示例性表示，并且应当理解，在本公开的范围内可以省略一些示出的元件而添加其他元件。为了便于描述，图22所示的与图15所示的元件相似的元件用相似的附图标记表示。例如，集成计算接口设备2200可以包括类似于键盘1508的键盘2208、类似于电线端口1524的电线端口2224等。在一示例中，计算接口设备2200可以用类似于电线1526等的电线2226链接。在一些示例中，计算接口设备2200可以包括计算接口设备1500、1600、1700、1800、2000和2100的元件，这些元件在本文中未相对于计算接口设备2200进行描述和/或在图22中未示出。
集成计算接口设备2200可以包括可折叠保护罩2214。可折叠防护罩2214可包括多个部分，例如第一部分2218、第二部分2220和第三部分2222。部分2218、2220和2222可以使得可折叠保护罩2214能够在第二折叠构造中直立，如图22所示。
可折叠保护罩2214的第三部分2222可以包括凹口2280，凹口2280被配置成当可折叠保护罩2214处于第一折叠构造时容纳可穿戴扩展现实装置2228的上部，使得可穿戴扩展现实装置2228至少部分地配合在凹口2280内。凹口2280可以是三维的，因为它可以延伸到部分2222中。虽然凹口2280在图22中示出为具有矩形形状，但是当可折叠防护罩2214处于第一折叠构造时，凹口2280可以具有不同的形状以容纳可穿戴扩展现实装置2228的至少一部分。
图像传感器2210可以定位在凹口2280中，使得当可折叠保护罩2214处于第二折叠构造时，图像传感器2210的光轴可以大体上面向集成计算接口设备2200的用户。在一些实施方式中，图像传感器2210可以与凹口2280的表面齐平，使得图像传感器2210不延伸超过凹口2280，并且当可折叠保护罩2214处于第一折叠构造时，图像传感器2210不接触可穿戴扩展现实装置2228。
在一些实施方式中，集成计算接口设备的外壳可以包括至少一个图像传感器和包含至少一个图像传感器的可折叠保护罩，其中，该保护罩可以被配置成被操纵成多个折叠构造。至少一个图像传感器和可折叠保护罩在前面被更详细地描述。这些元件以与前述类似的方式配置和起作用。
在一些实施方式中，所述外壳可以连接到集成计算接口设备。作为示例，外壳可以通过一个或更多个磁体连接到集成计算接口设备。在一些实施方式中，可以在外壳中提供一个或更多个磁体，并且集成计算接口设备可以包括铁磁材料以使得能够与磁体相互作用，从而外壳可以连接到集成计算接口设备。作为另一示例，集成计算接口设备可以包括铁磁材料，并且外壳可以包括一个或更多个磁体以连接集成计算接口设备和外壳。
作为另一示例，外壳可通过铰链机构附接到或联接到集成计算接口设备。可以使用本领域已知的任何类型的铰链机构。尽管不是必需的，但是在一些实施方式中，铰链机构可以由柔性材料制成，柔性材料的第一边缘固定地附接到外壳，而与第一边缘相反的第二边缘固定地附接到集成计算接口设备。在一些实施方式中，铰链机构可以包括连接到外壳并从外壳延伸的一个或更多个关节(例如，刚性或半刚性环结构)、连接到集成计算接口设备并从集成计算接口设备延伸的一个或更多个关节，以及通过所有关节插入以创建铰链的销，使得至少保护罩可以围绕所述销旋转或枢转。当在插入销之前组装在一起时，外壳的关节和集成计算接口设备的关节可以对齐或交错。
在一些实施方式中，集成计算接口设备可插入到外壳的至少一部分中。例如，外壳可以包括装配在集成计算接口设备的壳体的下部周围的下部。在一些实施方式中，外壳的下部可以与保护罩分离。在一些实施方式中，外壳的下部可以连接到保护罩。在一些实施方式中，外壳的下部可以由如塑料的刚性材料制成。在一些实施方式中，外壳的下部可由柔性材料制成，例如织物、氯丁橡胶或可在外壳的下部上伸展的其它弹性体材料。
在一些实施方式中，在第一折叠构造中，保护罩被配置成包覆住具有键区和非键区的集成计算接口设备的壳体。先前结合其它实施方式描述了壳体、键区、非键区和第一折叠结构。这些元件以与前述类似的方式配置和起作用。在一些实施方式中，在第一折叠构造中，保护罩被配置为包覆住具有输入区域和非输入区域的集成计算接口设备的壳体。
在一些实施方式中，在第二折叠构造中，保护罩被配置成以一种方式直立，使得当用户在与键区相关联的键盘上键入时，至少一个图像传感器的光轴大体上面向集成计算接口设备的用户。先前结合其它实施方式描述了处于第二折叠构造的保护罩的配置和至少一个图像传感器的光轴。这些元件按照与前述类似的方式配置和起作用。在一些实施方式中，在第二折叠构造中，保护罩被配置成以一种方式直立，使得当用户和与输入区域相关联的输入设备物理地交互时，至少一个图像传感器的光轴大体上面向集成计算接口设备的用户。
一些公开的实施方式可以涉及基于温度来改变虚拟内容的显示。虚拟内容可以包括本公开中别处定义的任何信息。改变虚拟内容的显示可以指以某种方式修改或改变与所显示的虚拟内容相关联的一个或更多个特征。这样的特性可以包括颜色方案、不透明度、强度、亮度、帧速率、显示尺寸、虚拟对象类型，或可能影响用户如何观看呈现给用户的虚拟内容的任何其他参数。
在一些实施方式中，虚拟内容可以包括通过可连接到可穿戴扩展现实装置的键盘输入的文本。键盘可以包括键面板(panel of keys)，键面板可以允许用户输入一个或更多个字母数字字符，所述字母数字字符可以包括单词、短语、句子、段落或其它文本内容。除了输入文本之外，键盘可以包括一个或更多个键，所述一个或更多个键可以允许用户输入由用户配置的数字、符号或键盘敲击。该内容也可以被显示为作为所显示的虚拟内容的一部分的虚拟对象。
虚拟内容可以包括一个或更多个虚拟对象。例如，虚拟内容可以是文档或视频。作为所呈现的虚拟内容的一部分，与虚拟对象相关联的虚拟对象可以是搜索条、任务条、亮度调节条或任何其它元件。在图1所示的一个示例中，虚拟内容可以包括虚拟显示器112和/或虚拟窗口小部件114A、114B、114C、114D和114E。
键盘可以通过电线108(见图1)或通过蓝牙或其它无线协议无线地连接到可穿戴扩展现实装置。当可穿戴扩展现实装置的用户经由键盘输入文本或另一命令时，文本可经由靠近用户显示的虚拟屏幕112(见图1)显现。根据可穿戴扩展现实装置的用户偏好和用户环境，文本也可以通过物理屏幕或其它物理对象来显示。作为示例，图1示出了可以连接到可穿戴扩展现实装置110的键盘104。
一些公开的实施方式可以包括经由可穿戴扩展现实装置显示虚拟内容，其中，在显示虚拟内容期间，由可穿戴扩展现实装置的至少一个部件产生了热量。如本公开中别处所述的虚拟现实设备包括用于向所述装置的佩戴者显示增强内容的电子器件和光学器件。例如，这样的装置可以包括框架、至少一个镜片、被配置为将图像投影在至少一个镜片上的一个或更多个发热光源、一个或更多个处理设备、一个或更多个无线通信设备、和/或可穿戴扩展现实装置的操作所必需的其他器件(例如，电阻器、电感器、电容器、二极管、半导体器件或其他电路)。可穿戴扩展现实装置的至少一些部件可产生热量。例如，像发光源、处理设备、无线通信设备、电阻器、电感器、电容器、二极管和/或其他电路的部件可以在可穿戴扩展现实装置的操作期间产生热量。由于这种热量的产生，当连续使用可穿戴可扩展现实装置时，可能存在可穿戴可扩展现实装置的一个或更多个部件过热的风险，或达到可穿戴可扩展现实装置的最大允许工作温度的风险(例如由于规章要求)，以避免用户受到伤害的风险，和/或保持部件的寿命。一种可能的解决方案可以包括关闭可穿戴扩展现实装置的一个或更多个部件以减少产生的热量，从而减少过热的风险或达到可穿戴扩展现实装置的最大允许工作温度。然而，如果可穿戴扩展现实装置中的光源被关闭以允许冷却，则可穿戴扩展现实装置将失去功能。在一示例中，包括在可穿戴扩展现实装置中的处理设备可以被配置为呈现虚拟内容以供呈现，并且如果该处理设备被关闭以允许冷却，则可穿戴扩展现实装置将失去功能。在另一示例中，包括在可穿戴扩展现实装置中的通信设备可以被配置为接收用于呈现的虚拟内容，并且如果通信设备被关闭以允许冷却，则可穿戴扩展现实装置将失去功能。在又一示例中，包括在可穿戴扩展现实装置中的存储器设备可以被配置为存储和提供用于呈现的虚拟内容，并且如果存储器设备被关闭以允许冷却，则可穿戴扩展现实装置将失去功能。因此，本文公开了降低过热风险或达到可穿戴扩展现实装置的最大允许工作温度而不丧失功能性的其它方法。
在一些实施方式中，热量可以(至少部分地)由包括在可穿戴扩展现实装置中的多个发热光源产生，并且由至少一个处理器执行的操作还包括调节至少一个发热光源的一组工作参数。如上所述，根据本公开的实施方式的可穿戴扩展现实装置可以包括一个或更多个光源。这种光源可以通过一个或更多个电源(例如，电池)供电，所述电源可以提供电压和/或电流形式的电能。部分电能可以由光源转换成光。提供给光源的电能中的一些或全部可以作为热量耗散。因此，光源所耗散的热量可以取决于一个或更多个参数，例如电流、电压、功率和/或向光源供电的持续时间。因此，可以通过调节与提供给光源的电能相关联的这些参数(例如，电压、电流、持续时间)中的一个或更多个来减少光源耗散的热量。调节一个或更多个参数可以包括调整一些或全部参数。在一些实施方式中，调节一个或更多个参数可以包括减小所有参数的值。在一些实施方式中，调节一个或更多个参数可以包括减小一些参数的值，同时保持其他参数的值或增加其他参数的值。例如，可以通过减少提供给光源的电量来减少光源耗散的热量。作为另一个例子，可以通过保持提供给光源的电量同时减少向光源供电的持续时间来减少光源耗散的热量。作为另一示例，可以通过降低提供给一个或更多个发热光源的电压、电流或电力中的一些或全部来降低光源所耗散的热量。在另一个例子中，可以通过脉冲调制提供给一个或更多个发热光源的电压、电流或电力来减少光源耗散的热量。在该示例中，提供给发热光源的电压、电流或电力可以在由可穿戴扩展现实装置用户配置的时间段内接通或断开。在一些例子中，至少一个发热光源的显示设置组可以包括呈现分辨率、帧速率、亮度、不透明度、显示尺寸或颜色方案中的至少一项。在一示例中，可以降低呈现分辨率以减少由多个发热光源产生的热。在另一示例中，可以降低呈现帧速率以减少由多个发热光源产生的热。在又一示例中，可以降低亮度以减少由多个发热光源产生的热。在另外的示例中，可以减小不透明度以减少由多个发热光源产生的热。在又一示例中，可以减小显示器尺寸以减少由多个发热光源产生的热。在另外的示例中，所呈现的虚拟内容的颜色方案可以被改变为有利的颜色方案以减少由多个发热光源产生的热。
在一些实施方式中，热量可以由包括在可穿戴扩展现实装置中的至少一个处理设备产生。一个或更多个处理器可以被包括在可穿戴扩展现实装置中，例如用于呈现虚拟内容(例如，来自模型、来自三维模型等)、用于控制数据通信、用于分析使用包括在可穿戴扩展现实装置中的一个或更多个传感器捕获的输入(例如，使用包括在可穿戴扩展现实装置中的一个或更多个图像传感器捕获的图像和/或视频、使用一个或更多个运动传感器捕获的运动数据、使用一个或更多个定位传感器捕获的定位数据)、用于解释各种输入(例如，手势、文本输入和/或音频输入)以显示或共享虚拟内容、或用于促进装置功能的任何其他目的。处理器可包括许多(例如，数百万或数十亿)微型晶体管，它们可用于放大或切换电信号和功率。当执行诸如显示虚拟内容的某些命令时，这些晶体管可以使电信号能够通过它们，或者可以阻挡这些信号。当晶体管阻止电流流动时，在处理设备内产生热量。命令越复杂，流过处理器的电流就越多，可以使用较多的晶体管来执行命令，结果可以产生较多的热量。例如，当要显示仅具有文本的文档时，处理设备可以产生较少的热量，当要显示视频时或当要呈现三维模型时，可以产生较多的热量。
一些公开的实施方式可以包括调节所述至少一个处理设备的一组工作参数，所述至少一个处理设备的该组工作参数包括电压、电流、电力、时钟速度或与所述至少一个处理设备相关联的有源核的数量中的至少一项。因此，通过减少与提供给处理设备的电能相关联的电压或电流中的一项或更多项、通过减少提供给处理设备的电力的总量、通过减少提供给处理设备的电压、电流或电力的持续时间、通过降低时钟速度、或通过限制处理设备中的有源核的数量，可以减少由处理设备产生的热量。在一示例中，可以降低渲染分辨率和/或帧速率，以减少处理设备的负担，从而减少处理设备产生的热量。在另一示例中，可以降低使用包括在可穿戴扩展现实装置中的一个或更多个传感器捕获的数据的分析的频度，从而减少由处理设备产生的热量。
处理设备的时钟速度可以指的是由振荡器产生的每秒脉冲数，该振荡器设置处理设备中的各种晶体管可以接通或断开的定时。时钟速度通常可用作处理器速度的指标。降低时钟速度可以帮助降低处理设备中的一个或更多个晶体管被接通/断开的速率，这又可以减少由处理设备产生的热量。
处理设备中的活动核可以指处理器内的处理单元的数量。每个核可以包括多个晶体管，如上所述，这些晶体管基于特定任务有多复杂而产生热量。处理设备具有的核越多，处理器能够同时完成的任务就越多。然而，这些核中的一个或更多个可以被暂时停用。暂时使核停用导致该核产生很少热量或没有热量，这又可以帮助减少由处理设备整体产生的热量。
在一些实施方式中，热量由包括在可穿戴扩展现实装置中的至少一个无线通信设备产生。如本公开中别处所讨论的，可穿戴扩展现实装置可包括无线通信设备。为了与网络中的其它设备通信，无线通信设备可以将输入电能转换为射频(RF)能量。无线通信设备可以发射RF能量。无线通信设备可以包括发射机、编码器和接收机，它们包括诸如晶体管和电阻器之类的电子元件。这些无线通信设备组件中的一些或全部的操作可以将一些电能和/或RF能量作为热量耗散。
在其他实施方式中，当由包括在可穿戴扩展现实装置中的至少一个无线通信设备产生热量时，处理器操作还可以包括调节所述至少一个无线通信设备的一组工作参数，该无线通信设备的该组工作参数包括信号强度、带宽或传输数据量中的至少一项。
信号强度可以指由与发射天线相距一定距离的参考天线接收的发射机功率输出。这里，发射天线可以是共享内容的第一可穿戴扩展现实装置，而接收天线可以是接收共享内容的第二可穿戴扩展现实装置。带宽可以指无线通信链路在给定时间量内在网络连接上发送数据的最大容量。在一些实施方式的上下文中，带宽可以指可以由单个网络中的多个可穿戴扩展现实装置发送的数据量。所发送的数据量可以指单个可穿戴扩展现实装置可以以虚拟内容的形式呈现或共享的数据量。调节这些参数可以包括减小信号强度、带宽或发射数据量，以便减小用于将电能转换成RF能量的功率量。因为用于转换电能的功率量减少，所以也可以减少无线通信设备产生的热量。
作为示例，图23是示出可穿戴扩展现实装置2310的框图，该可穿戴扩展现实装置2310可包括一个或更多个发热光源2312、一个或更多个处理设备2314、一个或更多个无线通信设备2316，和/或如上所述的其它电气和/或机械设备。如本文所述，发热光源2312可具有包括但不限于电压、电流和/或功率的工作参数。处理设备2314可以具有工作参数，包括但不限于电压、电流、功率、时钟速度和/或有源核的数量。无线通信设备2316可以具有工作参数，包括但不限于信号强度、带宽和/或发送数据量。
一些公开的实施方式可以包括接收指示与可穿戴扩展现实装置相关联的温度的信息。指示温度的信息可以是指代表温度的数值，或任何其它温度指标。在一些实施方案中，数值可以是温度值，例如，以℃、°F或以任何其它温度单位测量的温度值。另选地，该信息可以是指示温度变化的物理特性的测量值。例如，该信息可包括诸如电压、电流电阻、功率或随温度变化并因此表示温度的任何其它物理特性的参数值。在一些实施方式中，可穿戴扩展现实装置框架可以包括温度传感器，该温度传感器能够确定与可穿戴扩展现实装置相关联的温度的值。与可穿戴扩展现实装置相关联的温度传感器可以是各种温度传感器之一。例如，温度传感器可以是热电偶、电阻温度检测器(RTD)、热敏电阻或基于半导体的集成电路。
一些公开的实施方式可以包括基于接收到的信息确定改变虚拟内容的显示设置的需要。如上所述，诸如光源、处理设备和无线通信设备的一个或更多个可穿戴扩展现实装置部件在使用期间可能产生热量。当可穿戴扩展现实装置变得太热时，它可能不能有效地工作。此外，可穿戴扩展现实装置的过度发热可以减少设备的寿命。另外，过热可能导致可穿戴扩展现实装置的一个或更多个部件失效和/或达到可穿戴扩展现实装置的最大允许工作温度可能伤害可穿戴扩展现实装置用户。其他实施方式可以包括：例如，基于用户输入、基于环境状况、基于时间和/或与可穿戴扩展现实装置无关的任何其他温度信息，而不基于所接收的指示与可穿戴扩展现实装置相关联的温度的信息来确定改变虚拟内容的显示设置的需要。
如上所述，每个部件具有工作参数，这些工作参数可以被调节以减少由可穿戴扩展现实装置产生的热量。附加地或另选地，修改一个或更多个虚拟内容显示设置还可以降低与可穿戴扩展现实装置相关联的温度。修改一个或更多个虚拟内容显示设置可以使得光源、处理器和/或无线通信设备的一个或更多个工作参数被调节，从而减少由可穿戴扩展现实装置产生的热量，这又可以降低相关联的温度。例如，降低所显示的虚拟内容的亮度可以包括降低传递到发热光源的电流、电压和/或功率中的一项或更多项，从而降低该部件的温度。可以被修改以降低温度的其它设置可以包括例如亮度、不透明度、显示尺寸、分辨率、渲染细节、帧速率或用于显示器的颜色方案。修改这些参数中的一项或更多项可以包括降低传递到发热光源的电流、电压和/或功率中的一项或更多项，从而降低该部件的温度。这种修改可以基于正在显示的内容(例如，视频或文档)和/或部件的状态(即，发热光源过热)。
一些公开的实施方式可以包括当与可穿戴扩展现实装置相关联的温度达到与扩展现实相关联的阈值时改变虚拟内容的显示设置。在一些公开的实施方式中，可以包括在与可穿戴扩展现实装置相关联的温度达到与扩展现实装置相关联的阈值之前改变虚拟内容的显示设置。可以改变的显示设置包括与发热相关的设置，例如亮度和每秒显示的帧数，或者上述任何设置。改变虚拟内容的显示设置的需要可以基于阈值温度来确定。阈值温度可以是指最高温度，如果高于该最高温度，可以预期特定部件低效运行或失效。另外地或可选地，阈值温度可以是指这样的温度，即，在该温度或高于该温度时，部件的可靠性或工作寿命可以降低预定量。例如，阈值温度可以与部件的工作寿命减少25％、50％、75％或任何其它量相关联。另外地或可选地，阈值温度可以由可穿戴扩展现实装置的制造商、由管理实体和/或将为特定目的设置特定阈值温度的任何组织来设置。例如，与其他组织相比，一些组织可以具有不同的呈现需求，并且可以相应地设置最大阈值温度。另外地或可选地，阈值温度可以与安全问题相关联，例如用于头戴式装置的安全标准或安全温度范围。在一示例中，与一些公开的实施方式相关联的处理器可以确定当与可穿戴扩展现实装置相关联的温度处于或高于阈值温度时必须改变一个或更多个显示设置。在其他示例中，例如，如果当前工作负荷持续选定的时间段和/或如果典型的工作负荷将发生选定的时间段，则与可穿戴扩展现实装置相关联的当前温度可以指示可穿戴扩展现实装置将达到与可穿戴扩展现实装置相关联的阈值的可能性，并且作为响应，可以在与可穿戴扩展现实装置相关联的温度达到与可穿戴扩展现实装置相关联的阈值之前改变虚拟内容的显示设置。在一示例中，可以例如使用外推算法、回归模型和/或任何其他数据分析算法来分析与可穿戴扩展现实装置相关联的温度随时间的正在进行的轨迹，以确定可穿戴扩展现实装置将达到与扩展现实装置相关联的阈值的可能性(例如，如果当前工作负荷持续选定的时间段，和/或如果典型的工作负荷将发生选定的时间段)。
在一些实施方式中，与可穿戴扩展现实装置相关联的阈值可以在33至40摄氏度之间。在其他示例中，与可穿戴扩展现实装置相关联的阈值可以低于33摄氏度或高于40摄氏度。在一些示例中，可以为不同类型的用户配置温度阈值的值。例如，与为成人配置的装置相反，对于儿童可能有不同的温度阈值。
在一些实施方式中，可以基于可穿戴扩展现实装置的用户的偏好来配置阈值温度。可以基于特定用户的皮肤敏感度来配置不同用户的温度阈值。例如，儿童或较年长的用户可能比典型的成人具有更敏感的皮肤。结果，年轻或年长的用户可以将温度阈值设置为相对低于典型成人用户选择的阈值温度。作为另一示例，与环境温度较高时相比，当环境温度低时，用户可能更喜欢较高的温度阈值。在另一示例中，用户可能在夏天更喜欢较低温度阈值并且在冬天更喜欢较高温度阈值。
一些公开的实施方式可以涉及基于与可穿戴扩展现实装置的用户相关联的用户简档来确定阈值的值。用户简档可以包括特定用户的一个或更多个特征。可以以多种方式配置用户简档，并且所述至少一个处理器可以相应地确定阈值温度。例如，用户可以输入诸如年龄、性别、装置的优选使用、他或她使用装置的频度，和/或用户是否偏好性能(即，在较高温度下工作)或舒适度(即，通常在较低温度下工作)的数据。基于输入的数据和/或从其他可穿戴扩展现实装置用户接收到的数据，处理器可以确定适当的温度阈值。在一示例中，基于更喜欢峰值性能并且经常使用该装置的年轻用户的用户简档，阈值温度可以更接近40摄氏度。在另一示例中，基于偏好舒适且仅偶尔使用该装置的年长用户的用户简档，阈值温度可以更接近33摄氏度。用户简档可以由用户在任何时间更新。在一些其他示例中，阈值的值可以不基于与可穿戴扩展现实的用户相关联的用户简档。
一些公开的实施方式可以包括确定虚拟内容的显示设置改变，而不管可穿戴扩展现实装置的用户和/或与可穿戴扩展现实装置的用户相关联的用户简档。例如，改变可以基于当前显示的内容、基于制造商预设置、基于与可穿戴扩展现实装置(而不是用户)相关联的配置文件、监管要求和/或任何其他外部因素。
一些公开的实施方式可以包括基于与可穿戴扩展现实装置的用户相关联的用户简档来确定虚拟内容的显示设置改变。虽然上述实施方式涉及基于用户简档来确定阈值温度，但是该实施方式涉及基于用户简档改变显示设置本身。在该实施方式中，不同的用户可以具有不同的温度阈值偏好和/或不同的虚拟内容显示偏好。显示设置偏好可以指关于颜色方案、亮度、强度、显示大小或任何其它显示设置的用户默认设置。在该实施方式中，用户简档可以声明用户更喜欢修改亮度而不是颜色方案。显示设置偏好与包括在用户简档中的阈值温度有关。例如，与可能偏好较高阈值温度而不会立即改变那些显示设置的用户相比，可能偏好较低阈值温度的用户可以降低所显示的虚拟内容的亮度。
作为示例，可穿戴扩展现实装置可以基于用户简档被配置为具有35摄氏度的阈值温度。因此，在可穿戴扩展现实装置的一个或更多个部件的温度达到阈值温度(例如，35摄氏度)之前，可以修改与虚拟内容相关联的一个或更多个显示设置。另外，当诸如发热光源、至少一个处理器或可穿戴扩展现实装置的无线通信设备的一个或更多个部件的温度达到34摄氏度时，至少一个处理器可以基于用户简档来修改诸如亮度或强度的一个或更多个显示设置。
与可穿戴扩展现实装置相关联的温度信息可以随时间更新。可穿戴扩展现实装置使用的时间越长，存储的温度信息就越多。处理器可以连续地或周期性地接收该信息。例如，可能有一天中的一些时间比一天中的其他时间更频繁地使用该装置。非暂时性计算机可读介质可存储该数据，该数据可包括工作参数数据(例如，电压、电流、功率、时钟速度等)、温度数据、时间数据、显示设置以及在一天的某些时间显示的虚拟内容(即，文档或视频)的类型。基于所编译的数据，处理器可以基于一天中的时间来预测如何使用可穿戴扩展现实装置，并相应地调整显示设置。在一些实施方式中，至少一个处理器可以确定在达到阈值温度之前需要改变显示设置。
其它实施方式可以包括基于机器学习模型或其它类似算法来预测峰值使用时间。在该实施方式中，例如存储的温度数据之类的测试数据被馈送到算法中，使得模型可以预测可穿戴现实装置何时将被使用。
在另一个实施方式中，可穿戴扩展现实装置可以基于所存储的温度数据来预测在一天的哪些部分将显示什么类型的内容。例如，与显示文档相比，显示视频内容可能需要更多的工作参数(例如功率)的特定组合。在一示例中，显示视频将因此导致发热光源产生比显示文档更多的热，因此更快地达到阈值温度。基于作为非暂时性计算机可读介质的一部分的所存储的温度数据，可穿戴扩展现实装置可以预测从装置部件发出的热量的变化，并且先发制人地调整显示设置。例如，基于用户的历史，系统可以预测视频在下午8点被显示至少30分钟，并且可以相应地调整显示设置。
在一些实施方式中，虚拟内容的显示设置的改变程度可以基于所接收的信息所指示的温度。在其他示例中，虚拟内容的显示设置的改变程度可以不基于由所接收的信息指示的温度(例如，可以总是相同的改变程度、可以基于用户、可以基于上下文信息、可以基于所显示的虚拟内容，和/或不基于所接收的温度信息的任何其他改变，即，可以基于环境因素)。显示设置的改变程度可以是指修改特定显示设置的量。如上所述，温度信息可以由与可穿戴扩展现实装置相关联的处理器接收。在一些实施方式中，当所接收的信息指示温度略高于(例如，几度，如1至5摄氏度)阈值温度时，可以相应地修改一个或更多个显示设置。轻微的修改可以包括显示设置的1％到5％的改变。例如，如果用户的可穿戴扩展现实装置的部件的温度阈值是35摄氏度并且温度传感器接收到该部件是36摄氏度的信息，则显示设置的改变程度可以在1％至5％的范围内，这取决于用户如何配置该设备。例如，所显示的虚拟内容的亮度可以降低1％到5％。
在一些实施方式中，当温度传感器检测到可穿戴扩展现实装置温度显著高于阈值温度(例如，大于5摄氏度)时，可以更积极地修改显示设置和/或可以修改多个虚拟元件。更积极程度的改变可以包括对显示设置的高达11％到25％或更多的改变的修改，并且可以影响作为所显示的虚拟内容的一部分的多个虚拟对象。例如，如果用户的可穿戴扩展现实装置的部件的温度阈值是35摄氏度并且温度传感器接收到该部件是40摄氏度的信息，则可以将显示设置修改11％到25％或更多。在该示例中，更积极的修改可以涉及将所显示的内容的亮度从11％降低到25％，改变所显示的虚拟内容的一部分的颜色方案，和/或降低所显示的视频内容的帧速率中的一项或更多项。
虽然一些实施方式涉及降低特定显示设置的水平(例如，亮度水平)，但是不同的显示设置本身可以产生比其他设置更多的热，并且因此当被修改时可以导致更大的热减少。例如，调整虚拟内容的强度可以具有比改变虚拟内容的颜色方案更多的热减少效果。因此，在一些实施方式中，可以基于关于可穿戴扩展现实装置的部件的温度的第一信号来选择第二扩展现实显示参数。显示参数可以是显示设置的组成部分。例如，所显示的虚拟内容可以涉及多个显示设置，诸如亮度、强度和/或帧速率。显示参数可以是亮度、或强度、或帧速率，它们一起包括显示设置。在此实施方式中，所述至少一个处理器可针对指示较热温度的第一信号选择更积极的至少一个扩展现实显示参数，并且针对指示较冷温度的第一信号选择更积极的至少一个扩展现实显示参数。在此上下文中，显示参数越积极，其对用户体验的影响越大。
在一些实施方式中，改变虚拟内容的显示设置可以基于指示温度轨迹的数据。温度轨迹可以基于所存储的扩展现实装置的温度来确定。可以以各种不同的方式测量用于确定温度轨迹的数据。在一些实施方式中，温度数据可以从温度传感器连续地或周期性地提供，并且可以存储在与可穿戴扩展现实装置相关联的存储位置中。例如，温度数据可以由温度传感器每秒、每分钟、每5分钟、每10分钟或以任何其它期望的频度提供。在另一示例中，温度数据可以由温度传感器基于递增的温度增加来提供，如以逐步函数(stepwisefunction)。这些递增的温度增加可以由用户配置。在该示例中，每次可穿戴扩展现实装置部件达到诸如从33摄氏度增加到35摄氏度的特定温度时，数据可被存储在与可穿戴扩展现实装置相关联的存储位置或存储设备中。
如上所述，温度轨迹可以基于随时间存储在非暂时性计算机可读介质中的温度信息。温度轨迹可用于确定可穿戴扩展现实装置可能经历峰值使用的时间段。例如，可穿戴扩展现实装置用户可以在一天的某些时间显示视频内容，因此与不显示视频内容的一天的其它时间相比，在一天的那些时间期间产生更多的热量。基于该使用数据，当预期可穿戴扩展现实装置的温度增加时，处理器可以在与峰值使用相关联的时刻先发制人地调整显示设置。
一些公开的实施方式可以包括预测可穿戴设备可能不活动的时间。这可以通过收集关于该装置在历史上如何被使用的数据，并且预测它在当前的未来情况下将如何被使用来发生。除了历史行为数据之外，存储的温度数据或如上所述的机器学习算法可以用于预测装置可能变得不活动的时间。作为可穿戴扩展现实装置的一部分的处理器可以解释这样的数据以确定该装置何时可能变得不活动。
在一示例中，处理器可分析一段时间(例如工作日)内的温度变化，以确定温度趋于低于某一值的时间。如上所述，处理器可以采用机器学习模型或类似算法来执行该任务。该值通常可以处于环境温度或者在环境温度的一或二摄氏度内，因为可穿戴扩展现实装置将是不活动的并且因此不产生热。另外，处理器可以基于随时间变化的功率电平来确定不活动时段。例如，一天中使用很少电力或不使用电力的时段可以指示可穿戴扩展现实装置是不活动的。相反，一天中所使用的功率电平高的时段可以指示峰值使用时段。在另一示例中，处理器可以基于可穿戴扩展现实装置的电池寿命来确定不活动时段。例如，电池缓慢耗尽的时段可以指示不使用时段，而电池快速耗尽的时段可以指示峰值使用时段。
在另一示例中，在工作日结束时、在面对面会议期间或在用户离开他或她的工作站的任何其它场景中，可穿戴装置可以使不活动的。可穿戴扩展现实装置可以基于所存储的温度信息、所存储的电力使用信息、所存储的电池需求信息或所存储的和与可穿戴扩展现实装置相关联的任何组件的任何其它工作参数相关联的信息中的一个或更多个来预测这些不活动时间段。另外，如上所述，先前的行为使用数据可以用作预测过程的一部分。
一些公开的实施方式可以包括当由可穿戴扩展现实装置产生的热量超过临界值并且预测时间超过临界持续时间时改变虚拟内容的显示设置。临界值可以是阈值热量，高于该阈值热量，温度可以超过由用户配置的阈值温度或确定一个或更多个部件的可靠性或使用寿命的阈值温度。在一个例子中，如果该装置产生太多的热量(例如当以全亮度和强度设置显示视频内容时)，可以更快地达到临界值。临界持续时间可以指在没有任何修改的情况下显示虚拟内容的时间量。在上述实施方式中，临界持续时间可以涉及预测的持续时间或活动时间。因此，当产生的热量超过临界值或者在预测的不活动期间设备是活动的时，需要改变显示设置以防止过热或超过阈值温度。实际上，当穿戴式扩展现实装置产生更多热量时，临界持续时间可以较短，而当穿戴式扩展现实装置产生更少的热量时，临界持续时间可以较长。
在上述实施方式中，至少一个处理器可以预测可穿戴扩展现实装置将不活动的时间。如果该预测时间小于由装置用户配置的临界持续时间(即，装置活动的时间比临界持续时间长)，则至少一个处理器可以改变显示设置，以便减少由可穿戴扩展现实装置部件产生的热量。如果处理器不改变显示设置，则一个或更多个部件的温度可能超过相关联的阈值温度。然而，如果预测时间不超过临界持续时间，则不需要改变显示设置。
一些公开的实施方式可以包括当由可穿戴扩展现实装置产生的热量超过临界值并且预测时间低于临界持续时间时，维持当前显示设置。
在一些实施方式中，假设预期的不活动时段即将到来，则即使产生了过量的热，也可以不调整显示设置。例如，可穿戴扩展现实装置用户可以在典型工作日结束时(基于使用历史)给出演示。即使演示将产生热，因为预期该装置将很快不活动，可穿戴扩展现实装置可以不修改显示设置。
所述至少一个处理器还可以基于在所述可穿戴扩展现实装置中剩余多少电池来修改显示设置。例如，呈现例如视频的某些虚拟内容可能需要一定量的电池寿命以便在不修改任何显示设置的情况下进行呈现。可穿戴扩展现实装置可以将显示特定内容所需的电池寿命与可穿戴扩展现实装置中剩余的电池寿命进行比较，并且可以相应地修改显示设置。在一示例中，如果呈现虚拟内容需要比当前装置中剩下的电池寿命长的电池寿命，则可以修改显示设置。
一些公开的实施方式可以包括，基于需要改变显示设置的确定，改变虚拟内容的显示设置以实现目标温度。例如，如果所接收的信息倾向于确定将超过阈值热量水平，则一个或更多个处理器可以确定需要改变显示设置。
所确定的需求可以涉及单个显示参数或多个显示参数，其中多于一个可以被同时修改。当使用第一至少一个扩展现实显示参数来显示内容时，可以接收与一个或更多个可穿戴扩展现实装置部件(诸如发热光源、处理设备或无线通信设备)相关的第一信号。该第一信号可用于确定需要降低至少一个可穿戴扩展现实装置部件的温度。响应于降低可穿戴扩展现实装置的至少一部分的温度的需要，可以使用第二至少一个扩展现实显示参数经由可穿戴扩展现实装置来显示内容。例如，可以基于接收到的温度数据来调整亮度。
在一示例中，可调整两个显示参数以减少热产生。第二扩展现实显示参数(例如颜色方案)可以不同于第一扩展现实显示参数(例如亮度)，并且第二至少一个扩展现实显示参数可以被配置为减少可穿戴扩展现实装置的热输出。
在一些实施方式的上下文中，虚拟元件可指在扩展现实环境中显示的一个或更多个项目的一个或更多个部分或整体。例如，虚拟元件可以是在扩展现实环境中显示的虚拟对象或虚拟对象的一部分。作为示例，当虚拟内容包括多个文档时，虚拟对象可以是多个文档中的一个。虚拟元件可以包括虚拟对象本身(例如文档)，或者它可以包括虚拟对象的一部分(例如，任务栏、导航窗格、样式标签或文档的任何其它部分)。
修改上述一个或更多个显示设置可以降低可穿戴扩展现实装置的温度，并因此使装置更接近目标温度。目标温度可以指可穿戴扩展现实装置的期望的或优选的工作温度。优选的工作温度可以被配置为确保峰值性能、防止装置的故障、提高可靠性、延长装置的使用寿命，和/或对用户最舒适。
在一些实施方式中，目标温度可以指修改显示设置的阈值温度。目标温度可以基于用户的偏好来配置，并且可以基于用户的类型而不同。例如，目标温度对于儿童(即，更敏感的用户)可以比对于成人低。
例如，当与可穿戴扩展现实装置相关联的处理器确定可穿戴扩展现实装置的一个或更多个部件的温度已达到阈值温度时，可穿戴扩展现实装置可以显示虚拟内容。作为响应，处理器可以降低内容的亮度(即，第一扩展现实显示参数)。如上所述，显示设置可以包括多个扩展现实显示参数。在一些实施方式中，可以根据与可穿戴扩展现实装置相关联的温度来修改一个或更多个附加的扩展现实显示参数。例如，在可穿戴扩展现实装置的一个或更多个部件的温度达到或超过阈值温度时，除了所呈现的内容的亮度之外，还可以修改所呈现的视频的颜色方案或帧速率。
作为示例，图24示出了可穿戴扩展现实装置的温度2410如何随时间2412而改变。该装置可以被配置为改变显示设置2414以防止温度达到阈值温度2416。此外，在可穿戴扩展现实装置的温度返回到可接受的限度之后，该装置可以被配置成将显示设置改变为初始值2418。
在一些示例中，可以基于虚拟内容来选择要修改的扩展现实显示参数。例如，当虚拟内容包括视频内容时，可以修改某些视觉显示参数，而当虚拟内容包括文本内容时，可以修改其它扩展现实显示参数。在该示例中，当呈现视频内容时，可以降低帧速率，而当呈现文档时，可以降低亮度。
与其它显示参数相比，某些显示参数可能需要更积极的工作参数，即可能对显示内容具有更高的功率或电压需求。这种要求更高的扩展现实显示参数可以是亮度、强度、显示尺寸或帧速率。其它显示参数可以不需要那么多的工作参数，并且可以包括颜色。
改变显示设置可以以许多不同的方式发生。在一些实施方式中，改变虚拟内容的显示设置可以包括修改虚拟内容的至少一部分的颜色方案。颜色方案可以是指虚拟内容的调色板、色温、一种颜色的色调或颜色的子集。可以通过改变调色板、色温、特定颜色的多个可用色调中的一项或更多项，或将所显示的颜色改变为灰度或黑白来修改颜色方案。与使用修改后的颜色方案显示虚拟内容相比，使用原始颜色方案显示虚拟内容可以使用更多的处理能力，并且因此产生更多的热量。
虚拟内容可以具有各种不同的显示参数。在一些实施方式中，至少一个处理器可以被配置为修改虚拟内容的一些或所有部分的颜色方案。例如，所述至少一个处理器可以修改与在扩展现实环境中和/或经由可穿戴扩展现实装置显示的虚拟内容的第一部分相关联的颜色方案，而不修改虚拟内容的其余部分的颜色方案。作为另一示例，对于意在全彩色的虚拟内容，至少一个处理器可被配置为通过将其颜色方案改变为黑白或灰度来修改虚拟内容的一部分，同时留下虚拟内容的剩余部分为彩色，直到达到目标温度。在该示例中，可穿戴扩展现实装置的一个或更多个部件的温度最初可以高于阈值温度。如上所述改变颜色方案可以将温度降低到阈值温度以下。一旦温度低于阈值温度，则虚拟内容的颜色方案可在虚拟内容的所有部分中恢复为未修改的设置(例如，全彩色)。
修改颜色方案的特定方式(例如，改变要以黑白显示的虚拟内容的一部分)可以由可穿戴扩展现实装置用户来配置。用户的优选颜色方案修改可以存储在用户的简档中。
在一些实施方式中，改变虚拟内容的显示设置可以包括减小虚拟内容的至少一部分的不透明度值。修改不透明度可以是指所显示的透明或半透明的虚拟内容看起来如何。与使用相对较低的不透明度显示的虚拟内容相比，使用较高的不透明度显示的虚拟内容可以更加从周围环境突出，并且可以允许较少的周围光穿透它。与修改不透明度以使得内容更加半透明或透明时相比，使用最大不透明度显示内容可以使用更多的处理能力，并且因此产生更多的热。
在一示例中，虚拟内容的第一部分可以用减小的不透明度显示，而虚拟内容的第二部分可以用未减小的不透明度显示。例如，当用减小的不透明度显示时，呈现中的某些图形可以对观看者呈现半透明，而其它图形可以用它们的正常的不透明度设置显示。在该示例中，文本和图形图像可被显示为虚拟内容的一部分。这里，文本可以未修改地显示，但是图形的不透明度可以降低以减少发热，反之亦然。在这种情况下，与可穿戴扩展现实装置的一个或更多个部件相关联的温度最初可能是高的，并且如所描述的那样改变不透明度可以降低温度。一旦温度降低到预定阈值温度以下，虚拟内容的不透明度就可以恢复到虚拟内容的所有部分中的未修改的设置(例如，没有内容看起来是半透明或透明的)。
例如通过减少多少不透明度来修改不透明度的特定方式可以由可穿戴扩展现实装置用户来配置。此外，虚拟内容的要减小不透明度的特定部分可由可穿戴扩展现实装置用户配置。用户的优选不透明度修改可以存储在用户的简档中。
在一些实施方式中，改变虚拟内容的显示设置还可以包括减小虚拟内容的至少一部分的强度值。术语强度可以是指经由发热光源从所显示的虚拟内容产生多少光。与当强度降低时相比，以用户的优选的强度显示虚拟内容可以使用更多的处理能力，并且因此产生更多的热量。
虚拟内容的第一部分可以用减小的强度显示，而第二部分可以用未减小的强度显示。例如，所呈现的虚拟内容可以包括文本和图形二者。文本可以在未修改的设置下显示，但是当以减小的强度显示时，呈现中的图形对于观看者可能显得不太亮，因为用于呈现虚拟内容的功率已经减小。在该示例中，温度最初是高的，并且如所描述的那样改变强度降低了温度。在温度降到阈值温度以下之后，虚拟内容的强度可在虚拟内容的所有部分中恢复到未经修改的设置(例如，基于用户偏好的正常强度)。
可以由可穿戴扩展现实装置用户来配置修改强度的特定方式，例如通过减少多少强度来修改。此外，要降低强度的虚拟内容的特定部分可以由可穿戴扩展现实装置用户配置。用户的优选强度修改可以存储在用户的简档中。
改变虚拟内容的显示设置还可以包括减小虚拟内容的至少一部分的亮度值。术语亮度可以是指人们视觉感知到从所显示的内容发射多少光。虽然调节所显示的内容的强度涉及调节由发热光源产生多少光，但是调节亮度涉及在强度保持恒定的同时调节虚拟内容的显示设置。以用户优选的亮度设置来显示虚拟内容可以使用更多的处理能力，并且因此产生比亮度降低时更多的热量。
在该实施方式中，虚拟内容的第一部分可以用降低的亮度显示，而第二部分可以用未降低的亮度显示。例如，所呈现的虚拟内容可以包含文本和图形二者。为了降低温度，可以用降低的亮度显示图形，但是可以不修改地显示文本，反之亦然。在该示例中，温度最初是高的，并且如所描述的那样改变亮度降低了温度。在温度降到阈值温度以下之后，虚拟内容的亮度可在虚拟内容的所有部分中恢复到未经修改的设置(例如，基于用户偏好的正常亮度)。
可以由可穿戴扩展现实装置用户来配置亮度被修改的具体方式，例如，亮度被降低多少。此外，要降低亮度的虚拟内容的特定部分可由可穿戴扩展现实装置用户配置。用户的优选亮度修改可以存储在用户的简档中。
改变虚拟内容的显示设置还可以包括降低虚拟内容的至少一部分的帧速率。帧速率可以是指显示连续图像的频率，尤其是当显示视频和/或动画的虚拟对象时。帧速率越高，所显示的视频内容对观看者而言看起来越平滑。与以降低的帧速率显示虚拟内容相比，以未修改的帧速率显示虚拟内容可能消耗更多的处理功率，并因此产生更多的热量。
在该实施方式中，虚拟内容的第一部分可以用减小的帧速率显示，而第二部分可以用未减小的帧速率显示。例如，当用降低的帧速率显示时，某些呈现的视频内容可能表现为变形，即，视频中的运动将不会变得平滑。然而，所呈现的视频内容的其它部分将以其正常帧速率显示，且对于观看者而言，运动将显得平滑。在一示例中，视频的帧速率可以在变化不太大的地方降低，例如存在静止景观的场景。这里，在内容快速改变的情况下，视频中的帧速率可以保持不变，例如人沿拥挤的街道行走。在该示例中，温度最初是高的，并且如所描述的那样降低帧速率降低了温度。在温度降到阈值温度以下之后，虚拟内容的帧速率可在虚拟内容的所有部分中恢复到未经修改的设置(例如，视频内容看起来平滑)。
可以由可穿戴扩展现实装置用户来配置修改帧速率的具体方式，例如，减少多少帧速率。另外，虚拟内容的要降低帧速率的特定部分(即，视频的开始、中间或结束部分)可以由可穿戴扩展现实装置用户来配置。用户的优选帧速率修改可以存储在用户的简档中。
改变虚拟内容的显示设置还可以包括减小虚拟内容的至少一部分的显示尺寸。减小虚拟内容的显示尺寸可以帮助降低功耗并因此降低温度。例如，较大的图像和视频可以具有较大的文件大小，这可能需要更多的功率来从存储器读取、处理和/或显示。在另一示例中，减小显示器尺寸可以允许包括在可穿戴扩展现实装置中的至少一个显示设备的至少一部分关闭或变为低功率模式。
在该实施方式中，虚拟内容的第一部分可以以缩小的显示尺寸显示，而第二部分可以以未缩小的显示尺寸显示。例如，作为所显示的虚拟内容的一部分，可以以减小的尺寸显示文档，而可以以未修改的尺寸显示视频文件。
在一示例中，可以基于指示可穿戴扩展现实装置的用户的注意力的信息来选择虚拟内容的该部分。在另一示例中，可以基于与虚拟内容的不同部分相关联的必要性程度来选择虚拟内容的该部分。在一些实施方式中，指示可穿戴扩展现实装置的用户的注意力的信息可以包括捕获的图像信息。在一示例中，指示用户注意力的信息可以基于光标的位置。在另一示例中，指示用户注意力的信息可以基于可穿戴扩展现实装置的方向，即用户将其头部指向何方。在又一示例中，指示用户注意力的信息可以基于用户的凝视方向。
另外，虚拟内容的要减小尺寸的部分可以基于与虚拟内容的不同部分相关联的必要程度。必要程度可以是指特定内容对特定用户有多重要。例如，所呈现的虚拟内容可以具有需要向可穿戴扩展现实装置的观看用户解释的几个关键点，并且具有可能不那么重要的其他支持点。在配置可穿戴扩展现实装置时，用户可以为所呈现的内容的每个部分分配与其必要性有关的值，并且可以基于所分配的必要性值来减小虚拟内容的显示尺寸。
作为示例，图25示出了基于接收到的温度信息来减小虚拟内容的一部分的显示尺寸。这里，可穿戴扩展现实装置2510呈现虚拟内容2512。虚拟内容2512包括虚拟对象2514和2516。在接收到温度数据2518并确定需要修改虚拟内容显示设置时，可以减小虚拟内容的显示尺寸。这里，虚拟对象2520是2516的尺寸减小版本，而虚拟对象2522不是(即，虚拟对象2522的尺寸与2514相似或相同)。
在一些实施方式中，改变虚拟内容的显示设置包括基于对象类型或对象使用历史中的至少一项来实现对包括在虚拟内容中的所显示的虚拟对象的选择性改变。在这些实施方式的上下文中，虚拟对象类型可指所显示内容的特性。此类特征(或类型)可包括(例如)静止虚拟内容(例如，文档)、动态虚拟内容(例如，视频或PowerPoint呈现)、彩色、灰度或黑白内容、透明、半透明或不透明内容、明亮或暗淡内容、静止或移动内容、降低了帧速率的内容和/或大显示尺寸内容和小显示尺寸内容。对象使用历史可指特定对象被使用的最近程度、对象被使用的频率、对象被使用的时间、对象被使用的时间、对象被使用的目的、和/或多少用户使用特定虚拟对象。
可基于所呈现的内容(即，视频或文档)的类型来修改的显示参数可基于用户的偏好来配置。例如，用户可能更喜欢显示被高亮突出的、较亮的或放大的文档，而不是修改其它显示参数。在另一示例中，用户可能更喜欢放慢所呈现的视频内容的帧速率而不是修改其它显示参数，或者可能更喜欢自动减小所呈现的虚拟内容的显示尺寸。
另外，可以基于使用历史来修改显示参数。例如，可穿戴扩展现实装置用户可能先前已经减慢了视频速度以便减少发热。该信息可以作为用户简档的一部分存储在与可穿戴扩展现实装置相关联的非暂时性计算机可读介质中。处理器可以基于用户简档中所存储的使用历史，在可穿戴扩展现实装置达到阈值温度时自动减慢视频速度。在另一示例中，用户可能更喜欢减小显示尺寸、改变颜色方案或减小所显示内容的亮度。例如，呈现可包括文本和图形。基于所呈现的内容和用户的受众，用户可能更喜欢减小图形的显示尺寸，将图形改变为灰度级，或减小图形的亮度以便降低温度，但不改变呈现的内容和含义。这样的显示参数修改信息可以存储在非暂时性计算机可读介质中，使得可穿戴扩展现实装置可以基于使用历史来减少发热。在另一示例中，可以在强度、亮度或任何其它工作参数方面降低长时间段未使用过的特定对象。例如，例如作为演示的一部分的文档的两个小时未被使用的虚拟对象可以在强度上被减小。
在一些实施方式中，改变虚拟内容的显示设置可以包括从虚拟内容中移除包括在该虚拟内容中的多个虚拟元件中的至少一个虚拟元件。在一些公开的实施方式的上下文中，虚拟元件可以是虚拟对象或虚拟对象的一部分。例如，如果虚拟内容包括多个文档，则虚拟对象可以是文档之一。虚拟元件可以是虚拟对象本身(例如文档)，或者可以是虚拟对象的一部分(例如任务栏、导航窗格或样式标签)。为了减少发热，可以从所显示的虚拟内容中移除诸如任务栏或导航窗格等虚拟元件。例如，所呈现的虚拟内容可以涉及文档。为了减少发热，文档的导航窗格可以被移除，即，它对于观察者是不可见的。
在一些实施方式中，可以基于指示穿戴式扩展现实装置的用户的注意力的信息从多个虚拟元件中选择至少一个虚拟元件。用户的注意力可用于移除虚拟元件，因为这样的数据指示虚拟内容的什么部分对于传达虚拟内容的含义是关键的，而哪些不是关键的。指示用户注意力的信息可以基于由与可穿戴扩展现实装置相关联的图像传感器捕获的图像数据。在一示例中，指示用户注意力的信息可以基于光标的位置。在另一示例中，指示用户注意力的信息可以基于可穿戴扩展现实装置的方向。在该示例中，用户可能需要移动他或她的头部或视线以完全观看虚拟内容。图像传感器可捕获与用户注意力所在的位置(即，他们的头部所在的位置)相关的数据，并相应地修改虚拟内容。在又一示例中，指示用户注意力的信息可以基于用户的凝视方向。在另一示例中，图像传感器可以捕获姿势数据。用户指向的虚拟对象可以以未修改的设置来显示，而用户未指向的虚拟对象可以以降低的亮度、强度、帧速率、不透明度或修改的颜色来显示。
一些公开的实施方式可以包括对多个虚拟元件的重要性级别进行排序，并且基于所确定的重要性级别从多个虚拟元件中选择至少一个虚拟元件。重要性级别可以指对于用户理解所呈现的虚拟内容而言某些虚拟元件必需的程度。例如，图像可被呈现为虚拟内容的一部分，但对于理解虚拟内容的其余部分可能不是必需的。可以向图像指派低于所呈现的虚拟内容的其余部分的重要性级别。在另一示例中，演示可被呈现为虚拟内容(例如，在演示编辑和/或查看应用程序中)，并且可包括幻灯片和笔记。笔记可能不如幻灯片那么重要，并且因此与幻灯片相比可被指派较低的重要性级别。作为另一示例，如果虚拟元件是虚拟生产力应用，则与使用该生产力应用直接相关的信息(诸如文档、电子邮件或说明性视频)可被指派高的重要性级别，因此它将是显示这种未修改的内容的优先级。相反，与使用生产力应用不直接相关的虚拟元件(诸如播放音乐的视频、开放网页或与生产力应用(或生产力应用的核心功能)无关的其它应用，可被指派较低的重要性级别。可以修改这些元件以减少发热。另外，如果虚拟元件是虚拟窗口的一部分，则此时未使用的部件(诸如任务栏、导航窗格或样式标签)可被移除。
在一些示例中，对多个虚拟元件的重要性级别进行排名可以包括基于可穿戴扩展现实装置的物理环境的状况和/或可穿戴扩展现实装置的物理环境中的事件来对多个虚拟元件的重要性级别进行排名。例如，当除可穿戴扩展现实装置的用户之外的另一个人出现在可穿戴扩展现实装置的物理环境中时，与该另一个人相关联的虚拟元件的排名可以高于当该另一个人未出现在可穿戴扩展现实装置的物理环境中时的排名。在另一示例中，当电气装置存在于可穿戴扩展现实装置的物理环境中时，与该电气装置相关联的控件可以比当该电气装置不存在于可穿戴扩展现实装置的物理环境中时排名高。在又一示例中，当人在物理上接近可穿戴扩展现实装置的用户时，与内容共享相关联的元件可被排名高于其在没有人在物理上接近用户时的排名。在一些示例中，可以基于对使用包括在可穿戴扩展现实装置中的图像传感器捕获的图像数据的分析来确定在可穿戴扩展现实装置的物理环境中存在人和/或电气装置，和/或确定人是否在物理上接近用户。该分析可以包括使用视觉分类算法将图像数据分析为多个可选类别中的一个类别(诸如“存在其他人”、“不存在其他人”、“存在电气装置”、“不存在电气装置”、“有人正在接近用户”、“没有人正在接近用户”，或附加用户和/或电气装置的任何其他组合)。
一些公开的实施方式可以包括在实现对显示设置的改变之后的一段时间内接收指示与可穿戴扩展现实装置相关联的温度的更新信息，并且将显示设置中的至少一项改变为初始值。如上所述，温度值可以周期性地、连续地接收，或基于设定的温度来增加(即，除非温度增加一或二摄氏度，否则不生成信息)。处理器如何接收温度值可以由可穿戴扩展现实装置用户来配置。因此，在使用可穿戴扩展现实装置期间，可以连续地或周期性地接收温度值。例如，与可穿戴扩展现实装置相关联的温度传感器的温度测量值可以指示可穿戴扩展现实装置的一个或更多个部件的温度已经降低到阈值温度以下，或者已经降低到安全或稳定的温度。在一示例中，作为响应，可穿戴扩展现实装置可在不对显示设置进行任何修改的情况下使用。在另一示例中，作为响应，可以将至少一个显示设置改变为初始值。在一些实施方式中，初始值可以是指被改变之前的显示设置(例如，图24中将显示设置改变为初始值2418)。
在上面的例子中，工作参数(例如电压、电流或功率)可以在未使用可穿戴扩展现实装置之后由至少一个处理器重新调整到初始值。因此，初始值可以指在改变之前的显示设置或工作参数。初始值的一个示例可以是默认显示设置。在该示例中，初始值可以是指默认的颜色、不透明度、强度、亮度、帧速率或显示尺寸设置。显示设置的初始值可以由每个单独的可穿戴扩展现实装置用户来配置。
图26是示出用于基于可穿戴扩展现实装置的温度来改变显示设置的示例性方法的流程图。方法2600可以由与输入单元202(见图3)、XR单元204(见图4)和/或远程处理单元208(见图5)相关联的一个或更多个处理设备(例如360、460或560)来执行。可以以任何方式修改所公开的方法2600的步骤，包括通过重新排序步骤和/或插入或删除步骤。方法2600可以包括经由可穿戴扩展现实装置显示虚拟内容的步骤2612。可穿戴扩展现实装置的一个或更多个部件(例如412、413、414、415、417)(见图4)可以在显示虚拟内容时产生热量。方法2600可以包括基于热量产生来接收与可穿戴扩展现实装置相关联的温度信息的步骤2614(例如，在步骤2612显示虚拟内容之后或同时)。方法2600可以包括基于接收到的温度信息来确定需要改变显示设置的步骤2616。与输入单元202(见图3)相关联的至少一个处理设备(例如360、460、560)可以基于所接收的温度信息来确定改变显示设置的需要。方法2600可以包括基于步骤2616的确定来改变虚拟内容的显示设置以实现目标温度的步骤2618。可以改变显示设置以达到目标温度。
一些公开的实施方式可包括包含指令的系统、方法和/或非暂时性计算机可读介质，所述指令在由至少一个处理器执行时可使所述至少一个处理器执行用于在扩展现实环境中实现混合虚拟键的操作。扩展现实环境可以包含真实元件和虚拟元件。当在扩展现实环境中操作时，用户可以与真实元件和虚拟元件交互。在一些实施方式中，扩展现实环境可以包含混合虚拟键。混合虚拟键可以包括物理按键和虚拟按键的混合。物理按键可以表示例如键盘的一个或更多个物理和/或机械可移动按键。键盘可以允许用户使用例如与键盘相关联的一个或更多个按键来输入文本和/或字母数字字符。虚拟按键可以允许输入文本和/或字母数字字符和/或专用按键(例如命令、控制和/或功能键)，而不需要物理按键。虚拟按键可以具有与物理按键相同的外观或者不同的外观，但是可以不具有物理的可移动的部件。用户可以通过触摸屏接口或在扩展现实环境中与虚拟按键交互。在一些实施方式中，混合按键可以包括物理按键和虚拟按键。例如，扩展现实环境可以包含具有物理按键的物理键盘和包括虚拟按键的表面。在一些实施方式中，混合虚拟键可以对应于数字键、字母键、符号键、上/下箭头、专用键(例如命令、控制和/或功能键)或其它类型的按键。
一些公开的实施方式可以包括在第一时间段期间接收对应于多个虚拟可激活元件在触敏表面上的位置的第一信号，所述多个虚拟可激活元件由可穿戴扩展现实装置虚拟地投射在触敏表面上。触敏表面可包括可响应于被对象触摸而产生信号的表面。触敏表面可以位于用户环境中存在的一个或更多个物理对象上。例如，触敏表面可以包括物理键盘的一个或更多个表面。作为一个示例，物理键盘上的触摸条或触摸板可以构成触敏表面。然而，可以设想，键盘的其它部分(例如键盘的侧面或一个或更多个物理按键)可以是触敏表面。作为另一示例，触敏表面可包括桌子、书桌或用户环境中的任何其它对象的表面。用于触摸触敏表面的对象可包括用户的手、触笔、指针或可与触敏表面接触的任何其它物理对象的一个或更多个部分。作为一个示例，用户可使用一个或更多个手指、拇指、手腕、手掌或用户手的任何其他部分来触摸触敏表面。
在一些实施方式中，触敏表面可包括一个或更多个虚拟可激活元件。虚拟可激活元件可以包括可以被显示或投影到触敏表面上的一个或更多个窗口小部件。例如，虚拟可激活元件可以包括图标、符号、按钮、拨号盘、复选框、选择框、下拉菜单、滑块或可以被显示或投影到触敏表面上的任何其他类型的图形元件。每个虚拟可激活元件可以在被用户操作或动作时产生信号或导致采取动作。例如，用户可以通过按压或触摸按钮来激活虚拟可激活按钮元件。作为另一示例，用户可通过使用手指在元件上向上扫或向下扫来致动虚拟可致动滑块元件。虚拟可激活元件可以响应于被用户触摸或激活而产生信号或使处理器采取动作。
被显示或投影到触敏表面上的虚拟可激活元件可以是与位置相关联的。该位置可以与相应的虚拟可激活元件相对于参考位置或参考表面的位置相关联。在一些实施方式中，可以使用坐标元件来确定位置。例如，虚拟可激活元件的位置可以包括相对于预定坐标参考平面的坐标位置或距离。作为另一示例，虚拟可激活元件的位置可包括触敏表面上的按钮的状态(例如，开或关)。
在一些实施方式中，虚拟可激活元件可以由可穿戴扩展现实装置虚拟地投影。佩戴该可穿戴扩展现实装置的用户可以在触敏表面上看到该投影。此外，该投影可以是他人不可见的，或者可以被他人(例如，不使用可穿戴扩展现实装置的人、不使用特定可穿戴扩展现实装置的人等)在触摸敏感表面外部看到。也就是说，在没有可穿戴扩展现实装置的情况下观看触敏表面的人将不会看到触敏表面上的虚拟可激活元件。可穿戴扩展现实装置可以是可附接到用户以提供增强现实(AR)、虚拟现实(VR)、混合现实(MR)或任何沉浸体验的设备。可穿戴扩展现实装置的典型部件可以包括以下中的至少一项：立体头戴式显示器、立体头戴式音响系统、头部运动跟踪传感器(例如陀螺仪、加速度计、磁力计、图像传感器、结构化光传感器等)、头戴式投影仪、眼睛跟踪传感器和/或以下描述的附加部件。可穿戴扩展现实装置可以包括智能眼镜、耳机或其它设备。可穿戴扩展现实装置可以通过在触敏表面上提供虚拟可激活元件的覆层(overlay)来虚拟地投射虚拟可激活元件，使得可以使用可穿戴扩展现实装置向用户显示虚拟可激活元件。
作为示例，图27示出了将一个或更多个虚拟可激活元件虚拟地投影到触敏表面上的可穿戴扩展现实装置的示例。例如，如图27所示，用户2716可以佩戴可穿戴扩展现实装置2715。在一些示例中，可穿戴扩展现实装置2715可以包括智能眼镜、头戴式耳机、头戴式显示器或任何其他形式的可穿戴扩展现实装置。可穿戴扩展现实装置2715可以将一个或更多个虚拟可激活元件2712、2713和/或2714虚拟地投射到可以位于键盘2710下方的触敏表面2711上。所投影的一个或更多个虚拟可激活元件对于用户2716是可见的。在一示例中，所投影的一个或更多个虚拟可激活元件对于其他人是不可见的。在另一示例中，所投影的一个或更多个虚拟可激活元件可以被其他人在触摸敏感表面2711外部看到(例如，作为可穿戴扩展现实装置2715上的反射)。也就是说，在没有可穿戴扩展现实装置的情况下观看触敏表面的人将不会看到触敏表面上的虚拟可激活元件。
在一些实施方式中，处理器可以在第一时间段期间接收对应于触敏表面上的位置的第一信号。第一时间段可以是一个或更多个动作可以发生的时间长度。时间长度可以是可变的。例如，第一时间段可以是几毫秒、几秒、几分钟或任何其它持续时间。由处理器接收到的第一信号可以对应于触敏表面上的位置。第一信号可以表示虚拟可激活元件的特定位置。当可穿戴扩展现实装置显示虚拟可激活元件时，在可穿戴扩展现实装置显示虚拟可激活元件之前，或者在可穿戴扩展现实装置显示虚拟可激活元件之后，处理器可以接收指示每个被投影的虚拟可激活元件的位置的信号。例如，可穿戴扩展现实装置可以将亮度调节器滚动条投影到触敏表面上。处理器可接收指示亮度调节器滚动条位于触敏表面右侧的第一信号。
作为示例，图28示出了键盘和触敏表面的示例。如图28所示，触敏表面2811可位于键盘2810下方，但可另外或替代地位于别处。例如，触敏表面2811可以位于键盘2810上方，键盘5-2-10的左侧或右侧，或者在键盘2810的物理键之间。在一些实施方式中，触敏表面2811也可以位于键盘2810本身上。触敏表面2811可以包括例如对应于一个或多个虚拟可激活元件的区域。例如，如图28所示，虚拟可激活元件可以包括箭头2814、亮度调节2813和/或表示一个或更多个应用2812的一个或更多个图标。应当理解，触敏表面2811不限于这些所示的虚拟可激活元件，并且可以包括对应于如上所述的这些元件的若干其它区域中的任何一个。
一些公开的实施方式可包括基于先前由用户选择的默认布置将多个虚拟可激活元件布置在触敏表面上。在扩展现实环境中执行一个或更多个操作之前，用户可以将一个或更多个虚拟可激活元件的一个或更多个位置和/或布置指定为默认布置。处理器可以使用用户指定的位置来使虚拟可激活元件以用户指定的默认排列显示。例如，用户可以选择将所有虚拟可激活元件都布置在表面的一侧。在另一示例中，用户可以将某些虚拟可激活元件分组在一起。在另一示例中，用户可以将元件布置成每个元件之间具有相同的距离。作为另一个例子，用户可以将元件设置成彼此之间具有不同的距离。用户还可以修改先前指定的默认布置。例如，用户可以将一个或更多个虚拟可激活元件拖动到一个或更多个新位置。在一些实施方式中，用户可按下键来指示虚拟可激活元件的位置变化。例如，用户可以按下向下箭头键以指示虚拟可激活元件的位置应该在向下方向上移动。响应于一个或更多个用户输入，处理器可以重新布置一个或更多个虚拟可激活元件的位置。在一些示例中，先前由用户选择的默认布置可以取决于上下文。例如，默认布置可以指定针对可穿戴扩展现实装置的不同工作模式的不同布置(例如，针对节电模式的一种布置和针对非节电模式的另一布置、针对可穿戴扩展现实装置的备用(lay-back)使用模式的一种布置和用于非备用使用模式的另一布置、当设备在行走或跑步的情况下被使用时的一种布置，以及当设备在直立或坐下的情况下被使用时的不同布置等等)。在另一示例中，默认布置可以为使用可穿戴扩展现实装置消费的不同虚拟内容指定不同的布置(例如，使用文字处理器时的一种布置和观看电影时的另一布置、在视频会议时的一种布置和在web上冲浪时的另一布置、使用可穿戴扩展现实装置与其他可穿戴扩展现实装置共享内容时的一种布置、以及其他的另一布置等)。在又一示例中，默认布置可以为不同的物理环境条件指定不同的布置。例如，默认布置可以指定另一个人接近可穿戴扩展现实装置的用户时的一种布置及其他不同布置、在会议室中使用可穿戴扩展现实装置时的一种设置、以及在家庭环境中使用可穿戴扩展现实装置时的另一布置等。
在一些公开的实施方式中，被虚拟地投影在触敏表面上的多个虚拟可激活元件可以是一组虚拟可激活元件的子集，并且该子集可以是基于用户的动作来确定的。该子集可以是该组虚拟可激活元件的适当子集(即，该组虚拟可激活元件中的至少一个虚拟可激活元件不包括在该子集内)。此外，该子集可以是非空子集(即，在子集中包括虚拟可激活元件组中的至少一个虚拟可激活元件)。用户的这种动作的一些非限制性示例可包括使用特定应用、使用特定应用的特定功能、切换到备用使用模式、切换到飞机模式、将可穿戴扩展现实装置与特定设备配对、行走、跑步、站、坐、与用户物理附近的人通信、进入特定物理空间等。在一示例中，可以例如通过分析从一个或多个传感器接收到的数据和/或基于从用户接收到的输入来检测用户的动作，例如如本文所述。此外，在检测到动作时，可以选择该组虚拟可激活元件的子集。一个或更多个虚拟可激活元件可以在呈现给用户的所有虚拟可激活元件的子集中组合在一起。在一些实施方式中，一个或更多个虚拟可激活元件可以基于由那些元件执行的功能来分组。例如，可以将与编辑文本或改变显示参数有关的虚拟可激活元件分组在一起。在一些实施方式中，一个或更多个虚拟可激活元件可以基于特定应用被分组。例如，可以将与呈现编辑和/或查看应用相关的虚拟可激活元件分组在一起。作为另一示例，与视频编辑或回放应用相关的虚拟可激活元件可被分组在一起。在一些实施方式中，一个或更多个虚拟可激活元件可以基于用户采取的动作而被分组在子集中。例如，用户采取的动作可以包括编辑文字文档。虚拟可激活元件的子集可以包括用于用户移除或添加单词或改变字体大小和/或样式的选项。作为另一示例，动作可包括用户编辑视频文件。该元件子集可以包括供用户删除或添加音频或视频剪辑的选项。
在一些公开的实施方式中，被虚拟地投影在触敏表面上的多个虚拟可激活元件可以是一组虚拟可激活元件的子集，并且该子集可以是基于用户的物理位置来确定的。该子集可以是该组虚拟可激活元件的适当子集(即，该组虚拟可激活元件中的至少一个虚拟可激活元件不包括在该子集内)。此外，该子集可以是非空子集(即，该组虚拟可激活元件中的至少一个虚拟可激活元件被包括在该子集中)。用户可以在不同环境中执行不同类型的动作。例如，当用户在家中、办公室中、会议室中、公共场合中、在旅行时或者当用户在其他环境中时，可以使用不同的虚拟可激活元件。处理器可包含GPS设备或室内定位传感器以确定用户的位置。处理器可以基于所确定的位置来显示虚拟可激活元件的子集。例如，当用户物理上位于其家中时，处理器可显示与电子邮件应用相关联的虚拟可激活元件的子集。作为另一示例，当用户物理地位于其工作场所中时，处理器可显示与文档编辑和/或视频编辑元件相关联的虚拟可激活元件的子集。在另一实施方式中，虚拟可激活元件的子集可以是基于用户、可穿戴扩展现实装置或触敏表面中的至少一者的物理位置来确定的。例如，GPS设备可以附着到可穿戴扩展现实装置以确定该装置的位置。基于装置的位置，可穿戴扩展现实装置可以将虚拟可激活元件的不同子集投影到触敏表面上。例如，可穿戴扩展现实装置可以位于用户的办公室中。可以基于位置来投影与文档共享相关联的虚拟可激活元件的子集。作为另一示例，GPS设备可以附着到触敏表面以确定该表面的位置。可以基于所述表面的位置来投影虚拟可激活元件的不同子集。例如，触敏表面可以位于用户的家中。可以基于位置来投影与显示改变相关联的虚拟可激活元件的子集。在上述示例中，子集可以是适当的子集。
在一些公开的实施方式中，被虚拟地投影在触敏表面上的多个虚拟可激活元件可以是一组虚拟可激活元件的子集，并且其中，该子集可以是基于用户环境中的事件来确定的。该子集可以是该组虚拟可激活元件的适当子集(即，该组虚拟可激活元件中的至少一个虚拟可激活元件不包括在该子集内)。此外，子集可以是非空子集(即，该组虚拟可激活元件中的至少一个虚拟可激活元件被包括在该子集中)。虚拟可激活元件的子集可以是基于用户采取的特定动作或用户的物理或虚拟环境中的改变来确定的。在一些实施方式中，特定动作可以是不涉及用户的事件。例如，可能不涉及用户的动作可包括另一用户连接到用户可能连接到的同一扩展现实环境。作为示例，当另一用户连接到用户的扩展现实环境时，虚拟可激活元件可以改变为编辑元件，使得两个用户都可以执行编辑功能。在另一示例中，可能不涉及用户的动作可以包括另一个人物理地接近用户和/或物理地进入用户的物理环境。在一些实施方式中，可以确定包括在子集中的虚拟可激活元件的特定动作可以包括另一个人的进入。例如，另一个人的进入可能导致一些虚拟可激活元件从触摸敏感表面消失，因为另一个人可能未被授权执行与那些虚拟可激活元件相关联的功能。
在一些实施方式中，确定虚拟可激活元件的子集的事件可以发生在与用户相关联的物理环境中。例如，另一个人进入用户家中可以是可确定向用户显示的虚拟可激活元件的子集的事件。作为另一示例，物理环境中发生的事件可涉及用户工作场所中的温度变化。在一些实施方式中，确定虚拟可激活元件的子集的事件可以发生在虚拟环境中。例如，所述事件可以包括在用户的扩展现实环境中由用户接收到的通知。可以基于通知来选择或修改虚拟可激活元件的子集。例如，如果通知是电子邮件，则虚拟可激活元件的子集可以改变为与电子邮件应用相关联的功能。作为另一示例，如果通知是电话呼叫，则虚拟可激活元件的子集可以改变为与电话相关联的功能。
一些公开的实施方式可包括根据第一信号确定多个虚拟可激活元件在触敏表面上的位置。当虚拟可激活元件被可穿戴扩展现实装置激活、致动、投影或触发时，可以产生一个或更多个信号(例如第一信号)。处理器可接收一个或更多个信号并基于一个或更多个信号确定虚拟可激活元件的位置。在一些实施方式中，信号可以包括虚拟可激活元件的位置的指示。在一个实施方式中，信号可以基于用户确定的位置来存储虚拟可激活元件的位置。信号可以包括坐标或距坐标平面的距离形式的位置信息。处理器可以接收位置信息，并且可以基于该信息来确定虚拟可激活元件的位置。例如，处理器可以基于与信号一起接收到的位置信息来确定虚拟可激活元件位于触敏表面的左侧，或者位于触敏表面左侧的任何位置。在另一实施方式中，每个虚拟可激活元件的位置可以与虚拟可激活元件相关联并存储在数据结构中。该信号可以包括虚拟可激活元件的标识，该标识可以用作搜索数据结构以确定位置的索引。作为示例，处理器可以基于与信号一起接收到的标识来确定虚拟可激活元件位于触敏表面的右侧，或者位于触敏表面右侧的任何位置。作为另一示例，处理器可以确定虚拟可激活元件可以是滑块，并且所述位置可以在滑块的任一端，或者在两端之间的任何位置。作为另一示例，虚拟可激活元件可以是刻度盘(dial)，并且所述位置可以是沿着刻度盘的任何旋转角度。
在一些公开的实施方式中，触敏表面上的多个虚拟可激活元件的位置可基于用户的动作、用户的物理位置、可穿戴扩展现实装置的物理位置、触敏表面的物理位置或用户环境中的事件中的至少一者来确定。可以使用不同的标准来确定向用户显示的虚拟可激活元件的位置(或布局)。一个或更多个虚拟可激活元件的位置也可以基于一个或更多个标准而改变。例如，当用户在办公室环境中时，可以选择用于显示虚拟可激活元件的位置，使得所述元件出现在超过一个区域上。作为另一示例，当用户在家庭环境中时，可以选择用于显示虚拟可激活元件的位置，使得所述元件出现在单个区域上。作为另一示例，用于显示虚拟可激活元件的不同位置可以基于由用户采取的动作或由不是用户的某人采取的动作来确定。例如，用户可以打开应用，并且虚拟可激活元件的位置可以向左或向右移动以创建用于显示打开的应用的空间。在一些其他示例中，可以基于其他应用是否被使用来选择与第一应用相关联的虚拟可激活元件的位置。例如，当单独使用第一应用时，与第一应用相关联的虚拟可激活元件可以遍布整个触敏表面，并且当第一应用与一个或更多个其他应用结合使用时，与第一应用相关联的虚拟可激活元件可以位于触敏表面的选定部分中，而与一个或更多个其他应用相关联的虚拟可激活元件可以位于触敏表面上的选定部分之外。触敏表面的该部分可基于第一应用、基于一个或更多个其它应用等来选择。
一些公开的实施方式可包括经由触敏表面接收用户的触摸输入，其中，触摸输入包括作为与触敏表面内的至少一个传感器的交互的结果而生成的第二信号。触敏表面可以包含一个或更多个传感器以产生信号。一个或更多个传感器可以检测或测量环境中的事件或变化，或者可以检测用户是否正在触摸触敏表面。一个或更多个传感器可以包括图像传感器、位置传感器、压力传感器、温度传感器或能够检测与触敏表面或与触敏表面所处的环境相关联的一个或更多个特性的任何其他传感器。用户可以通过与触敏表面接合来触摸该表面。例如，用户可以向触敏表面的一部分施加压力。作为另一示例，用户可轻敲、触摸、按压、刷或轻弹触敏表面的一部分。例如，用户可以按压对应于字母键的触敏表面。用户与触敏表面的接合可使得与触敏表面相关联的一个或更多个传感器产生信号。例如，与触敏表面相关联的传感器可以向处理器发送特定字母键已被用户触摸的信号。
作为示例，图29示出了用户与触敏表面交互的示例。例如，如图29所示，用户的手2915可以触摸触敏表面2911上的被投影了虚拟可激活元件2912的区域。触敏表面2911可以与键盘2910相关联。用户的手2915可以触摸对应于虚拟可激活元件2912的触敏表面2911的区域，并且传感器可以生成反映该触摸的信号。处理器可以接收信号并打开与虚拟可激活元件2912相关联的应用。在另一示例中，用户的手2915可以触摸触敏表面2911上的被投影了虚拟可激活元件2913的区域，并且传感器可以生成反映该触摸的信号。处理器可以接收信号并执行与虚拟可激活元件2913相关联的动作。在另一示例中，用户的手2915可以触摸触敏表面2911上的被投影了虚拟可激活元件2914的区域，并且传感器可以生成反映该触摸的信号。处理器可以接收信号并执行与虚拟可激活元件2914相关联的动作。
一些公开的实施方式可包括基于作为与触敏表面内的至少一个传感器的交互的结果而生成的第二信号来确定与触摸输入相关联的坐标位置。如上所述，当用户触摸触敏表面时，可由与触敏表面相关联的一个或更多个传感器生成一个或更多个信号(例如，第二信号)。一个或更多个第二信号可以包括与触摸输入的坐标位置相关联的信息。坐标位置可以指定点相对于给定参考系的位置。在一些实施方式中，坐标位置可以以纬度和经度给出。在其他实施方式中，可以使用坐标系(例如，笛卡尔坐标系、极坐标系)来确定坐标位置。在其它实施方式中，可以使用数轴(number line)来确定坐标位置。数轴可以包括水平直线，并且数字沿该线以均匀的增量放置。数字可以对应于触摸输入的位置。例如，用户可触摸触敏表面中间的传感器，该传感器可与可包括20个数字的数轴的数字10相关联。所述至少一个传感器可以生成信号，并且处理器可以基于信号和数字来确定触摸输入在所述触敏表面的中间。作为另一示例，用户可以在触敏表面的左侧或右侧触摸传感器。所述至少一个传感器可以生成信号，并且处理器可以基于信号来确定触摸输入是在该触敏表面的左边还是右边。
一些公开的实施方式可以包括将触摸输入的坐标位置与所确定的位置中的至少一个进行比较，以识别对应于触摸输入的多个虚拟可激活元件中的一个。处理器可以将用户的触摸输入与预定位置进行比较，以确定用户可能正在尝试触发哪些虚拟可激活元件。处理器可以将坐标位置与所确定的位置进行比较，以确定坐标位置和所确定的位置是否相同。例如，触摸输入的坐标位置可以在触摸敏感表面的中心。例如，滑块的确定位置也可以在触摸敏感表面的中心。处理器可比较两个位置以确定触摸输入对应于用户触摸滑块。
一些公开的实施方式可以包括引起与可穿戴扩展现实装置相关联的虚拟内容的改变，其中，所述改变对应于多个虚拟可激活元件中的被识别的一个。向用户显示的虚拟内容可以包括使用可穿戴扩展现实装置向用户显示的一个或更多个项目。例如，虚拟内容可以包括虚拟显示屏(在此也称为虚拟显示器)、窗口小部件、文档、，媒体项、照片、视频、虚拟字符、虚拟对象、扩展现实环境、虚拟可激活元件以及其他图形或文本内容。在一些实施方式中，处理器可以通过调整显示给用户的一个或更多个项目来引起虚拟内容的改变。例如，处理器可以调整一个或更多个虚拟显示屏的大小。作为另一示例，处理器可添加一个或更多个附加虚拟显示屏或移除一个或更多个虚拟显示屏。作为另一示例，处理器可以向用户播放音频或显示图片。虚拟内容的改变可以基于由用户触摸并由处理器通过比较坐标位置与所确定的位置来识别的虚拟可激活元件。例如，用户可以触摸对应于放大特征的虚拟可激活元件。作为响应，处理器可以通过放大内容来改变虚拟内容。作为另一示例，用户可触摸对应于删除特征的虚拟可激活元件。作为响应，处理器可以通过移除显示给用户的项目来改变虚拟内容。在另一示例中，用户可以触摸对应于特定应用的虚拟可激活元件，并且作为响应，处理器可以激活该特定应用。在又一示例中，用户可以触摸对应于特定应用中的特定功能的虚拟可激活元件，并且作为响应，可以触发该特定功能。在一些示例中，响应于多个虚拟可激活元件中的第一被识别元件，可以引起与可穿戴扩展现实装置相关联的虚拟内容的第一改变，并且响应于多个虚拟可激活元件中的第二被识别元件，可以引起与可穿戴扩展现实装置相关联的虚拟内容的第二改变，第二改变可以不同于第一改变。在一些示例中，响应于多个虚拟可激活元件中的第一被识别元件，可以引起与可穿戴扩展现实装置相关联的虚拟内容的第一改变，并且响应于多个虚拟可激活元件中的第二被识别元件，可以避免引起与可穿戴扩展现实装置相关联的虚拟内容的第一改变。在一些示例中，可以基于所识别的多个虚拟可激活元件之一来访问将虚拟可激活元件与对与可穿戴扩展现实装置相关联的虚拟内容的不同另选改变相关联的数据结构，以选择与可穿戴扩展现实装置相关联的虚拟内容的改变。
一些公开的实施方式可以包括基于第二信号来确定触摸输入的类型，并且其中，虚拟内容的改变对应于多个虚拟可激活元件中的被识别的一个和所确定的触摸输入的类型。触摸输入可以包括由用户执行以触摸虚拟可激活元件的不同类型的手势。处理器可确定与触摸输入相关联的手势类型，并将手势类型与特定功能相关联。处理器还可以通过执行虚拟可激活元件的功能来改变虚拟内容。在一些实施方式中，所确定的触摸输入的类型可以包括例如轻击、长触摸、多点触摸、拖动触摸、轻弹触摸、夹紧(pinch-in)触摸、撑开(pinch-out)触摸、滑动触摸或悬停触摸。触摸输入可以由用户的手或用户手的一部分来执行。例如，触摸输入可以由用户的手指、指尖、手掌或手腕来执行。在一些实施方式中，所确定的触摸输入的类型(例如，手势)可以引起虚拟内容的改变。例如，夹紧型触摸输入可以对应于放大特征。作为响应，处理器可以使显示器放大以放大虚拟内容。在另一示例中，拖动型触摸输入可对应于移动虚拟可激活元件。作为响应，处理器可以基于拖动触摸输入来移动所识别的虚拟可激活元件。
在一些公开的实施方式中，虚拟内容可以包括虚拟显示器，并且触敏表面可以位于被配置用于在虚拟显示器中导航光标的触摸板附近。触摸板和触敏表面可以在扩展现实环境中彼此相邻地定位。触摸板可以包括可用于导航光标的区域。光标可以包括出现在虚拟显示器中以在显示器上显示所选位置的指示符。光标可以标识虚拟显示器上可受用户输入影响的点。例如，用户输入可以包括用户与触摸板交互以在虚拟显示器中移动光标。当用户在触摸板上移动他的手或他的手的一部分时，光标可以在虚拟显示器中以相同的方式移动。例如，用户可以在触摸板上向左移动他的手指。作为响应，光标可以在虚拟显示器中向左移动。作为另一个例子，用户可以在光标悬停在应用上的同时按下触摸板。作为响应，基于用户按下触摸板，光标可以选择光标所指向的应用。
在一些公开的实施方式中，虚拟内容可以包括虚拟显示器，并且操作还可以包括使得触敏表面能够在虚拟显示器中导航光标。触敏表面可包括可用于控制光标的区域。用户可以使用用户的手或用户手的一部分(诸如用户的手指，手掌或手腕)与触敏表面交互。例如，用户可以在触敏表面上拖动他的手，使得光标在虚拟显示器中移动。作为另一个例子，用户可以在触摸敏感表面上向右移动他的手指。作为响应，光标可以在虚拟显示器中向右移动。作为另一示例，用户可在光标悬停在应用程序上方的同时向下按压触敏表面。作为响应，基于用户向下按压触敏表面，光标可以选择光标所指向的应用。
作为示例，图30示出了用户与触敏表面交互以导航光标的示例。例如，如图30所示，用户的手3015可以与触敏表面3011接合，触敏表面3011可以位于键盘3010下方。触敏表面3011可包括对应于一个或更多个虚拟可激活元件3012、3013和3014的区域。用户的手3015可以与触敏表面3011接合以在虚拟显示器3016中导航光标3017。例如，在触摸触敏表面3011的同时向右移动手3015可以使虚拟显示器3016中的光标3017向右移动。
一些公开的实施方式可包括在检测到触摸输入时打开应用，并且其中，引起虚拟内容中的改变是基于应用程序的打开的。处理器可以接收来自用户的触摸输入。处理器可将触摸输入的坐标位置与一个或更多个虚拟可激活元件的确定位置进行比较，并确定输入对应于与应用相关联的虚拟可激活元件。应用可包括例如文字处理器、web浏览器、演示软件、视频软件、电子表格软件或可允许用户执行某些操作的任何其它类型的应用程序。处理器可以基于与一虚拟可激活元件相关联的触摸输入来打开与该虚拟可激活元件相关联的应用。打开应用可以通过改变用户在扩展现实环境中看到的内容来引起虚拟内容的改变。例如，触摸输入可以对应于文字应用。虚拟内容的改变可以包括调整虚拟内容以包括打开的文字文档。在另一示例中，触摸输入可以对应于演示应用。虚拟内容的改变可以包括调整虚拟内容以包括打开的演示。
一些公开的实施方式可以包括在检测到触摸输入时改变输出参数；并且其中，引起虚拟内容的改变是基于输出参数的改变的。输出参数可以是虚拟内容的特性或特征。例如，输出参数可以包括对比度、照度、距离、尺寸、音量、亮度和/或影响如何显示虚拟内容的一个或更多个其他参数(例如，在虚拟显示器上、在扩展现实环境中、使用可穿戴扩展现实装置等)。处理器可以基于所确定的虚拟可激活元件的位置来改变输出参数。例如，处理器可以基于所确定的虚拟可激活元件的位置来增大或减小与输出参数相关联的值或级别。与输出参数相关联的值或级别的增加或减少可以通过调整用户在扩展现实环境中看到的内容来引起虚拟内容的改变。例如，如对比度的输出参数的改变可以调整扩展现实显示器的对比度。在另一示例中，输出参数的改变可致使处理器改变虚拟内容中的一个或更多个窗口的大小。在一些实施方式中，触摸输入可以包括用户调整对应于用于调整亮度的滚动条的虚拟可激活元件。例如，触摸输入可以包括用户向左拖动滚动条以降低亮度。在另一示例中，触摸输入可以是用户向右拖动滚动条以增加亮度。作为响应，处理器可基于触摸输入使扩展现实显示器的亮度增加或减小。
一些公开的实施方式可以包括：在多个虚拟可激活元件未被可穿戴扩展现实装置投影到触敏表面上时的第二时间段期间，停用触敏表面的至少一部分的至少一个功能。当一个或多个虚拟可激活元件没有被可穿戴扩展现实装置投影到触敏表面上时，触敏表面的一些或所有部分可以通过停用该功能来关闭。当触摸敏感表面的一部分被关闭时，即使用户可以触摸触敏表面的该部分，也不会接收到触摸输入，并且虚拟内容不会改变。在一些实施方式中，这种停用可以在第二时间段期间发生。第二时间段可以是一个或更多个虚拟可激活元件没有被可穿戴扩展现实装置投影到触敏表面上的时间长度。例如，第二时间段可以包括几毫秒、几秒、几分钟或任何其它时间段。
一些公开的实施方式可以包括在不同的多个虚拟可激活元件被可穿戴扩展现实装置投影到触敏表面上时的第二时间段期间停用触敏表面的至少一部分的至少一个功能。例如，在第二时间段期间投影不同的多个虚拟可激活元件可以包括在第一时间段期间在触敏表面的对应于特定虚拟可激活元件的特定部分处投影新的虚拟可激活元件，并且停用触敏表面的特定部分的至少一个功能可以是对应于该特定虚拟可激活元件的功能。在另一示例中，在第二时间段期间投影不同的多个虚拟可激活元件可以包括在第一时间段期间不在对应于特定虚拟可激活元件的触敏表面的特定部分处的投影，并且停用触敏表面的特定部分的至少一个功能可以是对应于该特定虚拟可激活元件的功能。一些公开的实施方式可以包括在第一时间段之后并且在不同的多个虚拟可激活元件被投影到触敏表面上之前的第三时间段期间保持触敏表面的至少一部分的至少一个功能，在第三时间段期间，触敏表面可以在可穿戴扩展现实装置的视场之外，并且因此多个虚拟可激活元件可以不被投影到触敏表面上。在一示例中，如果触敏表面在第三时间段之后并且在不同的多个虚拟可激活元件被投影到触敏表面上之前重新进入可穿戴扩展现实装置的视场，则多个虚拟可激活元件可被再次投影到触敏表面上。这些实施方式可以使用虚拟可激活元件实现类似盲打的体验(也称为触摸打字)。
图31示出可由处理器执行以执行用于在扩展现实环境中实现混合虚拟键的操作的示例性方法的流程图。方法3100可以包括步骤3110：接收对应于由可穿戴扩展现实装置虚拟地投影的多个虚拟可激活元件在触敏表面上的位置的第一信号。方法3100还可以包括步骤3111：基于第一信号来确定虚拟可激活元件的位置。此外，方法3100可以包括步骤3112：经由触敏表面接收用户的触摸输入。方法3100可以包括步骤3113：基于作为与至少一个传感器的交互的结果而生成的第二信号来确定与触摸输入相关联的位置。在一示例中，步骤3112和/或步骤3113可以在步骤3110和/或步骤3111之前、之后或同时发生。方法3100可以包括步骤3114：将触摸输入的位置与确定的位置进行比较。方法3100还可以包括步骤3115：使虚拟内容改变。此外，在一些示例中，方法3100可包括可选步骤3116：停用触敏表面的功能。
一些公开的实施方式可以包括接收附加信号，所述附加信号对应于由可穿戴扩展现实装置虚拟地投射在键盘的按键上的附加虚拟可激活元件在键盘上的与触敏表面相邻的位置。键盘可以位于触敏表面附近。键盘可以位于触敏表面的左边或右边。作为另一示例，键盘可位于触敏表面之上或之下。作为另一示例，键盘可以与触敏表面接触或共享边界。键盘可以包含一个或更多个物理键。除了在触敏表面上提供的虚拟可激活元件之外，键盘还可以包括附加的虚拟可激活元件。可穿戴扩展现实装置可以生成指示与被投影到键盘上的附加虚拟可激活元件相关联的位置的信号。例如，键盘可以包括空白键，并且附加虚拟可激活元件可以被投影到空白键上。作为另一个示例，键盘可以包括没有键的部分。附加虚拟可激活元件可以被投影到没有键的部分上。
一些公开的实施方式可以包括从附加信号确定附加虚拟可激活元件在键盘的键上的位置。可以接收对应于键盘上附加虚拟可激活元件的位置的信号。处理器可以基于所述信号来确定附加虚拟可激活元件的位置。处理器可以按照与处理器确定多个虚拟可激活元件在触敏表面上的位置相同的方式来确定附加虚拟可激活元件在键盘上的位置。例如，处理器可以确定虚拟可激活元件位于键盘的左侧。作为另一示例，处理器可确定虚拟可激活元件位于键盘的右侧。
作为示例，图32示出了具有被虚拟地投影到键盘的键上的附加虚拟可激活元件的键盘的示例。例如，如图32所示，键盘3211可以包含键3210。虚拟可激活元件可以被投影到键盘3211的键3210上。
一些公开的实施方式可以包括经由键盘的至少一个键来接收按键输入。当对键盘的按键施加压力时，可能发生按键输入。用户可以使用用户的手或用户的手的一部分向一个或更多个键施加力。例如，用户可以使用用户的手指、手掌或手腕按下键。由用户施加到键的压力可以产生指示键盘的键已被按压的信号。
一些公开的实施方式可以包括识别附加虚拟可激活元件中与按键输入相对应的一个。如上所述，用户可以按下键盘上的物理键。在一些实施方式中，用户可以附加地或替代地按下按键并创建对应于虚拟可激活元件的按键输入。例如，可以将一个或更多个键投影到键盘上，并且用户可以在所投影的键之一上执行按压手势。作为另一示例，附加虚拟可激活元件可被投影在一组物理键上，并且用户可在物理键之一上执行按压手势。处理器可以基于按键输入来识别用户想要执行哪个虚拟可激活元件。例如，用户可以按下“k”字母键，其中“k”字母键可以是附加虚拟可激活元件，从而创建按键输入。作为另一示例，用户可以按压任何编号的键，其中编号的键可以是附加的虚拟可激活元件，从而创建按键输入。
一些公开的实施方式可以包括引起与可穿戴扩展现实装置相关联的虚拟内容的第二改变，其中，第二改变对应于附加虚拟可激活元件中所识别的一个。处理器可以通过基于例如上述的一个或更多个按键输入来调整显示给用户的项目来引起虚拟内容的改变(例如，第二改变)。例如，用户可以按下表示大写锁定键的虚拟可激活元件。作为响应，处理器可以通过使文字文档中的文本大写来引起虚拟内容的改变。
一些公开的实施方式可以包括接收键盘配置选择并且使可穿戴扩展现实装置虚拟地投影附加虚拟可激活元件以对应于所选择的键盘配置。在一些实施方式中，物理键盘的一个或更多个键可以是空白的(例如，没有用任何类似字母或符号的记号来标记)，并且那些键可以不对应于功能。因此，当用户按下这些键中的任何一个时，在扩展现实显示器上显示的虚拟内容中可能没有相应的变化。相反，当在空白按键上投影一个或更多个虚拟可激活元件时，物理键盘可以反映与所投影的虚拟可激活元件相关联的键盘配置。因此，例如，如果字母“K”被投影到空白键之一上，则按下该键可使字母K显示在扩展现实显示器上。作为另一示例，物理键盘的键可以具有默认功能。按键可以包含对应于该功能的物理图形。例如，按键可以包含字母、数字或图标。因此，例如，键盘可以具有QWERTY或DVORAK布局，并且按下键盘上的一个或更多个键可以使得相应的字母数字字符被表示在扩展现实显示器上。当键盘上没有投影时，键可以保持它们的默认功能。相反，当存在可穿戴扩展现实装置的投影时，物理键盘可以反映由可穿戴扩展现实装置投影的键盘配置，并且可以关闭默认功能。例如，某个键的默认配置可以是字母“K”。可穿戴扩展现实装置的投影可以将字母“1”投影到键盘的该键上。当投影被激活时，按下该键可以导致字母“I”出现在扩展的现实显示器上。相反，当投影不活动时，按下相同的键可以使默认字母“K”出现在扩展现实显示器上。
一些公开的实施方式可包括基于用户动作、物理用户位置、可穿戴扩展现实装置的物理位置、键盘的物理位置或用户环境中的事件中的至少一者来选择附加虚拟可激活元件。基于用户动作，不同的虚拟可激活元件可以是可用的。例如，用户可打开视频文件，并且基于该动作，与视频编辑相关的虚拟可激活元件可供用户使用。作为另一示例，基于用户、可穿戴扩展现实装置和/或键盘的物理位置、不同的虚拟可激活元件可以是可用的。例如，当用户在工作场所环境中时，与编辑文字文档相关的虚拟可激活元件可供用户使用。作为另一示例，当可穿戴扩展现实装置位于用户的家庭办公室中时，与改变显示设置相关的虚拟可激活元件可供用户使用。作为另一示例，当键盘位于公共环境中时，与音量调节相关的虚拟可激活元件可供用户使用。作为另一示例，基于用户环境中的事件，不同的虚拟可激活元件可以是可用的。例如，用户以外的人可以进入用户的环境。当用户以外的人进入用户环境时，与共享文档相关的虚拟可激活元件可能对用户不可用。
一些公开的实施方式可以包括确定用户是否是可穿戴扩展现实装置的穿戴者。处理器可以确定佩戴可穿戴扩展现实装置的个体是在扩展现实环境中执行操作的同一个体。例如，键盘可以包括相机。处理器可基于来自相机的图像数据来确定提供输入的用户是可穿戴扩展现实装置的佩戴者。作为另一示例，可穿戴扩展现实装置可包括相机。处理器可基于来自相机的图像数据来确定提供输入的用户是可穿戴扩展现实装置的佩戴者。
一些公开的实施方式可以包括响应于确定用户是可穿戴扩展现实装置的穿戴者，引起与可穿戴扩展现实装置相关联的虚拟内容的改变。当处理器确定提供触摸输入的用户正佩戴着可穿戴扩展现实装置时，处理器可通过基于触摸输入来调整显示给用户的项目以引起虚拟内容的改变。例如，佩戴可穿戴扩展现实装置的用户可以通过调整显示亮度滚动条来创建触摸输入。处理器可基于来自相机的图像数据并通过将可穿戴扩展现实装置的佩戴者的图像与创建输入的用户的图像进行比较来确定用户正佩戴着智能眼镜。因为用户是可穿戴扩展现实装置的佩戴者，所以处理器可以通过调节亮度来基于触摸输入改变虚拟内容。
一些公开的实施方式可以包括响应于确定用户不是可穿戴扩展现实装置的穿戴者，放弃引起与可穿戴扩展现实装置相关联的虚拟内容的改变。可能未佩戴可穿戴扩展现实装置的用户可以与触敏表面接合。当没有佩戴可穿戴扩展现实装置的用户经由触敏表面提供输入时，处理器可以不采取任何动作并且可以不改变所显示的虚拟内容。处理器可以按照与处理器可以确定用户是可穿戴扩展现实装置的佩戴者相同的方式来确定用户不是可穿戴扩展现实装置的佩戴者。例如，用户可以通过调整音量滚动条来创建触摸输入。处理器可以基于来自相机的图像数据并且通过将可穿戴扩展现实装置的佩戴者的图像与创建输入的用户的图像进行比较来确定用户没有佩戴智能眼镜。因为用户不是可穿戴扩展现实装置的佩戴者，处理器可以通过不调整音量而不基于触摸输入改变虚拟内容。
在一些公开的实施方式中，用户可以是不同于可穿戴扩展现实装置的佩带者的个人。可以从可穿戴扩展现实装置的佩戴者以外的人接收触摸输入。触摸输入可以来自与触摸敏感表面接合的，不佩戴可穿戴扩展现实装置的用户。处理器可以基于确定用户没有佩戴可穿戴扩展现实装置来引起虚拟内容的改变。例如，用户可以是具有编辑共享字文档的许可的个人，但是用户可能没有佩戴可穿戴扩展现实装置。用户可以创建对应于在共享字文档中键入的触摸输入。基于确定用户没有佩戴可穿戴扩展现实装置，但是用户确实具有编辑许可，处理器可以通过将键入的字词添加到共享文字文档中来改变虚拟内容。
在一些公开的实施方式中，用户是第二可穿戴扩展现实装置的佩戴者，并且第二可穿戴扩展现实装置在触敏表面上投影第二多个虚拟可激活元件。第二可穿戴扩展现实装置可以在触敏表面上虚拟地投影可以使用第二可穿戴扩展现实装置向用户显示的覆盖层。第二可穿戴扩展现实装置可以按照与第一可穿戴扩展现实装置相同的方式投影虚拟可激活元件。
一些公开的实施方式可以基于触摸输入的坐标位置来确定触摸输入对应于第二多个虚拟可激活元件中的特定虚拟可激活元件。处理器可以确定触摸输入位于对应于特定虚拟可激活元件的位置处。处理器可以按照与处理器确定多个虚拟可激活元件的位置相同的方式确定第二多个虚拟可激活元件的位置。可以从第二多个虚拟可激活元件中选择特定的虚拟可激活元件。
一些公开的实施方式可以包括引起与可穿戴扩展现实装置相关联的虚拟内容的第二改变，其中，第二改变对应于第二多个虚拟可激活元件中的特定虚拟可激活元件。处理器可以通过调整显示给用户的项目来引起虚拟内容的第二次改变。内容的第二改变可以是响应于可能佩戴着可穿戴扩展现实装置的、与触敏表面接合的用户的。例如，处理器可以调整显示屏的尺寸。作为另一示例，处理器可添加附加显示屏或移除显示屏。作为另一示例，处理器可以向用户播放音频或显示图片。在一些实施方式中，第二改变可以是基于由用户触发的虚拟可激活元件的。例如，用户可以触发对应于放大特征的虚拟可激活元件。作为响应，处理器可以通过放大内容来改变虚拟内容。作为另一示例，用户可触发对应于删除特征的虚拟可激活元件。作为响应，处理器可以通过移除显示给用户的项目来改变虚拟内容。在一些实施方式中，虚拟内容的第二改变可以与虚拟内容的第一改变相同。在另一实施方式中，虚拟内容的第二改变可以不同于虚拟内容的第一改变。在另一实施方式中，虚拟内容的第二改变可以与第二可穿戴扩展现实装置相关联。
手势是与扩展现实系统和环境交互和控制扩展现实系统和环境的重要方式。从使用包括在可穿戴扩展现实装置中的图像传感器拍摄的图像获得的关于手势的信息可能是不充分的。例如，当手在可穿戴扩展现实装置的图像传感器的视场之外时，或者当手(或者手的一部分，诸如手指或者手指尖)在视场中被遮挡(例如，被另一对象或者被手的其它部分遮挡)时，对手执行的动作或者手势的识别可能是有挑战性的。因此，需要用来自其它传感器(例如不同类型的传感器或位于别处的传感器)的数据来增强图像。
在一些实施方式中，公开了一种系统、方法和非暂时性计算机可读介质，该系统、方法和非暂时性计算机可读介质被配置成与键盘和可穿戴扩展现实装置组合而一起使用，以便控制虚拟显示器(或任何其他类型的虚拟内容，例如扩展现实环境中的虚拟内容)。非暂时性计算机可读介质可包含可由至少一个处理器执行以执行操作的指令。如上所述，一个或多个输入设备可以被配置为允许一个或更多个用户输入信息。例如，在一些实施方式中，一个或更多个键盘可以用作一个或更多个用户输入设备，它们可以被配置为允许一个或更多个用户输入信息。作为另一示例，在一些实施方式中，键盘形式的集成计算接口设备可被配置为允许一个或更多个用户输入信息。键盘可以允许用户使用例如与键盘相关联的一个或更多个键来输入文本和/或字母数字字符。
作为示例，图33示出了根据本公开的实施方式的键盘和可穿戴扩展现实装置的组合以控制虚拟显示器的示例。在一些实施方式中，虚拟显示器3310可以包括由可穿戴扩展现实装置3312呈现给用户的虚拟显示屏。在一些实施方式中，键盘3311可以是物理键盘。在其他示例中，键盘3311可以是由可穿戴扩展现实装置3312呈现给用户的虚拟键盘。键盘3311可以与虚拟显示器3310分离。在一些实施方式中，可穿戴扩展现实装置3312可以包括一副智能眼镜、头戴式显示器或在此讨论的可穿戴扩展现实装置的任何其他实现方式。
一些实施方式可以涉及从与可穿戴扩展现实装置相关联的第一手位置传感器接收表示第一手移动的第一信号。手位置传感器可以包括任何形式的检测器，其被配置为确定人手的布置、位置、姿势、安排、取向、移动或任何其他物理特性的任何形式的检测器。传感器可以输出位置信息，例如坐标或其它位置相关的测量值或数据。例如，在一些实施方式中，传感器可以检测特定地点、位置或从一位置的位移。在一些实施方式中，传感器可以检测手在物理空间中的位置。例如，传感器可以提供相对于预定参考系的坐标位置。作为另一示例，传感器可提供手相对于预定参考系的角位置。手位置传感器可以位于可穿戴扩展现实装置上。例如，手位置传感器可以位于可穿戴扩展现实装置上。例如，传感器可以位于一副智能眼镜的边缘上。在一些实施方式中，传感器可以位于该副智能眼镜的镜脚(temple)上。在一些实施方式中，传感器可以位于该副智能眼镜的镜片上。作为另一个例子，手位置传感器可以位于键盘上。在一些实施方式中，传感器可以位于与键盘相关联的一个或更多个键上。在一些实施方式中，传感器可以位于键盘的壳体中。在一些实施方式中，传感器可以位于键盘的一侧。
在一些实施方式中，信号(例如第一信号)可以表示手移动。手移动可以指用户手的一个或更多个部分的移动，例如，一个或更多个手指的移动。例如，当用户使用键盘键入或输入信息时，手移动可以包括用户手指的位置和/或姿势的改变。在一些实施方式中，位置的改变可以发生在用户的手指与键盘的键交互时。在一些实施方式中，位置和/或姿势的改变可以发生在用户的手指与键盘的触控板交互时。在一些实施方式中，位置和/或姿势的改变可以对应于用户的手指与虚拟对象(例如虚拟控制元件)、位于表面(例如键盘所放置的表面)上的虚拟对象、位于空中的虚拟对象等交互。在一些实施方式中，位置和/或姿势的改变可以对应于用户的姿势。作为另一示例，手移动可包括用户手腕的运动，诸如用户的手的上下或左右运动或用户手腕的滚动运动。还可以设想，手移动可以包括用户前臂的邻近用户手腕的部分的运动。还可以设想，手移动还可以包括由用户用一个或更多个手指做出的一个或更多个手势。例如，手势可以包括将一个或更多个手指放置在触控板(或任何其它表面)上并水平或垂直滑动所述一个或更多个手指以滚动、将两个或更多个手指放置在触控板上并捏住以放大或缩小、在表面上轻敲一个或更多个手指、使用一个或更多个手指按下键盘的键，或在使用一个或更多个手指按下键的同时在表面上轻敲一个或更多个手指。
在一些实施方式中，可以从与可穿戴扩展现实装置相关联的第一传感器接收表示手移动的第一信号。例如，可以从与智能眼镜相关联的手位置传感器接收第一信号。在这样的示例中，手位置传感器可以包括例如图像传感器、相机、深度传感器、雷达、激光雷达、声纳或其它类型的位置传感器。在一些实施方式中，手位置传感器可以包括相机。相机可以拍摄用户的手移动的一系列图像。这些手移动可以包括将使用者的手定位在不同的位置或处于不同的组合。用户的手可以包括一个或更多个手指和/或用户的手腕。手位置传感器可基于相机图像来检测例如一个或更多个手指或手腕的地点或位置的变化。相机可以生成表示用户手的一个或更多个部分的地点或位置随时间变化的信号。在其它示例中，相机可结合处理器生成信号。在一些实施方式中，手位置传感器可以包括图像传感器。图像传感器可以被配置为拍摄一个或更多个图像。可使用姿势识别算法、姿势估计算法或经训练的机器学习模型来分析由相机或图像传感器拍摄的一个或更多个图像以确定手相关数据。手相关数据可以包括手移动、手位置或手姿势。从手位置传感器接收到的第一信号可以表示第一手移动，可以表示手位置数据，可以表示手身份数据，或者可以表示手姿势数据。
作为示例，图34示出了与可穿戴扩展现实装置相关联的第一手位置传感器。例如，如图34所示，可穿戴扩展现实装置3410可以包括智能眼镜。可穿戴扩展现实装置3410可以包含第一手位置传感器3411。第一手位置传感器3411可以位于可穿戴扩展现实装置3410上的任何地方。在一些实施方式中，手位置传感器可以位于镜脚上。在一些实施方式中，手位置传感器可以位于镜片上。在一些实施方式中，手位置传感器可以位于鼻中部(bridge)上。在一些实施方式中，手位置传感器可以位于边缘上。可以从第一手位置传感器3411接收信号。信号可以表示来自用户的手3412的第一手移动。在另一示例中，信号可表示用户的手3412的姿势。在又一示例中，信号可表示用户的手3412的至少一部分的位置。
在一些实施方式中，第一手移动可以包括与无反馈对象的交互。在一些实施方式中，一个或更多个手移动(例如，第一手移动、第二手移动)可以包括与无反馈对象的一个或更多个交互。反馈对象可以包括向用户提供响应的对象。由反馈对象提供的响应的类型可以包括音频反馈、触觉反馈、视觉反馈或其它响应。在一些实施方式中，可以通过音频输出设备、文本输出设备、视觉输出设备或其他设备中的一个或更多个来提供反馈。例如，可以通过一个或更多个音频扬声器、耳机和/或能够产生声音的其他设备来提供音频反馈。例如，可以通过振动、运动、摇动和/或其它物理知觉来提供触觉反馈。视觉反馈可以经由显示屏、LED指示器、增强现实显示系统和/或能够生成文本或图形内容的视觉显示器的以一个或更多个显示器的形式提供视觉反馈。与反馈对象相反，当用户使用无反馈对象时，无反馈对象可以不向用户提供响应。无反馈对象可以包括例如可以在由可穿戴扩展现实装置投影的虚拟屏幕上书写的书写工具(例如笔)或指尖。无反馈对象的其它示例包括非电子指点器(pointer)、家具和无生命的非电子对象。反馈对象的部分可以构成无反馈对象。例如，反馈对象具有不提供反馈的部分，并且这些部分可以被认为是无反馈的。用户可以通过用用户的手触摸无反馈对象来与该对象交互。例如，用户可以用用户的手指触摸可穿戴扩展现实装置，并且可穿戴扩展现实装置可以不向用户提供响应。在一些实施方式中，无反馈对象可以是或包括未被配置成响应于交互而产生电信号的对象(或对象的任何部分)。在一些实施方式中，无反馈对象可以是或包括非反应性对象(或对象的任何非反应性部分或非反应性表面)。
手移动可以包括包含与反馈组件的交互的动作。然而，可以设想，手移动可以包括除了与反馈组件的交互之外的动作。包括与反馈组件的交互的动作可以包括用户手的一个或更多个手指向下按压键盘的一个或多个键。与反馈组件的交互还可以包括例如用户的手滚动或捏住键盘的触摸板。与反馈组件的交互之外的动作可以包括例如用户不与键盘接合。与反馈组件的交互之外的动作还可以包括例如用户不触摸物理表面。例如，与反馈组件交互之外的动作可以包括用户与位于扩展现实环境中的空中的虚拟内容(诸如虚拟显示器)交互。作为另一示例，与反馈组件的交互之外的动作可以包括在可穿戴扩展现实装置的视场之外的手移动。作为另一示例，与反馈组件的交互可包括用户的手在诸如桌子或桌子的顶表面等物理表面上点击或拖动手指。
一些实施方式可以涉及从第二手位置传感器接收表示第二手移动的第二信号，其中，第二手移动包括与反馈部件的交互之外的动作。第二手位置传感器可以具有与第一手位置传感器类似的结构和物理特性，因此前面描述的细节不再完全重复。第二手位置传感器也可以是如上所述的图像传感器或接近传感器。第二手位置传感器可以位于键盘上。该传感器可以位于与键盘相关联的一个或更多个键(例如，空格键和/或功能键)上和/或轨迹板上。该传感器可以位于键盘的任一侧和/或键盘的顶部和/或底部。
还可以设想，由第一或第二手姿势传感器产生的一个或更多个信号可以表示手位置数据、手身份数据或手姿势数据。在其他示例中，由第一或第二手位置传感器生成的一个或更多个信号可以表示手移动数据。手位置数据可以表示用户手的相对位置。例如，手位置数据可以表示相对于空间中的特定点测量的用户手的位移。例如，与手移动相关联的数字信号可以表示用户的手相对于键盘之间的距离。另外地或可选地，手位置数据可以表示用户手的绝对位置。例如，可以使用一组特定的坐标位置来指定手位置数据。手身份数据可包括与用户手的一部分相关联的信息。例如，手身份数据可包括位置、速度、加速度或指示用户手指正在执行动作的其它信息。在另一示例中，手身份数据可包括位置、速度、加速度或指示用户手腕正在执行动作的其它信息。在一些示例中，手身份数据可用于确定手是否是可穿戴扩展现实装置的用户的手。作为另一示例，手身份数据可用于确定手不是可穿戴扩展现实装置的用户的手。手姿势数据可以表示用户用一个或更多个手指做出的手势。例如，由第一或第二手位置传感器生成的一个或更多个数字信号可以表示由用户做出的一个或更多个手势。这种手势可以包括例如滚动、捏、轻敲和/或使用一个或更多个手指按压，和/或涉及用户的一个或更多个手指、手腕和/或前臂的运动的其他组合。
在一些实施方式中，可以从与键盘相关联的第二传感器接收表示手移动的第二信号。例如，物理键盘可以包括被配置为检测用户的手的一个或更多个部分在键盘上的移动的传感器(红外接近传感器等)。在一些实施方式中，第二手位置传感器可以包括接近传感器，该接近传感器被配置成当用户的手悬停在键盘上时确定手的一个或更多个部分的位置。来自这种传感器的输入可用于提供键盘附近的一个或更多个手势的视觉指示，例如指示用户可按下特定键或按下特定键组中的一个或更多个键的可能性的手势。例如，可以在屏幕上可视地提供键盘的描绘。还可以通过可穿戴扩展现实装置来示出键盘的描绘。可视指示可以在键盘的描绘上显示。例如，一个可视指示可用于指示对键或一组键的按压，而另一个可视指示可用于指示用户意图按压特定键的可能性，或指示用户意图按压特定按键组中的一个或多个按键的可能性。
作为示例，图35示出了根据本公开的一些实施方式的与键盘3510相关联的第二手位置传感器的示例，其中第二信号表示第二手移动。键盘3510可包括第二手位置传感器3511。可以从第二手位置传感器3511接收表示来自用户的手3512的手移动的信号。
在一些实施方式中，键盘可以位于一表面上，并且当位于一表面上时，第二手移动可以包括与该表面的交互。在一些实施方式中，该表面可以是书桌的顶表面。在一些实施方式中，该表面可以是桌子的顶表面。在一些实施方式中，该表面可以是地板。例如，虚拟控制器或窗口小部件可以例如通过可穿戴扩展现实装置显示在表面上。虚拟控制器可以包括例如音量条、亮度调节器，或可以允许用户控制虚拟显示器(或任何其他类型的虚拟内容，例如扩展现实环境中的虚拟内容)或可穿戴扩展现实装置的特性的任何其他控件。可以分析第二信号以确定手是否正在触摸表面。响应于确定手正在触摸表面，可以执行动作。动作可包括控制与虚拟显示器(或与任何其它类型的虚拟内容，例如与扩展现实环境中的虚拟内容)相关联的一个或更多个特性(例如，亮度、音量)。在一些实施方式中，键盘可以包括特定表面，该特定表面可以被配置成当键盘被放置在第一表面上时基本上垂直于该第一表面，并且第二手位置传感器可以被包括在该特定表面中。在一些实施方式中，键盘可以包括被配置为基本上垂直于第一表面的至少两个表面，所述至少两个表面可以包括较靠近空格键的表面和较远离空格键的表面，并且特定表面可以是较远离空格键的表面。第二手移动可以包括与任一表面进行的一个或更多个交互。第二手位置传感器可以包括图像传感器，并且该图像传感器的视场可以包括该表面的至少一部分，并且因此该处理器可以从该传感器接收表示任一表面上的手移动的信号。
在一些实施方式中，手位置传感器中的至少一个可以是图像传感器。术语“图像传感器”被本领域技术人员认识，并且指的是被配置为拍摄图像、图像序列、视频等的任何设备。图像传感器可以包括将光输入转换成图像的传感器，其中，光输入可以是可见光(如在相机中)、无线电波、微波、太赫兹波、紫外光、红外光、x射线、γ射线和/或任何其他类型的电磁辐射。图像传感器可以包括2D和3D传感器。图像传感器技术的示例可以包括：CCD、CMOS或NMOS。3D传感器可以使用不同技术来实现，包括：立体相机、主动立体相机、飞行时间相机、结构光相机、雷达、距离图像相机，以及能够生成表示三维对象或场景的显示的其他技术。第一信号可以包括使用一个或更多个图像传感器拍摄的一个或更多个图像形式的图像数据。可以使用机器学习模型来分析所述一个或更多个图像，所述机器学习模型是使用训练示例来训练的，以确定手相关数据(诸如手移动数据、手位置数据、手姿势数据、手表面触摸状态数据和其他数据)。这种训练示例可以包括样本图像以及指示特定手位置、手姿势、手表面触摸状态或其它数据的相应的手相关数据。
在一些实施方式中，手位置传感器中的至少一个可以是接近传感器。术语“接近传感器”可以包括被配置成检测对象的存在而不与该对象物理接触的任何装置。接近传感器可以使用声音、光、红外辐射(IR)或电磁场来检测目标。
在一些实施方式中，一个或更多个位置传感器(例如，手位置传感器)可以生成一个或更多个数字信号。数字信号可以包括一个、两个或任何数量的信号(例如，第一信号、第二信号)。因此，例如，第一手位置传感器可以被配置为生成第一信号，该第一信号可以是数字信号。在一些实施方式中，传感器可以由一个、两个或任何数量的传感器(例如，第一传感器、第二传感器)组成。
在一些实施方式中，第二手位置传感器的类型不同于第一手位置传感器的类型。如上所述，可以有许多不同类型的手位置传感器。可以设想，在一些实施方式中，不同类型的手位置传感器可以与一些公开的实施方式的不同部件相关联。可以选择不同类型的手位置传感器，使得传感器可以提供不同类型的信号。例如，第一手位置传感器可以是图像传感器，而第二手位置传感器可以是接近传感器。第一手位置传感器可以包括图像传感器，并且可以被配置为生成表示手身份数据的信号。然而，第二手位置传感器可以包括接近传感器，该接近传感器被配置成生成表示手位置数据的信号。作为另一个例子，第一手位置传感器可以是接近传感器，而第二手位置传感器可以是图像传感器。在一些实施方式中，第一手位置传感器和第二手位置传感器可以是相同类型的。例如，第一手位置传感器和第二手位置传感器都可以包括图像传感器。作为另一个例子，第一手位置传感器和第二手位置传感器都可以包括接近传感器。
图36示出了第二手位置传感器的类型不同于第一手位置传感器的类型的示例性配置。例如，如图36所示，可穿戴扩展现实装置3613可以包括一副智能眼镜。可穿戴扩展现实装置3613可以包含可以是相机的第一手位置传感器3614。同样如图36所示，键盘3610可以包含可以是接近传感器的第二手位置传感器3611，其可以不同于第一手位置传感器3614。第二手位置传感器3611可以生成表示来自用户的手3612的第二手移动的信号。
在一些实施方式中，键盘可以包括关联的输入区域，包括触摸板和按键，并且其中，操作还可以包括检测输入区域之外的区域中(例如，在不包括按键、触摸板、轨迹板、操纵杆或其他形式的触摸传感器的区域中)的第二手移动。键盘可以被配置为从输入区域和/或从第一手位置传感器和第二手位置传感器接收输入。键盘可以包括许多不同的区域。在一些实施方式中，键盘可以包括输入区域中的一个或更多个键，例如包括诸如QWERTY、Dvorak的标准键盘或任何其它类型的键盘布局。键盘可以包括输入区域中的附加键。例如，一个或更多个附加键可以包括数字输入键或具有数学符号的键。在一些实施方式中，输入区域还可以包括指纹读取器。在一些实施方式中，输入区域可以包括轨迹板和/或触摸板。用户可以执行在与键盘相关联的输入区域之外的手移动。例如，用户可以执行与输入区域不相关联的手移动(例如，在不包括键、触摸板、触控板、操纵杆或其他形式的触摸传感器的区域中)。作为一个示例，用户可以触摸键盘的非反应性表面或键盘环境中的非反应性表面(诸如键盘被放置在的非反应性表面)。在另一示例中，用户的手移动可以发生在不靠近键盘的任何部分的区域中。
作为示例，图37示出了包括相关联的输入区域的键盘的示例，该输入区域包括触摸板和键。例如，如图37所示，键盘3710可以包括输入区域，该输入区域包括键和触摸板3711。键盘3710可以被配置成接收来自一个或更多个键和/或触摸板3711的输入。在一些实施方式中，键盘3710可以包括第二手位置传感器3712。第二手位置传感器可以生成表示用户的手3713的第二手移动的信号。如图37所示，用户的手3713可以产生在输入区域之外的区域中的手移动(不涉及键和/或触摸板3711)。例如，手3713可以在不触摸键盘3710的任何部分的情况下做出手势。
一些实施方式可以涉及基于第一信号和第二信号来控制虚拟显示器(或任何其他类型的虚拟内容，例如扩展现实环境中的虚拟内容)。如本公开中所使用的，控制虚拟显示器可以包括改变虚拟显示器的外观或内容。例如，至少一个处理器可以通过调整一个或多个显示设置来控制虚拟显示器。调整一个或更多个显示设置可以包括例如调整亮度、色温、声音、窗口大小、字体、分辨率、像素大小、位置、方向等。改变虚拟显示器的外观或内容可以包括例如删除或添加新窗口、在屏幕上或屏幕外移动窗口，或者添加元件或从显示器删除元件。在一些实施方式中，可以基于第一传感器信号和/或第二信号来控制虚拟显示器。处理器可以从例如与键盘或可穿戴扩展现实装置相关联的一个或多个传感器接收第一信号和/或第二信号。基于所接收的信号，处理器可控制虚拟显示器(或任何其它类型的虚拟内容，例如控制扩展现实环境中的虚拟内容)。例如，处理器可以确定表示手移动的信号包括用户试图在虚拟显示器上进行放大。处理器可以基于用户的手势来确定手移动表示缩放运动。处理器可以通过基于表示手移动的信号在窗口上进行放大来控制虚拟显示。
一些实施方式可以包括在与第一手移动或第二手移动中的至少一者相关联的确定性水平高于阈值时，基于第一信号和第二信号来控制虚拟显示器。确定性水平可以指确定用户的手以某种方式移动的概率或置信度。在一些实施方式中，确定性水平可以基于用户的手的一些或全部部分从初始位置移动的距离或角度的大小。例如，传感器可以被配置成仅在手移动的幅度(例如，手移动的距离或角度)大于阈值幅度时才检测手移动。例如，当用户的手的位置改变1mm、5mm、10mm或任何其它期望的长度单位时，传感器可以检测到手的移动。作为另一示例，当用户的手旋转1°、5°、10°或任何其它所需角度时，传感器可检测到手移动。当传感器确定手移动低于阈值幅度时，传感器可以不生成信号。当手移动超过阈值幅度(例如，1mm、5mm、10mm或1°、5°、10°)时，传感器可以生成表示手移动的信号并将其发送到处理器。
一些实施方式可以包括分析第二信号以识别与低环境移动相关联的第二信号的第一部分和与高环境移动相关联的第二信号的第二部分。在一示例中，环境移动可以是或包括手之外(或除了用户的手之外)的对象的移动。在一些示例中，可以使用训练示例来训练机器学习模型以识别信号的低和高环境移动。这种训练示例的示例可以包括信号的样本部分，以及指示该样本部分是对应于低环境移动还是对应于高环境移动的标签。训练的机器学习模型可用于分析第二信号并识别第二信号的与低环境移动相关联的第一部分和第二信号的与高环境移动相关联的第二部分。在一些示例中，可以计算第二信号的一部分的熵，并且可以将所计算的第二信号的该部分的熵与所选择的阈值进行比较，以确定第二信号的该部分是对应于低环境移动还是对应于高环境移动。在一个示例中，可基于对应于第二信号的所述部分的持续时间来选择选定阈值。在另一示例中，可基于手与对应于第二信号的该部分的第二手位置传感器的距离来选择所选阈值。在一些示例中，可以基于第一信号、第二信号以及第二信号的第一部分和第二部分的标识来控制虚拟显示器(或任何其他类型的虚拟内容，例如扩展现实环境中的虚拟内容)。例如，可以基于第一信号和第二信号的第一部分来控制虚拟显示器(或任何其他类型的虚拟内容，例如扩展现实环境中的虚拟内容)，而不管第二信号的第二部分如何。在另一示例中，可以将不同的权重指派给第二信号的第一部分和第二部分，并且对虚拟显示器的控制可以是基于第一信号和第二信号的两个部分的加权函数的。在一些示例中，可以基于与每个部分相关联的环境移动量来选择权重。
一些实施方式还可以包括：基于第一信号和第二信号来确定手的至少一部分的三维位置；以及基于所确定的手的至少一部分的三维位置来控制虚拟显示器(或任何其他类型的虚拟内容，例如控制扩展现实环境中的虚拟内容)。三维位置可以指相对于一组坐标轴的坐标位置。例如，处理器可以使用关于一组笛卡尔坐标轴的三个坐标值(即x，y，z)来确定用户的手的一部分的位置和/或取向。作为另一示例，处理器可以使用包括半径和彼此垂直的两个不同平面的极坐标值来确定用户的手的一部分的位置和/或取向。在一些实施方式中，三维位置可以包括用户的手指、手腕或手的任何其他部分的位置。处理器可以基于用户的手移动来接收信号，以确定用户的手的至少一部分相对于参考位置或相对于一组预定坐标轴位于何处。处理器可以确定手的哪个部分正在执行特定运动。例如，处理器可以确定手指、手腕或用户手的任何其他部分是否正在执行特定运动。处理器可基于特定运动来控制虚拟显示器(或任何其它种类的虚拟内容，例如控制扩展现实环境中的虚拟内容)。例如，处理器可以确定拇指和食指捏在一起以在运动中执行缩放。处理器可以基于放大运动在虚拟显示器上进行放大。
在一些实施方式中，基于第一信号和第二信号控制虚拟显示器可以包括基于第一信号来控制虚拟显示器的第一部分和基于第二信号来控制虚拟显示器的第二部分。虚拟显示器可以包括例如一个或更多个对象、文本显示、图形显示、窗口或图标。处理器可以被配置为基于从第一传感器接收到的信号来控制这些项目中的一个或更多个(例如，虚拟显示器的第一部分)。处理器还可以被配置为基于从第二传感器接收到的信号来控制其他项目(例如，虚拟显示器的第二部分)。在一些实施方式中，第一信号和第二信号可以表示与用户的手相关联的不同的手移动或特征。例如，至少一个处理器可以基于第一信号来确定手是用户的手。至少一个处理器还可基于第二信号来确定用户的手正在触摸表面。作为另一示例，至少一个处理器可基于所述第二信号来确定用户的手正在执行某一手势。例如，基于这些确定，至少一个处理器可以基于第一信号来控制虚拟显示器的第一部分，并且基于第二信号来控制虚拟显示器的第二部分。例如，至少一个处理器可以确定手是用户的手，并且可以给予手与虚拟显示器交互的许可。例如，至少一个处理器可以基于第一信号来选择一窗口作为虚拟显示器的第一部分。处理器可以基于用户的手触摸表示一窗口的表面来选择该窗口作为第一部分。处理器可基于第二信号来调整作为虚拟显示器的第二部分的窗口的大小。处理器可以基于用户的手执行表示放大或缩小运动的手势来调整作为第二部分的窗口的大小。作为另一示例，由可穿戴扩展现实装置检测到的手移动可以控制针对窗口小部件的输入。由键盘检测到的手移动可以控制针对另一个窗口小部件的输入。在一些实施方式中，第一信号和第二信号可以表示相同的手移动。例如，至少一个处理器可以基于第一信号来确定用户的手正在触摸表面。至少一个处理器可进一步基于所述第二信号来确定用户的手正在触摸同一表面。基于这些确定，例如，至少一个处理器可以通过基于第一信号和第二信号选择窗口来控制虚拟显示器的第一部分和第二部分。
在一些实施方式中，第一部分和第二部分部分重叠。因此，例如，可以基于第一信号和第二信号控制的虚拟显示器的两个部分中的每一个的至少一些部分可以占据虚拟显示器上的相同位置。例如，可以分析第一信号和第二信号以确定用户的手正在触摸表面。处理器可以确定虚拟显示器的第一部分和第二部分与虚拟显示器中的窗口相关。第一部分和第二部分可以包括虚拟显示器中的相同窗口。作为另一示例，处理器可以确定虚拟显示器的第一部分和第二部分涉及两个窗口。两个窗口可以包括部分重叠的部分。例如，一个窗口的一部分可以在另一个窗口的一部分之上。
在一些实施方式中，第一部分和第二部分不重叠。例如，可以分析第一信号以确定用户的手正在触摸表面。可以分析第二信号以确定用户的手正在触摸键盘的键。处理器可基于第一信号来控制虚拟显示器的第一部分。例如，处理器可以选择一窗口作为虚拟显示器的第一部分。虚拟显示器的所选窗口之外的一个或更多个部分可以形成虚拟显示器的第二部分。处理器可基于第二信号来控制虚拟显示器的第二部分。例如，处理器可以响应于由用户的手选择的一个或更多个键，在基于第一信号选择的虚拟显示器的窗口之外的第二部分中显示文本。
在一些实施方式中，当第一手移动和第二手移动中的至少一个被第二手位置传感器检测到并且未被第一手位置传感器检测到时，这些操作可以还包括仅基于第二信号来控制虚拟显示器(或任何其他种类的虚拟内容，例如控制扩展现实环境中的虚拟内容)。例如，第一手移动或第二手移动中的至少一个可以被第二手位置传感器检测到，但是可以保持不被第一手位置传感器检测到。作为一个示例，当第二手移动在第一手传感器的视场之外时，或者当用户的手的一部分在第一手传感器的视场之外时，这可能发生。尽管第二手移动可能不能被第一手传感器检测到，但是它们可以被第二手传感器检测到。在此类情况下，至少一个处理器可被配置为仅基于第二信号来控制虚拟显示器。
在一些实施方式中，键盘可包括多个键，并且操作可涉及分析第二信号以确定用户按压多个键中的特定键的意图，并使可穿戴扩展现实装置基于所确定的用户意图来提供表示该特定键的虚拟指示。例如，处理器可以使用第二信号来识别多个键中用户可能想要按下的键。处理器可以基于用户的手与键的接近度来确定用户按压特定键的意图。在另一示例中，处理器可基于用户的手围绕特定键的移动来确定用户按压特定键的意图。基于用户意图，处理器可以向用户提供标记。该标记可以指示用户计划按下多个键中的什么键。该标记可以是视觉指示。可以通过音频、视觉或触觉装置来提供视觉指示。可视指示可以通过标记、符号、图标、字母或图形图像来提供。在另一示例中，可以通过播放声音文件或通过其它音频提示来提供视觉指示。
在一些实施方式中，键盘可以包括多个键，并且操作可以涉及分析第二信号以确定用户按下多个键中的键组中的至少一个键的意图，使得可穿戴扩展现实装置基于所确定的用户意图来提供表示键组的虚拟指示。例如，处理器可能不能基于对从第二传感器接收的第二信号的分析来确定用户想要按下的特定键。在一些示例中，由于用户的手接近多个键，处理器可能无法确定特定键。处理器可以确定用户想要按下按键组中的至少一个按键。处理器可基于某些键的接近度来确定用户意图。在另一示例中，处理器可基于一起使用某些键的可能性来确定用户意图。例如，处理器能够确定用户正在键入的单词，并基于可能一起用于创建所确定单词的字母来确定用户意图。作为另一示例，该键组可以是具有类似功能的键。作为另一示例，该键组可以是位于彼此附近的键。响应于处理器不能确定用户意图，处理器可以向用户显示该键组。显示可以通过视觉指示。可视指示可以通过如上所述的音频、视觉或触觉装置来提供。
在一些实施方式中，当可穿戴扩展现实装置未连接到键盘时，操作还可涉及仅基于第一信号来控制虚拟显示器(或任何其它类型的虚拟内容，例如控制扩展现实环境中的虚拟内容)。例如，可穿戴扩展现实装置可以与键盘分离。可穿戴扩展现实装置可以在物理上或电子上与键盘分离。在没有机械元件(例如电线或电缆或任何其它机械结构)将可穿戴扩展现实装置附接到键盘时，可穿戴扩展现实装置可与键盘物理分离。当可穿戴扩展现实装置与键盘之间没有数据交换或通信时，所述装置可以与键盘电子分离。在一些实施方式中，可穿戴扩展现实装置可以无线连接到键盘。可穿戴扩展现实装置和键盘可以位于不同的区域。当可穿戴扩展现实装置与键盘分离时，用户能够在空间中自由移动。可穿戴扩展现实装置也可以在两个或更多个不同用户之间使用。
一些实施方式还可以包括分析第二信号以确定手正在触摸与虚拟窗口小部件相关联的物理对象的一部分，分析第一信号以确定手是否属于可穿戴扩展现实装置的用户，响应于确定手属于可穿戴扩展现实装置的用户，执行与虚拟窗口小部件相关联的动作，而响应于确定手不属于可穿戴扩展现实装置的用户，放弃执行与虚拟窗口小部件相关联的动作。在使用该系统时，用户可以与物理对象交互。物理对象可以是位于用户周围的物理空间中的物品。物理空间可以包括在用户可及范围内的桌子、椅子、键盘或装置。例如，物理对象可以是笔、指示器、键盘或用户能够持有的任何对象。物理对象可以链接到窗口小部件。窗口小部件可以是设备的接口上的模块(物理的或虚拟的)，其允许用户执行功能。模块可以包括在虚拟显示器上显示的窗口、图标、图像或其它图形对象。处理器可以确定触摸物理对象的手可能属于可穿戴扩展现实装置的用户。当手确实属于用户时，处理器可以基于用户与物理对象的交互来执行动作。该动作可以控制虚拟显示器。例如，当用户的手执行捏住动作时，处理器可以调整窗口小部件的尺寸。当手不属于用户时，即使用户与物理对象交互，处理器也可不执行动作。
一些实施方式还可以涉及分析第二信号以确定手触摸物理对象的位置，并且使用所确定的位置来选择与虚拟窗口小部件相关联的动作。例如，物理对象可以包含与不同动作相关的不同位置。物理对象可以包含对象的顶部、底部、前部、后部、左侧或右侧上的位置。例如，物理对象的顶部可以与删除功能相关联。作为另一示例，物理对象的底部可与添加功能相关联。手位置传感器可以产生表示用户的手触摸物理对象的位置的信号。处理器可以将位置与动作相关联。在一示例中，操作可以响应于第一确定位置来执行动作。在另一示例中，操作可以响应于第二确定位置而放弃执行该操作。
一些实施方式还可以包括确定键盘的取向并基于键盘的取向来调整与虚拟显示器相关联的显示设置。取向可以是物理或虚拟空间中的位置。取向也可以是相对于物理或虚拟空间中的另一对象的空间关系。取向的确定可以基于第一信号、第二信号或来自其它传感器的数据。在一些实施方式中，表示第一手移动的第一信号可以确定键盘的取向。例如，第一信号可以表示用户的手在键盘上打字。第一信号可以基于用户的手所按压的一个或更多个键来确定键盘的取向。在另一个实施方式中，表示第二手移动的第二信号可以确定键盘的取向。例如，第二信号可以表示用户的手在键盘的触控板上滚动。第二信号可以基于触控板在键盘上的位置来确定键盘的取向。例如，触控板可以位于键盘的底部边缘附近。触控板可以附加地或可选地位于键盘的顶部边缘附近。在一些实施方式中，触控板可以附加地或可选地位于键盘的左侧或右侧。在一些实施方式中，可以基于所确定的键盘取向来调整与虚拟显示器相关联的一个或更多个显示设置。例如，处理器可以基于所确定的取向来确定虚拟显示器应当相对于键盘以某种方式取向。例如，当虚拟显示器不在具有键盘的某个位置时，处理器可以将显示器设置上的窗口移动到具有键盘的位置。
在一些实施方式中，可穿戴扩展现实装置可以经由位于最靠近空格键的一侧的连接器选择性地连接到键盘。可穿戴扩展现实装置可以通过连接器连接到键盘或与键盘分离。连接器可以是用于将可穿戴扩展现实装置连接到键盘的任何类型的机械紧固件。在一些实施方式中，连接器可以包括可连接到可穿戴扩展现实装置的可收回电缆。连接器还可以包括刚性电缆。连接器可以放置在键盘的一侧。例如，连接器可以位于键盘的顶部边缘附近、键盘的底部边缘附近、离空格键最远的一侧或键盘的任何其它部分中。连接器可以位于最接近空格键的一侧，以防止与用户的物理空间中的其它项相干扰。当可穿戴扩展现实装置可以经由连接器连接到键盘时，可穿戴扩展现实装置可以被固定到键盘。可穿戴扩展现实装置可能没有与键盘分离的风险。当可穿戴扩展现实装置可连接到键盘时，该装置还可以向键盘发送信号。
作为示例，图38示出了可经由连接器选择性地连接到键盘的可穿戴扩展现实装置。例如，如图38所示，可穿戴扩展现实装置3812可以包括一副智能眼镜。可穿戴扩展现实装置3812可以经由连接器3811选择性地连接到键盘3810。连接器3811可以位于最靠近空格键3813的一侧。
一些公开的实施方式可以包括用于将可移动输入设备与经由可穿戴扩展现实装置投影的虚拟显示器集成的非暂时性计算机可读介质。在一些实施方式中，当用户在使用可穿戴扩展现实装置(例如，智能眼镜)的同时移动可移动输入设备(例如，键盘)时，通过可穿戴扩展现实装置投影的虚拟显示器可以改变以反映可移动输入设备的取向和/或位置的改变。
一些公开的实施方式可以涉及包含用于将可移动输入设备与经由可穿戴扩展现实装置投影的虚拟显示器集成的指令的非暂时性计算机可读介质，该计算机可读介质包含在由至少一个处理器执行时使得所述至少一个处理器执行各种步骤的指令。非暂时性计算机可读介质可以指任何类型的物理存储器，在该物理存储器上可以存储如本文所讨论的可由至少一个处理器读取的信息或数据。示例包含随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、硬盘驱动器、CDROM、DVD、快闪驱动器、磁盘、任何其它光学数据存储媒体、具有孔图案的任何物理介质、PROM、EPROM、FLASH-EPROM或任何其它闪速存储器、NVRAM、高速缓冲存储器、寄存器、任何其它存储器芯片或盒及其联网版本。如在此上下文中所使用的，集成可以包括例如连接、并入，或使用将一件物品与另一件物品组合以使它们成为一个整体的任何其他方法。
可移动输入设备可以包括可允许用户提供一个或更多个输入的任何物理设备，并且其包括可从初始位置移动到替换位置的至少一部分。所公开的可移动输入设备可以被配置为如本文所讨论的那样向计算设备提供数据。提供给计算装置的数据可以是数字格式和/或模拟格式。可移动输入设备的一些示例可包括按钮、键、键盘、计算机鼠标、触摸板、触摸屏、操纵杆或可从其接收输入的另一机构。例如，在一些实施方式中，用户可以通过按压键盘的一个或更多个键，经由可移动输入设备提供一个或更多个输入。作为另一示例，用户可以通过由操纵杆的线性或旋转运动改变操纵杆的位置，经由可移动输入设备提供一个或更多个输入。作为另一示例，用户可通过在触摸触摸屏的同时执行一个或更多个手势(例如，捏、缩放、刷或其它手指移动)来经由可移动输入设备提供一个或更多个输入。
一种可穿戴扩展现实装置可以包括任何类型的设备或系统，所述设备或系统可以由用户佩戴或附着到用户，用于使用户能够感知扩展现实环境和/或与扩展现实环境交互。扩展现实装置可以使用户能够通过一个或更多个感觉模态来感知扩展现实环境和/或与扩展现实环境交互。此类感觉模特的一些非限制性示例可包括视觉、听觉、触觉、体感和嗅觉。扩展现实装置的一个示例是使得用户能够感知虚拟现实环境和/或与虚拟现实环境交互的虚拟现实装置。扩展现实装置的另一示例是增强现实装置，其使得用户能够感知增强现实环境和/或与增强现实环境交互。扩展现实装置的又一示例是混合现实装置，其使得用户能够感知混合现实环境和/或与混合现实环境交互。
根据本公开的一个方面，扩展现实装置可以是可穿戴设备，诸如头戴式设备，例如智能眼镜、智能隐形眼镜、头戴式耳机或由人佩戴的用于向人呈现扩展现实的任何其他设备。可穿戴扩展现实装置的典型组件可以包括以下中的至少一个：立体头戴式显示器、立体头戴式音响系统、头部运动跟踪传感器(例如陀螺仪、加速度计、磁力计、图像传感器、结构化光传感器等)、头戴式投影仪、眼睛跟踪传感器以及下文描述的附加部件。根据本公开的另一个方面，扩展现实装置可以是不可穿戴的扩展现实装置。具体地，不可穿戴的扩展现实装置可以包括多投影环境装置。
如这里所讨论的，虚拟显示器可以指可由扩展现实装置向用户显示的任何类型的数据表示。虚拟显示器可以包括：虚拟对象、不活动的虚拟显示器、被配置为随时间或响应于触发而改变的活动的虚拟显示器、虚拟二维内容、虚拟三维内容、物理环境的一部分或物理对象上的虚拟覆盖层、物理环境或物理对象的虚拟添加、虚拟促销内容、物理对象的虚拟表示、物理环境的虚拟表示、虚拟文档、虚拟人物或人物角色、虚拟计算机屏幕、虚拟窗口小部件、或用于虚拟显示信息的任何其他格式。根据本公开，虚拟显示器可以包括由计算机或处理设备呈现的任何视觉呈现。在一个实施方式中，虚拟显示可以包括虚拟对象，该虚拟对象是由计算机在受限区域中呈现的视觉呈现，并且被配置成表示特定类型的对象(诸如无生命虚拟对象、有生命虚拟对象、虚拟家具、虚拟装饰对象、虚拟窗口小部件或其它虚拟表示)。所呈现的视觉呈现可以改变以反映对象状态的改变或对象的视角的改变，例如，以模仿物理对象外观的改变的方式。在另一个实施方式中，虚拟显示器可以包括被配置为显示信息的虚拟计算机屏幕。在一些示例中，虚拟显示器可以是模仿和/或扩展物理显示屏的功能的虚拟对象。例如，可以在扩展现实环境(诸如混合现实环境、增强现实环境、虚拟现实环境等)中呈现虚拟显示器，例如使用扩展现实装置(诸如可穿戴扩展现实装置)。在一示例中，虚拟显示器可以呈现由常规操作系统产生的内容，该内容同样可以呈现在物理显示器上。在一示例中，当文本内容被键入时，使用键盘(例如，使用物理键盘、使用虚拟键盘等)输入的文本内容可以实时地呈现在虚拟显示器上。在一示例中，光标可以呈现在虚拟显示器上，并且光标可以由指点设备(诸如物理指点设备、虚拟指点设备、计算机鼠标、操纵杆、触摸板、物理触摸控制器等)控制。在一示例中，图形用户界面操作系统的一个或更多个窗口可以呈现在虚拟显示器上。在一示例中，呈现在虚拟显示器上的内容可以是交互式的，即，它可以改变对用户动作的反应。在一示例中，虚拟显示的呈现可以包括屏幕帧的呈现，或者可以不包括屏幕帧的呈现。
一些公开的实施方式可以包括接收与可移动输入设备相关联的运动信号，该运动信号反映可移动输入设备的物理运动。如在本文中所使用的，运动信号可以包括例如表示位置、取向、角度、方向、布置、配置、速度、加速度或相对位置的任何其它度量的变化的一个或更多个值。如在本文中所使用的，物理移动可以指可移动输入设备的位置、高度、方向或旋转的改变。在一些示例中，可移动输入设备(例如，键盘)的运动信号可以由处理器接收，处理器可以反映可移动输入设备的物理运动。例如，处理器可以从存储器、从输出数据的外部设备、从使用传感器(例如，拍摄物理变化的图片的图像传感器)的值，或任何其他类似的分析数据的过程接收反映位置或取向的物理变化的一个或更多个运动信号。物理移动的非限制性示例可包括例如用户将键盘移位一英寸、一英尺、一码或任何其他距离、用户将键盘旋转1°、10°、90°、180°、270°、360°，或任何其他角度，用户按压键盘上的任何键，用户在任何方向上倾斜键盘的任何一侧，或地方、位置、取向或旋转的任何其他改变。例如，可穿戴扩展现实装置(例如，智能眼镜)的处理器可以接收运动信号，运动信号可以包括表示来自键盘的位置或取向的变化的一系列值，反映键盘的一些或全部部分的位置或取向的旋转、位移、平移或任何其它变化。
图45A示出要由至少一个处理器执行的示例性指令集4500，用于将可移动输入设备3902与经由可穿戴扩展现实装置(例如，智能眼镜)投影的虚拟显示器4112集成。在一些实施方式中，操作可以被配置为包括步骤4502：接收与可移动输入设备3902(例如，键盘)相关联的运动信号，所述运动信号反映可移动输入设备的物理运动。例如，可穿戴扩展现实装置的处理器可以从可移动输入设备3902接收运动信号，运动信号可以包括表示位置或取向的变化的一系列值，例如反映可移动输入设备3902旋转特定角度(例如小于30°的角度，大于30°、90°的角度等)，反映可移动输入设备3902的位移等。
根据一些公开的实施方式，可移动输入设备的运动信号可以基于使用与输入设备相关联的至少一个传感器捕获的数据的分析来确定。至少一个传感器可以包括例如检测器、仪器或测量可移动输入设备的物理特性的其他设备。由至少一个传感器测量的物理特性可以包括位置、速度、加速度、电阻的变化，或与可移动输入设备相关联的任何其它物理特性的变化。根据一些实施方式，数据分析可以指中央处理单元(例如，处理器)执行存储的指令序列(例如，程序)，该指令序列从可移动输入设备获取输入，处理输入，并将结果输出到输出设备。
有利地，在一些实施方式中，可穿戴扩展现实装置可以包括一个或更多个传感器。一个或更多个传感器可以包括一个或更多个图像传感器(例如，被配置成拍摄该装置的用户或该用户的环境的图像和/或视频)、一个或更多个运动传感器(例如，加速度计、陀螺仪、磁力计或任何其他类似的传感器)、一个或更多个定位传感器(例如，GPS、室外定位传感器、室内定位传感器或任何其他类似的传感器)、一个或更多个温度传感器(例如，被配置成测量该装置和/或环境的至少一部分的温度)、一个或更多个接触传感器、一个或更多个接近传感器(例如，被配置为检测该装置当前是否被佩戴)、一个或更多个电阻抗传感器(例如，被配置为测量该用户的电阻抗)、一个或更多个眼睛跟踪传感器(例如，凝视检测器、光跟踪器、电位跟踪器(例如，眼电图(EOG)传感器)、基于视频的眼睛跟踪器、红外/近红外传感器、无源光传感器或能够确定人在哪里看着或注视的任何其他技术)。
在一些实施方式中，与可移动输入设备相关联的运动信号可以基于对从运动传感器捕获的数据的分析。例如，视觉或图像传感器可以拍摄可移动输入设备的多个图像。与视觉或图像传感器相关联的处理器可以被配置为分析图像并确定可移动输入设备的一些或全部部分的位置或取向已经改变。
根据一些公开的实施方式，可以基于对可移动输入设备的图像的分析来确定与可移动输入设备相关联的运动信号。如上所述，图像可以指帧、像素组、图形、插图，照片、图片、表示任何前述内容的数字数据，或有生命或无生命的对象、人或物的外部形式的其它类似表示。可移动输入设备的图像的一些非限制性示例可包含从可移动输入设备的图像传感器输出的数据、从图像传感器数据导出的数据、可移动输入设备的图片(例如，一个或更多个帧)或可移动输入设备的多个数字表示。例如，可移动输入设备的一个或更多个图像的分析(例如，数据分析)可用于确定与可移动输入设备相关联的运动信号，例如使用自我运动算法、使用视觉对象跟踪算法等。图像传感器可以拍摄可移动输入设备的一个或更多个图像，其中，每个图像包含通过对像素进行计数而收集的数据。因此，可以将一个图像与另一个图像进行比较，以查看两个或更多个图像包含哪里的像素以及包含多少像素，从而确定可以用于确定与可移动输入设备相关联的运动信号的差异。一个或更多个图像的序列的这种比较可用于确定例如可移动输入设备的位置、旋转、取向或其它类似物理移动的变化。有利地，在一些实施方式中，所述分析可以考虑图像是键盘还是另一可移动输入设备的照片或图片来确定运动信号。例如，可以使用包括在可穿戴扩展现实装置中的至少一个图像传感器来拍摄可移动输入设备的图像。在一示例中，被配置为使得能够在图像中检测可移动输入设备的可视标签可以被附着到可移动输入设备。在一示例中，可移动输入设备可以包括被配置为发射光的光发射器，所述光被配置为使得能够检测可移动输入设备。一个或更多个光发射器可以被配置成发射可见光、红外光、近红外光、紫外光或任何波长或频率的光或电磁波。
作为示例，图40描绘了在时间、位置和取向方面与图39中的场景3900不同的场景4000，场景4000具有可移动输入设备4002(可选地具有至少一个传感器4008)和第二虚拟显示器4010。在一示例中，可移动输入设备4002可以被放置在表面4006上或附近。在一示例中，可移动输入设备4002可以是在不同时间点与可移动输入设备3902相同的输入设备，第一虚拟显示器3904可以是在不同时间点与第二虚拟显示器4010相同的虚拟显示器，和/或表面3906可以是在不同时间点与表面4006相同的表面。可以配置一些实施方式，其中，基于对可移动输入设备4002的图像的分析，确定与可移动输入设备4002(例如，键盘)相关联的运动信号。例如，在可移动输入设备4002外部的成像传感器(诸如包括在呈现虚拟显示器4010的可穿戴扩展现实装置中的图像传感器、包括在表面4006中或安装到表面4006的图像传感器、在可移动输入设备4002的环境中的图像传感器等)可以在时间、取向和位置处拍摄可移动输入设备3902的图像，并且在不同的时间、取向和位置拍摄可移动输入设备4002的不同图像，并且处理器可以例如使用视觉对象跟踪算法来比较两个图像中的差异以确定运动信号。有利地，可穿戴扩展现实装置(例如，智能眼镜)可以包括传感器(例如，成像传感器)，其可以在一时间、取向和位置拍摄可移动输入设备3902的一个或更多个图像，并且在不同的时间、取向和位置拍摄可移动输入设备4002的不同的一个或更多个图像，并且处理器可以例如使用视觉对象跟踪算法比较两个图像中的差异以确定运动信号。在其他示例中，至少一个传感器4008可以是被配置成在不同时间点从可移动输入设备3902的环境拍摄图像的成像传感器，并且可以例如使用自我运动算法来分析所拍摄的图像以确定运动信号。
视觉或图像传感器可以生成表示可移动输入设备的一个或更多个部分的位置变化的信号。作为另一示例，至少一个传感器4008可以是加速度计，并且可以分析使用加速度计捕获的数据以确定可移动输入设备的一个或更多个部分的速度或加速度。与加速度计相关联的处理器可以被配置为分析所测量的速度和/或加速度，并且确定与可移动输入设备的一个或更多个部分相关联的位置和/或取向的变化。加速度计可以生成表示可移动输入设备的一个或更多个部分的速度或加速度的变化的信号。在另一示例中，一个或更多个传感器可以包括如发光二极管的光源和/或如光电二极管阵列的光检测器，以检测相对于表面的移动。与光传感器相关联的处理器可以被配置为使用光束来检测与可移动输入设备的一个或更多个部分相关联的对象的存在或不存在，和/或确定可移动输入设备的一个或更多个部分的位置和/或取向。光传感器可以从其发光元件发射光束(例如，可见光或红外线)，并且反射型光电传感器可以用于检测从目标反射的光束。例如，光源可以是光学鼠标传感器(也称为非机械跟踪引擎)的对准其上放置了可移动输入设备的表面(例如表面)的部分，并且可以相对于该表面来测量可移动输入设备的运动。
作为示例，图39示出了包括可移动输入设备3902、第一虚拟显示器3904和表面3906的示例场景3900。可移动输入设备3902可以包括与可移动输入设备3902相关联的至少一个传感器3908。可移动输入设备3902(例如，键盘)的运动信号可以基于使用与可移动输入设备3902相关联的至少一个传感器3908(例如，运动传感器、图像传感器、加速度计、陀螺仪、光学鼠标传感器等)捕获的数据的分析来确定。
根据一些公开的实施方式，运动信号可以指示可移动输入设备的倾斜移动、滚动移动和横向移动中的至少一者。作为示例，运动信号可以表示可移动输入设备相对于水平、垂直、对角线或其它平面的倾斜、滚动或横向移动或角度变化。如在本公开中所使用的，倾斜可以指通过角度、倾斜、歪斜(slant)或其他移动将物理位置或方位改变为倾斜位置或方位的动作。如在本公开中所使用的，滚动可以指回转、旋转、自旋或通过在轴上来回翻转而在特定方向上的另一类型的运动。如在本公开中所使用的，横向可指在单个平面中的前后、侧向、斜向(sideway)或任何其它类型的运动。例如，可移动输入设备的运动信号可以由处理器通过接收反映位置、取向、角度的物理变化或可移动输入设备的相对位置的任何其它确定的值来接收。举例来说，当运动信号表示反映可移动输入设备的位置与水平、垂直、对角线或其它平面相比改变1°、5°、10°、-1°、-5°、-10°或任何其它角度的值时，可移动输入设备可倾斜。举例来说，当运动信号表示反映可移动输入设备与一固定点(旋转点)相比围绕所述旋转点改变1°、5°、10°、-1°、-5°、-10°或任何其它角度的值时，可移动输入设备可以滚动。
作为示例，图41描绘了具有可移动输入设备4102(可选地具有与可移动输入设备4102相关联的至少一个传感器4108)、虚拟显示器4112和表面4106的场景4100。图41还描绘了可移动输入设备4102(例如，键盘)的移动4114的两个不同的非限制性示例。图3中的场景的左侧部分示出了可移动输入设备4102相对于水平面(其平行于表面4106)以正角度移动4114(例如，倾斜)。图3中的场景的右边部分示出了可移动输入设备4102绕可移动输入设备4102的中心中的旋转点顺时针移动4114(例如，旋转)。另外，可以配置一些实施方式，其中，运动信号可以指示可移动输入设备4102的倾斜移动4114、滚动移动和横向移动中的至少一者。
一些公开的实施方式可以涉及基于所接收的、与可移动输入设备相关联的运动信号来改变虚拟显示器的尺寸。如在本文中所使用的，改变虚拟显示器的尺寸可以包括例如调整、修改或变换虚拟显示器的高度、宽度、表面积或任何其他尺寸。改变虚拟显示器的尺寸可以附加地或可选地包括例如调整、修改或变换虚拟显示器的不同侧面或特征之间的角度关系。在一些实施方式中，改变尺寸可以包括使用相同或不同的比例或缩放因子来修改虚拟显示器的一些或全部尺寸。一些非限制性示例可包括通过将虚拟显示器的高度或宽度增加或减少一个或更多个毫米、一个或更多个英寸、一个或更多个英尺、或一个或更多个任何其他长度单位来改变虚拟显示器的尺寸。其他非限制性示例可包括通过将虚拟显示器的相对比例(例如，二维比例)增大或减小任何类型的比例来改变虚拟显示器的尺寸。例如，改变虚拟显示器的尺寸可以包括当运动信号指示可移动输入设备正在移动通过门口或进入比第一位置或取向小的空间时，基于接收到的、与可移动输入设备相关联的运动信号来减小其高度和宽度。作为另一示例，改变虚拟显示器的尺寸可以包括：当运动信号指示可移动输入设备正在移出门口或进入比第一位置或第一取向(第一位置或第一取向不同于另一位置或取向)更大的空间时，基于所接收的、与可移动输入设备相关联的运动信号来增加其高度和宽度。在一示例中，响应于接收的第一运动信号(例如，对应于大于所选阈值的运动)，可以改变虚拟显示器的尺寸，并且响应于接收的第二运动信号(例如，对应于小于所选阈值的运动)，可以拒绝改变虚拟显示器的尺寸。在另一示例中，改变之后的虚拟显示的尺寸可以被选择为对应于所接收的运动信号的运动的函数(例如，运动幅度的函数、运动方向的函数、运动平滑度的函数等)。
作为示例，图43描绘了具有可移动输入设备4302(例如，键盘，可选地具有与可移动输入设备4302相关联的至少一个传感器4308)的虚拟显示器4312和虚拟显示器4312的尺寸的变化。例如，这些步骤可以被配置成通过基于所接收的、与如图43所描绘的可移动输入设备4302相关联的运动信号来减小虚拟显示器4312的相对比例(例如，二维比例)来改变虚拟显示器4312的尺寸。
一些公开的实施方式可以涉及在第一时间段期间向可穿戴扩展现实装置输出第一显示信号。如在本文中所使用的，输出可以指将信号发送到可穿戴扩展现实装置或任何显示设备。显示信号可以包括例如可以使显示设备以虚拟或数字表示的形式呈现内容的模拟或数字电信号。虚拟或数字表示可以包括例如一个或更多个静止或运动图像、文本、图标、视频或其任意组合。图形显示可以是二维的、三维的、全息的，或者可以包括各种其它类型的视觉特性。所述至少一个处理器可生成一个或更多个模拟或数字信号并将所述信号发送到显示设备以呈现图形显示以供用户观看。在一些实施方式中，显示设备可以包括可穿戴扩展现实装置。例如，所述至少一个处理器可以生成一个或更多个模拟或数字信号，并将所述信号发送到显示设备以呈现电影、表情符号、视频、文本或其任意组合。
在一些实施方式中，第一显示信号可被配置成使可穿戴扩展现实装置以第一取向虚拟地呈现内容。如在本文中所使用的，虚拟呈现内容可以包括例如描绘、描画或呈现可以是计算机生成的、计算机化的、模拟的、数字的或使用软件指令生成的主题、材料或物质。例如，第一取向可以被确定为相对于特定位置和特定方向(例如，表面的、对象的、坐标系的、放置可移动输入设备的表面的、虚拟环境的坐标系的等)的角位置。至少一个处理器可被配置为发送显示信号以使显示设备以第一取向呈现文本、一个或更多个图片、屏幕截图、媒体剪辑或其它文本或图形主题。第一取向可以包括相对于参考轴或平面以任何期望的角度定位所显示的内容。例如，可以显示文本内容，使得文本内容与桌子或地板的表面水平对准，以使用户能够阅读文本。作为另一示例，可以显示图像，使该图像其相对于桌子或地板的水平表面以期望的角度倾斜。在一示例中，显示信号(诸如第一显示信号、第二显示信号等)可包括对应于特定取向(诸如第一取向、第二取向等)的虚拟显示器的描绘，例如图像中的描绘、视频中的描绘等。在这样的示例中，可穿戴扩展现实装置可以呈现包括在显示信号中的描绘。在一示例中，显示信号(诸如第一显示信号、第二显示信号等)可包括对应于特定取向(诸如第一取向、第二取向等)的空间变换。这种空间变换的一些非限制性示例可包括平移变换、旋转变换、反射变换、扩张变换、仿射变换、投影变换等。在这样的示例中，空间变换可以被应用于虚拟显示器的描绘，以获得对应于特定取向的虚拟显示器的变换的描绘，并且可扩展现实装置可以呈现虚拟显示器的变换描绘。在一个示例中，显示信号(例如第一显示信号、第二显示信号等)可包含虚拟显示器的所需取向的指示(例如，角度的指示、虚拟显示器的特定点在扩展现实环境中的位置的指示等)。在这种情况下，期望的取向的指示(诸如第一取向、第二取向等)可用于变换虚拟显示器的描绘以获得对应于期望取向的虚拟显示器的变换的描绘，并且可穿戴扩展现实装置可呈现虚拟显示器的变换描绘。
作为示例，图45A所示的示例性指令集4500可包括步骤4504，其中，处理器在第一时间段期间向可穿戴扩展现实装置(例如，智能眼镜)输出第一显示信号，第一显示信号被配置成使可穿戴扩展现实装置在第一时间段以第一取向虚拟地呈现内容作为第一虚拟显示器3904。
根据一些公开的实施方式，运动信号可以被配置为反映在第一时间段期间可移动输入设备相对于其上放置可移动输入设备的表面的物理运动。表面可以包括例如有生命的或无生命的对象的外部、顶部、侧面、外部、向外或外部部分或最上层。将可移动输入设备放置在表面上可以包括例如将可移动输入设备放下、放置、搁下或定位在表面上。举例来说，可移动输入设备可被配置为被放置在表面上，表情运动信号可被配置为反映可移动输入设备相对于其上放置可移动输入设备的表面的物理运动。在一示例中，该表面可以是书桌或桌子的顶部。有利地，运动信号可以被配置为反映可移动输入设备(例如，键盘)相对于书桌或桌子的表面的一个或更多个物理运动(例如，旋转、移位、倾斜)，可移动输入设备可以在第一时间段期间被放置在所述书桌或桌子上。
作为示例，图39示出了在第一时间段期间可移动输入设备3902(例如，键盘)相对于其上放置可移动输入设备3902的表面3906的物理取向和/或位置的反射运动信号。在图39中，可移动输入设备3902被描绘为处于表面(例如，书桌)的正面左侧。在图40中，可移动输入设备4002被描绘为处于该表面的正面右侧。在图41中，运动信号反映了可移动输入设备4102相对于表面4106的两个物理运动4114(例如，倾斜或旋转)(例如，与平行于表面4106的水平面相比倾斜正角度，围绕可移动输入设备4102的中心中的旋转点顺时针旋转)，在第一时间段期间可移动输入设备4102被放置在表面4106上。在图42中，可移动输入设备4202(可选地具有与可移动输入设备4202相关联的至少一个传感器4208)被描绘为处于表面的右侧。在一示例中，可移动输入设备4202可以是在不同时间点与可移动输入设备3902和可移动输入设备4002相同的输入设备，虚拟显示器4212可以是在不同时间点与第一虚拟显示器3904和第二虚拟显示器4010相同的虚拟显示器，和/或表面4206可以是在不同时间点与表面3906和表面4006相同的表面。
一些公开的实施方式可以涉及基于可移动输入设备在第一时间段之前的取向来确定第一取向。在本文中使用的可移动输入设备的取向可以包括旋转、移位、平移、定位或位置中的至少一者。例如，可以将第一取向确定为相对于特定位置和特定方向的角位置，可以基于在第一时间段之前可移动输入设备的取向来选择特定位置和/或特定方向。在一些实施方式中，可以在第一时间段的某部分或第一时间段期间、在第一时间段之前等确定第一取向。在一些其他示例中，可以基于可移动输入设备在第一时间段期间的取向来确定第一取向。例如，可以将第一取向确定为相对于特定位置和特定方向的角位置，可以基于可移动输入设备在第一时间段期间的取向来选择特定位置和/或特定方向。同样，可以基于可移动输入设备在第二时间段之前、在第二时间段期间、在第一时间段期间等的取向来确定第二取向。
作为示例，图39示出了传感器3908(例如，运动传感器)，其可以在第一时间段期间生成反映可移动输入设备3902(例如，键盘)的位置和/或取向的一个或更多个运动信号。根据一些公开的实施方式，至少一个处理器还可以被配置为基于可移动输入设备3902在第一时间段之前或期间的取向来确定第一虚拟显示器3904的第一取向。
根据一些公开的实施方式，所述至少一个处理器可以被配置为执行可以包括在不同于所述第一时间段的第二时间段期间向所述可穿戴扩展现实装置输出第二显示信号的步骤。第二时间段可以指不同于第一时间段的时间段，而第二显示信号指不同于第一显示信号的显示信号。第二显示信号可以包括不同于第一显示信号的模拟或数字信号。
在一些实施方式中，第二显示信号可被配置成使可穿戴扩展现实装置以不同于第一取向的第二取向虚拟地呈现内容。即，如果第一取向对应于特定旋转、位移、平移或特定位置旋转、位移、平移或特定位置中的一个或更多个，则第二取向可对应于至少在某些方面不同于第一取向的旋转、位移、平移和/或特定位置中的至少一个。例如，第二取向可被确定为相对于坐标系的特定位置和特定方向(例如，表面的、对象的、坐标系的、其上放置了可移动输入设备的表面、虚拟环境的坐标系等等)的角位置。至少一个处理器可被配置为发送显示信号以使显示设备以第二取向呈现文本、一个或更多个图片、屏幕截图、媒体剪辑或其它文本或图形主题。第二取向可以包括相对于参考轴或平面以任何期望的角度定位所显示的内容。例如，可以显示文本内容，使得其与桌子或地板的表面水平对准，以使用户能够阅读文本。作为另一示例，可以显示图像，使得其相对于桌子或地板的水平表面以期望的角度倾斜。例如，第二显示信号可被配置成使可穿戴扩展现实装置以不同于第一取向的第二取向和/或以不同于第一位置的第二位置虚拟地呈现内容。
作为示例，图40可以示出可移动输入设备4002(例如，键盘)和在与图39所示的第一时间段的第一虚拟显示器3904不同的第二时间段的第二虚拟显示器4010。作为示例，图45A所示的示例性指令集4500可包括步骤4506，其中，处理器在与第一时间段不同的第二时间段期间向可穿戴扩展现实装置(例如，智能眼镜)输出第二显示信号，第二显示信号被配置成使可穿戴扩展现实装置按照第二取向虚拟地呈现内容作为第二虚拟显示器4010，其与作为第一虚拟显示器3904的第一取向不同。
根据一些公开的实施方式，可以在第一时间段之后并且在第二时间段之前接收运动信号。例如，可以在第一时间段之后与第二时间段之前的时间接收运动信号。也就是说，可以在位于第一时间段与第二时间段之间的时间接收运动信号。在另一示例中，可以在第一时间段期间接收运动信号。在又一示例中，可以在第二时间段期间接收运动信号。在另外的示例中，可以在第一时间段和第二时间段之前接收运动信号。在一示例中，第一时间段可以早于第二时间段。在另一示例中，第一时间段可以晚于第二时间段。根据其他公开的实施方式，至少一个处理器可以被配置为执行可以包括以下步骤的步骤：使得可穿戴扩展现实装置能够在第二时间段期间接收附加运动信号，从而使得可穿戴扩展现实装置能够连续地调整内容的虚拟呈现。如在本文中所使用的，附加运动信号可以指除了其他接收到的运动信号之外接收到的信号，并且可以与其他运动信号一起接收或者与其他运动信号分开接收。在此上下文中的连续调节可以指的是在一时间段内的一系列调节(例如，改变校准和/或适配)。连续调节可以是在序列中发生的离散的单独调节，具有或不具有中间中断。在一些实施方式中，可以在第二时间段期间接收附加运动信号，从而使得可穿戴扩展现实装置能够连续地调整内容的虚拟呈现。例如，在第二时间段期间，可穿戴扩展现实装置(例如，智能眼镜)可以接收附加运动信号以连续地调整(例如，改变尺寸、改变类型、改变任何其他方面)内容的虚拟呈现。作为另一示例，连续调整内容的虚拟呈现可以考虑空间中的其他对象或虚拟对象(例如，当用户带着可移动输入设备行走时，内容的位置和/或取向将改变以避开诸如墙壁、人和其他虚拟或物理对象等障碍物)。
在一些示例中，可以接收物理对象可以位于输入设备的环境中的特定位置处的指示。在一些示例中，可以接收使用包括在第一可穿戴扩展现实装置中的图像传感器捕获的图像数据。例如，可以从图像传感器、从第一可穿戴扩展现实装置、从第一可穿戴扩展现实装置外部的中间设备、从存储器单元等接收图像数据。可以分析图像数据以检测环境中特定位置的物理对象。在另一示例中，雷达、LIDAR或声纳传感器可用于检测环境中特定位置处的物理对象的存在。在一些示例中，可以基于位于特定位置的物理对象来选择第二取向。在一示例中，可以选择第二取向，使得当以第二取向呈现时，虚拟呈现的内容看起来不与物理对象冲突。在另一示例中，可以选择第二取向，使得对于可穿戴扩展现实装置的用户而言，虚拟呈现的内容在以第二取向呈现时不被物理对象(完全或部分地)遮挡(例如，基于可穿戴扩展现实装置的位置)。在一示例中，射线投射算法可用于确定对于可穿戴扩展现实装置的用户而言，以特定取向呈现的虚拟呈现内容被物理对象遮挡。此外，第二显示信号可以基于场景的第二视角的选择。
根据某些公开的实施方式，至少一个处理器可被配置为执行可包含基于可移动输入设备的所接收运动信号在第一显示信号的输出与第二显示信号的输出之间切换的步骤。如在本文中所使用的，切换可以指的是在诸如事物、对象、位置、取向、信号、事件或虚拟显示器的两个或更多个项目之间以任何其他方式的移位、转换、修改、变更或改变。在一些实施方式中，第一显示信号或多个第一显示信号的输出与第二显示信号或多个第二显示信号的输出之间的切换可基于所接收的可移动输入设备(例如，键盘)的运动信号。所接收的运动信号可以反映可移动输入设备的一些或所有部分的物理运动，诸如位置、地点、取向、旋转的改变或位置的其它类似改变。至少一个处理器可被配置为在第一显示信号的输出与第二显示信号的输出之间切换或不切换。可替换地，所接收的运动信号可以反映可移动输入设备的一些或全部部分的物理运动的缺失。至少一个处理器可被配置为基于所接收的运动信号在第一显示信号或多个第一显示信号的输出与第二显示信号或多个第二显示信号的输出之间切换或不切换。例如，所接收的可移动输入设备的运动信号可以使可穿戴扩展现实装置(例如，智能眼镜)从一个或更多个第一显示信号的输出切换到一个或更多个第二显示信号的输出。另外地或可选地，接收到的可移动输入设备的运动信号可以使可穿戴扩展现实装置从第二显示信号的输出切换到第一显示信号的输出。在一示例中，例如在输出第一显示信号时，响应于接收到的可移动输入设备的第一运动信号，这些步骤可以包括从第一显示信号的输出切换到第二显示信号的输出，并且响应于接收到的可移动输入设备的第二运动信号，可以抑制从第一显示信号的输出切换到第二显示信号的输出。在另一示例中，例如在输出第二显示信号时，响应于接收到的可移动输入设备的第三运动信号，这些步骤可以包括从第二显示信号的输出切换到第一显示信号的输出，并且响应于接收到的可移动输入设备的第四运动信号，可以拒绝从第二显示信号的输出切换到第一显示信号的输出。在一些示例中，可基于所接收的运动信号来确定第二显示信号。例如，响应于可移动输入设备的一个接收到的运动信号，可以为第二显示信号选择第一值，并且响应于可移动输入设备的接收到的不同的运动信号，可以为第二显示信号选择第二值，第二值可以不同于第一值。在一些示例中，可以基于所接收的运动信号来确定第二取向。例如，响应于可移动输入设备的一个接收到的运动信号，可以选择第二取向的第一角度，并且响应于可移动输入设备的接收到的不同的运动信号，可以选择第二取向的第二角度，第二角度可以不同于第一角度。
举例来说，图45A所说明的示例性指令集4500可包含步骤4508，其中，处理器基于可移动输入设备3902的所接收运动信号而在第一显示信号与第二显示信号的输出之间切换。
一些公开的实施方式可以包括当可移动输入设备的物理移动大于至少一个阈值时，在第一显示信号的输出与第二显示信号的输出之间切换。如上所述，至少一个阈值可以指参考或限制值或水平，或参考或限制值或水平的范围。在操作中，当可移动输入设备的物理移动量超过至少一个阈值(或低于阈值，视特定使用情况而定)时，至少一个处理器可遵循第一动作过程，并且当可移动输入设备的物理移动量低于阈值(或高于阈值，视特定使用情况而定)时，至少一个处理器可遵循第二动作过程。至少一个阈值的值可以是预定的，或者可以基于各种考虑动态地选择。一些非限制性示例可包括至少一个阈值，该阈值是物理运动的预定值，即1毫米位移、1英寸位移、1英尺位移或任何其它位移量。作为另一个示例，至少一个阈值可以是1°、5°、10°、1°、5°、10°或任何其他角度的角运动的预定值。当可移动输入设备的移动量大于或等于至少一个阈值时，至少一个处理器可在第一显示信号或多个第一显示信号的输出与第二显示信号或多个第二显示信号的输出之间切换，并且当可移动输入设备的移动量小于或等于至少一个阈值时，可以拒绝在一个第一显示信号或多个第一显示信号的输出与一个第二显示信号或多个第二显示信号的输出之间的切换。在另一实例中，当可移动输入设备的移动量小于或等于至少一个阈值时，至少一个处理器可在一个第一显示信号或多个第一显示信号的输出与一个第二显示信号或多个第二显示信号的输出之间切换。
在一些实施方式中，至少一个阈值可以是倾斜阈值、滚动阈值和/或横向移动阈值中的一项或更多项的组合。在一些实施方式中，至少一个阈值可以包括倾斜、滚动或横向移动阈值中的至少一个阈值。可替代地，至少一个阈值可以被配置成要求至少两个或全部三个移动：倾斜、滚动和横向移动阈值。例如，当至少一个阈值被配置为仅是倾斜阈值时，则如果可移动输入设备(例如，键盘)因为物理移动而倾斜，则处理器可以在一个第一显示信号或多个第一显示信号的输出与一个第二显示信号或多个第二显示信号的输出之间或者在一个第二显示信号或多个第二显示信号的输出与一个第一显示信号或多个第一显示信号的输出之间切换。
在一些实施方式中，可以基于在第一时间段期间虚拟显示器距可移动输入设备的距离来选择至少一个阈值。如在此上下文中所使用的，距离可以是指长度、大小、空间、跨度、宽度或两个事物之间的任何空间量。在一示例中，至少一个阈值可以是在第一时间段期间虚拟显示器距可移动输入设备的距离的函数。这种函数的一些非限制性示例可包括线性函数、非线性函数、多项式函数、单调函数、单调递增函数、对数函数、连续函数、非连续函数等。在一示例中，可以基于可穿戴扩展现实装置、可穿戴扩展现实装置的用户、可移动输入设备、其上放置了可移动输入设备的表面的类型、其上放置了可移动输入设备的表面的一个或更多个维度，或者可移动输入设备是否被放置在表面上中的至少一项来选择功能。在一些其他示例中，至少一个阈值可以是第一时间段期间虚拟显示器距可移动输入设备的距离与第一时间段期间虚拟显示器距可移动输入设备之间的角度的函数。
作为示例，图39示出了第一显示器3904与可移动输入设备3902之间的距离3909。在一些实施方式中，可基于第一时间段期间第一虚拟显示器3904距可移动输入设备3902(例如，键盘)的距离3909来选择至少一个阈值。
在一些实施方式中，可以基于在第一时间段期间来自可移动输入设备的虚拟显示器的取向来选择至少一个阈值。例如，可以基于在第一时间段期间虚拟显示器相对于可移动输入设备(例如，键盘)的取向(例如，直立、倒置、平行、垂直或任何其他取向)和/或位置(例如，中间、角部、侧、面或任何其他位置)来选择至少一个阈值。例如，基于与直立的虚拟显示器相比被上下颠倒的虚拟显示器的取向和/或位置，或者基于与位于表面(例如，书桌的表面)的中间的虚拟显示器相比位于书桌的角部中的虚拟显示器的取向和/或位置，至少一个阈值可以被设置为较高的值(例如，可移动输入设备的一个取向和/或位置可能需要比不同的取向和/或位置大的阈值水平)。可替代地，基于与上下颠倒的虚拟显示器相比处于直立的虚拟显示器的取向和/或位置或者基于与处于表面的角部中的虚拟显示器相比位于中间的虚拟显示器的取向和/或位置，可以将至少一个阈值设置为较低值(例如，可移动输入设备的一个取向和/或位置可能需要比不同取向和/或位置小的阈值水平)。
作为示例，图42示出了场景4200，其中，虚拟显示器4212位于第一时间段的取向和位置。在一些实施方式中，可以基于第一时间段期间虚拟显示器4212的取向和/或位置(例如，旋转90°并且在表面4206的一侧)来选择至少一个阈值。
在一些实施方式中，基于内容的类型来选择至少一个阈值。在一些示例中，内容类型可包括图像、文本、符号、代码、混合媒体或所呈现的任何其他信息，而与形式无关。作为示例，当内容是文本而不是图示时，可以为至少一个阈值分配较高的值。作为另一示例，当内容是多媒体类型内容而不是文本或图片时，可以为至少一个阈值分配较低值。在一些示例中，内容类型可以包括私有和公开内容。作为示例，当内容是公开的而不是私有的时，可以为至少一个阈值分配较高的值。
根据一些公开的实施方式，可移动输入设备可以被配置为放置在表面上，并且至少一个阈值的值可以基于表面的类型。如在本文中所使用的，表面的类型可以指种类、品种、分类、尺寸或具有共同特征的其它类别。表面类型的一些非限制性示例可包括桌子、书桌、床、地板、柜台、墙壁和具有表面的任何其他物体。其他示例可以包括临时(例如，餐桌)和/或固定(例如，办公桌)的表面类型。例如，可移动输入设备(例如，键盘)可以被配置为放置在办公桌的表面上，并且至少一个阈值的较高值可以基于表面(例如，办公桌)的类型。可替代地，可移动输入设备可以被配置成放置在餐桌的表面上，并且至少一个阈值的较低值可以基于表面的类型(例如，餐桌)。例如，由于办公桌的固有品质(例如，与临时表面相比，可移动输入设备的物理移动的更大剪切力或更大阻力)，至少一个阈值的较高值可以与办公桌、固定表面相关联。因为餐桌的固有品质(例如，与固定表面相比，可移动输入设备的物理移动的较低剪切力或较低阻力)，另一示例可包括与餐桌、临时表面相关联的至少一个阈值的较低值。另外地或可选地，当基于表面类型时，因为在该特定表面上使用可移动输入设备的时间性(例如，与餐桌相比，在办公桌上可以更频繁地使用可移动输入设备)，至少一个阈值可以被配置为具有较低或较高的值。在一示例中，至少一个阈值可以是表面的至少一个维度的函数。这种函数的一些非限制性示例可包括线性函数、非线性函数、多项式函数、单调函数、单调递增函数、对数函数、连续函数、非连续函数等。
作为示例，图39示出了第一虚拟显示器3904、可移动输入设备3902和表面3906。在一示例中，可移动输入设备3902可以放置在表面3906(例如，书桌的表面)上，并且至少一个阈值的值可以基于表面的类型。例如，可移动输入设备3902可以被放置在临时表面3906(例如，餐桌)或固定表面3906(例如，办公桌)上，并且可以基于表面的类型来分配阈值。
根据一些公开的实施方式，可穿戴扩展现实装置可以被配置成与多个可移动输入设备配对，并且可以基于与和可穿戴扩展现实装置配对的多个可移动输入设备之一相关联的默认虚拟显示配置来确定第一取向。如本文中所使用的，多个可移动输入设备可指如本文中所论述的两个、三个、超过一个、超过两个、超过三个、多个、各种或若干可移动输入设备。一些非限制性示例可包括与两个可移动输入设备、三个可移动输入设备、四个可移动输入设备或任何数量的可移动输入设备配对的可穿戴扩展现实装置。当可穿戴扩展现实装置与超过一个可移动输入设备配对时，可以基于与和可穿戴扩展现实装置配对的可移动输入设备中的任何一个或超过一个相关联的默认虚拟显示配置来确定虚拟内容的第一取向。例如，可穿戴扩展现实装置(例如，智能眼镜)可以被配置成与多个可移动输入设备(例如，键盘和鼠标)配对，并且可以基于与和可穿戴扩展现实装置配对的键盘或鼠标相关联的默认虚拟显示配置来确定第一取向。有利地，不同的可移动输入设备可以与不同的默认虚拟显示配置相关联。例如，鼠标的默认虚拟显示配置可以设置有用户右手侧的虚拟显示器，具有用于虚拟内容的任何类型的颜色和/或字体方案、具有较小的显示尺寸，或与鼠标相关联的任何其它预定配置。其他示例可以包括用于键盘的默认虚拟显示配置，该默认虚拟显示配置可以被设置有直接在用户视图之前的虚拟显示器，具有用于虚拟内容的任何类型的颜色和/或字体方案、自动介绍性语音消息(例如，欢迎用户的语音消息)、具有更大的显示尺寸，或者与键盘相关联的任何其他预定配置。
举例来说，图44例示了场景4400，其具有与可移动输入设备4402相关联的至少一个传感器4408、虚拟显示器4412、表面4406、一时间段的第二可移动输入设备4416以及与第二可移动输入设备4416相关联的虚拟显示器4419。一些实施方式可以被配置成其中可穿戴扩展现实装置(例如，智能眼镜)可以与多个可移动输入设备(可移动输入设备4402(例如，键盘)和第二可移动输入设备4416(例如，鼠标))配对，并且可以基于与和可穿戴扩展现实装置配对的多个可移动输入设备之一相关联的默认虚拟显示器4112配置来确定第一取向。
根据一些公开的实施方式，内容可以是虚拟显示器，其被配置为实现使用可移动输入设备输入的文本输入的可视呈现。如在本文中所使用的，文本输入可以指由用户或其他设备输入到系统中的任何单词、字符或字符串。文本输入的一些非限制性示例可包括“HELLO”、“HI”、“A”、“Hello World”、“ABC”或字母、单词或标点符号的任何其他组合。例如，虚拟显示器可以被配置为例如在用户界面中、在文本编辑器中等显示使用可移动输入设备(例如，键盘)输入的文本输入(例如，“HELLO”、“HI”、“A”、“Hello World”)。
一些公开的实施方式可以涉及在虚拟显示器在可穿戴扩展现实装置的视场之外时，在虚拟显示器之外提供使用可移动输入设备输入的文本输入的视觉指示。如在本文中所使用的，视觉指示可以指任何视觉符号、指示符、标记、信号或指示某物的其它符号或信息片段。视场可以指视线、视向、周边视场、周边视觉或在任何给定时刻看到的可观察世界的范围。视场的一些非限制性示例可包括210度面向前的水平弧、150度、60度、45度等。视觉指示的一些非限制性示例可包括“！”、“警告”、“视野外”、灯闪烁、图形符号或任何其他类似的文本或图形符号、图片、视频或文字。例如，用户可以使用可移动输入设备(例如，键盘)并输入文本输入，并且当虚拟显示器(例如，屏幕)在可穿戴扩展现实装置(例如，智能眼镜)的视场(例如，210度面向前的水平弧)之外时，至少一个处理器可以使得可穿戴扩展现实装置显示符号"！"作为虚拟显示器外部的视觉指示。在一示例中，当可移动输入设备在可穿戴扩展现实装置的视场中时，至少一个处理器可以使可穿戴扩展现实装置在可移动输入设备上提供视觉指示。在一示例中，当可移动输入设备在可穿戴扩展现实装置的视场中并且虚拟显示器在可穿戴扩展现实装置的视场之外时，至少一个处理器可以使得可穿戴扩展现实装置在可移动输入设备上提供视觉指示。在一示例中，在可移动输入设备和虚拟显示器都在可穿戴扩展现实装置的视场之外时，至少一个处理器可以使可穿戴扩展现实装置在虚拟显示器之外而不在可移动输入设备上提供视觉指示。
图45A示出了用于将可移动输入设备与经由可穿戴扩展现实装置投影的虚拟显示器集成的示例性方法4500。方法4500可以由与输入单元202(见图3)、XR单元204(见图4)和/或远程处理单元208(见图5)相关联的一个或更多个处理设备(例如360、460或560)来执行。可以以任何方式修改所公开的方法4500的步骤，包括通过重新排序步骤和/或插入或删除步骤。方法4500可以包括接收与可移动输入设备相关联的运动信号的步骤4502。运动信号可以反映可移动输入设备的物理运动。方法4500可以包括步骤4504：在第一时间段期间向可穿戴扩展现实装置输出第一显示信号。第一显示信号可以被配置成使可穿戴扩展现实装置以第一取向虚拟地呈现内容。方法4500可以包括步骤4506：在第二时间段期间向可穿戴扩展现实装置输出第二显示信号。第二显示信号可被配置成使可穿戴扩展现实装置以不同于第一取向的第二取向虚拟地呈现内容。方法4500可以包括步骤4508：基于接收到的可移动输入设备的运动信号，在第一显示信号的输出与第二显示信号的输出之间切换。
图45B示出用于将可移动输入设备与经由可穿戴扩展现实装置投影的虚拟显示器集成的另一示例性过程。方法4550可以由与输入单元202(见图3)、XR单元204(见图4)和/或远程处理单元208(见图5)相关联的一个或更多个处理设备(例如360、460或560)来执行。可以以任何方式修改所公开的方法4550的步骤，包括通过重新排序步骤和/或插入或删除步骤。方法4550可以包括步骤4552：接收与可移动输入设备相关联的运动信号。运动信号可以反映可移动输入设备的物理运动。方法4550可以包括步骤4554：在第一时间段期间向可穿戴扩展现实装置输出第一显示信号。第一显示信号可以被配置成使可穿戴扩展现实装置以第一取向虚拟地呈现内容。方法4550可以包括步骤4556：在第二时间段期间向可穿戴扩展现实装置输出第二显示信号。第二显示信号可被配置成使可穿戴扩展现实装置以不同于第一取向的第二取向虚拟地呈现内容。方法4550可包含步骤4560，如果可移动输入设备的移动大于所述至少一个阈值，那么可执行步骤4558，其中，所述步骤基于所接收的可移动输入设备的运动信号在第一显示信号的输出与第二显示信号的输出之间切换。
虽然普通的扩展现实装置可以向用户呈现虚拟对象，但是可能希望使用可穿戴扩展现实装置将物理键盘扩展到周围表面。这种类型的扩展显示器可以允许用户在键盘的物理限制之外与键盘交互。另外，当用户需要移动物理键盘而不混淆用户时，保持物理键盘与其对应的虚拟键盘之间的空间取向可以允许用户继续与虚拟键盘交互。以下公开内容描述了用于虚拟地扩展物理键盘的各种系统、方法和非暂时性计算机可读介质。
物理键盘可以包括QWERTY键盘(例如，机械键盘、薄膜键盘、柔性键盘)或其它类型的计算机键盘(例如，Dvorak和Colemak)、弦键盘、无线键盘、小键盘、基于键的控制面板或另一控制键阵列、视觉输入设备或以物理形式提供的用于输入文本的任何其它机制中的一个或组合。物理形式可以包括有形的、可触知的、混凝土的或以任何其它方式具有材料的物体，而不是虚拟的或暂时的存在。
虚拟地扩展物理键盘可以包括复制(copy)、复制(duplicate)、继续、开发、增强、扩充、补充、连接、关联、附接、关联、附加、附上、耦合、加标签、对接或以任何其它方式将物理键盘链接到虚拟环境。虚拟环境可包括向用户提供对存在于物理上不存在的环境中的感知的仿真和非物理环境。例如，虚拟地扩展物理键盘可以涉及在虚拟环境中复制物理键盘的形式。作为另一示例，虚拟地扩展物理键盘可涉及将虚拟环境中的对象与物理键盘相关联。
一些公开的实施方式可以包括从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，该图像数据表示放置在表面上的键盘。图像传感器可以包括在本公开的任何设备或系统中，并且可以是能够检测近红外、红外、可见和紫外光谱中的光信号并将其转换为电信号的任何设备。图像传感器的示例可包括数码相机、电话相机、半导体电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)中的有源像素传感器或N型金属氧化物半导体(NMOS，LiveMOS)。电信号可用于生成图像数据。根据本公开，图像数据可包含像素数据流、数字图像、数字视频流、从所拍摄的图像导出的数据和可用于构造一个或更多个3D图像、3D图像序列、3D视频或虚拟3D表示的数据。
根据本公开的一个方面，扩展现实装置可以是可穿戴设备，诸如头戴式设备，包括例如智能眼镜、智能隐形眼镜、头戴式耳机或由人佩戴的用于向人呈现扩展现实的任何其他设备。其它可穿戴扩展现实装置可以包括全息投影仪或能够提供增强现实(AR)、虚拟现实(VR)、混合现实(MR)或任何沉浸体验的任何其它设备或系统。可穿戴扩展现实装置的典型组件可以包括以下中的至少一个：立体头戴式显示器、立体头戴式音响系统、头部运动跟踪传感器(诸如陀螺仪、加速度计、磁力计、图像传感器、结构化光传感器等)、头戴式投影仪、眼睛跟踪传感器以及可以联接到可穿戴设备的任何其他设备。
表面可以包括区域、外部、侧面、顶部、平面、面、壳、盖或对象或主体的任何其它外部部分或上边界。在一示例中，表面可以是放置了键盘的桌子的顶部。在另一示例中，表面可以是键盘的用户的大腿部，使得键盘被放置在用户的大腿部上。该表面可以包含大于、小于或等于键盘面积的面积。在一示例中，该表面可以是桌子的顶部。在一些实施方式中，桌子的顶部可以小于键盘。在其它实施方式中，桌子的顶部可以大于键盘。在其它实施方式中，桌子的顶部可以与键盘的尺寸相同。该表面可包括单个连续表面或多个表面的任何组合。例如，该表面可包括第一个桌子的顶部，第一个桌子的顶部邻接第二个桌子的顶部。例如，在图47中，表面4710被描绘为桌子的顶部。
一些公开的实施方式可以包括确定键盘与可穿戴扩展现实装置配对。将键盘与可穿戴扩展现实装置配对可以包括联接、联合、链接、粘贴、结合、对接、连接或将键盘连接到可穿戴扩展现实装置的任何其它方式。键盘与可穿戴扩展现实装置之间的配对可以包括有线或无线配对中的任一个或更多个或其组合。配对可以包括有线配对或无线配对。有线配对可以利用同轴电缆、以太网或通过键盘与可穿戴扩展现实装置之间的有线连接发送信息的任何其它通道。无线配对可以利用WiFi、BluetoothTM或在键盘与可穿戴扩展现实装置之间没有有线连接的情况下发送信息的任何其他通道。在另一示例中，配对可以利用键盘与可穿戴扩展现实装置之间的间接通信，例如通过附加的计算机化系统和/或通信网络。附加的计算机化系统可以控制通过可穿戴扩展现实装置呈现的扩展现实环境。在又一示例中，键盘与可穿戴扩展现实装置的配对可以包括使得使用键盘键入的文本经由可穿戴扩展现实装置呈现在例如经由可穿戴扩展现实装置呈现的虚拟显示器中(例如呈现在文本编辑器中和/或呈现在虚拟显示器上的用户界面中)的配置。
确定键盘与可穿戴扩展现实装置配对可以包括检测来自接近度、压力、光、超声、位置、光电、运动、力、电、接触、非接触或任何其他类型的传感器的信号。在一些示例中，确定键盘与可穿戴扩展现实装置配对可以基于对可穿戴扩展现实装置中所包括的图像传感器所拍摄的图像中的键盘的检测。在一些示例中，确定键盘与可穿戴扩展现实装置配对可以基于在由包括在可穿戴扩展现实装置中的图像传感器拍摄的图像中检测到与键盘相关联的可视码。在一些示例中，确定键盘与可穿戴扩展现实装置配对可以基于在由包括在可穿戴扩展现实装置中的传感器捕获的数据中检测到由包括在键盘中的光发射器发射的光。
一些公开的实施方式可以包括接收用于使虚拟控制器的显示与键盘结合的输入。输入可以包括用户输入或传感器输入或数据输入。在一些实施方式中，输入可以是用户输入，或者是用户通过输入设备登录输入的输入。输入设备可包括被配置成接收来自用户或用户环境的输入并将数据提供给计算设备的任何物理设备。提供给计算设备的数据可以是数字格式和/或模拟格式。在一个实施方式中，输入设备可以将从用户接收到的输入存储在可由处理设备访问的存储器设备中，并且处理设备可以访问所存储的数据以进行分析。在另一实施方式中，输入设备可以直接向处理设备提供数据，例如通过总线或通过被配置为将数据从输入设备传送到处理设备的另一通信系统。在一些示例中，由输入设备接收的输入可以包括键按压、触觉输入数据、运动数据、位置数据、方向数据或用于提供计算的任何其他数据。输入设备的一些示例可包括按钮、键、键盘、计算机鼠标、触摸板、触摸屏、操纵杆或可从其接收输入的另一机构。在其它实施方式中，输入可以是传感器输入，或其中传感器数据用作系统输入的输入。传感器数据可包括来自位置传感器、压力传感器、温度传感器、力传感器、振动传感器、光电传感器或可测量环境的任何属性的任何其它类型的设备中的任一个或其组合的数据。在一些其他示例中，可以从外部设备、从存储器单元(例如，从配置文件)等接收用于使虚拟控制器的显示与键盘结合的输入。
虚拟控制器可以包括模拟的非物理控制器，其向用户提供与物理上不存在的控制器进行交互的感知。虚拟控制器可包括按钮、键、键盘、计算机鼠标、触摸板、触控板、触摸屏、操纵杆、按钮、滑块、拨号盘、小键盘、数字小键盘或可由用户在虚拟环境中操纵的另一机构中的任一个或组合。在一些实施方式中，虚拟控制器可以具有与物理键盘相同的形式。在其它实施方式中，虚拟控制器可以具有与物理键盘不同的形式。图46示出了根据本公开的一些实施方式的虚拟控制器的示例。虚拟控制器可包括虚拟键盘4610、虚拟音量条4612和虚拟触摸板4614。
一些公开的实施方式可以包括经由可穿戴扩展现实装置在表面上的第一位置显示虚拟控制器，其中，在第一位置，虚拟控制器具有相对于键盘的原始空间取向。空间取向可包括对象相对于另一对象的方向的定位、位置、距离、角度、布局、对准、倾斜或任何其它指示。例如，图47示出了显示在表面4710上的第一位置4718中的虚拟控制器4716，使得虚拟控制器具有相对于放置在表面4710上的第一键盘位置4714上的键盘4712的原始空间取向4720。
一些公开的实施方式可以包括检测键盘到表面上不同位置的移动。检测键盘的移动可以包括检测来自传感器的信号，传感器感测接近度、压力、光、超声、位置、光电、运动、力、电场、接触、非接触或任何其它可检测的特性。在一示例中，检测键盘的移动可以包括通过使用视觉对象跟踪算法分析图像(例如，通过分析使用包括在可穿戴扩展现实环境中的图像传感器拍摄的图像)来检测移动。键盘移动的检测可以使用其它传感器和/或技术来实现，如这里所述。在一些实施方式中，检测可以包括检测键盘在表面上的任何移动量。在其它实施方式中，检测可以包括检测键盘移动到超出阈值移动量的不同位置。
一些公开的实施方式可以包括响应于检测到的键盘移动，在表面上的第二位置呈现虚拟控制器，其中，在第二位置，虚拟控制器相对于键盘的后续空间取向对应于原始空间取向。对应于原始空间取向的后续空间取向可以包括共享相同或相似定位、位置、角度、布局、对准、倾斜或虚拟控制器相对于键盘的方向的任何其它指示的空间取向。例如，图47示出了显示在表面4710上的第一位置4718的虚拟控制器4716，使得虚拟控制器具有相对于放置在表面4710上的第一键盘位置4714上的键盘4712的原始空间取向4720。当键盘4712移动到表面4710上的不同键盘位置4722时，虚拟控制器4716呈现在表面4710上的第二位置4724，其中，虚拟控制器4716相对于键盘4712的后续空间取向4720对应于原始空间取向4720。在该示例中，通过水平移动将键盘4712移动到不同的键盘位置4722。
作为另一示例，图48示出了显示在表面4810上的第一位置4818的虚拟控制器4816，使得虚拟控制器具有相对于放置在表面4810上的第一键盘位置4814的键盘4812的原始空间取向4820。当键盘4812移动到表面4710上的不同键盘位置4822时，虚拟控制器4816呈现在表面4810上的第二位置4824，其中，虚拟控制器4816相对于键盘4812的后续空间取向4820对应于原始空间取向4820。在该示例中，通过旋转运动将键盘4812移动到不同的键盘位置4822。
此外，虚拟控制器4816的与键盘4812一起移动的部分可以取决于虚拟控制器4816的对接到键盘4812的部分。对接可以包括锚定、连接、联合、连接或以任何其它方式将虚拟控制器的一部分与键盘链接。例如，图46所示的虚拟控制器可以包括虚拟键盘4610、虚拟音量条4612和虚拟触摸板4614，所有这些都对接到键盘。在该示例中，虚拟键盘4610、虚拟音量条4612和虚拟触摸板4614将响应于键盘的移动而移动。然而，如虚拟音量条4612旁边的对象等未对接对象可以不响应于键盘的移动而移动。
在一些示例中，在检测到键盘移动到表面上的不同位置之前，在第一位置处检测到特定移动类型的手移动可以触发特定动作，而在第二位置处检测到特定移动类型的手移动可以不触发特定动作。此外，在检测到键盘移动到表面上的不同位置之后，在第二位置检测到特定移动类型的手移动可以触发特定动作，而在第一位置检测到特定移动类型的手移动可以不触发特定动作。在一示例中，特定动作可包括基于检测到的手移动来改变与用户界面元件相关联的呈现参数，例如如下所述。在一示例中，特定动作可以包括基于检测到的手移动来改变虚拟光标的位置，例如如下所述。
在一些实施方式中，虚拟控制器可以是用户界面元件，并且一些公开的实施方式可以包括检测第二位置处的手移动，并且基于检测到的手移动来改变与用户界面元件相关联的呈现参数。用户界面元件可包括音量条、触摸板或用户与虚拟控制器之间的任何其它交互点。手的移动可以包括手与表面的接触、手在表面上的点击、表面上的双击、手指在表面上的拖动、两个手指在表面上的拖动以及手的任何手指或其他部分与表面的任何其他交互。呈现参数可包括所呈现的对象的取向、大小、定位、位置、角度、颜色、维度、体积或任何其它可感知的条件。在一些实施方式中，对呈现参数的改变可以基于手移动的类型和/或手移动的参数(例如持续时间、距离等)。例如，响应于用户在虚拟音量条上垂直向上拖动他的手指，可以增加所呈现的场景的音量，并且可以与用户在虚拟条上垂直拖动他的手指的量成比例地增加音量。在其他实施方式中，可以基于手移动的类型从多个另选呈现参数中选择呈现参数。例如，用户界面元件可以是触摸板，并且单指的手移动可以用于调整所呈现的场景的一部分的大小，而双指动作可以用于调整所呈现的场景的该部分的取向。
在一些实施方式中，虚拟控制器可以是虚拟触控板，并且一些公开的实施方式可以包括检测第二位置的手移动，并且基于检测到的手移动来改变虚拟光标的位置。虚拟触控板可以包括任何类型的虚拟界面，其转换用户的手的任何部分的位置和/或移动，以便改变虚拟光标的位置。手的移动可以包括手与表面的接触、手在表面上的点击、表面上的双击、手指在表面上的拖动、两个手指在表面上的拖动以及手的任何手指或其他部分与表面的任何其他交互。例如，用户可以在表面的第二位置从左向右拖动手指，并且虚拟光标可以响应于检测到的手移动而在虚拟触控板上从左向右移动。作为另一示例，用户可以用手指在表面的第二位置以顺时针运动绘制圆，并且虚拟光标可以响应于该检测到的手移动而在虚拟触控板上以顺时针方式移动。
在一些实施方式中，所接收的输入可以包括来自与可穿戴扩展现实装置相关联的图像传感器的图像数据，并且一些公开的实施方式可以包括从图像数据确定表征虚拟控制器相对于键盘的原始空间取向的值。例如，可以分析图像数据以选择表面上的第一位置，从而确定表征虚拟控制器相对于键盘的原始空间取向的值。在另一示例中，可以分析图像数据以选择表征虚拟控制器相对于键盘的原始空间取向的值，并且可以基于所选择的值来选择表面上的第一位置。在一示例中，响应于第一图像数据，可以选择表征虚拟控制器相对于键盘的原始空间取向的第一值，并且响应于第二图像数据，可以选择表征虚拟控制器相对于键盘的原始空间取向的第二值，第二值可以不同于第一值。在一示例中，可以计算图像数据的至少一部分的卷积以获得所计算的卷积的结果值。此外，响应于所计算的卷积的第一结果值，可以选择表征虚拟控制器相对于键盘的原始空间取向的第一值，并且响应于所计算的卷积的第二结果值，可以选择表征虚拟控制器相对于键盘的原始空间取向的第二值，第二值可以不同于第一值。在另一示例中，表征虚拟控制器相对于键盘的原始空间取向的值可以是计算出的卷积的结果值的函数。在一些示例中，可以使用训练示例来训练机器学习模型，以从物理键盘的图像中选择表征虚拟控制器相对于物理键盘的空间取向的值。这种训练示例的示例可以包括样本物理键盘的图像和样本虚拟控制器的类型的指示，以及指示表征样本虚拟控制器相对于样本物理键盘的期望空间取向的值的标签。训练的机器学习模型可用于分析从与可穿戴扩展现实装置相关联的图像传感器接收的图像数据，以确定表征虚拟控制器相对于键盘的原始空间取向的值。在一些示例中，可以使用训练示例来训练机器学习模型，以基于物理键盘的图像来选择虚拟控制器的位置。这种训练示例的例子可以包括样本物理键盘的样本图像和样本虚拟控制器的类型的指示，以及指示样本虚拟控制器相对于样本物理键盘的期望位置的标签。训练的机器学习模型可用于分析从与可穿戴扩展现实装置相关联的图像传感器接收的图像数据，以确定表面上的第一位置。一些公开的实施方式可以还包括表征虚拟控制器与键盘之间的距离的值。在其他示例中，这些值可以表征虚拟控制器与键盘之间的角度、虚拟控制器与键盘之间的高度、虚拟控制器与键盘之间的尺寸比(或不同)等。
一些公开的实施方式可以包括使用所接收的输入来确定虚拟控制器距键盘的距离、虚拟控制器相对于键盘的角度取向、虚拟控制器位于其上的键盘的侧面或虚拟控制器的尺寸中的至少一项。在一示例中，响应于第一输入，可以选择虚拟控制器距键盘的第一距离，并且响应于第二输入，可以选择虚拟控制器距键盘的第二距离，第二距离可以不同于第一距离。在一示例中，响应于第一输入，可以选择虚拟控制器相对于键盘的第一角度取向，并且响应于第二输入，可以选择虚拟控制器相对于键盘的第二角度取向，第二角度取向可以不同于第一角度取向。在一示例中，响应于第一输入，可以选择用于定位虚拟控制器的键盘的第一侧，并且响应于第二输入，可以选择用于定位虚拟控制器的键盘的第二侧，第二侧可以不同于第一侧。在一示例中，响应于第一输入，可以选择虚拟控制器的第一尺寸，并且响应于第二输入，可以选择虚拟控制器的第二尺寸，第二尺寸可以不同于第一尺寸。在一些示例中，可以使用训练示例来训练机器学习模型，以从输入中选择用于虚拟控制器的布置的属性(诸如距键盘的距离、相对于键盘的取向、键盘的布置了虚拟控制器的一侧、虚拟控制器的尺寸等)。这种训练示例的示例可以包括样本输入和样本虚拟控制器的类型的指示，以及指示样本虚拟控制器的布置的期望属性的标签。训练的机器学习模型可用于分析输入并确定虚拟控制器距键盘的距离、虚拟控制器相对于键盘的角度取向、键盘的虚拟控制器将位于的侧面或虚拟控制器的尺寸中的至少一项。
在一些实施方式中，键盘可以包括检测器，并且检测键盘的移动可以基于检测器的输出。检测器可包括无源红外传感器、微波传感器、区域反射传感器、超声传感器、振动传感器或可用于测量对象的运动的任何其它类型的设备。用于检测键盘移动的检测器的输出可以包括温度、反射、距离、振动或对象移动的任何其它指示。例如，检测器可以是超声波运动传感器，并且可以基于通过超声波脉冲测量的反射来检测键盘的移动。在一示例中，检测器可以是室内定位传感器，并且检测器的输出可以是键盘的位置。在另一示例中，检测器可包括图像传感器，使用图像传感器拍摄的图像可使用自我运动算法来分析以检测键盘的移动。在又一示例中，检测器可包括瞄准键盘所放置的表面的光学鼠标传感器(也称为非机械跟踪引擎)，并且检测器的输出可指示键盘相对于表面的移动。
一些公开的实施方式可以包括基于从与可穿戴扩展现实装置相关联的图像传感器获得的数据来检测键盘的移动。例如，图像传感器可以是互补金属氧化物半导体(CMOS)传感器，其被设计为通过飞行时间(TOF)方法测量到对象的距离，并且来自CMOS传感器的图像数据可以用于使用TOF方法确定虚拟控制器与键盘之间的距离。在该示例中，使用TOF方法测量的虚拟控制器与键盘之间的距离可用于检测键盘的移动。在一示例中，可以使用视觉对象跟踪算法来分析从与可穿戴扩展现实装置相关联的图像传感器获得的数据，以检测键盘的移动。
在一些实施方式中，可穿戴扩展现实装置可以被配置成与多个不同的键盘配对，并且这些实施方式可以包括接收键盘选择，基于所接收的键盘选择从多个选择中选择虚拟控制器，并且基于该键盘选择显示该虚拟控制器。例如，可以基于所接收的键盘选择来访问将不同键盘与虚拟控制器的不同选择相关联的数据结构，以从多个选择中选择虚拟控制器。在一些实施方式中，基于键盘选择来显示虚拟控制器还可以包括：访问指示多个表面的数据；从放置键盘的多个表面中识别特定表面；以及基于所识别的表面来选择要显示哪个虚拟控制器。例如，可以基于特定表面来访问将不同表面与虚拟控制器的不同选择相关联的数据结构来选择要显示哪个虚拟控制器。多个不同的键盘可以包括在类型、数量或尺寸上彼此不同的键盘。键盘选择可以包括基于用户输入或自动输入的键盘选择。
用户输入可以包括点击、轻击、刷动或与可用于一些公开的实施方式的系统的任何元件的任何交互，以便从多个不同的键盘中选择键盘。例如，可以向用户呈现具有30个键的键盘与具有50个键的键盘之间的选择，并且用户可以通过按压具有30个键的键盘上的按钮来选择具有30个键的键盘，以将该键盘与可穿戴扩展现实装置配对。作为另一示例，利用相同的键盘选择，可以通过用户点击由可穿戴扩展现实装置呈现的所选键盘的虚拟图像来实现键盘选择。
自动输入可以包括基于键盘类型与期望的交互类型或虚拟控制器的兼容性而自动从多个不同键盘中选择键盘。例如，可以向用户呈现在没有音量条的键盘与具有音量条的键盘之间的选择，并且在由可穿戴扩展现实装置呈现的场景包括用户可能想要调整的声音时，可穿戴扩展现实装置可以自动选择具有音量条的键盘用于配对。
在一些实施方式中，键盘选择可以基于用户输入和自动输入的组合，使得从多个不同键盘中选择键盘是基于自动选择键盘和基于用户输入确认选择二者，自动选择键盘是基于键盘类型与期望的交互类型或虚拟控制器的兼容性。例如，可以向用户呈现在没有音量条的键盘与具有音量条的键盘之间的选择，并且当由可穿戴扩展现实装置呈现的场景包括用户可能想要调整的声音时，可穿戴扩展现实装置可以自动选择具有音量条的键盘用于配对。然后，用户可以通过点击由可穿戴扩展现实装置呈现的虚拟确认按钮来确认该自动选择。
一些公开的实施方式可以包括分析图像数据以确定与第二位置相关联的表面区域是无缺陷的；响应于确定与第二位置相关联的表面区域是无缺陷的，使得可穿戴扩展现实装置在第二位置虚拟地呈现虚拟控制器；分析图像数据以确定与第二位置相关联的表面区域包括缺陷；以及响应于确定与第二位置相关联的表面区域包括缺陷，使可穿戴扩展现实装置执行用于避免在第二位置呈现虚拟控制器的动作。缺陷可包括裂纹、变形、瑕疵、不规则性、墨渍、变色、扭结、标记、斑痕、斑点、污渍、污点、粗糙斑点、薄弱点或表面上的任何其它缺陷。基于与第二位置相关联的表面区域是否无缺陷来调整虚拟控制器的呈现可能是期望的，以确保虚拟控制器的呈现不会由于背景中的缺陷而变形或以其他方式有缺陷。例如，可以分析图像数据以确定与第二位置相关联的表面区域没有污点。如果确定与第二位置相关联的表面区域没有污点，则可穿戴扩展现实装置可以在第二位置虚拟地呈现虚拟控制器。然而，如果确定与第二位置相关联的表面区域包含污点，则可穿戴扩展现实装置可以执行用于避免在第二位置呈现虚拟控制器的动作。另外，确定与第二位置相关联的表面区域是否无缺陷可以包括在特定阈值尺寸内的缺陷的容忍。例如，宽度小于5毫米的污点可被分类为无缺陷的，从而允许可穿戴扩展现实装置在第二位置虚拟地呈现虚拟控制器，而宽度大于或等于5毫米的污点可被分类为缺陷的，从而允许可穿戴扩展现实装置可执行避免在第二位置呈现虚拟控制器的动作。
在一些实施方式中，用于避免在第二位置呈现虚拟控制器的动作包括在接近第二位置的第三位置的另一表面区域上虚拟地呈现虚拟控制器。第二位置附近的第三位置的另一表面区域可以包括至少部分地避免第二位置呈现虚拟控制器的位置的任何区域。例如，当在与第二位置相关联的表面区域中检测到缺陷时，可穿戴扩展现实装置可以将虚拟控制器虚拟地呈现在缺陷的右侧或左侧。
在一些实施方式中，用于避免在第二位置呈现虚拟控制器的动作可以包括经由可穿戴扩展现实装置提供通知，该通知指示第二位置不适于显示虚拟控制器。该通知可以包括警报、蜂鸣声、文本框、颜色变化或任何其他音频、视觉触觉或可由可穿戴扩展现实装置的用户感知的任何类型的感官指示中的任何一种或其组合。例如，当在与第二位置相关联的表面区域中检测到缺陷时，可穿戴扩展现实装置可以以虚拟控制器的形状向用户虚拟地呈现虚拟消隐对象。
一些公开的实施方式可以包括分析图像数据以确定第二位置是无边缘的；响应于确定所述第二位置是无边缘的，使可穿戴扩展现实装置在第二位置虚拟地呈现虚拟控制器；分析图像数据以确定第二位置包括边缘；以及响应于确定第二区域包括边缘，使可穿戴扩展现实装置执行用于避免在第二位置呈现虚拟控制器的动作。边缘可包括表面的边界、边缘(brink)、角部、端部、边缘(fringe)、线、边缘(lip)、边沿(margin)、外区(outskirt)、周边、边沿(rim)、侧边、界(threshold)、尖端、边缘(verge)、弯曲、边界(bound)、边缘(brim)、轮廓、限位、边框、周边或任何其它外部界限。基于与第二位置相关联的表面区域是否无边缘来调整虚拟控制器的呈现可能是合乎需要的，以便确保虚拟控制器的呈现不会因为存在于表面边缘之外的对象或背景而变形或以其它方式有缺陷。例如，可以分析图像数据以确定与第二位置相关联的表面区域没有角部。如果确定与第二位置相关联的表面区域没有角部，则可穿戴扩展现实装置可以在第二位置虚拟地呈现虚拟控制器。然而，如果确定与第二位置相关联的表面区域包含角部，则可穿戴扩展现实装置可以执行用于避免在第二位置呈现虚拟控制器的动作，以避免所呈现的虚拟图像被位于表面边界之外的对象(诸如鞋、垃圾或其它分散注意力的物品)污染。
在一些实施方式中，用于避免在第二位置呈现虚拟控制器的动作包括在接近第二位置的第三位置虚拟地呈现虚拟控制器。第二位置附近的第三位置中的另一表面区域可以包括至少部分地避免第二位置中的虚拟控制器的呈现的位置中的任何区域。例如，当在与第二位置相关联的表面区域中检测到右角部时，可穿戴扩展现实装置可以在检测到的角部的左侧虚拟地呈现虚拟控制器。
在一些实施方式中，用于避免在第二位置呈现虚拟控制器的动作包括经由可穿戴扩展现实装置提供通知，其中，该通知指示第二位置不适于显示虚拟控制器。该通知可以包括警报、蜂鸣声、文本框、颜色变化或任何其他音频、视觉、触觉、或可由可穿戴扩展现实装置的用户感知的任何类型的感官指示中的任何一种或其组合。例如，当在与第二位置相关联的表面区域中检测到角部时，可穿戴扩展现实装置可以以虚拟控制器的形状向用户虚拟地呈现虚拟消隐对象。
一些公开的实施方式可以包括分析图像数据以确定第二位置不含物理对象；响应于确定第二位置不含物理对象，使可穿戴扩展现实装置在第二位置虚拟地呈现虚拟控制器；分析图像数据以确定第二位置包括至少一个物理对象；以及响应于确定第二位置包括至少一个物理对象，使可穿戴扩展现实装置执行用于避免物理对象与虚拟控制器的控制妨碍干扰的动作。物理对象可以包括铅笔、纸、电话或不是表面本身的组成元件的表面上的任何其它对象。基于与第二位置相关联的表面区域是否没有物理对象来调整虚拟控制器的呈现可能是期望的，以确保虚拟控制器的呈现不会由于背景中的分散注意力的对象而变形或以其他方式有缺陷，并且避免物理对象与虚拟控制器的控制妨碍干扰。物理对象与虚拟控制器的控制-妨碍交互可以包括将阻碍或阻碍与虚拟控制器的通信或动作的与物理对象的任何通信或动作。例如，可以分析图像数据以确定与第二位置相关联的表面区域没有电话。如果确定与第二位置相关联的表面区域没有电话，则可穿戴扩展现实装置可以在第二位置虚拟地呈现虚拟控制器。然而，如果确定与第二位置相关联的表面区域包含电话，则可穿戴扩展现实装置可以执行用于避免电话与虚拟控制器的控制妨碍干扰的动作，以避免在用户与电话的交互和用户与虚拟控制器的交互之间引起混淆。
在一些实施方式中，用于避免在第二位置呈现虚拟控制器的动作包括在物理对象的表面上虚拟地呈现虚拟控制器。当物理对象是不对应于物理对象与虚拟控制器的显著控制-妨碍交互的类型时，这种类型的动作可能是期望的。例如，物理对象可以是用户将不会以与用户将与虚拟键盘交互的相同方式交互的纸，因为用户将不会在纸上打字。在该示例中，用于避免纸张与虚拟控制器的控制-妨碍干扰的动作可以是在纸张的表面上虚拟地呈现虚拟控制器。类似于其他实施方式，该动作还可以包括经由可穿戴扩展现实装置提供通知，该通知指示对象可能影响与虚拟控制器的交互。该通知可以包括警报、蜂鸣声、文本框、颜色变化、或任何其他音频、视觉、触觉或可由可穿戴扩展现实装置的用户感知的任何类型的感官指示中的任何一种或其组合。例如，当在与第二位置相关联的表面区域中检测到电话时，可穿戴扩展现实装置可以以虚拟控制器的形状向用户虚拟地呈现虚拟消隐对象。
一些公开的实施方式可以包括分析图像数据以确定第一位置处的表面的类型；基于第一位置处的表面的类型为虚拟控制器选择第一尺寸；在第一尺寸的表面上的第一位置中呈现虚拟控制器；分析图像数据以确定第二位置处的表面的类型；基于第二位置处的表面的类型为虚拟控制器选择第二尺寸；以及将虚拟控制器以第二尺寸呈现在表面上的第二位置。表面的类型可包括颜色、尺寸、纹理、摩擦系数或表面的任何其它方面。在一示例中，基于给定位置处的表面类型来调整虚拟控制器的尺寸可能是期望的，以确保虚拟控制器适合于该空间。例如，表面可以是桌子的非矩形顶部，该顶部在不同位置具有不同的宽度。在该示例中，可以分析图像数据以确定第一位置处的表面的尺寸为5英尺宽，并且基于第一位置处的表面的5英尺宽度为虚拟控制器选择5英尺宽度。在该示例中，虚拟控制器可以呈现在表面上具有5英尺宽度的第一位置。在该示例中，虚拟控制器的呈现还可包括分析图像数据以确定第二位置处的表面的尺寸为3英尺，并基于第二位置处的表面的3英尺宽度为虚拟控制器选择3英尺宽度。在该示例中，虚拟控制器可以以3英尺的宽度呈现在表面上的第二位置中。在另一示例中，基于给定位置处的表面的类型来调整虚拟控制器的尺寸可能是期望的，以确保在与表面交互时将虚拟控制器的尺寸调整为触觉响应。例如，当表面的摩擦系数较大时，虚拟控制器的尺寸可以较小。在一些示例中，视觉分类算法可用于分析对应于表面上的位置(例如第一位置、第二位置等)的图像数据的一部分，并将其分类为多个替代类别中的一者，每一类别可对应于表面的类型，并且借此确定第一位置处和/或第二位置处的表面的类型。此外，响应于第一位置处的表面的第一确定类型，可以将一个尺寸确定为虚拟控制器的第一尺寸，并且响应于第一位置处的表面的第二确定类型，可以将不同的尺寸确定为虚拟控制器的第一尺寸。此外，响应于第二位置处的第三确定类型的表面，可以将一个尺寸确定为虚拟控制器的第二尺寸，并且响应于第二位置处的第四确定类型的表面，可以将不同的尺寸确定为虚拟控制器的第二尺寸。
一些公开的实施方式可以包括用于虚拟地扩展物理键盘的系统，该系统包括：至少一个处理器，其被配置为：从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，所述图像数据表示放置在表面上的键盘；确定键盘与可穿戴扩展现实装置配对；接收用于使虚拟控制器的显示与键盘结合的输入；经由所述可穿戴扩展现实装置将虚拟控制器显示在表面上的第一位置，其中，在第一位置，虚拟控制器具有相对于键盘的原始空间取向；检测键盘到表面上的不同位置的移动；响应于检测到的键盘的移动，将虚拟控制器呈现在表面上的第二位置，其中，在第二位置，虚拟控制器相对于键盘的后续空间取向对应于原始空间取向。
一些公开的实施方式可以涉及用于虚拟地扩展物理键盘的方法。图49示出了根据本公开的一些实施方式的用于虚拟地扩展物理键盘的示例性方法4900。如步骤4910所示，方法4900可以涉及从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，图像数据表示放置在表面上的键盘。方法4900还可以包括确定键盘与可穿戴扩展现实装置配对，如步骤4912所示。步骤4914示出了方法4900还可以包括接收用于使虚拟控制器的显示与键盘结合的输入。如步骤4916所示，方法4900还可以包括经由可穿戴扩展现实装置在表面上的第一位置显示虚拟控制器，其中，在第一位置，虚拟控制器具有相对于键盘的原始空间取向。方法4900还可以包括检测键盘到表面上不同位置的移动，如步骤4918所示。如步骤4920所示，方法4900还可以包括响应于检测到的键盘的移动，在表面上的第二位置呈现虚拟控制器，其中，在第二位置，虚拟控制器相对于键盘的后续空间取向对应于原始空间取向。
当用户处于不同的移动状态时，虚拟内容可以被不同地消费。例如，当用户静止(例如，停留在相同的地方、躺下、坐下、直立等)时和当用户移动(例如，从一个地方移动到另一个地方、步行、跑步等)时，虚拟内容可以被不同地消费。当在扩展现实环境中和/或经由可穿戴扩展现实装置消费虚拟内容时，虚拟内容可以干扰物理环境中的安全和/或有效的移动。例如，虚拟内容可隐藏或模糊物理环境的元件，虚拟内容可从物理环境中的元件吸引用户的注意，等等。因此，当用户移动时，可能希望限制虚拟内容的呈现以最小化虚拟内容对移动的干扰。另一方面，当用户静止时，可能希望避免这种限制以增加用户的参与、效率和/或沉浸。因此，期望当用户静止时和当用户移动时具有虚拟内容的不同呈现。在不同呈现之间手动切换可能是繁重的。此外，用户可能避免切换，从而避免移动时受伤的风险。因此，期望基于用户的移动状态在不同的呈现之间自动切换。
一些公开的实施方式可以包括包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使得至少一个处理器执行用于协调虚拟内容显示与移动状态的操作。虚拟内容可以包括虚拟对象、无生命的虚拟内容、被配置为随时间或响应于触发而改变的有生命的虚拟内容、虚拟二维内容、虚拟三维内容、物理环境的一部分或物理对象上的虚拟覆盖层、物理环境或物理对象的虚拟添加、虚拟促销内容、物理对象的虚拟表示、物理环境的虚拟表示、虚拟文档、虚拟人物或人物角色、虚拟计算机屏幕(本文中也称为虚拟显示器)、虚拟窗口小部件或用于虚拟显示信息的任何其它格式。根据本公开，虚拟内容可以包括由计算机或处理设备呈现的任何视觉呈现。在一个实施方式中，虚拟内容可以包括虚拟对象，该虚拟对象是由计算机在受限区域中呈现并被配置成表示特定类型的对象(诸如无生命的虚拟对象、有生命的虚拟对象、虚拟家具、虚拟装饰对象、虚拟窗口小部件或其它虚拟表示)的视觉呈现。所呈现的视觉呈现可以改变以反映状态对象的改变或对象的视角的改变，例如以模仿物理对象外观的改变的方式。
移动状态可包括位置、角度、定位、速度、加速度、活动水平、活动类型或移动或没有移动的任何指示。例如，移动状态可以包括行走状态、行走速度或行走加速度。作为另一示例，移动状态可包括久坐状态或久坐时间段。协调虚拟内容显示与移动状态可包括关联、联系、相互关联、耦合、修改、控制或以任何其它方式链接虚拟内容显示与移动状态。例如，协调虚拟内容显示与移动状态可以包括当存在特定移动状态时显示特定类型的虚拟内容。作为另一示例，将虚拟内容显示与移动状态进行协调可以包括当存在特定移动状态时在指定时间段内显示虚拟内容。在又一示例中，协调虚拟内容显示与移动状态可以包括当存在特定移动状态时显示或隐藏虚拟内容显示的某些部分。在附加示例中，协调虚拟内容显示与移动状态可以包括基于移动状态来改变虚拟内容显示的呈现的属性，诸如尺寸、位置、不透明度、亮度等。
一些公开的实施方式可以包括将多个用户移动状态与多个显示模式相关联的访问规则，用于经由可穿戴扩展现实装置呈现虚拟内容。规则可以包括命令、指示、公式、指南、模型、指示、过程、规范或管理状态或动作的任何其它原则。访问规则可以包括获得、收集、提取、引用或以任何其它方式获得、检查或检索规则。例如，可以通过查询该规则来从数据库访问该规则。在一些示例中，查询可以因为满足条件来触发。在其他示例中，查询可以由用户触发。在一示例中，访问一个或更多个规则可以包括访问定义对应于该一个或更多个规则的算法的计算机指令。在另一示例中，访问一个或更多个规则可以包括访问将移动状态与显示模式相关联的数据结构，该数据结构被配置为使得能够基于移动状态来检索显示模式(诸如地图数据结构、字典数据结构等)。用户移动状态可包括位置、角度、定位、速度、加速度、活动水平、活动类型或用户的移动或缺乏移动的任何指示，与另一对象的任何此类指示相反。例如，用户移动状态可以包括用户的行走状态、行走速度或行走加速度。作为另一示例，移动状态可包括用户的久坐状态或用户久坐的时间段。显示模式可以包括颜色、亮度、不透明度、角度、透视、可见度、显示区域、显示尺寸、显示对象类型的指示、显示对象的数量或显示的任何其它视觉方面。例如，显示模式可以包括呈现没有信息模糊的文档。在另一示例中，显示模式可包括呈现一些部分被掩盖而模糊的文档和其它部分未被掩盖的文档。在又一示例中，第一显示模式可包括第一尺寸和第一区域处的虚拟内容(诸如特定虚拟对象)的呈现，而第二显示模式可包括第二尺寸(其可不同于第一尺寸)和第二区域(其可不同于第一区域)处的相同虚拟内容(例如，特定虚拟对象)的呈现。
在一些实施方式中，所访问的规则可以将显示模式与用户移动状态相关联，用户移动状态包括坐着状态、站立状态、行走状态、跑步状态、骑车状态或驾驶状态中的至少两个。坐着状态可包括使用者坐在椅子上、坐在汽车上、坐在地板上的状态，或与使用者坐在任何表面上相关的任何其它状态。站立状态可以包括用户直立、伸直、伸展的状态，或与用户具有或保持由用户的脚支撑的直立或几乎直立的位置相关联的任何其他状态。行走状态可以包括用户徒步旅行、远足、游行、行走、散步、漫步、大步走的状态，或与用户徒步移动相关联的任何其他状态。跑步状态可以包括用户赛跑、奔跑、冲刺、飞奔、猛冲、慢跑、短跑的状态，或与用户以比步行快的速度步行移动相关联的任何其他状态。骑车状态可以包括用户骑自行车、坐在自行车上、骑锻炼自行车或坐在锻炼自行车上的状态。应当理解，自行车可以包括任何数量的车轮。例如，自行车可包括单轮车、自行车、三轮车或任何其它类型的自行车。驾驶状态可以包括用户驾驶车辆、坐在车辆中、启动车辆的状态，或与用户与任何类型的机动车辆交互相关联的任何其他状态。
在一些实施方式中，所访问的规则可以将用户移动状态与多个显示模式相关联，所述显示模式包括工作模式、娱乐模式、体育活动模式、活跃模式、睡眠模式、跟踪模式、静止模式、私有模式或公开模式中的至少两种。工作模式可以是显示模式，包括涉及文档、电子表格、消息、任务或可能与涉及为实现目的或结果所做的精神或身体努力的任何活动相关的任何其他信息的显示。娱乐模式可以是显示模式，包括涉及电视、电影、图像、游戏或与涉及提供或被提供娱乐或乐趣的任何活动相关的任何其他信息的显示。体育活动模式可以是显示模式，包括涉及游戏、运动数据、团队统计、玩家统计的显示，或者可以与任何活动相关的任何其他信息，所述任何活动包括个体或团队与另一个或其他人竞争的体力活动和技能。活跃模式可以是显示模式，包括涉及健康统计、心率、新陈代谢、速度、个人记录、身高、体重或可能与需要体力劳动的任何活动相关的任何其他信息的显示，所述体力劳动可以被执行以维持或改善健康和身体素质。睡眠模式可以是显示模式，包括涉及睡眠持续时间、睡眠周期、睡眠状况、睡眠障碍的显示，或者可以与涉及自然休息状态的任何活动相关的任何其他信息，在所述自然休息状态期间个体的眼睛闭合并且个体变得无意识。跟踪模式可以是包括显示器的显示模式，涉及健身跟踪器、心率计、天气跟踪器或可与跟随任何类型的信息的过程相关的任何其它信息。静止模式可以是显示模式，包括涉及电视节目、电影、文档或任何其他类型的信息的显示，这些信息对于处于坐着或坐着的位置的用户可能是适当的或期望的。私有模式可以是包括显示器的显示模式，该显示器涉及模糊的、变黑的或被遮挡的部分，或以限制一个特定人或一组人访问或使用的方式呈现的任何其他类型的信息。公开模式可以是显示模式，包括涉及未遮挡部分、广泛可用的信息、网站或属于任何人或能够被任何人访问的任何其它类型的信息的显示。
在一些实施方式中，多个显示模式中的每一者可与多个显示参数值的特定组合相关联，并且所述操作可还包括从用户接收输入以调整与至少一个显示模式相关联的显示参数值。显示参数可包括与视觉呈现相关联的任何值或数据。在一些实施方式中，多个显示参数可包括不透明级别、亮度级别、色彩方案、尺寸、取向、分辨率、所显示功能或对接行为中的至少一些。例如，私有显示模式可以与不透明级别和亮度级别的值的特定组合相关联，使得在私有显示模式中，所显示的信息可能不是高度可见的。接收来自用户的输入可以包括与被配置成接收来自用户或用户环境的输入并将数据提供给计算设备的任何物理设备的任何用户交互。提供给计算设备的数据可以是数字格式和/或模拟格式。在一个实施方式中，输入设备可以将从用户接收到的输入存储在可由处理设备访问的存储器设备中，并且处理设备可以访问所存储的数据以进行分析。在另一实施方式中，输入设备可以直接向处理设备提供数据，例如通过总线或通过被配置为将数据从输入设备传送到处理设备的另一通信系统。在一些示例中，由输入设备接收到的输入可以包括键按压、触觉输入数据、运动数据、位置数据、方向数据或用于提供计算的任何其他数据。输入设备的一些示例可包括按钮、键、键盘、计算机鼠标、触摸板、触摸屏、操纵杆或可从其接收输入的另一机构。调整显示参数的值可以包括增加、减少、替换、去除或以任何其它方式修改这些值。例如，接收来自用户的输入以调整显示参数的值可以包括用户在键盘中输入值五以替换与显示器相关联的缩放值四，其中，修改将导致更加放大的显示。
一些公开的实施方式可以包括从与可穿戴扩展现实装置相关联的至少一个传感器接收第一传感器数据，第一传感器数据可以反映该可穿戴扩展现实装置的用户在第一时间段期间的移动状态。反映用户的移动状态的传感器数据可以包括位置、地点、角度、速度、加速度、仰角、心率或可由检测或测量与移动或缺乏移动相关联的物理属性的任何设备获得的任何其他信息。例如，反映移动状态的传感器数据可以包括反映以测量速度移动的用户的速度测量结果。在另一示例中，反映移动状态的传感器数据可以包括反映用户从一个位置移动到另一位置的位置变化的测量结果。作为另一示例，反映移动状态的传感器数据可包括指示用户正在锻炼的心率测量，或指示用户久坐的心率测量。时间段可以包括周期、日期、持续时间、跨度、一段时间、期限、间隔或任何时间范围。例如，反映可穿戴扩展现实装置的用户在第一时间段期间的移动状态的传感器数据可以包括超过三十秒的平均速度测量结果，其指示用户是否移动了显著的量，或者用户是否仅具有短暂的移动突发。
一些公开的实施方式可以包括：基于第一传感器数据，确定在第一时间段期间，可穿戴扩展现实装置的用户与第一移动状态相关联。这种关联可以通过任何链接信息的方式来实现，例如使传感器数据与移动状态相关联的参考数据结构、数据库或查找表。例如，第一传感器数据可以包括十分钟内每小时三英里的平均速度测量值，其可以与行走移动状态相关联。在另一示例中，第一传感器数据可以包括每分钟150次心跳的心率测量，其可以与锻炼移动状态相关联。在一些示例中，可以使用训练示例来训练机器学习模型，以从传感器数据确定与可穿戴扩展现实装置的用户相关联的移动状态。这样的训练示例的示例可以包括使用样本可穿戴扩展现实装置捕获的样本传感器数据，以及指示在对应于捕获样本传感器数据的时间段中与样本可穿戴扩展现实装置的用户相关联的移动状态的标签。在一示例中，训练的机器学习模型可用于分析第一传感器数据并确定在第一时间段期间可穿戴扩展现实装置的用户与第一移动状态相关联。在另一示例中，训练的机器学习模型可用于分析第二传感器数据(如下所述)并在第二时间段(如下所述)期间确定可穿戴扩展现实装置的用户与第二移动状态(如下所述)相关联。
一些公开的实施方式可以包括实现至少第一访问规则以经由与第一移动状态相关联的可穿戴扩展现实装置生成虚拟内容的第一显示。虚拟内容的显示可以包括虚拟内容的全部或部分呈现。例如，虚拟内容的第一显示可以包括完整的、未遮挡的文档。在另一示例中，虚拟内容的第一扩展现实显示可包括具有因模糊而费解的某些部分和未模糊的其它部分的文档。虚拟内容的显示还可包括虚拟对象、虚拟屏幕(本文中也称为虚拟显示器)或以任何颜色、形状、尺寸、透视或对象的任何其它类型的可见属性呈现的虚拟场景的任何部分或全部。例如，虚拟内容的显示可以包括其原始大小的虚拟树。在另一示例中，虚拟内容的显示可包括放大的虚拟树。实现访问规则以经由与第一移动状态相关联的可穿戴扩展现实装置生成虚拟内容的显示可以包括以任何方式参考该规则，诸如经由查找表或如上所述，其将显示模式与第一移动状态相关联，并且经由可穿戴扩展现实装置呈现基于显示模式的虚拟内容的呈现。例如，当确定第一移动状态是行走时，处理器可以参考查找表来识别将行走状态与和用户移动方向相反的虚拟内容的显示模式相关联的规则。在这样的实施方式中，处理器可以经由可穿戴扩展现实装置在不处于用户的移动方向上的区域中显示虚拟内容。
一些公开的实施方式可以包括从至少一个传感器接收第二传感器数据，第二传感器数据反映在第二时间段期间用户的移动状态。可以按照类似于以上针对第一传感器数据所讨论的方式来接收反映用户的移动状态的第二传感器数据。第二传感器数据可以是与第一传感器数据类似的类型。例如，第一传感器数据和第二传感器数据都可以包括速度测量结果。第二传感器数据也可以是与第一传感器数据不同的类型。例如，第一传感器数据可以包括速度测量结果，而第二传感器数据可以包括心率测量结果。第二时间段可以具有与上述第一时间段相似的特性。例如，反映可穿戴扩展现实装置的用户在第二时间段期间的移动状态的传感器数据可以包括超过三十秒的速度的平均测量结果，其指示用户是否移动了显著的量，或者用户是否仅具有短暂的移动突发。第二时间段可以在持续时间上类似于第一时间段。例如，第一时间段和第二时间段都可以是十分钟。第二时间段还可以包括与第一时间段不同的持续时间。例如，第一时间段可以是五分钟，而第二时间段可以是十五分钟。
一些公开的实施方式可以包括基于第二传感器数据来确定在第二时间段期间，可穿戴扩展现实装置的用户与第二移动状态相关联。这种关联可以通过与上面针对第一传感器数据所讨论的类似的链接装置来实现。第二移动状态可以类似于第一移动状态。例如，第一移动状态和第二移动状态两者可以都是行走状态。或者，第二移动状态可以不同于第一移动状态。例如，第一移动状态可以是坐着状态，而第二移动状态可以是站立状态。
一些公开的实施方式可以包括实现至少第二访问规则以经由与第二移动状态相关联的可穿戴扩展现实装置生成虚拟内容的第二显示，其中，虚拟内容的第二显示可以不同于虚拟内容的第一显示。虚拟内容的第二显示可以以类似于以上针对虚拟内容的第一显示所讨论的方式来实现。实现访问规则以经由与第二移动状态相关联的可穿戴扩展现实装置生成虚拟内容的显示可以包括以诸如查找表或如上所述的将显示模式与第二移动状态相关联的任何方式引用该规则，并且经由可穿戴扩展现实装置呈现基于显示模式的虚拟内容的呈现。例如，当确定第二移动状态是坐着时，处理器可以参考查找表来识别将坐着状态与用户前方的虚拟内容的显示模式相关联的规则。在这样的实施方式中，处理器可以在用户前面的区域中显示虚拟内容。虚拟内容的第二显示可以在示出的部分、颜色、尺寸、透视、角度、呈现区域、不透明度、尺寸或虚拟内容的任何其他视觉方面不同于虚拟内容的第一显示。例如，虚拟内容的第一显示可以包括彩色图像，而虚拟内容的第二显示可以包括黑白图像。在另一示例中，虚拟内容的第一显示可包括移动场景，而虚拟内容的第二显示可包括静止场景。在又一示例中，虚拟内容的第一显示可包括与用户的运动方向相反地呈现虚拟内容，而虚拟内容的第二显示可包括在所有方向上呈现虚拟内容。在另外的示例中，虚拟内容的第一显示可以包括呈现具有一个不透明度的虚拟内容，而虚拟内容的第二显示可以包括呈现具有不同不透明度的虚拟内容。在附加示例中，虚拟内容的第一显示可包括以第一尺寸呈现虚拟内容，而虚拟内容的第二显示可包括以不同尺寸呈现虚拟内容。
在一些示例中，第二时间段可以晚于第一时间段。此外，实现至少第二访问规则以经由所述可穿戴扩展现实装置生成虚拟内容的第二显示可以包括使虚拟内容的显示逐渐从与第一移动状态相关联的第一显示过渡到与第二移动状态相关联的第二显示。例如，虚拟内容可以包括多个元件，并且逐渐转变可以包括：当用户不与特定元件交互时，将特定元件从与第一移动状态相关联的第一显示转变到与第二移动状态相关联的第二显示，并且当用户与特定元件交互时，拒绝特定元件从与第一移动状态相关联的第一显示转变到与第二移动状态相关联的第二显示。在另一示例中，虚拟内容可以包括多个元件，并且逐渐转变可以包括：当特定元件在(例如，用户的、可穿戴扩展现实装置的等的)视场之外时，将特定元件从与第一移动状态相关联的第一显示转变到与第二移动状态相关联的第二显示，并且当特定元件处于视场中时，拒绝将特定元件从与第一移动状态相关联的第一显示转换到与第二移动状态相关联的第二显示。
图50A至图50D示出根据本公开的一些实施方式的与不同移动状态协调的各种虚拟内容显示的示例。如图50A所示，当用户处于坐着的移动状态5010时，可以呈现虚拟内容的第一显示5012。例如，当用户坐着时，可穿戴扩展现实装置可以呈现更适合于在坐着的位置观看或与之交互的虚拟内容，如用于观看或编辑的文档。如图50B所示，当用户处于站立的移动状态5014时，可以呈现虚拟内容的第二显示5016。例如，当用户站立时，可穿戴扩展现实装置可以呈现可能更适合于在站立位置观看或与其交互的虚拟内容，如消息的通知。如图50C所示，当用户处于行走的移动状态5018时，可以呈现虚拟内容的第三显示5020。例如，当用户在行走时，可穿戴扩展现实装置可以呈现可能更适合于在行走位置观看或与其交互的虚拟内容，如计步器。如图50D所示，当用户处于跑步的移动状态5022时，可以呈现虚拟内容的第四显示5024。例如，当用户在跑步时，可穿戴扩展现实装置可以呈现可能更适合于在跑步位置观看或与其交互的虚拟内容，如当用户在跑步时用户的心率动态。
在一些实施方式中，当用户处于坐着的移动状态5010时，可以呈现虚拟内容的第一显示。例如，当用户坐着时，可穿戴扩展现实装置可以以适合于在坐着的位置观看或交互的方向或位置呈现虚拟内容(如虚拟文档)，如在用户的前面，例如在用户的眼睛高度或附近。此外，当用户处于站立的移动状态5014时，可以呈现虚拟内容的第二显示。例如，当用户站立时，可穿戴扩展现实装置可以以适合于在站立位置观看或交互的方向或位置呈现虚拟内容(如虚拟文档)，如在用户前方，例如在用户的眼睛高度或之下。此外，当用户处于行走的移动状态5018或处于跑步的移动状态5022时，可以呈现虚拟内容的第三显示。例如，当用户行走时，可穿戴扩展现实装置可以以适于在行走位置观看或交互的方向或位置呈现虚拟内容(如虚拟内容)，如与用户的移动方向相反，和/或明显低于用户的眼睛高度。
在一些实施方式中，当用户处于坐着的移动状态5010时，可以呈现虚拟内容的第一显示。例如，当用户坐着时，可穿戴扩展现实装置可以以适合于在坐着的位置观看或交互的尺寸和/或不透明度，例如以大尺寸和/或高不透明度来呈现虚拟内容(如虚拟显示器)。此外，当用户处于行走的移动状态5018或处于跑步的移动状态5022时，可以呈现虚拟内容的第二显示。例如，当用户正在行走或跑步时，可穿戴扩展现实装置可以以适合于在行走或跑步位置观看或交互的尺寸和/或不透明度来呈现虚拟内容(如虚拟显示器)，如以比用户坐着时小的尺寸和/或低的不透明度。
一些公开的实施方式可以包括基于第一传感器数据和与用户相关联的历史数据来确定第一时间段期间用户的移动状态，并且基于第二传感器数据和历史数据来确定第二时间段期间用户的移动状态。历史数据可包括先前由处理器自动或通过用户输入获取的数据。先前由处理器自动获取的数据可以包括由处理器保存的数据，因为它满足足以获取的某个条件。例如，处理器可以被配置为将类似于指示某个移动状态的传感器数据的任何传感器数据保存为历史数据，以更好地训练处理器，例如通过机器学习算法来识别可以指示移动状态的传感器数据。先前由处理器通过用户输入获取的数据可包括由用户与鼠标、触摸板、键盘或能够将用户交互转换成可由处理器保存的信息的任何其它设备交互而输入到处理器中的数据。例如，用户可以将某些传感器数据与锻炼状态相关联，而处理器未自动地将该传感器数据与锻炼状态相关联。在这样的示例中，用户可以输入与锻炼状态相关联的传感器数据作为历史数据，使得在将来，处理器可以将该传感器数据与锻炼状态相关联。由于不同用户之间的移动差异，以这种方式使用历史数据可能是期望的。例如，对于一些用户，某一速度可与跑步的移动状态相关联，而对于另一用户，相同速度可与行走的移动状态相关联。历史数据可以包括关于用户、传感器、可穿戴扩展现实装置、连接到可穿戴扩展现实装置或与可穿戴扩展现实装置一起使用的设备的任何信息或从用户、传感器、可穿戴扩展现实装置、连接到可穿戴扩展现实装置或与可穿戴扩展现实装置一起使用的设备测量的任何信息，或可以被输入到处理器中的任何信息。例如，历史数据可以包括用户标识，例如用户的姓名、体重或身高。在其他示例中，历史数据可以包括用户正在使用的可穿戴扩展现实装置的细节，诸如设备类型、设备型号或设备配置。
在一些实施方式中，至少一个传感器可以包括可穿戴扩展现实装置内的图像传感器，并且操作还可以包括分析使用所述图像传感器捕获的图像数据以识别第一移动状态和第二移动状态之间的切换。图像传感器可以包括电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)或检测和传送与图像相关的信息的任何其它器件。图像数据可包括像素信息、图像大小、分辨率、景深、对象类型、对象数量以及可与图像相关的任何其它信息。第一移动状态与第二移动状态之间的切换可以包括速度、位置、姿态、活动、位置的改变，或者第一移动状态与第二移动状态之间的任何其它转变。例如，结合到可穿戴扩展现实装置中的相机中的CCD器件可以检测处于第一移动状态的用户(在该整体中，用户正在站立)，并且基于CCD器件在图像中检测到的对象的变化来确定移动状态已经切换到行走的第二移动状态。另外地或可选地，例如，CCD器件可以基于在图像中检测到的一个或更多个对象的速度或加速度的变化来确定移动状态的变化。在一示例中，可以使用二进制视觉分类算法将图像数据分类为两个备选类别“在移动状态之间切换”和“在移动状态之间没有切换”中的一个，并且由此识别移动状态中的切换。在另一示例中，可使用多类分类器将图像数据分类为三个或超过三个替代类别中的一者，所述替代类别中的一者可对应于在移动状态中没有切换，并且所述替代类别中的任何其它类别可对应于从一个特定类别到另一特定类别的切换(例如，“从坐到行走”、“从站立到坐”、“从行走到跑步”等)。在又一示例中，可以使用自我运动算法来分析图像数据以测量可穿戴扩展现实装置内的至少一个图像传感器的移动量(并且因此测量可穿戴扩展现实装置的移动量)，并且可以基于移动(例如，基于移动量与所选阈值的比较结果)来识别第一移动状态与第二移动状态之间的切换，或如下所述)。
在一些实施方式中，至少一个传感器可以包括至少一个运动传感器，所述至少一个运动传感器被包括在可连接到可穿戴扩展现实装置的计算设备中，并且所述操作还可以包括分析使用至少一个运动传感器捕获的运动数据以识别第一移动状态与第二移动状态之间的切换。运动传感器可包括无源红外传感器、微波传感器、区域反射传感器、超声传感器、振动传感器、加速度计或可用于测量对象或表面的移动的任何其它类型的设备。在另一示例中，运动传感器可以包括图像传感器，并且可以使用自我运动算法和/或视觉定位算法来分析使用图像传感器捕获的图像数据以确定运动。运动数据可以包括位置、距离、尺寸、角度、速度、加速度、旋转或关于对象或表面的移动的任何其他信息。第一移动状态与第二移动状态之间的切换可以包括速度、位置、姿态、活动、位置的改变，或者第一移动状态与第二移动状态之间的任何其它转变。例如，结合到可穿戴扩展现实装置的壳体中的红外传感器可以检测处于用户站立的第一移动状态的用户，并且基于由红外传感器检测到的速度变化来确定移动状态已经切换到行走的第二移动状态。运动传感器可以通过多种方式连接到可穿戴扩展现实装置。在某些实施方式中，运动传感器可以结合在可穿戴扩展现实装置中。在其它实施方式中，运动传感器可以通过有线连接连接到可穿戴扩展现实装置。在其他实施方式中，运动传感器可以通过无线连接连接到可穿戴扩展现实装置。无线连接可以利用WiFi、BluetoothTM或在运动传感器与可穿戴扩展现实装置之间没有有线连接的情况下发送信息的任何其他通道。例如，可穿戴扩展现实装置可以是经由蓝牙TM与超声传感器无线配对的智能电话。
一些公开的实施方式可包括在第一时间段期间以工作模式显示特定虚拟对象，并且在第二时间段期间以体育活动模式显示特定虚拟对象。虚拟对象可包括由计算机呈现并被配置成表示特定类型的对象(诸如无生命的虚拟对象、有生命的虚拟对象、虚拟家具、虚拟装饰对象、虚拟窗口小部件或其它虚拟表示)的视觉呈现。例如，虚拟对象可以包括虚拟窗口，并且扩展现实显示可以包括第一虚拟窗口和第二虚拟窗口，第一虚拟窗口包括文档，并且第二虚拟窗口包括用户所玩的运动队的统计。在工作模式中，包括文档的第一虚拟窗口可以呈现在包括运动队统计的第二虚拟窗口之上。在体育活动模式中，包括文档的第一虚拟窗口可以在包括运动队统计的第二虚拟窗口之下。在另一示例中，在工作模式中，虚拟对象可以位于扩展现实环境中的固定位置处，并且由于可穿戴扩展现实装置的较小移动而可能没有从该位置移动离开，而在体育活动模式中，虚拟对象可以被配置为随着可穿戴扩展现实装置的移动而在扩展现实环境中移动。
一些公开的实施方式可以包括在第一时间段期间以活跃模式显示特定虚拟对象，并且在第二时间段期间以睡眠模式显示特定虚拟对象。可能希望在不同时间段期间以活跃模式或睡眠模式显示虚拟对象，以呈现更适合于给定时间段的显示。在一些时间段中，用户可能更可能处于活跃模式，诸如在白天、当用户不处于躺卧位置时等。在这样的时间期间，可能希望以与一天中活动一致的模式呈现虚拟对象。在其他时间段中，用户可能更可能处于睡眠模式，诸如在夜晚期间、当用户处于躺卧位置时等。在这些时间期间，可能希望以与夜间睡眠一致的模式呈现虚拟对象。例如，虚拟对象可以包括虚拟时钟。在活跃模式中，虚拟时钟可以以最大亮度显示，使得用户在四处移动时可以很好地看到时钟。在睡眠模式中，虚拟时钟可以以最小亮度显示，使得时钟不干扰用户的睡眠。
一些公开的实施方式可以包括在第一时间段期间以私有模式显示特定虚拟对象，并且在第二时间段期间以公开模式显示特定虚拟对象。可能希望在不同的时间段期间以私有或公开模式显示虚拟对象，以在适当的时间期间保持通过虚拟对象呈现的信息的隐私。在一些时间段中，用户可能更有可能处于私有环境中，例如家中。在这些时间期间，可能希望以与在家中观看一致的模式呈现虚拟对象。在其他时间段中，用户可能更可能在公共环境中，例如购物中心或公园。在这些时间期间，可能希望以与在不能访问包含在虚拟对象中的私有信息的人之间的观看一致的模式呈现虚拟对象。例如，虚拟对象可以包括虚拟文档，虚拟文档包含旨在仅由用户访问的部分和旨在由任何人访问的部分。在私有模式中，虚拟文档可以与未遮挡的整个文档一起呈现。在公开模式中，虚拟文档可以被这样呈现：，这些部分通过模糊化、涂黑或通过使用防止被用户以外的任何人访问的任何其它方式，使旨在仅由用户访问的部分变得模糊。
在一些实施方式中，生成与第一移动状态相关联的第一显示包括使用第一显示模式来显示第一虚拟对象，并且使用第二显示模式来显示第二虚拟对象。将显示模式与显示中的每个虚拟对象相关联以呈现具有适合于虚拟对象类型的特征的虚拟对象可能是合乎需要的。一些虚拟对象可能更适合于私有显示模式，例如包含敏感的私有信息的文档。其他虚拟对象可能更适合于公开显示模式，包括用户想要自由地与其他人共享的信息，例如时间。将单个显示模式与这两个虚拟对象相关联可能是不期望的，因为私有文档将被公开，或者用户将不能与其他人共享时间信息。因此，可能希望将显示模式与显示中的每个虚拟对象相关联。第一显示模式和第二显示模式可以是相似的。例如，第一显示模式和第二显示模式都可以是彩色的。在另一示例中，第一显示模式和第二显示模式都可以是不模糊的。或者，第一显示模式和第二显示模式可以是不同的类型。例如，第一虚拟对象可以是时钟，而第二虚拟对象可以是照片。在该示例中，时钟可以通过第一显示模式以彩色显示，并且照片可以通过第二显示模式以黑白显示。在另一示例中，第一虚拟对象可以是日历，而第二虚拟文档可以是私有文档。在该示例中，日历可以通过不模糊的第一显示模式显示，而私有文档可以以模糊的第二显示模式显示。
一些公开的实施方式可以包括在第一时间段期间以公开模式显示第一虚拟对象和以私有模式显示第二虚拟对象。例如，第一虚拟对象可以是虚拟文档，而第二虚拟对象可以是虚拟球。在用户可能需要访问私有和公开信息二者的时间段期间，当用户在公开位置(例如商场或公园)时，这种类型的显示可能是期望的。通过在这样的时间段期间提供一个虚拟对象以公开模式显示而另一个虚拟对象以私有模式显示，用户能够观看他们想要观看的所有对象而不用担心将任何私有信息暴露给其他人。在公开模式中，虚拟文档可以以如下方式呈现：不打算用于一般访问的部分被模糊化或涂黑。在私有模式中，虚拟球可以不对用户遮挡地显示。在另一示例中，第一虚拟对象可以是购物应用的虚拟窗口，而第二虚拟对象可以是银行应用的虚拟窗口。在公开模式中，购物应用的虚拟窗口可以显示有未模糊呈现的所有待售物品，而与支付信息相关联的任何部分通过模糊化或涂黑而被模糊呈现。在私有模式中，银行应用的虚拟窗口可不遮挡地显示所有部分。
一些公开的实施方式可包括在第二时间段期间改变第一虚拟对象的第一显示模式并维持第二虚拟对象的第二显示模式。改变一种显示模式同时保持另一种显示模式对于在第二时间段期间针对虚拟对象关联更适当的显示模式可能是期望的。在一些时间段中，用户可能更有可能从一个显示模式适合的一个位置离开到另一显示模式更适合的另一位置。在这些时间期间，可能希望仅改变一种显示模式，而保持另一种显示模式，使得如果一种显示模式在另一位置处不适当，则用户不必在同一显示模式下观看两个虚拟对象。例如，第一虚拟对象可以是虚拟时钟，而第二虚拟对象可以是虚拟日历。在第一时间段期间，例如当用户在体育赛事时，虚拟时钟可以用彩色显示，而虚拟日历可以用黑白显示。在这样的时间期间，在两个虚拟对象之间具有对比度并强调时钟可能是适当的，使得用户可以更好地注意体育比赛期间的时间。在该示例中，在第二时间段期间，如当体育赛事结束或用户回家时，虚拟时钟可以以黑白显示，如从彩色显示模式改变，而虚拟日历可以保持在黑白显示模式。在这样的时间期间，在两个虚拟对象之间没有对比度并且不强调时钟可能是适当的，因为用户可能不需要主动查看该时间。
一些公开的实施方式可以包括在第二时间段期间使用第三显示模式来显示第一虚拟对象和第二虚拟对象。在这种显示是适当的时间期间，这种类型的显示可能期望以单个显示模式呈现所有虚拟对象。在一些时间段中，用户可能不希望或不需要以不同的显示模式呈现各种虚拟对象。在其中这可以适用的一些情形可以包括其中用户希望虚拟对象相对于用户正在观看的物理对象处于背景视图中，或者其中用户可能想要以相同的方式观看所有虚拟对象。第三显示模式可以与第一显示模式和第二显示模式相同。或者，第三显示模式可以不同于第一显示模式和/或第二显示模式。例如，第一虚拟对象可以是虚拟时钟，而第二虚拟对象可以是虚拟日历。在第一时间段期间，可以用彩色显示虚拟时钟，并且可以用黑白显示虚拟日历。在第二时间段期间，当从彩色显示模式改变时，虚拟时钟可以以黑白显示，而虚拟日历可以保持在黑白显示模式。在该示例中，在第二时间段期间，虚拟时钟和虚拟日历可以以50％的不透明度水平显示。
在一些实施方式中，访问规则还可以针对不同的移动状态将不同的显示模式与不同类型的虚拟对象相关联。如上所述，一个或更多个规则可以将显示模式与移动状态相关联。在一些实施方式中，一个或更多个规则可以将不同的显示模式与不同类型的虚拟对象相关。虚拟对象可包括由计算机在受限区域中呈现并被配置成表示特定类型的对象的任何视觉呈现，如上所述。对于用不同类型的虚拟对象呈现具有可能更适合于该类型的虚拟对象的特征来说，不同的显示模式可能是期望的。一些虚拟对象(例如文档或网页)可能需要与为了隐私而使文本的某些部分模糊化或进行标记或为了突出应用相关联的显示模式。诸如日历或地图等其它虚拟对象可能需要与不同着色方案、大小、或与显示日期、事件或方向相关联的尺寸相关联的显示模式。在这种情况下，使所有显示模式与所有虚拟对象相关联可能是不期望的或不高效的，因为模糊化可能不适用于显示某些日历事件，而不同的着色方案可能不适用于显示某些文档。例如，访问规则可以关联涉及用于包括文本的虚拟对象(诸如文档和电子表格)的文本大小的显示模式，而访问规则可以关联涉及用于包含敏感信息的虚拟对象(如包含用户的个人金融信息的虚拟银行应用窗口)的模糊化或涂黑的显示模式。
在一些实施方式中，不同类型的虚拟对象可以包括以下中的至少两个：工作相关的虚拟对象、健康相关的虚拟对象、旅行相关的虚拟对象、财务相关的虚拟对象、体育相关的虚拟对象、社交相关的虚拟对象、对接的虚拟对象、未对接的虚拟对象。可能期望具有多于一种类型的虚拟对象，使得可穿戴扩展现实装置的用户可以在单个显示器中观看多种类型的信息，而不必移动到不同的显示器来观看每种类型的信息。这可以允许传送更大量的信息，并且允许与不同类型的虚拟对象相关联的许多不同任务之间的多任务。工作相关的虚拟对象可以包括计划器、日程表、文档、电子表格或与涉及为实现目的或结果所做的精神或身体努力的任何活动相关联的任何其他对象中的一个或更多个。健康相关的虚拟对象可以包括健康跟踪器、心率监视器、体重监视器、身高监视器或与任何生理方面相关联的任何其他对象中的一个或更多个。旅行相关的虚拟对象可以包括地图、票、交通监视器、通行证或与从一个地方到另一个地方的任何移动相关联的任何其他对象中的一个或更多个。财务相关的虚拟对象可以包括股票自动收报机、银行应用、货币转换器或与任何货币管理相关联的任何其它对象中的一个或更多个。体育相关的虚拟对象可以包括速度计、起搏器、锻炼跟踪器或与涉及体力活动和技巧的任何活动相关联的任何其他对象中的一个或更多个，在所述体力活动和技巧中，个人或团队出于娱乐的目的与另一个人或团队进行竞赛。社交相关虚拟对象可包括社交媒体应用、信使、文本消息、通知或与联网的任何创建或共享或参与相关联的任何其它对象中的一个或更多个。对接虚拟对象可包括连接、系留、链接或以其它方式绑定到一区域或另一对象的任何对象。例如，虚拟键盘可以对接到物理键盘，使得虚拟键盘与物理键盘对齐地移动。未对接的虚拟对象可包括未连接、系留、链接或以其他方式绑定到区域或另一对象的任何对象。例如，与物理键盘分离的虚拟键盘可以不与物理键盘对齐地移动，并且保持静止，或者在物理键盘移动时独立地移动。在一些情况下，可能希望呈现至少两种不同类型的虚拟对象。例如，当用户在旅行时远程工作时，可能希望显示与旅行相关的虚拟对象和与工作相关的虚拟对象，使得用户可以在地图上跟踪他们的旅行，同时还在工作的电子表格上工作。
在一些实施方式中，每一类型的虚拟对象可与优先级相关联，并且不同显示模式与用于不同移动状态的不同类型的虚拟对象的关联可基于与不同类型的虚拟对象相关联的优先级。将虚拟对象的类型与优先级相关联对于显示与其它虚拟对象相比具有更紧迫性、突出性或任何其它类型的重要性的某些虚拟对象可能是合乎需要的。一些显示模式可与较高重要性相关联(例如增加亮度模式)，而其它显示模式可与较低重要性相关联(例如降低亮度模式)。优先级可包括安排、偏好、次序、级别、资历、优越性、数字顺序(numbering)、字母顺序(lettering)或被认为或视为更重要的任何其它条件。在一些实施方式中，可以通过类似于上述用户输入的用户输入来提供优先级。在其它实施方式中，处理器可基于预定参数、数据库值或将一个值与另一值电子关联起来的任何其它手段来自动将优先级与每一类型的虚拟对象关联起来。例如，通知类型的虚拟对象可以与比视频类型的虚拟对象高的优先级相关联。在此示例中，较高级别的通知类型可与有利于在其它虚拟对象上方呈现的显示模式(例如，增加的亮度、不透明度或对比度)或某些色彩方案(例如，黄色调)相关联，而较低级别的视频类型可与有利于在其它虚拟对象下方呈现的显示模式(例如，减小的亮度、不透明度或对比度)或某些其它色彩方案(例如，黑色和白色)相关联。
一些公开的实施方式可以包括经由可穿戴扩展现实装置呈现与第一类型相关联的第一虚拟对象和与第二类型相关联的第二虚拟对象，其中，生成与第一移动状态相关联的第一显示可以包括对第一虚拟对象和第二虚拟对象应用单个显示模式，并且生成与第二移动状态相关联的第二显示可以包括对第一虚拟对象和第二虚拟对象应用不同的显示模式。在用户从需要统一显示模式的一种类型的活动(例如坐在用户家中的桌子前)到需要不同显示模式的另一种类型的活动(例如在城镇周围行走)的情况下，可能需要这种类型的显示。当在家中时，可能希望以公开模式呈现两个虚拟对象，其中，这两个对象不是模糊的，因为在用户家中的隐私中，用户可能不需要关心其他人访问虚拟对象之一中的隐私信息。然而，当用户在城里四处行走时，可能期望以不同的显示模式呈现虚拟对象，其中，一个对象可能被遮蔽而另一个可能不被遮蔽，以在公开设置中保护用户的信息，同时仍然允许用户在两个虚拟对象中观看期望的信息。图51A和图51B示出根据本公开的一些实施方式的与用于不同移动状态的不同类型的虚拟对象相关联的不同显示模式的示例。在图51A中，第一虚拟对象是日历应用程序5112，并且第二虚拟对象是银行应用5114。当移动状态是静止的5110时，日历应用5112和银行应用5114都可以通过工作显示模式5116显示，工作显示模式5116可以是应用的无遮蔽显示。在图51B中，显示了相同的日历应用5112和银行应用5114。当移动状态是行走5118时，日历应用5112可以通过工作显示模式5116显示，而银行应用5114可以通过私有显示模式5120显示，私有显示模式5120可以是应用的遮蔽显示，例如模糊化显示。
在一些实施方式中，访问规则还可以基于环境上下文将多个用户移动状态与多个显示模式相关联。环境上下文可包括气候、栖息地、环境、场景、状况、周围环境、气氛、背景、环境、上下文、场所、邻域、景色、地形、地域、陆地、结构或与用户的位置相关联的任何其它事实或条件。可能希望基于环境上下文将用户移动状态与显示模式相关联以使显示更有效。通过基于环境上下文来关联显示模式，可以仅使用适合于该环境上下文的显示模式，而不是所有可能的显示模式，这可以提高处理器效率和速度。这在如下的某些显示模式(如果有的话)可以是所希望的，即，在给定的环境环境(例如在非常公开的位置(例如商场)中的私有显示模式)中很少适用的。图52A和图52B例示了根据本公开的一些实施方式的与基于环境上下文的不同移动状态相关联的不同显示模式的示例。在图52A中，当确定行走移动状态5210时，公园场所5212的环境上下文可以使行走移动状态5210与计步器形式的第一显示模式5214相关联，以帮助可能在公园中的徒步的用户。在图52B中，城市场所5216的环境上下文可使行走移动状态5210与地图形式的第二显示模式5218相关联，以帮助用户在城市周围导航。在另一示例中，当确定行走移动状态时，附近障碍物的环境上下文可使得行走移动状态与第一显示模式相关联，第一显示模式的形式为从用户的移动方向上移除所有虚拟对象(例如，从呈现中完全移除、移除至侧面等)。而没有附近障碍物的环境上下文可以使行走移动状态与第二显示模式相关联，第二显示模式的形式为在用户的移动方向上以低不透明度显示虚拟对象。在又一示例中，当确定了坐着的状态时，附近人员的环境上下文可以使坐着的移动状态以部分沉浸的形式与第一显示模式相关联，而没有附近人员的环境上下文可以使坐着的移动状态以完全沉浸的形式与第二显示模式相关联。
在一些实施方式中，环境上下文是基于可穿戴扩展现实装置的位置、可穿戴扩展现实装置的取向或当前时间中的至少一者的。可能希望使环境上下文基于位置、取向或时间，因为这些因素是用户周围环境的指示。可穿戴扩展现实装置的位置可以提供关于用户是在室外、室内、私有、公开、重要还是不重要的地方的信息。可穿戴扩展现实装置的取向可以提供关于用户是否正在移动、用户正在移动的方向以及用户是否正在向可能需要另一类型的显示模式的另一位置移动的信息。可穿戴扩展现实装置的位置可以包括区域、地区(district)、场所、邻域、部分、点、地区(region)、站点或可穿戴扩展现实装置的位置的任何其它指示。可穿戴扩展现实装置的位置可以是基于用户输入或来自能够检测可用于确定这种位置的信息的任何设备的数据来确定。例如，环境上下文可以基于从GPS传感器获取的全球定位系统(GPS)数据导出的特定地址被确定为用户的家。在另一示例中，可基于地址的用户输入(如用户将地址键入到与至少一个处理器相关联的键盘中)来确定用户家庭的相同环境上下文。可穿戴扩展现实装置的取向可以包括方向、角度、位置、倾斜、斜度或可穿戴扩展现实装置的相对位置的任何其它指示。可穿戴扩展现实装置的取向可以基于用户输入或来自能够检测可用于确定这种相对位置的信息的任何设备的数据来确定。例如，可以基于从GPS传感器获取的GPS数据确定的东方方向来确定环境上下文是阳光充足的。在另一示例中，东方方向的相同的阳光充足的环境上下文可基于用户输入，如用户将用户面向阳光充足的方向键入到与至少一个处理器相关联的键盘中。当前时间可包括日期、日、小时、秒、月、时刻、季节、时期、周、年、持续时间、间隔、跨度或当前时间的任何其它指示。可基于用户输入或来自能够检测可用于确定这种当前时间的信息的任何设备的数据来确定当前时间。例如，可以基于光传感器对光的测量或时钟测量来确定环境上下文为8PM。在另一示例中，8PM的相同环境上下文可以是基于用户输入的，如用户将时间为8PM键入到与至少一个处理器相关联的键盘中。
在一些实施方式中，基于对使用包括在可穿戴扩展现实装置中的图像传感器捕获的图像数据或使用包括在可穿戴扩展现实装置中的音频传感器捕获的音频数据中的至少一个的分析来确定环境上下文。图像传感器可以包括电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)或检测和传送与图像相关的信息的任何其它器件。图像数据可包括像素信息、图像大小、分辨率、景深、对象类型、对象数量以及可与图像相关的任何其它信息。在一示例中，可视分类算法可用于将图像数据分类到多个可选类别中的一个。每个类别可以对应于环境上下文，并且因此图像数据的分类可以确定环境上下文。在另一示例中，可以使用对象检测算法来分析图像数据，以检测环境中特定类型的对象的存在，并且环境上下文可以是基于环境中是否存在特定类型的对象的。环境上下文可以是基于使用用于给定环境上下文的图像数据的预定参数、用于给定环境上下文的图像数据的数据库值、或以电子的方式将一个值与另一个值链接的任何其他手段的图像数据。例如，可以基于在图像中检测到的建筑物的数量来确定环境上下文是城市。在另一示例中，可基于根据从图像中检测到的光数据测量的暗度来将环境上下文确定为夜间。在又一示例中，可以基于如通过在图像中检测到的光数据所测量的微光条件而将环境上下文确定为私有位置。音频传感器可以包括声学传感器、压力传感器、麦克风或检测声波的存在或强度并将其转换成电信号的任何其他设备。音频数据可以包括压力、音量、音调、音高或与声音相关联的任何信息的任何其他指示。环境上下文可以是基于使用用于给定环境上下文的音频数据的预定参数、用于给定环境上下文的音频数据的数据库值或以电子的方式将一个值与另一个值链接的任何其它手段的音频数据。例如，可以基于由麦克风检测到的高音量或声级来将环境上下文确定为公开位置。在另一示例中，可以基于由麦克风检测到的低音量或声级来将环境上下文确定为私有位置。在又一示例中，可基于在音频数据中检测到的音乐来确定环境上下文是音乐会。
在一些实施方式中，环境上下文可以是基于可穿戴扩展现实装置的环境中的至少一个人的至少一个动作。动作可以包括行走、站立、坐着、阅读、说话、唱歌、跑步或做一些事情以实现目标的任何其他过程。可穿戴扩展现实装置的环境中的个人可以包括可穿戴扩展现实装置的指定距离内的任何人。可能希望基于这种个人的环境上下文来保护可穿戴扩展现实装置的用户可能不希望与其他人共享的某些信息的隐私。还可能希望通过仅将某些显示模式与某些个体相关联来使环境上下文基于这样的个体以提高处理器效率和速度。例如，一些个人可能很少(如果有的话)需要知道健康信息。这可以包括同事或店员。因此，将与健康相关的显示模式与基于这种个人的存在的给定环境上下文相关联将是低效的，并且可能希望仅将与健康相关的显示模式与基于医生、护士或需要该类型信息的任何其他个人的存在的给定环境上下文相关联。例如，处理器可以被配置为使得可穿戴扩展现实装置的环境是可穿戴扩展现实装置的十英尺半径内的任何区域。在该示例中，可以仅考虑该十英尺半径内的人的动作来确定环境上下文。在另一示例中，一些人可被标识为具有访问给定环境中的某些敏感信息的权限。当这些人处于可穿戴扩展现实装置的环境中时，可以使用更多的公开显示模式，例如改进的亮度和对比度。当不包括那些被标识的人的其它人在该环境中时，可以使用更私有的显示模式，例如降低的亮度和对比度。
在一些实施方式中，环境上下文可以基于可穿戴扩展现实装置的环境中的对象。可穿戴扩展现实装置的环境中的对象可以包括可穿戴扩展现实装置的指定范围内的任何物品或表面。将环境上下文基于这样的对象可能是合乎需要的，因为某些对象可能与特定位置相关联。例如，办公桌可以与工作场所相关联，而树木可以与公园相关联。例如，处理器可以被配置为使得可穿戴扩展现实装置的环境是可穿戴扩展现实装置的5英尺半径内的任何区域。在该示例中，只有5英尺半径内的对象可被考虑来确定环境上下文。当用户处于具有诸如厨房电器、植物、照片、衣服、沙发或床铺等家用对象的环境中时，环境上下文可被确定为家庭环境。在这样的示例中，可用的显示模式可以包括与例如家庭的私有位置相关联的显示模式。这样的显示模式可以包括具有增加的亮度和对比度、或无遮蔽的文本的那些显示模式。当用户处于具有诸如收银机、衣架、展示桌或珠宝的商店对象的环境中时，环境上下文可被确定为商店环境。在这样的示例中，可用的显示模式可以包括与如商店的公共位置相关联的显示模式。这样的显示模式可以包括具有降低的亮度和对比度或遮蔽的文本的那些显示模式。
一些实施方式可以包括用于协调虚拟内容显示与移动状态的方法。图53是根据本公开的一些实施方式的协调虚拟内容显示与移动状态的示例性方法5300的流程图。方法5300可以包括步骤5310：访问将多个用户移动状态与多个显示模式相关联的规则，以便经由可穿戴扩展现实装置来呈现虚拟内容。方法5300可以包括步骤5312：从与可穿戴扩展现实装置相关联的至少一个传感器接收第一传感器数据，第一传感器数据反映可穿戴扩展现实装置的用户在第一时间段期间的移动状态。方法5300可以包括步骤5314：基于第一传感器数据，确定在第一时间段期间，可穿戴扩展现实装置的用户与第一移动状态相关联。方法5300可以包括步骤5316：执行至少第一访问规则以经由与第一移动状态相关联的可穿戴扩展现实装置生成虚拟内容的第一显示。方法5300可以包括步骤5318：从至少一个传感器接收第二传感器数据，第二传感器数据反映在第二时间段期间用户的移动状态。方法5300可以包括步骤5320：基于第二传感器数据，确定在第二时间段期间，可穿戴扩展现实装置的用户与第二移动状态相关联。方法5300可以包括步骤5322：执行至少第二访问规则，以经由与第二移动状态相关联的可穿戴扩展现实装置生成虚拟内容的第二显示，其中，虚拟内容的第二显示不同于虚拟内容的第一显示。
一些实施方式可以包括用于协调虚拟内容的显示与移动状态的系统，该系统包括：至少一个处理器，其被配置为：访问将多个用户移动状态与用于经由可穿戴扩展现实装置呈现虚拟内容的多个显示模式相关联的规则；从与所述可穿戴扩展现实装置相关联的至少一个传感器接收第一传感器数据，所述第一传感器数据反映可穿戴扩展现实装置的用户在第一时间段期间的移动状态；基于第一传感器数据，确定在第一时间段期间，可穿戴扩展现实装置的用户与第一移动状态相关联；执行至少第一访问规则以经由与第一移动状态相关联的可穿戴扩展现实装置生成虚拟内容的第一显示；从至少一个传感器接收第二传感器数据，第二传感器数据反映在第二时间段期间用户的移动状态；基于第二传感器数据，确定在第二时间段期间，可穿戴扩展现实装置的用户与第二移动状态相关联；以及执行至少第二访问规则以经由与第二移动状态相关联的可穿戴扩展现实装置生成虚拟内容的第二显示，其中，虚拟内容的第二显示不同于虚拟内容的第一显示。
将虚拟对象对接至物理对象可在扩展现实环境中提供重要能力。例如，对接的虚拟对象可提供与物理对象相关的信息，和/或可扩展或调整具有某些功能的物理对象的功能。将虚拟对象与物理对象对接并从而使虚拟对象在某些条件下与物理对象一起移动可以保持物理对象与虚拟对象之间的空间关联或关系。此外，在物理对象是输入设备(诸如键盘)并且对接的虚拟对象被配置成向用户提供提供输入的附加方式的实施方式中，保持物理对象与虚拟对象之间的空间关联对于实现触摸键入(也称为盲键入)或基于元件之间的恒定特殊关系的其他类型的交互可能是必要的。一些虚拟对象可以具有取决于它们与物理表面的邻近度的功能。例如，物理表面可以使用虚拟滑块向用户提供触感。因此，当从一物理表面去除所述物理对象(该物理表面与和其相邻的虚拟对象相关联，并且所述虚拟对象被对接至所述物理对象)时(至少在物理对象在该表面上移动的同时)，可能希望将该虚拟对象调整为远离物理表面起作用，从物理对象解除对接(例如，可穿戴扩展现实装置用户可以将该虚拟对象留在该物理表面附近)，和/或从该扩展现实环境移除该虚拟对象。
一些公开的实施方式可包括包含指令的系统、方法和非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行用于修改对接到可移动输入设备的虚拟对象的显示的操作。修改虚拟对象的显示可以包括改变视觉属性，诸如颜色方案、不透明度、强度、亮度、帧速率、显示大小和/或虚拟对象类型。另外，根据可移动输入设备的位置(即输入设备是否在支承表面上)，可以显示一些虚拟对象而隐藏其他虚拟对象。
可移动输入设备可以指例如可以由扩展现实环境的用户移动的任何输入设备，例如可穿戴扩展现实装置的用户可以用来向可穿戴扩展现实装置发送命令的虚拟或物理设备。可移动输入设备可以是用户能够容易地(i)在支承表面上移动，和/或(ii)从支承表面移除并转移到不同位置或取向的任何便携式设备。在一些示例中，可移动输入设备可以是物理可移动输入设备，诸如物理键盘、物理计算机鼠标、物理触摸板、物理操纵杆和/或物理游戏控制器。在一些示例中，可移动输入设备可以是虚拟可移动输入设备，诸如虚拟键盘、虚拟滑块和/或虚拟键盘和虚拟滑块的组合。作为示例，如图2所示，诸如键盘104或鼠标106的输入设备可以是可移动输入设备。键盘104和鼠标106是可移动输入设备，因为每一个都可以从其当前位置或取向移动到新的位置或取向。例如，键盘104或鼠标106可以从其当前位置向左或向右移动。在另一示例中，键盘104可以绕垂直于图的轴旋转，使得键盘104被定向为与其初始方向成例如30度的角度。在又一示例中，键盘104可从桌子102的顶面移除。在另外的示例中，键盘104可以在桌子102的顶面上移动到桌子102的顶面上的新位置。
一些公开的实施方式可以包括从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，并且该图像数据可以表示放置在支承表面上的第一位置处的输入设备。
图像传感器可以包括在本公开的任何设备或系统中，并且可以是能够检测近红外、红外、可见光和/或紫外光谱中的光信号并将其转换为电信号的任何设备。图像传感器的实例可包括数码相机、电话相机、半导体电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)中的有源像素传感器或N型金属氧化物半导体(NMOS，LiveMOS)。电信号可用于生成图像数据。根据本公开，图像数据可包含像素数据流、数字图像、数字视频流、从所拍摄图像导出的数据和可用于构造一个或更多个3D图像、3D图像序列、3D视频或虚拟3D表示的数据。
图像数据可以用于表示输入设备已经被放置在支承表面上的位置。例如，图像传感器可以基于捕获的图像数据来确定可移动输入设备位于何处，以及周围区域的什么部分是支承表面。由图像传感器通过拜耳滤波器传感器、Foveon X3传感器和/或3CCD传感器捕获的颜色数据可用于确定图像的哪个部分是可移动输入设备，以及图像的哪个部分是支承表面。在一些实施方式中，图像传感器可以具有能够机器学习的内置处理单元。在该实施方式中，图像传感器随时间编译并存储图像数据，并且可以根据所编译的数据来确定图像数据的哪个部分是键盘并且哪个部分是支承表面。在一些实施方式中，图像传感器还可以捕获图像数据，并且稍后将该数据发送到与可穿戴扩展现实装置相关联的至少一个处理器，以进行进一步分析，即，确定可移动输入设备是否已经移动到作为支承表面的一部分的第二位置，或者是否已经被从支承表面移除。
支承表面可以是用户可以在其上放置诸如键盘、鼠标或操纵杆的可移动输入设备的任何固体表面。在一示例中，支承表面可以是平坦的平滑表面。在其他示例中，支承表面可以是不平坦的表面并且可以包括缺陷、裂纹和/或灰尘。支承表面的示例可包括办公桌的表面、桌子的表面、地板的表面或可在其上放置可移动输入设备的对象的任何其他表面。
在一些实施方式中，图像传感器可以被包括在可穿戴扩展现实装置中。如果图像传感器或其相关电路的至少一部分位于该设备的壳体内、位于该设备上或者以其它方式可连接到该装置，则可以说图像传感器包括在可穿戴扩展现实装置中。可包括在可穿戴扩展现实装置中的一些类型的传感器是数字相机、电话相机、半导体电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)中的有源像素传感器、或N型金属氧化物半导体(NMOS，LiveMOS)。光可以被捕获并转换为电信号，其可以用于生成图像数据。为了精确地捕获图像数据，图像传感器可以连接到可穿戴扩展现实装置的镜片。图像传感器也可以是将两个镜片连接在一起的可穿戴扩展现实装置的桥的一部分。在该实施方式中，图像传感器能够基于可穿戴扩展现实装置的用户正在看哪里来精确地拍摄图像。
在一些实施方式中，图像传感器可以被包括在可连接到可穿戴扩展现实装置的输入设备中。输入设备可以是被配置为向所述装置发送信息或控制信号的任何硬件。输入设备的非限制性示例包括键盘、触摸板、鼠标、专用控制器或与扩展的现实装置配对的个人设备(蜂窝电话、平板电脑、智能手表或其他可穿戴物)。可以被包括作为输入设备的一部分的传感器的类型可以是说明书中早先描述的任何传感器。在一些实施方式中，图像传感器可以被包括在输入设备的中心、输入设备的边缘或沿着输入设备的长度的可以捕获精确图像数据的任何其他地方。图像传感器可以检测可以反映移除移动的光变化，即，当用户将可移动输入设备抬离支承表面时。图像传感器也可以被包括在垂直于可移动输入设备的平面中。图像传感器可以捕获手势和/或不同颜色的图像以确定可移动输入设备和支承表面的位置。
在一些实施方式中，可移动输入设备可以包括触摸传感器和至少三十个键，并且不包括被配置为呈现媒体内容的屏幕。可移动输入设备可以包括任意数量的键。例如，可移动输入设备可以包括可以允许用户提供一个或更多个输入的10、20、30、40或任意数量的键。在一些实施方式中，输入设备可以包括三十个或更多个键，这些键可以包括字母数字字符、方向键、功能键、调节亮度和声音的键、与执行快捷方式相关的键(例如，复制和粘贴、剪切和粘贴、或打印)、与描述字母数字字符相关的键(例如，感叹号、撇号、句号)和/或与执行功能相关的键(例如，加法、乘法或相等符号)。在一些实施方式中，键盘还可以被配置用于不使用字母数字字符的语言，例如使用语标字符的语言。
在一些实施方式中，输入设备可以排除被配置为呈现媒体内容的屏幕。被配置为呈现媒体内容的屏幕可以包括能够呈现文本、图像、动画或视频的任何类型的显示器。被配置为呈现媒体内容的屏幕的示例可以包括计算机监视器、TV屏幕、图形输入板和/或电话屏幕。在一个实施方式中，被配置为呈现媒体内容的屏幕可以具有但不限于大于5厘米、10厘米、25厘米或50厘米的屏幕尺寸；具有大于400×300像素、大于600×400像素或大于800×600像素的图像分辨率的屏幕、能够显示多于两种颜色的屏幕或被配置为播放视频流的屏幕。在该实施方式中，可移动输入设备不包括被配置为固定地连接到其的呈现媒体内容的任何物理屏幕。为了呈现内容，可移动输入设备的用户可以使用可穿戴扩展现实装置来呈现虚拟对象或将可移动输入设备连接到单独的独立物理屏幕，例如，输入设备附近的电视机。
一些公开的实施方式可以涉及使可穿戴扩展现实装置生成第一位置附近的至少一个虚拟对象的呈现。虚拟对象可包括虚拟无生命对象、虚拟有生命对象、二维虚拟对象、三维虚拟对象、虚拟输入对象、虚拟窗口小部件或本文中描述为虚拟对象的任何其它表示。虚拟对象还可允许调整视觉属性(例如，虚拟内容、扩展现实环境、虚拟对象或扩展现实环境中的其它虚拟对象的视觉属性)，例如亮度标度、音量调整条、任务栏或导航窗格。可穿戴扩展现实装置的用户可以使用手势来与这些虚拟对象交互以修改虚拟内容。虚拟内容可以经由可穿戴扩展现实装置来显示，并且虚拟对象可以是虚拟内容的一部分或者可以与虚拟内容相关联。例如，虚拟内容可以是文档或视频。作为特定虚拟内容的一部分(或与其相关联)的虚拟对象可以是音量或亮度设置，或文档的导航窗格。此外，虚拟对象可以是二维或三维的。超过两个虚拟对象可以彼此配对。例如，一个虚拟对象可以是视频。可以与该虚拟对象配对的两个附加虚拟对象可以是亮度调节条和/或音量调节条。
接近度可以指可移动输入设备与所呈现的虚拟对象之间的距离。虚拟对象可以呈现在可移动输入设备附近，使得可穿戴扩展现实装置的用户可以容易地查看和编辑虚拟对象。输入设备与所呈现的虚拟对象之间的距离(即，所呈现的虚拟对象与可移动输入设备之间的接近度)可以由用户来配置。例如，一个用户可能更喜欢更远离可移动输入设备来呈现虚拟内容，例如在半米的距离处，而其他用户可能更喜欢更靠近可移动输入设备来呈现虚拟内容，例如在20厘米内的距离处。在一些示例中，虚拟对象可以在可移动输入设备的选定相对位置和取向处与可移动输入设备相邻地呈现，使得可穿戴扩展现实装置的用户可以容易地定位虚拟对象并与虚拟对象交互，使得即使在用户未观看虚拟对象时(例如，在触摸键入使用中)或者当虚拟对象未呈现给用户时(例如，当其在可穿戴扩展现实装置的视场之外时)。
一些公开的实施方式可以涉及将至少一个虚拟对象对接至输入设备。对接可以指将虚拟对象与输入设备相关联。这可以通过按照使虚拟对象和物理对象一起移动的方式将这虚拟对象连接到物理对象来发生。即，虚拟对象的位置和/或取向可以连接到其他对象位置和/或取向的位置。在一示例中，虚拟显示屏(在本文中也称为“虚拟显示器”或“虚拟屏幕”)可以对接到物理键盘，并且移动物理键盘可以使得对接到的显示屏移动。在另一示例中，虚拟输入元件可以对接到物理键盘，与物理键盘所放置的物理表面相邻，并且在物理表面上移动物理键盘可以使得所对接的虚拟输入元件在物理表面上移动。
在一些实施方式中，虚拟对象可以与其它虚拟对象对接。在一些示例中，虚拟对象可以是二维的。这种二维虚拟对象的一些非限制性示例可包括任务窗格、音量或亮度调节条、或文档。在一些其他示例中，虚拟对象可以是三维的。这种三维对象的一些非限制性示例可以包括项目的呈现或比例模型。在一示例中，二维虚拟对象可以与三维虚拟对象对接，反之亦然。在另一示例中，二维虚拟对象可与二维虚拟对象对接，和/或三维虚拟对象可与三维虚拟对象对接。
在一些示例中，可穿戴扩展现实装置的用户可将虚拟对象与物理对象分离或将虚拟对象与另一虚拟对象分离。例如，用户可以通过经由可移动输入设备发出文本命令、通过发出语音命令、通过做出手势、使用虚拟光标或通过任何其他手段来这样做。例如，用户可以通过执行可以由图像传感器捕获的动作来进行分离。图像传感器可以与可穿戴扩展现实装置相关联，并且可以位于任一镜片上、连接可穿戴扩展现实装置的两个镜片的桥上、或者传感器可以捕获精确图像信息的任何其他位置。图像传感器也可以包括在可连接到可穿戴扩展现实装置的输入设备中。可例如通过使用视觉动作识别算法分析图像数据来在使用图像传感器捕获的图像数据中识别动作，并且可基于动作的识别来触发分离。
作为示例，图54描绘了对接至可移动输入设备5410的虚拟对象5420(例如，音量调节条或亮度调节条)。这里，与可穿戴扩展现实装置5414相关联的图像传感器可以通过捕获的图像数据来检测输入设备5410被放置在支承表面5416上的第一位置处。在一示例中，可穿戴扩展现实装置5414的用户5418可以发起将虚拟对象5420对接至可移动输入设备5410的命令，并且作为结果，可以在第一位置附近呈现虚拟对象5420。因为可移动输入设备5410和虚拟对象5420被对接，所以所呈现的虚拟对象可与可移动输入设备同时移动。除了第一虚拟对象5420之外，还可以显示第二虚拟对象5412，例如虚拟显示屏。在一示例中，第二虚拟对象5412也可以对接到可移动输入设备5410，并且因此可以与可移动输入设备同时移动(尽管第二虚拟对象5412可以远离第一位置)。在另一示例中，第二虚拟对象5412可不对接到可移动输入设备5410，因此可移动输入设备5410的移动可不触发第二虚拟对象5412的自动移动。
在一些实施方式中，处理器操作还可包括将第一虚拟对象对接至输入设备，第一虚拟对象被显示在覆盖支承表面的第一虚拟平面上。虚拟平面可以指平坦表面(连接任意两点的直线可以完全位于该表面上)或非平坦表面。在该上下文中，显示在虚拟平面上的所有内容可以与该表面相关联地显示，例如，该内容对于观看者而言可以看起来是平坦的或者可以看起来与公共表面相关联。另选地，虚拟平面可以是曲面，并且可以沿着曲面的平面显示内容。如果结合扩展现实显示器或扩展现实环境来使用虚拟平面，则该虚拟平面可以被认为是虚拟的，而不管该平面是否可见。具体地，虚拟平面可以用颜色或纹理来显示，使得其对于扩展的现实设备的佩戴者是可见的，或者虚拟平面对于眼睛是不可见的，但是当可见对象位于虚拟平面中时可以变得可感知。在一示例中，虚拟平面可以用扩展现实环境中的虚拟网格线来示出。虚拟平面可包括例如平坦表面、非平坦表面、弯曲表面或具有任何其它所需构造的表面。第一虚拟平面可以覆盖支承表面，即，它可以出现在支承表面上或垂直于支承表面。在一示例中，第一虚拟平面可以平行于或几乎平行于支承表面，这意味着在虚拟平面与支承表面之间存在零度角或小角度(例如，小于1度、小于5度、小于10度和/或小于20度)。诸如音量或亮度调节条的虚拟对象可以与可移动输入设备对接，使得可移动输入设备被放置在支承表面上，第一虚拟平面覆盖在支承表面上，并且第一虚拟平面和虚拟对象可以在同一平面中。
在一些实施方式中，处理器操作还可包括将第二虚拟对象对接至输入设备，其中，第二虚拟对象被显示在垂直于第一虚拟平面的第二虚拟平面上。第二虚拟平面是可以呈现为与第一虚拟平面和支承表面成不同角度的平面。第二虚拟平面可以垂直于第一虚拟平面显示，使得所呈现的内容对于可穿戴扩展现实装置的用户更加可见。另外，因为第一虚拟对象和第二虚拟对象被对接，所以两个虚拟对象可以一起移动。在该实施方式中，第二虚拟对象可以与第一显示内容成直角或非零角度(例如10至170度之间、30至150度之间、45至135度之间、60至120度之间、85至95度之间、46至89度之间和/或91至134度之间的角度)显示。例如，第一虚拟对象、音量或亮度调节条或导航窗格可以由可穿戴扩展现实装置呈现。例如虚拟显示屏的第二虚拟对象可以垂直地显示，使得可穿戴扩展现实装置的用户可以更容易地与第一虚拟对象交互并更好地观看第二虚拟对象。
作为示例，图54示出了在一个平面中呈现的第二虚拟对象(呈现虚拟内容5412的虚拟屏幕)的示例以及在垂直于第一平面的另一平面中呈现的第一虚拟对象(音量或亮度调节条)的示例。
一些公开的实施方式可以包括确定输入设备处于支承表面上的第二位置。确定输入设备处于第二位置可以包括使用图像分析来检测输入设备和第二位置并确定它们对应。在另一示例中，确定输入设备处于第二位置可以包括使用视觉对象检测算法来分析图像数据以检测在支承表面上的特定位置处的输入设备，从而识别支承表面上的第二位置。至少一个处理器基于由图像传感器捕获的图像数据可以确定输入设备处于支承表面上的第二位置。例如，基于由图像传感器捕获的数据，处理器可以确定围绕可移动输入设备的区域中的颜色和/或纹理没有被改变，指示可移动输入设备仍然位于支承表面上。在一些实施方式中，支承表面上的第二位置可以是指与第一位置不同但仍在同一支承表面上的同一平面中的位置。例如，支承表面可以是办公桌、桌子、地板表面或其它平坦或非平坦的固体表面。在该示例中，第二位置可以是直接在第一位置的右侧或左侧(或在另一特定方向)的位置。基于由包括在可穿戴扩展现实装置中的图像传感器所捕获的图像数据，至少一个处理器可以例如使用视觉对象跟踪算法，通过对所捕获的图像数据进行分析来确定所述可移动输入设备已经改变了位置。
图像传感器也可以包括在可连接到可穿戴扩展现实装置的输入设备中。在一些实施方式中，图像传感器可以位于可移动输入设备内。在一些实施方式中，与可穿戴扩展现实装置相关联的处理器可以基于使用自我运动算法对使用包括在可移动输入设备中的图像传感器捕获的图像数据的分析来确定可移动输入设备已经从第一位置移动到第二位置。
在另一个实施方式中，图像传感器可以被包括在垂直于可移动输入设备的平面中。在此示例中，图像传感器可捕获颜色、光、纹理、或可帮助描述可移动输入设备周围的环境的限定特征。在该实施方式中，图像传感器可以拍摄连续的图像。这些图像将彼此不同，例如(至少部分地)由于用户将可移动输入设备从支承表面上的第一位置移动到第二位置。可以使用对象跟踪算法来分析连续的图像，以确定输入设备移动到支承表面上的第二位置。
在一些实施方式中，确定输入设备在支承表面上的第二位置可以是基于使用包括在输入设备中的一个或更多个定位传感器确定的输入设备的位置的。在一些实施方式中，确定输入设备在支承表面上的第二位置可以是基于输入设备从第一位置的移动的。在一些示例中，可以使用包括在输入设备中的一个或更多个运动传感器(例如运动传感器373(见图3))来确定输入设备的移动。
在一些实施方式中，处理器操作可以还包括基于对图像数据的分析来检测输入设备在支承表面上的移动或输入设备从支承表面的移除移动中的至少一者。在一些示例中，视觉分类算法可用于分析从图像传感器接收到的图像数据，并将图像数据分类为“输入设备没有移动”、“输入设备在支承表面上的移动”和“输入设备从支承表面的移除移动”三个可选类别中的一个类别，从而检测移动。在一示例中，视觉分类算法可以是使用训练示例来训练的机器学习分类算法，以将图像和/或视频分类到三个类别之一。这种训练示例的示例可以包括样本输入设备的样本图像和/或样本视频，以及指示训练示例对应于三个类别中的哪一个类别的标签。在一些示例中，可以使用视觉对象跟踪算法来分析从输入设备外部的图像传感器(例如，在可穿戴扩展现实装置中)接收到的图像数据，并在图像数据中跟踪输入设备从而获得运动信息。此外，可分析运动信息以确定图像数据是否对应于输入设备的无移动(例如，移动向量的积分为零或较小)，对应于输入设备在支承表面上的移动(例如，移动向量的积分在支承表面上或平行于支承表面)，或对应于输入设备从支承表面的移除移动(例如，移动向量的积分与支撑向量成非零角度)。在一些示例中，自我运动算法可用于分析从包括在输入设备中的图像传感器接收到的图像数据并确定输入设备的运动。此外，可分析运动以确定图像数据是否对应于输入设备的无移动(例如，移动向量的积分为零或较小)，对应于输入设备在支承表面上的移动(例如，移动向量的积分在支承表面上或平行于支承表面)，或对应于输入设备从支承表面的移除移动(例如，移动向量的积分与支撑向量成非零角度)。
在一些实施方式中，处理器操作还可以包括基于对从与输入设备相关联的至少一个运动传感器接收到的运动数据的分析来检测输入设备在支承表面上的移动或输入设备从支承表面的移除移动中的至少一个。可移动输入设备可以包括其自己的运动传感器，该运动传感器输出数据并且可以根据该数据确定移动。此外，可分析运动信息以确定运动是否对应于输入设备没有(例如，移动向量的积分为零或较小)，对应于输入设备在支承表面上的与(例如，移动向量的积分在支承表面上或平行于支承表面)，或对应于输入设备从支承表面的移除移动(例如，移动向量的积分与支撑向量成非零角度)。
一些公开的实施方式可以涉及确定输入设备处于第二位置，并且随后更新至少一个虚拟对象的呈现，使得至少一个虚拟对象出现在第二位置附近。确定输入设备处于第二位置可以通过类似于先前描述的与第一位置相关联的确定的方式来完成。例如，与可穿戴扩展现实装置相关联的至少一个处理器可以基于捕捉到的图像数据、捕捉到的运动数据或两者来确定可移动输入设备处于第二位置。在一示例中，基于捕获的图像数据和/或运动数据，至少一个处理器可以确定可移动输入设备处于第二位置并且不再移动。在另一示例中，基于捕获的图像数据和/或运动数据，至少一个处理器可以确定可移动输入设备处于第二位置并继续移动。在处理器确定输入设备处于支承表面上的第二位置之后，可穿戴扩展现实装置可以继续呈现它在第一位置呈现的虚拟内容。在一示例中，所呈现的虚拟内容可以直到可移动输入设备在第二位置处静止时才出现。例如，当用户希望在支承表面上滑动可移动输入设备时，可以不呈现虚拟对象，直到输入设备在由图像传感器和/或运动传感器确定的第二位置处是静止的。在另一示例中，所呈现的虚拟内容可以看起来与可移动输入设备一起从第一位置附近的位置移动到第二位置附近的位置。在又一示例中，所呈现的虚拟内容可以继续出现在第一位置附近，直到可移动输入设备在第二位置变得静止。在一些示例中，当作为可移动输入设备的一部分的运动传感器或作为可穿戴扩展现实装置的一部分的图像传感器检测到输入设备正在减速或接近静止时，用户可以配置可穿戴扩展现实装置以开始呈现虚拟对象。基于捕获的图像数据，至少一个处理器可以通过将连续的图像彼此进行比较来确定输入设备正在减速或接近静止。当处理器确定可移动输入设备接近静止时，处理器可以恢复从第一位置呈现虚拟内容。在运动传感器示例中，如果可移动输入设备与支承表面之间的角度接近零，则处理器基于从运动传感器捕获的位置和/或取向数据可以确定可移动输入设备接近第二位置。当可移动输入设备的底部与支承表面之间的角度小于五度时，可穿戴扩展现实装置可在第二位置呈现内容。
作为示例，在图55A中，可穿戴扩展现实装置的用户可以将输入设备5510从第一位置5512(在第一位置5512，输入设备5510对接到支承表面5516上的第一虚拟对象5514)移动到第二位置5518。远离支承表面5516定位的第二虚拟对象5520也可以与输入设备5510对接。例如，第二虚拟对象5520可以包括图形或图表，并且第一虚拟对象5514可以是用于调整图形或图表的亮度的交互式虚拟工具。如图55B所示，可穿戴扩展现实装置响应于确定输入设备5510在第二位置5518，更新虚拟对象呈现，使得第一虚拟对象5514出现在支承表面5516上的第二位置5518附近，并且第二虚拟对象5520随着输入设备5510移动离开支承表面5516。在一些示例中，例如虚拟窗口小部件之类的其它虚拟对象(图55A和图55B中未示出)可对接到第二虚拟对象5520，并且由此可以在第二虚拟对象5520移动时与第二虚拟对象5520一起移动。
在一些实施方式中，其中，输入设备被放置在支承表面上的第一位置上，并且至少一个虚拟对象具有相对于输入设备的原始空间属性，处理器操作还可以包括在输入设备处于第二位置的情况下保持至少一个虚拟对象相对于输入设备的原始空间属性。空间属性可以包括反映环境中的对象位置的任何特性或参数。例如，两个对象或项目可以具有彼此相关的空间属性。当两个对象中的一个对象被移动时，可能希望为另一个项目保持相同的特定属性，使得第二项目与第一项目一起移动，并且在新的取向上，相对空间属性保持基本相同。在一示例中，这可以使得使用触摸键入(也称为盲键入)的用户能够基于虚拟对象5520相对于输入设备5510的空间属性来使用交互式虚拟工具(例如，第一虚拟对象5514)而无需查看它。在一些其他示例中，可穿戴扩展现实装置的用户可以将输入设备从诸如办公桌或桌子的支承表面上的第一位置移动到同一支承表面上的第二位置。当可移动输入设备位于或靠近第二位置时，可以呈现虚拟对象，并且虚拟对象可以包括与第二虚拟对象对接的第一虚拟对象。所呈现的虚拟对象的属性可以由用户配置，并且可以包括颜色方案、不透明度、强度、亮度、帧速率、显示尺寸和/或虚拟对象类型设置。当呈现虚拟内容时，主要目标可以是在将输入设备从一个位置移动到另一个位置时保持所呈现的虚拟内容的一致性。为了实现该目标，所呈现的虚拟对象的空间属性可以保持相同。
在一些实施方式中，原始空间属性可以包括至少一个虚拟对象距输入设备的距离、至少一个虚拟对象相对于输入设备的角度取向、至少一个虚拟对象位于其上的输入设备的侧面、或至少一个虚拟对象相对于输入设备的尺寸中的至少一者。原始空间属性可以包括至少一个虚拟对象距输入设备的距离。可能希望将所呈现的虚拟内容和相关联的虚拟对象在第二位置处保持距输入设备相同的距离处，如同在第一位置那样。用户可以配置他或她相对于可移动输入设备的优选呈现距离。例如，用户可能更喜欢距可移动输入设备25厘米呈现虚拟内容。当用户将输入设备从第一位置移动到第二位置时，可能希望用户保持原始空间属性，使得他或她不必将所述呈现进行重新定向，和/或其他用户不会与改变的呈现混淆。
在一些实施方式中，原始空间属性可以包括至少一个虚拟对象相对于输入设备的角度取向。可能希望在第二位置处将所呈现的虚拟内容和相关联的虚拟对象保持为与第一位置处相同的角度取向。例如，如果虚拟内容以与在第一位置处完全不同的角度呈现在第二位置处，则可能是破坏性的，并且例如如果内容被颠倒显示，则可能使正在观看该内容的可穿戴扩展现实装置的其他用户混淆。
在一些实施方式中，原始空间属性可以包括输入设备的一侧，至少一个虚拟对象位于该侧上。在第一位置，可能希望在输入设备的与在第二位置时相同的一侧显示虚拟内容，使得用户在观看所呈现的内容时不必重新定向他们自己。如果虚拟内容被显示在可移动输入设备后面的位置处，则对于观看该内容的其他可穿戴扩展现实装置的其他用户而言，它可能是破坏性的和混乱的。
在一些实施方式中，原始空间属性可以包括至少一个虚拟对象相对于输入设备的尺寸。可能希望在第二支承表面位置处将所呈现的虚拟内容和相关联的虚拟对象保持为与它们在第一支承表面位置处的尺寸相同的尺寸。例如，在两个位置之间将所呈现的虚拟内容保持为相同尺寸确保了作为虚拟内容的一部分的所有文本和图形以相同尺寸呈现，使得内容的其他观看者能够清楚地观看和理解所呈现的内容。
一些公开的实施方式可以包括确定输入设备处于从支承表面移除的第三位置。第三位置的确定可以通过类似于先前描述的第一位置和第二位置的方式完成。在一示例中，可以通过几何地测量输入设备与支承表面之间的距离来确定从支承表面移除的第三位置。在一些实施方式中，与可穿戴扩展现实装置相关联的图像传感器可以基于捕获的图像数据来确定输入设备已经从支承表面移除。在一些实施方式中，与可移动输入设备相关联的运动传感器可以确定输入设备已经从支承表面移除。
在一些实施方式中，响应于确定输入设备被从支承表面移除而修改至少一个虚拟对象的呈现可以包括继续在支承表面上呈现至少一个虚拟对象。与可穿戴扩展现实装置相关联的处理器可以经由所捕获的图像数据、所捕获的运动数据或两者来确定用户已经将输入设备从支承表面移除。当用户从支承表面移除输入设备时，由可穿戴扩展现实应用呈现的虚拟对象可能不消失。相反，虚拟对象可以保持对可穿戴扩展现实装置的用户可见。这在用户希望移动输入设备但不希望在呈现虚拟对象时引起任何中断的情况下是有用的。例如，用户可以将输入设备移动到不同的位置，使得虚拟对象对其他观看者更加可见。在该示例中，可穿戴扩展现实装置的用户可能希望继续呈现至少一个虚拟对象而没有任何中断。在一些实施方式中，在从支承表面移除输入设备之后，所呈现的虚拟对象的空间属性可以保持与它们在移除输入设备之前的空间属性相同，或者它们可以改变。
在一些实施方式中，处理器操作还可以包括确定输入设备在支承表面上的典型位置，以及当从支承表面移除输入设备时，在该典型位置附近呈现至少一个虚拟对象。典型位置可以是用户更喜欢放置可移动输入设备的位置，并且可以例如基于由运动传感器捕获的历史位置和取向数据来确定。典型位置还可以基于由与可穿戴扩展现实装置相关联的图像传感器捕获的可移动输入设备的历史位置来确定。图像传感器可以随时间推移捕获表示输入设备的位置和/或取向的图像数据。基于捕获的图像数据，至少一个处理器能够预测支承表面上可穿戴扩展现实装置的用户更喜欢呈现虚拟对象的典型位置。在一些实施方式中，至少一个处理器可以使用机器学习算法或类似算法来预测典型位置。机器学习的实施方式可以接收训练数据，包括例如历史放置数据和输入设备被放置在每个位置的频度。可以使用训练数据来训练机器学习算法。经过训练的机器学习模型可以确定输入设备放置的典型位置。典型位置或与其相关的数据可以存储在数据结构中，并在需要时由处理器取回。在一些实施方式中，典型位置可以由用户手动配置。例如，如果用户通常在会议室中的办公桌或桌子上使用可穿戴扩展现实装置，则该用户可以手动地将该办公桌桌或桌子的特定部分配置为呈现虚拟内容的典型位置。
响应于确定输入设备被从表面移除，一些实施方式可以包括修改至少一个虚拟对象的呈现。在一示例中，修改呈现可包括例如相对于输入设备或相对于另一对象改变虚拟对象的位置或取向。在另一示例中，修改呈现可包括改变至少一个虚拟对象的呈现的不透明度、颜色方案或亮度。例如，可以减小不透明度，可以增大亮度，和/或可以增大或减小任何其它参数。在一些示例中，修改呈现可包括改变至少一个虚拟对象的大小。在其他示例中，修改呈现可以包括以任何可能的方式修改至少一个虚拟对象的外观。处理器可以基于捕获的图像数据和/或捕获的运动数据来确定输入设备已被从支承表面移除。作为响应，可以修改所呈现的虚拟对象。通过改变与虚拟对象相关联的一个或更多个参数，可以通过多种方式修改虚拟对象的呈现。这些参数可以包括例如颜色方案、不透明度、强度、亮度、帧速率、显示尺寸和/或可以修改的虚拟对象类型。通常，这些参数中的一个或更多个的修改可以包括减小或增大该参数，例如减小或增大亮度或显示尺寸。在另一示例中，可呈现多个虚拟对象。修改虚拟对象的呈现可以包括移除虚拟对象中的一个，或者当从支承表面移除输入设备时，使第一虚拟对象和第二虚拟对象彼此脱离。在一些示例中，可以分析使用包括在可穿戴扩展现实装置中的图像传感器捕获的图像数据，以选择对至少一个虚拟对象的呈现的修改。例如，可以分析图像数据以确定环境照明条件，并且可以基于所确定的环境照明条件来选择修改。在另一示例中，可以分析图像数据以检测环境中其他人的存在(例如，使用人检测算法)，响应于确定其他人存在，可以选择第一修改(例如，减小尺寸和不透明度)，并且响应于确定没有其他人存在，可以选择第二修改(例如，在增大尺寸的同时减小不透明度)。
作为示例，图56A示出了将输入设备5610从支承表面上的第二位置5612移动到从支承表面5616移除的第三位置5614。从支承表面移除输入设备5610可以使得至少一个虚拟对象被修改。这里，第一虚拟对象5618和第二虚拟对象5620预先对接到输入设备。然而，当从支承表面5616移除输入设备时，第二虚拟对象5620的显示尺寸可以减小，并且第一虚拟对象5618可以与输入设备分离并停留在支承表面5616上。
在一些实施方式中，响应于确定输入设备被从支承表面移除而修改至少一个虚拟对象的呈现可以包括使至少一个虚拟对象消失。当可穿戴扩展现实装置的用户希望从一个地方移动到另一个地方时，当输入设备被从支承表面移除时(例如当虚拟对象不再有用时)，虚拟对象可能会消失。在另一示例中，用户可能希望继续呈现至少一个虚拟对象，但是可能需要移动到远离第一位置的另一位置来这样做。这样的位置可以包括不同的会议室、同事的办公室或家中的不同房间。一些实施方式可以允许至少一个虚拟对象在该输入设备从该支承表面移除时消失，这样使得至少一个虚拟对象可以在该输入设备稍后被放置在不同的支承表面上时重新出现。另外，使至少一个虚拟对象消失可以减少可穿戴扩展现实装置中的电池消耗和发热，因为在输入设备从一个位置移动到另一个位置期间用户不再主动地呈现。
在另一实施方式中，当用户从支承表面移除可移动输入设备时，第一虚拟对象可变得与第二虚拟对象分离。当对象变得彼此分离时，第二虚拟对象可能不再随着第一虚拟对象从一个位置自动移动到另一个位置。取决于可穿戴扩展现实装置的用户如何配置该设备，一个或两个对象可以消失。可穿戴扩展现实装置的用户还可以基于虚拟对象类型将虚拟对象配置为消失。例如，当所述装置的用户从支承表面移除输入设备时，任务栏、导航窗格或音量或亮度条可自动消失。
作为示例，如图56B所示，当可移动输入设备5610被从支承表面5616移除时，第一虚拟对象5618(如图56A所示)可以完全消失，而第二虚拟对象5620可以不改变地显示。在其它实施方式中，第二虚拟对象5620可以消失，而第一虚拟对象5618可以保持可见，或者在其它实施方式中，第一虚拟对象5618和第二虚拟对象5620两者都可以消失。
在一些实施方式中，处理器操作还可以包括：当输入设备处于第三位置时，接收指示可穿戴式扩展现实装置的用户希望与至少一个虚拟对象进行交互的输入，并使至少一个虚拟对象重新出现。用户希望与第三位置中的至少一个虚拟对象交互可以以无数种方式发生。例如，可穿戴扩展现实装置的用户可以发出语音命令以与至少一个虚拟对象交互。这样的语音命令可以包括诸如“呈现虚拟对象”、“修改虚拟对象”、“分离虚拟对象”的命令，或者建议可穿戴扩展现实装置的用户与虚拟内容之间的交互的任何其他命令。语音命令可以由音频输入433(见图4)接收。可穿戴扩展现实装置的用户可以配置独一无二的语音命令，并且所述语音命令可以在不同用户之间不同。在另一实施方式中，所述装置的用户可以移动虚拟光标以便与至少一个虚拟对象交互。在该示例中，至少一个处理器可以将虚拟光标移动识别为希望与至少一个虚拟对象交互。代替虚拟光标，可以使用操纵杆输入、触摸板输入、手势输入或游戏控制器输入。在一些实施方式中，可穿戴扩展现实装置的用户可以点击图标来呈现至少一个虚拟对象。光标、操纵杆、触摸板或游戏控制器可以被配置为输入接口430(见图4)的一部分。在另一实施方式中，可以通过经由图像传感器捕获的图像数据来确定与至少一个虚拟对象交互的期望。捕获的图像数据可以包括手移动或姿势、点头或头部姿势、或可以用信号通知希望与至少一个虚拟对象交互的任何其他身体运动，并且可以由该可穿戴扩展现实装置的用户来配置。数据可以是手势输入431(见图4)。在该示例中，所述装置的用户可以挥动他或她的手以发信号通知与至少一个虚拟对象交互的意图。作为响应，虚拟对象可以重新出现在可穿戴扩展现实装置的用户附近的虚拟屏幕上。在另一实施方式中，与至少一个虚拟对象进行交互的期望可以是基于所捕获的图像、语音或光标数据之外的数据的。例如，可穿戴扩展现实装置可以基于日历数据来确定用户可能希望与至少一个虚拟对象进行交互。日历数据可以指与一用户一天的任务相关的任何数据。例如，用户可以安排一天的多个会议。可穿戴扩展现实装置的用户可能需要在这些会议的每一次中呈现至少一个虚拟对象。可穿戴扩展现实装置能够基于用户的时间表来确定用户可能希望与虚拟对象交互。在该示例中，日历数据可以指示可穿戴扩展现实装置的用户在星期三(或其他工作日)有会议，并且他或她需要在会议期间呈现饼图或其他图形内容。基于该数据，可穿戴扩展现实装置可以自动呈现该内容，并且用户不需要显示与虚拟对象交互的附加意图。在另一示例中，可穿戴扩展现实装置可基于所存储的使用数据来确定用户希望与至少一个虚拟对象交互。所存储的使用数据可以指表示用户已经呈现至少一个虚拟对象的一个或更多个时间的数据。所存储的数据还可以包括一周中用户呈现至少一个虚拟对象的日子。基于所存储的使用数据，可穿戴扩展现实装置能够预测用户何时希望与至少一个虚拟对象交互。与可穿戴扩展现实装置相关联的处理器可以基于机器学习模型或类似算法来预测用户交互。在该实施方式中，训练数据(包括例如日历数据和关于与日历数据相关联的一个或更多个虚拟对象的信息)可用于训练机器学习模型。经训练的机器学习模型可以基于一天中的时间或其他日历信息来确定用户与虚拟对象交互的意图。
在一些实施方式中，响应于确定输入设备被从支承表面移除而修改至少一个虚拟对象的呈现可以包括改变至少一个虚拟对象的至少一个视觉属性。视觉属性可以包括影响感知的任何特性。
在一些实施方式中，至少一个视觉属性可以包括颜色方案、不透明度级别、强度级别、亮度级别、帧速率(当呈现视频内容时)、显示大小、取向和/或虚拟对象类型中的至少一项。这些或其他视觉特性中的任何一项可以被增加、减少或以其他方式改变。例如，可以响应于确定输入设备已被从支承表面移除而增加或减小显示大小或亮度级。作为示例，图56A示出了在从支承表面5616移除输入设备5610之后显示大小减小的第二虚拟对象5620。
可穿戴扩展现实装置的用户可以基于所呈现的虚拟对象来配置要修改的视觉属性。在此实施方式中，每当呈现特定虚拟对象类型(例如，文档、视频或图形)时，可将其指派给待修改的默认视觉属性。例如，如果用户正在呈现图表，则用户可以决定降低亮度来代替取向，使得观看者仍然可以理解图表的主要点。在另一示例中，如果可穿戴扩展现实装置的用户正在呈现照片或图画，则用户可改为根据用户的偏好来决定减小显示大小。在另一实施方式中，要修改的视觉属性可以基于用户做出的先前修改。例如，用户可呈现图表并修改所呈现的虚拟对象的亮度设置。视觉数据(例如，亮度或其他视觉设置)可以存储在与可穿戴扩展现实装置、输入设备或远程服务器相关联的存储器中。当用户决定稍后呈现类似内容时，至少一个处理器可以基于存储在存储器中的可视数据在其他可视属性之前调整亮度。在又一实施方式中，至少一个处理器可以基于所存储的数据、机器学习模型或另一类似算法来预测要修改哪些视觉属性。
在一些实施方式中，响应于确定输入设备被从支承表面移除而修改至少一个虚拟对象的呈现可以包括呈现至少一个虚拟对象的最小化版本。最小化版本可以是在至少一个维度上改变的表示。当与可穿戴扩展现实装置相关联的图像传感器或与可移动输入设备相关联的运动传感器检测到输入设备被从支承表面移除时，虚拟对象可以被最小化。最小化的对象可以指图标形式的虚拟对象。例如，用户可以在文本编辑器中呈现文本文档，或者在呈现查看应用中呈现文本文档。当这些文档被最小化时，观看用户将只看到表示所显示的这些程序的图标。这样的虚拟对象可以被最小化，因为可穿戴现实装置用户可能不再主动呈现，所以虚拟对象可以被最小化，以便减少电池消耗和减少可穿戴扩展现实装置中的发热。当用户没有主动地向其他人呈现而是通过虚拟屏幕使用程序时，虚拟对象也可以被最小化。在一示例中，用户可以私下使用消息应用来向同事发送消息。在主动不向其他人呈现内容的同时，用户可能仍在使用可移动输入设备来与虚拟屏幕交互，并且因此当可移动输入设备被移除时，消息应用将被最小化，使得用户仅看到图标。在一示例中，至少一个虚拟对象可以是诸如聊天应用或消息应用的应用。当输入设备被放置在支承表面上时，应用可以被打开，并且用户可以看到最近的聊天和消息。然而，当键盘被从支承表面移除时，应用可自动最小化为图标。用户仍然能够接收消息和通知，但是完整的消息可以不被显示，除非输入设备被放置在支承表面上。在另一示例中，虚拟对象可以是显示的视频。当从支承表面移除输入设备时，视频可以被最小化并且可以自动暂停视频内容。当输入设备在被从支承表面移除之后又被放回到支承表面上时，视频内容可以恢复以原始显示设置播放。
在一些实施方式中，处理器操作还可包括接收反映对至少一个虚拟对象的最小化版本的选择的输入，并使至少一个虚拟对象呈现在展开视图中。展开视图可以包括至少一个维度增大的任何呈现。在一些实施方式中，在输入设备被从支承表面移除之后，所呈现的虚拟对象可以被最小化。可穿戴扩展现实装置的用户可以选择最小化的虚拟对象并将其呈现在展开视图中。另外，反映至少一个虚拟对象的最小化版本的选择的输入可以以无数方式出现。例如，用户可以将命令键入到输入单元202(见图3)，指示处理器展开被最小化的应用程序。在另一示例中，输入可以是选择最小化应用并点击应用图标以扩展它的指点器输入331(见图3)。在另一示例中，输入可以是包括在音频输入433(见图4)中的指示处理器展开最小化图标的语音命令。这种语音命令可以由可穿戴扩展现实装置的用户配置。在又一示例中，输入可以是经由手势输入431(见图4)捕获的图像数据的形式。在该示例中，输入可以是手波或手势、头部点头或任何其他身体移动的形式，可穿戴扩展现实装置可以将其解释为展开最小化应用的命令。
图57是示出用于基于可移动输入设备的位置来修改对接到可移动输入设备的虚拟对象的显示的示例性方法5700的流程图。方法5700可以由与输入单元202(见图3)、XR单元204(见图4)和/或输入接口330、430(见图3和图4)相关联的一个或更多个处理设备(例如，360、460或560)来执行。可以以任何方式修改所公开的方法5700的步骤，包括通过重新排序步骤和/或插入或删除步骤。方法5700可以包括步骤5712：从与XR单元204相关联的图像传感器472(见图4)接收图像数据，图像数据表示放置在支承表面上的第一位置处的输入设备。方法5700还可以包括步骤5714：使可穿戴扩展现实装置在第一位置附近生成至少一个虚拟对象的呈现。如步骤5716所示，至少一个处理器460可以将至少一个虚拟对象对接至输入设备，例如键盘104(见图1)。方法700可以包括步骤5718，步骤5718涉及与XR单元204(见图4)相关联的至少一个处理器确定输入设备(例如，键盘104)处于支承表面上的第二位置。处理器460(见图4)可以执行步骤5720，包括：响应于确定输入设备处于第二位置，更新至少一个虚拟对象的呈现，使得至少一个虚拟对象出现在第二位置附近。方法5700可以包括步骤5722，其中，与可穿戴扩展现实装置204(见图4)相关联的处理器确定输入设备处于被从支承表面移除的第三位置。方法5700可以包括步骤5724，涉及响应于确定输入设备被从支承表面移除，基于第三键盘位置修改至少一个虚拟对象的呈现。
一些公开的实施方式可包括包含指令的系统、方法和/或非暂时性计算机可读介质，所述指令在由至少一个处理器执行时可使所述至少一个处理器执行用于在扩展现实环境中将虚拟对象对接至虚拟显示屏的操作。虚拟对象可以是出现在扩展现实环境中的任何非物理项目。虚拟对象可包括由计算机在受限区域中呈现并被配置成表示特定类型的对象(诸如无生命的虚拟对象、有生命的虚拟对象、虚拟家具、虚拟装饰对象、虚拟窗口小部件或其它虚拟表示)的视觉呈现。例如，虚拟对象可包括窗口小部件、文档、演示、媒体项、照片、视频、虚拟人物和其它对象。虚拟对象可以在用户佩戴可穿戴扩展现实装置时出现。虚拟显示屏(在此也称为“虚拟显示器”或“虚拟屏幕”)的示例可以包括上述虚拟显示屏112，并且可以包括模仿和/或扩展物理显示屏的功能的虚拟对象，如上所述。扩展现实环境可以是通过计算机访问的环境。例如，当用户佩戴可穿戴扩展现实装置时，可以访问扩展现实环境。对接虚拟对象可以包括连接、系链、链接或以其他方式连接至少两个对象。对接的虚拟对象的位置和/或取向可以连接到另一对象的位置和/或取向的位置和/或取向。例如，对接的虚拟对象可以与它们所对接的对象一起移动。作为另一示例，虚拟对象可对接到虚拟显示屏，并且移动虚拟显示屏可使对接的虚拟对象移动。
在一些实施方式中，至少一个虚拟对象可以包括虚拟地表示可穿戴扩展现实装置的用户的电话的专用窗口小部件。窗口小部件可以是允许用户访问信息或执行功能并出现在扩展现实环境的定义区域中的模块、应用程序或接口。专用窗口小部件可以是提供特定信息或执行特定功能的模块、应用或接口(或链接到模块、应用或接口的图标或其它表示)。例如，专用窗口小部件可以是允许用户执行电话功能的电话应用。用户能够使用专用窗口小部件拨打电话号码或创建文本消息。在一示例中，窗口小部件可在扩展现实环境中呈现电话显示屏的副本。
作为示例，图58示出了根据本公开的一些实施方式的表示用户的电话的虚拟显示器和对接的虚拟对象的示例。如图58所示，虚拟对象5811可以对接到虚拟显示器5810。虚拟对象5811可以表示用户的电话。例如，虚拟对象5811可以是或包括被配置为虚拟地表示可穿戴扩展现实装置的用户的电话的虚拟窗口小部件。
一些公开的实施方式可以包括生成用于经由可穿戴扩展现实装置呈现的虚拟内容，其中，该虚拟内容包括虚拟显示器和位于该虚拟显示器外部的多个虚拟对象。可穿戴扩展现实装置可以向用户呈现虚拟内容，如本公开中别处所讨论的。虚拟内容可以包括虚拟显示器和可以或可以不在虚拟显示器附近的一个或更多个虚拟对象。例如，当虚拟对象不在与虚拟显示相同的空间中时，虚拟对象可以在虚拟显示器之外。当虚拟对象位于虚拟显示器之外时，虚拟对象可不随虚拟显示器移动。例如，当用户佩戴可穿戴扩展现实装置并且向用户呈现虚拟内容时，用户可以移动虚拟显示器的位置。当用户移动虚拟显示的位置时，虚拟对象的位置不会改变，因为虚拟对象位于虚拟显示之外。
作为示例，图59A和图59B示出根据本公开的一些实施方式的虚拟显示器以及在虚拟显示器改变位置之前和之后位于虚拟显示器外部的多个虚拟对象。如图59A所示，虚拟对象5911、5912和5913可以分别位于位置5915、5916和5917。虚拟显示器5910可以位于位置5914。虚拟对象5911和5912以及虚拟显示器5910可以位于虚线5918上方。虚拟显示器5910可不对接到虚拟对象5911、5912和5913。如图59B所示，虚拟显示器5910可以移动到虚线5918下方的新位置5926。虚拟对象5911、5912和5913可不随虚拟显示器5910移动。虚拟对象5911、5912和5913可以分别停留在它们的原始位置5915、5916和5917中，位于虚线5918上方。
一些公开的实施方式可以包括接收对多个虚拟对象中的至少一个虚拟对象的选择。接收对虚拟对象的选择可以包括：确定、设置、固定或挑选虚拟对象。用户可以从多个虚拟对象中挑选至少一个虚拟对象。用户可通过点击鼠标、按压按钮、轻敲触摸表面、拖动对象、突出显示对象、通过手势、通过语音命令或通过任何其它手段来挑选虚拟对象。例如，用户可以从多个虚拟对象中挑选表示文档的虚拟对象。作为另一示例，用户可从多个虚拟对象中挑选表示音频文件的虚拟对象。在由用户拾取时，挑选的动作可以使信息被发送到至少一个处理器，并且至少一个处理器可以在那里接收选择。在其他示例中，接收选择可以包括从存储器读取选择，从外部设备接收选择，根据数据(诸如输入数据、图像数据、音频数据等)的分析接收选择，基于一个或更多个规则确定选择等。
在一些实施方式中，从多个虚拟对象中选择的至少一个虚拟对象可以包括在第一表面上显示的第一虚拟对象和在至少部分地与第一表面重合的第二表面上显示的第二虚拟对象。在一示例中，第一表面和/或第二表面可包括任何物理对象的一个或更多个外表面，所述物理对象诸如是桌子、办公桌、橱柜、侧桌、椅子的扶手或存在于用户物理环境中的任何其它对象。在一示例中，第一表面和/或第二表面可以是虚拟表面。在另一示例中，第一表面和/或第二表面中的一个可以是虚拟表面，而另一个可以是物理表面。第一虚拟对象和第二虚拟对象可以被投影到不同的表面上。例如，第一表面可以是放置键盘的物理表面，而第二表面可以是虚拟表面。这两个表面可以直线或曲线相交。
在一些实施方式中，第一表面可以基本上垂直于地面，并且第二表面可以基本上平行于地面。在一示例中，地面可以是相对于重力方向处于或接近地平面的任何水平表面。例如，地面可以是包括地板的表面。第一表面和第二表面可以相对于地面布置。例如，在一些实施方式中，第一表面可以垂直于地面定向，而第二表面可以平行于地面定向。在一些实施方式中，第一表面和第二表面可以各自相对于地面以不同的角度倾斜。
一些公开的实施方式可以包括改变第一表面与第二表面之间的平面光标移动。光标(在本文中也称为“虚拟光标”)可包括出现在扩展现实显示器中以在扩展现实环境上显示所选位置的指示符，如上所述。光标可以标识扩展现实环境上的可能受用户输入影响的点。平面光标移动可以指响应于用户输入的二维平面内的移动。光标可以在第一表面与第二表面之间移动。例如，第一表面可以是桌子的顶表面，而第二表面可以是虚拟表面。
一些公开的实施方式可以包括将至少一个虚拟对象对接至虚拟显示器。位于虚拟显示器外部的一个或更多个虚拟对象中的至少一个虚拟对象可以按照先前描述的方式对接到虚拟显示器。将一个或更多个虚拟对象对接到虚拟显示器可以允许一个或更多个对象和显示器一起移动。例如，当用户在扩展现实环境中移动虚拟显示器时，对接的一个或更多个虚拟对象可随虚拟显示器移动。在一些示例中，将虚拟对象对接至虚拟显示器可包括将虚拟对象添加至对接至虚拟显示器的虚拟对象的数据结构(诸如列表、集合、数据库等)。当虚拟显示器移动时，可以访问数据结构以确定哪些虚拟对象需要随虚拟显示器移动。在一示例中，使虚拟对象从虚拟显示器分离可包括从数据结构去除虚拟对象。在一些示例中，将第一虚拟对象对接到第二虚拟对象可包括将第一虚拟对象添加到被对接到第二虚拟对象的虚拟对象的数据结构(诸如列表、集合、数据库等)。当第二虚拟对象移动时，可以访问数据结构以确定哪些虚拟对象需要与第二虚拟对象一起移动。在一示例中，使第一虚拟对象与第二虚拟对象分离可包括从数据结构去除第一虚拟对象。
作为示例，图60A和图60B示出虚拟显示器和对接到该虚拟显示器的多个虚拟对象的示例。如图60A所示，虚拟显示器5910可以位于位置5914。虚拟对象5911和5912可以分别位于位置5915和5916。虚拟对象5913可以位于位置5917。虚拟对象5911、5912和5913以及虚拟显示器5910可以位于虚线5918上方。虚拟显示器5910可以对接到虚拟对象5912，并且虚拟对象5912可以对接到虚拟对象5911，如图60A所示，其中实线连接虚拟显示器5910和虚拟对象5912，并且实线连接虚拟对象5912和5911。应当理解，这些实线实际上可以不存在，而仅是用于示出对接。这种实线或对接的其它视觉指示可以或可以不呈现在扩展现实环境中。虚拟对象5913可以不对接到任何其它对象或虚拟显示器5910。如图60B所示，虚拟显示器5910的位置可以移动到虚线5918下方的新位置5926。与虚拟显示器5910对接的虚拟对象5911和5912(直接地，如在虚拟对象5912的情况下，或间接地，如在对接虚拟对象5912并因此间接地对接虚拟显示器的虚拟对象5911的情况下)也可以分别移动到虚线5918下方的新位置6024和6022。然而，未(直接或间接)与虚拟显示器5910对接的虚拟对象5913可保持在虚线5918上方的相同位置5917。
在一些实施方式中，至少一个虚拟对象与虚拟显示器之间的关联的持续时间可以是时间相关的。至少一个虚拟对象与虚拟显示器之间的关联的持续时间可以表示至少一个虚拟对象可以保持对接到虚拟显示器的时间段。该时间段可以是一秒或更多秒、一分钟或更多分钟、一小时或更多小时或任何其它时间长度。例如，至少一个虚拟对象和虚拟显示器可以仅连接三十秒。在30秒期间，虚拟对象和虚拟显示器可以一起移动。在三十秒期满之后，当虚拟显示器移动时，虚拟对象可以不移动，并且当虚拟对象移动时，虚拟显示器可以不移动。作为另一示例，至少一个虚拟对象和虚拟显示器可以仅连接五分钟。在五分钟期间，虚拟对象和虚拟显示可以一起移动。在五分钟期满之后，当虚拟显示器移动时，虚拟对象可以不移动，并且当虚拟对象移动时，虚拟显示器可以不移动。
一些公开的实施方式可以包括：响应于第一时间段期间虚拟显示器的位置的变化，在第一时间段期间使虚拟显示器随至少一个虚拟对象移动；以及响应于不同于第一时间段的第二时间段期间虚拟显示器的位置的第二变化，在第二时间段期间使至少一个虚拟对象与虚拟显示器分离。至少一个虚拟对象和虚拟显示器可以在一定时间段内对接在一起。在第一时间段期间，至少一个虚拟对象和虚拟显示器可以一起移动。当第一时间段结束并且第二时间段开始时，至少一个虚拟对象和虚拟显示器可以不对接在一起。在第二时间段期间，至少一个虚拟对象可不随虚拟显示器移动。例如，在第二时间段期间，用户可以提供移动虚拟显示器的输入。虚拟显示器可基于输入而移动，并且不移动至少一个虚拟对象。至少一个虚拟对象可以保持在相同的位置。
在一些实施方式中，将至少一个虚拟对象对接至虚拟显示器可以打开至少一个虚拟对象(或控制所述至少一个虚拟对象的模块，诸如软件程序、计算设备、智能电话、云平台等)与虚拟显示器(或控制虚拟显示器的模块，诸如操作系统、计算设备、云平台等)之间的通信链路以交换数据。并且其中，操作还可以包括：经由所述通信链路从至少一个虚拟对象(或相关联的模块)取回数据，并且在虚拟显示器上显示所取回的数据。对接可以包括在至少两个对象之间(或在相关联的模块之间)创建通信链路。通信链路可以是两个或更多个对象之间(或相关联的模块之间)的连接，其可以允许将信息、数据或命令从一个对象传送到另一个对象。虚拟对象和虚拟显示器可以经由通信链路在彼此之间传送数据。与虚拟对象相关联的数据可被传送到虚拟显示器并显示给用户。数据可以是音频、视频、文本或其它类型的数据。例如，虚拟对象可以包含音频文件。音频文件可以通过通信链路传送到虚拟显示器。音频文件可用于播放与虚拟显示相关联的音频。作为另一个例子，虚拟对象可以包含文档文件。文档文件可以通过通信链路传送到虚拟显示器。文档文件可以显示在虚拟显示器上，从而用户可以读取、编辑或改变文档文件的其它功能。作为另一示例，虚拟对象可包含可通过通信链路传送到虚拟显示器并显示在虚拟显示器上的图像文件。
一些公开的实施方式可以包括：在将所述至少一个虚拟对象对接至虚拟显示器之后，接收指示改变虚拟显示器的位置的意图而不表达移动至少一个虚拟对象的意图的输入。用户可以决定移动虚拟显示器而不展示移动虚拟对象的意图。可以基于用户的输入来确定第一可穿戴扩展现实装置的用户移动虚拟显示器的意图。这样的输入可以包括经由触摸屏接口、鼠标、手势、语音命令或任何其他类型的交互元件与一个或更多个对象的交互。例如，当用户提供改变虚拟显示器的位置的输入时，可以确定移动虚拟对象的意图。位置可以相对于一组坐标轴来确定，例如，通过参考一组笛卡儿坐标轴或极坐标轴使用三个坐标值。作为另一示例，当用户经由键盘提供改变虚拟显示器的位置的输入时，可以确定移动虚拟对象的意图。用户可以按压键盘上的箭头键以指示将虚拟显示器向左、向右、向上和/或向下移动的意图。作为另一示例，用户可将虚拟显示器拖动(例如，用手势、用虚拟光标等)到任何方向(诸如左、右、上和/或下)以指示移动虚拟显示器的意图。作为另一示例，用户可使用触摸板并在触摸板上向左、向右、向上和/或向下移动用户的手指以指示移动虚拟显示器的意图。用户可以在使用输入设备(例如用虚拟光标、用手势、用语音命令等)时选择虚拟显示器，而不选择虚拟对象中的一个或更多个。在使用输入设备时缺少对一个或更多个虚拟对象的选择可以表明缺少对移动虚拟对象的意图的表达。作为更进一步的示例，规则可以定义用户的意图。例如，如果虚拟对象对接到物理设备(诸如物理输入设备)，则意图可能已经经由物理设备的对接和移动而被传达。另选地，如果没有发生对接，则可以通过对接的不存在来传达意图。意图也可由系统推断。例如，如果在移动之前没有预定时间，用户正在处理特定对象，则系统可以推断用户在显示器移动时移动对象的期望。该功能可以通过由至少一个处理器执行的规则来实现。
一些公开的实施方式可以包括响应于输入而改变虚拟显示器的位置。虚拟显示器可以移动通过虚拟空间以改变位置或地点。当虚拟显示器可以从其原始位置或地点移动时，可以发生地点的改变。如上所述，输入可以表明从显示器的当前位置移动虚拟显示器的意图。用户可以通过输入设备表明改变位置的意图。基于所接收的输入，虚拟显示器可以在任何方向上移动任何量的距离。例如，虚拟显示器可以向左、向右、向上和/或向下移动。作为一个例子，用户可以按压键盘上的左箭头按钮。作为响应，虚拟显示器可以被移动到虚拟显示器的原始位置的左边。作为另一个例子，用户可以向右移动鼠标。作为响应，虚拟显示器可以移动到虚拟显示器的原始位置的右边。作为另一个例子，用户可以使用触摸板并沿着触摸板向上移动用户的手指。作为响应，虚拟显示器可以相对于虚拟显示器的原始位置向上移动。
一些公开的实施方式可以包括将虚拟显示器对接至物理对象。虚拟对象可以按照与上述将虚拟对象对接到另一虚拟对象相同的方式对接到物理对象。物理对象可包括键盘、鼠标、笔、输入设备、计算设备或用户物理环境中的任何其它对象。作为示例，虚拟对象可以被对接到物理键盘，并且移动物理键盘可以使对接的虚拟对象移动。在一些实施方式中，虚拟显示器可以对接到物理对象。当虚拟显示器已对接到物理对象时，物理对象的移动可以引起虚拟显示器与一个或更多个虚拟对象一起移动。
在将虚拟显示器对接至物理对象之后，一些实施方式可以还包括分析由可穿戴扩展现实装置捕获的图像数据，以确定物理对象的移动。可穿戴扩展现实装置可以包括用于捕获图像数据的图像传感器。可以例如使用视觉对象跟踪算法来处理图像数据以检测物理对象的移动。
一些公开的实施方式可以包括响应于所确定的物理对象的移动来改变虚拟显示器和至少一个虚拟对象的位置。响应于确定物理对象已移动，可以改变虚拟显示器和一个或更多个虚拟对象的位置。例如，例如使用视觉对象跟踪算法对由可穿戴扩展现实装置捕获的图像数据的分析可以指示物理对象已经向左移动。作为响应，虚拟显示器和一个或更多个虚拟对象也可以向左移动。作为另一示例，对由可穿戴扩展现实装置捕获的图像数据的分析可指示物理对象已在向右方向上移动。作为响应，虚拟显示器和一个或更多个虚拟对象也可以向右移动。
作为示例，图61A和图61B示出了根据本公开的一些实施方式的对接到物理对象的虚拟显示器和响应于物理对象的移动的虚拟显示器的移动的示例。如图61A所示，虚拟显示器6110可以位于位置6112。物理对象6111可以位于位置6113。物理对象6111和虚拟显示器6110可以位于虚线6115上方。虚拟显示器6110可以通过对接连接6114与物理对象6111对接。如图61B所示，物理对象6111可以例如由用户移动到虚线6115下方的新位置6119。虚拟显示器6110还可以例如基于对接连接6114自动移动到虚线6115下方的新位置6116。
一些公开的实施方式可以包括：当所确定的物理对象的移动小于所选择的阈值时，避免改变虚拟显示器和至少一个虚拟对象的位置。用户对物理对象的移动可能不足以表明改变物理对象和/或虚拟显示器的位置的意图。例如，在一些实施方式中，可以基于用户移动被对接到虚拟显示器的物理对象的距离来确定是否移动虚拟显示器和一个或更多个对象。可以选择阈值距离来确定用户意图何时是不改变物理对象的位置。作为示例，阈值距离可以是一个或更多个毫米、一个或更多个厘米、一个或更多个英寸或任何其他期望的距离。在一示例中，阈值距离可以被设置为1厘米。在该示例中，当用户将物理对象移动0.5厘米时，虚拟显示器和/或对接到该物理对象的至少一个虚拟对象可以不改变位置，因为物理对象的移动小于阈值。作为另一示例，当用户移动物理对象1.5厘米时，在相同的阈值要求下，虚拟显示器和/或对接至物理对象的至少一个虚拟对象可改变位置，因为物理对象的移动超过了阈值。
在一些实施方式中，可以基于物理对象的类型、用户的偏好、用户设置、物理对象的移动类型、虚拟显示器、虚拟显示器上显示的内容、可穿戴扩展现实装置或另一参数来选择阈值。在一些实施方式中，用户可以将阈值设置为特定的时间长度。时间长度可以是1秒、2秒、5秒或任何其它时间量。例如，仅当物理对象的移动持续时间超过2秒时，才可以改变虚拟显示器和一个或更多个虚拟对象的位置。作为另一示例，用户可以将阈值设置为特定距离。例如，如果物理对象行进的距离超过2英寸，则用户可以指示虚拟显示器和至少一个虚拟对象的位置可以改变。
在一些实施方式中，将虚拟显示器对接到物理对象可以在将至少一个虚拟对象对接到虚拟显示器之前发生。多个对象和设备可以对接到其它对象和设备。当多个对象和设备对接在一起时，所有对象和设备可以一起移动。当虚拟显示器对接到物理对象时，至少一个虚拟对象可以对接到虚拟显示器。虚拟显示器到物理对象的对接可以首先发生，然后是虚拟对象到虚拟显示器的对接。在一些实施方式中，在将虚拟显示器对接到物理对象之前，可以将一个或更多个虚拟对象对接到虚拟显示器。
一些公开的实施方式可以包括接收用于使虚拟显示器从物理对象分离的输入，以及自动地使至少一个虚拟对象从虚拟显示器分离。可从用户接收输入以启动分离过程。例如，用户可使用输入设备来启动分离。用户可点击按钮以启动分离。作为另一示例，用户还可以拖动虚拟显示器离开扩展现实环境中的物理对象以启动分离。响应于从用户接收到的输入，虚拟显示器可以与物理对象分离(例如，断开)。当虚拟显示器从物理对象断开时，先前对接到虚拟显示器的一个或更多个虚拟对象可以自动地从虚拟显示器断开，并且可以不需要用于使一个或更多个虚拟对象分离的一个或更多个单独的输入。由于分离，对象可以不一起移动。例如，虚拟显示器可以与笔对接，并且至少一个虚拟对象(例如电话显示器)可以与虚拟显示器对接。用户可点击按钮以启动分离并且虚拟显示器可与笔分离。然后，电话显示器可以与虚拟显示器分离。用户可移动笔，并且虚拟显示器和至少一个虚拟对象可不因分离而移动。
在一些实施方式中，物理对象可以是输入设备，并且操作还可以包括响应于所确定的物理对象的移动来改变虚拟显示器和至少一个虚拟对象的取向。如上所述，物理对象可以是输入设备，诸如键盘、鼠标、笔、跟踪球、麦克风或其它输入设备。物理对象可以由用户移动，并且作为响应，可以调整虚拟显示器和至少一个虚拟对象的相对位置。例如，用户可以将键盘旋转90度。可以调整虚拟显示器和至少一个虚拟对象的位置，使得虚拟显示器和对象也旋转90度。
一些公开的实施方式可以包括分析由可穿戴扩展现实装置捕获的图像数据，以检测至少部分地被至少虚拟显示器和多个虚拟对象中的特定虚拟对象遮挡的真实世界事件，该特定虚拟对象不同于至少一个虚拟对象。真实世界事件可以包括在扩展可穿戴现实设备附近的任何非虚拟事件。例如，真实世界事件可以包括进入用户空间的一个人和/或多个人。作为另一示例，真实世界事件可包括对象和/或人朝向或远离用户的移动。作为另一示例，现实世界事件可包括用户朝向或远离人的移动。可穿戴扩展现实装置或外部计算设备可以例如使用视觉事件检测算法基于对从包括在可穿戴扩展现实装置中的图像传感器接收到的图像数据的分析来检测真实世界事件。例如，可穿戴扩展现实装置或外部计算设备可以检测行走的人、成群的人、或在用户周围发生的任何其他事件。通过经由可穿戴扩展现实装置呈现虚拟显示器和/或特定虚拟对象，真实世界事件可以从用户的视野中被部分地或完全地遮蔽。例如，人可能在虚拟显示器的后面进入，并且用户可能不能看到所述人，因为虚拟显示器可能阻挡用户的视觉。作为另一示例，可以移动对象，使得该对象在虚拟对象后面。用户可能无法看到该对象，因为虚拟对象可能阻挡用户的视图。为了使用户看到真实世界事件，可以移动虚拟显示器和特定虚拟对象。
一些实施方式可以包括：响应于检测到至少部分地被至少虚拟显示器和特定虚拟对象遮挡的真实世界事件，在第一方向上移动虚拟显示器和至少一个虚拟对象，并且在第二方向上移动特定虚拟对象，第二方向可以不同于第一方向。虚拟显示器和至少一个虚拟对象可以在远离真实世界事件的方向上移动。虚拟显示器、至少一个虚拟对象和特定对象可在相同方向或不同方向上移动，这取决于例如扩展现实环境中用于在一个或更多个新位置处显示虚拟显示器、一个或更多个虚拟对象和/或特定对象的可用空间量。例如，虚拟显示器、至少一个虚拟对象和特定对象可以全部向左移动以防止遮挡真实世界事件。作为另一示例，特定虚拟对象可以在同样远离真实世界事件的第二方向上移动。在另一示例中，特定对象可以在与虚拟显示器和虚拟对象不同的方向上移动。例如，真实世界事件可以被虚拟显示器和虚拟对象遮蔽。虚拟显示器和至少一个虚拟对象可以在向右的方向上移动，而特定虚拟对象可以在向左的方向上移动，以防止真实世界事件被遮挡。作为另一个例子，虚拟显示器上的信息可以重新定向与到真实世界事件重叠的位置之外的位置，以便允许观看真实世界事件。
一些公开的实施方式可以包括在虚拟显示器中显示使用输入设备输入的文本。输入设备可以包括允许用户创建文本的界面。用户可以通过在键盘上键入、使用触笔、在触摸板上书写、使用语音到文本的转换或任何其它创建文本的方式来创建文本。使用输入设备创建的文本可以出现在虚拟显示器上。例如，输入设备可以是键盘。用户可以按下键盘上的“K”键，并且文本“K”可以出现在虚拟显示器上。作为另一示例，输入设备可以是麦克风。用户可以对着麦克风讲话并且说出“Hello”，并且文本“Hello”可以出现在虚拟显示器上。
在一些实施方式中，作为至少一个虚拟对象与虚拟显示器对接的结果，改变虚拟显示器的位置可以使至少一个虚拟对象随着虚拟显示器移动。虚拟显示器的位置可以在任何方向上被移动任何距离。对接的虚拟对象可以在与虚拟显示器相同的方向上移动相同的距离和/或成比例的距离。例如，可以从用户接收指示将虚拟显示器向右移动的意图的输入。虚拟显示器可以移动到虚拟显示器的原始位置的右边，并且虚拟对象也可以按照相同的量或不同的量移动到虚拟对象的原始位置的右边。在另一示例中，至少一个虚拟对象可被移动到保持至少一个虚拟对象与虚拟显示器之间的空间关系(诸如方向、距离、取向等)的位置。在一些实施方式中，可以在环境的特定区域中检测物理对象。例如，通过例如使用对象检测算法分析使用图像传感器捕获的图像数据来检测物理对象。图像传感器可以被包括在可穿戴扩展现实装置中、输入设备中、计算设备中等等。在另一示例中，可以使用雷达、激光雷达、声纳等来检测物理对象。此外，为了保持至少一个虚拟对象与虚拟显示器之间的空间关系，可能需要将至少一个虚拟对象移动到特定区域。响应于在特定区域中检测到物理对象，可以避免至少一个虚拟对象向特定区域的移动。在一示例中，可以避免至少一个虚拟对象响应于虚拟显示器的位置改变而移动，并且至少一个虚拟对象可以留在其原始位置。在另一示例中，响应于虚拟显示器的位置改变和对特定区域中的物理对象的检测，可以将至少一个虚拟对象移动到环境的另选区域。
一些公开的实施方式可以包括使至少一个虚拟对象从第一位置移动到第二位置，其中，在第二位置中至少一个虚拟对象相对于虚拟显示器的空间取向对应于在第一位置中至少一个虚拟对象相对于虚拟显示器的原始空间取向。空间取向可以指相对位置。例如，第一对象相对于第二对象的位置可以指第一对象相对于第二对象的一个或更多个距离和/或方向。空间取向可以通过距离、旋转角度或两者来测量。空间取向可以在二维或三维空间中确定。如上所述，当虚拟对象对接到虚拟显示器并且虚拟显示器移动时，虚拟对象可以移动。在虚拟对象和虚拟显示器已经从它们的第一位置移动之后，虚拟对象与虚拟显示器之间的空间可以在第二位置保持相同。虚拟对象可以相对于虚拟显示器占据相同的位置和/或角度取向。例如，虚拟显示器可以移动到第一位置的左边。虚拟对象也可以移动到第一位置的左边。虚拟对象可以在第二位置与虚拟显示器保持与在第一位置时相同的距离。作为另一示例，虚拟对象可以相对于虚拟显示器以90度角定向。虚拟显示器可转向正确的方向。还可以转动虚拟对象，使得该对象仍然可以相对于虚拟显示器以90度角定向。
一些公开的实施方式可以包括从多个虚拟对象中接收对附加虚拟对象的选择。除了第一虚拟对象之外，用户可以使用如前所述的输入设备来选择另一(例如，第二)虚拟对象。其它公开的实施方式还可包括将附加虚拟对象对接至至少一个虚拟对象。如上所述，虚拟对象可以对接到虚拟显示器或其它虚拟对象。第二或附加虚拟对象可以按照类似于前述对接的方式与第一虚拟对象和/或虚拟显示器对接。在将附加虚拟对象对接到至少一个虚拟对象之后，附加实施方式可包括接收第二输入，第二输入指示改变虚拟显示器的位置的第二意图，而不表示移动至少一个虚拟对象或附加虚拟对象的第二意图。如上所述，用户可以使用输入设备来创建移动虚拟显示器的意图，而不尝试移动附加虚拟对象。例如，用户可以使用鼠标来拖动和移动虚拟显示器，但是可以不移动附加虚拟对象。
一些公开的实施方式可以包括响应于第二输入改变虚拟显示器的位置。第二输入可以是先前关于第一输入讨论的输入类型之一。
在一些实施方式中，作为将至少一个虚拟对象对接到虚拟显示器和将附加虚拟对象对接到至少一个虚拟对象的结果，改变虚拟显示器的位置可以使得至少一个虚拟对象和附加虚拟对象随着虚拟显示器移动。至少一个虚拟对象和附加虚拟对象可以响应于虚拟显示器的位置变化而移动。例如，至少一个虚拟对象可以对接到虚拟显示器，并且附加虚拟对象可以对接到至少一个虚拟对象。用户可以使用鼠标在向上的方向上拖动和移动虚拟显示器。因为虚拟对象对接到虚拟显示器，第一虚拟对象和附加虚拟对象也可以向上移动。虚拟显示器的位置可以在任何方向上移动任何距离。对接的至少一个虚拟对象和附加虚拟对象可以在与虚拟显示器相同的方向上移动相同的距离和/或成比例的距离。例如，可以从用户接收指示将虚拟显示器向右移动的意图的输入。虚拟显示器可以移动到虚拟显示器的原始位置的右侧。至少一个虚拟对象和附加虚拟对象也可以向至少一个虚拟对象的原始位置和附加虚拟对象的原始位置的右侧移动相同的量或不同的量。
作为示例，图62A和图62B示出根据本公开的一些实施方式的虚拟显示器和多个虚拟对象的示例，并且示出当虚拟显示器改变位置时一个或更多个虚拟对象的位置的改变。如图62A所示，虚拟显示器6210可以位于位置6213。虚拟对象6211可以位于位置6214处，并且可以对接到虚拟显示器6210，如连接两者的实线所示。虚拟对象6212可以位于位置6215处，并且可以对接到虚拟对象6211，如连接两者的实线所示。应当理解，这些实线实际上可以不存在，而仅是用于示出对接。这种实线或对接的其它视觉指示可以或可以不在扩展现实环境中呈现。虚拟对象6211和6212以及虚拟显示器6210可以位于虚线6216上方。如图62B所示，虚拟显示器6210可以移动到虚线6216下方的新位置6218。虚拟对象86211还可以基于虚拟对象6211与虚拟显示器6210之间的对接而移动到虚线6216下方的新位置6220。类似地，虚拟对象6212也可以基于虚拟对象6211与虚拟对象6212之间的对接而移动到虚线6216下方的新位置6222。
在一些实施方式中，用虚拟显示器选择性地移动至少一个虚拟对象可以是地理位置相关的。用户的位置可能影响系统如何响应。例如，当用户在如办公室的私有空间中时，响应可以不同于公共空间。或者响应可以基于用户是否在私有办公室而不是会议室而不同。因此，至少一个虚拟对象可以基于地理位置与虚拟显示器一起移动。地理位置可基于用户的GPS坐标或其它基于位置的检测，例如基于WiFi或其它信号的室内定位技术。GPS坐标可使用纬度和经度来确定用户、可穿戴扩展现实装置或系统的任何其它组件的位置。出于隐私或安全原因，移动可以是地理位置相关的。例如，用户可以在用户的家中。因为用户在家，所以至少一个虚拟对象可以随虚拟显示器移动。作为另一示例，可穿戴扩展现实装置可以在用户的办公室中。因为可穿戴扩展现实装置在用户的办公室中，所以至少一个虚拟对象与虚拟显示器一起移动。作为另一示例，用户可以在公共空间中。至少一个虚拟对象可以不随虚拟显示器移动，因为用户在公共环境中，并且用户可能不希望虚拟对象在公共环境中是可见的。
一些公开的实施方式可以包括：当在第一地理位置检测到可穿戴扩展现实装置时，使至少一个虚拟对象随虚拟显示器移动；以及当在不同于第一地理位置的第二地理位置检测到可穿戴扩展现实装置时，使至少一个虚拟对象与虚拟显示器分离。当该可穿戴扩展现实装置在第一地理位置时，至少一个虚拟对象和虚拟显示器可以一起移动。当可穿戴扩展现实装置在第二地理位置时，至少一个虚拟对象和虚拟显示器可以不一起移动。第一地理位置可以在私有环境中，而第二地理位置可以在公共环境中。例如，可穿戴扩展现实装置可以位于用户的办公室中。当可穿戴扩展现实装置在用户的办公室中时，至少一个虚拟对象可以在与虚拟显示器相同的方向上移动。例如，用户可以使用鼠标在正确的方向上拖动虚拟显示器。至少一个虚拟对象也可以在正确的方向上移动。作为另一示例，可穿戴扩展现实装置可位于公共空间中。当在公共空间中时，至少一个虚拟对象可以不与虚拟显示相关联。因此，如果用户移动虚拟显示器，则至少一个虚拟对象可能不在与虚拟显示器相同的方向上移动。例如，如果用户在向下的方向上移动虚拟显示器，则至少一个虚拟对象将停留在相同的位置。
在将至少一个虚拟对象对接至虚拟显示器之后，一些实施方式可以包括：接收用于触发所述虚拟显示器的位置的改变和用于触发至少一个虚拟对象的位置的改变的第一用户发起的输入；接收用于触发虚拟显示器的位置的改变的第二用户发起的输入，其中，第二用户发起的输入不包括用于至少一个虚拟对象的位置的改变的触发。响应于第一用户发起的输入，改变虚拟显示器和至少一个虚拟对象的位置，以及响应于第二用户发起的输入，改变虚拟显示器和至少一个虚拟对象的位置。用户可以提供旨在改变虚拟显示器和至少一个虚拟对象两者的位置的第一用户发起的输入。例如，用户可以用鼠标选择虚拟显示器和至少一个虚拟对象两者，然后用鼠标拖动两者以改变位置。用户还可以提供仅针对虚拟显示器的第二用户发起的输入。可以基于第一用户发起的输入和第二用户发起的输入来改变虚拟显示器和至少一个虚拟对象的位置。例如，用户可以使用输入设备来提供用户发起的输入。输入设备可以是键盘、鼠标、触摸板或其它设备。用户可以使用输入设备通过使用该设备移动虚拟显示器来触发位置的改变。例如，用户可通过使用鼠标点击并拖动虚拟显示器和虚拟对象来提供第一输入。虚拟显示器和虚拟对象的位置可以基于鼠标拖动虚拟显示器和虚拟对象的位置而改变。例如，鼠标可以在向左方向上拖动虚拟显示器和虚拟对象，并且虚拟显示器和虚拟对象可以在向左方向上移动。作为另一示例，鼠标可在向上方向上拖动虚拟显示器和虚拟对象，并且虚拟显示器和虚拟对象可在向上方向上移动。作为另一示例，用户可使用触摸板来通过仅在向下方向上点击和拖动虚拟显示器来创建第二用户发起的输入。虚拟对象也可以向下移动，因为虚拟对象可以对接到虚拟显示器，即使第二用户发起的输入可能不针对虚拟对象。
作为示例，图62A和图62B示出了作为第二用户发起的输入的结果而移动的虚拟显示器和虚拟对象。基于用户使用鼠标点击和拖动虚拟显示器6210，虚拟显示器6210可以从图62A中的位置6213移动到图62B中的位置6218。用户可以通过不点击和拖动虚拟对象6211和6212来排除虚拟对象6211和6212的位置变化。虚拟对象6211和6212可以移动到图62B中的新位置6220和6222，因为虚拟对象6211和6212与虚拟显示器6210对接。
一些公开的实施方式可以包括：接收第三用户发起的输入，该第三用户发起的输入触发所述至少一个虚拟对象的位置的改变，但不包括虚拟显示器的位置的改变；以及响应于第三用户发起的输入，改变虚拟显示器和至少一个虚拟对象的位置。用户可以提供第三用户发起的输入，该第三用户发起的输入旨在仅改变至少一个虚拟对象的位置。如上所述，当虚拟显示器和虚拟对象对接在一起时，用户发起的输入可以创建虚拟显示器和至少一个虚拟对象的位置的改变。第三用户发起的输入可以是先前结合第一用户发起的输入描述的一种或更多种类型的输入。例如，鼠标可以在向下的方向上拖动至少一个虚拟对象，并且至少一个虚拟对象可以在向下的方向上移动。虚拟显示器也可以在与至少一个虚拟对象相同的向下方向上移动。
作为示例，图60A和图60B示出了作为第三用户发起的输入的结果而移动的虚拟显示器。基于用户使用鼠标点击和拖动虚拟对象5912，虚拟对象5912可以从位置5916移动到图60B中的位置6022。用户可以通过不点击和拖动虚拟显示器5910来排除虚拟显示器5910的位置变化。虚拟显示器5910和虚拟对象5911可以移动到新位置5926和图60B中的6024，因为虚拟显示器5910和虚拟对象5911对接到虚拟对象5912。
一些公开的实施方式可以包括在第一虚拟表面上显示虚拟显示器并且在至少部分地与第一表面重合的第二表面上显示至少一个虚拟对象。虚拟表面可以是存在于扩展现实环境中的表面。虚拟表面可以具有任何形状。例如，虚拟表面可以具有正方形、矩形、圆形或其它形状。虚拟表面也可以不具有限定的形状。可以有单个虚拟表面或多个虚拟表面。虚拟显示器和至少一个虚拟对象可以被投影到不同的虚拟表面上。虚拟显示器可以被投影到第一虚拟表面上，并且至少一个虚拟对象可以被投影到第二虚拟表面上。第一虚拟表面和第二虚拟表面可以具有彼此部分或完全重叠、接触或相交的部分。例如，第一虚拟表面可以是触摸板，而第二虚拟表面可以是键盘。触摸板的边缘可以接触到键盘边缘。
图63示出可由处理器执行以执行用于在扩展现实环境中将虚拟对象对接至虚拟显示屏的操作的示例性方法的流程图。方法6300可以包括步骤6310：生成用于经由可穿戴扩展现实装置呈现的虚拟内容，其中，该虚拟内容包括虚拟显示器和位于该虚拟显示器外部的多个虚拟对象。方法6300还可包括步骤6311：接收对多个虚拟对象中的至少一个虚拟对象的选择。方法6300还可包括步骤6312：将至少一个虚拟对象对接至虚拟显示器。此外，方法6300可以包括步骤6313：接收指示改变虚拟显示器的位置的意图的输入。方法6300还可以包括步骤6314：响应于输入，改变虚拟显示器的位置，并且其中，改变虚拟显示器的位置使至少一个虚拟对象随虚拟显示器移动。
虚拟工作环境可以包括多个虚拟对象和物理对象。物理对象可以包括诸如键盘、计算机鼠标、触控板、物理屏幕或任何其它物理对象的物品。虚拟对象可包括诸如虚拟屏幕或显示在虚拟屏幕上的虚拟对象的项目。虚拟对象可以例如虚拟地表示物理事物。化身、图标、模拟、图形表示仅仅是可以是虚拟对象(虚拟项目)的项目的几个示例。虚拟对象和物理对象可以与虚拟平面相关联。即，一些类型的对象可以被描绘为与虚拟平面对齐。理论上，虚拟平面可以在任何方向上无限地延伸。一组虚拟对象和物理对象可以都位于第一平面中并且可以彼此对接。对接可以包括链接的形式，由此一个对接的对象到另一个的移动可以引起另一个对象移动。因此，例如，物理对象的移动可触发相关联的对接的虚拟对象组在第一平面中的移动。可替换地或附加地，一组虚拟对象可以对接到物理对象(例如，键盘)。该组虚拟对象和物理对象可以位于不同的虚拟平面上。物理对象的移动可以触发相关联的对接的一组虚拟对象的移动，而不管它们是否位于公共平面中。
一些公开的实施方式可以涉及实现选择性虚拟对象显示改变。显示改变可以包括改变如何可视地将某物呈现给用户。例如，显示改变可以包括改变尺寸、移动位置、取向、调节亮度和/或颜色、改变分辨率和/或任何其它视觉上可感知的改变。显示改变可以应用于一些但不是所有的虚拟对象。虚拟对象可以存在于扩展现实环境中。虚拟对象可以在用户与该扩展现实环境交互时出现。例如，虚拟对象可包括虚拟显示屏、窗口小部件、文档、演示、媒体项、照片、视频、虚拟字符、滚动条、调节器和其它对象。用户能够查看、移动、旋转、翻转、挤压、放大、修改和/或与虚拟对象交互，以便实现诸如改变、检查或移动虚拟对象的功能。可以改变虚拟对象的视觉呈现。例如，用户可以调整虚拟对象的大小。作为另一示例，用户可重新布置一个或更多个虚拟对象的位置。用户在执行虚拟对象显示改变时可以是选择性的，例如通过选择改变一些虚拟对象而不改变其他虚拟对象、通过选择改变的类型或另一参数等。例如，用户可以选择移动一个虚拟对象，但是保持另一个虚拟对象的位置不变。作为另一示例，用户可以选择调整一个虚拟对象的亮度，而不调整不同虚拟对象的亮度。在又一示例中，用户可在移动虚拟对象时选择虚拟对象的移动方向或新位置。
一些公开的实施方式可以涉及经由可穿戴扩展现实装置生成扩展现实环境，所生成的扩展现实环境可以包括与物理对象相关联的第一虚拟平面和与项目相关联的第二虚拟平面，第二虚拟平面可以在垂直于第一虚拟平面的方向上延伸。在一示例中，生成扩展现实环境可以包括向可穿戴扩展现实装置的用户呈现扩展现实环境的至少一部分。虚拟平面可以是可用于表示制品的表面的维度表面，并且其可以延伸超过该制品的边界，这取决于设计选择。多个虚拟平面(例如，两个、三个、多于三个、多于十个、无穷多个或任何其他数量的虚拟平面)可以存在并且可以在多个不同的方向上延伸。如果结合扩展现实显示器或扩展现实环境来使用虚拟平面，则该虚拟平面可以被认为是虚拟的，而不管该平面是否可见。具体地，虚拟平面可以用颜色或纹理来显示，使得其对于扩展现实装置的佩戴者是可见的，或者虚拟平面对于眼睛是不可见的，但是当可见对象位于虚拟平面中时可以变得可感知。在一示例中，虚拟平面可以示出扩展现实环境中的虚拟网格线。虚拟平面可包括例如平坦表面、非平坦表面、曲面或具有任何其它所需构造的表面。例如，虚拟平面可以是平坦的二维表面、弯曲的二维表面、均匀的二维表面、均质的二维表面、非均质的二维表面等。物理对象和项目可以存在于相同的虚拟平面或分离的虚拟平面中。例如，第一虚拟平面可以是物理对象的虚拟平面(例如，桌子或办公桌的顶面)，并且虚拟平面可以水平延伸。在另一示例中，第一虚拟平面可以是与物理表面(例如，放置在桌子或书桌的顶面上的键盘)相关联的虚拟平面，物理对象放置在该物理表面上，并且虚拟平面可以延伸到一个或更多个方向。作为另一示例，第二虚拟平面可以是项目的虚拟平面(例如，虚拟显示屏、虚拟控制平面、物理项目等)，并且虚拟平面可以垂直延伸。
一起存在于扩展现实环境中的虚拟平面可以彼此交叉延伸。即，虚拟平面可以彼此相交。扩展现实环境中的虚拟平面也可以在相同的方向上延伸，并且不会彼此交叉。虚拟平面也可以以相同或不同的角度与两个或多个其它虚拟平面交叉(或相交)。例如，通过以直角延伸跨过第一虚拟平面，第二虚拟平面可以横穿第一虚拟平面。作为另一示例，第一虚拟平面可以以75°角延伸跨过第二虚拟平面。作为另一个例子，第一虚拟平面可以在水平方向上延伸，而第二虚拟平面也可以在水平方向上延伸，因此这两个平面永远不会交叉延伸。
作为示例，图64示出了根据本公开的一些实施方式的第一平面中的物理对象和第二平面中的项目的示例。在一些实施方式中，第一虚拟平面6410可以存在于扩展的现实空间中。物理对象6411可以与第一虚拟平面6410相关联。第二虚拟平面6420也可以存在于扩展现实空间中，并且在垂直于第一虚拟平面6410的方向上延伸。可以是虚拟或物理的项目6421可以与第二虚拟平面6420相关联。
在一些实施方式中，第一虚拟平面可以是平坦的，而第二虚拟平面可以是弯曲的。在另一示例中，第一虚拟平面可以是平坦的，而第二虚拟平面可以是平坦的。在又一示例中，第一虚拟平面可以是弯曲的，而第二虚拟平面可以是平坦的。在另一示例中，第一虚拟平面可以是弯曲的，而第二虚拟平面可以是弯曲的。平坦的虚拟平面可以是其中虚拟平面上的任意两点之间的直线完全位于该表面内或该表面上的平坦表面。例如，第一虚拟平面可以沿着水平平面延伸，并且第一组虚拟对象在第一虚拟平面中的移动可以发生在二维空间中。曲面可以是其中虚拟平面上的至少一对两点之间的直线位于表面外部的曲面。曲面可以在三维空间中延伸。例如，第二虚拟平面可以沿着弯曲路径延伸，并且第一组虚拟对象在第一虚拟平面中的移动可以发生在三维空间中。
在一些实施方式中，物理对象可以位于物理表面上，其中第一虚拟平面延伸超过物理表面的尺寸。物理表面可以是存在于用户环境中的物理对象的表面。例如，物理表面可以是办公桌、桌子、椅子、梳妆台、沙发椅、书架、工作台面或任何其它表面。物理对象可以位于物理表面上。第一虚拟平面可以表示物理对象占据的空间，并且可以延伸经过物理表面的边界。作为另一示例，物理对象可以位于房间中的办公桌上，并且虚拟平面可以与桌子的上表面重合并且延伸经过桌子的端部到达房间的墙壁。作为另一示例，物理对象可以位于办公室中的桌子上，并且虚拟平面可以与桌子的上表面重合并且延伸经过桌子的端部到达房间中的窗户。
一些公开的实施方式可以涉及访问用于将第一组虚拟对象对接在与第一虚拟平面相关联的第一位置中的第一指令。在此上下文中，对接可以包括将虚拟对象连接、拴系、链接或以其他方式接合到虚拟平面上的特定位置。对接可以确保当虚拟平面移动时，对象停留在虚拟平面上的特定位置。在一示例中，指令可以是用于执行任务或动作的一组命令或规则。在另一示例中，指令可以包括被配置为导致期望动作的任何信息。可以向处理器提供指令以执行指令来执行任务，在这种情况下，将一个或更多个对象链接到特定位置，在一些实施方式中，该特定位置可以由坐标来定义。例如由处理器访问指令可以包括以下中的至少一个：接收所述指令；从存储器读取所述指令；从外部装置接收所述指令；通过分析数据来确定所述指令；从用户接收所述指令(例如，通过用户接口、通过手势、通过语音命令等)等。例如，指令可以是将虚拟平面上的坐标与例如数据结构中的特定对象相关联。指令可以定义对接应该如何发生的规则。因此，第一组指令可以定义虚拟对象可以在特定位置对接到虚拟平面。虚拟平面可以移动，并且对接的虚拟对象也可以与虚拟平面一起移动，以确保虚拟对象停留在虚拟平面上的相同位置。一个或更多个虚拟对象(例如，一个虚拟对象、至少两个虚拟对象、至少三个虚拟对象、至少十个虚拟对象等)可组成一组虚拟对象。一组虚拟对象可以对接到虚拟平面上的相同位置，或者每个对象可以对接到不同的位置。例如，一组虚拟对象可以对接在物理对象左边三英寸的位置，并且在与物理对象相关联的虚拟平面上。作为另一示例，一组虚拟对象可对接在距物理对象向上2厘米且在与物理对象相关联的虚拟平面上的位置中。在一些实施方式中，该组虚拟对象中的一个或更多个对象可以对接到虚拟平面上的不同位置。因此，例如，第一虚拟对象可以对接在物理对象左侧的坐标处，而第二虚拟对象可以对接在物理对象右侧的坐标处。
一些公开的实施方式可以涉及访问用于将第二组虚拟对象对接在与第二虚拟平面相关联的第二位置中的第二指令。第二指令可具有类似于上文针对第一指令描述的特征的特征。与第一组虚拟对象类似，第二组虚拟对象可以包括一个或更多个虚拟对象。第二组虚拟对象可以按照与上述关于第一组虚拟对象相同的方式对接到相同的位置或不同的位置。例如，第二组虚拟对象可以对接在物品左边三英寸并且与该物品相关联的虚拟平面上的位置。作为另一示例，第二组虚拟对象可对接在距项目向上2厘米且与该项目相关联的虚拟平面上的位置中。
一些公开的实施方式可以包括接收与物理对象的移动相关联的第一输入。物理对象的移动可以包括改变物理空间内的位置或取向。例如，移动可以包括距离、位置、高度、角度取向或任何其它类型的移动的改变。作为用户动作的结果，物理对象可以移动。例如，用户可以将物理对象在桌子上向右移动5英寸。在一些示例中，接收第一输入可以包括从存储器读取第一输入，从外部设备接收第一输入或使用传感器捕获第一输入中的至少一个。物理对象的移动可以由图像传感器检测，并且其构成可以由一个或更多个处理器接收的输入。换言之，可以例如使用视觉对象跟踪算法来分析来自图像传感器的信号，以确定物理对象在某一方向上移动了某一距离，和/或物理对象在某一方向上旋转。
在一些实施方式中，物理对象可以是计算设备，并且第一输入可以包括从与计算设备相关联的至少一个运动传感器接收到的运动数据。计算设备可以是由数字处理单元控制的电子设备。例如，计算设备可以包括智能电话、膝上型计算机、平板计算机、台式计算机、手持计算机、可穿戴计算机或任何其它类型的计算设备。计算设备可以包含运动传感器。运动传感器可以是被设计成检测和测量直线和/或角移动的电子设备。可以采集由运动传感器检测到的计算设备的运动作为运动数据，并且可以接收运动数据作为第一输入。例如，智能电话可以在物理空间中向左移动。运动传感器可以存储智能电话的向左移动作为第一输入。运动传感器可以位于计算设备上的任何地方。例如，运动传感器可以位于膝上型计算机的一侧。作为另一个例子，运动传感器可以位于膝上型计算机的顶部。作为另一个例子，运动传感器可以位于膝上型计算机的底部。
一些公开的实施方式可以涉及分析运动数据以确定物理对象的移动是否大于阈值，当物理对象的移动大于阈值时引起第一组虚拟对象的显示的改变，以及当物理对象的移动小于阈值时维持第一组虚拟对象的显示。阈值可以是对于某个反应必须被超过的参数的幅度或强度。阈值可以基于距离、速度、旋转角度、加速度、力或任何其它参数。阈值可以是预定的，可以由用户设置，或者可以基于系统或环境的当前状态来确定。例如，阈值可以基于物理对象的类型、物理对象的大小、物理对象与第二虚拟平面之间的距离、物理对象被放置在其上的物理表面的类型、物理对象被放置在其上的物理表面的大小、物理对象与用户之间的距离等。可以分析运动数据以检测移动并确定移动是否大于、等于或小于阈值。在一些情况下，物理对象的移动可能相对较小(例如，小于阈值)，并且因此在第一组虚拟对象的显示中可能没有变化。也就是说，第一组虚拟对象可以被保持在虚拟平面上它们各自的位置。另选地，物理对象的移动可能相对较大(例如，大于或等于阈值)，并且因此第一组虚拟对象的显示可以改变。也就是说，第一组虚拟对象可以响应于物理对象的移动而从它们的位置移动。例如，当阈值被设置为5厘米并且物理对象仅移动3厘米时，第一组虚拟对象的显示可以不改变，因为物理对象移动的距离低于阈值。作为另一示例，如果用户在该场景中将物理对象移动8厘米，则第一组虚拟对象的显示可被改变，因为物理对象移动的距离超过阈值。
在一些实施方式中，物理对象是无生命对象，并且第一输入可以包括从与可穿戴扩展现实装置相关联的图像传感器接收到的图像数据。无生命对象可以是不能自己移动的对象。例如，无生命体可以是键盘、椅子、书写用具、笔记本或任何其它在不受到一些外部刺激的情况下不能改变其位置或取向的对象。可穿戴扩展现实装置可以包含图像传感器以存储物理对象的图像。图像传感器可以是被配置为拍摄光学图像并将该光学图像转换为电信号的电子设备。如上所述，图像传感器可以附接到可穿戴扩展现实装置的任何部分。物理对象的图像和/或视频可以由图像传感器拍摄并作为图像数据提供。在一些实施方式中，第一输入可以包括由图像传感器捕获的物理对象的图像数据。
一些公开的实施方式可以涉及分析图像数据以确定可穿戴扩展现实装置的用户是否提示了物理对象的移动，当用户提示了物理对象的移动时引起第一组虚拟对象的显示的改变，以及当用户没有提示物理对象的移动时维持第一组虚拟对象的显示。可穿戴扩展现实装置的用户可以通过物理地推动和/或拉动物理对象并通过以任何其他方式移动物理对象来改变物理对象的定位、位置或任何其他方式来提示物理对象的移动。另选地，用户之外的人也可以以相同的方式提示物理对象的移动。图像传感器可以拍摄移动物理对象的人的图像。可以分析图像以确定移动物理对象的人是否是可穿戴扩展现实装置的用户。在一个例子中，这可以通过分析由图像传感器捕获的移动者的手或其它相关身体部分的物理人体特征，并将这些特征与存储的用户特征进行比较来实现。一种这样的机制可以是面部或手识别。面部或手识别技术可以使用已知的计算机算法来挑选用户面部或手的特定的、区别性的细节，这些细节可以与已经收集在数据库中的其他面部和/或手的所存储的细节进行比较。在另一示例中，可以使用二进制视觉分类算法来分析移动物理对象的人的图像，并将其分类为两个类别中的一个，“物理对象的移动被可穿戴扩展现实装置的用户提示”或“物理对象的移动不被可穿戴扩展现实装置的用户提示”。这种二进制视觉分类算法可以通过使用训练示例训练机器学习模型来获得。在一示例中，可穿戴扩展现实装置的用户可以移动物理对象。可以分析由图像传感器获得的图像数据以确定用户是否移动了物理对象。当确定物理对象被用户移动时，可基于用户的动作来改变第一组虚拟对象的显示。也就是说，也可以基于用户的动作来移动第一组虚拟对象。作为另一示例，没有佩戴可穿戴扩展现实装置的个人可以移动物理对象，或者物理对象可以不由于佩戴可穿戴扩展现实装置的用户的动作而移动。可以分析由图像传感器获得的图像数据以确定用户是否移动了物理对象。当确定物理对象被用户以外的某人移动(或物理对象未被用户移动)时，第一组虚拟对象的显示可不被改变。也就是说，第一组虚拟对象可以不基于可穿戴扩展现实装置的用户以外的某人对物理对象的移动(或者基于可穿戴扩展现实装置的用户对物理对象的移动)而移动。
响应于接收到第一输入，一些公开的实施方式可以包括：按照对应于物理对象的移动的方式引起第一组虚拟对象的显示的改变，同时将第二组虚拟对象保持在第二位置。引起显示的改变可以包括改变虚拟对象如何可视地呈现给用户(例如经由可穿戴扩展现实装置)。例如，显示的改变可以包括位置的改变、视觉属性的改变、诸如尺寸、亮度、饱和度、取向、不透明度、强度、图形主题、颜色方案和/或其它显示改变。第一组虚拟对象可以位于与物理对象相同的虚拟平面上，而第二组虚拟对象可以位于不同的虚拟平面上。物理对象可改变虚拟平面上的位置并创建输入(例如，经由来自运动传感器或图像传感器的信号)。第一组虚拟对象的显示可基于输入而改变。可以不改变第二组虚拟对象的显示。例如，物理对象可以在第一虚拟平面中向右移动三英尺。第一组虚拟对象也可以在第一虚拟平面中向右移动三英尺，同时第二组虚拟对象可以不在第二虚拟平面中移动。
作为示例，图65示出根据本公开的一些实施方式的在物理对象移动之前对接到虚拟平面中的位置的虚拟对象的示例。在一些实施方式中，物理对象6511和第一组虚拟对象6512可以与第一虚拟平面6510相关联。第一组虚拟对象6512可以对接到第一虚拟平面6510上的位置。项目6521和第二组虚拟对象6522和6523可以与第二虚拟平面6520相关联。第二组虚拟对象6522和6523可以对接到第二虚拟平面6520上的位置。
作为示例，图66示出了根据本公开的一些实施方式的物理对象和虚拟对象相对于图65所示情形的移动的示例。在一些实施方式中，物理对象6611和第一组虚拟对象6612可以与第一虚拟平面6610相关联。第一组虚拟对象6612可以对接到第一虚拟平面6610上的位置。项目6621和第二组虚拟对象6622和6623可以与第二虚拟平面6620相关联。第二组虚拟对象6622和6623可以对接到第二虚拟平面6620上的位置。物理对象6611可以从其原始位置(如6515所示)移动到新位置(如6616所示)。第一组虚拟对象6612可被移动以对应于物理对象6611的移动。然而，第二组虚拟对象6622和6623可以不移动。
在一些实施方式中，当物理对象被移动到被确定为与物理对象最初位于其上的物理表面分离的新位置时，第一组虚拟对象的显示可被更新以出现在新位置附近，但虚拟对象的显示被修改。例如，如果物理对象的原始位置是第一平面中的会议室桌子的表面，并且新位置是第二平面中的边桌的表面，则虚拟对象既可以移动到与边桌相关联的位置(例如，与物理对象的移动成比例的移动)，也可以改变外观。例如，平面中的改变可能需要将透视改变反映在虚拟对象中。在另一示例中，虚拟对象在不同照明条件下的新位置可能需要不透明度或亮度变化。在又一示例中，扩展现实环境中的虚拟对象的部分遮挡可能需要虚拟对象的部分渲染。因此，不仅虚拟对象将移动到新位置，而且它们在新位置中的外观可能不同于它们先前的外观。在一些实施方式中，新位置可能不再在物理表面上。即使新位置不再在相同的物理表面上，也可以改变虚拟对象的显示。例如，物理对象可以在被移动之前位于办公桌上。在被移动后，物理对象可以位于椅子上。第一组虚拟对象也可以被移动以与椅子相关联的方式定位。
在一些实施方式中，修改第一组虚拟对象的显示包括以下中的至少一项：使第一组虚拟对象消失；改变第一组虚拟对象的至少一个视觉属性；或显示第一组虚拟对象的最小化版本。修改显示可包括实现与显示相关联的视觉属性、外观或其它视觉特征的改变。视觉属性可以是对象的特征外观。视觉特征可以包括尺寸、取向、不透明度、强度、图形主题、颜色方案、对准、间隔和/或可以控制显示的其他参数。例如，可以通过完成从扩展现实环境中移除(例如，删除)第一组虚拟对象来修改显示。作为另一示例，可减小第一组虚拟对象的尺寸。作为另一示例，可以调整第一组虚拟对象的亮度。
一些公开的实施方式可以包括接收与项目的移动相关联的第二输入。在一些示例中，接收第二输入可以包括以中的至少一项：从存储器读取第二输入；从外部设备接收第二输入；或使用传感器捕获第二输入。项目可以按照与上述物理对象相同的方式移动。例如，项目(诸如物理项目、虚拟项目、图标、化身或窗口小部件)可以向上移动三英寸。类似于第一输入，项目的移动可构成可由一个或更多个处理器接收的第二输入。在一示例中，项目可以是扩展现实环境中的虚拟项目，并且第二输入可以从呈现所述项目的可穿戴扩展现实装置、从协调扩展现实环境的计算机化系统、从控制经由一个或更多个可穿戴扩展现实装置的项目呈现的计算机化系统等接收。
在一些实施方式中，项目是虚拟对象，并且第二输入包括从可连接到可穿戴扩展现实装置的输入设备接收到的指向数据。指向数据可以包括用于识别位置的数据。这样的数据可以包括例如相对于特定参考轴或平面的坐标位置、距离和/或角位置。用户可以使用输入设备来识别点。输入设备可以被配置为允许一个或更多个用户输入信息。例如，用户可以通过触摸触摸板、控制键盘、移动计算机鼠标、使用触摸屏、通过手势、通过语音命令或通过任何其他手段来识别点(例如，位置)。例如，项目可以是虚拟屏幕。用户可以用由计算机鼠标控制的虚拟光标拖动虚拟屏幕，可以用手势等推或拉虚拟屏幕，并且作为响应，可以由与一些公开的实施方式相关联的一个或更多个处理器接收第二输入。
一些公开的实施方式可以涉及分析指向数据以识别指示虚拟对象的期望移动的光标动作，并且按照与虚拟对象的期望移动相对应的方式引起第二组虚拟对象的显示中的改变。光标可以是标识一点的可移动指示符。光标动作可涉及用户控制光标以通过悬停在所述点上、在所述点上点击、拖动所述点或使所述点的外观和/或位置改变的任何其它动作来识别所述点。可以分析光标动作以确定用户可能希望选择和移动虚拟对象。作为响应，用户可以相对于虚拟对象的移动来改变第二组虚拟对象的显示。例如，项目可以是虚拟屏幕，而第二组虚拟对象可以是窗口小部件。用户可以通过使用光标拖动屏幕来移动虚拟屏幕。作为响应，第二组虚拟对象也可以在屏幕的移动方向上移动。第二组虚拟对象的移动可以与所述项目的移动成比例。例如，所述项目可以移动5英寸，而第二组虚拟对象可以移动5英寸。
在一些实施方式中，项目可以是虚拟对象，并且第二输入可以包括从与所述可穿戴扩展现实装置相关联的图像传感器接收到的图像数据。与虚拟对象相关联的图像数据可由图像传感器按照与上文关于物理对象的图像数据所描述的相同方式来捕获。图像传感器可以拍摄图像或视频，并且第二输入可以包括图像或视频，或者可以基于对图像或视频的分析。例如，项目可以是依靠用户的手势与文字文档交互而向左移动六英寸的文字文档。手势可以是任何身体移动(例如，头部、眼睛、手)。图像传感器可以捕获手势，并且处理器可以将手势解释为向左移动6英寸的指示。由处理器确定的该指示可以构成第二输入。
一些公开的实施方式可以涉及分析图像数据以识别指示虚拟对象的期望移动的手势，并且按照与虚拟对象的期望移动相对应的方式引起第二组虚拟对象的显示的改变。如在前一段中所暗示的，手势可以是用户的手或用户的手的一部分的移动，其可以指示或表达引起动作的意图。这种手势可以包括例如滚动、捏、轻敲和/或使用一个或更多个手指按压，和/或涉及用户的一个或更多个手指、手腕和/或前臂的运动的其他组合。图像传感器可以创建做出手势的用户的图像。可以分析图像以确定用户是否可能试图利用虚拟对象执行特定移动。可以将图像与所收集的图像进行比较以确定用户的手势。所收集的图像可由处理器存储和访问，并使用机器学习模块、分割、模式匹配或其它技术进行比较。可以比较图像以寻找类似的手移动。例如，用户手势的图像可以包括用户的手指向左扫。可以将该图像与所收集的手指向左扫的图像进行比较，所收集的手指向左扫的图像对应于将对象向左移动的期望运动。基于该比较，可以确定用户正试图向左移动对象。特定的手势可以涉及特定的移动。例如，滚动手势可以指示用户可能正试图向上或向下移动虚拟对象。作为另一示例，捏的手势可指示用户正试图放大虚拟对象。基于手势，可以改变第二组虚拟对象的显示。例如，用户可以使用捏的手势来指示期望将虚拟对象放大。作为响应，可以以拉进或放大的形式显示第二组虚拟对象。
响应于接收到第二输入，一些公开的实施方式可以包括：在保持第一组虚拟对象的第一位置的同时，按照与项目的移动相对应的方式使第二组虚拟对象的显示改变。第二组虚拟对象的显示改变可以通过类似于上述第一组虚拟对象的显示改变的方式进行。第二组虚拟对象可位于与项目相同的虚拟平面上，而第一组虚拟对象可位于不同的虚拟平面上。项目可改变虚拟平面上的位置并创建输入。可以基于第二输入改变第二组虚拟对象的显示，而可以不改变第一组虚拟对象的显示。例如，当项目在第二虚拟平面中向右移动三英尺时，第二组虚拟对象也可以在第二虚拟平面中向右移动三英尺，而第一组虚拟对象可以不在第一虚拟平面中移动。
作为示例，图67示出了根据本公开的一些实施方式的项目和虚拟对象相对于图65所示情形的移动的示例。在一些实施方式中，物理对象6711和第一组虚拟对象6712可以与第一虚拟平面6710相关联。例如，第一组虚拟对象6712可以对接到第一虚拟平面6710。项目6721和第二组虚拟对象6722和6723可以与第二虚拟平面6720相关联。例如，第二组虚拟对象6722和6723可以对接到第二虚拟平面6720。项目6721可以从其原始位置(如6725所示)移动到新位置(如6726所示)。第二组虚拟对象6722和6723可被移动以对应于项目6721的移动。然而，第一组虚拟对象6712可以不移动。
在一些实施方式中，响应于接收到第一输入而使第一组虚拟对象的显示改变可以包括按照对应于物理对象的移动的方式移动第一组虚拟对象，并且响应于接收到第二输入而使第二组虚拟对象的显示改变包括按照对应于项目的移动的方式移动第二组虚拟对象。如上所述，第一组虚拟对象可以与物理对象的移动成比例地移动位置。同样如上所述，第二组虚拟对象可以与项目的移动成比例地移动位置。例如，物理对象可以被移动到物理对象的原始位置的左边三英寸。作为响应，第一组虚拟对象也可以向第一组虚拟对象的原始位置的左侧移动三英寸。作为另一示例，项目可以向项目的原始位置的右侧移动三英寸。作为响应，第二组虚拟对象也可以向第二组虚拟对象的原始位置的右侧移动3英寸。
在一些实施方式中，响应于接收到第一输入而使第一组虚拟对象的显示改变可以包括改变第一组虚拟对象的至少一个视觉属性，并且响应于接收到第二输入而使第二组虚拟对象的显示改变包括改变第二组虚拟对象的至少一个视觉属性。视觉属性可以是如上所述并且如以上示例中所提供的对象的特征外观。显示的改变可以包括视觉属性的改变。例如，物理对象可以向物理对象的原始位置的左侧移动三英寸。作为响应，第一组虚拟对象可以减小尺寸。作为另一示例，项目可以向项目的原始位置的右侧移动三英寸。作为响应，第二组虚拟对象的尺寸可以增加。或者，虚拟对象的移动可导致对象的重新渲染以反映对象的与新位置相关联的新视角。
在一些实施方式中，项目可以是虚拟对象，并且虚拟对象的移动包括虚拟对象的尺寸或取向中的至少一项的修改，并且其中，操作还包括按照对应于虚拟对象的修改的方式改变第二组虚拟对象的尺寸或取向中的至少一项。尺寸和取向的改变可以包括改变项目或虚拟对象的物理特性。可以通过改变项目的长度、宽度、深度、高度或其他尺寸来修改项目或虚拟对象的尺寸。可以通过分别改变项目或虚拟对象的相对位置来修改项目或虚拟对象的取向。可以按照与修改项目的方式相同的方式修改第二组虚拟对象。例如，可以减小项目的长度。作为响应，还可以减小第二组虚拟项目的相应长度。作为另一示例，项目的取向可被修改为面向北方。作为响应，第二组虚拟对象也可以被修改为面向北方。
在一些实施方式中，扩展现实环境可包括与第一虚拟平面相关联并对接到项目的虚拟对象。虚拟对象可对接到如上所述的项目。虚拟对象可以位于物理对象的第一虚拟平面中。例如，第一虚拟平面可以是在水平方向上延伸的虚拟平面。虚拟对象可以位于第一虚拟平面上并且也位于水平方向上。虚拟对象可以连接到位于第二虚拟平面中的项目。
响应于接收到第一输入，一些公开的实施方式可以涉及按照对应于物理对象的移动的方式使第一组虚拟对象的显示改变，同时保持虚拟对象的显示的位置。例如，相应的变化可以包括距离方面的比例变化，或有利位置方面的视角变化。当检测到物理对象的移动时，处理器可以影响第一组虚拟对象的相应移动。然而，另一虚拟对象的位置可以保持不变。换句话说，只有对接的一组虚拟对象的位置可以响应于物理对象的移动而改变，而未对接的虚拟对象(或对接到除该物理对象之外的某物的虚拟对象)保持在适当位置。
响应于接收到第二输入，一些公开的实施方式可以涉及使第二组虚拟对象的显示改变，并且按照对应于项目的移动的方式改变虚拟对象的显示。类似于以上描述，由于第二组虚拟对象对接到项目(其移动构成第二输入)，所以当相关联的项目移动时，第二组虚拟对象的显示改变。如前所述，第二组虚拟对象的显示的变化可以与项目的移动的变化成比例。
在一些实施方式中，扩展现实环境可包括与第二虚拟平面相关联并对接到物理对象的虚拟对象。如上所述，虚拟对象可以对接到物理对象。虚拟对象可以位于项目的第二虚拟平面中。例如，第二虚拟平面可以是在垂直方向上延伸的虚拟平面。虚拟对象可以位于第二虚拟平面上并且位于垂直方向上。虚拟对象可以连接到第一虚拟平面中的物理对象。
一些公开的实施方式可以包括：响应于接收到第一输入，按照对应于物理对象的移动的方式使第一组虚拟对象的显示改变并且使虚拟对象的显示改变。第一组虚拟对象和虚拟对象可以位于不同的虚拟平面中。第一组虚拟对象的显示可以基于物理对象在第一虚拟平面中的移动而改变。虚拟对象可以对接到物理对象并且同样在第二虚拟平面中移动。虚拟对象的移动可以按照与上述物理对象相同的方式进行。例如，物理对象可以移动5英寸。第一组虚拟对象也可以移动5英寸。由于虚拟对象与物理对象对接，虚拟对象也可以移动5英寸。
一些公开的实施方式可以包括：响应于接收到第二输入，在保持虚拟对象的显示的位置的同时，按照对应于项目的移动的方式使第二组虚拟对象的显示改变。由于虚拟对象未对接到项目，所以当接收到第二输入时，只有对接的第二组虚拟对象的显示可以改变，而未对接的虚拟对象的显示可以不改变。类似于上面的描述，虚拟对象可以位于第二虚拟平面中并且与物理对象对接。项目和第二组虚拟对象也可以位于第二虚拟平面中。项目可以移动并使第二组虚拟对象改变，但是可以不引起虚拟对象的改变。例如，项目可以向上方移动5英寸。第二组虚拟对象也可以向上方移动5英寸。由于虚拟对象与物理对象对接，虚拟对象可以不移动。
在一些示例中，可以接收物理元件位于扩展现实环境中的特定位置处的指示。在一些示例中，可以接收使用包括在可穿戴扩展现实装置中的图像传感器捕获的图像数据。例如，可以从图像传感器、从可穿戴扩展现实装置、从可穿戴扩展现实装置外部的中间设备、从存储器单元等接收图像数据。可以分析图像数据以检测扩展现实环境中的特定位置的物理元件。在另一示例中，雷达、激光雷达或声纳传感器可用于检测扩展现实环境中的特定位置处的物理元件的存在。在一些示例中，可以基于位于特定位置的物理元件来选择按照与项目的移动相对应的方式改变第二组虚拟对象的显示。在一示例中，将第二组虚拟对象中的特定虚拟对象的位置保持在第二虚拟平面上可以使得该特定虚拟对象与物理元件冲突，并且作为响应，可以将该特定虚拟对象移动到新位置(例如，在第二虚拟平面上、在第二虚拟平面之外等)，使得该特定虚拟对象的新位置不与物理元件相冲突，或者可以取消或抑制特定虚拟元件对接到第二虚拟平面。在另一示例中，保持特定虚拟对象在第二虚拟平面上的位置可以使得特定虚拟对象至少部分地被物理元件隐藏(可以使用射线投射算法来确定)，并且作为响应，可以改变特定虚拟对象在第二虚拟平面上的位置，使得在新位置处，特定虚拟对象不被物理元件隐藏(完全或部分地)，或者可以取消或抑制特定虚拟元件对接到第二虚拟平面。
图68示出可由处理器执行以执行用于实现选择性虚拟对象显示改变的操作的示例性方法6800的流程图。方法6800可以包括步骤6811：生成扩展现实环境，其中，该环境包括与物理对象相关联的第一虚拟平面和与项目相关联的第二虚拟平面，第二虚拟平面在垂直于第一虚拟平面的方向上延伸。方法6800还可包括步骤6812：访问将第一组虚拟对象对接在与第一虚拟平面相关联的第一位置中的第一指令。此外，方法6800可包括步骤6813：访问将第二组虚拟对象对接在与第二虚拟平面相关联的第二位置中的第二指令。方法6800可以包括步骤6814：接收与物理对象的移动相关联的第一输入。方法6800可以包括步骤6815：使第一组虚拟对象的显示改变，同时将第二组虚拟对象保持在第二位置。方法6800还可以包括步骤6716：接收与项目的移动相关联的第二输入。此外，在一些示例中，方法6800可包括可选步骤6817：在维持第一组虚拟对象的第一位置的同时，引起第二组虚拟对象的显示改变。
一些实施方式涉及确定用于呈现虚拟内容的显示配置。确定显示配置可以包括确定用于配置虚拟内容的显示的操作参数和指令。根据这些实施方式并且如下所述，可以基于检索到的与特定输入设备相关联的显示设置和至少一个使用参数的值来确定显示配置。显示配置可以例如包括与呈现虚拟内容的视角有关的指令(例如，视角、尺寸、位置和/或纵横比)、与虚拟屏幕的呈现有关的指令(例如，虚拟屏幕的数量、虚拟屏幕的尺寸、虚拟屏幕的取向或虚拟屏幕的边界的配置)、与虚拟内容的外观有关的指令(例如，虚拟内容的不透明度、虚拟内容的颜色方案或虚拟内容的亮度级)、与所显示的内容的类型相关的指令(例如，用于虚拟内容的操作系统、启动应用的选择、启动虚拟对象的选择，或所选择的启动虚拟对象在扩展现实环境中的放置)、与距用于呈现虚拟内容的可穿戴扩展现实装置的距离有关的指令和/或与布局或配置有关的任何其他参数。下文更详细地描述显示器配置的额外公开内容和示例。
基于显示配置呈现虚拟内容可以包括根据所确定的显示设置向扩展现实装置的佩戴者显示虚拟内容。在一示例中，基于显示配置来呈现虚拟内容可以包括改变默认显示设置。例如，改变以下中的一项或更多项：虚拟屏幕的数量、颜色方案、操作系统、亮度级、不透明度级、启动虚拟对象或其它默认显示设置。此外，呈现可以包括一个或更多个应用、一个或更多个操作系统和/或可以放置在虚拟内容的一个或更多个位置处的一个或更多个虚拟对象的显示。
在一些实施方式中，由可穿戴扩展现实装置呈现的虚拟内容可以包括一个或更多个虚拟对象，例如虚拟屏幕。虚拟屏幕(本文中也称为“虚拟显示器”或“虚拟显示屏”)可以是模仿和/或扩展物理显示屏的功能的虚拟对象，如上所述。在一示例中，每个虚拟屏幕可呈现多个用户界面元件，诸如虚拟窗口、虚拟窗口小部件或虚拟光标。在一些实施方式中，每个虚拟屏幕可以被配置为显示文本、视觉媒体或应用，诸如网页、视频、图片、视频游戏、文件浏览器、电子邮件客户端或web浏览器。根据本公开的各方面，虚拟内容的呈现可由显示设置(例如，默认显示设置)来配置。
一些实施方式可以包括从与可穿戴扩展现实装置相关联的图像传感器接收图像数据。图像传感器可以捕获用户环境的图像数据。在一示例中，图像传感器可以例如以集成相机的形式内置于可穿戴扩展现实装置中。在另一示例中，图像传感器可以在可穿戴现实设备的外部，例如与可穿戴扩展现实装置通信的外部网络相机。图像数据可以包括例如表示用户视场的物理区域的图像，包括视场中存在的一个或更多个有生命的或无生命的对象的表示。接收图像数据可以包括将图像数据从图像传感器传送到处理设备。在一个实施方式中，远程服务器(例如，如图2所示的服务器210)可以从图像传感器接收图像数据，并且可穿戴扩展现实装置可以从远程服务器接收图像数据。另外地或可选地，输入设备(例如，如图1所示的键盘104、或与计算设备集成的输入设备)可以从图像传感器接收图像数据，并且可穿戴扩展现实装置可以从输入设备接收图像数据。在一些实施方式中，图像数据可通过无线网络(例如Wi-Fi、蓝牙、近场通信或蜂窝式网络)传输。在一些实施方式中，图像数据可通过有线网络(例如LAN)或USB连接来传输。
在一些实施方式中，可穿戴扩展现实装置可以被配置成与多个输入设备配对。将可穿戴扩展现实装置与输入设备配对可以包括使用配对机制在可穿戴扩展现实装置与输入设备之间建立关系。在将输入设备与可穿戴扩展现实装置配对时，用户可以使用输入设备来修改由可穿戴扩展现实装置显示的虚拟内容。配对的连接可以是在可穿戴扩展现实装置与多个输入设备之间建立的有线或无线连接。在一些实施方式中，对特定输入设备进行配对可以包括使用每个输入设备的验证码来建立连接。在一示例中，特定输入设备可以是多个输入设备中的一个输入设备。在一示例中，可穿戴扩展现实装置可以通过无线网络(例如Wi-Fi、蓝牙、近场通信或蜂窝网络)或通过有线网络(例如LAN)或USB连接与多个输入设备配对。在一示例中，可穿戴扩展现实装置可以通过诸如LAN的有线网络或经由USB连接与多个输入设备配对。
多个输入设备可以包括任何类型的物理设备，所述物理设备被配置为接收来自用户或用户环境的输入，并且向与可穿戴扩展现实装置相关联的处理设备提供数据。例如，多个输入设备可以包括以下中的至少两个或更多个：键盘、鼠标、触笔、控制器、触摸屏或其他便于人机交互的设备。在一些实施方式中，多个输入设备可以包括至少第一输入设备和第二输入设备。第一输入设备和第二输入设备可以是相同类型的，例如，第一输入设备和第二输入设备可以都是键盘。或者，第一输入设备和第二输入设备可以是不同的类型，例如，第一输入设备可以是键盘，而第二输入设备可以是触笔。在一些实施方式中，第一输入设备和第二输入设备在视觉上可以是相似的。例如，第一输入设备和第二输入设备可以具有相似的颜色、尺寸、图案或其它相似的视觉标识符。
在一些实施方式中，每个输入设备可以与默认显示设置相关联。默认显示设置可以包括定义用户界面的配置或状态的一个或更多个预配置的值。在一些实施方式中，默认显示设置可以存储在与多个输入设备中的每一个相关联的存储器上。在一些实施方式中，每个输入设备可以包括对于输入设备的制造商或型号独一无二的默认显示设置。在一些实施方式中，默认显示设置可以存储在远程服务器上的存储器中。根据上述示例，第一输入设备和第二输入设备可以与不同的默认显示设置相关联。例如，第一输入设备可以与第一默认显示设置相关联，而第二输入设备可以与第二默认显示设置相关联。在一个示例中，至少一些第一默认显示设置可以不同于第二默认显示设置。
在一些实施方式中，默认显示设置可以包括距用于呈现虚拟内容的可穿戴扩展现实装置的默认距离。默认距离可以是值、一组值、或者可以向用户呈现虚拟内容内的范围。用于呈现虚拟内容的示例默认距离可以包括0.5米(m)至7m之间的距离范围。在一示例中，当默认距离被配置为1m时，虚拟内容最初可以在距可穿戴扩展现实装置1m处显示，并且即使当可穿戴扩展现实装置移动时，可穿戴扩展现实装置与虚拟内容之间的距离保持为1m。在另一示例中，虚拟内容最初可以在距可穿戴扩展现实装置1m处显示，但是当可穿戴扩展现实装置移动时，可穿戴扩展现实装置与虚拟内容之间的距离相应地改变。
在一些实施方式中，默认显示设置可以包括虚拟屏幕的默认数量、虚拟屏幕的默认尺寸、虚拟屏幕的默认取向或虚拟屏幕的边界的默认配置中的至少一项。虚拟屏幕的默认数量可以是在启动时或在稍后时间同时显示的虚拟屏幕的默认或预先配置的数量。虚拟屏幕的示例数目可以包括在1至5个虚拟屏幕之间的范围内的数目。还设想了更多数量的虚拟屏幕。虚拟屏幕的默认尺寸可以是虚拟屏幕的默认或预先配置的对角线尺寸。示例性虚拟屏幕尺寸可以是6”至300”之间的尺寸范围。在一些实施方式中，默认大小对于每个虚拟屏幕可以是不同的。默认取向可以是每个虚拟屏幕的默认或预先配置的取向。示例默认取向包括纵向或横向取向。在一示例中，每个虚拟屏幕可以具有不同的默认取向。在一些实施方式中，每个虚拟屏幕的默认取向可以从纵向或横向取向旋转偏移。例如，默认取向可以从初始取向(例如横向取向)旋转30度、45度或60度。在其他实施方式中，每个虚拟屏幕的默认取向可以指示每个虚拟屏幕的俯仰角、偏航角和滚动角。在示例中，屏幕的默认数量可以是两个，第一虚拟水平屏幕的默认尺寸是40”，而第二虚拟屏幕的默认尺寸是20”。
在一些实施方式中，默认显示设置可包括针对虚拟内容对操作系统的默认选择。操作系统的默认选择可以是与可穿戴扩展现实装置相关联的一个或更多个操作系统的默认或预配置选择。操作系统的示例可包括MicrosoftApple/> 等。在一些实施方式中，默认选择可基于操作系统稳定性、用户偏好、应用兼容性或引导次序。在一些实施方式中，每个虚拟屏幕可以呈现不同的操作系统。
在一些实施方式中，默认显示设置可以包括启动应用的默认选择。启动应用的默认选择可以是对一个或更多个启动应用的选择。示例启动应用包括操作系统进程，诸如内核、窗口管理器或网络驱动器。附加地或可选地，示例启动应用可以包括程序，诸如网络浏览器、文字处理器、电子邮件客户端、聊天客户端、天气窗口小部件、消息窗口小部件、其它虚拟窗口小部件或其它可执行应用。在一些实施方式中，每个虚拟屏幕可以呈现不同的启动应用。
在一些实施方式中，默认显示设置可以包括启动虚拟对象的默认选择。启动虚拟对象的默认选择可以是对一个或更多个虚拟对象的选择。示例虚拟对象包括虚拟光标、虚拟窗口、虚拟窗口小部件、应用或其它虚拟用户界面元件。在一些实施方式中，每个虚拟屏幕可以呈现不同的虚拟对象。在其它实施方式中，虚拟对象可以呈现在虚拟屏幕之外。如图1所示，虚拟窗口小部件114A-114D可以紧挨着虚拟屏幕112显示，并且虚拟窗口小部件114E可以显示在桌子102上。启动虚拟对象的默认选择可以包括对虚拟对象类型的选择以及它们在扩展现实环境中的初始布置。
在一些实施方式中，默认显示设置可包括所选的启动虚拟对象在扩展现实环境中的默认布置。启动虚拟对象的默认布置可以是扩展现实环境内(例如，每个虚拟屏幕内)的一个或更多个启动虚拟对象的预先配置的布置或位置。示例布置包括特定坐标、与虚拟屏幕边界的接近度或虚拟屏幕的中心。在一些实施方式中，启动虚拟对象的默认布置可以是相对于物理对象(例如，键盘104)的位置或相对于可穿戴扩展现实装置的位置。例如，虚拟窗口小部件114E可以默认布置在同一表面上位于键盘104的右边。
在一些实施方式中，默认显示设置可以包括虚拟内容的默认不透明度。虚拟内容的不透明度可以是虚拟内容的半透明度的量度。默认不透明度可以在1％到100％的范围之间。在一示例中，100％不透明度可表示虚拟内容的如下不透明度值：小于10％的环境光穿过虚拟内容。在另一示例中，100％不透明度可表示虚拟内容的如下不透明度值：小于5％的环境光穿过虚拟内容。在另一示例中，1％不透明度可表示虚拟内容的如下不透明度值：大于90％的环境光穿过虚拟内容。在一些实施方式中，默认不透明度对于虚拟内容的每个虚拟对象可以是不同的。
在一些实施方式中，默认显示设置可以包括虚拟内容的默认颜色方案。默认颜色方案可以是用于审美或信息需求的颜色的预先配置的协调选择。默认颜色方案可以是以下中的至少一个：单色的、非彩色的、互补的，分裂互补的、类似的、三色系(triadic)的、四色系(tetradic)的或多色的。在一些实施方式中，可以选择默认颜色方案来克服用户的视觉损伤。在一些实施方式中，每个颜色方案可以包括一个或更多个调色板。在一些实施方式中，默认颜色方案对于虚拟内容的每个虚拟对象可以是不同的。
在一些实施方式中，默认显示设置可以包括虚拟内容的默认亮度级。默认亮度可以是预先配置的亮度值。默认亮度可以是从1％到100％范围之间的值。在一些实施方式中，默认亮度可以是从10尼特到2000尼特的范围之间的值。在一个示例中，100％亮度可对应于约2000尼特。在另一示例中，100％亮度可对应于约200尼特。在示例中，1％亮度可以对应于10尼特。在另一示例中，1％亮度可对应于40尼特。在一些实施方式中，默认亮度对于虚拟内容的每个虚拟对象可以是不同的。
在一些实施方式中，可以从存储器中取回默认显示设置。存储默认显示设置的存储器可以包括在图2所示的系统200的任何组件中。例如，可以经由通信网络214下载从服务器210取回默认显示设置。在一些实施方式中，可以经由可穿戴扩展现实装置与输入单元202之间的直接无线连接(例如NFC或蓝牙连接)从输入单元202的存储器中取回默认显示设置。在又一示例中，可以经由可穿戴扩展现实装置与输入单元202之间的有线连接(例如USB或LAN连接)从输入单元202的存储器中取回默认显示设置。在一些实施方式中，可以从与XR单元204相关联的存储器中取回默认显示设置。
一些实施方式可以包括分析图像数据以检测放置在表面上的特定输入设备。图像数据的分析可以包括在此公开的任何图像处理方法。例如，图像数据的分析可以包括以下至少之一：对象检测、图像分割、对象识别或模式识别。根据本公开的各方面，检测特定输入设备可涉及在输入设备的储存库中执行查找以识别可穿戴扩展现实装置的用户当前正使用哪个输入设备。输入设备储存库可以指包含例如输入设备表(例如，与可穿戴扩展现实装置的用户相关联的输入设备)和与特定输入设备相关联的相应默认显示设置的数据存储。例如，表中所示的每个输入设备可以具有存储在表中的相应默认显示设置。在一示例中，可以基于数据结构212或以与数据结构212类似的方式来实现储存库。在另一个实施方式中，分析可以包括在图像数据中识别特定输入设备放置在其上的表面。表面可以是物理表面，例如桌子、地板、工作台面、杯垫、桌垫、鼠标垫或能够容纳输入设备的其它表面。放置特定输入设备的表面类型可以改变默认显示设置。例如，当键盘104被放置在工作台上时，可穿戴扩展现实装置可以根据第一显示配置来呈现虚拟内容，而当键盘104被放置在厨房柜台上时，可穿戴扩展现实装置可以根据第二显示配置来呈现虚拟内容。
一些实施方式可以涉及分析图像数据以识别特定输入设备附近的对象。以类似于识别特定输入设备和其所放置的表面的方式，可分析图像数据以识别其它对象。其他对象可以是物理对象，诸如其他输入设备，咖啡杯、计算设备、移动设备、QR码、条形码、光发射器、标记或显示设备。附近可以是从特定输入设备到对象的距离或半径。示例半径或距离可以在1cm到10m之间。在一示例中，对象可以位于特定输入设备上。在另一示例中，特定输入设备可以被放置在对象上。在一些示例中，可使用对象检测算法、对象识别算法或语义分割算法中的至少一者来分析图像数据以识别对象。
一些实施方式可以涉及基于对特定输入设备附近的对象的识别来确定该特定输入设备是第一输入设备而不是第二输入设备。在一示例中，图像数据可以包括特定输入设备附近的第一对象，其中，第一对象与第一输入设备相关联。图像数据还可以包括在另一输入设备附近的第二对象，其中，第二对象与第二输入设备相关联。以类似于识别特定输入设备附近的对象的方式，如上所述，可以分析图像数据以识别一个或更多个对象。当检测到第一对象在特定输入设备的附近时，特定输入设备可以被识别为第一输入设备而不是第二输入设备。例如，如果QR码与第一输入设备相关联并且位于键盘上，并且与第二输入设备相关联的咖啡杯在写字板附近，则图像分析可以确定键盘(例如，特定输入设备)是第一输入设备而不是第二输入设备。在一示例中，可以知道第一输入设备被放置在较大的办公桌上，而第二输入设备被放置在较小的办公桌上。对象可以是特定输入设备所放置在的办公桌。对象(例如，放置特定输入设备的办公桌)的测量可以通过分析图像来确定，例如使用回归算法或语义分割算法。所确定的测量值可以与较大的办公桌和较小的办公桌的已知测量值进行比较。基于比较结果，办公桌可被识别为较大的办公桌或较小的办公桌，从而特定输入设备可被识别为第一输入设备、第二输入设备或完全不同的输入设备。
图69是使用可穿戴扩展现实装置的用户的示例性图示。如图69所示，用户100可以操作包括图像传感器472的XR单元204。在该示例中，用户100可以在操作期间佩戴XR单元204。图像传感器472可以检测或识别表面6910和位于表面6910上的输入设备6912。图像传感器472可以拍摄包括表面6910和输入设备6912的图像用于分析。系统200的处理设备可以分析所拍摄的图像并且使用输入设备的储存库6911来识别特定输入设备6912B。输入设备6912B与一组特定的默认显示设置相关联。输入设备的储存库6911可经由通信网络214访问，如图所示或存储在XR单元204中。
一些实施方式可涉及确定特定输入设备的至少一个使用参数的值。确定使用参数值可以包括分析来自一个或更多个传感器的数据并且基于所分析的数据将值分配给使用参数。使用参数可以包括与可穿戴扩展现实装置的会话的任何表征属性。使用参数可以包括人体工程学参数、环境参数或输入设备参数中的一个或更多个。在一些实施方式中，人体工程学参数可以指示用户的姿势或行为。人体工程学参数的示例值可包括坐、跪、站、走、跑、跳舞、爬、谈话、玩游戏、锻炼、低头垂肩、弯曲、伸展、打字、阅读或其它活动。环境参数的示例值可以包括天气、一天中的时间、一周中的一天、照明条件、温度、到环境中的对象的距离、噪声水平、香味、特定输入设备与可穿戴扩展现实装置之间的距离、或与环境相关联的其他感觉参数。输入设备参数的示例值可以包括电池充电数据、设备标识符、配对状态或其它设备信息。
在一些实施方式中，通过分析从输入设备、周围环境传感器、位置传感器、加速度计、陀螺仪、麦克风、图像传感器或其他传感器接收的数据，可以确定至少一个使用参数的值。在一示例中，可以分析来自加速度计、陀螺仪或其他位置传感器的数据以确定用户姿势或行为的值。在一示例中，来自环境传感器、图像传感器、位置传感器、麦克风或其它环境传感器的数据可用于确定环境参数的值。在一示例中，来自输入设备、图像传感器、位置传感器、麦克风或其它输入设备传感器的数据可用于确定输入设备参数的值。
一些实施方式可以涉及基于对图像数据、从特定输入设备接收到的数据或从可穿戴扩展现实装置接收到的数据中的至少一个来确定特定输入设备的至少一个使用参数的值。在一些实施方式中，对图像数据的分析结合来自位于可穿戴扩展现实装置上的传感器(诸如运动传感器、环境传感器、音频传感器、重量传感器、光传感器、距离传感器、电阻传感器、LIDAR传感器、超声传感器、接近度传感器和/或生物测定传感器)的数据可以用于计算可穿戴扩展现实装置与特定输入设备之间的距离。在一些实施方式中，图像数据的分析结合来自位于特定输入设备上的传感器的数据(诸如上面列出的那些)可以用于计算可穿戴扩展现实装置与特定输入设备之间的距离。
在一示例中，接近度传感器可以记录距离数据，并且图像传感器可以捕获图像数据。距离数据和图像数据的分析可用于计算可穿戴扩展现实装置与特定输入设备之间的距离。距离数据可以作为从图像数据的分析导出的距离的校准或标准，从而与单独的图像数据相反，允许提高根据图像数据计算的距离的精度。
一些实施方式可以涉及从存储器中取回与特定输入设备相关联的默认显示设置。在一个实施方式中，可以从输入单元202的存储器中取回与特定输入设备相关联的默认显示设置。例如，可以经由可穿戴扩展现实装置与输入单元202之间的直接无线连接(例如NFC或蓝牙连接)来取回默认显示设置。在又一示例中，可以经由可穿戴扩展现实装置与输入单元202之间的有线连接(例如USB或LAN连接)从输入单元202的存储器中取回默认显示设置。在另一实施方式中，可以从与XR单元204相关联的存储器中取回与特定输入设备相关联的默认显示设置。在又一实施方式中，可从与服务器210相关联的存储器取回与特定输入设备相关联的默认显示设置。
一些实施方式可以涉及确定特定输入设备是家用键盘还是工作场所键盘。确定特定输入设备是家用键盘还是工作场所键盘可以基于以下中的至少一个：设备信息、验证码(如光发射器的可视码)、基于对图像数据的分析的特定输入设备的视觉外观、可穿戴扩展现实装置的位置、一天中的时间、一周中的一天或输入设备的使用。工作场所键盘可以是与用户的工作场所相关联的输入设备。家用键盘可以是与用户的住所相关联的输入设备。响应于特定输入设备是家用键盘的确定，一些实施方式可以包括从存储器中取回第一默认显示设置。例如，参考图69，输入设备6912B可以被确定为家用键盘。响应于确定特定输入设备是工作场所键盘，一些实施方式可以包括从存储器中取回第二默认显示设置。例如，参考图69，键盘6912C可以被确定为工作场所键盘。在一些实施方式中，第二默认显示设置不同于第一默认显示设置。例如，第二默认显示设置可包括与工作场所活动相关联的启动应用的选择，诸如生产力软件、开发软件、VPN或其它工作场所应用程序。第一默认显示设置可以包括与用户的家庭活动相关联的启动应用的选择，诸如视频流服务、音乐流服务、智能家庭应用、视频游戏、消息服务(例如，视频聊天、SMS、电话呼叫、即时消息)或其它非工作场所应用。在一些实施方式中，选择不需要是互斥的，换句话说，一些应用可以重叠，例如网络浏览器和VPN。在一些实施方式中，启动应用的每个选择可以被配置用于用户的工作场所和/或家庭活动。在一些实施方式中，可以针对用户的工作场所环境来调整第二默认显示设置，该工作场所环境可以不同于用户的住所。例如，如果用户在昏暗的地下研究实验室中工作，但是生活在明亮的家中，则第二默认设置中的亮度和不透明度设置可以不同于第一默认显示设置，以提高所呈现的虚拟内容的视觉清晰度。
一些实施方式可以涉及确定特定输入设备是自用键盘还是公共键盘。特定输入设备是自用键盘还是公共键盘的确定可以基于以下中的至少一个：设备信息、配对代码(例如光发射器的可视码)、基于图像数据分析的特定输入设备的视觉外观、可穿戴扩展现实装置的位置、一天中的时间、一周中的一天、或输入设备的使用。自用键盘可以是用户拥有的或与用户的个人财产相关联的输入设备。公共键盘可以是由另一方拥有并提供给用户的输入设备。在一些实施方式中，公共键盘可以是其他用户可使用的键盘(例如，公共键盘)。响应于特定输入设备是自用键盘的确定，一些实施方式可以包括从存储器中取回第一默认显示设置。
响应于确定特定输入设备是公共键盘，一些实施方式可以包括从存储器取回第二默认显示设置。在一些实施方式中，第二默认显示设置不同于第一默认显示设置。
例如，第二默认显示设置可包括选择与公共活动相关联的启动应用，诸如生产力软件、开发软件、通信软件、VPN或其它协作应用。第一默认显示设置可以包括选择与用户的私有活动相关联的启动应用，诸如视频流服务、音乐流服务、智能家居应用、视频游戏或其它非协同应用。在一些实施方式中，选择不需要互斥，换言之，一些应用可以重叠，诸如网络浏览器或生产力软件。在一些实施方式中，启动应用的每个选择可被配置用于用户的公共和/或私有活动。在另一示例中，可以为公共键盘调整第二默认显示设置。例如，如果检测到可公共使用的计算机(例如，在公共图书馆中)的键盘，则自动注销倒计时定时器可以在第二默认显示设置的启动应用的选择中。相反，如果在公共空间(例如，咖啡店)中检测到用户的个人膝上型计算机键盘，则自动注销倒计时定时器可以不在第一默认显示设置的启动应用的选择中。
一些实施方式可以涉及确定特定输入设备是基于键的键盘还是基于触摸屏的键盘。确定特定输入设备是基于键的键盘还是基于触摸屏的键盘可以基于以下中的至少一个：设备信息、配对代码(例如光发射器的可视码)、基于图像数据分析的特定输入设备的视觉外观、可穿戴扩展现实装置的位置、一天中的时间、一周中的一天或输入设备的使用。基于键的键盘可以是包括并利用物理键作为主要输入手段的输入设备，例如传统键盘。基于触摸的键盘可以是包括并利用虚拟键作为主要输入手段的输入设备，例如屏幕上键盘。
响应于确定特定输入设备是基于键的键盘，一些实施方式可以包括从存储器中取回第一默认显示设置。响应于确定特定输入设备是基于触摸屏的键盘，一些实施方式可以包括从存储器中取回第二默认显示设置。在一些实施方式中，第二默认显示设置不同于第一默认显示设置。在一些实施方式中，可以针对基于键的键盘来调整第二默认显示设置，该基于键的键盘可以不同于基于触摸屏的键盘。例如，如果检测到基于键的键盘，则可以降低第一默认设置中的亮度和不透明度设置，以提高所呈现的虚拟内容和基于键的键盘的视觉清晰度。相反，如果检测到基于触摸屏的键盘，则可以增加第一默认设置中的亮度和不透明度设置，以计算触摸屏的亮度并提高所呈现的虚拟内容和基于触摸屏的键盘的视觉清晰度。
一些实施方式涉及基于至少一个使用参数的值和所取回的默认显示设置来确定用于呈现虚拟内容的显示配置。确定显示配置可以包括根据显示设置和至少一个使用参数的值来确定所呈现的虚拟内容的布置，或者基于至少一个使用参数的值来确定与特定输入设备相关联的默认显示设置的修改。因此，所取回的默认显示设置和至少一个使用参数值的组合可用于确定显示配置。在一示例中，与例如来自输入设备的低电池状态数据等使用参数相关联的显示配置可包括对某些默认显示设置的修改，例如，改变的颜色方案、虚拟对象的修改的选择、修改的启动应用、或与输入设备上的低电池状态数据相关联的其它修改。虚拟内容的呈现可以通过类似于呈现虚拟内容的方式来执行，如先前所讨论的。
根据一些实施方式，确定显示配置可以包括基于至少一个使用参数的值来修改所取回的默认显示设置。例如，如果使用参数值指示输入设备具有低电量，则可以修改所取回的默认显示设置以降低虚拟内容的亮度。在另一示例中，如果使用参数的值指示输入设备具有低电量，则可修改默认显示设置以将与输入设备相关联的电池监视器呈现为启动应用。在另一示例中，如果使用参数的值指示可穿戴扩展虚拟现实装置是在明亮的照明条件下工作的，则可修改所取回的默认显示设置以增加虚拟内容的不透明度。在另一示例中，如果使用参数的值指示坐着的用户姿势，则可修改默认显示设置以呈现对与用户的工作场所相关联的启动应用的选择。在另一示例中，如果使用参数的值指示行走的用户姿势，则可修改所取回的默认显示设置以降低虚拟内容的不透明度，从而允许用户看到他们在哪里行走。
一些实施方式可以涉及基于至少一个使用参数的值、默认显示设置和至少一个环境参数来确定显示配置。例如，如果使用参数的值指示用户是在明亮的照明条件下坐着的，则可以修改所取回的默认显示设置以增加虚拟内容的不透明度。在另一示例中，如果使用参数值指示输入设备具有低电量并且环境参数指示输入设备不在充电站附近，则可以修改显示配置以呈现与输入设备相关联的电池监视器作为启动应用。
在一些实施方式中，当至少一个使用参数反映特定输入设备距可穿戴扩展现实装置的距离时，如先前所讨论的，一些实施方式可以包括当距离大于阈值时确定第一显示配置。如前所述，可穿戴扩展现实装置的图像数据和传感器数据的分析可用于确定可穿戴扩展现实装置与特定输入设备之间的距离。当确定该距离大于距特定输入设备的阈值距离(例如一米)时，可以使用第一显示配置来呈现虚拟内容。在一示例中，如果用户离开他们的工作场所键盘超过1米，则所呈现的虚拟内容可被重新安排，使得不呈现与工作相关的虚拟屏幕。一些实施方式可以包括当距离小于阈值时确定第二显示配置。当确定该距离小于距特定输入设备的阈值距离(例如一米)时，可以使用第二显示配置来呈现虚拟内容。在一示例中，如果用户走到他们的工作场所键盘的一米之内，则可以重新安排虚拟内容，使得呈现与工作有关的虚拟屏幕。在一些实施方式中，第二显示配置不同于如上所述的第一显示配置。
在一些实施方式中，当至少一个使用参数反映了可穿戴扩展现实装置的用户的姿势时，如先前所讨论的，一些实施方式可以包括在识别出第一姿势时确定第一显示配置。如前所述，可穿戴扩展现实装置的传感器数据可用于确定佩戴可穿戴扩展现实装置的用户的一个或更多个姿势。当识别出第一姿势(例如坐着)时，可以使用第一显示配置来呈现虚拟内容。在一示例中，如果用户被识别为在工作场所坐着，则虚拟内容可被布置成呈现与工作相关的虚拟屏幕和应用。
一些实施方式包括在识别出第二姿势时确定第二显示配置。当识别出第二姿势时，可以根据第二显示配置来呈现虚拟内容。在一示例中，如果用户被识别为正在通话(例如，在通话中)，则可以重新安排虚拟内容，使得不呈现与工作相关的虚拟屏幕和应用。在一些实施方式中，第二显示配置不同于第一显示配置，如先前所论述。
在一些实施方式中，当至少一个使用参数反映其上放置特定输入设备的表面的类型时，如先前所讨论的，一些实施方式可以包括在识别第一类型的表面时确定第一显示配置。当标识了第一类型的表面时，可以使用所确定的第一显示配置来呈现虚拟内容。在一示例中，用户将他们的键盘放在床上，虚拟内容可以被安排成呈现娱乐相关的虚拟屏幕和应用。
一些实施方式可以涉及在识别出第二类型的表面时确定第二显示配置。当识别出第二类型的表面时，可以使用所确定的第二显示配置来呈现虚拟内容。在一示例中，如果用户将他们的键盘放在办公桌上，则虚拟内容可被安排成呈现与生产力相关的虚拟屏幕和应用。在一些实施方式中，第二显示配置不同于第一显示配置，如前所述。
在一些实施方式中，当至少一个使用参数反映与特定输入设备相关联的电池充电数据时，如先前所讨论的，一些实施方式可以包括当特定输入设备靠电池工作时确定第一显示配置。当电池充电数据指示特定输入设备处于放电状态(例如，靠电池电源工作或未连接到外部电源)时，可以使用所确定的第一显示配置来呈现虚拟内容。在一示例中，如果可穿戴扩展现实装置与靠电池电源工作的平板电脑配对，则虚拟内容可被安排成使得与平板电脑相关的电池监视信息被包括在虚拟内容的呈现中。
一些实施方式可以包括当特定输入设备连接到外部电源时确定第二显示配置。当电池充电数据指示特定输入设备处于充电或已充电状态(例如，不靠电池电源工作或连接到外部电源)时，可以使用所确定的第二显示配置来呈现虚拟内容。在一示例中，如果可穿戴扩展现实装置与连接到墙壁插座的平板电脑配对，则虚拟内容可被布置为使得与平板电脑相关的电池监视信息不被包括在虚拟内容的呈现中。在一些实施方式中，第二显示配置可以不同于第一显示配置。
一些实施方式包括根据根据所确定的显示配置经由可穿戴扩展现实装置呈现虚拟内容。
虚拟内容的呈现可以通过显示配置的确定引起。根据所确定的显示配置的虚拟内容的呈现可以通过类似于呈现虚拟内容的方式来执行，如先前所讨论的。显示配置的确定可以通过各种方式改变虚拟内容的呈现。
例如，显示配置可以安排虚拟内容，使得当佩戴可穿戴扩展现实装置的用户在对话时，在屏幕的中心不显示内容。另外，环境传感器可以检测照明条件并修改显示配置以调整包括在与特定输入设备相关联的显示设置中的默认虚拟内容的亮度和/或不透明度，从而提高虚拟内容的视觉保真度。
在另一示例中，显示配置可修改虚拟内容，使得当用户在穿戴可穿戴扩展现实装置的同时行走时，信息地图内容(例如，兴趣点、商业信息、客户评论、通勤信息)显示在屏幕的中心处。用户正在行走的指示是使用参数，并且包含信息地图是与特定输入设备相关联的默认显示设置的改变。另外，环境传感器可检测照明条件并修改显示配置以调整虚拟内容的亮度和/或不透明度，以改进虚拟内容的视觉保真度。
图70是呈现给可穿戴扩展现实装置的用户的显示配置的示例性图示。如图70所示，XR单元204可基于至少一个使用参数(例如，与从灯7020发射的光量相关联)的值和取回的默认显示设置(例如，与特定输入设备6912B相关联)来确定显示配置7000并呈现虚拟内容7010。在该示例中，坐在具有他或她的家里的键盘的家庭办公桌处的用户可以被呈现其中虚拟内容7010包括应用7014周围的窗口小部件7012A-7012J的布置的显示配置。窗口小部件7012A-7012J包括设定窗口小部件7012A、适合度应用7012B、邮件客户端7012C、系统监视器7012D、天气应用7012E、照片查看器7012F、股票跟踪器7012G、时间效用应用7012、消息客户端7012I和新闻应用7012J。
图71是呈现给可穿戴扩展现实装置的用户的显示配置的示例性图示。如图71所示，XR单元204可以基于至少一个使用参数(例如，与从灯7120发射的光量相关联)的值和取回的默认显示设置(例如，与特定输入设备6912A相关联)来确定显示配置7100并呈现虚拟内容7110。在该示例中，可以向坐在其工作场所桌子(具有他或她的工作场所键盘)处的用户呈现显示配置，其中，虚拟内容7110包括围绕应用7114的窗口小部件7112A-7112D的布置。窗口小部件7112A-7112D包括设定窗口小部件7112A、邮件客户端7112B、消息客户端7112C和天气工具7112D。
一些实施方式可以涉及将特定输入设备与可穿戴扩展现实装置配对。特定输入设备可以包括以下中的至少一项：键盘、鼠标、触笔、控制器、触摸屏或其他便于人机交互的设备。配对可以按照类似于如上所述的配对多个设备的方式来执行。
一些实施方式可以涉及访问将多个输入设备与不同的默认显示设置相关联的存储信息。所存储的将多个输入设备与不同的默认显示设置相关联的信息可以经由网络上的下载从远程服务器访问。在一些实施方式中，可以经由可穿戴扩展现实装置与输入设备之间的直接无线连接(例如NFC或蓝牙连接)从输入设备的存储器访问所存储的信息。在又一示例中，所存储的信息可经由可穿戴扩展现实装置与输入设备之间的有线连接(诸如USB或LAN连接)从输入设备的存储器访问。在一些实施方式中，可以从与可穿戴扩展现实装置相关联的存储器访问所存储的信息。
一些实施方式可以涉及从所访问的存储信息和与配对的特定输入设备相关联的默认显示设置中进行检索。与配对的特定输入设备相关联的默认显示设置可以经由网络上的下载从远程服务器上所访问的存储信息中取回。在一些实施方式中，与配对的特定输入设备相关联的默认显示设置可以经由可穿戴扩展现实装置与输入设备之间的直接无线连接(例如NFC或蓝牙连接)从输入设备的存储器上所存储的信息取回。在又一示例中，与配对的特定输入设备相关联的默认显示设置可经由可穿戴扩展现实装置与输入设备之间的有线连接(诸如USB或LAN连接)从输入设备的存储器上所存储的信息取回。在一些实施方式中，与配对的特定输入设备相关联的默认显示设置可以从与可穿戴扩展现实装置相关联的存储器上存储的信息取回。
在一些实施方式中，将特定输入设备配对到可穿戴扩展现实装置是基于对图像数据中所描绘的可视码的检测的。在一些实施方式中，验证码可以是可视码。可视码可以包括以下中的至少一项：条形码、QR码、字母数字访问码或任何其他独一无二的视觉指示符。在一示例中，可以使用图像数据的图像分析来检测或识别可视码。一旦检测到，可视码可以使得可穿戴扩展现实装置执行一个或更多个指令，以使得能够将特定输入设备配对到可穿戴扩展现实装置。在一些实施方式中，可视码可以在特定输入设备附近。例如，可视码可以在特定输入设备的预定距离内。预定距离可以是1mm至2m之间的距离范围。在一些实施方式中，可视码可以位于特定输入设备上。特定输入设备与可穿戴扩展现实装置的配对可以类似于先前讨论的多个输入设备与可穿戴扩展现实装置的配对。在一示例中，该可穿戴扩展现实装置可以通过无线网络(例如Wi-Fi、蓝牙、近场通信或蜂窝网络)与特定输入设备配对。在一示例中，可穿戴扩展现实装置可以通过诸如LAN或USB连接的有线网络与特定输入设备配对。
在一些实施方式中，特定输入设备与可穿戴扩展现实装置的配对是基于对由包括在特定输入设备中的光发射器发射并由包括在可穿戴扩展现实装置中的传感器捕获的光的检测。光发射器可以包括以下中的至少一项：LED、IR发射器、UV光发射器、单色光发射器、白炽灯泡、荧光灯泡、霓虹灯管或其它人造光发射器。光发射器的检测可以包括对包括光发射器的图像数据的图像分析。一旦检测到，可穿戴扩展现实装置可以执行一个或更多个指令，以使得能够将特定输入设备配对到可穿戴扩展现实装置。在一些实施方式中，光发射器可以在特定输入设备附近。例如，光发射器可以在特定输入设备的预定距离内。预定距离可以是1mm至2m之间的距离范围。在一些实施方式中，光发射器可以位于特定输入设备上。特定输入设备与可穿戴扩展现实装置的配对可以类似于特定输入设备与可穿戴扩展现实装置的配对是基于对先前讨论的图像数据中描绘的可视码的检测。
图72提供了由图2所示的系统200的处理设备执行的用于确定用于呈现虚拟内容的显示配置的示例方法7200的流程图。系统200的处理设备可以包括移动通信设备(例如，移动通信设备206)内的处理器、服务器(例如，服务器210)内的处理器、可穿戴扩展现实装置内的处理器、或者与可穿戴扩展现实装置相关联的输入设备(例如，键盘104)内的处理器。容易理解，各种实现是可能的，并且可以利用组件或设备的任何组合来实现示例方法。还将容易理解，可改变所说明的方法以修改步骤的次序、删除步骤或进一步包含额外步骤，例如针对任选实施方式的步骤。在步骤7212中，方法7200可以包括从与可穿戴扩展现实装置相关联的图像传感器接收图像数据。在步骤7214中，方法26-2-00可以包括分析图像数据以检测放置在表面上的特定输入设备。在步骤7216中，方法26-2-00可以包括确定特定输入设备的至少一个使用参数的值。在步骤7218中，方法7200可以包括从存储器中取回与特定输入设备相关联的默认显示设置。在步骤7220中，方法7200可包括基于至少一个使用参数的值和所取回的默认显示设置来确定用于呈现虚拟内容的显示配置。在步骤7222中，方法7200可以包括根据所确定的显示配置经由可穿戴扩展现实装置呈现虚拟内容。
一些公开的实施方式可以涉及用扩展的现实显示来扩充物理显示。物理显示可以包括能够将电信号转换成可视图像的任何设备。例如，物理显示可以包括信息终端显示器中的屏幕、台式计算机显示器、膝上型计算机显示器、移动电话显示器、智能电话显示器、平板个人计算机显示器、信息亭显示器、ATM显示器、车辆显示器、医疗设备显示器、用于金融交易的系统的显示器、移动游戏控制台的显示器、投影仪、电视机、超移动个人计算机的显示器、可穿戴显示器以及其上呈现视觉信息的任何其它物理表面。
在一些实施方式中，物理显示器可以包括例如使用液晶显示器、等离子体技术、阴极射线管、发光二极管、全息显示器或以图片或文本形式显示信息的任何其它类型的输出设备的监视器。作为示例，如图73所示，物理显示器7310可以是计算机监视器的形式。在另一示例中，如图74所示，物理显示器7410可以包括在智能手表中。
在一些实施方式中，物理显示器可以是手持通信设备的一部分。手持通信设备(例如图2所示的移动通信设备206)可以是小到足以在手中握持和操作的计算机。典型地，手持通信设备可以包括LCD或OLED平面屏幕接口，或提供触摸屏接口的任何其他显示器。手持式通信装置还可以包括数字按钮、数字键盘；和/或物理按钮以及物理键盘。这样的设备可以连接到因特网并且经由Wi-Fi、蓝牙、蜂窝网络或近场通信(NFC)与诸如汽车娱乐系统或耳机的其他设备互连。手持通信设备可以包括(i)移动计算机，诸如平板计算机、上网本、数字媒体播放器、企业数字助理、图形计算器、手持游戏控制台、手持PC、膝上型计算机、移动互联网设备(MID)、个人数字助理(PDA)、袖珍计算器、便携式媒体播放器和超移动PC；(ii)移动电话，例如相机电话、功能电话、智能电话和电话簿；(iii)数字相机，例如数字可携式相机、数字静态相机(DSC)、数字视频相机(DVC)和前置摄像头；(iv)寻呼机；(v)个人导航设备(PND)；(vi)可穿戴计算机，例如计算器手表、智能手表和头戴式显示器；以及(vii)智能卡。
在一些实施方式中，物理显示器可以是固定设备的一部分。固定设备可以是在工作期间通常不移动的设备。固定设备可以包括台式个人计算机、电视机、冰箱、烤箱、洗衣机、烘干机、洗碗机、自助服务机、自动柜员机(ATM)、收银机、投票机、博彩机和加油泵。
在一些实施方式中，物理显示器可以是被配置为生成要在物理显示器上呈现的文本的输入设备的一部分。如上所述，输入设备可以包括被配置为接收来自用户或用户环境的输入并向计算设备提供数据的物理设备。在被配置为生成文本的输入设备中，数据可以包括文本数据。被配置为生成文本的输入设备的一些非限制性示例可包含物理键盘、虚拟键盘、被配置为向用户提供虚拟键盘的触摸屏、与被配置为使用语音识别算法从使用麦克风捕获的音频生成文本的计算设备集成的麦克风等。在一些示例中，输入设备可以与诸如计算设备或物理显示器等其它电子组件集成在例如单个壳体中。在一些实施方式中，物理显示器可以是被配置为生成要在虚拟空间中虚拟呈现的文本的输入设备的一部分。
作为示例，如图73所示，虚拟空间7320可提供可至少部分地围绕物理显示器7310的视觉显示区域。在另一示例中，如图74所示，虚拟空间7420可提供可至少部分地围绕物理显示器7410的视觉显示区域。
例如，用扩展现实显示器进行增强可以包括在超出物理显示器的虚拟空间上提供附加的可视不动产。在一些实施方式中，除了在物理显示器上提供的文本、图像或其他信息之外，可以包括例如在扩展现实空间中虚拟地呈现文本、图像或其他信息(例如，由扩展现实装置生成或使用扩展现实装置可观看的显示)。在一些实施方式中，这可以包括例如将文本、图像或其他信息从物理显示器移动到物理显示器外部的虚拟空间中的虚拟呈现。
一些公开的实施方式可以涉及执行包括接收表示完全呈现在物理显示器上的第一对象的第一信号的操作。在一些实施方式中，第一信号可以是数字信号或模拟信号。数字信号可以指一系列传送信息的可传送数字信号。在一示例中，第一信号可表示例如传感器数据、文本数据、语音数据、视频数据、图形数据、几何数据或提供与第一对象相关联的可感知信息的任何其它形式的数据。在另一示例中，第一信号可包括第一对象完全呈现在物理显示器上的指示。在一些示例中，接收第一信号可以包括从存储器读取第一信号，从外部设备接收第一信号，从控制物理显示器上的呈现的至少一部分的软件或硬件组件接收第一信号，或者从控制包括虚拟空间的扩展现实环境的软件或硬件组件接收第一信号中的至少一个步骤。
在一些实施方式中，可以从控制物理显示器的操作系统接收第一信号。第一信号可以例如经由无线地或经由导线、经由存储器单元、经由通信总线等发送的任何电磁通信来接收。操作系统可以包括例如管理计算机硬件、软件资源或为计算机程序提供任何其它公共服务的系统软件。操作系统可以直接或间接地控制物理显示器的不同方面。例如，操作系统可以控制物理显示器的帧速率、物理显示器的显示分辨率、物理显示器的颜色方案、物理显示器的显示亮度、物理显示器的显示对比度或物理显示器的任何其它控制参数中的至少一项。在另一示例中，操作系统可控制由物理显示器显示的内容，例如通过呈现内容、通过提供内容(例如，通过视频卡、通过共享存储器、通过通信电缆等)等。
在一些实施方式中，可以从与可穿戴扩展现实装置相关联的指点设备接收第一信号。指点设备可以包括用于输入二维或三维信息的所有可能类型的设备和机构。指点输入设备的示例可以包括计算机鼠标、轨迹球、触摸板、触控板、操纵杆、指点杆、触笔、光笔或任何其他物理或虚拟输入机制。例如，计算机鼠标的点击和拖动可以生成能够移动VR头戴装置中可见的图标的第一信号。
一些公开的实施方式可以包括接收表示完全呈现在物理显示器上的第一对象的第一信号。在一示例中，第一对象可以是虚拟内容的发生率。在一些示例中，第一对象可以是或包括用户界面的元件，诸如窗口、输入控制元件、导航组件、信息组件、图标、窗口小部件等。在一些示例中，第一对象可以是或包括文本、图像、视频或图形元件(诸如二维图形元件、三维图形元件的二维投影等)中的至少一个。
通过例如在例如物理显示器的可视边界内提供对象的全部可视表示，可以在物理显示器上完全呈现对象。例如，在计算机监视器上完全呈现的正方形的表示可以导致计算机监视器在计算机监视器上显示正方形的所有四个边和所有四个角。
在一些实施方式中，第一对象可以包括应用的窗口小部件或图标中的至少一者。软件窗口小部件可以是面向任务的应用或组件。与诸如电子表格或文字处理器的更复杂的应用相比，桌面附件或小应用程序可以是简单的、独立的窗口小部件的示例。这些窗口小部件是不一定独占用户注意力的临时和辅助应用的典型示例。另外，图形控制元件(GUI“窗口小部件”)是可重复使用的模块化组件的示例，这些组件一起使用以构建更复杂的应用，从而允许程序员通过组合简单、较小的组件来构建用户界面。图标可以是显示在显示器上的象形图或表意图，以便帮助用户导航计算机系统。图标本身可以是在系统上可访问的软件工具、功能或数据文件的可快速理解的符号，并且可以更像交通标志而不是它表示的实际实体的详细说明。图标可充当电子超链接或文件快捷方式以访问程序或数据。
作为示例，如图73所示，第一对象7330、7340可以分别是窗口小部件7330或图标7340的形式。如图73所示，第一对象7330、7340(例如，窗口小部件或图标形式的虚拟对象)可在物理显示器7310的边界内完全可见。在另一示例中，如图74所示，第一对象7430、7440可以是窗口小部件或图标7440的形式。如图74所示，例如窗口小部件7430或图标7440的形式的第一对象7430、7440可以在物理显示器7410的边界内完全可见。
一些公开的实施方式可以涉及执行包括接收表示第二对象的第二信号的操作，该第二对象具有呈现在物理显示器上的第一部分和延伸超出物理显示器的边界的第二部分。与第一信号类似，第二信号可以是数字信号或模拟信号。在一示例中，第二信号可以表示例如传感器数据、文本数据、语音数据、视频数据、图形数据、几何数据或提供与第二对象相关联的可感知信息的任何其他形式的数据。在另一示例中，第二信号可包括第二对象具有呈现在物理显示器上的第一部分和延伸超出物理显示器的边界的第二部分的指示。在又一示例中，第二信号可包括与第二对象的第一部分和/或第二部分相关联的信息。在一些示例中，接收第二信号可以包括从存储器读取第二信号，从外部设备接收第二信号，从控制物理显示器上的呈现的至少一部分的软件或硬件组件接收第二信号，或者从控制包括虚拟空间的扩展现实环境的软件或硬件组件接收第二信号中的至少一项。在一些实施方式中，与第一对象类似，第二对象可以是虚拟内容的发生率。在一些示例中，第二对象可以是或可以包括用户界面的元件，诸如窗口、输入控制元件、导航组件、信息组件、图标、窗口小部件等。在一些示例中，第二对象可以是或可以包括文本、图像、视频或图形元件(诸如二维图形元件、三维图形元件的二维投影等)中的至少一项。在一些实施方式中，第二信号可以从控制物理显示器的操作系统接收，例如以类似于以上关于第一信号描述的方式。在其它实施方式中，第二信号可以从与可穿戴扩展现实装置相关联的指点设备接收，例如以类似于以上关于第一信号描述的方式。
对象的第一部分可以包括例如对象的图形或视觉表示的总体的部分。该部分可以对应于第二对象的小于百分之百且大于百分之零的任何百分比。例如，十字的表示可以包括整体的位于例如物理显示器的可视边界内具有T形的下部部分。对象的第二部分可以包括例如对象的图形或视觉表示的整体的剩余部分(例如，当减去第一部分或第一部分的至少一部分时)。该部分可以对应于第二对象的小于百分之百且大于百分之零的任何百分比。例如，十字的表示可以包括整体的具有T形的下部部分和具有倒T形的剩余的上部部分。在该示例中，下部T形部分和上部倒T形部分可以表示十字形的整个整体。
作为示例，如图73所示，第二对象7350可以是窗口小部件的形式。如图73所示，第二对象7350可以包括在物理显示器7310内可见的第一部分7352和延伸超过物理显示器7310的边界的第二部分7354。在另一示例中，如图74所示，第二对象7450可以是图标7450的形式。如图74所示，例如图标7450形式的第二对象7450可包括在物理显示器7410内可见的第一部分7452和延伸超过物理显示器7410的边界的第二部分7454。
在一些实施方式中，可以仅在物理显示器上呈现对象的第一部分。在第二对象可以是十字的表示的上述示例中，在物理显示器上仅可以看到十字的一部分。在该示例中，十字形的第二对象可朝向物理显示器的顶部定位，使得在物理显示器上仅第一部分(例如，T形部分)可见。作为这种布置的结果，第二部分可以延伸超过物理显示器的边界。在第二对象可以是十字的表示的上述示例中，十字的其余部分在物理显示器上可能是不可见的。在该示例中，十字形的第二对象可朝向物理显示器的顶部定位，使得仅第二部分(例如，倒T形的部分)在物理显示器上不可见。在一些示例中，当在物理显示器上仅呈现对象的第一部分时，对象的第二部分可以是不可见的、可以根本不呈现、可以经由一个或更多个可穿戴扩展现实装置在虚拟空间中呈现(并且因此对于一个或更多个可穿戴扩展现实装置的用户是可见的并且对于其他人是不可见的)、可以以其他方式显示等。
在一些实施方式中，第二对象可以包括窗口小部件或应用的图标中的至少一者，例如如以上关于第一对象所描述的。作为示例，如图73所示，第二对象7350可以是窗口小部件的形式。如图73所示，第二对象7350可以包括能够在物理显示器7310内看到的第一部分7352和延伸超过物理显示器7310的边界的第二部分7354。在另一示例中，如图74所示，第二对象7450可以是图标7450的形式。如图74所示，第二对象7450可以包括能够在物理显示器7410内看到的第一部分7452和延伸超过物理显示器7410的边界的第二部分7454。如上所述，第二部分7354和/或第二部分7454可以根本不被显示，可以经由一个或更多个可穿戴扩展现实装置被呈现在虚拟空间中(并且因此对于一个或更多个可穿戴扩展现实装置的用户是可见的并且对于其他人是不可见的)，或者可以以其他方式被显示。
在一些实施方式中，第二对象可以与第一对象部分重叠。本公开中使用的术语“部分重叠”可以包括每个对象的实际上占据相同的位置的至少一些部分。位置的这种联合占据可能导致这些对象的一个或两个部分被遮挡。作为示例，如图73所示，第二对象7350可与物理显示器7310上的第一对象7330部分重叠。
一些公开的实施方式可以涉及执行操作，所述操作包括：接收表示最初呈现在物理显示器上的第三对象的第三信号，并且随后完全移动到物理显示器的边界之外。与第一信号和第二信号类似，第三信号可以是数字信号或模拟信号。在一个示例中，第三信号可表示例如传感器数据、文本数据、语音数据、视频数据、图形数据、几何数据或提供与第三对象相关联的可感知信息的任何其它形式的数据。在另一示例中，第三信号可包括第三对象最初呈现在物理显示器上并随后完全移动超过物理显示器的边界的指示。在一些示例中，接收第三信号可以包括从存储器读取第三信号，从外部设备接收第三信号，从控制物理显示器上的呈现的至少一部分的软件或硬件组件接收第三信号，或者从控制包括虚拟空间的扩展现实环境的软件或硬件组件接收第三信号中的至少一个。在一些实施方式中，类似于第一对象和第二对象的第三对象可以是虚拟内容的发生率。在一些示例中，第三对象可以是或可以包括用户界面的元件，诸如窗口、输入控制元件、导航组件、信息组件、图标、窗口小部件等。在一些示例中，第三对象可以是或可以包括文本、图像、视频或图形元件(诸如二维图形元件、三维图形元件的二维投影等)中的至少一个。在一些实施方式中，可以从控制物理显示器的操作系统接收第三信号，例如以类似于以上关于第一信号描述的方式。在一些实施方式中，可以从与可穿戴扩展现实装置相关联的指点设备接收第三信号，例如以类似于以上关于第一信号描述的方式。
在一些实施方式中，第三对象可以最初呈现在物理显示器上。该初始呈现可以指示第三对象的部分呈现或全部呈现。例如，如果第三对象是因特网浏览器窗口，则因特网浏览器窗口最初可以(i)在物理显示器上完全可见，或者(ii)由于浏览器窗口的可能延伸超出物理显示器的边界的部分而在物理显示器上部分可见。在一个示例中，第三对象可以最初完全呈现在物理显示器上，并且随后完全移动到物理显示器的边界之外。在另一示例中，第三对象最初可以具有呈现在物理显示器上的一部分和延伸超出物理显示器的边界的另一部分，并且随后可以完全移动超出物理显示器的边界。
在一些实施方式中，随后可以将第三对象完全移动到物理显示器的边界之外。将第三对象完全移动到物理显示器的边界之外可由用户输入(诸如推动或拉动第三对象的手势、拖动第三对象的光标、语音命令等)、接收到通信信号、检测到环境中的事件或任何其它类型的触发来触发。该后续移动可以包括从物理显示器上的第三对象的部分呈现或全部呈现转变为在物理显示器上不存在第三对象。在第三对象可以是因特网浏览器窗口的上述示例中，因特网浏览器窗口可以从在物理显示器上完全可见或在物理显示器上部分可见移动到由于因特网浏览器完全行进超过物理显示器的边界而在物理显示器上不可见的因特网浏览器窗口的任何部分。
在一些实施方式中，第三对象可包括窗口小部件或应用的图标中的至少一者，例如如以上关于第一对象所描述的。作为示例，如图73所示，第三对象7360可以是窗口小部件的形式。如图73所示，第三对象7360最初可能已经处于第一对象7330、7340的位置，或者第二对象7350已重新定位到物理显示器7310的边界之外的位置。在另一示例中，如图74所示，图标7460形式的第三对象7460(最初可能处于第一对象7430、7440)或第二对象7450的位置例如已被重新定位到物理显示器7410的边界之外的位置。
在一些实施方式中，第二对象可以与第三对象部分重叠。作为示例，如图73所示，第二对象7350可以与物理显示器7410上的图标7460部分重叠。
在一些实施方式中，第一对象、第二对象和第三对象可以同时呈现在物理显示器上和虚拟空间中。作为示例，如图73所示，第一对象7330、7340、第二对象7350可与物理显示器7410上的图标7460部分重叠。
响应于接收到第二信号，一些公开的实施方式可以涉及使第二对象的第二部分经由可穿戴扩展现实装置呈现在虚拟空间中，同时第二对象的第一部分呈现在物理显示器上。在一些实施方式中，第二对象的第二部分可以经由可穿戴扩展现实装置呈现在虚拟空间中。该呈现可以指示第二对象的部分呈现。例如，如果第二对象是因特网浏览器窗口，则该窗口的右半部分可以在扩展现实装置上或扩展现实装置内可见。在一些实施方式中，第二对象的第二部分的这种呈现可以在第二对象的第一部分呈现在物理显示器上时发生。该呈现可以指示第二对象的部分呈现。在第二对象可以是因特网浏览器窗口的上述示例中，窗口的左半部分可以在物理显示器上可见。在该示例中，因特网浏览器窗口的左侧部分与右侧部分之间的边界可以对应于物理显示器的左边界。
作为示例，如图73所示，第二对象7350可以是窗口小部件的形式。如图73所示，第二对象7350可以包括在物理显示7310内可见的第一部分7352和在虚拟空间7320内可见的第二部分7354。在另一示例中，如图74所示，第二对象7450可以是图标7450的形式。如图74所示，例如，图标7350形式的第二对象7450可以包括在物理显示器7410内可见的第一部分7452和在虚拟空间7420内可见的第二部分7454。
响应于接收到第三信号，一些公开的实施方式可以涉及在第三对象已被完全呈现在物理显示器上之后，使第三对象经由可穿戴扩展现实装置被完全呈现在虚拟空间中。在一些实施方式中，可以经由可穿戴扩展现实装置使第三对象整体呈现在虚拟空间中。该呈现可以指示第三对象的总呈现。例如，如果第三对象是因特网浏览器窗口，则该窗口的全部可以在扩展现实装置内可见。在一些实施方式中，第三对象的这种呈现可以在第三对象已完全呈现在物理显示器上之后发生。该呈现可以指示第三对象的总呈现。在第三对象可以是因特网浏览器窗口的上述示例中，窗口的全部最初可以在物理显示器内可见。在该示例中，第三对象可能已经完全穿过物理显示器的边界，以经由扩展的现实装置变得唯一可见。
作为示例，如图73所示，第三对象7360可以是完全位于虚拟空间7320内的窗口小部件的形式。在到达该位置之前，第三对象7360最初可能已经位于完全在物理显示7310内的第一对象7330的位置。
一些公开的实施方式可以包括执行进一步的操作，所述操作包括：接收表示物理显示器的图像的图像传感器信号。图像传感器信号可以包括源自图像传感器或由图像传感器产生的数字或模拟信号。在一些示例中，接收图像传感器信号可包括从存储器读取图像传感器信号，从外部设备接收图像传感器信号，或使用图像传感器捕获图像传感器信号中的至少一者。
一些公开的实施方式可以涉及执行进一步的操作，所述操作包括：确定物理显示器的边界边缘。物理显示器的边界边缘可以指形成物理显示器的一部分或全部的边界的周界。可通过基于图像传感器数据、所存储的坐标或可用于建立物理显示器的边界边缘的任何其它信息计算或确定来确定这样的边缘。在一些示例中，可以使用模板匹配来分析所接收的图像传感器信号或图像，以确定物理显示器的边界边缘。在另一示例中，可以使用语义分割算法来分析所接收的图像传感器信号或图像，以确定图像中对应于物理显示器的像素，从而确定物理显示器的边界边缘。
一些公开的实施方式可以涉及基于所确定的边界边缘将虚拟空间与物理显示器配准。将虚拟空间与物理显示器配准可指限定虚拟空间的边界，创建虚拟空间的子部分，或可标示物理显示器的位置的虚拟空间的任何其它操纵。在限定物理显示器的边界的周界被外推的上述示例中，该周界可以被应用于扩展现实空间，以例如从将生成图像的可穿戴扩展现实装置内的区域中排除物理显示器的覆盖区。
作为示例，如图73所示，图像传感器数据可用于标示虚拟空间7320的边界以排除由物理显示器7310的边界限定的区域。因此，第三对象7360和第二对象7350的第二部分7354落在虚拟空间7320的边界内，而第一对象7340和第二对象7350的第一部分7352不落在虚拟空间7320的边界内。另外，如图74所示，图像传感器数据可用于标示虚拟空间7420的边界以排除由物理显示器7410的边界限定的区域。因此，第三对象7460和第二对象7450的第二部分7454落在虚拟空间7420的边界内，而第一对象7440和第二对象7450的第一部分7452不落在虚拟空间7420的边界内。
在一些实施方式中，物理显示器可以包括限定边界边缘的框。一些物理显示器(例如计算机监视器、智能电话、智能手表等)可包含围绕图像产生屏幕的“框”，而其它物理显示器(例如一些现代智能电话)可具有“无框”屏幕，使得屏幕完全延伸到设备的边缘。例如，如图74所示，物理显示器7410包括边框7412形式的框。
在一些实施方式中，使第二对象的第二部分呈现在虚拟空间中可以包括将第二对象的第二部分的一部分覆盖在框的一部分上面。在包含框的物理显示器中，虚拟空间中的呈现可以与该框重叠，以便提供从物理显示器的屏幕上的呈现到虚拟空间的无缝过渡。作为示例，如图74所示，图标7450的第二部分7454与边框7412重叠。
一些公开的实施方式可以包括分析图像传感器信号以确定在物理显示器上呈现的第二对象的第一部分的视觉参数。分析图像传感器信号以确定视觉参数可以指应用软件、方程或算法来识别与拍摄的图像的特征相关的某种标记。这样的标记可以包括亮度、对比度、颜色范围、色调、饱和度、色度自适应、其它颜色外观现象、或与拍摄的图像相关联的其它特性。在数码相机可以拍摄物理显示器的上述示例中，可以利用软件来确定设置在物理显示器上的窗口小部件的一部分的亮度级。在一个示例中，可以例如使用模板匹配算法来分析图像传感器信号或图像，以检测图像中与物理显示器上呈现的第二对象的第一部分相对应的区域。可以例如使用统计函数或直方图来分析检测区域中的像素值，以确定视觉参数。
在一些实施方式中，使第二对象的第二部分呈现在虚拟空间中包括基于所确定的视觉参数来设置第二对象的第二部分的显示参数。在一个示例中，可以分析物理显示器的图像以确定物理显示器上的窗口小部件的特定亮度级别，可以将在虚拟空间中显示的窗口小部件的剩余部分的亮度设置为与物理显示器上的窗口小部件的该部分的亮度水平相匹配。因此，诸如窗口小部件的两个部分的亮度或颜色方案的特征可以被匹配以例如呈现窗口小部件的看似无缝的呈现。例如，如图74所示，第一部分7452和第二部分7454可以显示为具有相同或相似的亮度。
一些公开的实施方式可以涉及执行进一步的操作，所述操作包括确定可穿戴扩展现实装置的用户从物理显示器走开(或以其他方式移动离开)。确定用户走开(或以其他方式移动离开)可以涉及利用与该可穿戴扩展现实装置相关联的传感器来感测用户与物理显示器之间的距离、角度或取向可能改变。在另一示例中，可分析可穿戴扩展现实装置的定位数据或运动数据(例如基于物理显示器的已知位置)以确定用户正在步行(或以其他方式移动)离开物理显示器。
响应于可穿戴扩展现实装置的用户正在步行(或以其他方式移动)离开物理显示器的确定，一些实施方式可以涉及在第一对象保持在物理显示器上的同时以与用户一起移动的方式在虚拟空间中呈现第二对象的第一部分和第二部分两者。因此，无论用户的移动、对物理显示器的定位或视线如何，用户都可以完全观察到两个对象的全视图。在一个示例中，当用户移动时，第二对象可以被移动以保持在用户视场的相同位置，并且第一对象保持在物理显示器上的相同位置，而与用户的移动无关。例如，当用户离开物理显示器时，物理显示器在用户的视场中可能显得较小。由于(i)第二对象最初在物理显示器上是部分可见的并且在虚拟空间上是部分可见的，以及(ii)物理显示器的边界随后看起来变得较小，所以第二对象的第二部分可以相对于用户的视场保持在相同的位置，并且第二对象的第一部分也可以由于物理显示器的边界看起来消失而在虚拟空间上看起来靠近第二部分。
所公开的实施方式还可以包括接收表示第四对象的第四信号，所述第四对象最初呈现在第一物理显示器上，稍后在扩展现实中虚拟地呈现并且随后呈现在第二物理显示器上；以及响应于接收到第四信号，使第四对象呈现在第二物理显示器上。第四信号(如第一信号、第二信号和第三信号)可以是数字信号或模拟信号。在一个示例中，第四信号可以表示例如传感器数据、文本数据、语音数据、视频数据、图形数据、几何数据或提供与第四对象相关联的可感知信息的任何其他形式的数据。在另一示例中，第四信号可包括第四对象最初呈现在第一物理显示器上，随后在扩展现实中虚拟呈现，并随后呈现在第二物理显示器上的指示。在一些示例中，接收第四信号可以包括从存储器读取第四信号、从外部设备接收第四信号、从控制物理显示器和/或第二物理显示器上的呈现的至少一部分的软件或硬件组件接收第四信号、或者从控制包括虚拟空间的扩展现实环境的软件或硬件组件接收第四信号中的至少一项。在一些实施方式中，像第一对象、第二对象和第三对象的第四对象可以是虚拟内容的发生率。在一些示例中，第四对象可以是或可以包括用户界面的元件，诸如窗口、输入控制元件、导航组件、信息组件、图标、窗口小部件等。在一些示例中，第四对象可以是或可以包括文本、图像、视频或图形元件(诸如二维图形元件、三维图形元件的二维投影等)中的至少一项。
作为示例，如图75A至图75D所示，第四对象7540可以从第一物理显示器7510移动到第二物理显示器7530，同时在该起点与目的地之间的虚拟空间7520中虚拟地可见。在图75A中，第四对象7540完全呈现在第一物理显示器7510上。在图75B中，第四对象7540部分地呈现在第一物理显示器7510上，并且部分地虚拟地呈现在虚拟空间7520中。在图75C中，第四对象7540完全虚拟地呈现在虚拟空间7520中。在图75D中，第四对象7540完全呈现在第二物理显示器7530上。
在一些实施方式中，使第四对象呈现在第二物理显示器上可以包括将反映第四对象的数据发送到与第二物理显示器相关联的计算设备。计算设备可以指具有被配置为执行计算机程序、应用、方法、过程或其它软件的至少一个处理器的设备。由于不同的处理设备可以控制第一物理显示器和第二物理显示器，因此与第四对象相关联的数据可以被发送到与第二物理显示器相关联的处理设备，使得可以在第二物理显示器上呈现第四对象。在一个示例中，可以从控制第一物理显示器的设备发送数据。在另一个示例中，数据可以从控制扩展现实环境的集中式系统、从可穿戴扩展现实装置、或从另一个计算机化设备发送。在一个示例中，数据可包括第四对象的图像或视频、第四对象的模型(二维或三维)、控制第四对象的软件、控制第四对象的软件的参数或第四对象的指示中的至少一项。
一些公开的实施方式还可以包括接收指示键入的文本的输入信号。表示键入的文本的输入信号可以指表示字符编码(例如符合美国信息交换标准码(ASCII)或其它格式的那些字符编码)的数字或模拟信号。这样的输入信号可以从键盘、触摸板或能够选择字符的任何其他设备生成或发送。
一些公开的实施方式还可以包括在第一显示器和第二显示器上同时显示键入的文本，其中，第二显示器是位于键盘附近的扩展现实显示区域。同时显示键入的文本可以指在两个或更多个显示器上同时呈现键入的文本，将文本复制到两个或更多个显示器中的每一个上。如上所述，术语键盘可以指能够选择文本的字符的任何设备，例如物理键盘、虚拟键盘等。在一些实施方式中，第一显示器可以是物理显示器。例如，键入的文本可以显示在文本编辑应用中、文本输入元件中、或呈现在物理显示器上的任何其它元件中。在一些实施方式中，第一显示器可以是不同于第二显示器的虚拟显示器。例如，键入的文本可以显示在文本编辑应用中、文本输入元件中、或呈现在虚拟显示器上的任何其它元件中。
一些公开的实施方式可以包括接收表示具有第一部分和第二部分的第四对象的第四信号，第四对象最初被完全呈现在物理显示器上。像第一信号、第二信号和第三信号那样的第四信号可以是数字信号或模拟信号。在一个示例中，第四信号可以表示例如传感器数据、文本数据、语音数据、视频数据、图形数据、几何数据或提供可感知信息的任何其他形式的数据。在另一示例中，第四信号可包括第四对象具有第一部分和第二部分，和/或第四对象最初全部呈现在物理显示器上的指示。在又一示例中，第四信号可包括与第四对象的第一部分和/或第二部分相关联的信息。在一些示例中，接收第四信号可包括从存储器读取第四信号，从外部设备接收第四信号，从控制物理显示器上的呈现的至少一部分的软件或硬件组件接收第四信号，或从控制包括虚拟空间的扩展现实环境的软件或硬件组件接收第四信号中的至少一个。在一些实施方式中，像第一对象、第二对象和第三对象那样的第四对象可以是虚拟内容的发生率。在一些示例中，第四对象可以是或可以包括用户界面的元件，诸如窗口、输入控制元件、导航组件、信息组件、图标、窗口小部件等。在一些示例中，第四对象可以是或可以包括文本、图像、视频或图形元件(诸如二维图形元件、三维图形元件的二维投影等)中的至少一项。该虚拟内容可以像先前描述的对象一样可被用户整体看到。作为示例，如图75A所示，第四对象7540具有第一部分7542和第二部分7544，它们最初都完全呈现在物理显示器7510上。
一些公开的实施方式可以涉及接收第五信号，该第五信号指示第四对象被移动到其中第四对象的第一部分呈现在物理显示器上并且第四对象的第二部分延伸超出物理显示器的边界的位置。像第一信号、第二信号、第三信号和第四信号那样的第五信号可以是数字信号或模拟信号。在一个示例中，第五信号可以包括第四对象具有第一部分和第二部分，和/或第四对象被移动到第四对象的第一部分呈现在物理显示器上并且第四对象的第二部分延伸超出物理显示器的边界的位置的指示。在又一示例中，第五信号可包括与第四对象的第一部分和/或第二部分相关联的信息。在一些示例中，接收第五信号可以包括从存储器读取第五信号，从外部设备接收第五信号，从控制物理显示器上的呈现的至少一部分的软件或硬件组件接收第五信号，或从控制包括虚拟空间的扩展现实环境的软件或硬件组件接收第五信号中的至少一项。作为示例，如图75B所示，第一部分7542可以保持显示在物理显示器7510上，而第二部分7544可以延伸超过物理显示器7510的边界。
响应于第五信号，一些实施方式可以包括：使第四对象的第二部分经由可穿戴扩展现实装置呈现在虚拟空间中，同时第四对象的第一部分被呈现在物理显示器上。作为示例，如图75B所示，第一部分7542可以保持显示在物理显示器7510上，而第二部分7544可以显示在虚拟空间7520中。
一些公开的实施方式可以包括接收第六信号，该第六信号指示第四对象被完全移动到物理显示器的边界之外。像第一信号、第二信号、第三信号、第四信号和第五信号那样的第六信号可以是数字信号或模拟信号。在一个示例中，第六信号可以包括第四对象完全移动到物理显示器的边界之外的指示。在一些示例中，接收第六信号可包括从存储器读取第六信号，从外部设备接收第六信号，从控制物理显示器上的呈现的至少一部分的软件或硬件组件接收第六信号，或从控制包括虚拟空间的扩展现实环境的软件或硬件组件接收第六信号中的至少一项。类似于先前描述的对象，第四对象可以从一个位置移动到另一个位置，并且另一个位置可以在最初呈现内容的显示器的显示边界之外。例如，如图75C所示，第四对象7540已经完全移动到物理显示器7510的边界之外。
响应于接收到第六信号，一些实施方式可以涉及使第四对象经由可穿戴扩展现实装置完全呈现在虚拟空间中。该第四对象与先前描述的对象一样，即使在移动超过内容最初被呈现在的显示器的显示边界之后，该第四对象也可被用户整体看到。作为示例，如图75C所示，第四对象7540已完全移动到虚拟空间7520中。
其它公开的实施方式可以包括用于用扩展现实显示器来增强物理显示器的系统。所述系统可以包括至少一个处理器，所述至少一个处理器被配置成：接收表示完全呈现在物理显示器上的第一对象的第一信号；接收表示第二对象的第二信号，第二对象具有呈现在物理显示器上的第一部分和延伸超出物理显示器的边界的第二部分；接收第三信号，第三信号表示最初呈现在物理显示器上并且随后完全移动超出物理显示器的边界的第三对象；响应于接收到第二信号，在第二对象的第一部分呈现在物理显示器上的同时，使第二对象的第二部分经由可穿戴扩展现实装置呈现在虚拟空间中；以及响应于接收到第三信号，在第三对象已被完全呈现在物理显示器上之后，使第三对象经由可穿戴扩展现实装置完全呈现在虚拟空间中。
在一些示例中，可以基于物理显示器附近的其它物理对象的存在来选择虚拟空间的范围。例如，物理显示器可以与另一物理显示器、墙壁或任何其它物理对象相邻。在一个实施方式中，可以分析使用图像传感器(例如，包括在可穿戴扩展现实装置中的图像传感器、可穿戴扩展现实装置外部的图像传感器等)捕获的图像数据，以检测物理显示器附近的物理对象。可以使用对象检测算法、对象识别算法、语义分割算法和任何其它相关算法中的至少一种来分析图像数据。
在另一实施方式中，雷达、激光雷达或声纳传感器可用于检测物理显示器附近的物理对象。例如，可以选择虚拟空间，使得它不与检测到的物理对象重叠。可以选择虚拟空间，使得其不隐藏所检测到的物理对象的至少一部分。在又一示例中，可以选择虚拟空间，使得其至少部分不被检测到的物理对象隐藏。在一些示例中，响应于第一类型的物理对象(诸如第二物理显示器、灯等)，可以选择虚拟空间，使得其不与检测到的物理对象重叠，并且响应于第二类型的物理对象(诸如墙壁、花瓶等)，可以选择虚拟空间，使得其与检测到的物理对象重叠。在一个实现中，可以使用对象识别算法来确定物理对象的类型。
其它公开的实施方式可以包括用于用扩展现实显示器来增强物理显示器的方法。作为示例，图76示出了例示根据本公开的一些实施方式的用于改变场景的视角的示例性方法7600的流程图。方法7600可以包括步骤7610：接收表示完全呈现在物理显示器上的第一对象的第一信号。方法7600可以包括步骤7612：接收表示第二对象的第二信号，该第二对象具有呈现在物理显示器上的第一部分和延伸超出物理显示器的边界的第二部分。方法7600可以包括步骤7614：响应于接收到第二信号，在第二对象的第一部分呈现在物理显示器上的同时，使第二对象的第二部分经由可穿戴扩展现实装置呈现在虚拟空间中。方法7600可以包括步骤7616：响应于接收到第三信号，在第三对象已被完全呈现在物理显示器上之后，使第三对象经由可穿戴扩展现实装置完全呈现在虚拟空间中。
除非另有定义，本文使用的所有技术和科学术语具有与本领域普通技术人员通常理解的相同含义。本文提供的材料，方法和实施方式仅是说明性的，而不是限制性的。
本公开的方法和系统的实现可以包括手动地、自动地或其组合地执行或完成某些选定的任务或步骤。此外，根据本公开的方法和系统的优选实施方式的实际仪器和设备，可以通过硬件(HW)或通过任何固件的任何操作系统上的软件(SW)或通过其组合来实现几个选择的步骤。举例来说，作为硬件，本公开的选定步骤可实施为芯片或电路。作为软件或算法，本公开的所选步骤可被实现为由计算机使用任何合适的操作系统执行的多个软件指令。在任何情况下，本公开的方法和系统的选定步骤可被描述为由数据处理器(例如用于执行多个指令的计算装置)执行。
这里描述的系统和技术的各种实现可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实现可以包括在可编程系统上可执行和/或可解释的一个或更多个计算机程序中的实现，所述可编程系统包括至少一个可编程处理器，其可以是专用或通用的、被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令以及向其发送数据和指令。
在此描述的系统和技术可以在计算系统中实现，该计算系统包括后端组件(例如，作为数据服务器)，或包括中间件组件(例如，应用服务器)，或包括前端组件(例如，具有图形用户界面或网络浏览器的客户计算机，通过该界面用户可以与在此描述的系统和技术的实现交互)，或这样的后端、中间件或前端组件的任何组合。系统的组件可通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。计算系统可以包括客户机和服务器。客户机和服务器通常彼此远离，并且通常通过通信网络进行交互。客户机和服务器的关系是借助于在各个计算机上运行的并且彼此具有客户机-服务器关系的计算机程序而产生的。
虽然已经如这里所描述的那样示出了所描述的实现方式的某些特征，但是本领域技术人员现在将想到许多修改、替换、改变和等同物。因此，应当理解，所附权利要求旨在覆盖落在实现范围内的所有这些修改和改变。应当理解，它们仅作为示例而非限制来呈现，并且可以进行形式和细节上的各种改变。在此描述的装置和/或方法的任何部分可以以任何组合来组合，除了互相排斥的组合。这里描述的实现可以包括所描述的不同实现的功能，组件和/或特征的各种组合和/或子组合。
前面的描述是为了说明的目的而给出的。它不是穷举的，并且不限于所公开的精确形式或实施方式。考虑到说明书和所公开的实施方式的实践，实施方式的修改和改编将是显而易见的。例如，所描述的实现包括硬件和软件，但是与本公开一致的系统和方法可以被实现为单独的硬件。
可以理解，上述实施方式可以由硬件或软件(程序代码)或硬件和软件的组合来实现。如果由软件实现，则可以将其存储在上述计算机可读介质中。当由处理器执行时，该软件可以执行所公开的方法。本公开中描述的计算单元和其他功能单元可以由硬件，或软件，或硬件和软件的组合来实现。本领域普通技术人员还将理解，多个上述模块/单元可以组合为一个模块或单元，并且每个上述模块/单元可以进一步划分为多个子模块或子单元。
图中的框图示出了根据本公开的各种示例实施方式的系统，方法和计算机硬件或软件产品的可能实现的体系结构、功能和操作。在这点上，流程图或框图中的每个框可以表示代码的模块、段或部分，其包括用于实现指定逻辑功能的一个或更多个可执行指令。应当理解，在一些可替换的实现方式中，在方框中指示的功能可以不按附图中指出的顺序发生。例如，根据所涉及的功能，可以基本上同时执行或实现连续示出的两个框，或者有时可以以相反的顺序执行两个框。也可以省略一些块。还应当理解，框图的每个框以及框的组合可以由执行指定功能或动作的基于专用硬件的系统来实现，或者由专用硬件和计算机指令的组合来实现。
在前述说明书中，已参考可随实现而变化的许多具体细节描述了实施方式。可以对所描述的实施方式进行某些调整和修改。考虑到本文公开的本公开的说明书和实践，其它实施方案对于本领域技术人员来说是显而易见的。说明书和实施方式仅仅是示例性的，本公开的真实范围和精神由所附权利要求书指出。附图中所示的步骤顺序也旨在仅用于说明的目的，而不旨在限于任何特定的步骤顺序。因此，本领域技术人员可以理解，这些步骤可以以不同的顺序执行，同时实现相同的方法。
应了解，本公开的实施方式不限于上文已描述且在附图中说明的确切构造，且可在不脱离本公开的范围的情况下作出各种修改和改变。并且通过考虑说明书和本文公开的实施方式的实践，其他实施方式对于本领域技术人员将是显而易见的。说明书和示例仅被认为是示例性的，所公开的实施方式的真实范围和精神由所附权利要求指示。
此外，虽然本文已经描述了说明性实施方式，但范围包括基于本公开内容具有等同要素、修改、省略、组合(例如，各种实施方式的各方面的组合)、修改或变更的任何和所有实施方式。权利要求中的元素将基于权利要求中使用的语言被广泛地解释，并且不限于本说明书中描述的或在申请的过程中描述的示例。这些例子被认为是非排他性的。此外，可以以任何方式修改所公开的方法的步骤，包括通过重新排序步骤或插入或删除步骤。因此，说明书和示例仅被认为是示例性的，真正的范围和精神由所附权利要求及其等同物的全部范围指示。
权利要求书(按照条约第19条的修改)
1.一种集成计算接口设备，所述集成计算接口设备包括：
具有键区和非键区的便携式壳体；
与所述壳体的所述键区相关联的键盘；以及
与所述壳体的所述非键区相关联的托架，所述托架被配置用于选择性地与可穿戴扩展现实装置接合和脱离，使得当所述可穿戴扩展现实装置经由所述托架选择性地与所述壳体接合时，所述可穿戴扩展现实装置能够与所述壳体一起运送。
2.根据权利要求1所述的集成计算接口设备，其中，所述可穿戴扩展现实装置包括一副智能眼镜，并且所述集成计算接口设备还包括与所述壳体相关联的触控板，并且其中，所述集成计算设备还被配置成使得当所述一副智能眼镜经由所述托架选择性地与所述壳体接合时，所述智能眼镜的镜脚接触所述触控板，并且其中，所述镜脚各自在其远端上包括弹性触控板保护器。
3.根据权利要求2所述的集成计算接口设备，其中，所述托架包括至少两个夹持元件，所述夹持元件被配置用于选择性地与所述一副智能眼镜的所述镜脚接合。
4.根据权利要求1所述的集成计算接口设备，其中，所述托架包括用于选择性地将所述可穿戴扩展现实装置连接到所述壳体的夹子。
5.根据权利要求1所述的集成计算接口设备，其中，所述托架包括用于选择性地包围所述可穿戴扩展现实装置的至少一部分的隔室。
6.根据权利要求1所述的集成计算接口设备，其中，所述托架包括与所述可穿戴扩展现实装置的一部分的形状相对应的至少一个凹入部。
7.根据权利要求6所述的集成计算接口设备，其中，所述集成计算接口设备还包括所述托架中的鼻梁突出部，其中，所述可穿戴扩展现实装置包括一副扩展现实眼镜，并且其中，所述至少一个凹入部包括所述鼻梁突出部的相对侧上的两个凹入部，从而接纳所述扩展现实眼镜的镜片。
8.根据权利要求6所述的集成计算接口设备，其中，所述可穿戴扩展现实装置包括一副扩展现实眼镜，并且其中，所述托架被配置成使得当所述扩展现实眼镜的镜片位于所述键盘的一侧时，所述扩展现实眼镜的镜脚在所述键盘上延伸，其中所述镜脚的远端位于所述键盘的与所述镜片相反的一侧。
9.根据权利要求1所述的集成计算接口设备，所述集成计算接口设备还包括充电器，所述充电器与所述壳体相关联，并且被配置为当所述可穿戴扩展现实装置选择性地与所述托架接合时对所述可穿戴扩展现实装置充电。
10.根据权利要求1所述的集成计算接口设备，所述集成计算接口设备还包括所述壳体中的电线端口，所述电线端口用于接纳从所述可穿戴扩展现实装置延伸的电线。
11.根据权利要求10所述的集成计算接口设备，其中，所述电线端口位于所述集成计算接口设备的正面，所述集成计算接口设备的正面被配置成在用户在所述键盘上键入时面向所述用户。
12.根据权利要求1所述的集成计算接口设备，所述集成计算接口设备还包括位于所述壳体内的至少一个运动传感器以及能够在工作时连接到所述至少一个运动传感器的至少一个处理器，并且其中，所述至少一个处理器被编程为基于从所述至少一个运动传感器接收到的输入来实现操作模式。
13.根据权利要求12所述的集成计算接口设备，其中，所述至少一个处理器被编程为基于从所述至少一个运动传感器接收到的输入，自动调整由所述可穿戴扩展现实装置呈现的虚拟显示器的设置。
14.根据权利要求12所述的集成计算接口设备，其中，所述至少一个处理器被编程为在所述可穿戴扩展现实装置从所述托架脱离时，如果所述集成计算接口设备移动超过阈值距离就输出通知。
15.根据权利要求1所述的集成计算接口设备，其中，所述键盘包括至少三十个键。
16.根据权利要求15所述的集成计算接口设备，其中，所述至少三十个键包括用于由所述可穿戴扩展现实装置执行动作的专用输入键。
17.根据权利要求15所述的集成计算接口设备，其中，所述至少三十个键包括专用输入键，所述专用输入键用于改变由所述可穿戴扩展现实装置投影的虚拟显示器的明亮度。
18.根据权利要求1所述的集成计算接口设备，所述集成计算接口设备还包括能够在两种包围模式下工作的保护罩，其中：
在第一包围模式中，所述保护罩将所述可穿戴扩展现实装置覆盖在所述壳体中；以及
在第二包围模式中，所述保护罩被配置成使所述壳体升高。
19.根据权利要求18所述的集成计算接口设备，其中，所述保护罩包括与其相关联的至少一个相机。
20.根据权利要求18所述的集成计算接口设备，其中，所述壳体具有四边形形状，并且在所述四边形形状的三个侧面中包括用于与所述保护罩接合的磁体。
21.一种集成计算接口设备，所述集成计算接口设备包括：
具有键区和非键区的壳体；
与所述壳体的所述键区相关联的键盘；
至少一个图像传感器；以及
可折叠的保护罩，所述保护罩包含所述至少一个图像传感器，其中，所述保护罩被配置成被操纵成多个折叠构造，其中：
在第一折叠构造中，所述保护罩被配置成包围所述非键区的至少一部分和所述键区；以及
在第二折叠构造中，所述保护罩被配置为按照以下方式直立：当所述集成计算接口设备的用户在所述键盘上键入时，所述至少一个图像传感器的光轴总体上面向所述用户。
22.根据权利要求21所述的集成计算接口设备，其中，所述保护罩具有四边形形状，所述四边形形状的一侧连接到所述壳体。
23.根据权利要求22所述的集成计算接口设备，其中，在所述第二折叠构造中，当所述壳体放置在表面上时，所述保护罩的与所述四边形形状的连接到所述壳体的一侧相反的部分也被配置成放置在所述表面上。
24.根据权利要求23所述的集成计算接口设备，其中，所述保护罩的被配置成在所述第二折叠构造中放置在所述表面上的部分的面积是所述保护罩的总面积的至少10％。
25.根据权利要求21所述的集成计算接口设备，其中，所述至少一个图像传感器的位置更靠近所述保护罩的连接到所述壳体的第一侧，而不是所述保护罩的与所述第一侧相反的第二侧。
26.根据权利要求25所述的集成计算接口设备，所述集成计算接口设备还包括位于所述壳体中的电线端口，所述电线端口位于所述集成计算接口设备的与所述保护罩的所述第一侧相反的正面，所述电线端口被配置成接纳从可穿戴扩展现实装置延伸的电线。
27.根据权利要求21所述的集成计算接口设备，其中，所述至少一个图像传感器的电子器件被夹在所述保护罩的第一外层与所述保护罩的第二外层之间。
28.根据权利要求27所述的集成计算接口设备，其中，所述第一外层和所述第二外层中的每一个是由单一连续材料制成的，并且其中，所述电子器件位于由多个分离元件制成的中间层上。
29.根据权利要求28所述的集成计算接口设备，其中，所述第一外层和所述第二外层是由第一材料制成的，并且所述中间层包括不同于所述第一材料的第二材料。
30.根据权利要求29所述的集成计算接口设备，其中，所述第一材料比所述第二材料硬。
31.根据权利要求21所述的集成计算接口设备，其中，所述至少一个图像传感器包括至少第一图像传感器和第二图像传感器，并且其中，在所述第二折叠构造中，所述第一图像传感器的第一视场被配置为当所述用户在所述键盘上键入时拍摄所述用户的面部，并且所述第二图像传感器的第二视场被配置为当所述用户在所述键盘上键入时拍摄所述用户的手。
32.根据权利要求21所述的集成计算接口设备，其中，所述至少一个图像传感器连接到至少一个万向节，所述至少一个万向节被配置成使所述用户能够改变所述至少一个图像传感器的角度而不移动所述保护罩。
33.根据权利要求21所述的集成计算接口设备，其中，所述保护罩包括使得能够沿多个预定折叠线折叠所述保护罩的柔性部分。
34.根据权利要求33所述的集成计算接口设备，其中，所述折叠线中的至少一些折叠线彼此不平行，并且所述柔性部分使得能够折叠所述保护罩以形成三维形状，所述三维形状包括用于选择性地包围可穿戴扩展现实装置的隔室。
35.根据权利要求33所述的集成计算接口设备，其中，所述多个预定折叠线包括至少两个横向折叠线和至少两个非横向折叠线。
36.根据权利要求21所述的集成计算接口设备，所述集成计算接口设备还包括所述壳体的所述非键区中的托架，所述托架被配置成选择性地与可穿戴扩展现实装置接合和脱离，使得当所述可穿戴扩展现实装置经由所述托架选择性地与所述壳体接合时，所述可穿戴扩展现实装置连接到所述键盘并能够与所述键盘一起运送。
37.根据权利要求36所述的集成计算接口设备，其中，所述第一折叠构造与两个包覆模式相关联，其中：
在第一包覆模式中，当所述可穿戴扩展现实装置经由所述托架与所述壳体接合时，所述保护罩覆盖所述可穿戴扩展现实装置和所述键盘；以及
在第二包覆模式中，当所述可穿戴扩展现实装置从所述壳体脱离时，所述保护罩覆盖所述键盘。
38.根据权利要求37所述的集成计算接口设备，其中，在所述第一折叠构造的所述第一包覆模式中，所述至少一个图像传感器距所述键盘的距离在2cm至5cm之间，在所述第一折叠构造的所述第二包覆模式中，所述至少一个图像传感器距所述键盘的距离在1mm至1cm之间，并且其中，在所述第二折叠构造中，所述至少一个图像传感器距所述键盘的距离在4cm至8cm之间。
39.根据权利要求36所述的集成计算接口设备，其中，所述保护罩包括凹口，所述凹口被配置为当所述可穿戴扩展现实装置选择性地与所述壳体接合时，将所述可穿戴扩展现实装置保持在所述第一折叠构造。
40.一种集成计算接口设备的外壳，所述外壳包括：
至少一个图像传感器；以及
可折叠的保护罩，所述保护罩包含所述至少一个图像传感器，其中，所述保护罩被配置成被操纵成多个折叠构造，其中：
在第一折叠构造中，所述保护罩被配置为包覆所述集成计算接口设备的具有键区和非键区的壳体；以及
在第二折叠构造中，所述保护罩被配置成按照以下方式直立：当所述集成计算接口设备的用户在与所述键区相关联的键盘上键入时，使所述至少一个图像传感器的光轴总体上面向所述用户。
41.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含用于使至少一个处理器执行用于基于温度改变虚拟内容的显示的操作的指令，所述操作包括：
经由可穿戴扩展现实装置显示虚拟内容，其中，在显示所述虚拟内容期间，所述可穿戴扩展现实装置的至少一个组件产生热量；
接收指示与所述可穿戴扩展现实装置相关联的温度的信息；
基于所接收的信息，确定改变所述虚拟内容的显示设置的需要；以及
基于所述确定，改变所述虚拟内容的所述显示设置以实现目标温度。
42.根据权利要求41所述的非暂时性计算机可读介质，其中，热量是由包括在所述可穿戴扩展现实装置中的多个发热光源产生的，并且所述操作还包括对所述发热光源中的至少一个发热光源的工作参数集进行调制，所述多个发热光源的所述工作参数集包括与所述至少一个发热光源相关联的电压、电流或功率中的至少一项。
43.根据权利要求41所述的非暂时性计算机可读介质，其中，热量是由包括在所述可穿戴扩展现实装置中的至少一个处理设备产生的，并且所述操作还包括对所述至少一个处理设备的工作参数集进行调制，所述至少一个处理设备的所述工作参数集包括与所述至少一个处理设备相关联的电压、电流、功率、时钟速度或有源核的数量中的至少一项。
44.根据权利要求41所述的非暂时性计算机可读介质，其中，热量是由包括在所述可穿戴扩展现实装置中的至少一个无线通信设备产生的，并且所述操作还包括调制所述至少一个无线通信设备的工作参数集，所述无线通信设备的所述工作参数集包括信号强度、带宽或传输数据量中的至少一项。
45.根据权利要求41所述的非暂时性计算机可读介质，其中，改变所述虚拟内容的所述显示设置包括以下各项中的至少一者：修改所述虚拟内容的至少一部分的颜色方案；减小所述虚拟内容的至少一部分的不透明度值；减小所述虚拟内容的至少一部分的强度值；或减小所述虚拟内容的至少一部分的亮度值。
46.根据权利要求41所述的非暂时性计算机可读介质，其中，改变所述虚拟内容的所述显示设置包括减小所述虚拟内容的至少一部分的帧速率值。
47.根据权利要求41所述的非暂时性计算机可读介质，其中，改变所述虚拟内容的所述显示设置包括减小所述虚拟内容的至少一部分的显示大小。
48.根据权利要求41所述的非暂时性计算机可读介质，其中，改变所述虚拟内容的所述显示设置包括基于对象类型或对象使用历史中的至少一项对包含在所述虚拟内容中的所显示虚拟对象实施选择性改变。
49.根据权利要求41所述的非暂时性计算机可读介质，其中，改变所述虚拟内容的所述显示设置包括从所述虚拟内容移除包含在所述虚拟内容中的多个虚拟元件中的至少一个虚拟元件。
50.根据权利要求49所述的非暂时性计算机可读介质，其中，所述至少一个虚拟元件是基于指示所述可穿戴扩展现实装置的用户的注意力的信息从所述多个虚拟元件中选择的。
51.根据权利要求49所述的非暂时性计算机可读介质，其中，所述操作还包括对所述多个虚拟元件的重要性级别进行排序，并且所述至少一个虚拟元件是基于所确定的重要性级别从所述多个虚拟元件中选择的。
52.根据权利要求41所述的非暂时性计算机可读介质，其中，所述操作还包括基于与所述可穿戴扩展现实装置的用户相关联的用户简档来确定所述虚拟内容的显示设置的改变。
53.根据权利要求41所述的非暂时性计算机可读介质，其中，所述操作还包括在实现对所述显示设置的改变之后的一时间段内接收指示与所述可穿戴扩展现实装置相关联的温度的更新信息，并且将所述显示设置中的至少一项改变为初始值。
54.根据权利要求41所述的非暂时性计算机可读介质，其中，所述操作还包括在与所述可穿戴扩展现实装置相关联的温度达到与所述可穿戴扩展现实装置相关联的阈值之前改变所述虚拟内容的显示设置。
55.根据权利要求54所述的非暂时性计算机可读介质，其中，所述操作还包括基于与所述可穿戴扩展现实装置的用户相关联的用户简档来确定所述阈值的值。
56.根据权利要求41所述的非暂时性计算机可读介质，其中，所述虚拟内容的所述显示设置的改变程度是基于由所接收的信息指示的温度的。
57.根据权利要求41所述的非暂时性计算机可读介质，其中，改变所述虚拟内容的所述显示设置是基于指示温度轨迹的数据的。
58.根据权利要求41所述的非暂时性计算机可读介质，其中，所述操作还包括：
预测所述穿戴式扩展现实装置将不活动的时间；
当由所述可穿戴扩展现实装置产生的热量超过临界值并且所预测的时间超过临界持续时间时，改变所述虚拟内容的所述显示设置；以及
当由所述可穿戴扩展现实装置产生的热量超过临界值并且所预测的时间低于临界持续时间时，维持当前的显示设置。
59.一种基于温度来改变虚拟内容的显示的方法，所述方法包括：
经由可穿戴扩展现实装置显示虚拟内容，其中，在显示所述虚拟内容期间，所述可穿戴扩展现实装置的至少一个组件产生热量；
接收指示与所述可穿戴扩展现实装置相关联的温度的信息；
基于所接收的信息来确定改变所述虚拟内容的显示设置的需要；以及
基于所述确定，改变所述虚拟内容的所述显示设置以实现目标温度。
60.一种温度受控的可穿戴扩展现实装置，所述可穿戴扩展现实装置包括：
可穿戴的镜框；
与所述镜框相关联的至少一个镜片；
所述镜框中的多个发热光源，所述发热光源被配置成将图像投影到所述至少一个镜片上；
温度传感器，所述温度传感器在所述镜框内并且被配置成输出指示与由所述多个发热光源产生的热量相关联的温度的信号；以及
至少一个处理器，所述至少一个处理器被配置为：
经由所述可穿戴扩展现实装置显示虚拟内容，其中，在所述虚拟内容的显示期间，所述可穿戴扩展现实装置的至少一个组件产生热量；
接收指示与所述可穿戴扩展现实装置相关联的温度的信息；
基于所接收的信息，确定改变所述虚拟内容的显示设置的需要；以及
基于所述确定，改变所述虚拟内容的所述显示设置以实现目标温度。
61.一种包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行用于在扩展现实环境中实现混合虚拟键的操作，所述操作包括：
在第一时间段期间接收第一信号，所述第一信号对应于多个虚拟可激活元件在触敏表面上的位置，所述多个虚拟可激活元件是由可穿戴扩展现实装置虚拟地投影在所述触敏表面上的；
根据所述第一信号来确定所述多个虚拟可激活元件在所述触敏表面上的位置；
经由所述触敏表面接收用户的触摸输入，其中，所述触摸输入包括作为与所述触敏表面内的至少一个传感器的交互的结果而生成的第二信号；
基于作为与所述触敏表面内的所述至少一个传感器的交互的结果而生成的所述第二信号，确定与所述触摸输入相关联的坐标位置；
将所述触摸输入的坐标位置与所确定的位置中的至少一个进行比较，以识别所述多个虚拟可激活元件中与所述触摸输入相对应的一个虚拟可激活元件；以及
引起与所述可穿戴扩展现实装置相关联的虚拟内容的改变，其中，所述改变对应于所述多个虚拟可激活元件中所识别的虚拟可激活元件。
62.根据权利要求61所述的非暂时性计算机可读介质，其中，被虚拟地投影在所述触敏表面上的所述多个虚拟可激活元件是一组虚拟可激活元件的适当子集，并且其中，所述子集是基于所述用户的动作来确定的。
63.根据权利要求61所述的非暂时性计算机可读介质，其中，被虚拟地投影在所述触敏表面上的所述多个虚拟可激活元件是一组虚拟可激活元件的适当子集，并且其中，所述子集是基于所述用户的物理位置来确定的。
64.根据权利要求61所述的非暂时性计算机可读介质，其中，被虚拟地投影在所述触敏表面上的所述多个虚拟可激活元件是一组虚拟可激活元件的适当子集，并且其中，所述子集是基于所述用户的环境中的事件来确定的。
65.根据权利要求61所述的非暂时性计算机可读介质，其中，所述多个虚拟可激活原件在所述触敏表面上的位置是基于所述用户的动作、所述用户的物理位置、所述可穿戴扩展现实装置的物理位置、所述触敏表面的物理位置或所述用户的环境中的事件中的至少一项来确定的。
66.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括在检测到所述触摸输入时打开应用；并且其中，引起所述虚拟内容的改变是基于所述应用的打开的。
67.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括在检测到所述触摸输入时改变输出参数；并且其中，引起所述虚拟内容的改变是基于所述输出参数的改变的。
68.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括基于先前由所述用户选择的默认布置将所述多个虚拟可激活元件布置在所述触敏表面上。
69.根据权利要求61所述的非暂时性计算机可读介质，其中，所述虚拟内容包括虚拟显示器，并且所述操作还包括使所述触敏表面能够在所述虚拟显示器中导航光标。
70.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括基于所述第二信号来确定所述触摸输入的类型，并且其中，所述虚拟内容的改变对应于所述多个虚拟可激活元件中的所识别的虚拟可激活元件和所述触摸输入的确定的类型。
71.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括：
接收与键盘上与附加虚拟可激活元件的触敏表面相邻的位置相对应的附加信号，所述附加虚拟可激活元件是由所述可穿戴扩展现实装置虚拟地投影在所述键盘的键上的；
根据所述附加信号，确定所述附加虚拟可激活元件在所述键盘的键上的位置；
经由所述键盘的至少一个键来接收按键输入；
识别所述附加虚拟可激活元件中与所述按键输入相对应的附加虚拟可激活元件；以及
引起与所述可穿戴扩展现实装置相关联的所述虚拟内容的第二改变，其中，所述第二改变对应于所述附加虚拟可激活元件中的所识别的附加虚拟可激活元件。
72.根据权利要求71所述的非暂时性计算机可读介质，其中，所述操作还包括接收键盘配置选择，并且使所述可穿戴扩展现实装置虚拟地投影所述附加虚拟可激活元件以对应于所选择的键盘配置。
73.根据权利要求71所述的非暂时性计算机可读介质，其中，所述操作还包括基于用户动作、物理用户位置、所述可穿戴扩展现实装置的物理位置、所述键盘的物理位置或用户环境中的事件中的至少一项来选择所述附加虚拟可激活元件。
74.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括：
确定所述用户是否是所述可穿戴扩展现实装置的穿戴者；
响应于确定所述用户是所述可穿戴扩展现实装置的穿戴者，引起与所述可穿戴扩展现实装置相关联的虚拟内容的改变；以及
响应于确定所述用户不是所述可穿戴扩展现实装置的穿戴者，放弃引起与所述可穿戴扩展现实装置相关联的虚拟内容的改变。
75.根据权利要求74所述的非暂时性计算机可读介质，其中，当所述用户是第二可穿戴扩展现实装置的佩戴者时并且当所述第二可穿戴扩展现实装置将第二多个虚拟可激活元件投影在所述触敏表面上时，所述操作还包括：
基于所述触摸输入的坐标位置，确定所述触摸输入对应于所述第二多个虚拟可激活元件中的特定虚拟可激活元件；以及
引起与所述可穿戴扩展现实装置相关联的所述虚拟内容的第二改变，其中，所述第二改变对应于所述第二多个虚拟可激活元件中的所述特定虚拟可激活元件。
76.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括在所述多个虚拟可激活元件未被投影到所述触敏表面上时的第二时间段期间，停用所述触敏表面的至少一部分的至少一个功能。
77.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括在所述可穿戴扩展现实装置将不同的多个虚拟可激活元件投影到所述触敏表面上时的第二时间段期间，停用所述触敏表面的至少一部分的至少一个功能。
78.根据权利要求77所述的非暂时性计算机可读介质，其中，所述操作还包括在所述第一时间段之后并且在所述不同的多个虚拟可激活元件被投影到所述触敏表面上之前的第三时间段期间，维持所述触敏表面的所述至少一部分的所述至少一个功能，在所述第三时间段中，所述触敏表面在所述可穿戴扩展现实装置的视场之外，并且因此所述多个虚拟可激活元件不被投影到所述触敏表面上。
79.一种在扩展现实环境中实现混合虚拟键的方法，所述操作包括：
在第一时间段期间接收第一信号，所述第一信号与多个虚拟可激活元件在触敏表面上的位置相对应，所述多个虚拟可激活元件是由可穿戴扩展现实装置虚拟地投影在所述触敏表面上的；
根据所述第一信号，确定所述多个虚拟可激活元件在所述触敏表面上的位置；
经由所述触敏表面接收用户的触摸输入，其中，所述触摸输入包括作为与所述触敏表面内的至少一个传感器的交互的结果而生成的第二信号；
基于作为与所述触敏表面内的所述至少一个传感器的交互的结果而生成的所述第二信号，确定与所述触摸输入相关联的坐标位置；
将所述触摸输入的坐标位置与所确定的位置中的至少一个位置进行比较，以识别所述多个虚拟可激活元件中与所述触摸输入相对应的一个虚拟可激活元件；以及
引起与所述可穿戴扩展现实装置相关联的虚拟内容的改变，其中，所述改变对应于所述多个虚拟可激活元件中所识别的一个虚拟可激活元件。
80.一种在扩展现实环境中实现混合虚拟键的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
在第一时间段期间接收第一信号，所述第一信号对应于多个虚拟可激活元件在触敏表面上的位置，所述多个虚拟可激活元件是由可穿戴扩展现实装置虚拟地投影在所述触敏表面上的；
根据所述第一信号，确定所述多个虚拟可激活元件在所述触敏表面上的位置；
经由所述触敏表面接收用户的触摸输入，其中，所述触摸输入包括作为与所述触敏表面内的至少一个传感器的交互的结果而生成的第二信号；
基于作为与所述触敏表面内的所述至少一个传感器的交互的结果而生成的所述第二信号，确定与所述触摸输入相关联的坐标位置；
将所述触摸输入的坐标位置与所确定的位置中的至少一个进行比较，以识别所述多个虚拟可激活元件中与所述触摸输入相对应的一个虚拟可激活元件；以及
引起与所述可穿戴扩展现实装置相关联的虚拟内容的改变，其中，所述改变对应于所述多个虚拟可激活元件中所识别的一个虚拟可激活元件。
81.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质被配置成与键盘和可穿戴扩展现实装置组合一起使用以便控制虚拟显示器，所述计算机可读介质包含指令，这些指令在由至少一个处理器执行时使所述至少一个处理器执行操作，所述操作包括：
从与所述可穿戴扩展现实装置相关联的第一手位置传感器接收表示第一手移动的第一信号；
从与所述键盘相关联的第二手位置传感器接收表示第二手移动的第二信号，其中，所述第二手移动包括除与反馈组件交互之外的动作；以及
基于所述第一信号和所述第二信号，控制所述虚拟显示器。
82.根据权利要求81所述的非暂时性计算机可读介质，其中，所述第一手位置传感器和所述第二手位置传感器中的至少一者是图像传感器。
83.根据权利要求81所述的非暂时性计算机可读介质，其中，所述第一手位置传感器和所述第二手位置传感器中的至少一者是接近传感器。
84.根据权利要求81所述的非暂时性计算机可读介质，其中，所述第二手位置传感器的类型不同于所述第一手位置传感器的类型。
85.根据权利要求81所述的非暂时性计算机可读介质，其中，所述操作还包括：
确定所述键盘的取向；以及
基于所述键盘的所述取向，调整与所述虚拟显示器相关联的显示设置。
86.根据权利要求81所述的非暂时性计算机可读介质，其中，所述第一手移动包括与无反馈对象的交互。
87.根据权利要求81所述的非暂时性计算机可读介质，其中，当所述键盘位于表面上时，所述第二手移动包括与所述表面的交互。
88.根据权利要求81所述的非暂时性计算机可读介质，其中，所述操作还包括：当与所述第一手移动或所述第二手移动中的至少一者相关联的确定性水平高于阈值时，基于所述第一信号和所述第二信号来控制所述虚拟显示器。
89.根据权利要求81所述的非暂时性计算机可读介质，其中，当所述第一手移动和所述第二手移动中的至少一者被所述第二手位置传感器检测到但未被所述第一手位置传感器检测到时，所述操作还包括仅基于所述第二信号来控制所述虚拟显示器。
90.根据权利要求81所述的非暂时性计算机可读介质，其中，当所述可穿戴扩展现实装置未连接到所述键盘时，所述操作还包括仅基于所述第一信号来控制所述虚拟显示器。
91.根据权利要求81所述的非暂时性计算机可读介质，其中，所述可穿戴扩展现实装置能够经由位于最靠近空格键的一侧的连接器选择性地连接到所述键盘。
92.根据权利要求81所述的非暂时性计算机可读介质，其中，基于所述第一信号和所述第二信号控制所述虚拟显示器包括：
基于所述第一信号，控制所述虚拟显示器的第一部分；以及
基于所述第二信号，控制所述虚拟显示器的第二部分。
93.根据权利要求81所述的非暂时性计算机可读介质，其中，所述键盘包括关联的输入区域，所述输入区域包括触摸板和键，并且其中，所述操作还包括检测所述输入区域之外的区域中的所述第二手移动。
94.根据权利要求81所述的非暂时性计算机可读介质，其中，所述操作还包括：
基于所述第一信号和所述第二信号，确定手的至少一部分的三维位置；以及
基于所述手的所述至少一部分的所确定的三维位置，控制所述虚拟显示器。
95.根据权利要求81所述的非暂时性计算机可读介质，其中，所述操作还包括：
分析所述第二信号以确定手正在触摸与虚拟窗口小部件相关联的物理对象的一部分；
分析所述第一信号以确定所述手是否属于所述可穿戴扩展现实装置的用户；
响应于确定所述手属于所述可穿戴扩展现实装置的所述用户，执行与所述虚拟窗口小部件相关联的动作；以及
响应于确定所述手不属于所述可穿戴扩展现实装置的所述用户，放弃执行与所述虚拟窗口小部件相关联的动作。
96.根据权利要求95所述的非暂时性计算机可读介质，其中，所述操作还包括：
分析所述第二信号以确定所述手正在触摸所述物理对象的位置；以及
使用所确定的位置来选择与所述虚拟窗口小部件相关联的动作。
97.根据权利要求81所述的非暂时性计算机可读介质，其中，所述键盘包括多个键，并且其中，所述操作还包括：
分析所述第二信号以确定按压所述多个键中的特定键的用户意图；以及
基于所确定的用户意图，使所述可穿戴扩展现实装置提供表示所述特定键的虚拟指示。
98.根据权利要求81所述的非暂时性计算机可读介质，其中，所述键盘包括多个键，并且其中，所述操作还包括：
分析所述第二信号以确定按压所述多个键中的一组键中的至少一个键的用户意图；以及
基于所确定的用户意图，使所述可穿戴扩展现实装置提供表示所述一组键的虚拟指示。
99.一种操作键盘和可穿戴扩展现实装置组合以控制虚拟显示器的方法，所述方法包括：
从与所述可穿戴扩展现实装置相关联的第一手位置传感器接收表示第一手移动的第一信号；
从与所述键盘相关联的第二手位置传感器接收表示第二手移动的第二信号，其中，所述第二手移动包括除与反馈组件交互之外的动作；以及
基于所述第一信号和所述第二信号，控制所述虚拟显示器。
100.一种操作键盘和可穿戴扩展现实装置组合以控制虚拟显示器的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
从与所述可穿戴扩展现实装置相关联的第一手位置传感器接收表示第一手移动的第一信号；
从与所述键盘相关联的第二手位置传感器接收表示第二手移动的第二信号，其中，所述第二手移动包括除与反馈组件交互之外的动作；以及
基于所述第一信号和所述第二信号，控制所述虚拟显示器。
101.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质将可移动输入设备与经由可穿戴扩展现实装置投影的虚拟显示器集成，所述计算机可读介质包含指令，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行以下步骤：
接收与所述可移动输入设备相关联的运动信号，所述运动信号反映所述可移动输入设备的物理移动；
在第一时间段期间，向所述可穿戴扩展现实装置输出第一显示信号，所述第一显示信号被配置成使所述可穿戴扩展现实装置以第一取向虚拟地呈现内容；
在不同于所述第一时间段的第二时间段期间，向所述可穿戴扩展现实装置输出第二显示信号，所述第二显示信号被配置成使所述可穿戴扩展现实装置以不同于所述第一取向的第二取向虚拟地呈现所述内容；以及
基于所接收的可移动输入设备的运动信号，在所述第一显示信号的输出与所述第二显示信号的输出之间切换。
102.根据权利要求101所述的非暂时性计算机可读介质，其中，所述可移动输入设备的所述运动信号是基于对使用与所述可移动输入设备相关联的至少一个传感器捕获的数据的分析而确定的。
103.根据权利要求101所述的非暂时性计算机可读介质，其中，与所述可移动输入设备相关联的所述运动信号是基于对所述可移动输入设备的图像的分析来确定的。
104.根据权利要求101所述的非暂时性计算机可读介质，其中，所述运动信号反映所述可移动输入设备在所述第一时间段期间相对于被放置了所述可移动输入设备的表面的物理移动。
105.根据权利要求101所述的非暂时性计算机可读介质，其中，所述运动信号指示所述可移动输入设备的倾斜移动、滚动移动和横向移动中的至少一者。
106.根据权利要求101所述的非暂时性计算机可读介质，其中，所述运动信号是在所述第一时间段之后和在所述第二时间段之前接收到的。
107.根据权利要求101所述的非暂时性计算机可读介质，其中，所述指令被配置为使所述可穿戴扩展现实装置能够在所述第二时间段期间接收附加运动信号，从而使所述可穿戴扩展现实装置能够连续地调整所述内容的虚拟呈现。
108.根据权利要求101所述的非暂时性计算机可读介质，其中，所述步骤还包括基于所述可移动输入设备在所述第一时间段之前的取向来确定所述第一取向。
109.根据权利要求101所述的非暂时性计算机可读介质，其中，所述步骤还包括基于所接收的、与所述可移动输入设备相关联的运动信号来改变所述虚拟显示器的大小。
110.根据权利要求101所述的非暂时性计算机可读介质，其中，所述步骤还包括当所述可移动输入设备的所述物理移动大于至少一个阈值时，在所述第一显示信号的输出与所述第二显示信号的输出之间切换。
111.根据权利要求110所述的非暂时性计算机可读介质，其中，所述至少一个阈值包括倾斜阈值、滚动阈值和横向移动阈值的组合。
112.根据权利要求110所述的非暂时性计算机可读介质，其中，所述可移动输入设备被配置为放置在一表面上，并且所述至少一个阈值的值是基于所述表面的类型的。
113.根据权利要求110所述的非暂时性计算机可读介质，其中，所述至少一个阈值是基于所述第一时间段期间所述虚拟显示器距所述可移动输入设备的距离而选择的。
114.根据权利要求110所述的非暂时性计算机可读介质，其中，所述至少一个阈值是基于所述第一时间段期间所述虚拟显示器相对于所述可移动输入设备的取向来选择的。
115.根据权利要求110所述的非暂时性计算机可读介质，其中，所述至少一个阈值是基于所述内容的类型来选择的。
116.根据权利要求100所述的非暂时性计算机可读介质，其中，所述可穿戴扩展现实装置被配置成与多个可移动输入设备配对，并且所述第一取向是基于与和所述可穿戴扩展现实装置配对的所述多个可移动输入设备中的一个可移动输入设备相关联的默认虚拟显示配置来确定的。
117.根据权利要求100所述的非暂时性计算机可读介质，其中，所述内容是虚拟显示器，所述虚拟显示器被配置为实现使用所述可移动输入设备输入的文本输入的视觉呈现。
118.根据权利要求117所述的非暂时性计算机可读介质，其中，所述步骤还包括：当所述虚拟显示器在所述可穿戴扩展现实装置的视场之外时，在所述虚拟显示器之外提供使用所述可移动输入设备输入的文本输入的视觉指示。
119.一种将可移动输入设备与经由可穿戴扩展现实装置投影的虚拟显示器集成的方法，所述方法包括：
接收与所述可移动输入设备相关联的运动信号，所述运动信号反映所述可移动输入设备的物理移动；
在第一时间段期间向所述可穿戴扩展现实装置输出第一显示信号，所述第一显示信号被配置成使所述可穿戴扩展现实装置以第一取向虚拟地呈现内容；
在不同于所述第一时间段的第二时间段期间，向所述可穿戴扩展现实装置输出第二显示信号，所述第二显示信号被配置成使所述可穿戴扩展现实装置以不同于所述第一取向的第二取向虚拟地呈现所述内容；以及
基于所接收的可移动输入设备的运动信号，在所述第一显示信号的输出与所述第二显示信号的输出之间切换。
120.一种将可移动输入设备与经由可穿戴扩展现实装置投影的虚拟显示器集成的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被编程为：
接收与所述可移动输入设备相关联的运动信号，所述运动信号反映所述可移动输入设备的物理移动；
在第一时间段期间向所述可穿戴扩展现实装置输出第一显示信号，所述第一显示信号被配置成使所述可穿戴扩展现实装置以第一取向虚拟地呈现内容；
在不同于所述第一时间段的第二时间段期间，向所述可穿戴扩展现实装置输出第二显示信号，所述第二显示信号被配置成使所述可穿戴扩展现实装置以不同于所述第一取向的第二取向虚拟地呈现所述内容；以及
基于所接收的可移动输入设备的运动信号，在所述第一显示信号的输出与所述第二显示信号的输出之间切换。
121.一种包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行用于虚拟地扩展物理键盘的操作，所述操作包括：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，所述图像数据表示放置在一表面上的键盘；
确定所述键盘与所述可穿戴扩展现实装置配对；
接收用于使虚拟控制器结合所述键盘显示的输入；
经由所述可穿戴扩展现实装置将所述虚拟控制器显示在所述表面上的第一位置，其中，在所述第一位置，所述虚拟控制器具有相对于所述键盘的原始空间取向；
检测所述键盘移动到所述表面上的不同位置；以及
响应于检测到的所述键盘的移动，将所述虚拟控制器呈现在所述表面上的第二位置，其中，在所述第二位置，所述虚拟控制器相对于所述键盘的后续空间取向对应于所述原始空间取向。
122.根据权利要求121所述的非暂时性计算机可读介质，其中，所述虚拟控制器是虚拟触控板，并且其中，所述操作还包括：检测所述第二位置的手移动；以及基于检测到的手移动来改变虚拟光标的位置。
123.根据权利要求121所述的非暂时性计算机可读介质，其中，所述虚拟控制器是用户接口元件，并且其中，所述操作还包括：检测所述第二位置处的手移动；以及基于检测到的手移动，改变与所述用户接口元件相关联的呈现参数。
124.根据权利要求121所述的非暂时性计算机可读介质，其中，所接收的输入包括来自与所述可穿戴扩展现实装置相关联的图像传感器的图像数据，并且所述操作还包括根据所述图像数据确定表征所述虚拟控制器相对于所述键盘的原始空间取向的值。
125.根据权利要求124所述的非暂时性计算机可读介质，其中，所述值表征所述虚拟控制器与所述键盘之间的距离。
126.根据权利要求121所述的非暂时性计算机可读介质，其中，所述操作还包括使用所接收的输入来确定以下中的至少一项：所述虚拟控制器距所述键盘的距离、所述虚拟控制器相对于所述键盘的角度取向、所述键盘的所述虚拟控制器被定位在的侧面、或所述虚拟控制器的大小。
127.根据权利要求121所述的非暂时性计算机可读介质，其中，所述键盘包括检测器，并且其中，检测所述键盘的移动是基于所述检测器的输出的。
128.根据权利要求121所述的非暂时性计算机可读介质，其中，检测所述键盘的移动是基于从与所述可穿戴扩展现实装置相关联的图像传感器获得的数据的。
129.根据权利要求121所述的非暂时性计算机可读介质，其中，所述可穿戴扩展现实装置被配置成与多个不同的键盘配对，并且其中，所述操作还包括：接收键盘选择；基于所接收的键盘选择从多个选择中选择所述虚拟控制器；以及基于所述键盘选择显示所述虚拟控制器。
130.根据权利要求121所述的非暂时性计算机可读介质，其中，所述操作还包括：
分析所述图像数据以确定与所述第二位置相关联的表面区域是无缺陷的；
响应于确定与所述第二位置相关联的所述表面区域是无缺陷的，使所述可穿戴扩展现实装置在所述第二位置处虚拟地呈现所述虚拟控制器；
分析所述图像数据以确定与所述第二位置相关联的所述表面区域包括缺陷；以及
响应于确定与所述第二位置相关联的所述表面区域包括缺陷，使所述可穿戴扩展现实装置执行用于避免在所述第二位置处呈现所述虚拟控制器的动作。
131.根据权利要求130所述的非暂时性计算机可读介质，其中，所述动作包括在接近所述第二位置的第三位置中的另一表面区域上虚拟地呈现所述虚拟控制器。
132.根据权利要求130所述的非暂时性计算机可读介质，其中，所述动作包括经由所述可穿戴扩展现实装置提供通知，所述通知指示所述第二位置不适合于显示所述虚拟控制器。
133.根据权利要求121所述的非暂时性计算机可读介质，其中，所述操作还包括：
分析所述图像数据以确定所述第二位置是无边缘的；
响应于确定所述第二位置是无边缘的，使所述可穿戴扩展现实装置在所述第二位置处虚拟地呈现所述虚拟控制器；
分析所述图像数据以确定所述第二位置包括边缘；以及
响应于确定所述第二区域包括边缘，使所述可穿戴扩展现实装置执行用于避免在所述第二位置处呈现所述虚拟控制器的动作。
134.根据权利要求133所述的非暂时性计算机可读介质，其中，所述动作包括在接近所述第二位置的第三位置处虚拟地呈现所述虚拟控制器。
135.根据权利要求133所述的非暂时性计算机可读介质，其中，所述动作包括经由所述可穿戴扩展现实装置提供通知，其中，所述通知指示所述第二位置不适合于显示所述虚拟控制器。
136.根据权利要求121所述的非暂时性计算机可读介质，其中，所述操作还包括：
分析所述图像数据以确定所述第二位置没有物理对象；
响应于确定所述第二位置没有物理对象，使所述可穿戴扩展现实装置在所述第二位置处虚拟地呈现所述虚拟控制器；
分析所述图像数据以确定所述第二位置包括至少一个物理对象；以及
响应于确定所述第二位置包括至少一个物理对象，使所述可穿戴扩展现实装置执行用于避免所述物理对象与所述虚拟控制器的控制妨碍干扰的动作。
137.根据权利要求136所述的非暂时性计算机可读介质，其中，所述动作包括在所述物理对象的表面上虚拟地呈现所述虚拟控制器。
138.根据权利要求121所述的非暂时性计算机可读介质，其中，所述操作还包括：
分析所述图像数据以确定所述第一位置处的所述表面的类型；
基于所述第一位置处的所述表面的类型，选择所述虚拟控制器的第一尺寸；
在所述表面上的所述第一位置处以所述第一尺寸呈现所述虚拟控制器；
分析所述图像数据以确定所述第二位置处的所述表面的类型；
基于所述第二位置处的所述表面的类型，选择所述虚拟控制器的第二尺寸；以及
在所述表面上的所述第二位置处以所述第二尺寸呈现所述虚拟控制器。
139.一种虚拟地扩展物理键盘的方法，所述方法包括：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，所述图像数据表示放置在一表面上的键盘；
确定所述键盘与所述可穿戴扩展现实装置配对；
接收用于使虚拟控制器结合所述键盘显示的输入；
经由所述可穿戴扩展现实装置，将所述虚拟控制器显示在所述表面上的第一位置处，其中，在所述第一位置，所述虚拟控制器具有相对于所述键盘的原始空间取向；
检测所述键盘移动到所述表面上的不同位置；以及
响应于检测到的所述键盘的移动，将所述虚拟控制器呈现在所述表面上的第二位置处，其中，在所述第二位置，所述虚拟控制器相对于所述键盘的后续空间取向对应于所述原始空间定向。
140.一种虚拟地扩展物理键盘的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，所述图像数据表示放置在一表面上的键盘；
确定所述键盘与所述可穿戴扩展现实装置配对；
接收用于使虚拟控制器结合所述键盘显示的输入；
经由所述可穿戴扩展现实装置，将所述虚拟控制器显示在所述表面上的第一位置处，其中，在所述第一位置，所述虚拟控制器具有相对于所述键盘的原始空间取向；
检测所述键盘移动到所述表面上的不同位置；以及
响应于检测到的所述键盘的移动，将所述虚拟控制器呈现在所述表面上的第二位置处，其中，在所述第二位置，所述虚拟控制器相对于所述键盘的后续空间取向对应于所述原始空间取向。
141.一种包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行用于协调虚拟内容显示与移动状态的操作，所述操作包括：
访问将多个用户移动状态与用于经由可穿戴扩展现实装置呈现虚拟内容的多个显示模式相关联的规则；
从与所述可穿戴扩展现实装置相关联的至少一个传感器接收第一传感器数据，所述第一传感器数据反映所述可穿戴扩展现实装置的用户在第一时间段期间的移动状态；
基于所述第一传感器数据，确定在所述第一时间段期间，所述可穿戴扩展现实装置的所述用户与第一移动状态相关联；
经由与所述第一移动状态相关联的所述可穿戴扩展现实装置，实现至少第一访问的规则以生成所述虚拟内容的第一显示；
从所述至少一个传感器接收第二传感器数据，所述第二传感器数据反映在第二时间段期间所述用户的移动状态；
基于所述第二传感器数据，确定在所述第二时间段期间，所述可穿戴扩展现实装置的所述用户与第二移动状态相关联；以及
实现至少第二访问的规则以经由与所述第二移动状态相关联的所述可穿戴扩展现实装置生成所述虚拟内容的第二显示，其中，所述虚拟内容的所述第二显示不同于所述虚拟内容的所述第一显示。
142.根据权利要求141所述的非暂时性计算机可读介质，其中，所访问的规则将显示模式与用户移动状态相关联，所述用户移动状态包含坐着状态、站立状态、行走状态、跑步状态、骑车状态或驾驶状态中的至少两者。
143.根据权利要求141所述的非暂时性计算机可读介质，其中，所述操作还包括基于所述第一传感器数据和与所述用户相关联的历史数据来确定所述用户在所述第一时间段期间的所述移动状态，以及基于所述第二传感器数据和所述历史数据来确定所述用户在所述第二时间段期间的所述移动状态。
144.根据权利要求141所述的非暂时性计算机可读介质，其中，所述至少一个传感器包括所述可穿戴扩展现实装置内的图像传感器，并且所述操作还包括分析使用所述图像传感器捕获的图像数据以识别所述第一移动状态与所述第二移动状态之间的切换。
145.根据权利要求141所述的非暂时性计算机可读介质，其中，所述至少一个传感器包含至少一个运动传感器，所述至少一个运动传感器被包括在能够连接到所述可穿戴扩展现实装置的计算设备中，并且所述操作还包括分析使用所述至少一个运动传感器捕获的运动数据以识别所述第一移动状态与所述第二移动状态之间的切换。
146.根据权利要求141所述的非暂时性计算机可读介质，其中，所访问的规则将用户移动状态与所述多个显示模式相关联，所述多个显示模式包括工作模式、娱乐模式、体育活动模式、活跃模式、睡眠模式、跟踪模式、静止模式、私密模式或公开模式中的至少两者。
147.根据权利要求141所述的非暂时性计算机可读介质，其中，所述多个显示模式中的各个显示模式与多个显示参数的值的特定组合相关联，并且所述操作还包括从所述用户接收输入以调整与至少一个显示模式相关联的显示参数的值。
148.根据权利要求147所述的非暂时性计算机可读介质，其中，所述多个显示参数包含不透明度级别、亮度级别、色彩方案、大小、取向、分辨率、所显示的功能或对接行为中的至少一些。
149.根据权利要求141所述的非暂时性计算机可读介质，其中，所述操作还包括在所述第一时间段期间以工作模式显示某一虚拟对象，并且在所述第二时间段期间以体育活动模式显示所述某一虚拟对象。
150.根据权利要求141所述的非暂时性计算机可读介质，其中，所述操作还包括在所述第一时间段期间以活跃模式显示某一虚拟对象，并且在所述第二时间段期间以睡眠模式显示所述某一虚拟对象。
151.根据权利要求141所述的非暂时性计算机可读介质，其中，生成与所述第一移动状态相关联的所述第一显示包括使用第一显示模式来显示第一虚拟对象和使用第二显示模式来显示第二虚拟对象。
152.根据权利要求151所述的非暂时性计算机可读介质，其中，所述操作还包括在所述第二时间段期间改变所述第一虚拟对象的所述第一显示模式并且保持所述第二虚拟对象的所述第二显示模式。
153.根据权利要求151所述的非暂时性计算机可读介质，其中，所述操作还包括在所述第二时间段期间使用第三显示模式显示所述第一虚拟对象和所述第二虚拟对象。
154.根据权利要求141所述的非暂时性计算机可读介质，其中，所访问的规则还针对不同移动状态将不同显示模式与不同类型的虚拟对象相关联。
155.根据权利要求154所述的非暂时性计算机可读介质，其中，所述操作还包括经由所述可穿戴扩展现实装置呈现与第一类型相关联的第一虚拟对象和与第二类型相关联的第二虚拟对象，其中，生成与所述第一移动状态相关联的所述第一显示包括针对所述第一虚拟对象和所述第二虚拟对象应用单一显示模式，并且生成与所述第二移动状态相关联的所述第二显示包括针对所述第一虚拟对象和所述第二虚拟对象应用不同显示模式。
156.根据权利要求141所述的非暂时性计算机可读介质，其中，所访问的规则还基于环境上下文将所述多个用户移动状态与多个显示模式相关联。
157.根据权利要求156所述的非暂时性计算机可读介质，其中，所述环境上下文是基于对使用包括在所述可穿戴扩展现实装置中的图像传感器捕获的图像数据或使用包括在所述可穿戴扩展现实装置中的音频传感器捕获的音频数据中的至少一者的分析来确定的。
158.根据权利要求156所述的非暂时性计算机可读介质，其中，所述环境上下文是基于所述可穿戴扩展现实装置的环境中的至少一个人的至少一个动作的。
159.一种协调虚拟内容显示与移动状态的方法，所述方法包括：
访问将多个用户移动状态与用于经由可穿戴扩展现实装置呈现虚拟内容的多个显示模式相关联的规则；
从与所述可穿戴扩展现实装置相关联的至少一个传感器接收第一传感器数据，所述第一传感器数据反映所述可穿戴扩展现实装置的用户在第一时间段期间的移动状态；
基于所述第一传感器数据，确定在所述第一时间段期间，所述可穿戴扩展现实装置的所述用户与第一移动状态相关联；
经由与所述第一移动状态相关联的所述可穿戴扩展现实装置实现至少第一访问的规则，以生成所述虚拟内容的第一显示；
从所述至少一个传感器接收第二传感器数据，所述第二传感器数据反映在第二时间段期间所述用户的移动状态；
基于所述第二传感器数据，确定在所述第二时间段期间，所述可穿戴扩展现实装置的所述用户与第二移动状态相关联；以及
实现至少第二访问的规则以经由与所述第二移动状态相关联的所述可穿戴扩展现实装置生成所述虚拟内容的第二显示，其中，所述虚拟内容的所述第二显示不同于所述虚拟内容的所述第一显示。
160.一种协调虚拟内容的显示与移动状态的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
访问将多个用户移动状态与用于经由可穿戴扩展现实装置呈现虚拟内容的多个显示模式相关联的规则；
从与所述可穿戴扩展现实装置相关联的至少一个传感器接收第一传感器数据，所述第一传感器数据反映所述可穿戴扩展现实装置的用户在第一时间段期间的移动状态；
基于所述第一传感器数据，确定在所述第一时间段期间，所述可穿戴扩展现实装置的所述用户与第一移动状态相关联；
实现至少第一访问的规则以经由与所述第一移动状态相关联的所述可穿戴扩展现实装置生成所述虚拟内容的第一显示；
从所述至少一个传感器接收第二传感器数据，所述第二传感器数据反映在第二时间段期间所述用户的移动状态；
基于所述第二传感器数据，确定在所述第二时间段期间，所述可穿戴扩展现实装置的所述用户与第二移动状态相关联；以及
实现至少第二访问的规则以经由与所述第二移动状态相关联的所述可穿戴扩展现实装置生成所述虚拟内容的第二显示，其中，所述虚拟内容的所述第二显示不同于所述虚拟内容的所述第一显示。
161.一种包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时致使所述至少一个处理器执行用于修改对接到可移动输入设备的虚拟对象的显示的操作，所述操作包括：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，所述图像数据表示放置在一支承表面上的第一位置处的输入设备；
使所述可穿戴扩展现实装置生成所述第一位置附近的至少一个虚拟对象的呈现；
将所述至少一个虚拟对象对接至所述输入设备；
确定所述输入设备处于所述支承表面上的第二位置；
响应于确定所述输入设备处于所述第二位置，更新所述至少一个虚拟对象的呈现，使得所述至少一个虚拟对象出现在所述第二位置附近；
确定所述输入设备处于从所述支承表面移除的第三位置；以及
响应于确定所述输入设备被从所述支承表面移除，修改所述至少一个虚拟对象的呈现。
162.根据权利要求161所述的非暂时性计算机可读介质，其中，所述图像传感器被包括在所述可穿戴扩展现实装置中。
163.根据权利要求161所述的非暂时性计算机可读介质，其中，所述图像传感器被包括在能够连接至所述可穿戴扩展现实装置的输入设备中。
164.根据权利要求161所述的非暂时性计算机可读介质，其中，所述输入设备包括触摸传感器和至少三十个键，并且不包括被配置为呈现媒体内容的屏幕。
165.根据权利要求161所述的非暂时性计算机可读介质，其中，所述操作还包括将第一虚拟对象对接至所述输入设备，所述第一虚拟对象被显示在覆盖所述支承表面的第一虚拟平面上。
166.根据权利要求165所述的非暂时性计算机可读介质，其中，所述操作还包括将第二虚拟对象对接至所述输入设备，其中，所述第二虚拟对象被显示在垂直于所述第一虚拟平面的第二虚拟平面上。
167.根据权利要求161所述的非暂时性计算机可读介质，其中，所述操作还包括基于对所述图像数据的分析，检测所述输入设备在所述支承表面上的移动或所述输入设备从所述支承表面的移除移动中的至少一者。
168.根据权利要求161所述的非暂时性计算机可读介质，其中，所述操作还包括基于对从与所述输入设备相关联的至少一个运动传感器接收到的运动数据的分析，检测所述输入设备在所述支承表面上的移动或所述输入设备从所述支承表面的移除移动中的至少一者。
169.根据权利要求161所述的非暂时性计算机可读介质，其中，当所述输入设备被放置在所述第一位置时，所述至少一个虚拟对象具有相对于所述输入设备的原始空间属性，并且所述操作还包括：当所述输入设备在所述第二位置时，维持所述至少一个虚拟对象相对于所述输入设备的原始空间属性。
170.根据权利要求169所述的非暂时性计算机可读介质，其中，所述原始空间属性包括以下项中的至少一者：所述至少一个虚拟对象距所述输入设备的距离；所述至少一个虚拟对象相对于所述输入设备的角取向；所述输入设备的所述至少一个虚拟对象所位于的一侧；或所述至少一个虚拟对象相对于所述输入设备的大小。
171.根据权利要求161所述的非暂时性计算机可读介质，其中，响应于确定所述输入设备被从所述支承表面移除而修改所述至少一个虚拟对象的呈现包括：继续在所述支承表面上呈现所述至少一个虚拟对象。
172.根据权利要求171所述的非暂时性计算机可读介质，其中，所述操作还包括：确定所述输入设备在所述支承表面上的典型位置；以及当所述输入设备被从所述支承表面移除时，在所述典型位置附近呈现所述至少一个虚拟对象。
173.根据权利要求161所述的非暂时性计算机可读介质，其中，响应于确定所述输入设备被从所述支承表面移除而修改所述至少一个虚拟对象的呈现包括：使所述至少一个虚拟对象消失。
174.根据权利要求173所述的非暂时性计算机可读介质，其中，所述操作还包括：接收指示所述可穿戴扩展现实装置的用户希望在所述输入设备处于所述第三位置的同时与所述至少一个虚拟对象进行交互的输入；以及使所述至少一个虚拟对象重现。
175.根据权利要求161所述的非暂时性计算机可读介质，其中，响应于确定所述输入设备被从所述支承表面移除而修改所述至少一个虚拟对象的所述呈现包括：改变所述至少一个虚拟对象的至少一个视觉属性。
176.根据权利要求175所述的非暂时性计算机可读介质，其中，所述至少一个视觉属性包括颜色方案、不透明度水平、亮度水平、大小或取向中的至少一项。
177.根据权利要求161所述的非暂时性计算机可读介质，其中，响应于确定所述输入设备被从所述支承表面移除而修改所述至少一个虚拟对象的所述呈现包括：呈现所述至少一个虚拟对象的最小化版本。
178.根据权利要求177所述的非暂时性计算机可读介质，其中，所述操作还包括：接收反映对所述至少一个虚拟对象的所述最小化版本的选择的输入；以及使所述至少一个虚拟对象呈现在展开视图中。
179.一种修改对接到可移动输入设备的虚拟对象的显示的系统，所述系统包括至少一个处理器，所述至少一个处理器被编程为：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，所述图像数据表示放置在支承表面上的第一位置处的输入设备；
使所述可穿戴扩展现实装置在所述第一位置附近生成至少一个虚拟对象的呈现；
将所述至少一个虚拟对象对接至所述输入设备；
确定所述输入设备在所述支承表面上处于第二位置；
响应于确定所述输入设备处于所述第二位置，更新所述至少一个虚拟对象的呈现，使得所述至少一个虚拟对象出现在所述第二位置附近；
确定所述输入设备处于被从所述支承表面移除的第三位置；以及
响应于确定所述输入设备被从所述支承表面移除，修改所述至少一个虚拟对象的呈现。
180.一种修改对接到可移动输入设备的虚拟对象的显示的方法，所述方法包括：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，所述图像数据表示放置在支承表面上的第一位置处的输入设备；
使所述可穿戴扩展现实装置在所述第一位置附近生成至少一个虚拟对象的呈现；
将所述至少一个虚拟对象对接至所述输入设备；
确定所述输入设备处于所述支承表面上的第二位置；
响应于确定所述输入设备处于所述第二位置，更新所述至少一个虚拟对象的呈现，使得所述至少一个虚拟对象出现在所述第二位置附近；
确定所述输入设备处于被从所述支承表面移除的第三位置；以及
响应于确定所述输入设备被从所述支承表面移除，修改所述至少一个虚拟对象的呈现。
181.一种包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行用于在扩展现实环境中将虚拟对象对接至虚拟显示屏的操作，所述操作包括：
生成用于经由可穿戴扩展现实装置呈现的虚拟内容，其中，所述虚拟内容包括虚拟显示器和位于所述虚拟显示器外部的多个虚拟对象；
接收对所述多个虚拟对象中的至少一个虚拟对象的选择；
将所述至少一个虚拟对象对接至所述虚拟显示器；
在将所述至少一个虚拟对象对接至所述虚拟显示器之后，接收指示改变所述虚拟显示器的位置的意图而不表示移动所述至少一个虚拟对象的意图的输入；
响应于所述输入，改变所述虚拟显示器的位置；以及
其中，作为所述至少一个虚拟对象与所述虚拟显示器对接的结果，改变所述虚拟显示器的位置使所述至少一个虚拟对象与所述虚拟显示器一起移动。
182.根据权利要求181所述的非暂时性计算机可读介质，其中，所述操作还包括使所述至少一个虚拟对象从第一位置移动到第二位置，其中，所述至少一个虚拟对象相对于处于所述第二位置的所述虚拟显示器的空间取向对应于所述至少一个虚拟对象相对于处于所述第一位置的所述虚拟显示器的原始空间取向。
183.根据权利要求181所述的非暂时性计算机可读介质，其中，在将所述至少一个虚拟对象对接至所述虚拟显示器之后，所述操作还包括：
接收第一用户发起输入，所述第一用户发起输入用于触发所述虚拟显示器的位置的改变并且触发所述至少一个虚拟对象的位置的改变；
接收第二用户发起输入，所述第二用户发起输入用于触发所述虚拟显示器的位置的改变，其中，所述第二用户发起输入不包括用于所述至少一个虚拟对象的位置的改变的触发；
响应于所述第一用户发起输入，改变所述虚拟显示器和所述至少一个虚拟对象的位置；以及
响应于所述第二用户发起输入，改变所述虚拟显示器和所述至少一个虚拟对象的位置。
184.根据权利要求183所述的非暂时性计算机可读介质，其中，所述操作还包括：接收第三用户发起输入，所述第三用户发起输入触发所述至少一个虚拟对象的位置的改变，但排除所述虚拟显示器的位置的改变；以及响应于所述第三用户发起输入，改变所述虚拟显示器和所述至少一个虚拟对象的位置。
185.根据权利要求181所述的非暂时性计算机可读介质，其中，将所述至少一个虚拟对象对接至所述虚拟显示器打开了所述至少一个虚拟对象与所述虚拟显示器之间的通信链路以交换数据，并且其中，所述操作还包括：经由所述通信链路从所述至少一个虚拟对象取回数据并在所述虚拟显示器上显示所取回的数据。
186.根据权利要求181所述的非暂时性计算机可读介质，其中，所述至少一个虚拟对象与所述虚拟显示器之间的关联的持续时间是时间相关的。
187.根据权利要求186所述的非暂时性计算机可读介质，其中，所述操作还包括：
响应于在第一时间段期间所述虚拟显示器的位置的改变，在所述第一时间段期间使所述至少一个虚拟对象与所述虚拟显示器一起移动；以及
响应于不同于所述第一时间段的第二时间段期间所述虚拟显示器的位置的第二改变，在所述第二时间段期间使所述至少一个虚拟对象与所述虚拟显示器分离。
188.根据权利要求181所述的非暂时性计算机可读介质，其中，选择性地使所述至少一个虚拟对象与所述虚拟显示器一起移动是地理位置相关的。
189.根据权利要求188所述的非暂时性计算机可读介质，其中，所述操作还包括：
在检测到所述可穿戴扩展现实装置处于第一地理位置时，使所述至少一个虚拟对象与所述虚拟显示器一起移动；以及
在检测到所述可穿戴扩展现实装置处于不同于所述第一地理位置的第二地理位置时，使所述至少一个虚拟对象与所述虚拟显示器分离。
190.根据权利要求181所述的非暂时性计算机可读介质，其中，所述操作还包括：
接收对所述多个虚拟对象中的附加虚拟对象的选择；
将所述附加虚拟对象对接至所述至少一个虚拟对象；
在将所述附加虚拟对象对接至所述至少一个虚拟对象之后，接收第二输入，所述第二输入表示改变所述虚拟显示器的位置的第二意图，而不表示移动所述至少一个虚拟对象或所述附加虚拟对象的第二意图；
响应于所述第二输入，改变所述虚拟显示器的位置；以及
其中，作为将所述至少一个虚拟对象对接至所述虚拟显示器和将所述附加虚拟对象对接至所述至少一个虚拟对象的结果，改变所述虚拟显示器的位置使得所述至少一个虚拟对象和所述附加虚拟对象与所述虚拟显示器一起移动。
191.根据权利要求181所述的非暂时性计算机可读介质，其中，所述操作还包括：
将所述虚拟显示器对接至物理对象；
在将所述虚拟显示器对接至所述物理对象之后，分析由所述可穿戴扩展现实装置捕获的图像数据以确定所述物理对象的移动；以及
响应于所述物理对象的确定的移动，改变所述虚拟显示器和所述至少一个虚拟对象的位置。
192.根据权利要求191所述的非暂时性计算机可读介质，其中，所述物理对象是输入设备，并且所述操作还包括响应于所述物理对象的确定的移动来改变所述虚拟显示器和所述至少一个虚拟对象的取向。
193.根据权利要求191所述的非暂时性计算机可读介质，其中，所述虚拟显示器与所述物理对象的对接发生在所述至少一个虚拟对象与所述虚拟显示器的对接之前，并且所述操作还包括：接收用于使所述虚拟显示器从所述物理对象分离的输入；以及自动使所述至少一个虚拟对象从所述虚拟显示器分离。
194.根据权利要求191所述的非暂时性计算机可读介质，其中，所述操作还包括：在所述物理对象的确定的移动小于选定阈值时，避免改变所述虚拟显示器和所述至少一个虚拟对象的位置。
195.根据权利要求181所述的非暂时性计算机可读介质，其中，所述操作还包括在第一虚拟表面上显示所述虚拟显示器，并且在至少部分与所述第一表面重合的第二表面上显示所述至少一个虚拟对象。
196.根据权利要求181所述的非暂时性计算机可读介质，其中，从所述多个虚拟对象中选择的所述至少一个虚拟对象包括显示在第一表面上的第一虚拟对象和显示在第二表面上的第二虚拟对象，所述第二表面至少部分地与所述第一表面重合。
197.根据权利要求196所述的非暂时性计算机可读介质，其中，所述操作还包括改变所述第一表面与所述第二表面之间的平面光标移动。
198.根据权利要求181所述的非暂时性计算机可读介质，其中，所述操作还包括：
分析由所述可穿戴扩展现实装置捕获的图像数据，以检测至少部分地被至少所述虚拟显示器和所述多个虚拟对象中的特定虚拟对象遮挡的真实世界事件，所述特定虚拟对象不同于所述至少一个虚拟对象；以及
响应于检测到至少部分地被至少所述虚拟显示器和所述特定虚拟对象遮挡的所述真实世界事件，在第一方向上移动所述虚拟显示器和所述至少一个虚拟对象，并且在第二方向上移动所述特定虚拟对象，所述第二方向不同于所述第一方向。
199.一种在扩展现实环境中将虚拟对象对接至虚拟显示屏的方法，所述方法包括：
生成用于经由可穿戴扩展现实装置呈现的虚拟内容，其中，所述虚拟内容包括虚拟显示器和位于所述虚拟显示器外部的多个虚拟对象；
接收对所述多个虚拟对象中的至少一个虚拟对象的选择；
将所述至少一个虚拟对象对接至所述虚拟显示器；
在将所述至少一个虚拟对象对接至所述虚拟显示器之后，接收指示改变所述虚拟显示器的位置的意图而不表示移动所述至少一个虚拟对象的意图的输入；
响应于所述输入，改变所述虚拟显示器的位置；以及
其中，作为所述至少一个虚拟对象与所述虚拟显示器对接的结果，改变所述虚拟显示器的位置使所述至少一个虚拟对象与所述虚拟显示器一起移动。
200.一种在扩展现实环境中将虚拟对象对接至虚拟显示屏的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
生成用于经由可穿戴扩展现实装置呈现的虚拟内容，其中，所述虚拟内容包括虚拟显示器和位于所述虚拟显示器外部的多个虚拟对象；
接收对所述多个虚拟对象中的至少一个虚拟对象的选择；
将所述至少一个虚拟对象对接至所述虚拟显示器；
在将所述至少一个虚拟对象对接至所述虚拟显示器之后，接收指示改变所述虚拟显示器的位置的意图而不表示移动所述至少一个虚拟对象的意图的输入；
响应于所述输入，改变所述虚拟显示器的位置；以及
其中，作为所述至少一个虚拟对象与所述虚拟显示器对接的结果，改变所述虚拟显示器的位置使所述至少一个虚拟对象与所述虚拟显示器一起移动。
201.一种包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行用于实现选择性虚拟对象显示改变的操作，所述操作包括：
经由可穿戴扩展现实装置生成扩展现实环境，所述扩展现实环境包括与物理对象相关联的第一虚拟平面和与一项目相关联的第二虚拟平面，所述第二虚拟平面在垂直于所述第一虚拟平面的方向上延伸；
访问用于将第一组虚拟对象对接在与所述第一虚拟平面相关联的第一位置的第一指令；
访问用于将第二组虚拟对象对接在与所述第二虚拟平面相关联的第二位置的第二指令；
接收与所述物理对象的移动相关联的第一输入；
响应于接收到所述第一输入，在将所述第二组虚拟对象维持在所述第二位置的同时，按照与所述物理对象的移动相对应的方式引起所述第一组虚拟对象的显示的改变；
接收与所述项目的移动相关联的第二输入；以及
响应于接收到所述第二输入，在保持所述第一组虚拟对象的所述第一位置的同时，按照与所述项目的移动相对应的方式引起所述第二组虚拟对象的显示的改变。
202.根据权利要求201所述的非暂时性计算机可读介质，其中，响应于接收到所述第一输入而引起所述第一组虚拟对象的显示的改变包括：按照与所述物理对象的移动相对应的方式移动所述第一组虚拟对象，并且响应于接收到所述第二输入而引起所述第二组虚拟对象的显示的改变包括：按照与所述项目的移动相对应的方式移动所述第二组虚拟对象。
203.根据权利要求201所述的非暂时性计算机可读介质，其中，响应于接收到所述第一输入而引起所述第一组虚拟对象的显示的改变包括：改变所述第一组虚拟对象的至少一个视觉属性，并且响应于接收到所述第二输入而引起所述第二组虚拟对象的显示的改变包括改变所述第二组虚拟对象的至少一个视觉属性。
204.根据权利要求201所述的非暂时性计算机可读介质，其中，所述第一虚拟平面是平坦的，并且所述第二虚拟平面是弯曲的。
205.根据权利要求201所述的非暂时性计算机可读介质，其中，所述物理对象位于物理表面上，并且其中，所述第一虚拟平面延伸超出所述物理表面的尺寸。
206.根据权利要求201所述的非暂时性计算机可读介质，其中，所述物理对象是计算设备，并且所述第一输入包括从与所述计算设备相关联的至少一个运动传感器接收的运动数据。
207.根据权利要求206所述的非暂时性计算机可读介质，其中，所述操作还包括：分析所述运动数据以确定所述物理对象的移动是否大于阈值；当所述物理对象的移动大于所述阈值时，引起所述第一组虚拟对象的显示的改变；以及当所述物理对象的移动小于所述阈值时，维持所述第一组虚拟对象的显示。
208.根据权利要求201所述的非暂时性计算机可读介质，其中，所述物理对象是无生命对象，并且所述第一输入包括从与所述可穿戴扩展现实装置相关联的图像传感器接收到的图像数据。
209.根据权利要求208所述的非暂时性计算机可读介质，其中，所述操作还包括：分析所述图像数据以确定所述可穿戴扩展现实装置的用户是否提示所述物理对象的移动；当所述用户提示所述物理对象的移动时，引起所述第一组虚拟对象的显示的改变；以及当所述用户未提示所述物理对象的移动时，维持所述第一组虚拟对象的显示。
210.根据利要求201的非暂时性计算机可读介质，其中，所述物理对象的移动是所述物理对象到新位置的移动，并且所述操作还包括：
更新所述第一组虚拟对象的显示，使得所述第一组虚拟对象出现在所述新位置附近；以及
响应于确定新位置与所述物理对象最初所位于的物理表面分离，修改所述第一组虚拟对象的显示。
211.根据权利要求210所述的非暂时性计算机可读介质，其中，修改所述第一组虚拟对象的显示包括以下项中的至少一者：使所述第一组虚拟对象消失；改变所述第一组虚拟对象的至少一个视觉属性；或显示所述第一组虚拟对象的最小化版本。
212.根据权利要求201所述的非暂时性计算机可读介质，其中，所述项目是虚拟对象，并且所述第二输入包括从能够连接到所述可穿戴扩展现实装置的输入设备接收的指点数据。
213.根据权利要求212所述的非暂时性计算机可读介质，其中，所述操作还包括：分析所述指点数据以识别指示所述虚拟对象的期望移动的光标动作；以及按照与所述虚拟对象的期望移动相对应的方式引起所述第二组虚拟对象的显示的改变。
214.根据权利要求201所述的非暂时性计算机可读介质，其中，所述项目是虚拟对象，并且所述第二输入包括从与所述可穿戴扩展现实装置相关联的图像传感器接收到的图像数据。
215.根据权利要求214所述的非暂时性计算机可读介质，其中，所述操作还包括：分析所述图像数据以识别指示所述虚拟对象的期望移动的手势；以及按照与所述虚拟对象的期望移动相对应的方式引起所述第二组虚拟对象的显示的改变。
216.根据权利要求201所述的非暂时性计算机可读介质，其中，所述项目是虚拟对象，并且所述虚拟对象的移动包括对所述虚拟对象的尺寸或取向中的至少一者的修改，并且其中，所述操作还包括按照与所述虚拟对象的修改相对应的方式改变所述第二组虚拟对象的尺寸或取向中的至少一者。
217.根据权利要求201所述的非暂时性计算机可读介质，其中，所述扩展现实环境包括与所述第一虚拟平面相关联并对接到所述项目的虚拟对象，并且所述操作还包括：
响应于接收到所述第一输入，在保持所述虚拟对象的显示的位置的同时，按照与所述物理对象的移动相对应的方式引起所述第一组虚拟对象的显示的改变；以及
响应于接收到所述第二输入，引起所述第二组虚拟对象的显示的改变，并且按照与所述项目的移动相对应的方式改变所述虚拟对象的显示。
218.根据权利要求201所述的非暂时性计算机可读介质，其中，所述扩展现实环境包括与所述第二虚拟平面相关联并对接到所述物理对象的虚拟对象，并且其中，所述操作还包括：
响应于接收到所述第一输入，按照与所述物理对象的移动相对应的方式引起所述第一组虚拟对象的显示的改变和所述虚拟对象的显示的改变；以及
响应于接收到所述第二输入，在保持所述虚拟对象的显示的位置的同时，按照与所述项目的移动相对应的方式引起所述第二组虚拟对象的显示的改变。
219.一种实现选择性虚拟对象显示改变的方法，所述方法包括：
经由可穿戴扩展现实装置生成扩展现实环境，所述扩展现实环境包括与物理对象相关联的第一虚拟平面和与项目相关联的第二虚拟平面，所述第二虚拟平面在垂直于所述第一虚拟平面的方向上延伸；
访问用于将第一组虚拟对象对接在与所述第一虚拟平面相关联的第一位置的第一指令；
访问用于将第二组虚拟对象对接在与所述第二虚拟平面相关联的第二位置的第二指令；
接收与所述物理对象的移动相关联的第一输入；
响应于接收到所述第一输入，在将所述第二组虚拟对象维持在所述第二位置的同时，按照与所述物理对象的移动相对应的方式引起所述第一组虚拟对象的显示的改变；
接收与所述项目的移动相关联的第二输入；以及
响应于接收到所述第二输入，在保持所述第一组虚拟对象的所述第一位置的同时，按照与所述项目的移动相对应的方式引起所述第二组虚拟对象的显示的改变。
220.一种实现选择性虚拟对象显示改变的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
经由可穿戴扩展现实装置生成扩展现实环境，所述扩展现实环境包括与物理对象相关联的第一虚拟平面和与项目相关联的第二虚拟平面，所述第二虚拟平面在垂直于所述第一虚拟平面的方向上延伸；
访问用于将第一组虚拟对象对接在与所述第一虚拟平面相关联的第一位置的第一指令；
访问用于将第二组虚拟对象对接在与所述第二虚拟平面相关联的第二位置的第二指令；
接收与所述物理对象的移动相关联的第一输入；
响应于接收到所述第一输入，在将所述第二组虚拟对象维持在所述第二位置的同时，按照与所述物理对象的移动相对应的方式引起所述第一组虚拟对象的显示的改变；
接收与所述项目的移动相关联的第二输入；以及
响应于接收到所述第二输入，在保持所述第一组虚拟对象的所述第一位置的同时，按照与所述项目的移动相对应的方式引起所述第二组虚拟对象的显示的改变。
221.一种包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行用于确定用于呈现虚拟内容的显示配置的操作，所述操作包括：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，其中，所述可穿戴扩展现实装置被配置为与多个输入设备配对，并且每个输入设备与默认显示设置相关联；
分析所述图像数据以检测放置在一表面上的特定输入设备；
确定所述特定输入设备的至少一个使用参数的值；
从存储器中取回与所述特定输入设备相关联的默认显示设置；
基于所述至少一个使用参数的值和所取回的默认显示设置，确定用于呈现虚拟内容的显示配置；以及
根据所确定的显示配置，使得经由所述可穿戴扩展现实装置呈现所述虚拟内容。
222.根据权利要求221所述的非暂时性计算机可读介质，其中，所述操作还包括：确定所述特定输入设备是家用键盘还是工作场所键盘；响应于确定所述特定输入设备是家用键盘，从所述存储器取回第一默认显示设置；以及响应于确定所述特定输入设备是工作场所键盘，从所述存储器取回第二默认显示设置，所述第二默认显示设置不同于所述第一默认显示设置。
223.根据权利要求221所述的非暂时性计算机可读介质，其中，所述操作还包括：确定所述特定输入设备是自用键盘还是公共键盘；响应于确定所述特定输入设备是自用键盘，从所述存储器取回第一默认显示设置；以及响应于确定所述特定输入设备是公共键盘，从所述存储器取回第二默认显示设置，所述第二默认显示设置不同于所述第一默认显示设置。
224.根据权利要求221所述的非暂时性计算机可读介质，其中，所述操作还包括：确定所述特定输入设备是基于键的键盘还是基于触摸屏的键盘；响应于确定所述特定输入设备是基于键的键盘，从所述存储器取回第一默认显示设置；以及响应于确定所述特定输入设备是基于触摸屏的键盘，从所述存储器取回第二默认显示设置，所述第二默认显示设置不同于所述第一默认显示设置。
225.根据权利要求221所述的非暂时性计算机可读介质，其中，所述操作还包括：将所述特定输入设备与所述可穿戴扩展现实装置配对；访问所存储的、将所述多个输入设备与不同的默认显示设置关联起来的信息；以及从所访问的存储信息中取回与所配对的特定输入设备相关联的默认显示设置。
226.根据权利要求225所述的非暂时性计算机可读介质，其中，所述特定输入设备与所述可穿戴扩展现实装置的配对是基于对所述图像数据中描述的可视码的检测的。
227.根据权利要求225所述的非暂时性计算机可读介质，其中，所述特定输入设备与所述可穿戴扩展现实装置的配对是基于对由包括在所述特定输入设备中的光发射器发射并由包括在所述可穿戴扩展现实装置中的传感器捕获的光的检测的。
228.根据权利要求221所述的非暂时性计算机可读介质，其中，确定所述显示配置包括基于所述至少一个使用参数的所述值来修改所取回的默认显示设置。
229.根据权利要求221所述的非暂时性计算机可读介质，其中，从所述存储器取回的所述默认显示设置包括距用于呈现所述虚拟内容的所述可穿戴扩展现实装置的默认距离。
230.根据权利要求221所述的非暂时性计算机可读介质，其中，经由所述可穿戴扩展现实装置呈现的所述虚拟内容包括一个或更多个虚拟屏幕，并且所述默认显示设置包括虚拟屏幕的默认数量、虚拟屏幕的默认尺寸、虚拟屏幕的默认取向或虚拟屏幕的边界的默认配置中的至少一项。
231.根据权利要求221所述的非暂时性计算机可读介质，其中，从所述存储器取回的所述默认显示设置包括以下至少一项：所述虚拟内容的默认不透明度；所述虚拟内容的默认颜色方案；或所述虚拟内容的默认亮度级别。
232.根据权利要求221所述的非暂时性计算机可读介质，其中，所述默认显示设置包括以下至少一项：对用于所述虚拟内容的操作系统的默认选择；对启动应用的默认选择；对启动虚拟对象的默认选择；或所选择的启动虚拟对象在扩展现实环境中的默认布置。
233.根据权利要求221所述的非暂时性计算机可读介质，其中，所述操作还包括：基于对所述图像数据的分析、从所述特定输入设备接收的数据或从所述可穿戴扩展现实装置接收的数据中的至少一项，确定所述特定输入设备的所述至少一个使用参数的值。
234.根据权利要求221所述的非暂时性计算机可读介质，其中，所述至少一个使用参数反映所述特定输入设备距所述可穿戴扩展现实装置的距离，并且所述操作还包括当所述距离大于阈值时确定第一显示配置，并且当所述距离小于所述阈值时确定第二显示配置，所述第二显示配置不同于所述第一显示配置。
235.根据权利要求221所述的非暂时性计算机可读介质，其中，所述至少一个使用参数反映所述可穿戴扩展现实装置的用户的姿势，并且所述操作还包括当识别出第一姿势时确定第一显示配置，并且当识别出第二姿势时确定第二显示配置，所述第二显示配置不同于所述第一显示配置。
236.根据权利要求221所述的非暂时性计算机可读介质，其中，所述至少一个使用参数反映放置有所述特定输入设备的所述表面的类型，并且所述操作还包括当识别出所述表面的第一类型时确定第一显示配置，并且当识别出所述表面的第二类型时确定第二显示配置，所述第二显示配置不同于所述第一显示配置。
237.根据权利要求221所述的非暂时性计算机可读介质，其中，所述至少一个使用参数反映与所述特定输入设备相关联的电池充电数据，并且所述操作还包括当所述特定输入设备用电池工作时确定第一显示配置，并且当所述特定输入设备连接到外部电源时确定第二显示配置，所述第二显示配置不同于所述第一显示配置。
238.根据利要求221的非暂时性计算机可读介质，其中，所述多个输入设备至少包括第一输入设备和第二输入设备，所述第一输入设备和所述第二输入设备在外表上相似，所述第一输入设备和所述第二输入设备与不同的默认显示设置相关联，并且所述操作还包括：
分析所述图像数据以识别所述特定输入设备附近的对象；以及
基于所述特定输入设备附近的对象的识别，确定所述特定输入设备是所述第一输入设备而不是所述第二输入设备。
239.一种确定用于呈现虚拟内容的显示配置的方法，所述方法包括：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，其中，所述可穿戴扩展现实装置被配置为与多个输入设备配对，并且每个输入设备与默认显示设置相关联；
分析所述图像数据以检测放置在一表面上的特定输入设备；
确定所述特定输入设备的至少一个使用参数的值；
从存储器中取回与所述特定输入设备相关联的默认显示设置；
基于所述至少一个使用参数的值和所取回的默认显示设置，确定用于呈现虚拟内容的显示配置；以及
根据所确定的显示配置，使得经由所述可穿戴扩展现实装置呈现所述虚拟内容。
240.一种确定用于呈现虚拟内容的显示配置的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，其中，所述可穿戴扩展现实装置被配置为与多个输入设备配对，并且每个输入设备与默认显示设置相关联；
分析所述图像数据以检测放置在一表面上的特定输入设备；
确定所述特定输入设备的至少一个使用参数的值；
从存储器中取回与所述特定输入设备相关联的默认显示设置；
基于所述至少一个使用参数的值和所取回的默认显示设置，确定用于呈现虚拟内容的显示配置；以及
根据所确定的显示配置，使得经由所述可穿戴扩展现实装置呈现所述虚拟内容。
241.一种包含指令的非暂时性计算机可读介质，所述指令用于执行被配置成用扩展现实显示来增强物理显示的操作，所述操作包括：
接收表示完全呈现在物理显示器上的第一对象的第一信号；
接收表示第二对象的第二信号，所述第二对象具有呈现在所述物理显示器上的第一部分和延伸超出所述物理显示器的边界的第二部分；
接收表示第三对象的第三信号，所述第三对象最初呈现在所述物理显示器上并且随后完全移动超出所述物理显示器的边界；
响应于接收到所述第二信号，在所述第二对象的所述第一部分呈现在所述物理显示器上的同时，使所述第二对象的所述第二部分经由可穿戴扩展现实装置呈现在虚拟空间中；以及
响应于接收到所述第三信号，在所述第三对象完全呈现在所述物理显示器上之后，使所述第三对象经由所述可穿戴扩展现实装置完全呈现在所述虚拟空间中。
242.根据权利要求241所述的非暂时性计算机可读介质，其中，所述第一对象、所述第二对象或所述第三对象中的至少一者包括窗口小部件或应用的图标中的至少一者。
243.根据权利要求241所述的非暂时性计算机可读介质，其中，所述第二对象与所述第一对象或所述第三对象中的至少一者部分重叠。
244.根据权利要求241所述的非暂时性计算机可读介质，其中，所述第一对象、所述第二对象和所述第三对象同时呈现在所述物理显示器上和所述虚拟空间中。
245.根据权利要求241所述的非暂时性计算机可读介质，其中，所述物理显示器是被配置成生成要呈现在所述物理显示器上的文本的输入设备的一部分。
246.根据权利要求241所述的非暂时性计算机可读介质，其中，所述物理显示器是被配置成生成要呈现在所述虚拟空间中的文本的输入设备的一部分。
247.根据权利要求241所述的非暂时性计算机可读介质，其中，所述第一信号、所述第二信号或所述第三信号中的至少一者是从控制所述物理显示器的操作系统接收的。
248.根据权利要求241所述的非暂时性计算机可读介质，其中，所述第一信号、所述第二信号或所述第三信号中的至少一者是从与所述可穿戴扩展现实装置相关联的指点设备接收的。
249.根据利要求241的非临时计算机可读介质，其中，所述操作还包括：
接收表示所述物理显示器的图像的图像传感器信号；
确定所述物理显示器的边界边缘；以及
基于所确定的边界边缘，将所述虚拟空间与所述物理显示器配准。
250.根据权利要求249所述的非暂时性计算机可读介质，其中，所述物理显示器包括限定所述边界边缘的框，并且其中，使所述第二对象的所述第二部分呈现在所述虚拟空间中包括将所述第二对象的所述第二部分的一部分覆盖在所述框的一部分上面。
251.根据权利要求249所述的非暂时性计算机可读介质，其中，所述操作还包括分析所述图像传感器信号以确定呈现在所述物理显示器上的所述第二对象的所述第一部分的视觉参数，并且其中，使所述第二对象的所述第二部分呈现在所述虚拟空间中包括基于所述确定的视觉参数来设置所述第二对象的所述第二部分的显示参数。
252.根据利要求241的非临时计算机可读介质，其中，所述操作还包括：
确定所述可穿戴扩展现实装置的用户正在从所述物理显示器走开；以及
响应于该确定，在所述第一对象保持在所述物理显示器上的同时，使所述第二对象的所述第一部分和所述第二部分两者都呈现在所述虚拟空间中并且随所述用户一起移动。
253.根据利要求241的非临时计算机可读介质，其中，所述操作还包括：
接收表示第四对象的第四信号，所述第四对象最初呈现在第一物理显示器上，稍后虚拟地呈现在扩展现实中，并且随后呈现在第二物理显示器上；以及
响应于接收到所述第四信号，使所述第四对象呈现在所述第二物理显示器上。
254.根据权利要求253所述的非暂时性计算机可读介质，其中，使所述第四对象呈现在所述第二物理显示器上包括将反映所述第四对象的数据发送到与所述第二物理显示器相关联的计算设备。
255.根据权利要求241所述的非临时计算机可读介质，其中，所述操作还包括：
接收指示键入的文本的输入信号；以及
在第一显示器和第二显示器上同时显示所键入的文本，其中，所述第二显示器是位于键盘附近的扩展现实显示区域。
256.根据权利要求255所述的非暂时性计算机可读介质，其中，所述第一显示器是所述物理显示器。
257.根据权利要求255所述的非暂时性计算机可读介质，其中，所述第一显示器是不同于所述第二显示器的虚拟显示器。
258.根据权利要求241所述的非临时计算机可读介质，其中，所述操作还包括：
接收第四信号，所述第四信号表示具有第一部分和第二部分的第四对象，所述第四对象最初整体呈现在所述物理显示器上；
接收第五信号，所述第五信号指示所述第四对象被移动到所述第四对象的第一部分被呈现在所述物理显示器上并且所述第四对象的第二部分延伸超出所述物理显示器的边界的位置；
响应于所述第五信号，使所述第四对象的第二部分经由所述可穿戴扩展现实装置呈现在所述虚拟空间中，同时所述第四对象的第一部分呈现在所述物理显示器上；
接收第六信号，所述第六信号指示所述第四对象完全移动超出所述物理显示器的边界；以及
响应于接收到所述第六信号，使所述第四对象经由所述可穿戴扩展现实装置完全呈现在所述虚拟空间中。
259.一种用扩展现实显示增强物理显示的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
接收第一信号，所述第一信号表示第一对象完全呈现在物理显示器上；
接收表示第二对象的第二信号，所述第二对象具有呈现在所述物理显示器上的第一部分和延伸超出所述物理显示器的边界的第二部分；
接收表示第三对象的第三信号，所述第三对象最初呈现在所述物理显示器上并且随后完全移动超出所述物理显示器的边界；
响应于接收到所述第二信号，在所述第二对象的第一部分被呈现在所述物理显示器上的同时，使所述第二对象的第二部分经由可穿戴扩展现实装置呈现在虚拟空间中；以及
响应于接收到所述第三信号，在所述第三对象被完全呈现在所述物理显示器上之后，使所述第三对象经由所述可穿戴扩展现实装置完全呈现在所述虚拟空间中。
260.一种用扩展现实显示增强物理显示的方法，所述方法包括：
接收第一信号，所述第一信号表示第一对象完全呈现在物理显示器上；
接收表示第二对象的第二信号，所述第二对象具有呈现在所述物理显示器上的第一部分和延伸超出所述物理显示器的边界的第二部分；
接收表示第三对象的第三信号，所述第三对象最初呈现在所述物理显示器上并且随后完全移动超出所述物理显示器的边界；
响应于接收到所述第二信号，在所述物理显示器上呈现所述第二对象的所述第一部分的同时，使所述第二对象的所述第二部分经由可穿戴扩展现实装置呈现在虚拟空间中；以及
响应于接收到所述第三信号，在所述第三对象被完全呈现在所述物理显示器上之后，使所述第三对象经由所述可穿戴扩展现实装置完全呈现在所述虚拟空间中。

Claims (260)

1.一种集成计算接口设备，所述集成计算接口设备包括：
具有键区和非键区的便携式壳体；
与所述壳体的所述键区相关联的键盘；以及
与所述壳体的所述非键区相关联的托架，所述托架被配置用于选择性地与可穿戴扩展现实装置接合和脱离，使得当所述可穿戴扩展现实装置经由所述托架选择性地与所述壳体接合时，所述可穿戴扩展现实装置能够与所述壳体一起运送。
2.根据权利要求1所述的集成计算接口设备，其中，所述可穿戴扩展现实装置包括一副智能眼镜，并且所述集成计算接口设备还包括与所述壳体相关联的触控板，并且其中，所述集成计算设备还被配置成使得当所述一副智能眼镜经由所述托架选择性地与所述壳体接合时，所述智能眼镜的镜脚接触所述触控板，并且其中，所述镜脚各自在其远端上包括弹性触控板保护器。
3.根据权利要求2所述的集成计算接口设备，其中，所述托架包括至少两个夹持元件，所述夹持元件被配置用于选择性地与所述一副智能眼镜的所述镜脚接合。
4.根据权利要求1所述的集成计算接口设备，其中，所述托架包括用于选择性地将所述可穿戴扩展现实装置连接到所述壳体的夹子。
5.根据权利要求1所述的集成计算接口设备，其中，所述托架包括用于选择性地包围所述可穿戴扩展现实装置的至少一部分的隔室。
6.根据权利要求1所述的集成计算接口设备，其中，所述托架包括与所述可穿戴扩展现实装置的一部分的形状相对应的至少一个凹入部。
7.根据权利要求6所述的集成计算接口设备，其中，所述集成计算接口设备还包括所述托架中的鼻梁突出部，其中，所述可穿戴扩展现实装置包括一副扩展现实眼镜，并且其中，所述至少一个凹入部包括所述鼻梁突出部的相对侧上的两个凹入部，从而接纳所述扩展现实眼镜的镜片。
8.根据权利要求6所述的集成计算接口设备，其中，所述可穿戴扩展现实装置包括一副扩展现实眼镜，并且其中，所述托架被配置成使得当所述扩展现实眼镜的镜片位于所述键盘的一侧时，所述扩展现实眼镜的镜脚在所述键盘上延伸，其中所述镜脚的远端位于所述键盘的与所述镜片相反的一侧。
9.根据权利要求1所述的集成计算接口设备，所述集成计算接口设备还包括充电器，所述充电器与所述壳体相关联，并且被配置为当所述可穿戴扩展现实装置选择性地与所述托架接合时对所述可穿戴扩展现实装置充电。
10.根据权利要求1所述的集成计算接口设备，所述集成计算接口设备还包括所述壳体中的电线端口，所述电线端口用于接纳从所述可穿戴扩展现实装置延伸的电线。
11.根据权利要求10所述的集成计算接口设备，其中，所述电线端口位于所述集成计算接口设备的正面，所述集成计算接口设备的正面被配置成在用户在所述键盘上键入时面向所述用户。
12.根据权利要求1所述的集成计算接口设备，所述集成计算接口设备还包括位于所述壳体内的至少一个运动传感器以及能够在工作时连接到所述至少一个运动传感器的至少一个处理器，并且其中，所述至少一个处理器被编程为基于从所述至少一个运动传感器接收到的输入来实现操作模式。
13.根据权利要求12所述的集成计算接口设备，其中，所述至少一个处理器被编程为基于从所述至少一个运动传感器接收到的输入，自动调整由所述可穿戴扩展现实装置呈现的虚拟显示器的设置。
14.根据权利要求12所述的集成计算接口设备，其中，所述至少一个处理器被编程为在所述可穿戴扩展现实装置从所述托架脱离时，如果所述集成计算接口设备移动超过阈值距离就输出通知。
15.根据权利要求1所述的集成计算接口设备，其中，所述键盘包括至少三十个键。
16.根据权利要求15所述的集成计算接口设备，其中，所述至少三十个键包括用于由所述可穿戴扩展现实装置执行动作的专用输入键。
17.根据权利要求15所述的集成计算接口设备，其中，所述至少三十个键包括专用输入键，所述专用输入键用于改变由所述可穿戴扩展现实装置投影的虚拟显示器的明亮度。
18.根据权利要求1所述的集成计算接口设备，所述集成计算接口设备还包括能够在两种包围模式下工作的保护罩，其中：
在第一包围模式中，所述保护罩将所述可穿戴扩展现实装置覆盖在所述壳体中；以及
在第二包围模式中，所述保护罩被配置成使所述壳体升高。
19.根据权利要求18所述的集成计算接口设备，其中，所述保护罩包括与其相关联的至少一个相机。
20.根据权利要求18所述的集成计算接口设备，其中，所述壳体具有四边形形状，并且在所述四边形形状的三个侧面中包括用于与所述保护罩接合的磁体。
21.一种集成计算接口设备，所述集成计算接口设备包括：
具有键区和非键区的壳体；
与所述壳体的所述键区相关联的键盘；
至少一个图像传感器；以及
可折叠的保护罩，所述保护罩包含所述至少一个图像传感器，其中，所述保护罩被配置成被操纵成多个折叠构造，其中：
在第一折叠构造中，所述保护罩被配置成包围所述非键区的至少一部分和所述键区；以及
在第二折叠构造中，所述保护罩被配置为按照以下方式直立：当所述集成计算接口设备的用户在所述键盘上键入时，所述至少一个图像传感器的光轴总体上面向所述用户。
22.根据权利要求21所述的集成计算接口设备，其中，所述保护罩具有四边形形状，所述四边形形状的一侧连接到所述壳体。
23.根据权利要求22所述的集成计算接口设备，其中，在所述第二折叠构造中，当所述壳体放置在表面上时，所述保护罩的与所述四边形形状的连接到所述壳体的一侧相反的部分也被配置成放置在所述表面上。
24.根据权利要求23所述的集成计算接口设备，其中，所述保护罩的被配置成在所述第二折叠构造中放置在所述表面上的部分的面积是所述保护罩的总面积的至少10％。
25.根据权利要求21所述的集成计算接口设备，其中，所述至少一个图像传感器的位置更靠近所述保护罩的连接到所述壳体的第一侧，而不是所述保护罩的与所述第一侧相反的第二侧。
26.根据权利要求25所述的集成计算接口设备，所述集成计算接口设备还包括位于所述壳体中的电线端口，所述电线端口位于所述集成计算接口设备的与所述保护罩的所述第一侧相反的正面，所述电线端口被配置成接纳从可穿戴扩展现实装置延伸的电线。
27.根据权利要求21所述的集成计算接口设备，其中，所述至少一个图像传感器的电子器件被夹在所述保护罩的第一外层与所述保护罩的第二外层之间。
28.根据权利要求27所述的集成计算接口设备，其中，所述第一外层和所述第二外层中的每一个是由单一连续材料制成的，并且其中，所述电子器件位于由多个分离元件制成的中间层上。
29.根据权利要求28所述的集成计算接口设备，其中，所述第一外层和所述第二外层是由第一材料制成的，并且所述中间层包括不同于所述第一材料的第二材料。
30.根据权利要求29所述的集成计算接口设备，其中，所述第一材料比所述第二材料硬。
31.根据权利要求21所述的集成计算接口设备，其中，所述至少一个图像传感器包括至少第一图像传感器和第二图像传感器，并且其中，在所述第二折叠构造中，所述第一图像传感器的第一视场被配置为当所述用户在所述键盘上键入时拍摄所述用户的面部，并且所述第二图像传感器的第二视场被配置为当所述用户在所述键盘上键入时拍摄所述用户的手。
32.根据权利要求21所述的集成计算接口设备，其中，所述至少一个图像传感器连接到至少一个万向节，所述至少一个万向节被配置成使所述用户能够改变所述至少一个图像传感器的角度而不移动所述保护罩。
33.根据权利要求21所述的集成计算接口设备，其中，所述保护罩包括使得能够沿多个预定折叠线折叠所述保护罩的柔性部分。
34.根据权利要求33所述的集成计算接口设备，其中，所述折叠线中的至少一些折叠线彼此不平行，并且所述柔性部分使得能够折叠所述保护罩以形成三维形状，所述三维形状包括用于选择性地包围可穿戴扩展现实装置的隔室。
35.根据权利要求33所述的集成计算接口设备，其中，所述多个预定折叠线包括至少两个横向折叠线和至少两个非横向折叠线。
36.根据权利要求21所述的集成计算接口设备，所述集成计算接口设备还包括所述壳体的所述非键区中的托架，所述托架被配置成选择性地与可穿戴扩展现实装置接合和脱离，使得当所述可穿戴扩展现实装置经由所述托架选择性地与所述壳体接合时，所述可穿戴扩展现实装置连接到所述键盘并能够与所述键盘一起运送。
37.根据权利要求36所述的集成计算接口设备，其中，所述第一折叠构造与两个包覆模式相关联，其中：
在第一包覆模式中，当所述可穿戴扩展现实装置经由所述托架与所述壳体接合时，所述保护罩覆盖所述可穿戴扩展现实装置和所述键盘；以及
在第二包覆模式中，当所述可穿戴扩展现实装置从所述壳体脱离时，所述保护罩覆盖所述键盘。
38.根据权利要求37所述的集成计算接口设备，其中，在所述第一折叠构造的所述第一包覆模式中，所述至少一个图像传感器距所述键盘的距离在2cm至5cm之间，在所述第一折叠构造的所述第二包覆模式中，所述至少一个图像传感器距所述键盘的距离在1mm至1cm之间，并且其中，在所述第二折叠构造中，所述至少一个图像传感器距所述键盘的距离在4cm至8cm之间。
39.根据权利要求36所述的集成计算接口设备，其中，所述保护罩包括凹口，所述凹口被配置为当所述可穿戴扩展现实装置选择性地与所述壳体接合时，将所述可穿戴扩展现实装置保持在所述第一折叠构造。
40.一种集成计算接口设备的外壳，所述外壳包括：
至少一个图像传感器；以及
可折叠的保护罩，所述保护罩包含所述至少一个图像传感器，其中，所述保护罩被配置成被操纵成多个折叠构造，其中：
在第一折叠构造中，所述保护罩被配置为包覆所述集成计算接口设备的具有键区和非键区的壳体；以及
在第二折叠构造中，所述保护罩被配置成按照以下方式直立：当所述集成计算接口设备的用户在与所述键区相关联的键盘上键入时，使所述至少一个图像传感器的光轴总体上面向所述用户。
41.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含用于使至少一个处理器执行用于基于温度改变虚拟内容的显示的操作的指令，所述操作包括：
经由可穿戴扩展现实装置显示虚拟内容，其中，在显示所述虚拟内容期间，所述可穿戴扩展现实装置的至少一个组件产生热量；
接收指示与所述可穿戴扩展现实装置相关联的温度的信息；
基于所接收的信息，确定改变所述虚拟内容的显示设置的需要；以及
基于所述确定，改变所述虚拟内容的所述显示设置以实现目标温度。
42.根据权利要求41所述的非暂时性计算机可读介质，其中，热量是由包括在所述可穿戴扩展现实装置中的多个发热光源产生的，并且所述操作还包括对所述发热光源中的至少一个发热光源的工作参数集进行调制，所述多个发热光源的所述工作参数集包括与所述至少一个发热光源相关联的电压、电流或功率中的至少一项。
43.根据权利要求41所述的非暂时性计算机可读介质，其中，热量是由包括在所述可穿戴扩展现实装置中的至少一个处理设备产生的，并且所述操作还包括对所述至少一个处理设备的工作参数集进行调制，所述至少一个处理设备的所述工作参数集包括与所述至少一个处理设备相关联的电压、电流、功率、时钟速度或有源核的数量中的至少一项。
44.根据权利要求41所述的非暂时性计算机可读介质，其中，热量是由包括在所述可穿戴扩展现实装置中的至少一个无线通信设备产生的，并且所述操作还包括调制所述至少一个无线通信设备的工作参数集，所述无线通信设备的所述工作参数集包括信号强度、带宽或传输数据量中的至少一项。
45.根据权利要求41所述的非暂时性计算机可读介质，其中，改变所述虚拟内容的所述显示设置包括以下各项中的至少一者：修改所述虚拟内容的至少一部分的颜色方案；减小所述虚拟内容的至少一部分的不透明度值；减小所述虚拟内容的至少一部分的强度值；或减小所述虚拟内容的至少一部分的亮度值。
46.根据权利要求41所述的非暂时性计算机可读介质，其中，改变所述虚拟内容的所述显示设置包括减小所述虚拟内容的至少一部分的帧速率值。
47.根据权利要求41所述的非暂时性计算机可读介质，其中，改变所述虚拟内容的所述显示设置包括减小所述虚拟内容的至少一部分的显示大小。
48.根据权利要求41所述的非暂时性计算机可读介质，其中，改变所述虚拟内容的所述显示设置包括基于对象类型或对象使用历史中的至少一项对包含在所述虚拟内容中的所显示虚拟对象实施选择性改变。
49.根据权利要求41所述的非暂时性计算机可读介质，其中，改变所述虚拟内容的所述显示设置包括从所述虚拟内容移除包含在所述虚拟内容中的多个虚拟元件中的至少一个虚拟元件。
50.根据权利要求49所述的非暂时性计算机可读介质，其中，所述至少一个虚拟元件是基于指示所述可穿戴扩展现实装置的用户的注意力的信息从所述多个虚拟元件中选择的。
51.根据权利要求49所述的非暂时性计算机可读介质，其中，所述操作还包括对所述多个虚拟元件的重要性级别进行排序，并且所述至少一个虚拟元件是基于所确定的重要性级别从所述多个虚拟元件中选择的。
52.根据权利要求41所述的非暂时性计算机可读介质，其中，所述操作还包括基于与所述可穿戴扩展现实装置的用户相关联的用户简档来确定所述虚拟内容的显示设置的改变。
53.根据权利要求41所述的非暂时性计算机可读介质，其中，所述操作还包括在实现对所述显示设置的改变之后的一时间段内接收指示与所述可穿戴扩展现实装置相关联的温度的更新信息，并且将所述显示设置中的至少一项改变为初始值。
54.根据权利要求41所述的非暂时性计算机可读介质，其中，所述操作还包括在与所述可穿戴扩展现实装置相关联的温度达到与所述可穿戴扩展现实装置相关联的阈值之前改变所述虚拟内容的显示设置。
55.根据权利要求54所述的非暂时性计算机可读介质，其中，所述操作还包括基于与所述可穿戴扩展现实装置的用户相关联的用户简档来确定所述阈值的值。
56.根据权利要求41所述的非暂时性计算机可读介质，其中，所述虚拟内容的所述显示设置的改变程度是基于由所接收的信息指示的温度的。
57.根据权利要求41所述的非暂时性计算机可读介质，其中，改变所述虚拟内容的所述显示设置是基于指示温度轨迹的数据的。
58.根据权利要求41所述的非暂时性计算机可读介质，其中，所述操作还包括：
预测所述穿戴式扩展现实装置将不活动的时间；
当由所述可穿戴扩展现实装置产生的热量超过临界值并且所预测的时间超过临界持续时间时，改变所述虚拟内容的所述显示设置；以及
当由所述可穿戴扩展现实装置产生的热量超过临界值并且所预测的时间低于临界持续时间时，维持当前的显示设置。
59.一种基于温度来改变虚拟内容的显示的方法，所述方法包括：
经由可穿戴扩展现实装置显示虚拟内容，其中，在显示所述虚拟内容期间，所述可穿戴扩展现实装置的至少一个组件产生热量；
接收指示与所述可穿戴扩展现实装置相关联的温度的信息；
基于所接收的信息来确定改变所述虚拟内容的显示设置的需要；以及
基于所述确定，改变所述虚拟内容的所述显示设置以实现目标温度。
60.一种温度受控的可穿戴扩展现实装置，所述可穿戴扩展现实装置包括：
可穿戴的镜框；
与所述镜框相关联的至少一个镜片；
所述镜框中的多个发热光源，所述发热光源被配置成将图像投影到所述至少一个镜片上；
温度传感器，所述温度传感器在所述镜框内并且被配置成输出指示与由所述多个发热光源产生的热量相关联的温度的信号；以及
至少一个处理器，所述至少一个处理器被配置为：
经由所述可穿戴扩展现实装置显示虚拟内容，其中，在所述虚拟内容的显示期间，所述可穿戴扩展现实装置的至少一个组件产生热量；
接收指示与所述可穿戴扩展现实装置相关联的温度的信息；
基于所接收的信息，确定改变所述虚拟内容的显示设置的需要；以及
基于所述确定，改变所述虚拟内容的所述显示设置以实现目标温度。
61.一种包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行用于在扩展现实环境中实现混合虚拟键的操作，所述操作包括：
在第一时间段期间接收第一信号，所述第一信号对应于多个虚拟可激活元件在触敏表面上的位置，所述多个虚拟可激活元件是由可穿戴扩展现实装置虚拟地投影在所述触敏表面上的；
根据所述第一信号来确定所述多个虚拟可激活元件在所述触敏表面上的位置；
经由所述触敏表面接收用户的触摸输入，其中，所述触摸输入包括作为与所述触敏表面内的至少一个传感器的交互的结果而生成的第二信号；
基于作为与所述触敏表面内的所述至少一个传感器的交互的结果而生成的所述第二信号，确定与所述触摸输入相关联的坐标位置；
将所述触摸输入的坐标位置与所确定的位置中的至少一个进行比较，以识别所述多个虚拟可激活元件中与所述触摸输入相对应的一个虚拟可激活元件；以及
引起与所述可穿戴扩展现实装置相关联的虚拟内容的改变，其中，所述改变对应于所述多个虚拟可激活元件中所识别的虚拟可激活元件。
62.根据权利要求61所述的非暂时性计算机可读介质，其中，被虚拟地投影在所述触敏表面上的所述多个虚拟可激活元件是一组虚拟可激活元件的适当子集，并且其中，所述子集是基于所述用户的动作来确定的。
63.根据权利要求61所述的非暂时性计算机可读介质，其中，被虚拟地投影在所述触敏表面上的所述多个虚拟可激活元件是一组虚拟可激活元件的适当子集，并且其中，所述子集是基于所述用户的物理位置来确定的。
64.根据权利要求61所述的非暂时性计算机可读介质，其中，被虚拟地投影在所述触敏表面上的所述多个虚拟可激活元件是一组虚拟可激活元件的适当子集，并且其中，所述子集是基于所述用户的环境中的事件来确定的。
65.根据权利要求61所述的非暂时性计算机可读介质，其中，所述多个虚拟可激活原件在所述触敏表面上的位置是基于所述用户的动作、所述用户的物理位置、所述可穿戴扩展现实装置的物理位置、所述触敏表面的物理位置或所述用户的环境中的事件中的至少一项来确定的。
66.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括在检测到所述触摸输入时打开应用；并且其中，引起所述虚拟内容的改变是基于所述应用的打开的。
67.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括在检测到所述触摸输入时改变输出参数；并且其中，引起所述虚拟内容的改变是基于所述输出参数的改变的。
68.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括基于先前由所述用户选择的默认布置将所述多个虚拟可激活元件布置在所述触敏表面上。
69.根据权利要求61所述的非暂时性计算机可读介质，其中，所述虚拟内容包括虚拟显示器，并且所述操作还包括使所述触敏表面能够在所述虚拟显示器中导航光标。
70.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括基于所述第二信号来确定所述触摸输入的类型，并且其中，所述虚拟内容的改变对应于所述多个虚拟可激活元件中的所识别的虚拟可激活元件和所述触摸输入的确定的类型。
71.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括：
接收与键盘上与附加虚拟可激活元件的触敏表面相邻的位置相对应的附加信号，所述附加虚拟可激活元件是由所述可穿戴扩展现实装置虚拟地投影在所述键盘的键上的；
根据所述附加信号，确定所述附加虚拟可激活元件在所述键盘的键上的位置；
经由所述键盘的至少一个键来接收按键输入；
识别所述附加虚拟可激活元件中与所述按键输入相对应的附加虚拟可激活元件；以及
引起与所述可穿戴扩展现实装置相关联的所述虚拟内容的第二改变，其中，所述第二改变对应于所述附加虚拟可激活元件中的所识别的附加虚拟可激活元件。
72.根据权利要求71所述的非暂时性计算机可读介质，其中，所述操作还包括接收键盘配置选择，并且使所述可穿戴扩展现实装置虚拟地投影所述附加虚拟可激活元件以对应于所选择的键盘配置。
73.根据权利要求71所述的非暂时性计算机可读介质，其中，所述操作还包括基于用户动作、物理用户位置、所述可穿戴扩展现实装置的物理位置、所述键盘的物理位置或用户环境中的事件中的至少一项来选择所述附加虚拟可激活元件。
74.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括：
确定所述用户是否是所述可穿戴扩展现实装置的穿戴者；
响应于确定所述用户是所述可穿戴扩展现实装置的穿戴者，引起与所述可穿戴扩展现实装置相关联的虚拟内容的改变；以及
响应于确定所述用户不是所述可穿戴扩展现实装置的穿戴者，放弃引起与所述可穿戴扩展现实装置相关联的虚拟内容的改变。
75.根据权利要求74所述的非暂时性计算机可读介质，其中，当所述用户是第二可穿戴扩展现实装置的佩戴者时并且当所述第二可穿戴扩展现实装置将第二多个虚拟可激活元件投影在所述触敏表面上时，所述操作还包括：
基于所述触摸输入的坐标位置，确定所述触摸输入对应于所述第二多个虚拟可激活元件中的特定虚拟可激活元件；以及
引起与所述可穿戴扩展现实装置相关联的所述虚拟内容的第二改变，其中，所述第二改变对应于所述第二多个虚拟可激活元件中的所述特定虚拟可激活元件。
76.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括在所述多个虚拟可激活元件未被投影到所述触敏表面上时的第二时间段期间，停用所述触敏表面的至少一部分的至少一个功能。
77.根据权利要求61所述的非暂时性计算机可读介质，其中，所述操作还包括在所述可穿戴扩展现实装置将不同的多个虚拟可激活元件投影到所述触敏表面上时的第二时间段期间，停用所述触敏表面的至少一部分的至少一个功能。
78.根据权利要求77所述的非暂时性计算机可读介质，其中，所述操作还包括在所述第一时间段之后并且在所述不同的多个虚拟可激活元件被投影到所述触敏表面上之前的第三时间段期间，维持所述触敏表面的所述至少一部分的所述至少一个功能，在所述第三时间段中，所述触敏表面在所述可穿戴扩展现实装置的视场之外，并且因此所述多个虚拟可激活元件不被投影到所述触敏表面上。
79.一种在扩展现实环境中实现混合虚拟键的方法，所述操作包括：
在第一时间段期间接收第一信号，所述第一信号与多个虚拟可激活元件在触敏表面上的位置相对应，所述多个虚拟可激活元件是由可穿戴扩展现实装置虚拟地投影在所述触敏表面上的；
根据所述第一信号，确定所述多个虚拟可激活元件在所述触敏表面上的位置；
经由所述触敏表面接收用户的触摸输入，其中，所述触摸输入包括作为与所述触敏表面内的至少一个传感器的交互的结果而生成的第二信号；
基于作为与所述触敏表面内的所述至少一个传感器的交互的结果而生成的所述第二信号，确定与所述触摸输入相关联的坐标位置；
将所述触摸输入的坐标位置与所确定的位置中的至少一个位置进行比较，以识别所述多个虚拟可激活元件中与所述触摸输入相对应的一个虚拟可激活元件；以及
引起与所述可穿戴扩展现实装置相关联的虚拟内容的改变，其中，所述改变对应于所述多个虚拟可激活元件中所识别的一个虚拟可激活元件。
80.一种在扩展现实环境中实现混合虚拟键的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
在第一时间段期间接收第一信号，所述第一信号对应于多个虚拟可激活元件在触敏表面上的位置，所述多个虚拟可激活元件是由可穿戴扩展现实装置虚拟地投影在所述触敏表面上的；
根据所述第一信号，确定所述多个虚拟可激活元件在所述触敏表面上的位置；
经由所述触敏表面接收用户的触摸输入，其中，所述触摸输入包括作为与所述触敏表面内的至少一个传感器的交互的结果而生成的第二信号；
基于作为与所述触敏表面内的所述至少一个传感器的交互的结果而生成的所述第二信号，确定与所述触摸输入相关联的坐标位置；
将所述触摸输入的坐标位置与所确定的位置中的至少一个进行比较，以识别所述多个虚拟可激活元件中与所述触摸输入相对应的一个虚拟可激活元件；以及
引起与所述可穿戴扩展现实装置相关联的虚拟内容的改变，其中，所述改变对应于所述多个虚拟可激活元件中所识别的一个虚拟可激活元件。
81.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质被配置成与键盘和可穿戴扩展现实装置组合一起使用以便控制虚拟显示器，所述计算机可读介质包含指令，这些指令在由至少一个处理器执行时使所述至少一个处理器执行操作，所述操作包括：
从与所述可穿戴扩展现实装置相关联的第一手位置传感器接收表示第一手移动的第一信号；
从与所述键盘相关联的第二手位置传感器接收表示第二手移动的第二信号，其中，所述第二手移动包括除与反馈组件交互之外的动作；以及
基于所述第一信号和所述第二信号，控制所述虚拟显示器。
82.根据权利要求81所述的非暂时性计算机可读介质，其中，所述第一手位置传感器和所述第二手位置传感器中的至少一者是图像传感器。
83.根据权利要求81所述的非暂时性计算机可读介质，其中，所述第一手位置传感器和所述第二手位置传感器中的至少一者是接近传感器。
84.根据权利要求81所述的非暂时性计算机可读介质，其中，所述第二手位置传感器的类型不同于所述第一手位置传感器的类型。
85.根据权利要求81所述的非暂时性计算机可读介质，其中，所述操作还包括：
确定所述键盘的取向；以及
基于所述键盘的所述取向，调整与所述虚拟显示器相关联的显示设置。
86.根据权利要求81所述的非暂时性计算机可读介质，其中，所述第一手移动包括与无反馈对象的交互。
87.根据权利要求81所述的非暂时性计算机可读介质，其中，当所述键盘位于表面上时，所述第二手移动包括与所述表面的交互。
88.根据权利要求81所述的非暂时性计算机可读介质，其中，所述操作还包括：当与所述第一手移动或所述第二手移动中的至少一者相关联的确定性水平高于阈值时，基于所述第一信号和所述第二信号来控制所述虚拟显示器。
89.根据权利要求81所述的非暂时性计算机可读介质，其中，当所述第一手移动和所述第二手移动中的至少一者被所述第二手位置传感器检测到但未被所述第一手位置传感器检测到时，所述操作还包括仅基于所述第二信号来控制所述虚拟显示器。
90.根据权利要求81所述的非暂时性计算机可读介质，其中，当所述可穿戴扩展现实装置未连接到所述键盘时，所述操作还包括仅基于所述第一信号来控制所述虚拟显示器。
91.根据权利要求81所述的非暂时性计算机可读介质，其中，所述可穿戴扩展现实装置能够经由位于最靠近空格键的一侧的连接器选择性地连接到所述键盘。
92.根据权利要求81所述的非暂时性计算机可读介质，其中，基于所述第一信号和所述第二信号控制所述虚拟显示器包括：
基于所述第一信号，控制所述虚拟显示器的第一部分；以及
基于所述第二信号，控制所述虚拟显示器的第二部分。
93.根据权利要求81所述的非暂时性计算机可读介质，其中，所述键盘包括关联的输入区域，所述输入区域包括触摸板和键，并且其中，所述操作还包括检测所述输入区域之外的区域中的所述第二手移动。
94.根据权利要求81所述的非暂时性计算机可读介质，其中，所述操作还包括：
基于所述第一信号和所述第二信号，确定手的至少一部分的三维位置；以及
基于所述手的所述至少一部分的所确定的三维位置，控制所述虚拟显示器。
95.根据权利要求81所述的非暂时性计算机可读介质，其中，所述操作还包括：
分析所述第二信号以确定手正在触摸与虚拟窗口小部件相关联的物理对象的一部分；
分析所述第一信号以确定所述手是否属于所述可穿戴扩展现实装置的用户；
响应于确定所述手属于所述可穿戴扩展现实装置的所述用户，执行与所述虚拟窗口小部件相关联的动作；以及
响应于确定所述手不属于所述可穿戴扩展现实装置的所述用户，放弃执行与所述虚拟窗口小部件相关联的动作。
96.根据权利要求95所述的非暂时性计算机可读介质，其中，所述操作还包括：
分析所述第二信号以确定所述手正在触摸所述物理对象的位置；以及
使用所确定的位置来选择与所述虚拟窗口小部件相关联的动作。
97.根据权利要求81所述的非暂时性计算机可读介质，其中，所述键盘包括多个键，并且其中，所述操作还包括：
分析所述第二信号以确定按压所述多个键中的特定键的用户意图；以及
基于所确定的用户意图，使所述可穿戴扩展现实装置提供表示所述特定键的虚拟指示。
98.根据权利要求81所述的非暂时性计算机可读介质，其中，所述键盘包括多个键，并且其中，所述操作还包括：
分析所述第二信号以确定按压所述多个键中的一组键中的至少一个键的用户意图；以及
基于所确定的用户意图，使所述可穿戴扩展现实装置提供表示所述一组键的虚拟指示。
99.一种操作键盘和可穿戴扩展现实装置组合以控制虚拟显示器的方法，所述方法包括：
从与所述可穿戴扩展现实装置相关联的第一手位置传感器接收表示第一手移动的第一信号；
从与所述键盘相关联的第二手位置传感器接收表示第二手移动的第二信号，其中，所述第二手移动包括除与反馈组件交互之外的动作；以及
基于所述第一信号和所述第二信号，控制所述虚拟显示器。
100.一种操作键盘和可穿戴扩展现实装置组合以控制虚拟显示器的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
从与所述可穿戴扩展现实装置相关联的第一手位置传感器接收表示第一手移动的第一信号；
从与所述键盘相关联的第二手位置传感器接收表示第二手移动的第二信号，其中，所述第二手移动包括除与反馈组件交互之外的动作；以及
基于所述第一信号和所述第二信号，控制所述虚拟显示器。
101.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质将可移动输入设备与经由可穿戴扩展现实装置投影的虚拟显示器集成，所述计算机可读介质包含指令，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行以下步骤：
接收与所述可移动输入设备相关联的运动信号，所述运动信号反映所述可移动输入设备的物理移动；
在第一时间段期间，向所述可穿戴扩展现实装置输出第一显示信号，所述第一显示信号被配置成使所述可穿戴扩展现实装置以第一取向虚拟地呈现内容；
在不同于所述第一时间段的第二时间段期间，向所述可穿戴扩展现实装置输出第二显示信号，所述第二显示信号被配置成使所述可穿戴扩展现实装置以不同于所述第一取向的第二取向虚拟地呈现所述内容；以及
基于所接收的可移动输入设备的运动信号，在所述第一显示信号的输出与所述第二显示信号的输出之间切换。
102.根据权利要求101所述的非暂时性计算机可读介质，其中，所述可移动输入设备的所述运动信号是基于对使用与所述可移动输入设备相关联的至少一个传感器捕获的数据的分析而确定的。
103.根据权利要求101所述的非暂时性计算机可读介质，其中，与所述可移动输入设备相关联的所述运动信号是基于对所述可移动输入设备的图像的分析来确定的。
104.根据权利要求101所述的非暂时性计算机可读介质，其中，所述运动信号反映所述可移动输入设备在所述第一时间段期间相对于被放置了所述可移动输入设备的表面的物理移动。
105.根据权利要求101所述的非暂时性计算机可读介质，其中，所述运动信号指示所述可移动输入设备的倾斜移动、滚动移动和横向移动中的至少一者。
106.根据权利要求101所述的非暂时性计算机可读介质，其中，所述运动信号是在所述第一时间段之后和在所述第二时间段之前接收到的。
107.根据权利要求101所述的非暂时性计算机可读介质，其中，所述指令被配置为使所述可穿戴扩展现实装置能够在所述第二时间段期间接收附加运动信号，从而使所述可穿戴扩展现实装置能够连续地调整所述内容的虚拟呈现。
108.根据权利要求101所述的非暂时性计算机可读介质，其中，所述步骤还包括基于所述可移动输入设备在所述第一时间段之前的取向来确定所述第一取向。
109.根据权利要求101所述的非暂时性计算机可读介质，其中，所述步骤还包括基于所接收的、与所述可移动输入设备相关联的运动信号来改变所述虚拟显示器的大小。
110.根据权利要求101所述的非暂时性计算机可读介质，其中，所述步骤还包括当所述可移动输入设备的所述物理移动大于至少一个阈值时，在所述第一显示信号的输出与所述第二显示信号的输出之间切换。
111.根据权利要求110所述的非暂时性计算机可读介质，其中，所述至少一个阈值包括倾斜阈值、滚动阈值和横向移动阈值的组合。
112.根据权利要求110所述的非暂时性计算机可读介质，其中，所述可移动输入设备被配置为放置在一表面上，并且所述至少一个阈值的值是基于所述表面的类型的。
113.根据权利要求110所述的非暂时性计算机可读介质，其中，所述至少一个阈值是基于所述第一时间段期间所述虚拟显示器距所述可移动输入设备的距离而选择的。
114.根据权利要求110所述的非暂时性计算机可读介质，其中，所述至少一个阈值是基于所述第一时间段期间所述虚拟显示器相对于所述可移动输入设备的取向来选择的。
115.根据权利要求110所述的非暂时性计算机可读介质，其中，所述至少一个阈值是基于所述内容的类型来选择的。
116.根据权利要求100所述的非暂时性计算机可读介质，其中，所述可穿戴扩展现实装置被配置成与多个可移动输入设备配对，并且所述第一取向是基于与和所述可穿戴扩展现实装置配对的所述多个可移动输入设备中的一个可移动输入设备相关联的默认虚拟显示配置来确定的。
117.根据权利要求100所述的非暂时性计算机可读介质，其中，所述内容是虚拟显示器，所述虚拟显示器被配置为实现使用所述可移动输入设备输入的文本输入的视觉呈现。
118.根据权利要求117所述的非暂时性计算机可读介质，其中，所述步骤还包括：当所述虚拟显示器在所述可穿戴扩展现实装置的视场之外时，在所述虚拟显示器之外提供使用所述可移动输入设备输入的文本输入的视觉指示。
119.一种将可移动输入设备与经由可穿戴扩展现实装置投影的虚拟显示器集成的方法，所述方法包括：
接收与所述可移动输入设备相关联的运动信号，所述运动信号反映所述可移动输入设备的物理移动；
在第一时间段期间向所述可穿戴扩展现实装置输出第一显示信号，所述第一显示信号被配置成使所述可穿戴扩展现实装置以第一取向虚拟地呈现内容；
在不同于所述第一时间段的第二时间段期间，向所述可穿戴扩展现实装置输出第二显示信号，所述第二显示信号被配置成使所述可穿戴扩展现实装置以不同于所述第一取向的第二取向虚拟地呈现所述内容；以及
基于所接收的可移动输入设备的运动信号，在所述第一显示信号的输出与所述第二显示信号的输出之间切换。
120.一种将可移动输入设备与经由可穿戴扩展现实装置投影的虚拟显示器集成的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被编程为：
接收与所述可移动输入设备相关联的运动信号，所述运动信号反映所述可移动输入设备的物理移动；
在第一时间段期间向所述可穿戴扩展现实装置输出第一显示信号，所述第一显示信号被配置成使所述可穿戴扩展现实装置以第一取向虚拟地呈现内容；
在不同于所述第一时间段的第二时间段期间，向所述可穿戴扩展现实装置输出第二显示信号，所述第二显示信号被配置成使所述可穿戴扩展现实装置以不同于所述第一取向的第二取向虚拟地呈现所述内容；以及
基于所接收的可移动输入设备的运动信号，在所述第一显示信号的输出与所述第二显示信号的输出之间切换。
121.一种包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行用于虚拟地扩展物理键盘的操作，所述操作包括：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，所述图像数据表示放置在一表面上的键盘；
确定所述键盘与所述可穿戴扩展现实装置配对；
接收用于使虚拟控制器结合所述键盘显示的输入；
经由所述可穿戴扩展现实装置将所述虚拟控制器显示在所述表面上的第一位置，其中，在所述第一位置，所述虚拟控制器具有相对于所述键盘的原始空间取向；
检测所述键盘移动到所述表面上的不同位置；以及
响应于检测到的所述键盘的移动，将所述虚拟控制器呈现在所述表面上的第二位置，其中，在所述第二位置，所述虚拟控制器相对于所述键盘的后续空间取向对应于所述原始空间取向。
122.根据权利要求121所述的非暂时性计算机可读介质，其中，所述虚拟控制器是虚拟触控板，并且其中，所述操作还包括：检测所述第二位置的手移动；以及基于检测到的手移动来改变虚拟光标的位置。
123.根据权利要求121所述的非暂时性计算机可读介质，其中，所述虚拟控制器是用户接口元件，并且其中，所述操作还包括：检测所述第二位置处的手移动；以及基于检测到的手移动，改变与所述用户接口元件相关联的呈现参数。
124.根据权利要求121所述的非暂时性计算机可读介质，其中，所接收的输入包括来自与所述可穿戴扩展现实装置相关联的图像传感器的图像数据，并且所述操作还包括根据所述图像数据确定表征所述虚拟控制器相对于所述键盘的原始空间取向的值。
125.根据权利要求124所述的非暂时性计算机可读介质，其中，所述值表征所述虚拟控制器与所述键盘之间的距离。
126.根据权利要求121所述的非暂时性计算机可读介质，其中，所述操作还包括使用所接收的输入来确定以下中的至少一项：所述虚拟控制器距所述键盘的距离、所述虚拟控制器相对于所述键盘的角度取向、所述键盘的所述虚拟控制器被定位在的侧面、或所述虚拟控制器的大小。
127.根据权利要求121所述的非暂时性计算机可读介质，其中，所述键盘包括检测器，并且其中，检测所述键盘的移动是基于所述检测器的输出的。
128.根据权利要求121所述的非暂时性计算机可读介质，其中，检测所述键盘的移动是基于从与所述可穿戴扩展现实装置相关联的图像传感器获得的数据的。
129.根据权利要求121所述的非暂时性计算机可读介质，其中，所述可穿戴扩展现实装置被配置成与多个不同的键盘配对，并且其中，所述操作还包括：接收键盘选择；基于所接收的键盘选择从多个选择中选择所述虚拟控制器；以及基于所述键盘选择显示所述虚拟控制器。
130.根据权利要求121所述的非暂时性计算机可读介质，其中，所述操作还包括：
分析所述图像数据以确定与所述第二位置相关联的表面区域是无缺陷的；
响应于确定与所述第二位置相关联的所述表面区域是无缺陷的，使所述可穿戴扩展现实装置在所述第二位置处虚拟地呈现所述虚拟控制器；
分析所述图像数据以确定与所述第二位置相关联的所述表面区域包括缺陷；以及
响应于确定与所述第二位置相关联的所述表面区域包括缺陷，使所述可穿戴扩展现实装置执行用于避免在所述第二位置处呈现所述虚拟控制器的动作。
131.根据权利要求130所述的非暂时性计算机可读介质，其中，所述动作包括在接近所述第二位置的第三位置中的另一表面区域上虚拟地呈现所述虚拟控制器。
132.根据权利要求130所述的非暂时性计算机可读介质，其中，所述动作包括经由所述可穿戴扩展现实装置提供通知，所述通知指示所述第二位置不适合于显示所述虚拟控制器。
133.根据权利要求121所述的非暂时性计算机可读介质，其中，所述操作还包括：
分析所述图像数据以确定所述第二位置是无边缘的；
响应于确定所述第二位置是无边缘的，使所述可穿戴扩展现实装置在所述第二位置处虚拟地呈现所述虚拟控制器；
分析所述图像数据以确定所述第二位置包括边缘；以及
响应于确定所述第二区域包括边缘，使所述可穿戴扩展现实装置执行用于避免在所述第二位置处呈现所述虚拟控制器的动作。
134.根据权利要求133所述的非暂时性计算机可读介质，其中，所述动作包括在接近所述第二位置的第三位置处虚拟地呈现所述虚拟控制器。
135.根据权利要求133所述的非暂时性计算机可读介质，其中，所述动作包括经由所述可穿戴扩展现实装置提供通知，其中，所述通知指示所述第二位置不适合于显示所述虚拟控制器。
136.根据权利要求121所述的非暂时性计算机可读介质，其中，所述操作还包括：
分析所述图像数据以确定所述第二位置没有物理对象；
响应于确定所述第二位置没有物理对象，使所述可穿戴扩展现实装置在所述第二位置处虚拟地呈现所述虚拟控制器；
分析所述图像数据以确定所述第二位置包括至少一个物理对象；以及
响应于确定所述第二位置包括至少一个物理对象，使所述可穿戴扩展现实装置执行用于避免所述物理对象与所述虚拟控制器的控制妨碍干扰的动作。
137.根据权利要求136所述的非暂时性计算机可读介质，其中，所述动作包括在所述物理对象的表面上虚拟地呈现所述虚拟控制器。
138.根据权利要求121所述的非暂时性计算机可读介质，其中，所述操作还包括：
分析所述图像数据以确定所述第一位置处的所述表面的类型；
基于所述第一位置处的所述表面的类型，选择所述虚拟控制器的第一尺寸；
在所述表面上的所述第一位置处以所述第一尺寸呈现所述虚拟控制器；
分析所述图像数据以确定所述第二位置处的所述表面的类型；
基于所述第二位置处的所述表面的类型，选择所述虚拟控制器的第二尺寸；以及
在所述表面上的所述第二位置处以所述第二尺寸呈现所述虚拟控制器。
139.一种虚拟地扩展物理键盘的方法，所述方法包括：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，所述图像数据表示放置在一表面上的键盘；
确定所述键盘与所述可穿戴扩展现实装置配对；
接收用于使虚拟控制器结合所述键盘显示的输入；
经由所述可穿戴扩展现实装置，将所述虚拟控制器显示在所述表面上的第一位置处，其中，在所述第一位置，所述虚拟控制器具有相对于所述键盘的原始空间取向；
检测所述键盘移动到所述表面上的不同位置；以及
响应于检测到的所述键盘的移动，将所述虚拟控制器呈现在所述表面上的第二位置处，其中，在所述第二位置，所述虚拟控制器相对于所述键盘的后续空间取向对应于所述原始空间定向。
140.一种虚拟地扩展物理键盘的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，所述图像数据表示放置在一表面上的键盘；
确定所述键盘与所述可穿戴扩展现实装置配对；
接收用于使虚拟控制器结合所述键盘显示的输入；
经由所述可穿戴扩展现实装置，将所述虚拟控制器显示在所述表面上的第一位置处，其中，在所述第一位置，所述虚拟控制器具有相对于所述键盘的原始空间取向；
检测所述键盘移动到所述表面上的不同位置；以及
响应于检测到的所述键盘的移动，将所述虚拟控制器呈现在所述表面上的第二位置处，其中，在所述第二位置，所述虚拟控制器相对于所述键盘的后续空间取向对应于所述原始空间取向。
141.一种包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行用于协调虚拟内容显示与移动状态的操作，所述操作包括：
访问将多个用户移动状态与用于经由可穿戴扩展现实装置呈现虚拟内容的多个显示模式相关联的规则；
从与所述可穿戴扩展现实装置相关联的至少一个传感器接收第一传感器数据，所述第一传感器数据反映所述可穿戴扩展现实装置的用户在第一时间段期间的移动状态；
基于所述第一传感器数据，确定在所述第一时间段期间，所述可穿戴扩展现实装置的所述用户与第一移动状态相关联；
经由与所述第一移动状态相关联的所述可穿戴扩展现实装置，实现至少第一访问的规则以生成所述虚拟内容的第一显示；
从所述至少一个传感器接收第二传感器数据，所述第二传感器数据反映在第二时间段期间所述用户的移动状态；
基于所述第二传感器数据，确定在所述第二时间段期间，所述可穿戴扩展现实装置的所述用户与第二移动状态相关联；以及
实现至少第二访问的规则以经由与所述第二移动状态相关联的所述可穿戴扩展现实装置生成所述虚拟内容的第二显示，其中，所述虚拟内容的所述第二显示不同于所述虚拟内容的所述第一显示。
142.根据权利要求141所述的非暂时性计算机可读介质，其中，所访问的规则将显示模式与用户移动状态相关联，所述用户移动状态包含坐着状态、站立状态、行走状态、跑步状态、骑车状态或驾驶状态中的至少两者。
143.根据权利要求141所述的非暂时性计算机可读介质，其中，所述操作还包括基于所述第一传感器数据和与所述用户相关联的历史数据来确定所述用户在所述第一时间段期间的所述移动状态，以及基于所述第二传感器数据和所述历史数据来确定所述用户在所述第二时间段期间的所述移动状态。
144.根据权利要求141所述的非暂时性计算机可读介质，其中，所述至少一个传感器包括所述可穿戴扩展现实装置内的图像传感器，并且所述操作还包括分析使用所述图像传感器捕获的图像数据以识别所述第一移动状态与所述第二移动状态之间的切换。
145.根据权利要求141所述的非暂时性计算机可读介质，其中，所述至少一个传感器包含至少一个运动传感器，所述至少一个运动传感器被包括在能够连接到所述可穿戴扩展现实装置的计算设备中，并且所述操作还包括分析使用所述至少一个运动传感器捕获的运动数据以识别所述第一移动状态与所述第二移动状态之间的切换。
146.根据权利要求141所述的非暂时性计算机可读介质，其中，所访问的规则将用户移动状态与所述多个显示模式相关联，所述多个显示模式包括工作模式、娱乐模式、体育活动模式、活跃模式、睡眠模式、跟踪模式、静止模式、私密模式或公开模式中的至少两者。
147.根据权利要求141所述的非暂时性计算机可读介质，其中，所述多个显示模式中的各个显示模式与多个显示参数的值的特定组合相关联，并且所述操作还包括从所述用户接收输入以调整与至少一个显示模式相关联的显示参数的值。
148.根据权利要求147所述的非暂时性计算机可读介质，其中，所述多个显示参数包含不透明度级别、亮度级别、色彩方案、大小、取向、分辨率、所显示的功能或对接行为中的至少一些。
149.根据权利要求141所述的非暂时性计算机可读介质，其中，所述操作还包括在所述第一时间段期间以工作模式显示某一虚拟对象，并且在所述第二时间段期间以体育活动模式显示所述某一虚拟对象。
150.根据权利要求141所述的非暂时性计算机可读介质，其中，所述操作还包括在所述第一时间段期间以活跃模式显示某一虚拟对象，并且在所述第二时间段期间以睡眠模式显示所述某一虚拟对象。
151.根据权利要求141所述的非暂时性计算机可读介质，其中，生成与所述第一移动状态相关联的所述第一显示包括使用第一显示模式来显示第一虚拟对象和使用第二显示模式来显示第二虚拟对象。
152.根据权利要求151所述的非暂时性计算机可读介质，其中，所述操作还包括在所述第二时间段期间改变所述第一虚拟对象的所述第一显示模式并且保持所述第二虚拟对象的所述第二显示模式。
153.根据权利要求151所述的非暂时性计算机可读介质，其中，所述操作还包括在所述第二时间段期间使用第三显示模式显示所述第一虚拟对象和所述第二虚拟对象。
154.根据权利要求141所述的非暂时性计算机可读介质，其中，所访问的规则还针对不同移动状态将不同显示模式与不同类型的虚拟对象相关联。
155.根据权利要求154所述的非暂时性计算机可读介质，其中，所述操作还包括经由所述可穿戴扩展现实装置呈现与第一类型相关联的第一虚拟对象和与第二类型相关联的第二虚拟对象，其中，生成与所述第一移动状态相关联的所述第一显示包括针对所述第一虚拟对象和所述第二虚拟对象应用单一显示模式，并且生成与所述第二移动状态相关联的所述第二显示包括针对所述第一虚拟对象和所述第二虚拟对象应用不同显示模式。
156.根据权利要求141所述的非暂时性计算机可读介质，其中，所访问的规则还基于环境上下文将所述多个用户移动状态与多个显示模式相关联。
157.根据权利要求156所述的非暂时性计算机可读介质，其中，所述环境上下文是基于对使用包括在所述可穿戴扩展现实装置中的图像传感器捕获的图像数据或使用包括在所述可穿戴扩展现实装置中的音频传感器捕获的音频数据中的至少一者的分析来确定的。
158.根据权利要求156所述的非暂时性计算机可读介质，其中，所述环境上下文是基于所述可穿戴扩展现实装置的环境中的至少一个人的至少一个动作的。
159.一种协调虚拟内容显示与移动状态的方法，所述方法包括：
访问将多个用户移动状态与用于经由可穿戴扩展现实装置呈现虚拟内容的多个显示模式相关联的规则；
从与所述可穿戴扩展现实装置相关联的至少一个传感器接收第一传感器数据，所述第一传感器数据反映所述可穿戴扩展现实装置的用户在第一时间段期间的移动状态；
基于所述第一传感器数据，确定在所述第一时间段期间，所述可穿戴扩展现实装置的所述用户与第一移动状态相关联；
经由与所述第一移动状态相关联的所述可穿戴扩展现实装置实现至少第一访问的规则，以生成所述虚拟内容的第一显示；
从所述至少一个传感器接收第二传感器数据，所述第二传感器数据反映在第二时间段期间所述用户的移动状态；
基于所述第二传感器数据，确定在所述第二时间段期间，所述可穿戴扩展现实装置的所述用户与第二移动状态相关联；以及
实现至少第二访问的规则以经由与所述第二移动状态相关联的所述可穿戴扩展现实装置生成所述虚拟内容的第二显示，其中，所述虚拟内容的所述第二显示不同于所述虚拟内容的所述第一显示。
160.一种协调虚拟内容的显示与移动状态的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
访问将多个用户移动状态与用于经由可穿戴扩展现实装置呈现虚拟内容的多个显示模式相关联的规则；
从与所述可穿戴扩展现实装置相关联的至少一个传感器接收第一传感器数据，所述第一传感器数据反映所述可穿戴扩展现实装置的用户在第一时间段期间的移动状态；
基于所述第一传感器数据，确定在所述第一时间段期间，所述可穿戴扩展现实装置的所述用户与第一移动状态相关联；
实现至少第一访问的规则以经由与所述第一移动状态相关联的所述可穿戴扩展现实装置生成所述虚拟内容的第一显示；
从所述至少一个传感器接收第二传感器数据，所述第二传感器数据反映在第二时间段期间所述用户的移动状态；
基于所述第二传感器数据，确定在所述第二时间段期间，所述可穿戴扩展现实装置的所述用户与第二移动状态相关联；以及
实现至少第二访问的规则以经由与所述第二移动状态相关联的所述可穿戴扩展现实装置生成所述虚拟内容的第二显示，其中，所述虚拟内容的所述第二显示不同于所述虚拟内容的所述第一显示。
161.一种包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时致使所述至少一个处理器执行用于修改对接到可移动输入设备的虚拟对象的显示的操作，所述操作包括：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，所述图像数据表示放置在一支承表面上的第一位置处的输入设备；
使所述可穿戴扩展现实装置生成所述第一位置附近的至少一个虚拟对象的呈现；
将所述至少一个虚拟对象对接至所述输入设备；
确定所述输入设备处于所述支承表面上的第二位置；
响应于确定所述输入设备处于所述第二位置，更新所述至少一个虚拟对象的呈现，使得所述至少一个虚拟对象出现在所述第二位置附近；
确定所述输入设备处于从所述支承表面移除的第三位置；以及
响应于确定所述输入设备被从所述支承表面移除，修改所述至少一个虚拟对象的呈现。
162.根据权利要求161所述的非暂时性计算机可读介质，其中，所述图像传感器被包括在所述可穿戴扩展现实装置中。
163.根据权利要求161所述的非暂时性计算机可读介质，其中，所述图像传感器被包括在能够连接至所述可穿戴扩展现实装置的输入设备中。
164.根据权利要求161所述的非暂时性计算机可读介质，其中，所述输入设备包括触摸传感器和至少三十个键，并且不包括被配置为呈现媒体内容的屏幕。
165.根据权利要求161所述的非暂时性计算机可读介质，其中，所述操作还包括将第一虚拟对象对接至所述输入设备，所述第一虚拟对象被显示在覆盖所述支承表面的第一虚拟平面上。
166.根据权利要求165所述的非暂时性计算机可读介质，其中，所述操作还包括将第二虚拟对象对接至所述输入设备，其中，所述第二虚拟对象被显示在垂直于所述第一虚拟平面的第二虚拟平面上。
167.根据权利要求161所述的非暂时性计算机可读介质，其中，所述操作还包括基于对所述图像数据的分析，检测所述输入设备在所述支承表面上的移动或所述输入设备从所述支承表面的移除移动中的至少一者。
168.根据权利要求161所述的非暂时性计算机可读介质，其中，所述操作还包括基于对从与所述输入设备相关联的至少一个运动传感器接收到的运动数据的分析，检测所述输入设备在所述支承表面上的移动或所述输入设备从所述支承表面的移除移动中的至少一者。
169.根据权利要求161所述的非暂时性计算机可读介质，其中，当所述输入设备被放置在所述第一位置时，所述至少一个虚拟对象具有相对于所述输入设备的原始空间属性，并且所述操作还包括：当所述输入设备在所述第二位置时，维持所述至少一个虚拟对象相对于所述输入设备的原始空间属性。
170.根据权利要求169所述的非暂时性计算机可读介质，其中，所述原始空间属性包括以下项中的至少一者：所述至少一个虚拟对象距所述输入设备的距离；所述至少一个虚拟对象相对于所述输入设备的角取向；所述输入设备的所述至少一个虚拟对象所位于的一侧；或所述至少一个虚拟对象相对于所述输入设备的大小。
171.根据权利要求161所述的非暂时性计算机可读介质，其中，响应于确定所述输入设备被从所述支承表面移除而修改所述至少一个虚拟对象的呈现包括：继续在所述支承表面上呈现所述至少一个虚拟对象。
172.根据权利要求171所述的非暂时性计算机可读介质，其中，所述操作还包括：确定所述输入设备在所述支承表面上的典型位置；以及当所述输入设备被从所述支承表面移除时，在所述典型位置附近呈现所述至少一个虚拟对象。
173.根据权利要求161所述的非暂时性计算机可读介质，其中，响应于确定所述输入设备被从所述支承表面移除而修改所述至少一个虚拟对象的呈现包括：使所述至少一个虚拟对象消失。
174.根据权利要求173所述的非暂时性计算机可读介质，其中，所述操作还包括：接收指示所述可穿戴扩展现实装置的用户希望在所述输入设备处于所述第三位置的同时与所述至少一个虚拟对象进行交互的输入；以及使所述至少一个虚拟对象重现。
175.根据权利要求161所述的非暂时性计算机可读介质，其中，响应于确定所述输入设备被从所述支承表面移除而修改所述至少一个虚拟对象的所述呈现包括：改变所述至少一个虚拟对象的至少一个视觉属性。
176.根据权利要求175所述的非暂时性计算机可读介质，其中，所述至少一个视觉属性包括颜色方案、不透明度水平、亮度水平、大小或取向中的至少一项。
177.根据权利要求161所述的非暂时性计算机可读介质，其中，响应于确定所述输入设备被从所述支承表面移除而修改所述至少一个虚拟对象的所述呈现包括：呈现所述至少一个虚拟对象的最小化版本。
178.根据权利要求177所述的非暂时性计算机可读介质，其中，所述操作还包括：接收反映对所述至少一个虚拟对象的所述最小化版本的选择的输入；以及使所述至少一个虚拟对象呈现在展开视图中。
179.一种修改对接到可移动输入设备的虚拟对象的显示的系统，所述系统包括至少一个处理器，所述至少一个处理器被编程为：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，所述图像数据表示放置在支承表面上的第一位置处的输入设备；
使所述可穿戴扩展现实装置在所述第一位置附近生成至少一个虚拟对象的呈现；
将所述至少一个虚拟对象对接至所述输入设备；
确定所述输入设备在所述支承表面上处于第二位置；
响应于确定所述输入设备处于所述第二位置，更新所述至少一个虚拟对象的呈现，使得所述至少一个虚拟对象出现在所述第二位置附近；
确定所述输入设备处于被从所述支承表面移除的第三位置；以及
响应于确定所述输入设备被从所述支承表面移除，修改所述至少一个虚拟对象的呈现。
180.一种修改对接到可移动输入设备的虚拟对象的显示的方法，所述方法包括：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，所述图像数据表示放置在支承表面上的第一位置处的输入设备；
使所述可穿戴扩展现实装置在所述第一位置附近生成至少一个虚拟对象的呈现；
将所述至少一个虚拟对象对接至所述输入设备；
确定所述输入设备处于所述支承表面上的第二位置；
响应于确定所述输入设备处于所述第二位置，更新所述至少一个虚拟对象的呈现，使得所述至少一个虚拟对象出现在所述第二位置附近；
确定所述输入设备处于被从所述支承表面移除的第三位置；以及
响应于确定所述输入设备被从所述支承表面移除，修改所述至少一个虚拟对象的呈现。
181.一种包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行用于在扩展现实环境中将虚拟对象对接至虚拟显示屏的操作，所述操作包括：
生成用于经由可穿戴扩展现实装置呈现的虚拟内容，其中，所述虚拟内容包括虚拟显示器和位于所述虚拟显示器外部的多个虚拟对象；
接收对所述多个虚拟对象中的至少一个虚拟对象的选择；
将所述至少一个虚拟对象对接至所述虚拟显示器；
在将所述至少一个虚拟对象对接至所述虚拟显示器之后，接收指示改变所述虚拟显示器的位置的意图而不表示移动所述至少一个虚拟对象的意图的输入；
响应于所述输入，改变所述虚拟显示器的位置；以及
其中，作为所述至少一个虚拟对象与所述虚拟显示器对接的结果，改变所述虚拟显示器的位置使所述至少一个虚拟对象与所述虚拟显示器一起移动。
182.根据权利要求181所述的非暂时性计算机可读介质，其中，所述操作还包括使所述至少一个虚拟对象从第一位置移动到第二位置，其中，所述至少一个虚拟对象相对于处于所述第二位置的所述虚拟显示器的空间取向对应于所述至少一个虚拟对象相对于处于所述第一位置的所述虚拟显示器的原始空间取向。
183.根据权利要求181所述的非暂时性计算机可读介质，其中，在将所述至少一个虚拟对象对接至所述虚拟显示器之后，所述操作还包括：
接收第一用户发起输入，所述第一用户发起输入用于触发所述虚拟显示器的位置的改变并且触发所述至少一个虚拟对象的位置的改变；
接收第二用户发起输入，所述第二用户发起输入用于触发所述虚拟显示器的位置的改变，其中，所述第二用户发起输入不包括用于所述至少一个虚拟对象的位置的改变的触发；
响应于所述第一用户发起输入，改变所述虚拟显示器和所述至少一个虚拟对象的位置；以及
响应于所述第二用户发起输入，改变所述虚拟显示器和所述至少一个虚拟对象的位置。
184.根据权利要求183所述的非暂时性计算机可读介质，其中，所述操作还包括：接收第三用户发起输入，所述第三用户发起输入触发所述至少一个虚拟对象的位置的改变，但排除所述虚拟显示器的位置的改变；以及响应于所述第三用户发起输入，改变所述虚拟显示器和所述至少一个虚拟对象的位置。
185.根据权利要求181所述的非暂时性计算机可读介质，其中，将所述至少一个虚拟对象对接至所述虚拟显示器打开了所述至少一个虚拟对象与所述虚拟显示器之间的通信链路以交换数据，并且其中，所述操作还包括：经由所述通信链路从所述至少一个虚拟对象取回数据并在所述虚拟显示器上显示所取回的数据。
186.根据权利要求181所述的非暂时性计算机可读介质，其中，所述至少一个虚拟对象与所述虚拟显示器之间的关联的持续时间是时间相关的。
187.根据权利要求186所述的非暂时性计算机可读介质，其中，所述操作还包括：
响应于在第一时间段期间所述虚拟显示器的位置的改变，在所述第一时间段期间使所述至少一个虚拟对象与所述虚拟显示器一起移动；以及
响应于不同于所述第一时间段的第二时间段期间所述虚拟显示器的位置的第二改变，在所述第二时间段期间使所述至少一个虚拟对象与所述虚拟显示器分离。
188.根据权利要求181所述的非暂时性计算机可读介质，其中，选择性地使所述至少一个虚拟对象与所述虚拟显示器一起移动是地理位置相关的。
189.根据权利要求188所述的非暂时性计算机可读介质，其中，所述操作还包括：
在检测到所述可穿戴扩展现实装置处于第一地理位置时，使所述至少一个虚拟对象与所述虚拟显示器一起移动；以及
在检测到所述可穿戴扩展现实装置处于不同于所述第一地理位置的第二地理位置时，使所述至少一个虚拟对象与所述虚拟显示器分离。
190.根据权利要求181所述的非暂时性计算机可读介质，其中，所述操作还包括：
接收对所述多个虚拟对象中的附加虚拟对象的选择；
将所述附加虚拟对象对接至所述至少一个虚拟对象；
在将所述附加虚拟对象对接至所述至少一个虚拟对象之后，接收第二输入，所述第二输入表示改变所述虚拟显示器的位置的第二意图，而不表示移动所述至少一个虚拟对象或所述附加虚拟对象的第二意图；
响应于所述第二输入，改变所述虚拟显示器的位置；以及
其中，作为将所述至少一个虚拟对象对接至所述虚拟显示器和将所述附加虚拟对象对接至所述至少一个虚拟对象的结果，改变所述虚拟显示器的位置使得所述至少一个虚拟对象和所述附加虚拟对象与所述虚拟显示器一起移动。
191.根据权利要求181所述的非暂时性计算机可读介质，其中，所述操作还包括：
将所述虚拟显示器对接至物理对象；
在将所述虚拟显示器对接至所述物理对象之后，分析由所述可穿戴扩展现实装置捕获的图像数据以确定所述物理对象的移动；以及
响应于所述物理对象的确定的移动，改变所述虚拟显示器和所述至少一个虚拟对象的位置。
192.根据权利要求191所述的非暂时性计算机可读介质，其中，所述物理对象是输入设备，并且所述操作还包括响应于所述物理对象的确定的移动来改变所述虚拟显示器和所述至少一个虚拟对象的取向。
193.根据权利要求191所述的非暂时性计算机可读介质，其中，所述虚拟显示器与所述物理对象的对接发生在所述至少一个虚拟对象与所述虚拟显示器的对接之前，并且所述操作还包括：接收用于使所述虚拟显示器从所述物理对象分离的输入；以及自动使所述至少一个虚拟对象从所述虚拟显示器分离。
194.根据权利要求191所述的非暂时性计算机可读介质，其中，所述操作还包括：在所述物理对象的确定的移动小于选定阈值时，避免改变所述虚拟显示器和所述至少一个虚拟对象的位置。
195.根据权利要求181所述的非暂时性计算机可读介质，其中，所述操作还包括在第一虚拟表面上显示所述虚拟显示器，并且在至少部分与所述第一表面重合的第二表面上显示所述至少一个虚拟对象。
196.根据权利要求181所述的非暂时性计算机可读介质，其中，从所述多个虚拟对象中选择的所述至少一个虚拟对象包括显示在第一表面上的第一虚拟对象和显示在第二表面上的第二虚拟对象，所述第二表面至少部分地与所述第一表面重合。
197.根据权利要求196所述的非暂时性计算机可读介质，其中，所述操作还包括改变所述第一表面与所述第二表面之间的平面光标移动。
198.根据权利要求181所述的非暂时性计算机可读介质，其中，所述操作还包括：
分析由所述可穿戴扩展现实装置捕获的图像数据，以检测至少部分地被至少所述虚拟显示器和所述多个虚拟对象中的特定虚拟对象遮挡的真实世界事件，所述特定虚拟对象不同于所述至少一个虚拟对象；以及
响应于检测到至少部分地被至少所述虚拟显示器和所述特定虚拟对象遮挡的所述真实世界事件，在第一方向上移动所述虚拟显示器和所述至少一个虚拟对象，并且在第二方向上移动所述特定虚拟对象，所述第二方向不同于所述第一方向。
199.一种在扩展现实环境中将虚拟对象对接至虚拟显示屏的方法，所述方法包括：
生成用于经由可穿戴扩展现实装置呈现的虚拟内容，其中，所述虚拟内容包括虚拟显示器和位于所述虚拟显示器外部的多个虚拟对象；
接收对所述多个虚拟对象中的至少一个虚拟对象的选择；
将所述至少一个虚拟对象对接至所述虚拟显示器；
在将所述至少一个虚拟对象对接至所述虚拟显示器之后，接收指示改变所述虚拟显示器的位置的意图而不表示移动所述至少一个虚拟对象的意图的输入；
响应于所述输入，改变所述虚拟显示器的位置；以及
其中，作为所述至少一个虚拟对象与所述虚拟显示器对接的结果，改变所述虚拟显示器的位置使所述至少一个虚拟对象与所述虚拟显示器一起移动。
200.一种在扩展现实环境中将虚拟对象对接至虚拟显示屏的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
生成用于经由可穿戴扩展现实装置呈现的虚拟内容，其中，所述虚拟内容包括虚拟显示器和位于所述虚拟显示器外部的多个虚拟对象；
接收对所述多个虚拟对象中的至少一个虚拟对象的选择；
将所述至少一个虚拟对象对接至所述虚拟显示器；
在将所述至少一个虚拟对象对接至所述虚拟显示器之后，接收指示改变所述虚拟显示器的位置的意图而不表示移动所述至少一个虚拟对象的意图的输入；
响应于所述输入，改变所述虚拟显示器的位置；以及
其中，作为所述至少一个虚拟对象与所述虚拟显示器对接的结果，改变所述虚拟显示器的位置使所述至少一个虚拟对象与所述虚拟显示器一起移动。
201.一种包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行用于实现选择性虚拟对象显示改变的操作，所述操作包括：
经由可穿戴扩展现实装置生成扩展现实环境，所述扩展现实环境包括与物理对象相关联的第一虚拟平面和与一项目相关联的第二虚拟平面，所述第二虚拟平面在垂直于所述第一虚拟平面的方向上延伸；
访问用于将第一组虚拟对象对接在与所述第一虚拟平面相关联的第一位置的第一指令；
访问用于将第二组虚拟对象对接在与所述第二虚拟平面相关联的第二位置的第二指令；
接收与所述物理对象的移动相关联的第一输入；
响应于接收到所述第一输入，在将所述第二组虚拟对象维持在所述第二位置的同时，按照与所述物理对象的移动相对应的方式引起所述第一组虚拟对象的显示的改变；
接收与所述项目的移动相关联的第二输入；以及
响应于接收到所述第二输入，在保持所述第一组虚拟对象的所述第一位置的同时，按照与所述项目的移动相对应的方式引起所述第二组虚拟对象的显示的改变。
202.根据权利要求201所述的非暂时性计算机可读介质，其中，响应于接收到所述第一输入而引起所述第一组虚拟对象的显示的改变包括：按照与所述物理对象的移动相对应的方式移动所述第一组虚拟对象，并且响应于接收到所述第二输入而引起所述第二组虚拟对象的显示的改变包括：按照与所述项目的移动相对应的方式移动所述第二组虚拟对象。
203.根据权利要求201所述的非暂时性计算机可读介质，其中，响应于接收到所述第一输入而引起所述第一组虚拟对象的显示的改变包括：改变所述第一组虚拟对象的至少一个视觉属性，并且响应于接收到所述第二输入而引起所述第二组虚拟对象的显示的改变包括改变所述第二组虚拟对象的至少一个视觉属性。
204.根据权利要求201所述的非暂时性计算机可读介质，其中，所述第一虚拟平面是平坦的，并且所述第二虚拟平面是弯曲的。
205.根据权利要求201所述的非暂时性计算机可读介质，其中，所述物理对象位于物理表面上，并且其中，所述第一虚拟平面延伸超出所述物理表面的尺寸。
206.根据权利要求201所述的非暂时性计算机可读介质，其中，所述物理对象是计算设备，并且所述第一输入包括从与所述计算设备相关联的至少一个运动传感器接收的运动数据。
207.根据权利要求206所述的非暂时性计算机可读介质，其中，所述操作还包括：分析所述运动数据以确定所述物理对象的移动是否大于阈值；当所述物理对象的移动大于所述阈值时，引起所述第一组虚拟对象的显示的改变；以及当所述物理对象的移动小于所述阈值时，维持所述第一组虚拟对象的显示。
208.根据权利要求201所述的非暂时性计算机可读介质，其中，所述物理对象是无生命对象，并且所述第一输入包括从与所述可穿戴扩展现实装置相关联的图像传感器接收到的图像数据。
209.根据权利要求208所述的非暂时性计算机可读介质，其中，所述操作还包括：分析所述图像数据以确定所述可穿戴扩展现实装置的用户是否提示所述物理对象的移动；当所述用户提示所述物理对象的移动时，引起所述第一组虚拟对象的显示的改变；以及当所述用户未提示所述物理对象的移动时，维持所述第一组虚拟对象的显示。
210.根据利要求201的非暂时性计算机可读介质，其中，所述物理对象的移动是所述物理对象到新位置的移动，并且所述操作还包括：
更新所述第一组虚拟对象的显示，使得所述第一组虚拟对象出现在所述新位置附近；以及
响应于确定新位置与所述物理对象最初所位于的物理表面分离，修改所述第一组虚拟对象的显示。
211.根据权利要求210所述的非暂时性计算机可读介质，其中，修改所述第一组虚拟对象的显示包括以下项中的至少一者：使所述第一组虚拟对象消失；改变所述第一组虚拟对象的至少一个视觉属性；或显示所述第一组虚拟对象的最小化版本。
212.根据权利要求201所述的非暂时性计算机可读介质，其中，所述项目是虚拟对象，并且所述第二输入包括从能够连接到所述可穿戴扩展现实装置的输入设备接收的指点数据。
213.根据权利要求212所述的非暂时性计算机可读介质，其中，所述操作还包括：分析所述指点数据以识别指示所述虚拟对象的期望移动的光标动作；以及按照与所述虚拟对象的期望移动相对应的方式引起所述第二组虚拟对象的显示的改变。
214.根据权利要求201所述的非暂时性计算机可读介质，其中，所述项目是虚拟对象，并且所述第二输入包括从与所述可穿戴扩展现实装置相关联的图像传感器接收到的图像数据。
215.根据权利要求214所述的非暂时性计算机可读介质，其中，所述操作还包括：分析所述图像数据以识别指示所述虚拟对象的期望移动的手势；以及按照与所述虚拟对象的期望移动相对应的方式引起所述第二组虚拟对象的显示的改变。
216.根据权利要求201所述的非暂时性计算机可读介质，其中，所述项目是虚拟对象，并且所述虚拟对象的移动包括对所述虚拟对象的尺寸或取向中的至少一者的修改，并且其中，所述操作还包括按照与所述虚拟对象的修改相对应的方式改变所述第二组虚拟对象的尺寸或取向中的至少一者。
217.根据权利要求201所述的非暂时性计算机可读介质，其中，所述扩展现实环境包括与所述第一虚拟平面相关联并对接到所述项目的虚拟对象，并且所述操作还包括：
响应于接收到所述第一输入，在保持所述虚拟对象的显示的位置的同时，按照与所述物理对象的移动相对应的方式引起所述第一组虚拟对象的显示的改变；以及
响应于接收到所述第二输入，引起所述第二组虚拟对象的显示的改变，并且按照与所述项目的移动相对应的方式改变所述虚拟对象的显示。
218.根据权利要求201所述的非暂时性计算机可读介质，其中，所述扩展现实环境包括与所述第二虚拟平面相关联并对接到所述物理对象的虚拟对象，并且其中，所述操作还包括：
响应于接收到所述第一输入，按照与所述物理对象的移动相对应的方式引起所述第一组虚拟对象的显示的改变和所述虚拟对象的显示的改变；以及
响应于接收到所述第二输入，在保持所述虚拟对象的显示的位置的同时，按照与所述项目的移动相对应的方式引起所述第二组虚拟对象的显示的改变。
219.一种实现选择性虚拟对象显示改变的方法，所述方法包括：
经由可穿戴扩展现实装置生成扩展现实环境，所述扩展现实环境包括与物理对象相关联的第一虚拟平面和与项目相关联的第二虚拟平面，所述第二虚拟平面在垂直于所述第一虚拟平面的方向上延伸；
访问用于将第一组虚拟对象对接在与所述第一虚拟平面相关联的第一位置的第一指令；
访问用于将第二组虚拟对象对接在与所述第二虚拟平面相关联的第二位置的第二指令；
接收与所述物理对象的移动相关联的第一输入；
响应于接收到所述第一输入，在将所述第二组虚拟对象维持在所述第二位置的同时，按照与所述物理对象的移动相对应的方式引起所述第一组虚拟对象的显示的改变；
接收与所述项目的移动相关联的第二输入；以及
响应于接收到所述第二输入，在保持所述第一组虚拟对象的所述第一位置的同时，按照与所述项目的移动相对应的方式引起所述第二组虚拟对象的显示的改变。
220.一种实现选择性虚拟对象显示改变的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
经由可穿戴扩展现实装置生成扩展现实环境，所述扩展现实环境包括与物理对象相关联的第一虚拟平面和与项目相关联的第二虚拟平面，所述第二虚拟平面在垂直于所述第一虚拟平面的方向上延伸；
访问用于将第一组虚拟对象对接在与所述第一虚拟平面相关联的第一位置的第一指令；
访问用于将第二组虚拟对象对接在与所述第二虚拟平面相关联的第二位置的第二指令；
接收与所述物理对象的移动相关联的第一输入；
响应于接收到所述第一输入，在将所述第二组虚拟对象维持在所述第二位置的同时，按照与所述物理对象的移动相对应的方式引起所述第一组虚拟对象的显示的改变；
接收与所述项目的移动相关联的第二输入；以及
响应于接收到所述第二输入，在保持所述第一组虚拟对象的所述第一位置的同时，按照与所述项目的移动相对应的方式引起所述第二组虚拟对象的显示的改变。
221.一种包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行用于确定用于呈现虚拟内容的显示配置的操作，所述操作包括：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，其中，所述可穿戴扩展现实装置被配置为与多个输入设备配对，并且每个输入设备与默认显示设置相关联；
分析所述图像数据以检测放置在一表面上的特定输入设备；
确定所述特定输入设备的至少一个使用参数的值；
从存储器中取回与所述特定输入设备相关联的默认显示设置；
基于所述至少一个使用参数的值和所取回的默认显示设置，确定用于呈现虚拟内容的显示配置；以及
根据所确定的显示配置，使得经由所述可穿戴扩展现实装置呈现所述虚拟内容。
222.根据权利要求1所述的非暂时性计算机可读介质，其中，所述操作还包括：确定所述特定输入设备是家用键盘还是工作场所键盘；响应于确定所述特定输入设备是家用键盘，从所述存储器取回第一默认显示设置；以及响应于确定所述特定输入设备是工作场所键盘，从所述存储器取回第二默认显示设置，所述第二默认显示设置不同于所述第一默认显示设置。
223.根据权利要求1所述的非暂时性计算机可读介质，其中，所述操作还包括：确定所述特定输入设备是自用键盘还是公共键盘；响应于确定所述特定输入设备是自用键盘，从所述存储器取回第一默认显示设置；以及响应于确定所述特定输入设备是公共键盘，从所述存储器取回第二默认显示设置，所述第二默认显示设置不同于所述第一默认显示设置。
224.根据权利要求1所述的非暂时性计算机可读介质，其中，所述操作还包括：确定所述特定输入设备是基于键的键盘还是基于触摸屏的键盘；响应于确定所述特定输入设备是基于键的键盘，从所述存储器取回第一默认显示设置；以及响应于确定所述特定输入设备是基于触摸屏的键盘，从所述存储器取回第二默认显示设置，所述第二默认显示设置不同于所述第一默认显示设置。
225.根据权利要求1所述的非暂时性计算机可读介质，其中，所述操作还包括：将所述特定输入设备与所述可穿戴扩展现实装置配对；访问所存储的、将所述多个输入设备与不同的默认显示设置关联起来的信息；以及从所访问的存储信息中取回与所配对的特定输入设备相关联的默认显示设置。
226.根据权利要求5所述的非暂时性计算机可读介质，其中，所述特定输入设备与所述可穿戴扩展现实装置的配对是基于对所述图像数据中描述的可视码的检测的。
227.根据权利要求5所述的非暂时性计算机可读介质，其中，所述特定输入设备与所述可穿戴扩展现实装置的配对是基于对由包括在所述特定输入设备中的光发射器发射并由包括在所述可穿戴扩展现实装置中的传感器捕获的光的检测的。
228.根据权利要求1所述的非暂时性计算机可读介质，其中，确定所述显示配置包括基于所述至少一个使用参数的所述值来修改所取回的默认显示设置。
229.根据权利要求1所述的非暂时性计算机可读介质，其中，从所述存储器取回的所述默认显示设置包括距用于呈现所述虚拟内容的所述可穿戴扩展现实装置的默认距离。
230.根据权利要求1所述的非暂时性计算机可读介质，其中，经由所述可穿戴扩展现实装置呈现的所述虚拟内容包括一个或更多个虚拟屏幕，并且所述默认显示设置包括虚拟屏幕的默认数量、虚拟屏幕的默认尺寸、虚拟屏幕的默认取向或虚拟屏幕的边界的默认配置中的至少一项。
231.根据权利要求1所述的非暂时性计算机可读介质，其中，从所述存储器取回的所述默认显示设置包括以下至少一项：所述虚拟内容的默认不透明度；所述虚拟内容的默认颜色方案；或所述虚拟内容的默认亮度级别。
232.根据权利要求1所述的非暂时性计算机可读介质，其中，所述默认显示设置包括以下至少一项：对用于所述虚拟内容的操作系统的默认选择；对启动应用的默认选择；对启动虚拟对象的默认选择；或所选择的启动虚拟对象在扩展现实环境中的默认布置。
233.根据权利要求1所述的非暂时性计算机可读介质，其中，所述操作还包括：基于对所述图像数据的分析、从所述特定输入设备接收的数据或从所述可穿戴扩展现实装置接收的数据中的至少一项，确定所述特定输入设备的所述至少一个使用参数的值。
234.根据权利要求1所述的非暂时性计算机可读介质，其中，所述至少一个使用参数反映所述特定输入设备距所述可穿戴扩展现实装置的距离，并且所述操作还包括当所述距离大于阈值时确定第一显示配置，并且当所述距离小于所述阈值时确定第二显示配置，所述第二显示配置不同于所述第一显示配置。
235.根据权利要求1所述的非暂时性计算机可读介质，其中，所述至少一个使用参数反映所述可穿戴扩展现实装置的用户的姿势，并且所述操作还包括当识别出第一姿势时确定第一显示配置，并且当识别出第二姿势时确定第二显示配置，所述第二显示配置不同于所述第一显示配置。
236.根据权利要求1所述的非暂时性计算机可读介质，其中，所述至少一个使用参数反映放置有所述特定输入设备的所述表面的类型，并且所述操作还包括当识别出所述表面的第一类型时确定第一显示配置，并且当识别出所述表面的第二类型时确定第二显示配置，所述第二显示配置不同于所述第一显示配置。
237.根据权利要求1所述的非暂时性计算机可读介质，其中，所述至少一个使用参数反映与所述特定输入设备相关联的电池充电数据，并且所述操作还包括当所述特定输入设备用电池工作时确定第一显示配置，并且当所述特定输入设备连接到外部电源时确定第二显示配置，所述第二显示配置不同于所述第一显示配置。
238.根据利要求1的非暂时性计算机可读介质，其中，所述多个输入设备至少包括第一输入设备和第二输入设备，所述第一输入设备和所述第二输入设备在外表上相似，所述第一输入设备和所述第二输入设备与不同的默认显示设置相关联，并且所述操作还包括：
分析所述图像数据以识别所述特定输入设备附近的对象；以及
基于所述特定输入设备附近的对象的识别，确定所述特定输入设备是所述第一输入设备而不是所述第二输入设备。
239.一种确定用于呈现虚拟内容的显示配置的方法，所述方法包括：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，其中，所述可穿戴扩展现实装置被配置为与多个输入设备配对，并且每个输入设备与默认显示设置相关联；
分析所述图像数据以检测放置在一表面上的特定输入设备；
确定所述特定输入设备的至少一个使用参数的值；
从存储器中取回与所述特定输入设备相关联的默认显示设置；
基于所述至少一个使用参数的值和所取回的默认显示设置，确定用于呈现虚拟内容的显示配置；以及
根据所确定的显示配置，使得经由所述可穿戴扩展现实装置呈现所述虚拟内容。
240.一种确定用于呈现虚拟内容的显示配置的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
从与可穿戴扩展现实装置相关联的图像传感器接收图像数据，其中，所述可穿戴扩展现实装置被配置为与多个输入设备配对，并且每个输入设备与默认显示设置相关联；
分析所述图像数据以检测放置在一表面上的特定输入设备；
确定所述特定输入设备的至少一个使用参数的值；
从存储器中取回与所述特定输入设备相关联的默认显示设置；
基于所述至少一个使用参数的值和所取回的默认显示设置，确定用于呈现虚拟内容的显示配置；以及
根据所确定的显示配置，使得经由所述可穿戴扩展现实装置呈现所述虚拟内容。
241.一种包含指令的非暂时性计算机可读介质，所述指令用于执行被配置成用扩展现实显示来增强物理显示的操作，所述操作包括：
接收表示完全呈现在物理显示器上的第一对象的第一信号；
接收表示第二对象的第二信号，所述第二对象具有呈现在所述物理显示器上的第一部分和延伸超出所述物理显示器的边界的第二部分；
接收表示第三对象的第三信号，所述第三对象最初呈现在所述物理显示器上并且随后完全移动超出所述物理显示器的边界；
响应于接收到所述第二信号，在所述第二对象的所述第一部分呈现在所述物理显示器上的同时，使所述第二对象的所述第二部分经由可穿戴扩展现实装置呈现在虚拟空间中；以及
响应于接收到所述第三信号，在所述第三对象完全呈现在所述物理显示器上之后，使所述第三对象经由所述可穿戴扩展现实装置完全呈现在所述虚拟空间中。
242.根据权利要求1所述的非暂时性计算机可读介质，其中，所述第一对象、所述第二对象或所述第三对象中的至少一者包括窗口小部件或应用的图标中的至少一者。
243.根据权利要求1所述的非暂时性计算机可读介质，其中，所述第二对象与所述第一对象或所述第三对象中的至少一者部分重叠。
244.根据权利要求1所述的非暂时性计算机可读介质，其中，所述第一对象、所述第二对象和所述第三对象同时呈现在所述物理显示器上和所述虚拟空间中。
245.根据权利要求1所述的非暂时性计算机可读介质，其中，所述物理显示器是被配置成生成要呈现在所述物理显示器上的文本的输入设备的一部分。
246.根据权利要求1所述的非暂时性计算机可读介质，其中，所述物理显示器是被配置成生成要呈现在所述虚拟空间中的文本的输入设备的一部分。
247.根据权利要求1所述的非暂时性计算机可读介质，其中，所述第一信号、所述第二信号或所述第三信号中的至少一者是从控制所述物理显示器的操作系统接收的。
248.根据权利要求1所述的非暂时性计算机可读介质，其中，所述第一信号、所述第二信号或所述第三信号中的至少一者是从与所述可穿戴扩展现实装置相关联的指点设备接收的。
249.根据利要求1的非临时计算机可读介质，其中，所述操作还包括：
接收表示所述物理显示器的图像的图像传感器信号；
确定所述物理显示器的边界边缘；以及
基于所确定的边界边缘，将所述虚拟空间与所述物理显示器配准。
250.根据权利要求11所述的非暂时性计算机可读介质，其中，所述物理显示器包括限定所述边界边缘的框，并且其中，使所述第二对象的所述第二部分呈现在所述虚拟空间中包括将所述第二对象的所述第二部分的一部分覆盖在所述框的一部分上面。
251.根据权利要求11所述的非暂时性计算机可读介质，其中，所述操作还包括分析所述图像传感器信号以确定呈现在所述物理显示器上的所述第二对象的所述第一部分的视觉参数，并且其中，使所述第二对象的所述第二部分呈现在所述虚拟空间中包括基于所述确定的视觉参数来设置所述第二对象的所述第二部分的显示参数。
252.根据利要求1的非临时计算机可读介质，其中，所述操作还包括：
确定所述可穿戴扩展现实装置的用户正在从所述物理显示器走开；以及
响应于该确定，在所述第一对象保持在所述物理显示器上的同时，使所述第二对象的所述第一部分和所述第二部分两者都呈现在所述虚拟空间中并且随所述用户一起移动。
253.根据利要求1的非临时计算机可读介质，其中，所述操作还包括：
接收表示第四对象的第四信号，所述第四对象最初呈现在第一物理显示器上，稍后虚拟地呈现在扩展现实中，并且随后呈现在第二物理显示器上；以及
响应于接收到所述第四信号，使所述第四对象呈现在所述第二物理显示器上。
254.根据权利要求15所述的非暂时性计算机可读介质，其中，使所述第四对象呈现在所述第二物理显示器上包括将反映所述第四对象的数据发送到与所述第二物理显示器相关联的计算设备。
255.根据权利要求1所述的非临时计算机可读介质，其中，所述操作还包括：
接收指示键入的文本的输入信号；以及
在第一显示器和第二显示器上同时显示所键入的文本，其中，所述第二显示器是位于键盘附近的扩展现实显示区域。
256.根据权利要求17所述的非暂时性计算机可读介质，其中，所述第一显示器是所述物理显示器。
257.根据权利要求17所述的非暂时性计算机可读介质，其中，所述第一显示器是不同于所述第二显示器的虚拟显示器。
258.根据权利要求1所述的非临时计算机可读介质，其中，所述操作还包括：
接收第四信号，所述第四信号表示具有第一部分和第二部分的第四对象，所述第四对象最初整体呈现在所述物理显示器上；
接收第五信号，所述第五信号指示所述第四对象被移动到所述第四对象的第一部分被呈现在所述物理显示器上并且所述第四对象的第二部分延伸超出所述物理显示器的边界的位置；
响应于所述第五信号，使所述第四对象的第二部分经由所述可穿戴扩展现实装置呈现在所述虚拟空间中，同时所述第四对象的第一部分呈现在所述物理显示器上；
接收第六信号，所述第六信号指示所述第四对象完全移动超出所述物理显示器的边界；以及
响应于接收到所述第六信号，使所述第四对象经由所述可穿戴扩展现实装置完全呈现在所述虚拟空间中。
259.一种用扩展现实显示增强物理显示的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置为：
接收第一信号，所述第一信号表示第一对象完全呈现在物理显示器上；
接收表示第二对象的第二信号，所述第二对象具有呈现在所述物理显示器上的第一部分和延伸超出所述物理显示器的边界的第二部分；
接收表示第三对象的第三信号，所述第三对象最初呈现在所述物理显示器上并且随后完全移动超出所述物理显示器的边界；
响应于接收到所述第二信号，在所述第二对象的第一部分被呈现在所述物理显示器上的同时，使所述第二对象的第二部分经由可穿戴扩展现实装置呈现在虚拟空间中；以及
响应于接收到所述第三信号，在所述第三对象被完全呈现在所述物理显示器上之后，使所述第三对象经由所述可穿戴扩展现实装置完全呈现在所述虚拟空间中。
260.一种用扩展现实显示增强物理显示的方法，所述方法包括：
接收第一信号，所述第一信号表示第一对象完全呈现在物理显示器上；
接收表示第二对象的第二信号，所述第二对象具有呈现在所述物理显示器上的第一部分和延伸超出所述物理显示器的边界的第二部分；
接收表示第三对象的第三信号，所述第三对象最初呈现在所述物理显示器上并且随后完全移动超出所述物理显示器的边界；
响应于接收到所述第二信号，在所述物理显示器上呈现所述第二对象的所述第一部分的同时，使所述第二对象的所述第二部分经由可穿戴扩展现实装置呈现在虚拟空间中；以及
响应于接收到所述第三信号，在所述第三对象被完全呈现在所述物理显示器上之后，使所述第三对象经由所述可穿戴扩展现实装置完全呈现在所述虚拟空间中。
CN202280023924.6A 2021-02-08 2022-02-08 用于生产力的扩展现实 Pending CN117043709A (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US63/147,051 2021-02-08
US63/157,768 2021-03-07
US63/173,095 2021-04-09
US63/213,019 2021-06-21
US63/215,500 2021-06-27
US63/216,335 2021-06-29
US63/226,977 2021-07-29
US63/300,005 2022-01-16
US202263307217P 2022-02-07 2022-02-07
US63/307,217 2022-02-07
US63/307,203 2022-02-07
US63/307,207 2022-02-07
PCT/US2022/015546 WO2022170221A1 (en) 2021-02-08 2022-02-08 Extended reality for productivity

Publications (1)

Publication Number Publication Date
CN117043709A true CN117043709A (zh) 2023-11-10

Family

ID=88641712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280023924.6A Pending CN117043709A (zh) 2021-02-08 2022-02-08 用于生产力的扩展现实

Country Status (1)

Country Link
CN (1) CN117043709A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170242480A1 (en) * 2014-10-06 2017-08-24 Koninklijke Philips N.V. Docking system
US20170285758A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Sharing Across Environments
CN107896508A (zh) * 2015-04-25 2018-04-10 肖泉 可以作为多个目标/端点（设备）和的整合点的以人为中心的“设备的超ui”体系结构的方法和设备，以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统
WO2019126175A1 (en) * 2017-12-20 2019-06-27 Vuzix Corporation Augmented reality display system
US20190362557A1 (en) * 2018-05-22 2019-11-28 Magic Leap, Inc. Transmodal input fusion for a wearable system
US20200051527A1 (en) * 2018-08-07 2020-02-13 Apple Inc. Detection and display of mixed 2d/3d content
CN110832441A (zh) * 2017-05-19 2020-02-21 奇跃公司 用于虚拟、增强和混合现实显示系统的键盘
CN112105983A (zh) * 2018-05-08 2020-12-18 苹果公司 增强的视觉能力

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170242480A1 (en) * 2014-10-06 2017-08-24 Koninklijke Philips N.V. Docking system
CN107896508A (zh) * 2015-04-25 2018-04-10 肖泉 可以作为多个目标/端点（设备）和的整合点的以人为中心的“设备的超ui”体系结构的方法和设备，以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统
US20170285758A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Sharing Across Environments
CN110832441A (zh) * 2017-05-19 2020-02-21 奇跃公司 用于虚拟、增强和混合现实显示系统的键盘
WO2019126175A1 (en) * 2017-12-20 2019-06-27 Vuzix Corporation Augmented reality display system
CN112105983A (zh) * 2018-05-08 2020-12-18 苹果公司 增强的视觉能力
US20190362557A1 (en) * 2018-05-22 2019-11-28 Magic Leap, Inc. Transmodal input fusion for a wearable system
US20200051527A1 (en) * 2018-08-07 2020-02-13 Apple Inc. Detection and display of mixed 2d/3d content

Similar Documents

Publication Publication Date Title
US11927986B2 (en) Integrated computational interface device with holder for wearable extended reality appliance
US12236008B2 (en) Enhancing physical notebooks in extended reality
WO2022170221A1 (en) Extended reality for productivity
JP7663915B2 (ja) 生産性のためのエクステンデッド・リアリティ
CN117043709A (zh) 用于生产力的扩展现实

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination