CN113157084A - 基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间选择器 - Google Patents

Abstract

本发明涉及基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间选择器。本发明公开了一种方法，该方法包括经由多个输入设备中的第一个输入设备检测指向计算机生成的现实(CGR)环境的第一候选虚拟空间位置的主要输入。第一候选虚拟空间位置是基于主要输入的肢体跟踪功能的输出。该方法包括经由多个输入设备中的第二个输入设备检测指向CGR环境的第二候选虚拟空间位置的辅助输入。第二候选虚拟空间位置是基于辅助输入的眼睛跟踪功能的输出。该方法包括根据第一候选虚拟空间位置和第二候选虚拟空间位置将受用户控制的空间选择器定位到CGR环境的虚拟空间位置。

Description

基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间 选择器

相关申请的交叉引用

本申请要求于2020年1月14日提交的美国临时专利申请62/961026号的优先权，该申请全文以引用方式并入。

技术领域

本公开涉及定位受用户控制的空间选择器，并且具体地，涉及基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间选择器。

背景技术

先前可用的设备可显示计算机生成的现实环境。然而，当前应用程序不提供用于准确确定虚拟对象与受用户控制的空间选择器之间的虚拟接触的虚拟空间位置的机制。当前应用程序也不提供用于准确确定虚拟接触何时发生的机制。例如，一些系统利用肢体跟踪来估计用户的肢体相对于虚拟对象的位置。然而，由肢体跟踪提供的估计不准确，因此关于用户是否正在选择虚拟对象的评估同样不准确。

发明内容

根据一些具体实施，在具有一个或多个处理器、非暂态存储器和多个输入设备的电子设备处执行一种方法。该方法包括经由多个输入设备中的第一个输入设备检测指向计算机生成的现实(CGR)环境的第一候选虚拟空间位置的主要输入。第一候选虚拟空间位置是基于主要输入的肢体跟踪功能的输出。该方法包括经由多个输入设备中的第二个输入设备检测指向 CGR环境的第二候选虚拟空间位置的辅助输入。第二候选虚拟空间位置是基于辅助输入的眼睛跟踪功能的输出。该方法包括根据第一候选虚拟空间位置和第二候选虚拟空间位置将受用户控制的空间选择器定位到CGR环境的虚拟空间位置。

根据一些具体实施，一种电子设备包括一个或多个处理器、非暂态存储器和多个输入设备。一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行本文所述的方法中的任一种方法的操作的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由电子设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种方法的操作。根据一些具体实施，一种电子设备包括用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。根据一些具体实施，一种用于在电子设备中使用的信息处理装置包括用于执行或导致执行本文所述方法中的任一种方法的操作的装置。

附图说明

为了更好地理解各种所述具体实施，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。

图1是根据一些具体实施的便携式多功能设备的示例的框图。

图2是根据一些具体实施的操作环境的示例。

图3A-图3E是根据一些具体实施的基于肢体跟踪和眼睛跟踪将受用户控制的空间选择器定位在CGR环境内的示例。

图4是根据一些具体实施的用于基于肢体跟踪和眼睛跟踪将受用户控制的空间选择器定位在CGR环境内的系统的框图的示例。

图5是根据一些具体实施的基于肢体跟踪和眼睛跟踪将受用户控制的空间选择器定位在CGR环境内的方法的流程图。

具体实施方式

一些系统利用手部跟踪来确定增强现实(AR)或虚拟现实(VR)环境内的空间选择点。例如，手部跟踪确定与用户的手相关联的手部跟踪区域，并且系统可选择手部跟踪区域的中心点作为空间选择点。然而，由于手部跟踪的不准确性，空间选择点通常不对应于用户的手的实际位置。在一些情况下，空间选择点和实际位置之间的偏移导致系统在确定用户试图选择多个显示的虚拟元素中的哪个虚拟元素时出错。

相比之下，本文所公开的各种具体实施包括基于肢体跟踪信息和眼睛跟踪信息来将受用户控制的空间选择器定位在计算机生成的现实(CGR) 环境内。通过使用肢体跟踪信息和眼睛跟踪信息，电子设备确定关于用户是否正在选择虚拟对象的与先前不利用眼睛跟踪的系统相比更准确的评估。在一些具体实施中，电子设备确定与肢体跟踪和眼睛跟踪相关联的相应置信水平，并且使用相应置信水平来定位受用户控制的空间选择器。例如，眼睛跟踪特征包括CGR环境的特征(例如，CGR环境的亮度水平、CGR 环境与CGR对象之间的对比度水平、CGR对象被选择的可能性)、用户是否正在察看周边、用户的眼睛注视位置的历史数据等。在一些具体实施中，电子设备确定肢体跟踪特征(例如，用户握持铅笔，用户的肢体摇晃)，并且使用肢体跟踪特征来确定与肢体跟踪数据相关联的置信水平。

现在将详细地参考具体实施，这些具体实施的实施例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的具体实施的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的具体实施可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使具体实施的各个方面晦涩难懂。

还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的具体实施的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。

在本文中对各种所述具体实施的描述中所使用的术语只是为了描述特定具体实施的目的，而并非旨在进行限制。如在对各种所述具体实施的描述中和所附权利要求书中所使用的那样，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。

如本文中所使用，根据上下文，术语“如果”任选地被解释为意指“当…时”或“在…时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定…”或“如果检测到[所陈述的条件或事件]”任选地被解释为意指“在确定…时”或“响应于确定…”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。

描述了用于与各种计算机生成的现实技术相关地使用此类系统的电子系统和技术的各种示例。

物理布景是指各个人可在不使用电子系统的情况下感测和/或交互的世界。物理布景诸如物理公园包括物理元素，诸如物理野生动物、物理树木和物理植物。人们可例如使用一种或多种感觉(包括视觉、嗅觉、触觉、味觉和听觉)直接感测物理布景和/或以其他方式与物理布景进行交互。

与物理布景相比，计算机生成的现实(CGR)布景是指各个人通过使用电子系统可感测和/或以其他方式与之交互的完全的(或部分的)计算机生成的布景。在CGR中，局部地监视人的移动，并且响应于此，以与一个或多个物理定律一致的方式来改变与CGR布景中的至少一个虚拟对象对应的至少一个属性。例如，响应于CGR系统检测到人向上看，CGR系统能够以与此类声音和外观会在物理布景中改变的方式一致的方式来调整呈现给人的各种音频和图形。也可响应于移动的表示(例如，语音命令)而进行对CGR布景中的虚拟对象的属性的调整。

人可以利用一种或多种感觉，诸如视觉、嗅觉、味觉、触觉和听觉来感测CGR对象和/或与CGR对象交互。例如，人可感测创建多维或空间声学布景的对象和/或与其交互。多维或空间声学布景为个人提供了在多维空间中对离散声源的感知。此类对象还可实现声学透明性，该声学透明性可在具有或没有计算机生成的音频的情况下选择性地结合来自物理布景的音频。在某些CGR布景中，人可仅感测音频对象和/或仅与其交互。

虚拟现实(VR)是CGR的一个示例。VR布景是指被配置为仅包括针对一种或多种感觉的计算机生成的感官输入的增强布景。VR布景包括人可以感测和/或交互的多个虚拟对象。人可通过在计算机生成的布景内模拟人动作中的至少一些动作和/或通过模拟人或其在计算机生成的布景内的存在来感测VR布景中的虚拟对象和/或与其交互。

混合现实(MR)是CGR的另一个示例。MR布景是指被配置为将计算机生成的感官输入(例如，虚拟对象)与来自物理布景的感官输入或来自物理布景的感官输入的表示进行集成的增强布景。在现实频谱上，MR布景介于一端处的完全物理布景和另一端处的VR布景之间并且不包括这些布景。

在一些MR布景中，计算机生成的感官输入可基于来自物理布景的感官输入的变化而被调整。另外，用于呈现MR布景的一些电子系统可以检测相对于物理布景的位置和/或取向，以实现真实对象(即来自物理布景的物理元素或其表示)与虚拟对象之间的交互。例如，系统可检测移动并相应地调整计算机生成的感官输入，使得例如虚拟树相对于物理结构看起来是固定的。

增强现实(AR)是MR的示例。AR布景是指一个或多个虚拟对象叠加在物理布景(或其表示)之上的增强布景。例如，电子系统可包括不透明显示器和用于捕获物理布景的视频和/或图像的一个或多个成像传感器。例如，此类视频和/或图像可以是物理布景的表示。视频和/或图像与虚拟对象组合，其中该组合随后被显示在不透明显示器上。物理布景可由人经由物理布景的图像和/或视频间接地查看。因此，人可观察叠加在物理布景上的虚拟对象。当系统捕获物理布景的图像并且使用所捕获的图像在不透明显示器上显示AR布景时，所显示的图像被称为视频透传。另选地，透明或半透明显示器可被包括在用于显示AR布景的电子系统中，使得个体可通过透明或半透明显示器直接查看物理布景。虚拟对象可被显示在半透明或透明显示器上，使得个体观察叠加在物理布景上的虚拟对象。在另一个示例中，可利用投影系统以便将虚拟对象投影到物理布景上。例如，虚拟对象可在物理表面上被投影，或作为全息图，使得个体观察叠加在物理布景之上的虚拟对象。

AR布景也可指其中物理布景的表示被计算机生成的感官数据修改的增强布景。例如，物理布景的表示的至少一部分能够以图形方式修改(例如，放大)，使得所修改的部分仍可表示初始捕获的图像(但不是完全复制的版本)。另选地，在提供视频透传时，可修改一个或多个传感器图像，以便施加与由图像传感器捕获的视点不同的特定视点。再如，物理布景的表示的部分可通过以图形方式将该部分进行模糊处理或消除该部分而被改变。

增强虚拟(AV)是MR的另一个示例。AV布景是指虚拟的或计算机生成的布景结合来自物理布景的一个或多个感官输入的增强布景。此类感官输入可包括物理布景的一个或多个特征的表示。虚拟对象可例如结合与由成像传感器捕获的物理元素相关联的颜色。另选地，虚拟对象可采用与例如对应于物理布景的当前天气状况一致的特征，诸如经由成像识别的天气状况、在线天气信息和/或与天气相关的传感器。又如，AR公园可包括虚拟结构、植物和树木，尽管AR公园布景内的动物可包括从物理动物的图像准确复制的特征。

各种系统允许人们感测CGR布景和/或与其交互。例如，头戴式系统可包括一个或多个扬声器和不透明显示器。又如，外部显示器(例如，智能电话)可结合到头戴式系统内。头戴式系统可包括用于捕获物理布景的音频的麦克风和/或用于捕获物理布景的图像/视频的图像传感器。头戴式系统中还可包括透明或半透明显示器。半透明或透明显示器可例如包括基板， (表示图像的)光通过该基板被引导到人的眼睛。显示器还可包含LED、 OLED、硅基液晶、激光扫描光源、数字光投影仪或它们的任何组合。光透射穿过的基板可以是光学反射器、全息基板、光波导、光合路器或它们的任何组合。透明或半透明显示器可例如选择性地在透明/半透明状态和不透明状态之间转变。又如，电子系统可以是基于投影的系统。在基于投影的系统中，视网膜投影可用于将图像投影到人的视网膜上。另选地，基于投影的系统还可将虚拟对象投影到物理布景中，例如，诸如将虚拟对象投影为全息图或投影到物理表面上。CGR系统的其他示例包括被配置为显示图形的窗口、头戴式耳机、耳机、扬声器布置、被配置为显示图形的透镜、平视显示器、被配置为显示图形的汽车挡风玻璃、输入机构(例如，具有或不具有触觉功能的控制器)、台式或膝上型计算机、平板电脑或智能电话。

图1是根据一些具体实施的便携式多功能设备100(为了简洁起见，在本文中有时也称为“电子设备100”)的示例的框图。电子设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器 122、一个或多个处理单元(CPU)120、外围设备接口118、输入/输出 (I/O)子系统106、扬声器111、触敏显示系统112、惯性测量单元(IMU)130、图像传感器143(例如，相机)、接触强度传感器165、音频传感器 113(例如麦克风)、眼睛跟踪传感器164(例如，包括在头戴式设备 (HMD)内)、肢体跟踪传感器150以及其他输入或控制设备116。在一些具体实施中，电子设备100对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备、头戴式设备(HMD)、头戴式壳体(例如，电子设备 100滑动到或以其他方式附接到头戴式壳体)等中的一者。在一些具体实施中，头戴式壳体被成形为形成用于接收具有显示器的电子设备100的接收器。

在一些具体实施中，外围设备接口118、一个或多个处理单元120和存储器控制器122任选地在单个芯片诸如芯片103上实现。在一些其他具体实施中，它们任选地在独立的芯片上实现。

I/O子系统106将电子设备100上的输入/输出外围设备诸如触敏显示系统112和其他输入或控制设备116与外围设备接口118耦接。I/O子系统 106任选地包括显示控制器156、图像传感器控制器158、强度传感器控制器159、音频控制器157、眼睛跟踪控制器162、用于其他输入或控制设备的一个或多个输入控制器160、IMU控制器132、肢体跟踪控制器180和隐私子系统170。一个或多个输入控制器160从其他输入或控制设备116接收电信号/将电信号发送到该其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的具体实施中，一个或多个输入控制器160 任选地与以下各项中的任一者耦接(或不与以下各项中的任一者耦接)：键盘、红外线端口、通用串行总线(USB)端口、触笔、和/或指针设备诸如鼠标。一个或多个按钮任选地包括用于扬声器111和/或音频传感器113 的音量控制的增大/减小按钮。一个或多个按钮任选地包括下压按钮。在一些具体实施中，其他输入或控制设备116包括获取关于电子设备100相对于物理环境的位置和/或取向的信息的定位系统(例如，GPS)。在一些具体实施中，其他输入或控制设备116包括获取与用户的眼睛注视相关联的深度信息的深度传感器(例如，飞行时间传感器)。

触敏显示系统112提供电子设备100与用户之间的输入接口和输出接口。显示控制器156从触敏显示系统112接收电信号和/或将电信号发送至触敏显示系统。触敏显示系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些具体实施中，一些视觉输出或全部视觉输出对应于用户界面对象。如本文所用，术语“示能表示”是指用户交互式图形用户界面对象(例如，被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接、或其他用户界面控件。

触敏显示系统112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器或传感器组。触敏显示系统112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示系统 112上的接触(和该接触的任何移动或中断)，并且将检测到的接触转换为与被显示在触敏显示系统112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在示例性具体实施中，触敏显示系统112 和用户之间的接触点对应于用户的手指或触笔。

触敏显示系统112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他具体实施中使用其他显示技术。触敏显示系统112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触敏显示系统112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性技术、电阻性技术、红外线技术和表面声波技术。

用户任选地使用任何合适的物体或附加物诸如触笔、手指等来与触敏显示系统112接触。在一些具体实施中，将用户界面设计成与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些具体实施中，电子设备100将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。

扬声器111和音频传感器113提供用户与电子设备100之间的音频接口。音频电路从外围设备接口118接收音频数据，将音频数据转换为电信号，并且将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路还接收由音频传感器113(例如，麦克风)从声波转换的电信号。音频电路将电信号转换为音频数据，并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输到存储器102和/或RF电路。在一些具体实施中，音频电路还包括耳麦插孔。该耳麦插孔提供音频电路与可移除的音频输入/输出外围设备之间的接口，该可移除的音频输入/输出外围设备为诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。

惯性测量单元(IMU)130包括加速度计、陀螺仪和/或磁力仪，以便测量相对于电子设备100的各种力、角速率和/或磁场信息。因此，根据各种具体实施，IMU检测电子设备100的一个或多个位置改变输入，诸如电子设备100被摇动、旋转、沿特定方向移动等。

图像传感器143捕获静态图像和/或视频。在一些具体实施中，光学传感器143位于电子设备100的背面上，与电子设备100正面上的触摸屏相背对，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些具体实施中，另一图像传感器143位于电子设备100的正面上，使得获取该用户的图像(例如，用于自拍、用于当用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。在一些具体实施中，图像传感器集成在HMD内。

接触强度传感器165检测电子设备100上的接触的强度(例如，电子设备100的触敏表面上的触摸输入)。接触强度传感器165与I/O子系统 106中的强度传感器控制器159耦接。接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从物理环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些具体实施中，至少一个接触强度传感器165与电子设备100的触敏表面并置排列或邻近。在一些具体实施中，至少一个接触强度传感器165位于电子设备100的侧面上。

眼睛跟踪传感器164检测电子设备100的用户的眼睛注视，并且生成指示用户的眼睛注视的眼睛跟踪数据。在各种具体实施中，眼睛跟踪数据包括指示用户在显示面板上的固定点(例如，关注点)的数据，该显示面板为诸如头戴式设备(HMD)、头戴式壳体或平视显示器内的显示面板。

肢体跟踪传感器150获取指示用户的肢体位置的肢体跟踪数据。例如，在一些具体实施中，肢体跟踪传感器150对应于获取指示CGR环境内用户的手或手指的位置的手部跟踪数据的手部跟踪传感器。在一些具体实施中，肢体跟踪传感器150利用计算机视觉技术以基于相机图像来估计肢体的姿态。

在各种具体实施中，电子设备100包括隐私子系统170，该隐私子系统170包括与用户信息相关联的一个或多个隐私设置滤波器，诸如包括在与用户相关联的眼睛注视数据和/或身体位置数据中的用户信息。在一些具体实施中，隐私子系统170选择性地防止和/或限制电子设备100或其部分获取和/或传输用户信息。为此，隐私子系统170响应于提示用户进行用户偏好和/或选择来从用户接收用户偏好和/或选择。在一些具体实施中，隐私子系统170防止电子设备100获取和/或传输用户信息，除非并且直到隐私子系统170从用户获取到知情同意。在一些具体实施中，隐私子系统170 匿名化(例如，加扰或模糊)某些类型的用户信息。例如，隐私子系统170 接收指定隐私子系统170匿名化哪些类型的用户信息的用户输入。作为另一示例，隐私子系统170独立于用户指定(例如，自动地)匿名化可能包括敏感和/或识别信息的某些类型的用户信息。

图2是根据一些具体实施的操作环境200的示例。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

如图2所示，操作环境200包括握持电子设备220的用户210。在一些具体实施中，电子设备220对应于移动设备，诸如智能电话、膝上型电脑、平板电脑等。在一些具体实施中，电子设备220与图1中的电子设备100 类似并且从其修改而来。

根据各种具体实施，电子设备220经由包括在电子设备220中的显示设备显示CGR环境。在一些具体实施中，CGR环境对应于虚拟现实(VR) 环境，其独立于与电子设备220相关联的物理(例如，真实世界)环境的特征。在一些具体实施中，CGR环境对应于增强现实(AR)环境，其包括虚拟对象以及物理环境的特征，诸如经由集成在电子设备220中的图像传感器获取的特征。

电子设备220与视场222相关联。例如，电子设备220包括捕获操作环境200的一部分的图像传感器(例如，相机)，并且该部分由图像传感器的视场222限定。根据各种具体实施，基于来自图像传感器的图像数据，电子设备220执行肢体跟踪和眼睛跟踪，以便将受用户控制的空间选择器定位到CGR环境的虚拟空间位置，诸如参考图3A至图3E、图4和图5所述。

图3A至图3E是根据一些具体实施的基于肢体跟踪和眼睛跟踪将受用户控制的空间选择器定位在CGR环境内的示例。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

如图3A所示，操作环境300包括具有左手312和右手314的用户310。用户310的左手312正握持包括显示设备324诸如显示面板的电子设备320。电子设备320与视场326相关联。例如，电子设备320包括捕获操作环境 300的一部分的图像传感器(例如，相机)，并且该部分由图像传感器的视场326限定。

在一些具体实施中，电子设备320对应于包括集成显示器(例如，内置显示器)的头戴式设备(HMD)，该集成显示器显示CGR环境，诸如 AR环境或VR环境。在一些具体实施中，电子设备320包括头戴式壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。在各种具体实施中，头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如，图2所示的电子设备220)的接收器。例如，在一些具体实施中，电子设备220滑动/卡扣到头戴式壳体中或以其他方式附接到该头戴式壳体。在一些具体实施中，附接到头戴式壳体的设备的显示器呈现(例如，显示)CGR环境。例如，在一些具体实施中，电子设备 220对应于可附接到头戴式壳体的移动电话。在各种具体实施中，电子设备220的示例包括智能电话、平板电脑、媒体播放器、膝上型电脑等。

如图3B所示，电子设备320的显示设备324显示包括多个虚拟示能表示的虚拟对象330，该多个虚拟示能表示包括第一虚拟示能表示330a、第二虚拟示能表示330b和第三虚拟示能表示330c。例如，多个虚拟示能表示 330a-330c中的每个虚拟示能表示是用户可选择的，并且响应于选择，电子设备320执行对应的操作，诸如改变所显示的CGR环境。

如图3C所示，显示设备324包括虚拟对象330。此外，用户310已经转动为面向虚拟对象330，并且用户已经将用户的右手314向上朝向第三虚拟示能表示330c抬起。右手314的手指331与第三虚拟示能表示330c的一部分进行交互(例如，接触)。第三虚拟示能表示330c的所述部分由接触区域332表示，其在图3C中出于纯粹解释的目的示出。电子设备320相对于右手314的手指331执行肢体跟踪功能，以便确定CGR环境的第一候选虚拟空间位置336。出于纯粹解释的目的，在图3C中示出了第一候选虚拟空间位置336。电子设备320经由第一输入设备检测指向第一候选虚拟空间位置336的主要输入。第一候选虚拟空间位置336可对应于手指331所接触的虚拟对象330内的估计位置，如由肢体跟踪功能所确定的。在图3C中示出了偏移线338(出于纯粹解释的目的)，以便示出与手指331相关联的接触区域332与第一候选虚拟空间位置336之间的视差。视差是由肢体跟踪功能的固有不准确性引起的。由于第一候选虚拟空间位置336对应于第二虚拟示能表示330b并且接触区域332对应于第三虚拟示能表示330c，因此电子设备320可执行与用户310的预期操作相反的操作。为了考虑视差，除了肢体跟踪之外，本文所公开的各种具体实施还包括利用眼睛跟踪的电子设备320。

为此，如图3D所示，电子设备320相对于右手314的手指331实现眼睛跟踪功能，以便确定CGR环境的第二候选虚拟空间位置342。出于纯粹解释的目的，在图3D中示出了第二候选虚拟空间位置342。电子设备320 经由第二输入设备检测指向第二候选虚拟空间位置342的辅助输入。第二候选虚拟空间位置342可对应于用户310正观看的虚拟对象330内的估计位置。

根据各种具体实施，电子设备320利用肢体跟踪功能和眼睛跟踪功能的加权组合。例如，电子设备320在电子设备320经由肢体跟踪功能确定手指331位于距多个虚拟示能表示330a-330c中的一个虚拟示能表示的阈值距离内的时间点处或在该时间点附近注册第二候选虚拟空间位置342。又如，当眼睛跟踪数据指示用户310正在察看周边时，电子设备320丢弃肢体跟踪信息，这可指示用户310可能不想在该时间点处选择虚拟示能表示。在图3D中示出了偏移线344(出于纯粹解释的目的)，以便指示与手指331 相关联的接触区域332与第二候选虚拟空间位置342之间的视差。在一些具体实施中，与第一候选虚拟空间位置336不同，第二候选虚拟空间位置 342与和接触区域332相关联的相同的第三虚拟示能表示330c相关联。

电子设备320根据第一候选虚拟空间位置336和第二候选虚拟空间位置342将受用户控制的空间选择器定位到CGR环境的虚拟空间位置。例如，受用户控制的空间选择器的位置大约是第一候选虚拟空间位置336和第二候选虚拟空间位置342之间的中间点。又如，受用户控制的空间选择器的位置取决于与第一候选虚拟空间位置336和第二候选虚拟空间位置342相关联的相应置信水平，如下文将描述的。因此，电子设备320还通过利用眼睛跟踪信息来减少与肢体跟踪相关联的测量误差。

在一些具体实施中，如图3E所示，电子设备320的显示设备324在 CGR环境内的虚拟空间位置处显示受用户控制的空间选择器350。通过显示受用户控制的空间选择器350，电子设备320通过指示手指331的当前测量位置来向用户310提供反馈。因此，电子设备320增加了电子设备320 选择旨在由用户310选择的虚拟示能表示的可能性。

图4是根据一些具体实施的用于基于肢体跟踪和眼睛跟踪将受用户控制的空间选择器定位在CGR环境内的系统410的框图的示例。在一些具体实施中，系统410或其部件由图1中的电子设备100或图2中的电子设备 220来实现。在一些具体实施中，系统410或其部件由图3A至图3E中的电子设备320实现。

系统410包括第一输入设备420，该第一输入设备检测指向CGR环境 412的第一候选虚拟空间位置的主要输入402。例如，第一输入设备420包括获取与CGR环境412相关联的环境数据的环境传感器(例如，图像传感器和/或深度传感器)。系统410包括主要输入跟踪器422(例如，肢体跟踪器)。在一些具体实施中，主要输入跟踪器422基于主要输入402实现肢体跟踪功能。在一些具体实施中，主要输入跟踪器422利用主要输入402 和CGR环境412来确定第一候选虚拟空间位置。

在一些具体实施中，系统410利用肢体跟踪置信水平424，其表示主要输入跟踪器422对第一候选虚拟空间位置的准确度的置信水平。例如，主要输入跟踪器422向主要输入402分配相对较低的置信水平，因为主要输入跟踪器422确定所跟踪的肢体不稳定，诸如握手，或者所跟踪的肢体的一部分在由第一输入设备420获取的数据中不可见。因此，系统410对第一候选虚拟空间位置的权重小于与眼睛跟踪相关联的第二候选虚拟空间位置。

系统410包括第二输入设备430，该第二输入设备检测指向CGR环境 412的第二候选虚拟空间位置的辅助输入404。例如，第二输入设备430包括获取与CGR环境412相关联的环境数据的环境传感器(例如，图像传感器和/或深度传感器)。在一些示例中，第二输入设备430是与第一输入设备420不同的设备。在其他示例中，第二输入设备430是与第一输入设备 420相同的设备。

系统410包括辅助输入跟踪器432。在一些具体实施中，辅助输入跟踪器432基于辅助输入404实现眼睛跟踪功能。例如，在一些具体实施中，系统410基于辅助输入404根据眼睛跟踪功能确定深度估计，并且至少部分地基于深度估计来确定虚拟空间位置460。在一些具体实施中，辅助输入跟踪器432利用辅助输入404和CGR环境412来确定第二候选虚拟空间位置。

在一些具体实施中，系统410利用眼睛跟踪置信水平434，其表示辅助输入跟踪器432对第二候选虚拟空间位置的准确度的置信水平。例如，辅助输入跟踪器432为辅助输入404分配相对较高的置信水平，因为环境数据指示CGR环境的高亮度水平和/或CGR环境内的可选虚拟示能表示与 CGR环境的周围部分之间的高对比度水平。又如，辅助输入跟踪器432为辅助输入404分配相对较低的置信水平，因为辅助输入跟踪器432确定眼睛注视指向用户的周边，诸如通过检测用户眼睛的微跳。在一些具体实施中，在确定虚拟空间位置460时，系统410根据相应的置信水平对与肢体跟踪相关联的第一候选虚拟空间位置和与眼睛跟踪相关联的第二候选虚拟空间位置进行加权。

在一些具体实施中，系统410在历史眼睛跟踪数据存储库440中缓冲由辅助输入跟踪器432生成的历史数据。系统410可以根据历史数据确定虚拟空间位置460。当用户的肢体(例如，用户的手指)遮挡眼睛跟踪时，使用历史数据可能是有用的。

系统410包括虚拟空间位置管理器450，该虚拟空间位置管理器根据第一候选虚拟空间位置和第二候选虚拟空间位置将受用户控制的空间选择器定位到CGR环境的虚拟空间位置460。在一些具体实施中，虚拟空间位置管理器450进一步根据与辅助输入跟踪器432相关联的历史数据来定位受用户控制的空间选择器。在一些具体实施中，虚拟空间位置管理器450 基于与第一候选虚拟空间位置和第二候选虚拟空间位置相关联的相应置信水平来定位受用户控制的空间选择器。例如，虚拟空间位置管理器450至少基于主要输入402的特征和辅助输入404的特征来确定是否使用辅助输入404将受用户控制的空间选择器定位到虚拟空间位置。响应于确定不使用辅助输入404，虚拟空间位置管理器450可为第二候选虚拟空间位置设置标称权重。

图5是根据一些具体实施的基于肢体跟踪和眼睛跟踪将受用户控制的空间选择器定位在CGR环境内的方法500的流程图。在各种具体实施中，方法500或其部分由电子设备(例如，图1中的电子设备100或图2中的电子设备220)和/或HMD(例如图3A至图3E中的电子设备320)执行。在一些具体实施中，方法500由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在各种具体实施中，方法500中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。

如框502所示，方法500包括经由多个输入设备中的第一个输入设备检测指向CGR环境的第一候选虚拟空间位置的主要输入。在一些具体实施中，第一候选虚拟空间位置是基于主要输入的肢体跟踪功能的输出。例如，第一候选虚拟空间位置对应于CGR环境的表面、示能表示或对象中的一者。如框504所表示，在一些具体实施中，CGR环境包括多个虚拟示能表示，诸如图3B所示的第一虚拟示能表示330a、第二虚拟示能表示330b和第三虚拟示能表示330c。在一些具体实施中，多个虚拟示能表示满足相对于彼此的接近标准。例如，多个虚拟示能表示彼此邻接或彼此相距小于阈值距离。

第一候选虚拟空间位置可以位于多个虚拟示能表示中的特定的一个虚拟示能表示内。在这些情况下，使用肢体跟踪和眼睛跟踪的组合有助于将受用户控制的空间选择器定位到位于旨在由用户选择的多个虚拟示能表示中的特定的一个虚拟示能表示内的虚拟空间位置。

如框506所示，在一些具体实施中，方法500包括经由多个输入设备中的第一个输入设备获取表示CGR环境的CGR环境数据。例如，电子设备包括用于感测CGR环境的图像传感器、深度传感器、触敏表面传感器和触笔输入接收器(例如，从与电子设备配对的触笔接收触笔数据)的组合。此外，在一些具体实施中，方法500包括将CGR环境数据提供给实现肢体跟踪功能的肢体跟踪传感器。

如框508所示，方法500包括实现肢体跟踪功能。即，第一候选虚拟空间位置是基于主要输入的肢体跟踪功能的输出，诸如上文参考图4所示的主要输入跟踪器422所述。在一些具体实施中，肢体跟踪功能基于CGR 环境数据。

如框510所示，方法500包括经由多个输入设备中的第二个输入设备检测指向CGR环境的第二候选虚拟空间位置的辅助输入。在一些具体实施中，第二候选虚拟空间位置是基于辅助输入的眼睛跟踪功能的输出。例如，第二候选虚拟空间位置对应于多个虚拟示能表示中的特定的一个虚拟示能表示内的位置。

如框512所示，在一些具体实施中，方法500包括经由多个输入设备中的第二个输入设备获取表示CGR环境的CGR环境数据。例如，电子设备包括用于感测CGR环境的图像传感器、深度传感器等的组合。此外，在一些具体实施中，方法500包括将CGR环境数据提供给实现眼睛跟踪功能的眼睛跟踪传感器。

如框514所示，方法500包括实现眼睛跟踪功能。例如，眼睛跟踪功能通过使用集成在HMD内的眼睛跟踪传感器来确定用户的眼睛注视。上文参考图4所示的辅助输入跟踪器432描述眼睛跟踪功能的细节。如框516 所示，在一些具体实施中，方法500包括基于辅助输入根据眼睛跟踪功能来确定深度估计，其中虚拟空间位置是深度估计的函数。例如，辅助输入跟踪器432基于与用户眼睛相关联的聚散度值来确定深度。如框518所示，在一些具体实施中，方法500包括获取与眼睛跟踪传感器相关联的历史数据，其中虚拟空间位置是历史数据的另外的函数。在一些具体实施中， HMD存储眼睛跟踪数据，并且稍后检索和利用所存储的眼睛跟踪数据。例如，响应于确定用户的肢体遮挡虚拟示能表示，HMD利用所存储的眼睛跟踪数据，从而降低对应的肢体跟踪的准确性。

如框520所示，在一些具体实施中，方法500包括确定主要输入和辅助输入的特征。特性可指示相应输入的可靠性(例如，置信水平)。例如，确定用户的眼睛注视在用户的周边可指示眼睛跟踪具有相对较低的可靠性水平。另一方面，确定用户稳定地握持铅笔可指示肢体跟踪具有相对较高的可靠性水平。为此，如框522所示，在一些具体实施中，方法500包括基于主要输入的特征确定第一候选虚拟空间位置的第一置信水平，以及基于辅助输入的特征确定第二候选虚拟空间位置的第二置信水平。虚拟空间位置可以是第一置信水平和第二置信水平的另外的函数。在一些具体实施中，方法500包括至少基于主要输入的特征和辅助输入的特征来确定是否使用辅助输入将受用户控制的空间选择器定位到虚拟空间位置。例如，根据确定不使用辅助输入，方法500包括为第二候选虚拟空间位置设置标称权重。将第二候选虚拟空间位置设置为标称权重可包括完全忽略第二候选虚拟空间位置，使得虚拟空间位置根本不取决于第二候选虚拟空间位置。

如框524所示，方法500包括根据所述第一候选虚拟空间位置和所述第二候选虚拟空间位置将受用户控制的空间选择器定位在CGR环境的虚拟空间位置。在一些具体实施中，定位受用户控制的空间选择器包括基于相应的置信水平对第一候选虚拟空间位置和第二候选虚拟空间位置进行加权。在一些具体实施中，定位受用户控制的空间选择器进一步是深度估计和/或与眼睛跟踪相关联的历史数据的另外的函数。在一些具体实施中，定位受用户控制的空间选择器是头部姿态信息(例如，头部倾斜)和/或身体姿态信息(例如，姿势、步态)的另外的函数。

如框526所示，在一些具体实施中，方法500包括基于虚拟空间位置选择多个虚拟示能表示中的特定的一个虚拟示能表示。例如，参考图3A至图3E，电子设备320基于执行肢体跟踪以及与用户310的手指331相关联的眼睛跟踪来选择第三虚拟示能表示330c。

如框528所示，在一些具体实施中，方法500包括经由包括在电子设备中的显示设备在虚拟空间位置处显示受用户控制的空间选择器。例如，参考图3E，电子设备320的显示设备324显示受用户控制的空间选择器 350。

本公开描述了各种特征，其中没有一个特征能够单独实现本文所述的益处。应当理解，本文所述的各种特征可被组合、修改或省略，这对本领域的普通技术人员是显而易见的。本文具体描述的那些之外的其他组合和子组合对于普通技术人员而言将显而易见，并旨在形成本公开的一部分。本文结合各种流程图步骤和/或阶段描述了各种方法。应当理解，在很多情况下，某些步骤和/或阶段可被组合在一起，使得流程图中所示的多个步骤和/或阶段可作为单个步骤和/或阶段来被执行。另外，某些步骤和/或阶段可分成要独立执行的附加子部件。在一些情况下，可重新布置步骤和/或阶段的次序，并且可完全省略某些步骤和/或阶段。另外，本文所述的方法应被理解为可广泛解释的，使得也可执行除本文所示和所述那些之外的附加步骤和/或阶段。

本文所述的一些或所有方法和任务可由计算机系统执行和完全自动化。在一些情况下，计算机系统可包括通过网络进行通信和互操作以执行所述功能的多个不同的计算机或计算设备(例如，物理服务器、工作站、存储阵列等)。每个此类计算设备通常包括处理器(或多个处理器)，该处理器执行存储在存储器或其他非暂态计算机可读存储介质或设备中的程序指令或模块。本文所公开的各种功能可在此类程序指令中实现，但另选地可在计算机系统的专用电路(例如，ASIC或FPGA或GP-GPU)中实现所公开的功能中的一些或全部。在计算机系统包括多个计算设备的情况下，这些设备可位于同一位置或不位于同一位置。可通过将物理存储设备诸如固态存储器芯片和/或磁盘转换成不同状态来持久地存储所公开的方法和任务的结果。

本文定义的各种过程考虑了获取和利用用户的个人信息的选项。例如，可利用此类个人信息以便在电子设备上提供改进的隐私屏幕。然而，在收集此类个人信息的程度上，此类信息应在用户知情同意的情况下获取。如本文所描述的，用户应了解和控制其个人信息的使用。

个人信息将由适当方仅用于合法和合理的目的。利用此类信息的各方将遵守至少符合适当法律法规的隐私政策和惯例。此外，此类政策应是完善的、用户可访问的，并且被认为符合或高于政府/行业标准。此外，除任何合理和合法的目的外，各方不得分发、出售或以其他方式分享此类信息。

然而，用户可限制各方能访问或以其他方式获取个人信息的程度。例如，可调整设置或其他偏好，使得用户可决定其个人信息是否可由各种实体访问。此外，虽然在使用个人信息的上下文中描述了本文所定义的一些特征，但可在不需要使用此类信息的情况下实现这些特征的各方面。例如，如果收集到用户偏好、账户名称和/或位置历史，则该信息可被模糊化或以其他方式一般化，使得该信息不会识别相应用户。

本公开并不旨在限于本文所示的具体实施。对于本领域的技术人员而言，对本公开中描述的具体实施的各种修改可为显而易见的，并且可将本文所定义的一般原理应用于其他具体实施，而不脱离本公开的实质或范围。本文所提供的本发明的教导内容可应用于其他方法和系统，并且不限于上述方法和系统，并且可组合上述各种具体实施的元素和动作以提供更多具体实施。因此，本文描述的新颖方法和系统可以以多种其他形式来实现；此外，在不脱离本公开的实质的情况下，可以对本文所述的方法和系统的形式进行各种省略、替换和改变。所附权利要求及其等同内容旨在涵盖落入本公开的范围和实质内的此类形式或修改形式。

Claims (20)

1.一种方法，包括：

在包括一个或多个处理器、非暂态存储器和多个输入设备的电子设备处：

经由所述多个输入设备中的第一个输入设备检测指向计算机生成的现实(CGR)环境的第一候选虚拟空间位置的主要输入，其中所述第一候选虚拟空间位置是基于所述主要输入的肢体跟踪功能的输出；

经由所述多个输入设备中的第二个输入设备检测指向所述CGR环境的第二候选虚拟空间位置的辅助输入，其中所述第二候选虚拟空间位置是基于所述辅助输入的眼睛跟踪功能的输出；以及

根据所述第一候选虚拟空间位置和所述第二候选虚拟空间位置，将受用户控制的空间选择器定位到所述CGR环境的虚拟空间位置。

2.根据权利要求1所述的方法，还包括经由包括在所述电子设备中的显示设备在所述虚拟空间位置处显示所述受用户控制的空间选择器。

3.根据权利要求1所述的方法，还包括至少基于所述主要输入的特征和所述辅助输入的特征来确定是否使用所述辅助输入将所述受用户控制的空间选择器定位到所述虚拟空间位置。

4.根据权利要求3所述的方法，还包括根据确定不使用所述辅助输入来设置所述第二候选虚拟空间位置的标称权重。

5.根据权利要求1所述的方法，其中所述多个输入设备中的所述第一个输入设备获取表示所述CGR环境的CGR环境数据，所述方法还包括将所述CGR环境数据提供给实现所述肢体跟踪功能的肢体跟踪传感器。

6.根据权利要求1所述的方法，其中所述多个输入设备中的所述第二个输入设备获取表示所述CGR环境的CGR环境数据，所述方法还包括将所述CGR环境数据提供给实现所述眼睛跟踪功能的眼睛跟踪传感器。

7.根据权利要求6所述的方法，还包括基于所述辅助输入根据所述眼睛跟踪功能来确定深度估计，其中所述虚拟空间位置是所述深度估计的另外的函数。

8.根据权利要求6所述的方法，还包括获取与所述眼睛跟踪传感器相关联的历史数据，其中所述虚拟空间位置是所述历史数据的另外的函数。

9.根据权利要求1所述的方法，其中所述第一候选虚拟空间位置和所述第二候选虚拟空间位置满足相对于彼此的接近标准。

10.根据权利要求1所述的方法，还包括：

基于所述主要输入的特征确定所述第一候选虚拟空间位置的第一置信水平；以及

基于所述辅助输入的特征确定所述第二候选虚拟空间位置的第二置信水平；

其中所述虚拟空间位置是所述第一置信水平和所述第二置信水平的另外的函数。

11.根据权利要求1所述的方法，其中CGR环境包括多个虚拟示能表示，所述方法还包括基于所述虚拟空间位置来选择所述多个虚拟示能表示中的特定的一个虚拟示能表示。

12.根据权利要求11所述的方法，其中所述多个虚拟示能表示满足相对于彼此的接近标准。

13.根据权利要求1所述的方法，其中所述电子设备对应于包括集成显示设备的头戴式设备(HMD)。

14.一种电子设备，包括：

一个或多个处理器；

非暂态存储器；

多个输入设备；和

一个或多个程序，其中所述一个或多个程序存储在所述非暂态存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：

经由所述多个输入设备中的第一个输入设备检测指向计算机生成的现实(CGR)环境的第一候选虚拟空间位置的主要输入，其中所述第一候选虚拟空间位置是基于所述主要输入的肢体跟踪功能的输出；

经由所述多个输入设备中的第二个输入设备检测指向所述CGR环境的第二候选虚拟空间位置的辅助输入，其中所述第二候选虚拟空间位置是基于所述辅助输入的眼睛跟踪功能的输出；以及

根据所述第一候选虚拟空间位置和所述第二候选虚拟空间位置，将受用户控制的空间选择器定位到所述CGR环境的虚拟空间位置。

15.根据权利要求14所述的电子设备，所述一个或多个程序包括用于以下操作的附加指令：

经由所述多个输入设备中的所述第一个输入设备获取表示所述CGR环境的CGR环境数据；以及

将所述CGR环境数据提供给实现所述肢体跟踪功能的肢体跟踪传感器。

16.根据权利要求14所述的电子设备，所述一个或多个程序包括用于以下操作的附加指令：

经由所述多个输入设备中的所述第二个输入设备获取表示所述CGR环境的CGR环境数据；以及

将所述CGR环境数据提供给实现所述眼睛跟踪功能的眼睛跟踪传感器。

17.根据权利要求14所述的电子设备，所述一个或多个程序包括用于基于所述辅助输入根据所述眼睛跟踪功能来确定深度估计的附加指令，其中所述虚拟空间位置是所述深度估计的另外的函数。

18.根据权利要求14所述的电子设备，其中所述第一候选虚拟空间位置和所述第二候选虚拟空间位置满足相对于彼此的接近标准。

19.根据权利要求14所述的电子设备，所述一个或多个程序包括用于以下操作的附加指令：

基于所述主要输入的特征确定所述第一候选虚拟空间位置的第一置信水平；以及

基于所述辅助输入的特征确定所述第二候选虚拟空间位置的第二置信水平；

其中所述虚拟空间位置是所述第一置信水平和所述第二置信水平的另外的函数。

20.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由具有一个或多个处理器和多个输入设备的电子设备执行时，使得所述电子设备：

经由所述多个输入设备中的第一个输入设备检测指向计算机生成的现实(CGR)环境的第一候选虚拟空间位置的主要输入，其中所述第一候选虚拟空间位置是基于所述主要输入的肢体跟踪功能的输出；

经由所述多个输入设备中的第二个输入设备检测指向所述CGR环境的第二候选虚拟空间位置的辅助输入，其中所述第二候选虚拟空间位置是基于所述辅助输入的眼睛跟踪功能的输出；以及

根据所述第一候选虚拟空间位置和所述第二候选虚拟空间位置，将受用户控制的空间选择器定位到所述CGR环境的虚拟空间位置。

Images