CN119472983A - 用于眼睛跟踪校准的装置、系统和方法 - Google Patents

Abstract

一种信息处理装置包括：分析电路，用于在观看由头戴式显示器“HMD”显示的显示图像时，接收包括用户的至少一只眼睛的捕获的图像，并且根据捕获的图像中的至少一些来检测用户的一个或多个眼睛属性，并且生成指示用户的眼睛属性中的一个或多个的眼睛信息；控制电路，用于根据眼睛信息来控制与要向用户显示的一个或多个眼睛跟踪校准图像相关联的图像亮度；以及处理电路，用于输出眼睛跟踪校准图像中的一个或多个以用于由HMD显示。

Description

用于眼睛跟踪校准的装置、系统和方法

技术领域

本公开涉及眼睛跟踪领域。具体地，本公开涉及用于改进眼睛跟踪校准的装置、系统和方法。

背景技术

本文中提供的“背景技术”描述是出于总体上呈现本公开的上下文的目的。目前署名的发明人的工作，就其在该背景技术部分中描述的程度而言，以及在提交时可能没有资格作为现有技术的描述的方面，既不明确地也不隐含地被承认为针对本发明的现有技术。

眼睛跟踪系统用于识别对象在环境内的凝视的位置；在许多情况下，该位置可以是显示屏幕上正由对象查看的位置。在许多现有布置中，这是使用指向对象的眼睛(或多只眼睛)的一个或多个面向内(inwards-facing)的相机来执行的，以便确定眼睛在任何给定时间取向的方向。在识别眼睛的取向之后，可以确定凝视方向，并且可以将聚焦区域确定为每只眼睛的凝视方向的交叉点。

凝视跟踪被认为特别有用的一个应用是在头戴式显示单元(HMD)中使用。由于面向内的相机非常接近用户的眼睛，因此在HMD中的使用可能是特别有益的，与不可能为相机提供这种接近度的布置相比，允许更准确和精确地执行跟踪。

通过利用凝视检测技术，可以提供用于生成内容或与设备交互的更高效和/或有效的处理方法。

例如，凝视跟踪可以用于提供用户输入或辅助这样的输入—在一个位置处的持续凝视可以充当选择，或者伴随有另一输入(诸如按钮按压)的朝向特定对象的凝视可以被认为是合适的输入。在一些实施例中，这作为输入方法可能更有效，特别是在没有提供控制器的那些实施例中或者当用户具有有限的移动性时。

中央凹渲染(foveal rendering)是使用凝视跟踪过程的结果以提高内容生成过程的效率的示例。中央凹渲染是利用人类视觉仅能够识别狭窄区域(中央凹)中的高细节这一事实而执行的渲染，具有辨别在该区域之外急剧衰减的细节的能力。

在这样的方法中，根据用户的凝视方向，显示器的一部分被识别为聚焦区域。显示器的该部分提供高质量的图像内容，而显示器的剩余区域提供较低质量(因此生成的资源密集度较低)的图像内容。这可以更有效地使用可用的处理资源，而不会显著降低用户的图像质量。

因此，能够改进眼睛跟踪方法和/或以改进的方式应用这些方法的结果被认为是有利的。正是在这种背景下产生了本公开。

发明内容

本发明的各个方面和特征在所附权利要求书中和所附说明书的文本内限定。

附图说明

本技术将仅通过示例的方式进一步描述，其中

参考如附图中所示的其实施例，其中：

图1是示出娱乐设备的示例的示意图；

图2是示出由用户佩戴的头戴式显示器“HMD”的示意图；

图3A示意性地示出HMD的平面图；

图3B示意性地示出了近眼跟踪布置；

图4示意性地示出了凝视跟踪环境；

图5是示出信息处理装置的示意图；以及

图6是示出方法的示意性流程图。

具体实施方式

现在将参照附图仅通过示例的方式描述本发明的实施例，其中：

图1示意性地示出了示例娱乐设备(诸如PlayStation(PS5)娱乐设备)。

娱乐设备1包括中央处理器(CPU)20。这可以是单核或多核处理器(诸如如PS5中包括八个核)。娱乐设备还包括图形处理单元(GPU)30。GPU可以与CPU物理分离，或者与CPU集成为片上系统(SoC)，如PS5中那样。

娱乐设备还包括RAM 40，并且可以具有用于CPU和GPU中的每一个的单独的随机存取存储器(RAM)，或者如图1所示的共享RAM。因此，CPU和GPU都可以访问RAM。该RAM或每个RAM可以是物理分离的，或者集成为SoC的一部分(如PS5中的)。进一步的存储由盘50提供，作为外部或内部硬盘驱动器，或者作为外部固态驱动器，或者内部固态驱动器(如PS5中的)。

娱乐设备可以视情况经由一个或多个数据端口60发送和/或接收数据，诸如通用串行总线(USB)端口、端口、端口等。它还可以可选地经由光学驱动器70接收数据。

来自娱乐设备的音频/视频输出通常通过一个或多个A/V端口90(诸如HDMI端口)或通过有线或无线数据端口60中的一个或多个来提供。

用于显示由娱乐系统输出的图像的设备的示例是由用户1佩戴的头戴式显示器“HMD”120，诸如PlayStation VR 2“PSVR2”。

在组件未被集成的情况下，它们可以通过专用数据链路或经由总线100适当地连接。

与娱乐设备的交互通常使用一个或多个手持控制器(130、130A)来提供，诸如在PS5的情况下的控制器(130)，和/或在HMD的情况下的一个或多个VR控制器(130A-L、130A-R)。

因此，图1提供了娱乐设备的示例，该娱乐设备适合于执行用于执行交互式内容的处理并生成视频图像和音频以输出给用户。娱乐设备可以用于玩视频游戏，该视频游戏可以由娱乐设备本地执行和/或由一个或多个远程服务器执行。娱乐设备可以例如生成用于由诸如电视和/或头戴式显示单元120的一个或多个设备输出的图像和音频。除了视频游戏之外，可以使用这样的娱乐设备访问其他内容(诸如有声读物、播客、在线视频、电影、电视节目、音乐曲目、音乐播放列表等)。

图2示意性地示出了用户10在用户的头部30上佩戴HMD 20(作为通用头戴式装置的示例，其他示例可以包括音频耳机或头戴式光源)的示例。

HMD 20包括框架40和显示部分50，在该示例中框架40由后带和顶带形成。如上所述，许多凝视跟踪布置可以被认为特别适合于在HMD系统中使用；然而，与这种HMD系统一起使用不应被认为是必要的。

注意，图2的HMD可以包括下面将结合其他附图描述的另外的特征，但是为了该初始解释的清楚起见，这些特征未在图2中示出。

图2的HMD完全(或至少基本上完全)遮挡用户对周围环境的视线。在许多实施例中，用户能够看到的只是HMD内显示的一对图像，如由外部处理设备(诸如游戏控制台)提供的。当然，在一些实施例中，图像可以替代地(或附加地)由处理器生成或从位于HMD本身处的存储器获得。

HMD具有适配到用户的左耳和右耳70中的相关联的耳机音频转换器或听筒(earpieces)60。听筒60重放从外部源提供的音频信号，该外部源可以与提供视频信号以显示给用户眼睛的视频信号源相同。

用户仅能够看到由HMD显示的内容，并且受制于听筒和相关联的电子器件的噪声阻挡或主动消除特性的限制，仅能够听到经由听筒提供的内容的事实的组合意味着该HMD可以被认为是所谓的“全沉浸式”HMD。然而，注意，在一些实施例中，HMD不是全沉浸式HMD，并且可以为用户提供至少一些设施以看到和/或听到用户的周围环境。这可以通过在显示布置中提供一定程度的透明度或部分透明度，和/或通过经由HMD的显示器投影外部的视图(使用相机，例如安装在HMD上的相机捕获)，和/或通过允许环境声音传输经过听筒和/或通过提供麦克风以根据环境声音生成输入声音信号(用于发送到听筒)。

在使用中，前向相机122可以将图像捕获到HMD的前方。在一些实施例中，这样的图像可以用于头部跟踪的目的，同时它也可以适合于捕获用于增强现实(AR)风格体验的图像。天线124可以提供通信设施，或者可以简单地布置为定向天线，以允许检测附近发送器的方向。

在操作中，提供视频信号以用于由HMD显示。这可以由外部视频信号源80(诸如视频游戏机或数据处理装置(诸如个人计算机))提供，在这种情况下，信号可以通过有线或无线连接发送到HMD。合适的无线连接的示例包括连接。用于听筒60的音频信号可以由相同的连接承载。类似地，从HMD传递到视频(音频)信号源的任何控制信号可以由相同的连接承载。此外，电源83(包括一个或多个电池和/或可连接到市电电源插座)可以通过电缆链接到HMD。注意，电源83和视频信号源80可以是单独的单元，或者可以体现为同一物理单元。可以存在用于电力和视频(并且实际上用于音频)信号供应的单独的电缆，或者这些电缆可以被组合以在单个电缆(例如，使用单独的导体，如在USB电缆中，或者以与“以太网供电”布置类似的方式，其中数据作为平衡信号承载，并且电力作为直流，通过相同的物理电线集合)上承载。视频和/或音频信号可以由例如光纤电缆承载。在其他实施例中，与生成用于呈现给用户的图像和/或音频信号相关联的功能的至少一部分可以由形成HMD本身的一部分的电路和/或处理来执行。电源可以作为HMD本身的一部分提供。

本公开的一些实施例适用于具有将HMD链接到另一设备(诸如电源和/或视频(和/或音频)信号源)的至少一个电缆和/或光缆的HMD。因此，本公开的实施例可以包括例如：

(a)具有其自己的电源(作为HMD布置的一部分)但电缆连接到视频和/或音频信号源的HMD；

(b)具有到电源和到视频和/或音频信号源的电缆连接的HMD，该电缆连接被实施为单个物理电缆或多于一个物理电缆；

(c)具有其自己的视频和/或音频信号源(作为HMD布置的一部分)和到电源的电缆连接的HMD；或

(d)具有到视频和/或音频信号源的无线连接和到电源的电缆连接的HMD。

如果使用一个或多个电缆，则从技术角度来看，电缆进入或连接HMD的物理位置不是特别重要。在美学上，并且为了避免(一个或多个)电缆在操作中刷擦用户的面部，通常情况是电缆将在HMD的侧面或背面进入或连接HMD(相对于在正常操作中佩戴时用户头部的取向)。因此，图2中电缆相对于HMD的位置应仅视为示意性表示。

因此，图2的布置提供了头戴式显示系统的示例，该头戴式显示系统包括要安装到观察者的头部上的框架，该框架限定在使用中位于观察者的相应眼睛前方的一个或两个眼睛显示位置以及相对于每个眼睛显示位置安装的显示元件(显示单元)，该显示元件向观察者的该眼睛提供来自视频信号源的视频信号的视频显示的虚拟图像。

图2仅示出了HMD的一个示例。其他格式是可能的：例如，HMD可以使用更类似于与常规眼镜相关联的框架，即从显示部分向后延伸到用户耳朵的顶部后部的基本上水平的腿，可能在耳朵后面向下弯曲。在其他(非完全沉浸)示例中，用户对外部环境的视线实际上可能不会被完全遮挡；所显示的图像可以被布置成在外部环境上叠加(从用户的视角)。

图3A和图3B示意性地示出了用于使用HMD上的传感器执行眼睛跟踪的两种可能的布置。可以自由地选择设置在这种布置内的相机，以便能够执行有效的眼睛跟踪方法。在一些现有布置中，可见光相机用于捕获用户的眼睛的图像。替代地或另外地，可以使用红外(IR)相机，以便减少捕获的信号中的干扰或者如果提供相应的光源则与用户的视觉的干扰，或者改善低光条件下的性能。

图3A示出了眼睛跟踪布置的示例，其中图像传感器(例如，相机)被布置在HMD内以便从短距离捕获用户的眼睛的图像。这可以被称为近眼跟踪或头戴式跟踪。

在该示例中，具有显示元件(显示单元)601的HMD提供有图像传感器610，每个图像传感器610被布置成使用不包括透镜620的光路直接捕获用户的眼睛中的相应一只眼睛的一个或多个图像。因为能够避免由于透镜的光学效应引起的捕获的图像中的失真，这可能是有利的。这里示出了四个图像传感器610作为可以提供眼睛跟踪图像传感器的可能位置的示例，但是应当考虑，可以在任何合适的位置提供任何数量的图像传感器，以便能够有效地对对应的眼睛进行成像。例如，可以仅为每只眼睛提供一个图像传感器，或者可以为每只眼睛提供多于两个的图像传感器。

然而，认为在多个实施例中，图像传感器被替代地布置成在用于捕获眼睛的图像的光路中包括透镜620，有利的是。这样的位置的示例由图像传感器630示出。虽然这可能导致需要进行处理以使得能够执行适当准确的跟踪，但是因透镜引起的捕获的图像中的变形，由于对应的图像传感器和镜头的固定相对位置，这可以相对简单地执行。例如，将透镜包括在光路内的优点可以是简化对HMD的设计的物理约束。

图3B示出了凝视跟踪布置的示例，其中图像传感器被替代地布置以便间接地捕获用户的眼睛的图像。这样的布置可以特别适合于与红外(IR)图像传感器或其他不可见光源一起使用，如从下面的描述中将显而易见的。

图3B包括布置在显示器601和观看者的眼睛之间的镜子650(当然，这可以适当地扩展到或复制在用户的另一只眼睛处)。为了清楚起见，在该图中省略了任何附加的光学器件(诸如透镜)—应当理解，它们可以存在于所描绘的布置内的任何合适的位置处。选择这种布置中的镜子650以便部分透射；也就是说，镜子650应当被选择为使得图像传感器640能够在用户观看显示器601时获得用户的眼睛的图像。实现这一点的一种方法是提供反射IR波长但透射可见光的镜子650—这使得用于跟踪的IR光能够从用户的眼睛朝向图像传感器640反射，同时由显示器601发射的光不间断地穿过镜子。

这样的布置可以是有利的，因为例如图像传感器可以更容易地布置在用户的视线之外。此外，由于图像传感器从沿着用户的眼睛和显示器之间的轴有效地(由于反射)的位置捕获图像的事实，可以获得对眼睛跟踪的准确度的改进。

因此，图3A和图3B示出了用于在观看由HMD显示的显示图像时捕获包括用户的至少一只眼睛的图像的示例图像传感器布置。除了改变捕获图像的位置之外，眼睛跟踪布置还可以在执行捕获的图像数据的处理(例如，以确定跟踪数据和/或确定校准参数)的位置上不同。在一些情况下，可以在HMD处执行这种处理。替代地或另外地，此处理可以由经由有线及/或无线通信中的一个或多个接收所捕获的图像数据的另一设备执行。

图4示意性地示出了可以执行眼睛跟踪处理的环境。在该示例中，用户800正在使用与处理单元830(诸如游戏控制台)相关联的HMD 810，其中外围设备820允许用户800输入命令以控制处理。HMD 810可以根据例如由图3A或图3B例示的布置来执行眼睛跟踪，也就是说，HMD 810可以包括可操作以捕获用户800的眼睛中的任一个或两个的图像的一个或多个图像传感器。处理单元830可操作以生成用于在HMD 810处显示的内容；尽管内容生成中的一些(或全部)可以由HMD 810内的处理单元执行。

图4中的示例布置还包括位于HMD 810外部的相机840和显示器850。在一些情况下，相机840可以用于在使用HMD 810时执行对用户800的跟踪，例如以识别身体运动或头部取向。可以提供相机840和显示器850以及HMD 810，或代替HMD 810；例如，这些可以用于捕获第二用户的图像并在第一用户800使用HMD 810时向该用户显示图像，或者可以利用这些元件而不是HMD 810来跟踪第一用户800并观看内容。也就是说，显示器850可以可操作以显示由处理单元830提供的所生成的内容，并且相机840可以可操作以捕获一个或多个用户的眼睛的图像以使得能够执行眼睛跟踪。

虽然图4中所示的连接由线示出，但是这当然不应被认为意味着连接应该是有线的；任何合适的连接方法(包括诸如无线网络或的无线连接)可以被认为是合适的。类似地，虽然图4中示出了专用处理单元830，但是还认为可以以分布式方式执行处理-诸如使用HMD 810、一个或多个处理单元、远程服务器(云处理)，或游戏控制台中的两个或更多个的组合。

根据用户800的一只眼睛或多只眼睛的捕获的图像生成跟踪信息所需的处理可以由HMD 810本地执行，或者捕获的图像或一个或多个检测的结果可以被发送到外部设备(诸如处理单元830)以进行处理。在前一种情况下，如果不是在HMD 810处专门执行这种处理，则HMD 810可以将处理的结果输出到外部设备以用于图像生成处理。在HMD 810不存在的情况下，来自相机840的捕获的图像被输出到处理单元830以进行处理。

眼睛跟踪布置通常涉及校准过程，其中向用户显示一个或多个校准图像(通常是图像的序列)，以便获得用户的一个或多个校准参数。该一个或多个校准图像包括具有已知位置的目标(例如，校准刺激)，该已知位置将以用户的凝视方向作为目标。当已知眼睛以给定校准目标作为目标时，通过显示校准目标并检测眼睛的特征，可以建立检测到的特征与校准目标的实际位置之间的关系。例如，可以检测瞳孔中心的位置和角膜反射的位置。因此，可以计算瞳孔中心和角膜反射之间的矢量(有时称为瞳孔-角膜反射矢量)，并且可以使用这种矢量和校准目标的位置之间的关系来获得用户的一个或多个校准参数。通常，可以显示包括多个不同定位的校准目标的一个或多个校准图像，使得可以针对屏幕的不同区域实现校准。因此，通常执行校准以建立对用户的眼睛的检测结果(例如，瞳孔-角膜反射矢量)与显示器上的对应的位置之间的关系。

发明人已经认识到，根据下面要讨论的技术，可以实现关于与眼睛跟踪校准相关的处理效率、处理时间，和/或用户舒适度的改进。

现在参照图5，根据本公开的实施例的信息处理装置500包括分析电路510、控制电路520，以及处理电路530。信息处理装置500可以被提供作为诸如关于图1描述的娱乐设备的一部分。

在本公开的一些实施例中，信息处理装置500可以是头戴式显示器，诸如以上参照图2描述的。信息处理装置500可以是包括一个或多个图像传感器(例如，610、630)的头戴式显示器，该一个或多个图像传感器被配置为当用户正在观看显示图像时捕获包括用户的至少一只眼睛(或两只眼睛)的一个或多个图像。一个或多个图像传感器可以包括用于捕获此类图像的任何合适的图像传感器，包括一个或多个红外图像传感器和一个或多个可见图像传感器(例如，RGB相机)中的一个或多个。

在本公开的一些实施例中，信息处理装置500可以是可操作以经由有线(例如，USB)和/或无线通信(例如，)中的一个或多个接收捕获图像的设备(诸如娱乐设备1或处理单元830)。因此，作为HMD的一部分提供的图像传感器可以捕获包括用户的眼睛中的一只或两只的图像，并且捕获的图像中的至少一些或每一个可以被传送到数据处理装置500以根据下面将要讨论的技术进行分析。可以可选地使用任何合适的图像编解码方案对捕获的图像中的一个或多个进行编码。因此，处理电路530可以可操作以使用有线和/或无线通信中的一个或多个来输出图像以用于由HMD显示。

因此，本公开的一些实施例提供了一种系统，该系统包括信息处理装置500和头戴式显示器(HMD)，该头戴式显示器包括一个或多个图像传感器(例如，红外图像传感器和彩色图像传感器中的一个或多个)以在观看由HMD显示的图像期间捕获包括佩戴HMD的用户的至少一只眼睛的一个或多个图像，以及通信电路，该通信电路可操作以经由有线(例如，USB)和/或无线(例如，)通信将捕获的图像中的至少一些传送到信息处理装置500。

分析电路510可操作以在观看由HMD显示的显示图像时接收包括用户的至少一只眼睛的捕获的图像。在一些情况下，捕获的图像可以包括佩戴HMD的用户的单只眼睛。在其他情况下，捕获的图像可以包括佩戴HMD的用户的双眼。图像可能已经根据上面参照图2-图4讨论的任何技术被捕获，或者可以使用其他合适的眼睛跟踪布置来捕获。通常，在HMD显示图像期间，可以根据下面将要讨论的技术来捕获和分析用户的眼睛的图像。在一些示例中，用户正在观看的图像可以对应于内容(例如，电影或游戏)和/或可以对应于与校准图像的序列相关联的校准图像的子集。在一些示例中，还可以使用与捕获用户的眼睛的图像时的图像亮度相关联的信息。以这种方式，可以使用图像亮度与一个或多个检测到的眼睛属性之间的关系。例如，可以使用检测到的瞳孔尺寸和与其相关联的图像亮度，使得可以检测瞳孔尺寸随图像亮度的变化。替代地，在一些情况下，可以为用户捕获多个图像，并且用户的最大瞳孔尺寸的检测和用户的最小瞳孔尺寸的检测可以能够用于下面将要讨论的技术中的至少一些。

分析电路510可操作以根据捕获的图像中的至少一些来检测用户的一个或多个眼睛属性。可以检测到的眼睛属性可以包括与用户眼睛中的一只或两只的物理特征相关的物理眼睛属性和/或行为属性。例如，可以在捕获的图像中的一个或多个中检测至少一只眼睛的物理属性(诸如虹膜颜色和/或瞳孔尺寸)。替代地或另外地，可以基于捕获的图像中的一个或多个来检测一种或多种类型的眼睛状况。随后更详细地讨论可以使用所捕获的图像中的一个或多个来检测的其他可能的眼睛属性。

分析电路510可操作以生成眼睛信息。眼睛信息提供已经从对捕获的图像中一个或多个的分析中检测到的用户的眼睛的一个或多个属性的指示。例如，眼睛信息可以指示检测到的瞳孔尺寸、检测到的瞳孔尺寸范围，和/或检测到的虹膜颜色。具体地，可以指示绝对大小、绝对范围，和颜色值中的一个或多个。替代地，可以生成眼睛信息以指示检测到的用户的眼睛属性落在给定范围内。例如，眼睛信息可以指示检测到用户的虹膜颜色落在预定义范围内(并且因此对应于预定颜色)。替代地或另外地，眼睛信息可以指示检测到的用户的瞳孔尺寸的范围是否小于预定义范围。预定义范围可以例如具有X mm的值(其中X可以是例如在0.1-1mm范围内的值)。响应于检测到用户的瞳孔尺寸范围(其可以基于对一只或两只眼睛的分析来检测)小于X mm，可以生成眼睛信息以指示检测到的用户的瞳孔尺寸范围小于预定义范围。可选地，响应于检测到不小于X mm的使用的瞳孔尺寸范围，可以生成眼睛信息以指示检测到的用户的瞳孔尺寸范围大于或等于预定义范围，或者替代地，对于这样的用户，可以不生成与瞳孔尺寸范围有关的眼睛信息，使得可以将该信息的缺失推断为瞳孔尺寸范围大于或等于预定义范围。

可以使用包括用户的至少一只眼睛的红外图像和/或彩色图像来检测用户的至少一只眼睛的虹膜颜色。HMD可以包括对红外和/或可见光敏感的图像传感器，以捕获图像中的一个或多个。已知的图像分析技术可以用于检测对应于虹膜的图像区域和与提取的虹膜相关联的像素值。例如，可以使用轮廓检测技术和其他图像分割技术。像素值可以包括多通道值，诸如RGB值(例如，对于红色、绿色和蓝色通道中的每一个为8位)或灰度值。可以执行对与图像的虹膜区域相关联的这种像素值的分析，并且相应地生成指示虹膜颜色的眼睛信息。例如，可以对与虹膜区域相关联的像素值执行颜色分类，以获得虹膜颜色的颜色分类。例如，可以使用对应于不同眼睛颜色(诸如灰色、蓝色、绿色、淡褐色、棕色和黑色)的多个分类。在一些示例中，可以分析红外图像的灰度值(或者可以通过处理彩色图像以对红色、绿色和蓝色像素值求平均以获得灰度值来获得)。可以执行对与图像的虹膜区域相关联的灰度值的分析，并且相应地生成指示虹膜颜色的眼睛信息。

通常，虹膜颜色由眼睛前部的一定量的色素(黑色素)造成，其影响入射光的吸收和散射。较深颜色的虹膜通常包括较大量的色素，因此散射较少的光，而较浅颜色的虹膜(例如蓝色和灰色)通常包括少得多的量的这种色素，因此散射更多的光。更一般地，具有减少的黑色素的虹膜将吸收更少的入射光，从而使眼睛看起来更浅。除此之外，其结果是具有较浅颜色虹膜的眼睛通常可能对光更敏感，因为具有较少的色素以保护免受亮光。因此，对与虹膜区域相关联的灰度值的分析可以使来生成指示虹膜颜色的眼睛信息。例如，对于范围在0和255之间的灰度值，其中0对应于黑色，255对应于白色，由于较浅虹膜的散射属性，较高的灰度值通常将与较浅颜色的虹膜相关。因此，可以分析与虹膜区域相关联的灰度值(例如，平均值，诸如均值、中值或众数)以确定相关联的虹膜颜色。例如，关于灰度值的全范围(例如，在8位通道的情况下为0-255)的相应子范围可以各自与不同的预定眼睛颜色(例如，黑色、棕色、淡褐色、绿色、蓝灰色)相关联，并且可以识别对应于对捕获的图像中的虹膜区域计算的平均(例如，均值、众数或中位数)灰度值的子范围，并且相应地生成眼睛信息以指示与该子范围相关联的虹膜颜色。因此，更一般地，对与捕获的图像中的虹膜区域相关联的灰度值的分析可以用于从多个预定虹膜颜色中确定用户的眼睛的给定虹膜颜色，每个虹膜颜色与灰度值的相应子范围相关联。因此，在一些情况下，可以生成眼睛信息以指示检测到的虹膜颜色是否在虹膜颜色的预定范围内(例如，包括蓝色和灰色虹膜颜色的预定范围)。

因此，更一般地，分析电路510可操作以生成指示用户的一个或多个检测到的眼睛属性的用户的眼睛信息。上面已经介绍了一些示例眼睛属性，并且稍后更详细地讨论其他可能的眼睛属性。

控制电路520可操作以根据眼睛信息控制与要向用户显示的一个或多个眼睛跟踪校准图像相关联的图像亮度。因此，根据用户的检测到的眼睛属性(例如，虹膜颜色、虹膜尺寸、检测到的眼睛状况类型，和/或检测到的行为属性等)中的一个或多个来控制要向用户显示的一个或多个眼睛跟踪校准图像的图像亮度，使得随后可以显示适合于用户的眼睛属性的一个或多个眼睛跟踪校准图像。处理电路530可操作以输出眼睛跟踪校准图像中的一个或多个以用于由HMD显示。

由控制电路520执行以控制由HMD向用户显示的一个或多个眼睛跟踪校准图像的图像亮度的操作可以采用使用一种或多种硬件和/或软件技术的各种不同形式。通常，可以通过控制HMD本身(通过控制如以下所描述的背光阵列设置)和/或控制要由HMD显示的校准图像的像素值来实现对图像亮度的控制。通常，控制电路520可操作以根据眼睛信息控制与要向用户显示的一个或多个眼睛跟踪校准图像相关联的图像亮度，使得在显示一个或多个眼睛跟踪校准图像期间入射在用户的眼睛上的光的量受到控制。这可以通过控制HMD和/或控制要显示的图像的像素值来实现。

在一些情况下，可以通过控制与HMD的显示元件相关联的背光阵列来实现对与要向佩戴HMD的用户显示的一个或多个校准图像相关联的图像亮度的控制。与HMD的显示元件相关联的背光阵列(例如，LED阵列)可以具有可调整的硬件亮度设置，该可调整的硬件亮度设置可以响应于由控制电路生成的控制信号而被设置。例如，对于许多现有HMD(诸如)，背光阵列可以被设置为在0％和100％之间的亮度设置，以改变尼特的数量，使得可以实现较低的图像亮度和较高的图像亮度。替代地或另外地，图像处理技术可以用于控制与要向佩戴HMD的用户显示的一个或多个校准图像相关联的图像亮度。例如，可以执行图像处理技术以控制像素值，从而控制要显示的图像的图像亮度。具体地，在像素具有RGB通道(例如，每个通道8位)的图像的情况下，可以通过对每个颜色通道应用缩放因子来控制与这种图像相关联的亮度。在一些示例中，可以通过向每个颜色通道添加缩放因子来实现图像亮度操纵。因此，更一般地，控制电路520可操作以控制要向佩戴HMD的用户显示的一个或多个眼睛跟踪校准图像的图像亮度，并且这可以通过基于硬件的技术和/或基于软件的图像处理操作技术来实现。

因此，在本公开的一些实施例中，控制电路520被配置为控制与HMD相关联的背光阵列，从而控制与要向用户显示的一个或多个眼睛跟踪校准图像相关联的图像亮度。例如，要向用户显示的校准图像的序列可以由处理电路530输出，并且控制电路可以生成用于控制背光阵列的控制信号。背光阵列可以被控制为在显示一个或多个眼睛跟踪校准图像期间具有单个亮度，或者可以被控制为在显示期间具有两个或更多个不同的亮度。

在本公开的一些实施例中，控制电路520被配置为根据眼睛信息生成眼睛跟踪校准图像中的一个或多个用于显示。因此，可以根据眼睛信息执行图像处理。替代地或另外地，在一些情况下，可以对一个或多个先前生成的眼睛跟踪校准图像(在本文中也称为校准图像)进行后处理以调整图像亮度。替代地或另外地，可以从多个预定校准图像(例如，校准图像库)中选择眼睛跟踪校准图像中的一个或多个以在校准期间使用。具体地，眼睛跟踪校准图像中的一个或多个可以从存储电路中选择，该存储电路存储多个预定校准图像以在校准期间使用。替代地或另外地，可以通过响应于眼睛信息选择校准模式来选择眼睛跟踪校准图像中的一个或多个。因此，更一般地，处理由控制电路520执行，以便根据用户的眼睛信息来控制与要向用户显示的一个或多个眼睛跟踪校准图像相关联的图像亮度。

在下面的讨论中，对控制图像亮度的引用是指控制背光阵列和控制像素值中的一个或两者。此外，下面讨论的用于控制要向用户显示的一个或多个眼睛跟踪校准图像的图像亮度的技术中的任何一个可以通过控制背光阵列或图像处理或两者的组合来实现。

对于大多数人，预期瞳孔尺寸在高亮度环境和低亮度环境之间显著变化。较小的瞳孔尺寸通常与较高的亮度相关联，而较大的瞳孔尺寸通常与较低的亮度相关联。出于这个原因，通常期望校准图像(眼睛跟踪校准图像)具有与内容图像(例如，视频游戏图像)相同或至少类似的图像亮度，使得在类似于观看内容期间预期的条件下可以获得用户预期的瞳孔尺寸的校准参数。因此，出于各种原因，眼睛跟踪校准在一些情况下可以涉及显示具有相对高亮度(诸如与内容(例如，视频游戏)或HMD相关联的默认亮度)的一个或多个校准图像。

通常期望眼睛跟踪校准图像具有两个或更多个不同的图像亮度，以便在不同亮度下获得用户的眼睛的校准参数，并且因此具有不同的瞳孔尺寸。因此，这样的技术通常涉及一个或多个相对较低亮度的校准图像和一个或多个相对较高亮度的校准图像。

发明人已经认识到，对于一些用户，在眼睛跟踪校准期间显示一个或多个相对高亮度的眼睛跟踪校准图像可能表示处理资源的低效使用和/或还可能导致用户不适。例如，一些用户可以具有一个或多个眼睛特性，使得他们的瞳孔(或两个瞳孔)不表现出(或表现出相对较小的)变化，以至于以高图像亮度执行校准不会比使用较低亮度图像实现的校准提供更多改进。替代地或另外地，一些用户可能具有一个或多个眼睛特性，使得以高图像亮度执行校准导致不适。例如，畏光(photophobia)可以与某些类型的可检测的眼睛状况(诸如白内障或散光)和/或某些虹膜颜色(诸如较浅颜色的虹膜，特别是蓝色或灰色虹膜)相关联。

在本公开的技术中，通过分析包括用户的眼睛(或两只眼睛)的图像，能够检测到一个或多个眼睛属性，从该一个或多个眼睛属性可以确定相对高亮度眼睛跟踪校准图像的显示可能对眼睛跟踪校准提供很少或没有改进和/或可能导致用户的不适。因此，可以有利地根据眼睛信息来控制要向用户显示的一个或多个眼睛跟踪校准图像的图像亮度，以潜在地避免在眼睛跟踪校准期间浪费使用处理资源，和/或允许具有改善的用户舒适度的校准。

如上所述，控制电路520可操作以根据眼睛信息控制与要向用户显示的一个或多个眼睛跟踪校准图像相关联的图像亮度。这可以使用多种技术来实现。在以下讨论中，术语“眼睛跟踪校准图像”和“校准图像”可互换使用，以指适合于执行眼睛跟踪校准的图像。在一些情况下，响应于眼睛信息可以生成用于控制与HMD相关联的背光阵列的一个或多个控制信号。如以下段落中所讨论的，在一些情况下，与包括一个或多个校准图像的预定校准阶段相关联的预定图像亮度设置可以由控制电路520修改，以便降低与预定校准相关联的最大图像亮度。替代地或另外地，可以执行从多个校准图像中选择一个或多个校准图像，以获得用户的适当图像亮度的一个或多个校准图像的序列。例如，控制电路可以根据眼睛信息对具有不同图像亮度的多个候选校准图像执行选择，以便根据它们的图像亮度选择一个或多个校准图像，以获得所选择的一组校准图像。替代地或另外地，可以预先定义多个校准模式，每个校准模式与一个或多个校准图像相关联，每个校准模式由于具有与其相关联的不同的最大图像亮度而不同于另一个校准模式，并且可以根据眼睛信息选择校准模式中的一个。因此，更一般地，控制电路520可以控制与要向用户显示的一个或多个眼睛跟踪校准图像相关联的图像亮度。具体地，根据这种技术控制电路520可以被配置为根据眼睛信息来控制与一个或多个眼睛跟踪校准图像相关联的最大图像亮度。

在本公开的一些实施例中，控制电路520可以被配置为根据预定图像亮度设置生成眼睛跟踪校准图像中的一个或多个以用于显示。例如，信息处理装置500可以存储关于要显示的眼睛跟踪校准图像的预定序列和指定眼睛跟踪校准图像中的每一个的亮度的预定图像亮度设置的信息。控制电路520可以被配置为根据眼睛信息确定是否降低与预定图像亮度设置相关联的最大图像亮度。因此，控制电路520可以使用指定要使用的一个或多个亮度水平的预定图像亮度设置，并且响应于所生成的眼睛信息，控制电路520可以被配置为修改预定图像亮度设置以减小与预定图像亮度设置相关联的最大图像亮度。例如，控制电路520可以被配置为生成一个或多个眼睛跟踪校准图像，每个眼睛跟踪校准图像具有由预定图像亮度设置指定的相同图像亮度。替代地，控制电路520可以被配置为生成两个或更多个眼睛跟踪校准图像的序列，对于该序列，预定图像亮度设置指定两个或更多个不同的图像亮度(例如，一个或多个第一校准图像可以具有第一图像亮度，并且在一个或多个第一校准图像之后要显示的一个或多个第二校准图像可以具有大于第一图像亮度的第二图像亮度)。在这种情况下，可以根据所生成的眼睛信息来降低至少最大图像亮度。这表示控制电路520可操作以根据预定图像亮度设置生成用于显示的一组默认的一个或多个校准图像的并且根据所生成的眼睛信息执行预定图像亮度设置的修改的示例。可选地，控制电路520可以替代地可操作以根据预定图像亮度设置生成用于显示的该组默认的一个或多个校准图像，并且随后对校准图像中的一个或多个应用后处理以降低图像亮度。

在一些示例中，控制电路520被配置为相对于一个或多个预定条件评估所生成的眼睛信息，并且根据眼睛信息是否满足预定条件中的一个或多个来减小与预定图像亮度设置相关联的最大图像亮度。可以相对于一个或多个预定条件(也称为预设条件)来评估与用户的给定眼睛属性(例如，虹膜颜色、瞳孔尺寸、瞳孔尺寸范围)相关联的值和分类中的一个或多个。

例如，眼睛信息可以指示与用户的眼睛的虹膜颜色相关联的值和分类中的一个或多个。可以相对于指定预定阈值和/或预定值范围的预设条件来评估指示与用户的眼睛的虹膜相关联的颜色的值。替代地或另外地，可以相对于指定一个或多个预定义颜色分类的预设条件来评估指示与用户的眼睛的虹膜相关联的颜色的分类。因此，响应于眼睛信息指示与满足预设条件(例如，将分类与预定义的颜色分类匹配)的用户的眼睛的虹膜颜色相关联的值和/或分类，控制电路可以降低与预定图像亮度设置相关联的最大图像亮度。在一些示例中，眼睛信息可以指示与用户的眼睛的虹膜相关联的灰度值，并且预设条件可以指定预定灰度值，使得响应于眼睛信息指示比预定灰度值更浅(例如，在较高灰度值对应于较浅阴影的情况下更大)的灰度值，控制电路520降低与预定图像亮度设置相关联的最大图像亮度，否则预定图像亮度设置可以保持不修改。例如，预定灰度值可以设置为通过经验观察确定的值，以对应于诸如绿色或蓝色的颜色。这表示控制电路可操作以响应于眼睛信息指示预定虹膜颜色而控制与要向用户显示的一个或多个眼睛跟踪校准图像相关联的图像亮度的示例。

在一些示例中，可以使用预定量的降低来实现与预定图像亮度设置相关联的最大图像亮度的降低。例如，可以使用将最大图像亮度降低预定量(诸如与最大图像亮度相关联的原始值的预定百分比(例如，在5-50％范围内的值))。

替代地，控制电路可以将与预定图像亮度设置相关联的最大图像亮度降低一定量，该量取决于与用户的眼睛属性中的至少一个相关联的值。例如，最大图像亮度降低的幅度可以取决于与用户的虹膜相关联的灰度值和预定灰度值之间的差值的大小。

在一些示例中，可以预先确定适合于给定虹膜颜色分类的最大图像亮度，使得响应于眼睛信息指示给定虹膜颜色分类，控制电路控制与要向用户显示的一个或多个眼睛跟踪校准图像相关联的图像亮度，使得与要显示的一个或多个眼睛跟踪校准图像相关联的最大图像亮度小于或等于针对给定虹膜颜色分类确定的最大图像亮度。

具体地，可以确定对应于蓝色的虹膜颜色分类的最大图像亮度。因此，响应于眼睛信息指示蓝色虹膜颜色分类，可以将与要显示的一个或多个眼睛跟踪校准图像相关联的最大图像亮度控制为小于或等于针对蓝色虹膜颜色分类确定的最大图像亮度。通常期望对应于蓝色的虹膜颜色分类的最大图像亮度也适合与对应于灰色的虹膜颜色分类一起使用。因此，在一些示例中，针对蓝色虹膜颜色分类确定的最大图像亮度可以用于指示蓝色或灰色虹膜颜色(或其他类似的浅色虹膜颜色)中的任何一种的眼睛信息。

替代地或另外地，在一些示例中，可以相对于指定瞳孔尺寸的预定范围的预设条件来评估与眼睛属性(诸如检测到的用户的瞳孔尺寸的范围)相关联的值。在这种情况下，响应于眼睛信息指示检测到的瞳孔尺寸范围小于瞳孔尺寸的预定范围，控制电路520可操作以降低与预定图像亮度设置相关联的最大图像亮度。如前所述，可以相应地设置瞳孔尺寸的预定范围，以便识别瞳孔尺寸对于亮度变化表现出很小或没有变化的用户。因此，响应于满足预设条件，可以降低最大图像亮度以避免处理资源的浪费使用，这种浪费使用可能由于显示用户没有观察到瞳孔尺寸的变化或观察到瞳孔尺寸的变化很小的高亮度校准图像而产生。可选地，响应于满足预设条件，可以修改预定图像亮度设置，以便为一个或多个校准图像中的每一个指定单个图像亮度。例如，对于预定图像亮度设置指定两个或更多个不同图像亮度(即，最小图像亮度和最大图像亮度)的两个或更多个校准图像的序列，可以修改预定图像亮度设置以指定校准图像中的每一个的最小图像亮度。

以上讨论提供了示例，其中控制电路可操作以根据预定图像亮度设置生成要向用户显示的眼睛跟踪校准图像中的一个或多个并且能够根据眼睛信息修改预定图像亮度设置。应当理解，可以相对于与HMD的显示元件的背光阵列相关联的预定硬件亮度设置类似地执行任何上述技术，以相应地降低亮度设置并实现上述技术优点。

在本公开的一些实施例中，控制电路520被配置为根据眼睛信息从具有不同图像亮度的多个眼睛跟踪校准图像中选择眼睛跟踪校准图像中的一个或多个，并且处理电路530被配置为输出所选择的眼睛跟踪校准图像中的一个或多个以用于显示。在一些情况下，控制电路520可以被配置为从候选眼睛跟踪校准图像库中选择眼睛跟踪校准图像中的一个或多个。例如，信息处理装置500可以包括存储电路，以存储跨越图像亮度范围的多个眼睛跟踪校准图像，使得可以执行选择以选择具有可接受图像亮度的一个或多个眼睛跟踪校准图像。

可以根据眼睛信息对候选眼睛跟踪校准图像库执行选择，以便根据眼睛信息选择一个或多个校准图像，每个校准图像具有小于或等于识别的最大图像亮度的图像亮度。

在本公开的一些实施例中，控制电路520被配置为根据眼睛信息从多个校准模式中选择校准模式，该多个校准模式各自与一组一个或多个眼睛跟踪校准图像相关联，该多个校准模式包括：第一校准模式，该第一校准模式与具有不同图像亮度的至少两个眼睛跟踪校准图像相关联；以及以下中的至少一个：第二校准模式，该第二校准模式与具有不同图像亮度的至少两个眼睛跟踪校准图像相关联，并且对于第二校准模式，最大图像亮度小于第一校准模式的最大图像亮度；以及第三校准模式，其与一个或多个眼睛跟踪校准图像相关联，该一个或多个眼睛跟踪校准图像具有小于第一校准模式的最大图像亮度的相同相应图像亮度。

第一校准模式包括至少一个相对较低亮度校准图像和至少一个相对较高亮度校准图像。在一些情况下，第一校准模式可以是默认校准模式，使得在没有用户的眼睛信息的情况下，或者对于眼睛信息指示被认为在正常范围内的眼睛属性的用户，默认将使用第一校准模式。第二校准模式和第三校准模式表示可以被选择用于提高处理效率和/或改善用户舒适度的校准模式。在一些情况下，多种模式可以包括第二校准模式和第三校准模式中的一者或两者。第二校准模式可以更好地适合于一些用户，而第三校准模式可以更好地适合于其他用户。第二校准模式包括至少一个相对较低亮度校准(其可以与第一校准模式的亮度校准相同或不同)以及至少一个相对较高亮度校准图像，对于该至少一个相对较高亮度校准图像，最大图像亮度小于第一校准模式的最大图像亮度。第三校准模式包括具有相同相应图像亮度的一个或多个眼睛跟踪校准图像，该相应图像亮度可以与第一校准模式的相对较低亮度校准图像相同或不同，并且小于第一校准模式的最大图像亮度。因此，对于眼睛信息指示与畏光相关联的一个或多个属性的用户，选择第二校准模式可以允许以改善的用户舒适度实现校准。对于眼睛信息指示瞳孔尺寸表现出很少或没有变化(例如，当HMD以变化的亮度显示图像时，捕获的图像指示相对一致的瞳孔尺寸，这可能是由于诸如健康状况的各种因素)的用户，选择第三校准模式可以允许以提高的效率实现校准。

上述多个校准模式各自表示要显示以允许用户的眼睛跟踪校准的校准图像的序列。上述图像亮度的差异可以通过控制背光阵列和控制图像的像素值中的一个或多个来实现。此外，在一些实施例中，校准模式可以表示要由HMD显示的校准图像的序列，其对于校准图像中的每一个的使用相同(或基本上相同)背光设置，并且基于图像处理技术实现图像亮度的潜在变化。在其他实施例中，校准模式可以表示要由HMD显示的一系列校准图像，其中基于对校准图像中的一些的背光设置的调整来实现图像亮度的潜在变化。例如，可以显示校准图像序列，并且对应的背光设置也被指定用于在显示校准图像期间使用。在其他实施例中，可以基于上述技术的任何合适的组合在校准模式期间实现图像亮度的变化。

稍后更详细地讨论涉及校准模式的选择的技术。

以上讨论提供了用于控制与要显示的一个或多个校准图像相关联的图像亮度的可能性的示例。应当理解，取决于针对所讨论的用户存在哪种眼睛属性，则可以要求不同的控制方案。例如，对于观察到瞳孔尺寸变化很小或没有变化的用户(即使对于亮度差异很大的图像)，则使用单个图像亮度显示一组一个或多个校准图像可能是有益的。相反，对于具有畏光的用户，使用两个或更多个图像亮度显示一组两个或更多个校准图像可能是有益的，以便获得两个或更多个不同亮度的校准，同时控制最大图像亮度以便有助于改善的用户舒适度。

在一些示例中，装置500可以存储关于一个或多个预设条件和用于预设条件中的至少一些的图像亮度控制方案的信息。因此，可以执行所生成的眼睛信息与预设条件中的一个或多个的比较，以确定用户是否存在任何预设条件。响应于确定用户存在预设条件，则可以由控制电路执行与该预设条件相关联的图像亮度控制方案。

例如，预设条件可以指定瞳孔尺寸的预定范围，使得当所生成的眼睛信息指示用户的检测到的瞳孔尺寸的范围小于瞳孔尺寸的预定范围时(指示用户的瞳孔尺寸的范围被检测为小于预定范围的范围)，则可以使用用于该预定眼睛属性的图像亮度控制方案。类似地，另一预设条件可以指定虹膜的灰度色值和相关联的亮度控制方案。另一预定眼睛属性可以指定与畏光相关联的眼睛状况的类型和相关联的亮度控制方案。

如上所述，可以从捕获的图像中的一个或多个中检测用户的至少一只眼睛的一个或多个眼睛属性。基于捕获的图像中的一个或多个，可以检测一个或多个物理眼睛属性和/或一个或多个行为眼睛属性。

在本公开的一些实施例中，一个或多个检测到的物理眼睛属性包括来自由以下组成的列表中的一个或多个：检测到的至少一只眼睛的虹膜颜色、检测到的至少一只眼睛的瞳孔尺寸；检测到的至少一只眼睛的最大瞳孔尺寸；以及检测到的至少一只眼睛的最小瞳孔尺寸。可以使用任何合适的检测算法来检测捕获的图像中的瞳孔和虹膜中的一个或多个。例如，可以使用轮廓检测技术。

分析电路可以在观看由HMD向用户显示的显示图像期间接收包括用户的至少一只眼睛的多个捕获的图像。因此，可以在捕获的图像中观察响应于观看由HMD显示的显示图像的用户的眼睛的状态，并且可以检测最大观察到的瞳孔尺寸和最小观察到的瞳孔尺寸。

多个捕获的图像可以对应于任何合适的时间段。在一些情况下，多个捕获的图像可以被捕获为一个图像捕获会话，或者可以使用两个或更多个图像捕获会话来捕获。例如，可以在第一时间段期间捕获多个捕获的图像的子集，并且可以在第二时间段期间捕获多个捕获的图像的另一子集，其中第一时间段可以与第二时间段连续或不连续。可以在观看第一内容期间捕获多个捕获的图像中的一些图像，并且可以在观看另一内容期间捕获多个捕获的图像中的一些图像。例如，可以在由HMD显示内容(诸如电影或视频游戏或一个或多个菜单屏幕)的显示图像期间捕获用户的眼睛的图像。因此，可以检测在观看由HMD显示的图像期间观察到的最大和最小瞳孔尺寸，并且相应地生成眼睛信息，以允许这些属性用于控制要显示的一个或多个校准图像的图像亮度。

在一些示例中，分析电路可以接收包括用户的至少一只眼睛的多个捕获的图像，其中在观看由HMD显示的校准图像期间捕获多个捕获的图像中的至少一些。HMD可以显示校准图像，并且可以在这种显示期间捕获用户眼睛的图像以检测一个或多个眼睛属性。因此，要显示的一个或多个后续校准图像可以响应于眼睛信息而控制其图像亮度，该眼睛信息是根据对在查看校准图像期间捕获的用户的眼睛的图像的分析而生成的。例如，眼睛跟踪校准阶段可以涉及显示具有逐渐增加的图像亮度(例如，图像亮度可以随着每个校准图像或每N个校准图像逐渐增加，其中N是在2至10范围内的整数)的校准图像的序列，并且当查看校准图像时可以捕获用户的眼睛的图像，并且相应地生成眼睛信息，使得尚未显示的一个或多个后续校准图像可以响应于眼睛信息而控制其图像亮度。例如，在校准的初始阶段期间检测到的虹膜颜色和瞳孔尺寸范围中的一个或多个可以用于根据上面讨论的任何技术来控制一个或多个后续校准图像的图像亮度。

在一些示例中，上述多个校准模式可以各自具有以相同图像亮度显示的校准图像的相同初始序列。响应于根据在向用户显示校准图像的初始序列期间捕获的图像生成的眼睛信息，可以选择多个校准模式中的一个，使得要显示的一个或多个后续校准图像对应于所选择的校准模式。具体地，默认情况下，控制电路520可以自动选择第一校准模式，并且响应于所生成的眼睛信息切换到第二校准模式和第三校准模式中的一个。

因此，更一般地，在校准过程期间检测到的眼睛属性可以用于控制尚未向用户显示的一个或多个其他校准图像的图像亮度。因此，在本公开的一些实施例中，分析电路可操作以：在观看由HMD显示的显示的眼睛跟踪校准图像时，接收包括用户的至少一只眼睛的捕获的图像；根据捕获的图像中的至少一些来检测用户的一个或多个眼睛属性；以及生成指示用户的眼睛属性中的一个或多个的眼睛信息。因此，控制电路可操作以根据眼睛信息来控制与要向用户显示的一个或多个其他眼睛跟踪校准图像相关联的图像亮度，并且处理电路因此可操作以输出一个或多个其他眼睛跟踪校准图像以用于由HMD向用户显示。

在本公开的一些实施例中，眼睛信息指示检测到的最大瞳孔尺寸和检测到的最小瞳孔尺寸，并且控制电路被配置为根据检测到的最大瞳孔尺寸和检测到的最小瞳孔尺寸之间的差值的大小来控制与要显示的眼睛跟踪校准图像中的一个或多个相关联的图像亮度。如前所述，可以相对于预设条件评估检测到的瞳孔大小范围，并且如果满足预设条件，则控制电路可操作以控制与要显示的眼睛跟踪校准图像中的一个或多个相关联的图像亮度。例如，再次参照预定图像亮度设置，控制电路可以被配置为根据检测到的瞳孔尺寸范围是否满足预设条件来修改预定图像亮度设置。预设条件可以指定瞳孔尺寸的预定义范围(例如，如前所述的X mm)，使得响应于检测到的瞳孔尺寸范围小于或等于预定义范围(对应于满足预设条件)，控制电路修改预定图像亮度设置。在一些情况下，控制电路可以被配置为修改预定图像亮度设置以指定单个图像亮度，因为眼睛信息指示用户表现出很少或没有瞳孔尺寸变化，因此以较高图像亮度执行校准可能很少或没有益处。再次参考多个校准模式，第一校准模式可以是默认校准模式，并且控制电路可以被配置为响应于检测到的瞳孔尺寸范围满足预设条件而选择第二校准模式和第三校准模式中的一个。具体地，虽然为所讨论的用户选择第二模式和第三模式中的任何一个可以产生性能益处，但是对于这种情况，最佳布置优选地选择第三校准模式。

在本公开的一些实施例中，控制电路被配置为响应于眼睛信息指示虹膜颜色在虹膜颜色的预定范围内，而选择第二校准模式。例如，上述灰度技术可以用于确定检测到的虹膜颜色对应于虹膜颜色的预定范围(例如，包括蓝色和灰色虹膜颜色的预定范围)的用户。通常，响应于信息指示预定虹膜颜色(诸如蓝色或灰色虹膜颜色(或更一般地，相对较浅的虹膜颜色))，可以选择第二校准模式。相对较浅的虹膜颜色通常与对亮光的更大灵敏度相关联，因此第二校准模式可以允许用至少两个或更多个不同的亮度进行校准，相对于第一校准模式具有降低的最大亮度，从而潜在地允许改善用户舒适度。

在本公开的一些实施例中，第一校准模式和第二校准模式可以各自包括校准图像的序列，该校准图像序列包括第一组校准图像和第二组校准图像。对于第一校准模式和第二校准模式两者，第一组可以具有相同的图像亮度。对于第一校准模式和第二校准模式两者，第二组可以具有比用于该模式的第一组更大的图像亮度。对于第一校准模式，第二组可以具有比对于第二校准模式的第二组更大的图像亮度。

因此，对于该模式，第一组可以被认为是较低图像亮度组，并且第二组可以被认为是较高图像亮度组，其中由于第二组具有较低图像亮度，第二校准模式与第一校准模式不同。第一组和第二组可以各自包括要由用户的凝视方向作为目标的多个目标Z(例如，Z＝5或10，或该范围内的值)。例如，目标可以布置在校准图像的四个角中，并且一个目标在中心位置处。

因此，更一般地，第一校准模式和第二校准模式都可以使用包括相同数量的目标并且具有相同位置的第一组校准图像和第二组校准图像，并且不同之处可以仅在于第二组一个或多个校准图像对于第二校准模式具有降低的图像亮度。

在本公开的一些实施例中，第三校准模式可以包括第一组校准图像。第一组校准图像可以与和第一校准模式和第二校准模式相关联的第一组校准图像相同，并且可以具有基本相同的图像亮度。第三校准模式与第一校准模式和第二校准模式的不同之处在于，第一校准模式可以不包括第二组校准图像(即，可以仅包括具有单一图像亮度的第一组)。因此，对第三校准模式的选择(例如，响应于瞳孔尺寸范围满足预设条件)可以用于允许使用减少数量的校准图像来执行眼睛跟踪校准，从而允许用户进行更快和更有效的校准。更一般地，对第三校准模式的选择可以用于跳过校准的相对较高亮度部分，否则可以通过选择第一校准模式和第二校准模式中的一个来提供该校准。

在本公开的一些实施例中，每个校准图像包括至少一个目标(例如，刺激)，用于由用户的凝视方向作为目标。校准图像可以具有背景和目标。在校准期间，凝视跟踪可以用于检测用户的凝视何时以视觉目标作为目标(例如，这可以通过检测到检测到的眼睛特征的很少变化或没有变化来推断，指示用户已经识别并且以视觉目标作为目标)，并且在作为目标之后，可以显示下一个校准图像，以此类推，使得可以显示这样的图像的序列以校准相应的屏幕位置/区域。替代地或另外地，相同的校准图像可以同时显示要连续作为目标的两个或更多个视觉目标。

在本公开的一些实施例中，一个或多个行为眼睛属性包括以下中的一个或多个：检测到的与用户的至少一只眼睛相关联的眨眼率；以及检测到的对HMD的显示单元或显示单元的一部分的凝视厌恶；以及检测到的在显示超过阈值图像亮度的一个或多个图像期间对HMD的显示单元的部分的显示单元的凝视厌恶；以及检测到的在设定时间间隔内的闭眼持续时间；以及检测到的在设定时间间隔内至少部分闭眼持续时间。

可以基于所捕获的图像来获得对给定时间段内的眨眼的总数量的检测。因此可以计算每单位时间的眨眼数量。通常，在HMD使用期间，用户可能变得疲劳(例如，在一些情况下，这可能具体涉及眼睛疲劳)，这与较高的眨眼率相关。在一些情况下，具有畏光的用户在观看相对明亮的图像期间也可能表现出更高的眨眼率。因此，更一般地，可以基于眨眼率来推断用户不适，并且可以选择第二校准模式和第三校准模式中的一个。

因此，在本公开的一些实施例中，控制电路可以被配置为响应于检测到的与用户的至少一只眼睛相关联的眨眼率超过预设阈值而选择第二校准模式和第三校准模式中的一个。例如，可以使用阈值(诸如在每分钟5-50次眨眼的范围内的值)，并且更优选地，在每分钟20-50次眨眼的范围内的值。

可以基于捕获的图像来获得对在设定时间间隔内用户的眼睛中的至少一只眼睛的闭眼持续时间的检测。类似于上面关于眨眼所讨论的，在一些情况下，由于观看明亮图像而疲劳或经历不适的用户可能试图闭眼一段时间。例如，作为增加的眨眼率的替代或补充，由于疲劳和/或不适，可能表现出延长的眨眼(例如，可能比与正常眨眼相关联的持续时间长4倍或5倍或更多倍的持续时间)。因此，在一些情况下，替代地或除了检测到的眨眼率之外，检测在设定时间间隔内用户眼睛中的至少一只眼睛的闭眼持续时间可能是有益的(例如，在一些情况下，这可能更有益，因为用户可以有效地闭眼很长的持续时间，同时仅执行少量眨眼，并且眨眼率检测可能不能为这种情况提供准确的评估)。控制电路可以被配置为响应于检测到的与用户的至少一只眼睛相关联的闭眼持续时间超过预设阈值而选择第二校准模式和第三校准模式中的一个。例如，可以使用预设阈值(诸如在设定时间间隔的10％-50％范围内的值)。例如，设定的时间间隔可以对应于时段(诸如60秒)，并且可以设定在6秒至30秒范围内的阈值。可以使用用于设定时间间隔和阈值的其他合适的值。

替代地或除了检测用户的至少一只眼睛的闭眼持续时间之外，还可以基于捕获的图像获得对在设定时间间隔内用户的至少一只眼睛的至少部分闭眼持续时间检测。类似于上面关于眨眼和/或闭眼所讨论的，在一些情况下，由于观看明亮图像而疲劳或经历不适的用户可能试图部分地闭眼一段时间(例如，眯眼(squint))。例如，由于疲劳和/或不适(例如，在观看高亮度图像时)，用户的眼睛可能在一段时间内达到至少部分闭合状态。因此，在一些情况下，可以使用对在设定的时间间隔内用户的眼睛至少部分地闭合的持续时间的检测。类似于上面关于闭眼持续时间所讨论的，控制电路可以被配置为响应于检测到的与用户的至少一只眼睛相关联的至少部分闭眼持续时间超过预设阈值而选择第二校准模式和第三校准模式中的一个。

例如，可以使用与处于正常睁开状态的用户的眼睛相对应的参考图像，并且可以相对于捕获的图像中的眼睛的属性来评估与处于正常睁开状态的眼睛相关联的至少一个属性，以检测眼睛至少部分地闭合。在一些示例中，可以检测参考图像中的巩膜(也称为眼白)的尺寸，并且类似地，可以检测捕获的图像中的一个或多个中的巩膜的尺寸，并且在此基础上，可以检测眼睛的至少部分闭合状态的检测。例如，阈值条件(诸如巩膜的尺寸小于巩膜的参考尺寸(从参考图像获得的)至少阈值量(例如，在5％至20％范围内的值))可以用于检测至少部分闭合状态。替代地或另外地，可以检测参考图像中的巩膜区域的尺寸与组合的虹膜和瞳孔区域的尺寸的比率(即，白色部分的尺寸与对应于虹膜和瞳孔的彩色部分的尺寸的比率)，并且类似地，可以在捕获的图像中的至少一些中检测巩膜区域的尺寸与组合的虹膜和瞳孔区域的尺寸的比率。通常，在眼睛眯眼期间，预期在捕获的图像中可观察到较小比例的巩膜，而对组合的虹膜和瞳孔区域的观察可以基本上不变(或者也减少，但是相对于对巩膜观察到的程度更小)。因此，巩膜区域的尺寸与组合的虹膜和瞳孔区域的尺寸的比率可以用于检测用户的眼睛中的一只或两只的至少部分闭合状态。

可选地，基于检测到的巩膜区域尺寸与对应参考的比较和/或检测到的巩膜区域尺寸与检测到的组合虹膜和瞳孔区域尺寸的比率与对应参考的比较中的一个或多个，可以为眼睛计算0至1范围内的值，其中值1对应于正常打开状态，小于1的值对应于至少部分闭合状态。以及值0对应于闭合状态(或反之亦然，其中1对应于闭合状态)。可以将阈值设置在范围1至0内，从而允许检测至少部分闭合的眼睛状态。例如，阈值可以被设置为具有小于1且大于0.5的值，使得响应于计算的值小于阈值而检测到至少部分闭合状态。

可以基于捕获的图像来获得对HMD的显示单元或显示单元的一部分的凝视厌恶的检测。可以检测用户相对于显示单元的凝视方向(例如，不使用校准参数)。通常，在显示相对明亮的图像期间，用户可以避免他们的凝视远离显示器或远离显示器的中心部分，以试图减轻与对亮光敏感相关联的症状。更一般地，远离显示器(如果在由用户佩戴HMD时允许)或至少远离某个部分(例如，中心部分)的较高频率的凝视厌恶可以与对亮光的灵敏度相关。

可以基于捕获的图像和指示与由显示单元显示的图像相关联的图像亮度的信息来获得在超过阈值图像亮度的一个或多个图像的显示期间对HMD的显示单元或显示单元的一部分的凝视厌恶的检测。因此，在显示超过阈值图像亮度的图像期间检测凝视厌恶可以用于识别用户的光敏性。

在本公开的一些实施例中，眼睛的属性中一个或多个包括以下中的一个或多个：检测到的与眼睛的外表面相关联的镜面度(specularity)；以及一种或多种检测到的与畏光相关联的眼睛状况类型。

可以基于捕获的图像来获得对与眼睛的外表面相关联的镜面度的检测。镜面度的程度通常提供眼睛外表面上的流体量的指示。通常，降低的镜面度与外表面上减少的流体量相关。因此，可以推断眼睛的外表面上的流体的相对量。较低量的流体可以与增加的对亮光的敏感性相关联和/或通常可以指示用户疲劳。此外，慢性干眼症是一种常见症状对亮光敏感的眼睛状况。附加地或另外地，增加的疲劳水平可与干眼症相关。因此，更一般地，控制电路可以被配置为响应于检测到小于阈值量的与眼睛的外表面相关联的镜面度而选择第二校准模式和第三校准模式中的一个。例如，可以将呈现镜面反射的区域的相对尺寸与阈值尺寸进行比较，并且响应于此小于阈值尺寸，可以选择第二校准模式和第三校准模式中的一个。例如，在这种情况下选择第二校准模式可能是特别有益的，以便允许用至少两个不同的图像亮度进行校准，同时提高用户舒适度。

在本公开的一些实施例中，眼睛的属性中的一个或多个包括一种或多种检测到的与畏光相关联的眼睛状况类型。可以基于所捕获的图像来获得对诸如白内障或散光的眼睛状况的类型的检测。具有白内障和/或散光的用户经常经历的症状是对亮光敏感(即，畏光)。白内障通常影响眼睛的晶状体，使其变得浑浊并散射入射光。可以基于捕获的图像来检测白内障的存在。用于基于图像分析来检测白内障的存在的技术通常是已知的，并且不再详细讨论。在一些示例中，被包括作为HMD的一部分的红外光源可用于照亮眼睛，并且可选地，自动折射技术可以用于评估用户的眼睛的内部折射特性。在此基础上，还可以获得对散光的检测。散光涉及导致视力模糊的角膜或晶状体曲率的缺陷，并且还可能与对亮光的敏感性相关联。

因此，在本公开的一些实施例中，控制电路可以被配置为响应于指示与畏光相关联的眼睛状况的检测类型(例如，白内障和/或散光)的眼睛信息而选择第二校准模式和第三校准模式中的一个。

如前所述，在一些情况下，多个校准模式包括第一校准模式以及第二校准模式和第三校准模式中的至少一个。因此，对于多个校准模式仅包括第二校准模式和第三校准模式中的一个的情况，涉及选择第二校准模式和第三校准模式中的一个的上述技术是指从多个校准模式中选择以选择第二校准模式或第三校准模式。对于多个校准模式包括第一校准模式、第二校准模式和第三校准模式中的每一个的情况，涉及选择第二校准模式和第三校准模式中的一个的上述技术可以选择这些模式中的任何一个。如上所述，对于一些检测到的眼睛属性，可能更有利的是选择第二校准模式以便允许以两个或更多个不同的图像亮度并且以比第一校准模式更低的最大图像亮度进行校准，并且对于其他检测到的眼睛属性，可能更有利的是选择第三校准模式以便允许更有效地和/或以缩短的持续时间实现校准。

图6是示出根据本公开的实施例的方法的示意性流程图。该方法包括：

接收(在步骤610)包括在观看由头戴式显示器“HMD”显示的显示图像时的用户的至少一只眼睛的捕获的图像；

根据捕获的图像中的至少一些来检测(在步骤620)用户的一个或多个眼睛属性；并且

生成(在步骤630)指示用户的眼睛属性中的一个或多个的眼睛信息；

根据眼睛信息来控制(在步骤640)与要由HMD向用户显示的一个或多个眼睛跟踪校准图像相关联的图像亮度；以及

输出(在步骤650)眼睛跟踪校准图像中的一个或多个以用于由HMD显示。

应当理解，示例实施例可以由在通用计算系统(诸如游戏机)上运行的计算机软件来实现。在这些示例中，当由计算机执行时使计算机执行上述任何方法的计算机软件被认为是本公开的实施例。类似地，本公开的实施例由存储这种计算机软件的非暂时性机器可读存储介质提供。

因此，对常规等效设备的现有部分的任何所需适配可以以计算机程序产品的形式实现，该计算机程序产品包括存储在非暂时性机器可读介质(诸如软盘、光盘、硬盘、固态盘、PROM、RAM、闪存或这些或其他存储介质的任何组合)上的处理器可实现指令，或者以硬件实现为ASIC(应用特定集成电路)或FPGA(现场可编程门阵列)或适用于适配常规等效设备的其他可配置电路。单独地，这样的计算机程序可以经由网络(诸如以太网、无线网络、互联网或这些或其他网络的任何组合)上的数据信号来发送。

还将显而易见的是，根据上述教导，本公开的许多修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，本公开可以以不同于本文具体描述的方式实施。

Claims (16)

1.一种信息处理装置，包括：

分析电路，用于：

在观看由头戴式显示器“HMD”显示的显示图像时，接收包括用户的至少一只眼睛的捕获的图像；以及

根据所述捕获的图像中的至少一些来检测所述用户的一个或多个眼睛属性，并且生成指示所述用户的所述眼睛属性中的一个或多个的眼睛信息；

控制电路，用于根据所述眼睛信息来控制与要由所述HMD向所述用户显示的一个或多个眼睛跟踪校准图像相关联的图像亮度；以及

处理电路，用于输出所述眼睛跟踪校准图像中的一个或多个以用于由所述HMD显示。

2.根据权利要求1所述的信息处理装置，其中，所述控制电路被配置为根据所述眼睛信息来控制与所述眼睛跟踪校准图像中的一个或多个相关联的最大图像亮度。

3.根据权利要求1或权利要求2所述的信息处理装置，其中，所述控制电路被配置为控制与所述HMD相关联的背光阵列，从而控制与要向所述用户显示的一个或多个眼睛跟踪校准图像相关联的图像亮度。

4.根据前述权利要求中任一项所述的信息处理装置，其中，所述控制电路被配置为根据预定图像亮度设置生成所述眼睛跟踪校准图像中的一个或多个以用于显示，并且所述控制电路被配置为根据所述眼睛信息来确定是否降低与所述预定图像亮度设置相关联的最大图像亮度。

5.根据权利要求1至3中任一项所述的信息处理装置，其中，所述控制电路被配置为根据所述眼睛信息从多个校准模式中选择校准模式，所述多个校准模式各自与一组一个或多个眼睛跟踪校准图像相关联，所述多个校准模式包括：

第一校准模式，所述第一校准模式与具有不同图像亮度的至少两个眼睛跟踪校准图像相关联；以及

以下中的至少一个：

第二校准模式，所述第二校准模式与具有不同图像亮度的至少两个眼睛跟踪校准图像相关联，并且对于所述第二校准模式，最大图像亮度小于所述第一校准模式的最大图像亮度；以及

第三校准模式，所述第三校准模式与一个或多个眼睛跟踪校准图像相关联，所述一个或多个眼睛跟踪校准图像具有小于所述第一校准模式的所述最大图像亮度的相同相应图像亮度。

6.根据权利要求5所述的信息处理装置，其中，所述第一校准模式是默认校准模式，并且所述控制电路被配置为响应于所述眼睛信息满足预定条件而选择所述第二校准模式和所述第三校准模式中的一个。

7.根据前述权利要求中任一项所述的信息处理装置，其中，所述一个或多个眼睛属性包括一个或多个物理眼睛属性和一个或多个行为眼睛属性中的至少一个。

8.根据权利要求7所述的信息处理装置，其中，所述一个或多个物理眼睛属性包括来自由以下组成的列表中的一个或多个：

检测到的虹膜颜色；

检测到的所述至少一只眼睛的瞳孔尺寸；

检测到的所述至少一只眼睛的最大瞳孔尺寸；

检测到的所述至少一只眼睛的最小瞳孔尺寸；以及

一个或多个检测到的所述至少一只眼睛的内部折射属性；

一种或多种检测到的与畏光相关联的眼睛状况类型；以及

检测到的与所述眼睛的外表面相关联的镜面度。

9.根据前述权利要求中任一项所述的信息处理装置，其中，所述控制电路被配置为根据检测到的最大瞳孔尺寸和检测到的最小瞳孔尺寸之间的差值的大小来控制与所述眼睛跟踪校准图像中的一个或多个相关联的图像亮度。

10.根据权利要求9所述的信息处理装置，当从属于权利要求6时，其中，所述控制电路被配置为响应于所述检测到的最大瞳孔尺寸与所述检测到的最小瞳孔尺寸之间的差值的大小小于预定阈值而选择所述第三校准模式。

11.根据权利要求6所述的信息处理装置，其中，所述控制电路被配置为响应于所述眼睛信息指示虹膜颜色在虹膜颜色的预定范围内，而选择所述第二校准模式。

12.根据权利要求7至11中任一项所述的信息处理装置，其中，所述一个或多个行为眼睛属性包括以下中的一个或多个：

检测到的与所述用户的所述至少一只眼睛相关联的眨眼率；以及

检测到的对所述HMD的显示单元或所述显示单元的一部分的凝视厌恶；

检测到的在显示超过阈值图像亮度的一个或多个图像期间对所述HMD的所述显示单元或所述显示单元的一部分的凝视厌恶；

检测到的在设定时间间隔内的闭眼持续时间；以及

检测到的在所述设定时间间隔内至少部分闭眼持续时间。

13.根据前述权利要求中任一项所述的信息处理装置，其中，所述信息处理装置是头戴式显示器“HMD”装置，所述HMD装置包括一个或多个图像传感器，所述一个或多个图像传感器用于在观看由所述HMD显示的不同图像亮度的显示图像时捕获包括所述用户的所述至少一只眼睛的所述图像。

14.根据权利要求13所述的信息处理装置，其中，所述一个或更多个图像传感器包括红外图像传感器和可见图像传感器中的至少一个。

15.一种计算机实现的方法，包括：

在观看由头戴式显示器“HMD”显示的显示图像时，接收包括用户的至少一只眼睛的捕获的图像；

根据所述捕获的图像中的至少一些来检测所述用户的一个或多个眼睛属性；以及

生成指示所述用户的所述眼睛属性中的一个或多个的眼睛信息；

根据所述眼睛信息来控制与要由所述HMD向所述用户显示的一个或多个眼睛跟踪校准图像相关联的图像亮度；以及

输出所述眼睛跟踪校准图像中的一个或多个以用于由所述HMD显示。

16.计算机软件，所述计算机软件在由计算机执行时使所述计算机执行根据权利要求15所述的方法。