CN106104650A - 经由凝视检测进行远程设备控制 - Google Patents

Abstract

公开了涉及基于凝视进行的远程设备控制的实施例。例如，一个公开的实施例在计算设备上提供一种方法，所述方法包括：检测用户的凝视方向；检测来自所述用户的对位于凝视方向的远程可控制设备进行控制的指示；以及对控制器设备的用户接口进行适配，以使得能够对所述远程可控制设备进行用户控制。

Description

经由凝视检测进行远程设备控制

背景技术

随着技术的进步，人们日常使用越来越多的电子设备。例如，人们可能频繁地与智能手机、视频游戏控制台、家庭娱乐系统以及多种其它电子设备进行交互。为了从这些设备得到最大益处，用户必须主动控制它们。然而，对许多设备进行控制可能需要用户：从一个设备移动到另一设备、在每个设备上导航不同的用户接口、或者将多个遥控发送机保持在手边。

发明内容

公开的实施例涉及基于凝视而进行的远程设备控制。例如，公开的一个实施例在计算设备上提供了一种方法，其包括：检测用户的凝视方向，检测来自用户的对位于凝视方向的远程可控制设备进行控制的指示，以及对控制器设备的用户接口进行适配以使得能够对远程可控制设备进行用户控制。

提供该“发明内容”是为了引入将在下文“具体实施方式”中进一步描述的简化形式的概念选集。该“发明内容”并不意图识别所要求保护的主题的关键特征或重要特征，并且也不意图用于限制所要求保护的主题的范围。此外，所要求保护的主题并不局限于对在本公开的任意部分中提及的任意或全部缺点进行解决的实施方式。

附图说明

图1示出了根据本公开实施例的用于可以远程控制电子设备的示例性环境的方面。

图2是根据本公开实施例的计算机系统和互连系统的方面的高级示意图。

图3示出了根据本公开实施例的可穿戴显示系统的方面。

图4示出了根据本公开实施例的图3的可穿戴显示系统的右或左光学系统的方面。

图5示出了根据本公开实施例的使得用户能够远程控制电子设备的示例性方法。

图6示出了对根据本公开实施例的经由凝视或手势远程可控制的设备的用户接口进行导航(navigating)。

具体实施方式

本文公开的实施例可以使得用户能够以直观方式远程控制诸多电子设备。在一种方法中，用户仅仅通过凝视设备来选择要控制的设备。当系统确定用户的意图是要控制特定设备时，该系统显示专用于该设备的用户接口，或者以其他方式对现有的用户接口进行适配以使能对该设备的控制。然后，用户的输入通过该用户接口被接收，并且适当的控制信号被发送以实施控制。

图1示出了个人住房的起居室或家庭房形式的示例性环境10的方面。然而，本文描述的系统和方法还适用于其它环境，例如零售和服务环境。图1的环境的特征是用于用户14的娱乐的家庭娱乐系统12。在图1中，示出用户14处于站立的姿态；在其它场景中，用户可以坐着或躺着。

家庭娱乐系统12包括大幅面显示器16和扬声器18，这两者可操作地耦合到计算机系统20。另外，家庭娱乐系统包括音频-视频(AV)接收器22和电缆盒(cable box)24。可以理解的是，图示的家庭娱乐系统是以示例方式提供的，并且所公开的实施例可以与设备的任意其它适当配置一起使用。在一些配置中，例如，可以用被纳入用户穿戴的头饰或眼镜中的近眼显示器来替代显示器16。

继续参见图1，环境10包括各种与家庭娱乐系统12的电子设备不相同的电子设备，用户对其可以进行控制。例如，这种设备包括室内照明系统26和恒温器28。图示的环境还包括移动计算设备30，例如智能手机、平板计算机等。

环境10还可以包括一个或多个电子设备，其被配置为控制环境中的其它电子设备。在图1中，例如，示出用户14持有通用远程控制发送器32。通用远程控制发送器可以被配置为将适当的控制信号(红外、无线电、蓝牙等)发送到环境中的远程可控制设备，例如，显示器16、AV接收器22、电缆盒24、室内照明系统26、恒温器28、智能手机30和/或计算设备20等。在一些实施例中，还可以将其它设备(例如，移动计算设备30)用作控制器设备。

如上所述，本文公开的实施例允许用户14仅仅通过凝视电子设备来选择要控制的电子设备。为此，计算机系统20包括对远程可控制电子设备在环境10中位于何处进行定义的数据。在一些实施例中，可以通过环境成像系统获取至少一部分该数据。在其它实施例中，可以通过用户输入获取该数据，如下所述。此外，计算机系统20可以包括这样的数据，其用于对控制器设备的用户接口进行适配以允许用户经由控制器设备方便地控制远程可控制设备。在图示实施例中，响应于在电缆盒(cable box)处检测到用户的凝视而显示电缆盒24的用户接口。在其它例子中，计算设备可以将远程控制32、智能手机30或其它适当的控制器设备的用户接口适配为可用于控制不同的远程可控制设备。

在一些实施例中，环境成像系统可以包括深度摄像机或色彩摄像机。例如，其可以共享视觉系统38的图像捕捉部件，和/或可以在环境中包括其它图像捕捉设备(未示出)。在一些实施例中，环境成像系统可以由用户握持在手中并行走穿过所述环境，以对远程可控制设备进行成像。在其它实施例中，环境成像系统可以纳入到用户穿戴的眼镜或头饰中。位置跟踪部件可以使得能够将由环境成像系统捕捉到的图像数据映射到真实世界坐标。通过对图像数据的下游分析，可以建立各种远程可控制设备的位置并将其存储到在计算机系统20中维护的映射(map)中。所述映射可以通过凝视跟踪部件访问，以确定用户是否正在凝视远程可控制设备的任意一个。尽管环境成像提供了优点，但在一些实施例中该特征可以被省略，并且可以使用替代方法来建立远程可控制设备在环境中的位置。

继续，计算机系统20的本质在本公开的不同实施例中可能不同。在一些实施例中，计算机系统可以是视频游戏系统，和/或被配置为播放音乐和/或视频的多媒体系统。在其它实施例中，计算机系统可以是用于因特网浏览和生产力应用的通用计算机系统。计算机系统20可以配置用于任意或全部上述目的，和/或任意其它适当的目的，而不背离本公开的范围。

计算机系统20被配置为接受来自一个或多个用户的各种形式的用户输入。这样，用户输入设备(例如，键盘、鼠标、触摸屏、游戏垫或控制杆控制器(图中未示出))可以可操作地耦合到计算机系统，并用于直接输入数据。计算机系统20还被配置为接受来自一个或多个用户的所谓的自然用户输入(NUI)。为了传达(mediate)NUI，NUI系统36包含于计算机系统中。NUI系统被配置为捕捉NUI的各种方面，并向计算机系统提供对应的可行动(actionable)的输入。为此，NUI系统从外围传感部件接收低级输入，所述外围传感部件可以包括视觉系统38和听觉系统40，以及其它(例如，被配置为对环境成像的其它摄像机)。

听觉系统40可以包括一个或多个麦克风，以拾取来自用户14和来自环境10中其它来源(例如，响铃电话、流送音频)的发声和其它可听输入，并可以包括一个或多个麦克风。在一些例子中，听觉系统40可以包括有向麦克风阵列。视觉系统38被配置为经由通过视觉系统获取的图像数据来检测输入，例如，用户手势、眼睛位置和其它身体手势和/或姿势信息。在图示实施例中，视觉系统和听觉系统共享共同外壳；在其它实施例中，它们可以是分离的部件。在其它实施例中，视觉系统、听觉系统和NUI系统可以集成在计算机系统内。计算机系统及其外围传感部件可以经由图中示出的有线通信链路耦合，或以任意其它适当方式。

图2是在示例性环境中的计算机系统20和外围系统的方面的高级示意图。图示计算机系统包括操作系统(OS)42，其可以在软件和/或固件中实例化。计算机系统还可以包括一个或多个应用44，例如，视频游戏应用、数字媒体播放器、互联网浏览器、照片编辑器、文字处理器和/或电子表格应用。计算机系统20、视觉系统38、听觉系统40和环境成像系统34(例如，在视觉系统38外部例如从不同视角对环境进行成像的摄像机)中的任一或全部可以按需包括适当的数据存储设备、指令存储设备和逻辑硬件，以支持其各自的功能。

在图2的实施例中，视觉系统38包括一个或多个深度摄像机46以及一个或多个色彩摄像机48。每个深度摄像机可以被配置为被获取用户14和环境10的深度映射的时间分辨序列。如这里所使用的，术语“深度映射(depth map)”指的是与成像场景的对应区域(X_i，Y_i)配准的像素阵列，而深度值Z_i表示针对每个像素的对应区域的深度。“深度”可以定义为与深度摄像机的光轴平行的坐标，其随着距离深度摄像机的距离增加而增加。可操作地，深度摄像机可以被配置为获取二维图像数据，根据该数据可以经由下游处理而获得深度映射。

通常，深度摄像机46的本质在本公开的各个实施例中可以不同。在一个实施例中，来自深度摄像机中的两个立体定向的成像阵列的亮度数据或色彩数据可以是共同配准的，并用于构造深度映射。在其它实施例中，深度摄像机可以被配置为向主体(subject)上投影结构化红外(IR)照明图案，其包括多种离散特征—例如，线或点。在深度摄像机中成像阵列可以被配置为对从主体反射回的结构化照明进行成像。基于在被成像的主体的各个区域中相邻特征之间的间隔，可以构建主体的深度映射。在其它实施例中，深度摄像机可以朝向主体投射红外脉冲照明。在深度摄像机中的一对成像阵列可以被配置为检测从主体反射回的脉冲照明。两个阵列都可以包括电子快门，其与脉冲照明同步，但是阵列的积分时间可以不同，从而，脉冲照明的像素分辨的飞行时间(从照明源到主体然后到阵列)是基于在两个阵列的对应元件中接收到的光的相对量可分辨的。

每个色彩摄像机48可在多个信道(例如，红、绿、蓝等)中对来自观察场景的可见光进行成像——将成像光映射到像素阵列。替代地，可以使用单色摄像机，其以灰度对所述光进行成像。针对在摄像机中暴露的所有像素的色彩值或亮度值共同构成数字色彩图像。在一些实施例中，色彩摄像机的像素可以与深度摄像机的像素配准。这样，色彩信息和深度信息两者都可以针对观察到的场景的每部分来评估。

NUI系统36处理来自视觉系统38、听觉系统40以及环境成像系统34的低级输入(即信号)，以向计算机系统20提供可行动(actionable)的高级输入。例如，NUI系统可以对来自听觉系统40的音频信号执行声音或人声识别。人声识别可以生成将在计算机系统中接收到的对应的基于文本的命令或其它高级命令。在图2所示的实施例中，NUI系统包括语音识别引擎50、手势识别引擎52、面部识别引擎54、凝视检测引擎56和环境映射引擎58。

语音识别引擎50被配置为处理来自听觉系统40的音频数据，以识别在用户语音中的特定词语或短语，并生成对计算机系统20的OS 42或应用44的对应的可行动输入。手势识别引擎52被配置为至少处理来自视觉系统38的深度数据，以识别在深度数据中的一个或多个人类主体，计算识别出的主体的各种骨架特征，以及从骨架特征收集各种姿势或手势信息，将所述信息供应给OS或应用。面部识别引擎54被配置为处理来自视觉系统的图像数据，以分析当前用户的面部特征。对面部特征的分析可以使得当前用户能够被识别出—例如，匹配到存储于计算机系统中的用户简档。面部识别引擎54还可以允许实现许可，从而可以基于身份将不同的控制级别授权给用户。作为更具体的例子，用户可以选择不允许用户的孩子控制恒温器或其它家庭系统控制，并且面部识别和/或其它识别方法可以用于强制实施该策略。可以理解的是，这样的许可可以以任意其它适当的方式实现。

环境映射引擎58被配置为对环境10的映射进行组装(assemble)，其包括各种远程可控制电子设备在环境中的位置。环境映射引擎可以被配置为接收任意适当形式的输入以定义这种位置，包括直接用户输入。在一个例子中，用户可以仅仅在要控制的设备的方向上凝视，并且然后识别位于该处的设备。用户可以识别设备，例如，通过调出设备的身份(例如，可以向用户显示检测出的设备及其相关联身份的列表)，通过经由键盘、小键盘、游戏控制台或其它输入设备来输入身份，或以任意其它适当的方式。在这种方式中，每个远程可控制设备与其位置相关联。此外，在该过程期间，可以通过对要远程控制的设备输入密码或执行任意其它适当的配对过程，来完成对远程可控制设备与计算设备的配对。位置和配对信息可以存储于计算机系统的非易失性存储器中，并且随后用于确定用户想要控制哪个远程可控制设备，并且还通信地连接到要控制的设备上。在另一实施例中，环境映射引擎可以接收来自环境成像系统34的输入。因此，环境映射引擎可以被配置为基于其图像特性(例如，大小、形状、色彩)、基于适当的识别标记(例如，条形码或徽标)、或以任何其它适当方式，来识别各种电子设备。

在其它实施例中，环境映射引擎可以操作地耦合多个信号(例如，无线电或其它适当波长)接收器。信号接收器可以被配置为从在环境10中附接到远程可控制电子设备的发射信标接收识别信号。借助于空间地分布在环境中的接收器，环境映射引擎可以被配置为对每个远程可控制电子设备的位置进行三角测量并由此创建映射。

继续参见图2，凝视检测引擎56被配置为处理来自视觉系统38的数据，以识别用户的头部方向和/或定位用户的一个或多个眼睛特征。这种眼睛特征可以包括瞳孔中心、瞳孔轮廓、虹膜中心、虹膜轮廓和/或来自已知光源的、从用户眼睛的角膜反射出的一个或多个镜面反射(其可以称作来自“闪烁源”的“闪烁”)。基于头部方向或眼睛特征的位置，凝视检测引擎可以估计用户的凝视向量，并检测用户凝视的方向。此外，凝视方向引擎可以被配置为访问由环境映射引擎58维护的远程可控制电子设备的映射。以这种方式，用户的凝视向量可以绘制在映射上，以在任意时间确定在用户凝视处的远程可控制设备(如果有的话)。

在图2中，计算机系统20可操作地耦合到硬件接口60，其提供对环境中各个远程可控制设备的控制。为此，硬件接口将依照在硬件接口中接收的用户输入来将从计算机系统发送的控制命令进行转换(transduce)，并将对应的控制信号输出到远程可控制设备。在一些实施例中，硬件接口可以包括一个或多个(例如，红外、无线电等)信号发送器，其对应于远程可控制设备被配置为接收的控制信号的类型。在其它实施例中，硬件接口可以通过电线(wire)控制至少一些远程可控制设备。在其它实施例中，硬件接口可以被配置为与外围控制器设备(例如，通用远程控制发送器32)通信。在这种情况下，硬件接口可以转换来自计算机的控制输出，其切换当前与发送器配对的远程可控制设备。

上述附图和描述不应以限制意义解释，因为也预想到了各种其它实施例。在一些实施例中，上述显示器或传感部件可以纳入到用户穿戴的眼镜或头饰中。因此，图3示出了可穿戴立体显示系统62的方面。图示的显示系统类似普通眼镜。其包括耳拟合框架64，伴有鼻梁66，该鼻梁放置在佩戴者的面部。显示器系统还包括右显示窗口68R和左显示窗口68L。在一些实施例中，从佩戴者角度，右和左显示窗口68是完全地或部分地透明的，以给予佩戴者对他或她周围的清晰视野。

在一些实施例中，从计算机系统20将显示成像(display imagery)实时地发送给显示系统62。显示系统62的微控制器70操作地耦合到右光学系统72R和左光学系统72L。在图示实施例中，在显示系统框架内隐藏了微控制器，连同右光学系统和左光学系统。微控制器可以包括适当的输入/输出(IO)部件，以使得其能够接收来自计算机系统20的显示成像。当显示系统62在操作中时，微控制器70将适当的控制信号发送给右光学系统72R，其使得右光学系统在右显示窗口68R中形成右显示图像(right display image)。类似地，微控制器将适当的控制信号发送给左光学系统72L，其使得左光学系统在左显示窗口68L中形成左显示图像(left display image)。

图4示出了在一个非限制实施例中的右或左光学系统72以及相关联显示窗口68的方面。光学系统包括背灯74和液晶显示器(LCD)矩阵76。背灯(backlight)可以包括发光二极管(LED)的总成(ensemble)，例如，白LED，或红、绿和蓝LED的分布。背灯可以定位为将它的发光(emission)引导通过LCD矩阵，其基于来自微控制器70的控制信号形成显示图像。LCD矩阵可以包括许多个独立寻址的像素，其布置在矩形网格或其它几何形状上。在一些实施例中，发射红光的像素可以在矩阵中与发出绿光和蓝光的像素并置(juxtaposed)，从而LCD矩阵形成色彩图像。在一个实施例中，LCD矩阵可以是硅基液晶(LCOS)矩阵。在其它实施例中，数字微镜阵列可以代替LCD矩阵使用，或者可以替代地使用有源LED矩阵。在另外的实施例中，可以使用扫描波束技术来形成右显示图像和左显示图像。

继续参见图4，光学系统72还包括眼睛跟踪部件，其被配置为感知显示系统62的穿戴者的右眼或左眼78的瞳孔位置和/或虹膜位置。在图4的实施例中，眼睛跟踪部件采取成像系统的形式，其对从穿戴者眼睛反射出的来自护眼灯80的光进行成像。护眼灯(eyelamp)可以包括红外或近红外LED，其被配置为照亮眼睛。在一个实施例中，护眼灯可以提供相对窄角度的照明，以在眼睛的角膜84上创建镜面闪烁(specular glint)82。成像系统包括至少一个摄像机86，其被配置为对护眼灯的发射波长范围内的光成像。该摄像机可以被布置或者以其他方式被配置为捕捉来自护眼灯的光，该光是从眼睛反射出的。将来自摄像机的图像数据传送到微控制器70中的或计算机系统20中的相关联逻辑中。在那里，可以处理图像数据以将这样的特征分辨为瞳孔中心88、瞳孔轮廓90和/或来自角膜的一个或多个镜面闪烁82。另外地或替代地，可以分辨虹膜中心或虹膜轮廓。在图像数据中的这种特征的位置可以被用作模型(例如，多项式模型)中的输入参数，所述模型涉及到眼睛的凝视向量92的特征位置。

在一些情况下，来自LCD矩阵76的显示图像可能不适于被显示系统62的穿戴者直接查看。特别地，显示图像可能偏离穿戴者的眼睛，可能具有不期望的聚散度(vergence)和/或非常小的出射瞳孔。考虑到这些问题，来自LCD矩阵的显示图像在去向穿戴者的眼睛的途中可以进一步被调节。在图4的实施例中，通过透镜96将来自LCD矩阵76的显示图像接收到垂直瞳孔扩张器中。垂直瞳孔扩张器将显示图像降低到穿戴者的视场内，并且这样做扩张了显示图像的在“垂直”方向的出射瞳孔。显示图像被从垂直瞳孔扩张器94接收到水平瞳孔扩张器，水平瞳孔扩张器可以耦合到显示窗口68内或体现为显示窗口68。在其它实施例中，水平瞳孔扩张器可以区别于显示窗口。无论哪种方式，水平瞳孔扩张器都扩张了显示图像的在“水平”方向的出射瞳孔。借助于经过水平瞳孔扩张器和垂直瞳孔扩张器，显示图像被呈现在基本覆盖眼睛的区域上。

上述配置使能了用于基于凝视的远程设备控制的各种方法。现在通过举例方式描述这样的一些方法，继续参考上述配置。然而，可以理解的是，可以借助于不同的配置来使能这里描述的方法和落入本公开的范围内的其它方法。

图5示出了用于对一个或多个远程可控制设备进行基于凝视的控制的示例性方法98。在方法98的100处，将一个或多个远程可控制设备的位置映射到计算机系统20的数据存储介质中。在一个实施例中，远程可控制设备的位置可以经由直接用户输入来映射。换句话说，用户可以输入一个或多个设备的坐标，或通过每次一个地凝视所述设备、同时识别用户凝视处的设备，来将每个设备与其位置相关联。在一些实施例中，还可以执行与设备的通信配对(communicative pairing)，作为该过程的一部分。在其它实施例中，如上所述，可以基于通过环境成像系统获取到的图像数据以及根据图像数据进行的对远程可控制设备的识别，来映射远程可控制设备的位置。在其它实施例中，远程可控制设备的位置是基于在与计算机系统操作地耦合的传感部件中接收到的信号而被映射的。信号可以来源于位于远程可控制电子设备上的发送器。

在102处，检测计算机系统的用户的凝视方向。可以通过从指向用户的视觉系统的一个或多个摄像机获取用户的头部的、面部的和/或眼睛的图像，来检测凝视方向。在一个实施例中，图像可以定义用户面部的总体方向。在其它实施例中，图像还可以定义用户的特定眼睛特征，例如瞳孔中心、瞳孔轮廓、或来自用户角膜的镜面反射。然后，在凝视检测引擎56中分析头部的、面部的和/或眼睛的图像，以计算用户的凝视向量。在包括显示器16的实施例中，可以将用于选择远程可控制对象的凝视指向显示器的可视边界外部的位点(locus)。

在104处，确定当前凝视方向与远程可控制设备之一(其位置已经被映射)的位置相符(coincide)。例如，可以通过在远程可控制设备的位置被映射的相同坐标系中绘制用户的凝视向量，来进行这种确定。

在106处，可以通过面部识别引擎54可选地识别用户面部。在一些实施例和使用场景中，可以取决于对系统进行访问的特定用户而不同地进行远程设备控制，如下文更详细描述的。因此，可以使用面部识别来识别用户并由此通知下游处理。

在108处，检测来自用户的对布置在凝视方向的远程可控制设备进行控制的指示。在一个实施例中，可以仅仅通过用户凝视中的停留，指示对该远程可控制设备进行控制的意图。换句话说，用户可以凝视设备达阈值时间段，如两秒、五秒等，以指示对设备进行控制的意图。

在其它实施例中，对远程可控制设备的控制意图是借助于边带指示来用信号通知的。适于该目的的一种边带指示是用户的语音，其可以经由听觉系统40接收，并在语音识别引擎50中识别出。例如，用户可以说出“打开”来打开他正在凝视着的设备。其它适当的边带指示可以包括来自用户的手势或身体姿势，如在视觉系统38中接收到的并由手势识别引擎52解释的。在一个例子中，用户可以举起手，同时看着远程可控制设备，以指示他想要该设备被打开。

在110处，对控制器设备的用户接口进行适配，以使得能够对位于用户凝视方向的远程可控制设备进行用户控制。在本公开的不同实施例中，对用户接口进行的适配的本质可以采取不同形式。如上所示，各种控制器设备与该方法兼容。在一些实施例中，控制器设备可以是娱乐系统或游戏系统，其操作地耦合到显示器(例如，电视机、计算机监视器、专用显示器等)。在这种情况下，经适配的用户接口可以包括在显示器上呈现的所选择的远程可控制设备的用户接口。在将经适配的用户接口呈现于显示器上的实施例中，还支持对所述显示器的导航(navigation)。导航的适当模式包括但不限于：通过语音导航、通过手势导航、以及通过凝视方向导航。在基于用户的凝视方向来对用户接口进行导航的实施例中，可以将用户凝视指向在显示器上的位点(locus)。

图6示出了用户14基于凝视方向或手势，对在显示器16上呈现的UI进行导航的使用场景。基于来自视觉系统38(或者其它适当的凝视检测系统，例如在头戴式显示器上的)的图像数据，凝视检测引擎56可以被配置为计算与用户正在凝视的点相对应的显示屏坐标(X，Y)。类似地，手势检测引擎52可以被配置为基于用户的手相对于固定于用户身体的坐标系112的位置，来计算类似的坐标。用这种方式，用户能够在为控制远程可控制设备而提供的各种UI元素当中导航。

在其它实施例中，控制器设备可以是手持设备，例如，通用远程控制器。这里，对控制器设备的用户接口进行适配的行为(act)可以包括改变设备的按钮或其它控制件的效果；以及在一些实施例中可以包括改变按钮或其它控制件的外观。在其它实施例中，对用于控制远程可控制设备的用户接口进行的适配可以包括除了视觉适配之外的适配。在其它实施例中，用户接口可以是非视觉的。这样的用户接口可以整体地或部分地依赖于自然用户输入，例如人声或手势，如通过上述视觉和/或听觉系统接收到的。

现在回到图5，在一些使用场景中，可以根据正在访问系统的特定用户来不同地控制设备。例如，让儿童能够控制游戏系统或电缆盒(cable box)可能是可以接受的；但是让儿童能够调整恒温器是不能接受的。此外，一些用户可能宁愿与针对特定设备的较简单的用户接口交互，而其他用户可能期望对设备的更完整的控制。因此，在110处适配控制器设备的用户接口的详细方式可以取决于用户的身份(如在106处通过面部识别和/或其它适当的生物计量识别方法(例如，人声识别)而透露的)。例如，当将用户的面部识别为儿童面部时，系统可以抑制对用于特定设备的UI的呈现，或可以呈现简化的UI。

在114处，在控制器设备上接收来自用户的输入。在控制器设备是可适配的手持设备(例如，通用远程控制器)的实施例中，用户输入可以经由用户致动的按钮或其它控制件接收。如上所述，在110处，按照寻求控制的特定设备，可以对这种控制的效果和可能的外观进行适配。例如，可以控制在每个远程控制按钮上提供的个体可控制屏幕，以显示所述按钮的当前功能。在其它非限制性实施例中，可以接收手势或身体姿势形式或凝视形式的用户输入。例如，在110处，可以对用户接口进行适配以在显示器上呈现UI元素的集合(collection)。这里，在显示器边界中的用户凝视方向可以用于激活适当的UI元素，以调用期望的行动。在116处，基于接收到的输入，将信号发送到所选择的远程可控制设备，具有控制该远程可控制设备的效果。

在一些场景中，可以响应于同一触发，并发地控制两个或更多远程可控制设备。一个示例性场景是：当用户正在流送电影并被电话响铃中断时，电话在用户环境中的某处但不在其身边。该事件可以提示用户在正在响铃的电话的方向凝视，这将电话作为要被控制的第一设备而选择。如果用户举起他的手或者说出词语“应答”，则系统可以使得能够以各种方式(例如，将电话连接到室内音频、在显示器上呈现UI来使能静音、挂断等)远程控制电话。此外，在118处，系统还可以自动暂停电影的流送、执行对第二远程可控制设备(例如，DVR或电缆盒)的控制。在该例子中，暂停电影的行动可能伴随在显示器上并发地呈现第二用户接口。第二用户接口例如可以提供选项来停止或恢复流送视频。

如根据上述描述显然的，这里描述的方法和过程可以与一个或多个计算机器的计算机系统关联。这种方法和过程可以实现为计算机应用程序或服务、应用程序接口(API)、库和/或其它计算机程序产品。

如图2的简化形式所示，示出了用于支持本文描述的方法和过程的计算机系统20的非限制性例子。计算机系统包括逻辑机120和指令存储机122。计算机系统还包括：显示器16、通信系统124和图2中未示出的各种部件。

每个逻辑机120包括一个或多个物理设备，其被配置为执行指令。例如，逻辑机可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、部件、数据结构或其它逻辑构造的一部分的指令。这种指令可以实现为执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或达到期望结果。

每个逻辑机120可以包括一个或多个处理器，其被配置为执行软件指令。作为替代或作为补充，逻辑机可以包括一个或多个硬件或固件逻辑机，其被配置为执行硬件或固件指令。逻辑机的处理器可以是单核或多核的，并且在其上执行的指令可以被配置为用于顺序式、并行式和/或分布式处理。逻辑机的个体部件可以分布于两个或更多单独设备中，其可以被远程地定位和/或被配置为协调处理。逻辑机的方面可以是虚拟化的，并通过被配置成云计算配置的远程可访问的联网计算设备执行。

每个指令存储机122包括一个或多个物理设备，其被配置为保持由相关联的逻辑机120可执行的指令，以实现本文描述的方法和过程。当实现这种方法和过程时，可以将指令存储机的状态例如转换为保持不同数据。指令存储机可以包括可移除和/或嵌入式设备；其可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)，和/或磁存储器(例如，硬盘驱动、软盘驱动、磁带驱动、MRAM等)，等等。指令存储机可以包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。

可以理解的是，每个指令存储机122包括一个或多个物理设备。然而，本文描述的指令的方面替代地可以通过不由物理设备在有限时间持有的通信介质(例如，电磁信号、光信号等)传播。

逻辑机和指令存储机的方面可以一起集成到一个或多个硬件逻辑部件。这种硬件逻辑部件例如可以包括现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASCI/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)和复杂可编程逻辑设备(CPLD)。

术语“模块”、“程序”和“引擎”可以用于描述用于执行特定功能的计算机系统的方面。在一些情况下，可以经由逻辑机执行保存在指令存储机中的指令，来实例化模块、程序或引擎。可以理解的是，可以根据相同的应用、服务、代码块、对象、库、例程、API、函数等来实例化不同的模块、程序和/或引擎。类似地，可以通过不同的应用、服务、代码块、对象、例程、API、函数等来实例化相同的模块、程序和/或引擎。术语“模块”、“程序”和“引擎”可以包括可执行文件、数据文件、库、驱动器、脚本、数据库记录等的个体或组。

通信系统124可以被配置为通信地将计算机系统耦合到一个或多个其它机器上。通信系统可以包括有线和/或无线通信设备，其与一个或多个不同通信协议兼容。作为非限制性例子中，通信系统可以被配置为经由无线电话网络或者有线或无线局域网或广域网进行通信。在一些实施例中，通信系统可以允许计算机器经由例如因特网的网络将消息发送到和/或接收自其它设备。

可以理解的是，这里所描述的配置和/或方法在本质上是示例性的，并且这些具体的实施例或例子不被认为是限制意义的，因为各种变型都是可能的。这里描述的具体例程或方法可以呈现任意数量的可能测量中的一个或多个。这样，图示和/或描述的各种行动可以以图示和/或描述的顺序、并行执行或被省略。类似地，可以改变上述过程的次序。

本公开的主题包括各种过程、系统和配置的所有新颖的和非显而易见的组合和子组合，以及本文公开的其它特征、功能、行动和/或属性，以及其任意和所有的等价物。

Claims (13)

1.在包括凝视方向检测器的计算系统上，一种用于进行基于凝视的远程设备控制的方法，所述方法包括：

经由来自所述凝视方向检测器的数据，检测用户的凝视方向；

检测来自所述用户的对位于所述凝视方向的远程能够控制的设备进行控制的指示；

对控制器设备的用户界面进行适配，以使得能够对所述远程能够控制的设备进行用户控制；

接收来自所述用户的输入，所述用户经由凝视方向与所述控制器设备的用户界面进行交互；以及

基于接收到的所述输入，将信号发送到所述远程能够控制的设备，以控制所述远程能够控制的设备。

2.根据权利要求1所述的方法，其中，所述控制器设备包括所述用户能够查看的显示器，并且其中，适配的用户界面被呈现在所述显示器上。

3.根据权利要求1所述的方法，其中，对所述远程能够控制的设备进行控制的所述指示包括在所述凝视方向的停留。

4.根据权利要求1所述的方法，其中，对所述远程能够控制的设备进行控制的所述指示包括语音。

5.根据权利要求1所述的方法，其中，对所述远程能够控制的设备进行控制的所述指示包括手势。

6.根据权利要求1所述的方法，还包括：识别所述用户的面部，其中，所述控制器设备的用户界面是基于识别出的面部而被不同地适配的。

7.根据权利要求1所述的方法，其中，所述控制器设备包括娱乐系统。

8.根据权利要求1所述的方法，其中，所述控制器设备包括手持设备。

9.根据权利要求1所述的方法，其中，所述远程能够控制的设备是第一远程能够控制的设备，所述方法还包括并发地控制一个或多个其它远程能够控制的设备。

10.一种用于进行基于凝视的远程设备控制的系统，所述系统包括：

操作地耦合到指令存储机的逻辑机，所述指令存储机保存指令，所述指令使得所述逻辑机用于：

经由来自凝视方向检测器的数据，检测来自所述用户的对布置在已确定的凝视方向上的远程能够控制的设备进行控制的指示；

经由与所述远程能够控制的设备分离的显示设备显示用户界面，以使得能够对所述远程能够控制的设备进行用户控制；

接收来自所述用户的输入；以及

基于接收到的所述输入，将信号发送到所述远程能够控制的设备，以控制所述远程能够控制的设备。

11.根据权利要求10所述的系统，其中，所述指令能够执行以通过检测指向在所述显示器外部的位点的凝视来检测来自所述用户的指示。

12.根据权利要求10所述的系统，其中，所述指令能够执行以经由指向在所述显示器上的位点的凝视来接收来自所述用户的输入。

13.根据权利要求10所述的系统，其中，所述显示器和所述凝视方向检测器在能够穿戴的设备中与所述存储机和所述逻辑机集成到一起。