CN114661158A - 一种处理方法和电子设备 - Google Patents

Abstract

本申请公开一种处理方法和电子设备，该方法确定处于协同状态的多个电子设备对应的采集组件中的主采集组件，至少获得主采集组件采集的使用者的视线数据，并根据获得的视线数据，确定使用者在多个电子设备的注视点信息。从而，针对协同使用多个电子设备的应用场景，本申请实现了在多个电子设备间的用户视线注视点估计，能够为基于视线估计的多设备控制提供有效的技术支撑，且本申请通过从处于协同状态的多个电子设备对应的采集组件中选取主采集组件，并至少利用主采集组件采集的使用者视线数据进行注视点估计，能进一步提升用户视线注视点估计的准确度，相应进一步提升了基于视线估计的设备控制准确度，改善了用户使用体验。

Description

一种处理方法和电子设备

技术领域

本申请属于人机交互技术领域，尤其涉及一种处理方法和电子设备。

背景技术

目前，随着个人智能设备的不断普及，用户拥有的个人智能设备也在不断增加，相应出现了很多协同使用多个设备的应用场景，例如，同一智能设备通过连接多个显示装置来满足显示需求，这为基于视线估计的设备控制带来了新的挑战，需要在用户协同使用的多个设备间进行眼神注视点估计。

发明内容

为此，本申请公开如下技术方案：

一种处理方法，所述方法包括：

确定处于协同状态的多个电子设备对应的采集组件中的主采集组件；所述采集组件能用于视线数据采集；

至少获得所述主采集组件采集的使用者的视线数据；

根据获得的视线数据，确定使用者在所述多个电子设备的注视点信息。

可选的，所述采集组件包括摄像头组件；

所述确定处于协同状态的多个电子设备对应的采集组件中的主采集组件，包括：

如果所述多个电子设备对应一个摄像头组件，将所述一个摄像头组件确定为主摄像头组件；

如果所述多个电子设备中的不同电子设备分别对应不同摄像头组件，从所述不同摄像头组件中选取目标摄像头组件，作为主摄像头组件。

可选的，所述从所述不同摄像头组件中选取目标摄像头组件，包括：

根据所述不同摄像头组件中至少一个摄像头组件采集的使用者视线数据，确定使用者视线的注视点在不同摄像头组件分别对应的不同控制空间中所处的目标控制空间，选取所述目标控制空间对应的摄像头组件为目标摄像头组件；

或，根据所述多个电子设备的相对位置信息，确定满足位置条件的目标电子设备，将所述目标电子设备对应的摄像头组件选取为目标摄像头组件；

或，根据处于协同状态的所述多个电子设备所对应当前应用的历史主摄像头组件的信息，选取目标摄像头组件；

其中，不同的摄像头组件分别对应不同的控制空间，摄像头组件对应的控制空间至少与摄像头组件覆盖的采集区域相关。

可选的，所述至少获得所述主采集组件采集的使用者的视线数据，包括：

获得所述主采集组件采集的使用者的第一视线数据；

或，获得所述主采集组件采集的使用者的第一视线数据，以及至少一个辅助采集组件采集的使用者的第二视线数据；

其中，所述第一视线数据至少包括使用者的眼部区域数据信息，所述辅助采集组件为所述多个电子设备分别对应的不同采集组件中所述主采集组件以外的采集组件。

可选的，所述根据所述获得的视线数据，确定使用者在所述多个电子设备的注视点信息，包括：

根据所述第一视线数据，确定使用者在所述多个电子设备中注视相应电子设备的注视点位置及注视方向中的至少部分信息；

或，根据所述第一视线数据和所述第二视线数据，确定使用者在所述多个电子设备中注视相应电子设备的注视点位置及注视方向中的至少部分信息。

可选的，所述根据所述第一视线数据和所述第二视线数据，确定使用者在所述多个电子设备中注视相应电子设备的注视点位置及注视方向中的至少部分信息，包括：

根据所述第一视线数据，确定使用者注视相应电子设备的第一注视点位置及第一注视方向中的至少部分信息；

根据所述第二视线数据，确定使用者注视相应电子设备的第二注视点位置及第二注视方向中的至少部分信息；

基于所述第二注视点位置及第二注视方向中的至少部分信息，调整所述第一注视点位置及第一注视方向中的至少部分信息中的对应信息，得到使用者注视相应电子设备的注视点位置及注视方向中的至少部分信息。

可选的，所述确定使用者注视相应电子设备的注视点位置，包括：

从相应视线数据中提取使用者的眼部特征信息；

根据所述眼部特征信息，基于预先构建的统一坐标系确定使用者在所述多个电子设备中注视相应电子设备的注视点坐标；

其中，预先基于所述多个电子设备的相对位置构建所述统一坐标系，并将每一电子设备映射在所述统一坐标系。

可选的，在所述多个电子设备中的不同电子设备分别对应不同摄像头组件的情况下，所述方法还包括：

确定使用者视线的注视点变化信息，响应于所述注视点变化信息满足预设变化条件，切换所述主摄像头组件为所述不同摄像头组件中与变化后的注视点信息匹配的摄像头组件；

响应于主摄像头组件的切换，对所述多个电子设备进行对应的设备控制。

可选的，所述确定使用者视线的注视点变化信息，响应于所述注视点变化信息满足预设变化条件，切换所述主摄像头组件为所述不同摄像头组件中与变化后的注视点信息匹配的摄像头组件，包括：

至少根据所述主摄像头组件采集的使用者视线数据，确定使用者视线的注视点在不同摄像头组件分别对应的不同控制空间中所处的目标控制空间；

响应于所处的目标控制空间发生变化，切换所述主摄像头组件为变化后的目标控制空间匹配的摄像头组件。

一种电子设备，包括：

存储器，用于至少存储一组指令集；

处理器，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集实现如上文任一项所述的处理方法。

一种存储介质，存储介质上存储有计算机指令集，该计算机指令集被处理器调用并运行时能实现如上文任项公开的处理方法。

由以上方案可知，本申请公开的处理方法和电子设备，确定处于协同状态的多个电子设备对应的采集组件中的主采集组件，至少获得主采集组件采集的使用者的视线数据，并根据获得的视线数据，确定使用者在多个电子设备的注视点信息。从而，针对协同使用多个电子设备的应用场景，本申请实现了在多个电子设备间的用户视线注视点估计，能够为基于视线估计的多设备控制提供有效的技术支撑，且本申请通过从处于协同状态的多个电子设备对应的采集组件中选取主采集组件，并至少利用主采集组件采集的使用者视线数据进行注视点估计，能进一步提升用户视线注视点估计的准确度，相应进一步提升了基于视线估计的设备控制准确度，改善了用户使用体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请提供的处理方法的一种流程示意图；

图2是本申请提供的多设备协同系统中一设备对应的控制空间示意图；

图3是本申请提供的多设备协同系统中不同设备的相对位置示意图；

图4是本申请提供的根据第一视线数据和第二视线数据确定使用者视线的注视点信息的过程示意图；

图5是本申请提供的处理方法的另一种流程示意图；

图6是本申请提供的电子设备的组成结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请公开一种处理方法和电子设备，适用于协同使用多个电子设备的应用场景，用于针对上述场景，至少实现在协同使用的多个电子设备间进行高准确度的用户视线注视点估计。该处理方法可应用于具备处理功能的电子设备，具体可以是但不限于众多通用或专用的计算装置环境或配置下的设备，例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、AR/VR设备、多处理器装置等等。

本申请实施例公开的处理方法的处理过程如图1所示，至少包括：

步骤101、确定处于协同状态的多个电子设备对应的采集组件中的主采集组件；各个电子设备对应的采集组件能用于视线数据采集。

可选的，处于协同状态的多个电子设备中的部分或全部电子设备具备显示装置，如，LCD(Liquid Crystal Display，液晶显示器)、LED(Light-Emitting Diode，发光二极管)或OLED(Organic Light-Emitting Diode，有机发光二极管)等任意类型的显示屏/显示器。且，该多个电子设备中至少一个电子设备具备处理系统，如计算机主机和操作系统构成的软硬件处理系统，或智能手机主板上各组件及手机操作系统构成的软硬件处理系统等。

其中，在处于协同状态的多个电子设备中仅有一个电子设备具备处理系统的场景下，各个电子设备共享一个处理系统，具备处理系统的电子设备通过连接多个显示装置(例如，一个PC通过HDMI连接线连接多个显示器)，并在连接的多个显示装置之间，或者自身显示装置与连接的多个显示装置之间，进行信息的显示输出控制，来满足该具备处理系统的电子设备运行过程中的显示需求。

在处于协同状态的多个电子设备中有多个电子设备具备处理系统的场景下，可预先根据实际需求配置该场景中对处理系统的使用模式，所配置的使用模式可以是如下的任意一种：

模式一：多个处理系统协同工作；

如，多个电子设备的不同处理系统通过相互间的协作交互，共同完成一基于深度学习的神经网络模型训练任务，或者，不同处理系统分别运行游戏应用中的主场景和多个辅助场景，使得构成一完整的游戏场景等，该应用模式下，支持通过不同处理系统间的协作实现不同游戏场景的交互。

模式二：多个电子设备共享一个处理系统。

该模式下，预先从多个电子设备提供的多个处理系统中选取一个处理系统作为待共享处理系统，未被选中处理系统的其他电子设备，在协同使用过程中仅提供显示功能。

处于协同状态的多个电子设备对应的采集组件，能用于视线数据采集，具体可以但不限于是摄像头、红外传感器、距离传感器等中的部分或全部组件，优选的，本实施例中，电子设备对应的采集组件为摄像头组件。电子设备对应的采集组件可以是电子设备自身的采集组件和/或外接的采集组件，且处于协同状态的多个电子设备可以仅对应一个采集组件，或者，也可以对应多个采集组件，例如，多个电子设备中仅有一个电子设备具备摄像头，或者各个电子设备分别具备各自的摄像头。

针对多个电子设备对应的采集组件，本申请提出主采集组件的概念，并确定处于协同状态的多个电子设备所对应采集组件中的主采集组件，至少基于主采集组件采集的使用者视线数据对使用者进行视线注视点估计。其中，具体将主采集组件定义为：系统的各采集组件中，在同一时刻能提供最多的可用视线数据，相应使系统的视线注视点估计性能(如估计准确度)最高、能给用户最优使用体验的采集组件。

这里的系统，是指由处于协同状态的多个电子设备构成的协同系统。

当基于实际使用需求，建立多个电子设备间的连接，并使多个电子设备进入协同状态时，协同系统首先从多个电子设备的采集组件中确定主采集组件。针对采集组件为摄像头组件的情况，如果处于协同状态的多个电子设备对应一个摄像头组件，直接将该一个摄像头组件确定为主摄像头组件；如果处于协同状态的多个电子设备中的不同电子设备分别对应不同摄像头组件，则从不同摄像头组件中选取目标摄像头组件，作为主摄像头组件。

从不同摄像头组件中选取目标摄像头组件，以得到主摄像头组件的实现方式，可以是如下方式中的任意一种：

方式11：根据不同摄像头组件中至少一个摄像头组件采集的使用者视线数据，确定使用者视线的注视点在不同摄像头组件分别对应的不同控制空间中所处的目标控制空间，选取目标控制空间对应的摄像头组件为目标摄像头组件。

其中，不同的摄像头组件分别对应不同的控制空间。

针对某一摄像头组件，如果用户视线注视点处于某一特定空间时，该摄像头组件相比于其他摄像头组件能采集到使用者最多的可用视线数据，相应能使协同系统的视线注视点估计性能最高、能提供给用户最优的使用体验，则本申请将该特定空间定义为该摄像头组件的控制空间。例如，对于某PC屏幕上的一摄像头，其控制空间可设定为该屏幕对应占用的屏幕空间，或者该屏幕及其周围预定距离范围内的空间，因为当用户的视线注视点在该空间内时，该摄像头相比于与该PC处于协同状态的其他PC上的摄像头，可以采集到最多的可用视线数据，能使系统具备最高的视线注视点估计准确度，能提供给用户最好的使用体验，参见图2的示例，其中示意性示出了PC2的控制空间。

进一步，摄像头组件对应的控制空间，至少与摄像头组件覆盖的采集区域相关，具体为用户处于摄像头组件覆盖的采集区域使摄像头组件能采集到用户视线数据前提下，用户视线关注点落于的空间，如上述的PC屏幕及其周围预定距离范围内的空间。除此之外，针对本申请的多设备协同场景，可选的，摄像头组件对应的控制空间还与协同系统中各个电子设备的相对位置关系相关，受各个电子设备相对位置关系的约束，具体的，在处于协同状态的多个电子设备的当前相对位置关系下，应至少保证为不同摄像头组件确定的不同控制空间无重叠区域。

可选的，各个电子设备之间的相对位置关系，具体指各个电子设备的显示装置之间的相对位置关系。

实际应用中，可由用户预先结合摄像头组件覆盖的采集区域、摄像头组件所对应电子设备的显示装置尺寸(显示装置的长度/宽度值等)，及需协同的多个电子设备的相对位置等信息，手动配置每一摄像头组件对应的控制空间，但不限于此，在其他实施方式中，也可以由协同系统通过自动化手段，自动为各摄像头组件配置对应的控制空间，该实施方式下，响应于多个电子设备进入协同状态，系统可初始化各电子设备的摄像头、距离传感器、红外传感器等采集组件，通过这些采集组件中的部分或全部组件采集各电子设备的相对位置数据，并分析采集的数据得到系统中各设备间的相对方向、距离等相对位置信息，如，各个电子设备显示装置之间的距离、相对方向等，同时获得各电子设备显示装置的尺寸信息，以及各摄像头组件覆盖的采集区域信息，并结合这些信息自动为每一摄像头组件适配对应的控制空间。

应用本申请时，也可以由用户根据需协同使用的各个电子设备的实际布局位置，将各个电子设备的相对方向、距离等相对位置信息，预先配置在协同系统中，在系统有需要时，直接读取配置的相对位置信息进行使用即可。

具体的，在基于该方式11确定目标摄像头组件时，首先获得协同系统的各个摄像头组件中至少一个摄像头组件采集的使用者视线数据，包括但不限于使用者的面部图像/视频帧，并通过对使用者的面部图像/视频帧进行图像分析、特征识别，提取使用者的预定特征信息，进而根据提取的特征信息，确定使用者视线的注视点在不同摄像头组件分别对应的不同控制空间中所处的目标控制空间，并将该目标控制空间对应的摄像头组件选取为目标摄像头组件，即主摄像头组件。

其中，所提取的使用者特征信息至少包括使用者的眼部特征信息，眼部特征信息包括但不限于使用者的眼球、瞳孔和/或角膜、虹膜等眼睛部位特征信息，如眼球的位置/朝向、瞳孔的位置/半径、双瞳孔间距、角膜反射区等信息，除此之外，提取的使用者特征信息还可以包括使用者面部特征信息，如面部朝向等。

方式12：根据处于协同状态的多个电子设备的相对位置信息，确定满足位置条件的目标电子设备，将目标电子设备对应的摄像头组件选取为目标摄像头组件。

上述位置条件，为能表征电子设备处于协同系统的居中位置或靠近居中位置的条件。具体可以但不限于将该位置条件设置为：电子设备与协同系统中该电子设备以外的各个其他电子设备之间的距离的差值绝对值最小。

例如，在图3中，PC2与PC1、PC3之间的距离分别为d₁、d₂，PC1与PC2、PC3之间的距离分别为d₁、d₃，PC3与PC1、PC2之间的距离分别为d₃、d₂，其中，|d₁-d₂|＜|d₁-d₃|且|d₁-d₂|＜|d₂-d₃|，从而，PC2满足位置条件，相应将PC2对应的摄像头组件选取为目标摄像头组件。

该方式下，响应于多个电子设备进入协同状态，电子设备自动触发距离传感器、摄像头等组件进行数据采集，并分析采集的数据确定各个电子设备之间的距离、相对方向等相对位置信息，或者直接读取预先配置的相对位置信息，根据各电子设备的相对位置信息，确定满足位置条件的目标电子设备，进而将目标电子设备对应的摄像头组件选取为目标摄像头组件，即主摄像头组件。

方式13：根据处于协同状态的多个电子设备所对应当前应用的历史主摄像头组件的信息，选取目标摄像头组件。

当前应用的历史主摄像头组件的信息，包括但不限于协同系统历史使用该当前应用(如，游戏应用)的过程中，各个不同摄像头分别作为协同系统主摄像头的次数、频率、时长，和/或最后一次使用时是否被选取为主摄像头等信息。

本实施方式参考当前应用的历史主摄像头组件的使用情况信息，进行目标摄像头组件的选取，如选取历史上作为主摄像头的次数最多/频率最高/使用时长最长/最后一次采用的主摄像头，作为本次的目标摄像头组件(主摄像头组件)，或者，通过对次数、频率、时长等各指标参数进行加权计算，来选取本次的目标摄像头组件等。

步骤102、至少获得主采集组件采集的使用者的视线数据。

本步骤主要包括两种可选实现方式，一种是，仅获得主采集组件采集的使用者第一视线数据，以用于使用者的视线注视点估计；另一种是，获得主采集组件采集的使用者第一视线数据，以及至少一个辅助采集组件采集的使用者第二视线数据，该方式将主采集组件和至少一个辅助采集组件的采集信息，结合用于使用者的视线注视点估计。

其中，第一视线数据至少包括使用者的眼部区域数据信息，辅助采集组件为多个电子设备分别对应的不同采集组件中主采集组件以外的采集组件。

以采集组件为摄像头组件为例，则可仅获得主摄像头组件采集的使用者的第一面部图像，来用于使用者的视线注视点估计；或者，也可以同时获得主摄像头组件采集的使用者第一面部图像和至少一个辅助摄像头组件采集的使用者第二面部图像，共同用于使用者的视线注视点估计。

相应的，第一面部图像至少包括使用者的眼部区域图像信息，辅助摄像头组件为协同系统不同摄像头组件中主摄像头组件以外的摄像头组件。

第一面部图像、第二面部图像可以是拍照图像或录制的一段视频中的视频帧图像，不作限制。与辅助摄像头组件采集的第二面部图像相比，主摄像头组件采集的第一面部图像包含使用者更多的可用视线数据，如，主摄像头组件从使用者脸部正面方位采集到使用者两只眼睛的正面眼部图像，辅助摄像头组件从使用者脸部侧面方位采集到使用者一只眼睛的侧面眼部图像，相比于辅助摄像头组件，主摄像头组件采集的可用视线数据更多。

步骤103、根据获得的视线数据，确定使用者在所述多个电子设备的注视点信息。

使用者在多个电子设备的注视点信息，包括使用者在处于协同状态的所述多个电子设备中注视相应电子设备的注视点位置及注视方向中的至少部分信息。

与获得采集组件所采集视线数据的实现方式相匹配，本步骤具体可通过如下方式中的相应方式，确定使用者在所述多个电子设备的注视点信息：

方式21：根据获得的第一视线数据，确定使用者在多个电子设备中注视相应电子设备的注视点位置及注视方向中的至少部分信息；

方式22：根据获得的第一视线数据和第二视线数据，确定使用者在多个电子设备中注视相应电子设备的注视点位置及注视方向中的至少部分信息。

本申请实施例中，预先针对构成协同系统的多个电子设备，构建有统一坐标系，并通过将每一电子设备映射在统一坐标系，使得每一电子设备在该坐标系下均对应相应的位置坐标。

其中，各个电子设备在统一坐标系下的位置映射，至少包括各个电子设备的显示装置在统一坐标系下的位置映射。

优选的，所构建的统一坐标系为空间坐标系，具体可由协同系统在初始化阶段，预先根据各个电子设备显示装置的相对位置信息，以及各电子设备显示装置的尺寸信息(如，长宽值)构建统一坐标系，并至少将各电子设备的显示装置映射在构建的统一坐标系中，使得每一电子设备的显示装置在该坐标系下均对应相应的位置坐标。

各个电子设备显示装置的相对位置信息，可以由用户预先根据各个电子设备显示装置的实际布局位置预先配置在系统中，或者也可以由系统通过分析摄像头、红外传感器和/或距离传感器等组件的采集数据得到，不作限制。

在上述两种实现方式中，根据相应视线数据，确定使用者注视相应电子设备的注视点位置，可进一步实现为：从相应视线数据中提取使用者的眼部特征信息；根据提取的使用者眼部特征信息，基于预先构建的上述统一坐标系确定使用者在多个电子设备中注视相应电子设备的注视点坐标。

其中，针对采集组件为摄像头组件的情况，从相应视线数据中提取使用者的眼部特征信息，至少包括从主摄像头采集的第一面部图像中提取使用者的眼部特征信息，具体的，可通过对主摄像头的拍照图像或录制的一段视频进行图像分析与特征识别，提取出使用者的眼部特征信息，包括但不限于使用者的眼球、瞳孔和/或角膜、虹膜等眼睛部位特征信息，如眼球的位置/朝向、瞳孔位置/半径、双瞳孔间距、角膜反射区等信息。针对结合主采集组件和辅助采集组件的采集信息进行注视点估计的实现方式，还可以从辅助摄像头组件采集的第二面部图像中，提取使用者的上述任一种或多种类型的眼部特征信息。与第二面部图像相比，从第一面部图像中提取的眼部特征信息更丰富全面，将至少作为使用者视线注视点估计的主要数据依据。

除此之外，还可以从主摄像头组件采集的第一面部图像，或者主摄像头组件采集的第一面部图像以及至少一个辅助摄像头组件采集的第二面部图像中，提取使用者的面部朝向等面部特征信息，以用于在视线注视点估计中提供辅助作用。

在通过图像分析、特征识别等手段，提取使用者的特征信息后，进一步根据提取的眼部、面部等特征信息，分析、计算使用者视线在协同系统中注视相应电子设备时的注视点坐标，其中，注视点坐标为统一坐标系下的位置坐标，协同系统可根据该注视点坐标以及各个电子设备在统一坐标系下的位置映射信息，进一步确定使用者在协同系统中所注视的目标电子设备(如，当前具体注视图2中PC1的显示器，而非PC2、PC3的显示器)，以及注视目标电子设备时具体在该目标电子设备上的注视点位置。

另外，可选的，协同系统还可以根据提取的眼部、面部等特征信息，分析使用者在多个电子设备中注视相应电子设备时的注视方向，注视方向可以是但不限于使用者视线与所注视电子设备之间的夹角。

参见图4，上述第二种实现方式即方式22，具体可通过如下处理过程，实现对使用者的视线注视点估计：

步骤401、根据主采集组件采集的第一视线数据，确定使用者注视相应电子设备的第一注视点位置及第一注视方向中的至少部分信息。

如，根据主摄像头组件采集的第一面部数据，确定使用者注视相应电子设备的第一注视点位置和第一注视方向。

步骤402、根据辅助采集组件采集的第二视线数据，确定使用者注视相应电子设备的第二注视点位置及第二注视方向中的至少部分信息。

如，根据至少一个辅助摄像头组件采集的第二面部数据，确定使用者注视相应电子设备的第二注视点位置和第二注视方向。

步骤403、基于第二注视点位置及第二注视方向中的至少部分信息，调整第一注视点位置及第一注视方向中的至少部分信息中的对应信息，得到使用者注视相应电子设备的注视点位置及注视方向中的至少部分信息。

其中，调整方式可以有多种，以下示例性提供一种可行的调整方式：确定各个辅助摄像头组件与主摄像头组件分别对应的估计参数值的差值平均值，将该差值平均值乘以预设系数作为调整值，并将该调整值与主摄像头组件对应的估计参数值进行求和，得到最终的估计参数值。

主摄像头组件对应的估计参数值，具体为根据主摄像头组件采集的第一面部图像，确定出的第一注视点位置和/或第一注视方向；辅助摄像头组件对应的估计参数值，相应为根据辅助摄像头组件采集的第二面部图像，确定出的第二注视点位置和/或第二注视方向。

主采集组件相比于辅助采集组件能采集到更多的可用视线数据，相应的，与根据辅助采集组件采集的第二视线数据处理得到的使用者注视点信息相比，根据主采集组件采集的第一视线数据处理得到的使用者注视点信息的准确度更高，基于此，本实施例采用根据主采集组件采集的第一视线数据处理得到的使用者注视点信息，作为使用者的视线注视点估计结果，并利用根据辅助采集组件采集的第二视线数据处理得到的使用者注视点信息对该估计结果进行调整，来进一步提升使用者视线注视点估计结果的准确度。

实施中，不限于通过图5所示的处理方式，实现根据第一视线数据和第二视线数据，对使用者进行视线注视点估计，还可以有其他实现方式，例如：在视线注视点估计中，确定主摄像头采集的第一面部图像的预设区域是否存在缺陷，如眼部区域是否存在清晰度过低(模糊)、发生畸变、噪点过多等任意一种或多种缺陷，如果存在，则进一步从至少一个辅助摄像头组件所采集的第二面部图像中提取眼部区域图像进行信息补充，结合第一面部图像及从第二面部图像提取的特定区域图像，执行后续的眼部特征提取及此基础上的视线注视点估计。

在根据获得的视线数据，确定出使用者在多个电子设备的注视点信息之后，可进一步根据确定出的注视点信息，执行所需的设备控制，包括但不限于对所注视电子设备上所安装/运行应用的应用控制(如启动、关闭、窗口位置移动、前后台切换等)、对所注视电子设备的设备驱动控制、组件驱动控制(如唤醒设备，或唤醒设备的某个组件)等。

由以上方案可知，本实施例的方法，确定处于协同状态的多个电子设备对应的采集组件中的主采集组件，至少获得主采集组件采集的使用者的视线数据，并根据获得的视线数据，确定使用者在多个电子设备的注视点信息。从而，针对协同使用多个电子设备的应用场景，本申请实现了在多个电子设备间的用户视线注视点估计，能够为基于视线估计的多设备控制提供有效的技术支撑，且本申请通过从处于协同状态的多个电子设备对应的采集组件中选取主采集组件，并至少利用主采集组件采集的使用者视线数据进行注视点估计，能进一步提升用户视线注视点估计的准确度，相应进一步提升了基于视线估计的设备控制准确度，改善了用户使用体验。

针对协同系统中不同电子设备分别对应不同摄像头组件的情况，在一实施例中，参见图5示出的处理方法流程图，本申请公开的处理方法还可以包括以下处理：

步骤104、确定使用者视线的注视点变化信息，响应于使用者的注视点变化信息满足预设变化条件，切换主摄像头组件为不同摄像头组件中与变化后的注视点信息匹配的摄像头组件。

可选的，上述变化条件具体可设置为：使用者视线的注视点在各个摄像头对应的不同控制空间中所处的控制空间发生切换。

本步骤中，至少根据主摄像头组件采集的使用者视线数据，确定使用者视线的注视点在不同摄像头组件对应的不同控制空间中所处的目标控制空间，并确定使用者视线的注视点所处的目标控制空间是否发生变化。

如果是，则响应于使用者视线的注视点所处的目标控制空间发生变化，切换主摄像头组件为变化后的目标控制空间匹配的摄像头组件。

步骤105、响应于主摄像头组件的切换，对处于协同状态的多个电子设备进行对应的设备控制。

同时，响应于主摄像头组件的切换，对处于协同状态的多个电子设备进行对应的设备控制。这里的设备控制，是指与主摄像头组件的切换相匹配的设备控制，可以是但不限于，对处于协同状态的多个电子设备的主屏切换控制、设备状态控制或设备组件状态控制等。

其中，在响应于主摄像头组件的切换而执行主屏切换控制时，具体调整协同系统的主屏幕配置信息，将变化后的主摄像头组件对应的显示屏幕配置为协同系统的主屏幕，使得在切换主摄像头时，同步切换系统的主屏幕，且匹配于系统主屏幕的切换，还同时调整系统中各电子设备显示屏上的输出信息，以使各显示屏的显示输出信息适配各自所对应的屏幕状态(主屏幕/非主屏幕)，例如，将用户当前正在阅读的word文档，从原本显示于切换前的主屏幕，调整为在切换后的主屏幕上进行显示输出，或将切换前后的不同主屏幕上的游戏场景画面进行对调等，在将游戏场景画面进行对调的处理中，具体将切换前的主屏幕上显示的游戏主场景画面调整为在切换后的主屏幕上显示输出，并将切换后的主屏幕原本显示的游戏辅助场景画面输出至切换前的主屏幕进行显示。

可选的，实施中，可通过在协同系统进行对应的显卡输出控制，实现主屏切换时协同系统中各显示屏的信息输出调整。

在响应于主摄像头组件的切换而执行设备状态控制/设备组件状态控制时，具体调整协同系统中相应电子设备或设备组件的状态，使其适配于不同摄像头组件的主辅切换，例如，将切换后的主摄像头组件对应的显示屏唤醒，以能用于信息输出，并控制切换前的原主摄像头组件对应的显示屏进入睡眠状态，或者，唤醒切换后的主摄像头组件使其处于工作状态，并控制切换前的原主摄像头组件进入睡眠状态等。

实施中，可根据预设的时间间隔周期性执行本实施的处理过程，以周期性检测使用者视线的注视点变化，并在检测到使用者视线的注视点变化至其他摄像头组件的控制空间时，切换主摄像头组件，并同步执行所需的设备控制，实现了在用户协同使用的多个设备间进行视线注视点估计，及基于视线估计的设备控制。

另外，本申请实施例通过定义主/辅摄像头组件以及定义摄像头组件的控制空间，并基于使用者视线注视点与控制空间的对应关系变化，对摄像头组件进行主/辅切换及同步的设备控制，为多设备协同使用场景中对不同电子设备的区别化使用需求提供了技术支撑，同时，通过至少采用主摄像头组件的采集信息进行视线估计，进一步提升了视线估计的准确度，相应进一步提升了基于视线估计的设备控制准确度，改善了用户使用体验。

本申请实施例还公开一种电子设备，其组成结构如图6所示，具体包括：

存储器10，用于存放计算机指令集；

计算机指令集可以通过计算机程序的形式实现。

处理器20，用于通过执行计算机指令集，实现如上文任一方法实施例公开的处理方法。

处理器20可以为中央处理器(Central Processing Unit，CPU)，特定应用集成电路(application-specific integrated circuit，ASIC)，数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件等。

该电子设备具备显示装置和/或能外接显示装置。

除此之外，电子设备还可以包括通信接口、通信总线等组成部分。存储器、处理器和通信接口通过通信总线完成相互间的通信。

通信接口用于电子设备与其他设备之间的通信。通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等，该通信总线可以分为地址总线、数据总线、控制总线等。

另外，本申请实施例还公开一种存储介质，存储介质上存储有计算机指令集，该计算机指令集被处理器调用并运行时能实现如上文任一方法实施例公开的处理方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种处理方法，所述方法包括：

确定处于协同状态的多个电子设备对应的采集组件中的主采集组件；所述采集组件能用于视线数据采集；

至少获得所述主采集组件采集的使用者的视线数据；

根据获得的视线数据，确定使用者在所述多个电子设备的注视点信息。

2.根据权利要求1所述的方法，所述采集组件包括摄像头组件；

所述确定处于协同状态的多个电子设备对应的采集组件中的主采集组件，包括：

如果所述多个电子设备对应一个摄像头组件，将所述一个摄像头组件确定为主摄像头组件；

如果所述多个电子设备中的不同电子设备分别对应不同摄像头组件，从所述不同摄像头组件中选取目标摄像头组件，作为主摄像头组件。

3.根据权利要求2所述的方法，所述从所述不同摄像头组件中选取目标摄像头组件，包括：

根据所述不同摄像头组件中至少一个摄像头组件采集的使用者视线数据，确定使用者视线的注视点在不同摄像头组件分别对应的不同控制空间中所处的目标控制空间，选取所述目标控制空间对应的摄像头组件为目标摄像头组件；

或，根据所述多个电子设备的相对位置信息，确定满足位置条件的目标电子设备，将所述目标电子设备对应的摄像头组件选取为目标摄像头组件；

或，根据处于协同状态的所述多个电子设备所对应当前应用的历史主摄像头组件的信息，选取目标摄像头组件；

其中，不同的摄像头组件分别对应不同的控制空间，摄像头组件对应的控制空间至少与摄像头组件覆盖的采集区域相关。

4.根据权利要求1所述的方法，所述至少获得所述主采集组件采集的使用者的视线数据，包括：

获得所述主采集组件采集的使用者的第一视线数据；

或，获得所述主采集组件采集的使用者的第一视线数据，以及至少一个辅助采集组件采集的使用者的第二视线数据；

其中，所述第一视线数据至少包括使用者的眼部区域数据信息，所述辅助采集组件为所述多个电子设备分别对应的不同采集组件中所述主采集组件以外的采集组件。

5.根据权利要求4所述的方法，所述根据所述获得的视线数据，确定使用者在所述多个电子设备的注视点信息，包括：

根据所述第一视线数据，确定使用者在所述多个电子设备中注视相应电子设备的注视点位置及注视方向中的至少部分信息；

或，根据所述第一视线数据和所述第二视线数据，确定使用者在所述多个电子设备中注视相应电子设备的注视点位置及注视方向中的至少部分信息。

6.根据权利要求5所述的方法，所述根据所述第一视线数据和所述第二视线数据，确定使用者在所述多个电子设备中注视相应电子设备的注视点位置及注视方向中的至少部分信息，包括：

根据所述第一视线数据，确定使用者注视相应电子设备的第一注视点位置及第一注视方向中的至少部分信息；

根据所述第二视线数据，确定使用者注视相应电子设备的第二注视点位置及第二注视方向中的至少部分信息；

基于所述第二注视点位置及第二注视方向中的至少部分信息，调整所述第一注视点位置及第一注视方向中的至少部分信息中的对应信息，得到使用者注视相应电子设备的注视点位置及注视方向中的至少部分信息。

7.根据权利要求5所述的方法，所述确定使用者注视相应电子设备的注视点位置，包括：

从相应视线数据中提取使用者的眼部特征信息；

根据所述眼部特征信息，基于预先构建的统一坐标系确定使用者在所述多个电子设备中注视相应电子设备的注视点坐标；

其中，预先基于所述多个电子设备的相对位置构建所述统一坐标系，并将每一电子设备映射在所述统一坐标系。

8.根据权利要求3所述的方法，在所述多个电子设备中的不同电子设备分别对应不同摄像头组件的情况下，所述方法还包括：

确定使用者视线的注视点变化信息，响应于所述注视点变化信息满足预设变化条件，切换所述主摄像头组件为所述不同摄像头组件中与变化后的注视点信息匹配的摄像头组件；

响应于主摄像头组件的切换，对所述多个电子设备进行对应的设备控制。

9.根据权利要求8所述的方法，所述确定使用者视线的注视点变化信息，响应于所述注视点变化信息满足预设变化条件，切换所述主摄像头组件为所述不同摄像头组件中与变化后的注视点信息匹配的摄像头组件，包括：

至少根据所述主摄像头组件采集的使用者视线数据，确定使用者视线的注视点在不同摄像头组件分别对应的不同控制空间中所处的目标控制空间；

响应于所处的目标控制空间发生变化，切换所述主摄像头组件为变化后的目标控制空间匹配的摄像头组件。

10.一种电子设备，包括：

存储器，用于至少存储一组指令集；

处理器，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集实现如权利要求1-9任一项所述的处理方法。

Images