CN107111355B - 用于校准眼睛跟踪系统的方法和系统 - Google Patents

Abstract

说明了一种用于从包括多个可选区域(111)的视区(110)中选择第一区域(111)的方法(200)。所述方法(200)包括测量(201)用户在视区(110)上的注视点，从而提供所测量的注视点。此外，所述方法(200)包括基于所测量的注视点来确定(202)所估计的注视点并且包括在视区(110)上显示(203)与所估计的注视点相关的信息(121)。所述方法(200)还包括采集(204)用于使在视区(110)上所显示的信息(121)移动的位移信息。基于所测量的注视点并且基于所采集的位移信息来确定(205)实际注视点。此外，从所述多个可选区域(111)中选择(206)与实际注视点对应的第一区域(111)。

Description

用于校准眼睛跟踪系统的方法和系统

技术领域

本发明涉及使用眼睛跟踪机制来控制的系统。特别地，本发明涉及基于眼睛跟踪的用户界面系统的校准。

背景技术

眼睛跟踪可以用于例如在车辆、如汽车内提供快速且直观的用户界面。利用相机可以测量用户的注视点。注视点可以与多个可选区域的特定区域对应。在检测到用户看向该特定区域的情况下，可以执行与该特定区域相关联的动作或功能。通过这种方式，与不同的可选区域相关联的不同的动作或功能可以由用户简单地通过看向不同的可选区域来启动。

为了提供可靠的用户界面，通常需要对基于眼睛跟踪的用户界面系统进行校准。否则，所测量的注视点可能与用户的实际注视点不同。换句话说，缺少校准可能导致所测量的注视点与实际注视点之间的偏移。这种偏移可能与视线的方向有关并且特别地可能与用户到可选区域上的视角有关。

所测量的注视点与实际注视点之间的偏移可能导致被检测到的区域与用户想要选择的区域不同的情况。因此，基于眼睛跟踪的用户界面系统的可靠性和用户接受度可能相对较低。

此外，眼睛跟踪的性能可能与使用基于眼睛跟踪的用户界面的用户、当前的光线条件等有关。因此，可能需要频繁地重复校准，这对于用户来说通常是不可接受的。

本发明说明了提供可靠且灵活的基于眼睛跟踪的用户界面的方法和系统。

发明内容

根据一方面，说明了一种用于从包括多个可选区域的视区中选择第一区域的方法。所述方法包括测量用户在视区上的注视点，从而提供所测量的注视点。此外，所述方法包括基于所测量的注视点来确定所估计的注视点并且包括在视区上显示与所估计的注视点相关的信息。此外，所述方法包括采集用于使在视区上所显示的信息移动的位移信息。此外，所述方法包括基于所测量的注视点并且基于所采集的位移信息来确定实际注视点。此外，所述方法包括从所述多个可选区域中选择与实际注视点对应的第一区域。

根据另一方面，说明了一种用于基于眼睛跟踪的用户界面系统的控制单元。该控制单元设置用于确定用户在基于眼睛跟踪的用户界面系统的视区上的所测量的注视点，其中，所述视区包括多个可选区域。此外，控制单元设置用于基于所测量的注视点来确定所估计的注视点并且用于使得在视区上输出与所估计的注视点相关的信息。此外，控制单元设置用于确定用于使在视区上所显示的信息移动的位移信息并且用于基于所测量的注视点且基于所采集的位移信息来确定实际注视点。此外，该控制单元设置用于从所述多个可选区域中选择与实际注视点对应的第一区域。

根据另一方面，说明了一种基于眼睛跟踪的用户界面系统，所述基于眼睛跟踪的用户界面系统包括图像传感器，该图像传感器设置用于采集与基于眼睛跟踪的用户界面系统的用户的注视点相关的图像数据。此外，基于眼睛跟踪的用户界面系统包括视区，所示视区设置用于提供具有视觉上不同的可选区域的多个可选区域。该视区设置用于提供与用户在视区上的所估计的注视点相关的可视信息。此外，基于眼睛跟踪的用户界面系统包括触觉输入装置，该触觉输入装置设置用于采集由用户输入的用于使与所估计的注视点相关的信息移动的位移信息。此外，基于眼睛跟踪的用户界面系统包括如在本发明中所述的控制单元。

根据另一方面，说明了一种车辆(例如汽车、摩托车或卡车)，所述车辆包括如在本发明中所述的控制单元和/或基于眼睛跟踪的用户界面。

根据另一方面，说明了一种软件程序。该软件程序可以适合用于在处理器上执行，并且当该软件程序在处理器上执行时，该软件程序可以适合用于执行在本发明中所概述的方法步骤。

根据另一方面，说明了一种存储介质。该存储介质可以包括适合用于在处理器上执行的并且当在处理器上执行时适合用于执行在本发明中所概述的方法步骤的软件程序。

根据另一方面，说明了一种计算机程序产品。该计算机程序产品可以包括可执行的指令，所述指令用于当在计算机上执行时执行在本发明中所概述的方法步骤。

应当注意，如在本发明中所概述的方法和系统以及其优选的实施例可以单独使用或与本发明中公开的其它方法和系统组合使用。此外，在上下文中所概述的系统的特征也适用于对应的方法(反之亦然)。此外，在本发明中所概述的方法和系统的所有方面可以任意组合。特别地，权利要求的特征能以任意方式相互组合。

附图说明

以下参考附图以示例性的方式阐述本发明，其中：

图1示出一种示例性的基于眼睛跟踪的用户界面系统的框图；以及

图2示出一种示例性的用于确定在基于眼睛跟踪的用户界面系统上的输入的方法的流程图。

具体实施方式

图1示出一种示例性的用于提供基于眼睛跟踪的用户界面的系统100。基于眼睛跟踪的用户界面系统100包括具有多个可选区域111的视区110。对于系统100的用户来说，各可选区域111通常是视觉上不同的。用户可以看向所述多个可选区域111中的任何一个区域，以便启动与视区110的不同可选区域相关联的不同的动作或功能。

相机120用于采集用户的一个或两个眼睛的图像数据。所述图像数据可以被转发给控制单元101，控制单元设置用于分析图像数据并且设置用于基于图像数据来测量用户的注视点。所测量的注视点可能位于视区110内(如图1所示)。与所测量的注视点相关的信息121可以在视区110上显示。例如，可以在视区110上显示表示所测量的注视点的图标121。备选地或附加地，与所测量的注视点对应的可选区域111(例如包括所测量的注视点的可选区域111)可以被突出显示。

可以基于所测量的注视点来确定所估计的注视点。如下面将概述的那样，与所测量的注视点相关的偏移信息可以由控制单元101确定。可以基于所测量的注视点并且基于偏移信息来确定所估计的注视点。备选地或附加于显示与所测量的注视点相关的信息121，可以在视区110内显示与所估计的注视点相关的信息121。在下文中，所显示的信息121可以涉及与所测量的注视点相关的信息和/或与所估计的注视点相关的信息。

控制单元101可以设置用于基于用户在可以被称为视觉输入时刻的特定时间点上的注视点来确定所测量的和/或所估计的注视点。可以利用在视觉输入时刻所测量的和/或所估计的注视点来确定所显示的信息121。用户眼睛在视觉输入时刻之后的眼睛运动可以被忽略(至少在一定时间段内)。视觉输入时刻可以由特定的用户输入来触发(例如通过用户眨眼)。由此，视觉输入时刻可以被认为是用于确定所测量的和/或所估计的注视点的“冻结”点。

基于眼睛跟踪的用户界面系统100可以包括触觉输入装置130(例如触摸板)，触觉输入装置设置用于采集由用户在触觉输入装置130上输入的位移信息。位移信息可以用于使所显示的信息121移位或偏移。特别地，触觉输入装置130可以允许用户将所测量的注视点的显示图标移位到视区110上的不同位置，使得图标的位置对应于用户的实际注视点。

在阐述的示例中，触觉输入装置130被安置在车辆的方向盘131处。由此，车辆的驾驶员能够以舒适的方式使所测量的和/或所估计的注视点(即，表示所测量的和/或所估计的注视点的所显示的信息121)移位，同时他/她的手保持在车辆的方向盘131上。

可以在视觉输入时刻之后的位移输入时刻采集位移信息。位移输入时刻可以由特定的用户输入来触发(例如通过用户按压到触觉输入装置130上)。作为示例，用户可以使所显示的信息121移位，直到视觉输入时刻(例如当用户用手指按压触觉输入装置130时)，并且可以在视觉输入时刻采集位移信息。

经由触觉输入装置130采集的位移信息可以用于确定所测量的注视点与用户的实际注视点之间的偏移。所确定的偏移可以存储在存储单元102内并且可以用于校准基于眼睛跟踪的用户界面系统100。

作为示例，可以为视区110的每个可选区域111确定和存储偏移信息。表1示出示例性的用于视区110的偏移阵列(也称为偏移文件)。该阵列包括用于视区110的每个可选区域111的偏移数据。在基于眼睛跟踪的用户界面系统100启动时，偏移数据可以被初始化为零偏移，如表1所示。

X＝0；Y＝0	X＝0；Y＝0	X＝0；Y＝0	X＝0；Y＝0
				X＝0；Y＝0	X＝0；Y＝0	X＝0；Y＝0	X＝0；Y＝0
X＝0；Y＝0	X＝0；Y＝0	X＝0；Y＝0	X＝0；Y＝0
				X＝0；Y＝0	X＝0；Y＝0	X＝0；Y＝0	X＝0；Y＝0

表1

在使用基于眼睛跟踪的用户界面系统100期间，可以利用由触觉输入装置130采集的位移信息来确定偏移数据。该偏移数据可以用于更新存储在偏移阵列中的偏移数据。作为示例，所确定的用于特定的可选区域111的偏移数据可以用于覆盖为该特定的可选区域111存储的偏移数据。备选地，可以计算所确定的偏移数据与存储的偏移数据之间的加权平均值并将该加权平均值存储为更新的偏移数据。

此外，所确定的用于特定的可选区域111的偏移数据可以用于更新在该特定的可选区域111附近的区域111的偏移数据。作为示例，所确定的用于所述特定的可选区域111的偏移数据也可以用作用于相邻区域111的偏移数据。备选地或附加地，不同区域111的偏移数据可以进行内插。

由此可以连续地更新偏移数据阵列或偏移文件，从而允许基于眼睛的用户界面系统100自动适配于不同的光线条件和/或可能的不同用户。备选地或附加地，不同的偏移数据阵列可以被存储为用于不同用户的档案，以便高效地使基于眼睛跟踪的用户界面系统100适配于不同用户。

控制单元101可以设置用于在考虑偏移阵列的情况下确定实际注视点的估计。特别地，控制单元101可以设置用于基于由相机120提供的图像数据来确定所测量的注视点。此外，控制单元101可以设置用于利用包含在偏移阵列中的偏移数据来使所测量的注视点偏移。特别地，控制单元101可以确定与所测量的注视点对应的区域111。此外，与该区域111对应的偏移数据可以从偏移阵列获得。实际注视点的估计(也称为所估计的注视点)可以对应于利用从偏移阵列获得的偏移数据而偏移的所测量的注视点。

然后，控制单元101可以确定与所估计的注视点对应的区域111。此外，与所估计的注视点相关的信息121可以在视区110内显示(例如通过显示图标或通过突出显示与所估计的注视点对应的区域111)。

此外，所显示的信息121可以用于进一步校准基于眼睛跟踪的用户界面(如上所概述)。出于这个目的，可以采集与所显示的信息121的移位相关的位移信息。作为示例，控制单元101可以设置用于确定位移信息是否在视觉输入时刻之后的预定的时间间隔内经由输入装置130输入。如果输入这种位移信息，那么采集该位移信息并且将其用于确定实际注视点的改进的估计(如上所概述)。否则认为所显示的信息121表示实际注视点的正确估计。因此，要么在位移输入时刻之后、要么在预定的时间间隔之后可以确定出“实际注视点”。控制单元101可以基于该“实际注视点”来确定所述多个可选区域111中的一个可选区域。

控制单元101还可以设置用于启动与所确定的区域111对应的动作或功能。出于这个目的，控制单元101可以设置用于访问存储单元102以查阅可选区域111和与该可选区域111相关联的动作或功能之间的预定映射。

由此，触觉输入装置130为基于眼睛跟踪的用户界面系统100的用户提供用于修改基于眼睛跟踪的用户界面的焦点、即用于隐含地校准和适配基于眼睛跟踪的用户界面的高效且直观的方式。触觉输入装置130允许用户启动与基于眼睛跟踪的用户界面相同的动作，例如当基于眼睛跟踪的用户界面不能正确地工作时。特别地，在错误校准基于眼睛跟踪的用户界面的情况下，用户将可能通过经由触觉输入装置130提供位移信息来校正由基于眼睛跟踪的用户界面确定的所估计的注视点。特别地，在由触觉输入装置130触发的位移较小(例如，用于将所估计的注视点移动到相邻区域111)的情况下，所采集的位移信息可以由控制单元101解释为所估计的注视点的校正、即解释为所估计的注视点的偏移，该偏移将被应用于使所测量的注视点与实际注视点匹配。

在经由触觉输入装置130采集多个校正的情况下、即在确定多个偏移的情况下，可以对所述多个偏移进行内插，以便为整个视区110提供可靠的偏移数据。

图2示出一种示例性的用于从包括多个可选区域111的视区110中选择第一区域111的方法200的流程图。所述多个可选区域111中的可选区域111对于用户来说通常是视觉上不同的。此外，所述多个可选区域111中的区域111通常彼此相邻。作为示例，可选区域111可以对应于在视区110内的物理或虚拟按钮。视区110可以安置在车辆的仪表盘上。

所述方法200包括测量201用户在视区110上的注视点，从而提供所测量的注视点。用户的注视点可以利用由图像传感器120(例如相机)采集的图像数据来确定。相机可以指向用户。由此，图像数据可以包括与用户的至少一只眼睛的瞳孔相关的信息。所测量的注视点可以利用应用于由图像传感器120采集的图像数据的图像处理算法来确定。

此外，所述方法200包括基于所测量的注视点来确定202所估计的注视点。在一个示例中，所估计的注视点对应于或等同于所测量的注视点。备选地或附加地，所估计的注视点可以利用可存储在偏移文件中(例如偏移阵列中)的偏移数据来确定。特别地，用于所测量的注视点的第一偏移可以从偏移文件中确定。作为示例，可以确定与所测量的注视点对应的可选区域111。第一偏移可以对应于在偏移文件中为该可选区域111存储的偏移。所估计的注视点可以通过利用第一偏移使所测量的注视点偏移来确定。

所述方法200还包括在视区110上显示203与所估计的注视点相关的信息121。作为示例，可以在所估计的注视点在视区110上的位置处显示可视的图标或点。备选地或附加地，所估计的注视点所对应的所述多个可选区域111中的可选区域111可以被突出显示。作为示例，视区110可以包括显示器，并且所述多个区域111可以(例如以块的形式)显示在该显示器上。可选区域111可以通过改变所显示的区域111的颜色或亮度来突出显示。

此外，所述方法200包括采集204用于使所显示的信息121在视区110上移位的位移信息。位移信息可以利用触觉输入装置130(例如触摸板)来采集。触觉输入装置130可以位于车辆的转向装置131(例如方向盘)处。

此外，所述方法200包括基于所测量的注视点并且基于所采集的位移信息来确定205实际注视点。也可以考虑偏移文件中的第一偏移用于确定实际注视点。特别地，可以利用所采集的位移信息并且可能利用第一偏移来使所测量的注视点偏移，以便确定实际注视点。

此外，所述方法200包括从所述多个可选区域111中选择206与实际注视点对应的第一区域111。实际注视点通常落在第一区域111内。换句话说，可以从所述多个区域111中选择第一区域111作为所确定的实际注视点所落入的区域111。所述多个可选区域111可以分别与多个功能相关联，并且所述方法200还可以包括启动所述多个功能中的与第一区域111对应的第一功能。

由此，所述方法200提供可靠且自适配的方式用于利用眼睛跟踪执行输入和/或用于隐含地校准基于眼睛跟踪的用户界面系统100。特别地，采集与所显示的信息121相关的位移信息使得用户能够直观地校准基于眼睛跟踪的用户界面系统100，所显示的信息表示所估计的注视点。

所述方法200还可以包括用于基于所采集的位移信息来确定和存储校准信息的步骤。特别地，该方法可以包括从所述多个可选区域111中确定与所测量的注视点对应的第二区域111。用于使所测量的注视点偏移的(可能)更新的偏移可以基于所采集的位移信息来确定。此外，更新的偏移可以基于已经存储在偏移文件中的一个或多个偏移(例如基于已经与第二区域111相关联地存储在偏移文件中的偏移)来确定。特别地，确定更新的偏移可以包括确定已经与第二区域111相关联地存储在偏移文件中的所存储的偏移，并且可以包括基于所存储的偏移和基于所采集的位移信息来确定更新的偏移。作为示例，可以基于一个或多个所存储的偏移并且基于所采集的位移信息来确定(可能加权的)平均值。然后，更新的偏移可以与第二区域111相关联地存储在偏移文件中。通过这种方式能够自动改进和适配基于眼睛跟踪的用户界面系统100的校准。

所述方法还可以包括确定与至少两个对应的可选区域111相关联地存储在偏移文件中的至少两个偏移。用于第三可选区域111的第三偏移可以通过内插所述至少两个偏移来确定。然后，第三偏移可以与第三区域111相关联地存储在偏移文件中。通过这种方式能够仅利用有限数量的先前确定的偏移来校准整个视区110、即所有所述多个区域111。由此能够简化校准。

在本发明中已经说明一种能够利用眼睛跟踪实现精确且可靠的用户输入的基于眼睛跟踪的用户界面系统100。能够在不使用显性校准程序的情况下提供用户界面。通过使用与基于眼睛跟踪的输入装置不同的输入装置采集位移信息，能够以隐性的方式提供基于眼睛跟踪的用户界面的校准，有可能在没有系统用户的情况下实现这种校准的进行。

应当注意，说明书和附图仅仅阐述所提出的方法和系统的原理。本领域技术人员将能够实施虽然在此未明确说明或示出的但体现本发明的原理并被包括在本发明的构思和范围内的各种设计方案。此外，在本发明中所概述的所有示例和实施例原则上明确旨在仅用于解释性目的，以便帮助读者理解所提出的方法和系统的原理。此外，在此提供本发明的原理、方面和实施例的所有陈述以及其具体示例旨在涵盖其等同技术方案。

Claims (14)

1.一种用于从包括多个可选区域的视区中选择第一区域的方法，所述方法包括以下步骤：

测量用户在视区上的注视点，从而提供所测量的注视点；

基于所测量的注视点并且基于存储的偏移信息来确定所估计的注视点；

在视区上显示与所估计的注视点相关的可视信息；

采集用于使在视区上所显示的可视信息移动的位移信息；

基于所测量的注视点并且基于所采集的位移信息来确定实际注视点；以及

从所述多个可选区域中选择与实际注视点对应的第一区域，

其中，利用位于车辆的转向装置上的触觉输入装置来采集所述位移信息，所述触觉输入装置允许用户将与所估计的注视点相关的可视信息移位到视区上的不同位置来校正由基于所测量的注视点确定的所估计的注视点。

2.如权利要求1所述的方法，其中，确定所估计的注视点包括：

从偏移文件中确定用于所测量的注视点的第一偏移；以及

通过利用第一偏移使所测量的注视点偏移来确定所估计的注视点。

3.如权利要求2所述的方法，还包括：

从所述多个可选区域中确定与所测量的注视点对应的第二区域；

基于所采集的位移信息确定用于使所测量的注视点偏移的更新的偏移；以及

将更新的偏移与第二区域相关联地存储在偏移文件中。

4.如权利要求3所述的方法，其中，更新的偏移还基于已经存储在偏移文件中的一个或多个偏移来确定。

5.如权利要求4所述的方法，其中，确定更新的偏移包括：

确定已经与第二区域相关联地存储在偏移文件中的所存储的偏移；以及

基于所存储的偏移并且基于所采集的位移信息来确定更新的偏移。

6.如权利要求2所述的方法，还包括：

确定与至少两个对应的可选区域相关联地存储在偏移文件中的至少两个偏移；

通过对所述至少两个偏移进行内插来确定用于第三可选区域的第三偏移；以及

将第三偏移与第三区域相关联地存储在偏移文件中。

7.如权利要求1所述的方法，其中，所测量的注视点利用由图像传感器采集的图像数据来确定。

8.如权利要求1所述的方法，其中，所述多个可选区域中的各个区域彼此相邻。

9.如权利要求1所述的方法，其中，在视区上的与所估计的注视点相关的可视信息包括：

在视区上所显示的可见图标；和/或

所述多个可选区域中的与所估计的注视点对应的可选区域的突出显示。

10.如权利要求1所述的方法，其中：

所述多个可选区域分别与多个功能相关联；以及

所述方法还包括：启动所述多个功能中的与第一区域对应的第一功能。

11.如权利要求1所述的方法，其中，实际注视点落在第一区域内。

12.如权利要求1所述的方法，其中：

所述视区位于车辆的仪表盘上。

13.一种用于基于眼睛跟踪的用户界面系统的控制单元，其中，所述控制单元设置用于：

确定用户在基于眼睛跟踪的用户界面系统的视区上的所测量的注视点，其中，所述视区包括多个可选区域；

基于所测量的注视点并且基于存储的偏移信息确定所估计的注视点；

使得在视区上输出与所估计的注视点相关的可视信息；

确定用于使在视区上所显示的可视信息移动的位移信息；

基于所测量的注视点并且基于所采集的位移信息来确定实际注视点；以及

从所述多个可选区域中选择与实际注视点对应的第一区域，

其中，利用位于车辆的转向装置上的触觉输入装置来采集所述位移信息，触觉输入装置允许用户将与所估计的注视点相关的可视信息移位到视区上的不同位置来校正由基于所测量的注视点确定的所估计的注视点。

14.一种基于眼睛跟踪的用户界面系统，包括：

图像传感器，设置用于采集与基于眼睛跟踪的用户界面系统的用户的注视点相关的图像数据；

视区，设置用于提供具有视觉上不同的可选区域的多个可选区域，并且设置用于在视区上提供与用户的所估计的注视点相关的可视信息；

触觉输入装置，设置用于采集由用户输入的用于使与所估计的注视点相关的可视信息移动的位移信息；

存储单元，设置用于存储偏移信息；以及

控制单元，设置用于：

确定用户在基于眼睛跟踪的用户界面系统的视区上的所测量的注视点，其中，所述视区包括多个可选区域；

基于所测量的注视点并且基于存储的偏移信息确定所估计的注视点；

使得在视区上输出与所估计的注视点相关的可视信息；

确定用于使在视区上所显示的可视信息移动的位移信息；

基于所测量的注视点并且基于所采集的位移信息来确定实际注视点；以及

从所述多个可选区域中选择与实际注视点对应的第一区域，

其中，利用位于车辆的转向装置上的触觉输入装置来采集所述位移信息，触觉输入装置允许用户将与所估计的注视点相关的可视信息移位到视区上的不同位置来校正由基于所测量的注视点确定的所估计的注视点。

Images