[go: up one dir, main page]

CN102292017A - 由光学基准信号辅助的对凝视点的检测 - Google Patents

由光学基准信号辅助的对凝视点的检测 Download PDF

Info

Publication number
CN102292017A
CN102292017A CN2009801558474A CN200980155847A CN102292017A CN 102292017 A CN102292017 A CN 102292017A CN 2009801558474 A CN2009801558474 A CN 2009801558474A CN 200980155847 A CN200980155847 A CN 200980155847A CN 102292017 A CN102292017 A CN 102292017A
Authority
CN
China
Prior art keywords
signal
glasses
signal source
picture
eye movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801558474A
Other languages
English (en)
Other versions
CN102292017B (zh
Inventor
J·斯特伦布姆
S·古斯塔夫松
M·斯科苟
J·M·霍尔茨埃尔韦舍
P·尼斯泰特
P·布利克斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii Technology AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii Technology AB filed Critical Tobii Technology AB
Publication of CN102292017A publication Critical patent/CN102292017A/zh
Application granted granted Critical
Publication of CN102292017B publication Critical patent/CN102292017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供了一种凝视点检测系统，包括：要置于测试场景中作为基准点的一个或多个红外线(IR)信号源；由测试对象佩戴的至少一副眼镜；以及数据处理和存储单元，用于计算人的凝视点。眼镜包括：图像传感器，适于检测来自至少一个IR信号源的IR信号并生成IR信号源跟踪信号；眼动跟踪单元，适于确定测试对象的凝视方向并生成眼动跟踪信号；以及相机单元，适于获取测试场景图片。数据处理和存储单元适于与眼镜通信并计算相对于测试场景图片的凝视点。

Description

由光学基准信号辅助的对凝视点的检测
技术领域
本发明一般涉及人眼跟踪设备，尤其涉及由设置在所观看场景中的光源所发出的基准信号辅助的凝视点检测系统。
背景
监视或跟踪眼睛移动并且检测人的凝视点(如在本文中使用的，为空间中人所注视的点)可在许多不同背景中使用。在分析人的行为和意识时，这种测量值可作为重要的信息源。该信息可用于评估人所观察的测试场景(如在本文中使用的，为其中可存在可视对象或表面且其内可检测到凝视点的空间区域的视觉感受)，并且用于评估各个人的特征。凝视点检测的多种用途包括：关于软件和不同类型界面的可用性的研究；对网页、广告宣传和广告的评估；提供用于在模拟环境中训练飞行员和培训安全攸关角色的监视人员的手段；以及对心理学、行为科学和人类感知的研究。最近几年来吸引了越来越多兴趣的领域是对广告宣传以及其他销售渠道的评估。然后可从观看测试人对特定商品的广告宣传的审查中收集眼动跟踪信息，并且得到测试人的响应。眼动跟踪设备还可用来收集关于观看人对商店展示架上特定物品的放置的响应的信息。
除了这些应用之外，还存在采用关于人所注视的区域的信息以便于以不同方式作出响应或反应的交互式应用。例如，商品在商店橱窗内的广告宣传或展示会遭受对检测到的有人正在注视它的事实作出响应的视觉变换。此外，计算机系统可利用关于用户的凝视点的连续信息来有能力更佳地展示用户感兴趣的物体，并且有能力针对用户的不同行为来智能地调适。因而，眼动跟踪器可形成人机交互界面的一部分。因为显示的内容是用软件编程的，所以软件还可将凝视点信息与程序的语义关联。
尽管迄今为止对人类行为的眼动跟踪辅助研究是针对有限数量个人进行的，但许多市场研究者希望将眼动跟踪技术转向历史上在本领域中极为成功的统计学大量方法。例如，大量测试对象对一具体广告活动的累计反应可提供该广告活动在它将来在社会上全面呈现期间的效果的准确预测。此种对眼动跟踪器的新兴使用导致对技术水平的新挑战。例如，可用的眼动跟踪器通常是复杂和易损坏的设备，并且其操作可能是要求较高的—至少对于具有诸如市场研究或行为科学而非相关技术领域的背景的用户而言是如此。眼动跟踪技术对大量研究的适用性具体而言受两个事实限制。首先，针对新人调适眼动跟踪器可能是耗时且技术要求高的运用，其次，在设备界面复杂或者对身体具侵入性时许多可能的测试对象对使用该设备会感觉到犹豫或勉强。
从以上内容可见，对于适合群组研究的凝视点检测的设备，可在测试对象之间快速和方便地切换是重要的。在不同层面上，眼动跟踪设备还应当能在不同环境中容易地部署，并且要展现给测试对象的视觉物体不应当限于例如计算机监视器。毫无疑问，从市场研究的角度看，在消费者接收到作为购买决定基础的视觉信息的任何环境中，基于眼动跟踪的研究都可能是令人感兴趣的，并且眼动跟踪技术可适用的可能心理实验的范围看起来是无限的。
总之，出现了对解决以上所述的至少一部分问题的眼动跟踪系统的需要。
发明内容
本发明的一个目的是提供用于检测测试场景中的凝视点的设备。
根据本发明的一个方面，提供了包括至少四个独立的功能部件的系统：
—一个或多个红外(IR)信号源，其置于当前研究的一空间区域(测试场景)中以便用作空间基准点；
—至少一副眼镜，由人(测试对象)佩戴且具有检测IR信号和跟踪人的眼动的双重功能；
—数据处理和存储单元，用于计算人的凝视点；以及
—场景相机，用于获取测试场景的图片。
场景相机可以是外部设备，或者可作为相机单元集成在眼镜中。尽管发明人认为这两种实施方式同样有用，但本发明公开将集中讨论场景相机集成在眼镜中的情形。这并非旨在限制本发明的范围，也不指示对具有该特征的实施方式的偏好。实际上，大多数对‘相机单元’的引用在适当的情况下可简单地由‘场景相机’替代。
根据本发明的系统的输出包括指示测试对象凝视点的信号。凝视点相关于测试场景的图片呈现，在测试场景中已经定位了一个或多个IR信号源且这些信号源可用于发射IR光。一副或多副眼镜各自具有一图像传感器，该图像传感器适于从至少一个IR信号源接收IR信号，并且产生与所检测的IR信号相对应的IR信号源跟踪信号。其次，每副眼镜还包括眼动跟踪单元，该眼动跟踪单元适于确定所述人眼的凝视方向，并生成与检测到的凝视方向相对应的眼动跟踪信号。再者，每副眼镜还包括相机单元(除非具体化为外部场景相机)，该相机单元适于获取空间区域的至少一张图片，凝视点相关于这些图片来确定。数据处理和存储单元适于与根据本发明的眼镜通信，以便于获取至少一个IR信号源跟踪信号(来自图像传感器)、眼动跟踪信号(来自眼动跟踪单元)、以及至少一张图片(来自相机单元)。该数据处理和存储单元进一步适于相关于所述至少一张所获取图片之一计算人的凝视点，该凝视点为至少一个IR信号源跟踪信号、眼动跟踪信号和至少一张图片的函数。然后凝视点可在测试场景图片中直接指示，这是直观和便于使用的呈现格式。
根据本发明的系统容易设立、具有故障保护且提供准确的凝视点数据。这些措施的稳健性一部分是因为眼镜对IR信号源的位置与戴眼镜人的凝视方向进行联合确定的功能。眼镜的相机单元(或外部场景相机)适于提供测试场景的图片，相关于该图片可计算凝视点。优选地，眼动跟踪单元和图像传感器被刚性连接至眼镜，或者彼此刚性连接。这是因为它们的测量是在独立的参照系中进行的，如果在多次测量之间或测量期间允许它们的相对定向和位置变化则将缺乏稳定的相互关系。在其中眼动跟踪单元和图像传感器可相对彼此移动的替代实施例中，提供位置和定向指示器或功能上等效的设备，以供应关联参照系所需的信息。
至少当排列在保护性外壳内且设置有适当紧固装置时，IR信号源可在极为宽泛范围的可想象测试场景中使用，这提供了高度的通用性。此外，大多数测试对象习惯于太阳眼镜或其它眼镜，因此在佩戴本发明系统的眼镜时感觉舒适。本发明系统的眼镜的确包含了复杂技术设备，但具有常规眼镜的熟悉外观，从而使得测试对象在测量期间放松且行动自如。
鉴于提供多副眼镜的可能性本发明系统是可缩放的，因为在包括大量测试对象的研究中，有限数量的可用套单独设备可能会是瓶颈。在这种研究中，在眼镜和系统的其余部分之间提供无线通信链路是有利的。在数据处理层面该系统还具有有利的可缩放性，因为数据处理和存储单元能容易地调适成相关于测试场景的一张图片计算所有测试对象的凝视点。这是一种直观和即时的呈现格式，并且还避免了人工比较测试场景的不同视图以便于归纳不同测试对象的凝视点信息的冗长任务。在该方面，应当强调该系统的三个功能部件并非必需在物理上分离。符合微型化和重量减轻的一般趋势，数据处理和存储单元可被物理地包括在IR信号源、眼镜或系统的某其它组件中。也可能组合图像传感器和对IR辐射敏感的相机单元或外部场景相机；大多数基于硅的数码相机在近IR频谱中具有良好的响应度。然而，在适用于包括大量测试对象的研究的实施例中，优选为可缩放性而使数据处理和存储单元集中化。这样，尽管已经以分布方式(可能用数副眼镜)采集了数据，但最终数据聚集在一个地点以便于进一步处理。具体而言，尽管相机单元能够针对每个测试对象获取测试场景的唯一图片，但所计算的不同测试对象的凝视点在相关于测试场景的一张图片呈现时最为有用。在数据处理和存储单元构成物理上分布的子单元的实施例中，这些子单元对要使用哪一图片作出集体判断。
根据本发明的第二和第三方面，还提供了一种相关于空间区域图片检测人的凝视点的方法和计算机程序产品。
在一个实施例中，数据处理和存储单元适于生成测试场景和IR信号源的位置的组合图片。IR信号源的位置作为图片坐标系中的精确基准点是有用的，从而可高精度地表示检测到的凝视点。
该系统可适于利用其它基准点以及IR信号源来确定眼镜相对于测试场景的位置。具体而言，对诸如边缘、隅角和隆起的图像特征的跟踪可相当好地补充对IR信号源的跟踪。这在初始检测IR信号源的位置之后是特别有用的，从而可确定这种图像特征相对于IR信号源的位置。
IR信号源可发射经调制的IR光，由此可彼此区分。换言之，IR信号源发射IR频谱上的复用信号。这便于处理由图像传感器生成的IR信号源跟踪信号。适当的调制方案包括相对于时间的调制，诸如频率调制、脉宽调制和通过正交码的调制。或者，IR信号源被同步和调适成在重复时间帧的单独时隙中发射信号。又或者，可使用光调制，其中IR信号源以不同波长发射，诸如750nm、850nm和950nm，并且在IR传感器中设置吸收滤光片或介质膜滤光片以分离这些源。再或者，IR信号源通过具有不同的偏光特征而可分辨。
眼镜的IR图像传感器可包括传感器表面，其优选是平面且排列在距图像传感器的光学孔径(诸如固定或可变光阑)某已知距离处。这样，入射到传感器表面上的所有光线基本上都将通过一公共点，即在小孔相机模型的情形中为光学孔径的中心。在高斯光学器件中，节点限定IR束的入射角。进一步可能的是检测信号在传感器表面上的位置。该信号的位置可以是接收到最大强度的峰值强度点，或者是用于子像素分辨率的质心。或者，如果传感器表面以二进制方式作出相关于某强度阈值的检测、或者像素倾向于变得频繁饱和，则照亮点的几何中心可被用作信号位置。基于光学孔径的中心，可计算信号位置、光学孔径和传感器表面之间的间距、光线的入射角。优选地，此信号被纳入到图像传感器所生成的IR信号源跟踪信号中。
眼镜的眼动跟踪单元可包括以下部分：适于发射IR或近IR光的一个或多个器件，优选排列在眼镜的侧面且指向佩戴眼镜的人的眼睛；用于获取眼睛图像的检测器，该检测器优选排列在眼睛的侧面；以及评估单元，用于处理所获取的眼睛图像且由此确定眼睛的凝视方向。优选地，用于发射IR或近IR光以照亮人眼的器件经由眼镜的透明镜片之一上的反射导向眼睛，该透明镜片之一然后用作部分IR反射镜或者可具有IR反射涂层。检测器适于仅接收IR发光器件波长处的光，从而仅使用主动照明使眼睛成像。为了实现这种波长分辨，可在检测器前面设置诸如(低通)吸收滤光片的用于去除可见频谱中的光的滤光片。因为所述的眼动跟踪单元位于眼睛附近，所以同轴地设置照明和检测装置将是精密的，由此能够在因视网膜反射引起的亮瞳状态(熟知的‘红眼效应’)下实现眼动跟踪。因此，优选地，IR发光器件和检测器被设置在单独的光轴上，以使眼睛在其暗瞳状况下成像。
根据本发明的一个实施例，眼镜设置有在测试对象的至少一只眼睛前的第一偏光滤光片。在室外使用凝视检测系统的情形中，这可能是有利的。适当地，偏光滤光片设置为眼睛镜片(透镜)上的一层。可任选地，传输方向与第一偏光滤光片垂直的第二偏光滤光片被安排在眼动跟踪单元的检测器之前。这样，可阻挡已由镜片上的滤光片偏光的任何光线进入检测器，由此放大来自IR发光器件的光的相对强度；否则外部光线会引起检测器的激发并干扰测量。作为另一优点，第一偏光滤光片可衰减水平表面上的不适阳光反射，以防进入测试对象的眼睛。在传输方向在佩戴期间基本上垂直时第一滤光片在这方面中特别有效，因为这种反射阳光的垂直偏光分量常常是微弱的。
为了节省重量和体积，操作眼镜所需的特定组件可位于物理上分离的支持单元中，该支持单元可悬挂在测试对象佩戴的腰带上或者置于口袋中。这种通信耦合至眼镜的支持单元可包含电压源(诸如太阳能电池或蓄电池)、用于存储在测量期间收集的信息的数据缓存器、用于执行数据的预处理(诸如将数据压缩或转换成适当格式)的处理装置、适于与关联眼镜和/或数据处理和存储单元通信的无线收发机。
眼镜的图像传感器可由两个正交的线传感器构成，这些线传感器的扫描方向优选安排成在测试对象佩戴眼镜期间与该测试对象的正面平行。线传感器之一的扫描方向可以是垂直的，但是优选旋转3-30度。在实际情形中，设置沿垂直或水平线对齐的IR源常常是方便的—有时是必要的；参见例如图2，其中IR信号源800c和800d位于基本相等的高度上。如果线传感器的扫描方向与该线垂直，则两个源可能产生退化信号。所揭示的线传感器扫描方向的排列使得该事件较不可能发生。
根据本发明的一个实施例，该系统的至少一个IR信号源可以节能方式或备用方式操作。因为IR信号源灵活且容易在各种测试环境中使用是重要的，所以优选IR信号源是电池供电的。为了延长电池充电或替换之间的时间，IR信号源可适于在测试会话的典型持续时间之后进入节能方式。通过适当地经由无线通信装置从眼镜或数据处理和存储单元接收预定义信号，可重新激活IR信号源。为了进一步降低能耗，IR信号源优选包括无源接收装置，该无源接收装置适于将入射电磁辐射转换成足以将IR信号源驱动至其操作模式的电能的量。眼镜然后可包括用于发射这种电磁辐射的装置。
在大量测试对象参与眼动跟踪辅助研究的情形中，有效的数据采集和呈现是必需的。因此，根据本发明的系统—且随这种研究的特殊方面调适过—可包括多个单独的用户装置(数副眼镜)，从而一次有一个以上的用户能注视测试场景，同时关于凝视点被监视。然而，更为有利地，这种多对象系统包括一个单独的数据处理和存储单元，从而所有用户的凝视点信息被收集到一个地方。这便于凝视点信息总量的统计学分析。另外，所有测试对象的凝视点数据可相关于测试场景的单个图片来方便地呈现，该图片按需由系统的任一副眼镜或外部成像设备获取。
参照下文中所述的实施例，本发明的这些和其它方面将显而易见且得到阐述。本文中使用的所有术语是根据本领域中的普通含义来解释的，除非另外有明确的定义。
附图简述
将参考附图对发明的各个实施例进行描述，其中：
图1是根据本发明一实施例的用于检测至少一个人的凝视点的系统的示意图；
图2示出应用于一示例性测量情形的图1系统；
图3是根据本发明的且适于检测多个测试对象的凝视点的系统的示意图；
图4是用于根据本发明的检测系统的眼镜的立体图；
图5是根据本发明一实施例的具有相关联支持单元的眼镜的示意图；
图6是图4眼镜的详图，其中指示线传感器的扫描方向的方向；
图7是根据本发明的角度分辨图像传感器的在入射光线平面中的截面图；
图8示出用于根据本发明一实施例的用于检测至少一个人的凝视点的系统中的IR信号源；
图9a是包括IR信号源的位置的空间区域(测试场景)的组合图片；
图9b是进一步包括适于被跟踪的图像特征的指示的图9a的组合图片；
图9c是进一步包括如由根据本发明的系统所测量的测试对象的凝视点的指示的图9a的组合图片；
图10a是包括多个测试对象的凝视点的指示的空间区域的组合图片；
图10b是包括作为位置的函数的统计量的指示的图10a的组合图片；
图11是示出根据本发明的用于在光学基准信号的辅助下检测至少一个人的凝视点的方法实施例的如何在不同物理或功能组件之间采集、处理和传送信息的流程图；
图12是图11所示过程的替代实施例的流程图；
图13是示出如从眼镜的两个不同位置测量的与至三个IR信号源的视线相对应的两组角度的简化(就所有项都共面而言)示图；
图14示出图1系统的变体，其中外部场景相机在应用于一示例性测量环境时用来拍摄测试场景图片。
本发明各个实施例的详细描述
现在将参照图1-8，描述根据本发明的凝视点检测系统100的构成部件。如图1所示，系统100包括：眼镜400、两个IR信号源800(尽管该系统可包括任何数量的IR信号源)以及数据处理和存储单元110。IR信号源800适于发射可由眼镜400接收的IR光。眼镜400可用于与数据处理和存储单元110(双向或单向)通信。
图2示出应用于一示例性测量情形的同一系统100。图1的眼镜400由人(测试对象)210佩戴。眼镜400适于贴合地戴在人210的头部215，从而几乎没有相对运动是可能的。如果眼镜400相对于人210的头部215有过度运动，则凝视点测量的准确度会受到威胁，尤其是在有突发的头部运动或振动的情况下。但是，缓慢运动通常不会引起任何问题，因为眼动跟踪单元重复测量眼睛的位置以及凝视方向。如图2所示，IR信号源800各自生成的IR光并不集中成窄光束，而是以诸如半球形的宽广多面角发射。这允许测试对象210位于地面上的各个点，并且还可在举例而言高测试对象之后是矮测试对象、或者某些测试对象偏好以坐姿观看测试场景而其他测试对象则偏好站姿的情况下避免需要重新调节IR信号源800。数据处理和存储单元110可具体化为具有计算和存储能力以及通信装置的通用计算机，其中通信装置适于连接至系统的其它构成部件(尤其是眼镜)以便于接收和/或传送数据。
在图2所示的示例性情形中，在包含可视物体：球、八面体、钟、植物、花瓶、多本书和长方形盒子的书架220中设置有四个IR信号源800。具有物体的书架是本示例性情形的测试场景。系统100对人210的凝视点的呈现与IR信号源800所位于的平面相关，该平面大致对应于书架220的正面。
图3示出适于由大量测试对象使用的凝视点检测系统300。像图1的系统100一样，它包括数据处理和存储单元110以及多个IR信号源800。为了通过允许一次测量数个测试对象来加速数据采集，系统300包括数副眼镜400，这些眼镜功能相同但在大小、颜色等方面可不同。如上所述，IR信号源800以多方向方式发射IR光，以使当前正在测量的测试对象可在面向测试场景的相当大的区域内自由选择其观看位置。
图4示出眼镜400的细节，眼镜400的主要任务是感测佩戴它们的人的凝视方向，以从测试场景的方向接收IR基准信号并获取场景的图片。为了增强数据质量，在测量会话期间眼镜400相对于人的头部不能过于可活动是重要的。当佩戴眼镜400时，眼镜400的镜架404、406搁在这个人的耳朵上，且鼻托410、412搁在这个人鼻子的上部。优选地，镜架404、406有弹性且施加小的向内力，由此在人的头部运动时将眼镜400保持在适当的位置。镜架404、406的设计与关联于凝视点检测的操作几乎没有因果关系，图4所示示例旨在作为示例。优选地，鼻托410、412的形状和材料使得眼镜400的横向移动受限，并防止眼镜400的沿鼻梁的恼人向下滑动。眼镜400还包括视觉上透明的镜片402、408。一个镜片用作适于将人眼成像的IR检测器(未示出)的反射镜，而另一个镜片原则上可略去，因为除非眼镜400的计划佩戴者具有某些视力缺陷，视觉上透明的镜片402、408具有零屈光力。IR反射镜使用在可见光光谱中具有可忽略干扰的薄膜涂层的叠层放置在视觉上透明的镜片402、408的至少之一上。该反射镜放置在佩戴时面对眼睛的那一侧。镜片402、408向眼镜400添加一定重量，从而增加其机械稳定性。就佩戴者本能地根据其佩戴其它眼镜的习惯来放置眼镜400而言，它们也可用于教育目的。具体而言，眼镜400的正确位置意味着：眼睛到镜片的距离不能不舒服地小，并且镜片与人的放松凝视方向垂直，从而与佩戴者的正面FP(参见图6)基本上平行。右侧镜架406上的突出部418可包含与数据收集相关联的装备(未示出)，诸如评估单元、预处理装置、电压源、以及用于与相同100的其他组件通信的装置。
眼镜400包括数个测量设备。首先，提供了眼动跟踪单元(未示出)。作为眼动跟踪单元(未示出)的一部分，用于通过不可见IR光照射右眼的IR光源420设置在突出部418上。图4所示的眼镜400适于跟踪右眼的凝视方向，但用于跟踪左眼或两只眼睛的变体同样有用。也设置在突出部418上的检测器(未示出)适于(经由离开右镜片408的反射)重复获取被光源420照射的右眼的图像。从每一图像都可提取信息，以供确定凝视方向。此信息可以是角膜上光源反射(闪烁)的位置以及瞳孔的位置，或者是处理后角膜的位置以及眼睛视轴的取向。可根据本领域中已知的任一算法来实现凝视点方向的提取，该提取可由评估单元(未示出)执行(如果设置有该评估单元的话)。凝视方向可按照随眼镜移动的两维图像平面中的线性坐标表达；然后，更精确地，凝视方向是眼睛的视轴与该图像平面相交的点。为便于后续数据处理，IR信号源的位置在同一图像平面的坐标系中适当地表达。替代地，检测器(未示出)可设置在突出部418或镜架406的一部分上，从检测器看眼睛是看得见的。应当警惕，尤其在检测器(未示出)设置在突出部418上时，检测器与光源420不同轴或接近同轴。这会引起视网膜反射，从而导致在某些凝视方向上的不合需要的亮瞳效应。来自眼动跟踪单元(未示出)的测量数据被输出为眼动跟踪信号。
其次，图像传感器416被设置在眼镜400的正面，适当地在保护性透明镜片之下。透明镜片可适于阻挡较短波长，并且可以是低通滤光片，替代地可以是以IR信号中心波长为中心的带通滤光片。图像传感器416适于接收至少一个IR信号，以在确定测试场景相关于眼镜400的位置时用作基准。该图像传感器416优选地适于忽略除系统100的IR信号源800所反射的信号之外的其它IR信号以便于凝视点检测；适合该系统的信号可通过相关于时间、频率或偏光调制来与其他IR辐射分辨开。图像传感器416不仅可检测给定IR信号的存在性，而且可测量其在图像传感器416上的入射角，从而可导出至信号源的视线。此外，可编码对所接收IR光的调制，以使IR光源的身份可在后一处理阶段确定，诸如在数据处理和存储单元中确定。来自图像传感器416的测量数据被输出为IR信号源跟踪信号。以下将参照图6和7描述图像传感器416的细节及其适当变体。
其三并且最后地，相机单元414设置在眼镜的正面，优选设置在保护性透明镜片之下。相对于眼镜400不可移动的图像传感器416和相机单元414两者位于靠近检测其凝视方向的眼睛(的视轴)之处，以便于使视差最小化。注意，图像传感器416和相机单元414的位置可颠倒，而无任何功能上的不便。相机单元414适于在可见光谱(不包括IR照射)中获取测试场景的至少一个图片。因为眼睛和相机单元414的间隔不大，所以相机单元414所获取的测试场景的任何图片近似地对应于佩戴眼睛400的人在该时间点的视觉感受，至少在这个人没有将其凝视从放松方向移开时。
图14示出系统的替代实施例，其中眼镜不包括有源相机单元。相反，测试场景的图片(快照)由外部场景相机1400获取。在由此获得的图片中，IR信号源的位置由用户在最终数据处理步骤之前输入。替代地，场景相机1400适于接收可见光和IR光两者，从而产生组合图像，在该组合图像中可看到场景的视觉感受和IR信号源的位置两者。由眼动跟踪单元(未示出)、图像传感器416和相机单元414采集的数据—即眼动跟踪信号、IR信号源跟踪信号和至少一张图片—可被暂时储存在眼镜中，或者可经由有线或无线通信链路传送至系统100的数据处理和存储单元110。测量数据一般是加有时戳的，以便于进一步处理和呈现。时戳可基于设置在系统100的数据生成部分中的本地时钟生成。通过经由系统100中已经存在的通信链路传送同步信号，本地时钟可关于主时钟(其可以是指定本地时钟)同步。
在一具体实施例中，眼镜400的正面设置有激活信号发射器422，其可用于向IR信号源的期望位置发射无线激活信号—例如IR、光学、声学甚至射频。使用诸如光学信号的定向激活信号是有利的，这使得与其它测试场景的IR信号源分离地激活一个测试场景中的IR信号源(即使这些IR信号源排列成在空间上彼此接近)成为可能。实际上，如果此IR信号源处于可被这种激活信号中断的备用模式(这在以下参照图8详细描述)，则IR信号源回到其操作模式，该操作模式包括发射可被用作基准信号的IR信号。
图5示出眼镜400的替代实施例，其中眼镜400适于与支持单元500通信，在该替代实施例中对测量数据执行预处理和(部分)评估。在此实施例中，通信是无线的，并且通过支持单元500处的收发机510和眼镜400处的优选安排在突出部418中的另一收发机(未示出)进行。或者，在眼镜400与支持单元500之间设置有线连接。眼镜400一般具有与图4中相同的测量装置，尤其是IR光源420、检测器(未示出)、图像传感器416和相机单元414。然而，一些组件已经被定位至支持单元500以便于延长电池时间和增强佩戴者的舒适感。重新定位较重的组件使其移离眼镜尤其会减小横向扭斜质量分布的风险，否则横向扭斜质量分布需要平衡而可使眼镜400大而且重。支持单元500可悬挂在眼镜400的佩戴者的腰带上。在此实施例中，支持单元500包括数据缓冲器520、用于从眼动跟踪信号中提取凝视方向信息的评估单元530、以及用于将数据转换成适于传送至数据处理和存储单元110的格式的预处理装置540。支持单元500进一步包括充电电池(未示出)、主电源开关(未示出)、眼镜400的激活信号发射机422的致动器(未示出)、以及用于与数据处理和存储单元110通信的收发机550。因为从支持单元500到眼镜400的距离与至数据处理和存储单元110的距离可有相当大的不同，所以两个通信链路可使用不同的技术，诸如用于短程通信链路的蓝牙技术
Figure BPA00001408694900121
和用于长程通信链路的无线局域网(WLAN)技术。支持单元500的替代实施例可包括诸如存储卡的用于缓冲数据的本地存储单元；然则特别是当数据最终以有线方式传送至数据处理和存储单元110时，收发机550可能是不必要的。
现在将给出对眼镜400的IR图像传感器416的当前优选实施例的更详细描述。图像传感器416由两个正交的线传感器构成，根据其输出信号可确定IR信号的接收方向(可表达为两个角度，因为IR信号源的视在位置具有两个自由度)和身份。接收方向可被表达为两个角度，因为IR信号源的视在位置(到测试场景平面上的投影)具有两个自由度。如在本文中使用地，线传感器是定向光传感器，其输出作为沿传感器的扫描方向测量的坐标的函数的接收信号。因而，来自位于同一坐标—即在与扫描方向垂直的线上—的任两个光源的贡献将被线传感器累加。基于来自正交(或至少具有不同扫描方向)的两个线传感器的信号，可确定接收方向的两个角度(或等效的图像平面坐标)特征。在此实施例中，线传感器被定位成其相应扫描方向正交并与佩戴眼镜400的人的正面FP平行，如图6所示。作为本发明的特征，线传感器的扫描方向与垂直A方向和水平C方向并不严格重合。相反，出于在本公开内容的先前章节中阐述的理由，发现以轻微旋转方式排列线传感器以使扫描方向B、D与垂直A方向和水平C方向各自相差3-30度是优选的。
图7是如入射IR光线712平面和线传感器的IR感光面710的法线轴N中所见的图像传感器416的截面图。线传感器的扫描方向在图面的左右方向中延伸，表示传感器累加来自位于与图面垂直的任何线上的源的贡献。光阑的部分702、704限定进入图像传感器416的光学孔径706。在附图中，表面710的法线轴N绘制成穿过光学孔径706的中心708。为绘制简便起见，传感器416根据针孔相机模型来表示，尤其意味着节点与孔径706的中心708重合。可构想和实现具有单独节点的更复杂模型作为所揭示实施例的简单变体。线传感器针对传感器表面710的每个坐标输出接收强度INT，如图中下面所绘制的曲线所示。从曲线可知，接收强度在峰值强度点714处最大。光学孔径706与感光面710之间的距离是先验已知的。通过还确定从峰值强度点714至中心708在感光面710上的投影708的距离，系统可获得入射光线712的入射角[α]。对于子像素分辨率，可使用质心计算来确定714。如结合图6所述，与第一线传感器710正交(近似)的第二线传感器可类似地绕同一光学孔径中心708设置以提供第二入射角，由此完整表征光线712的入射方向。如本领域技术人员所知，入射方向(一对角)等效于图像平面中两个传感器的一对坐标。
如前面章节所述，峰值强度点只是限定信号在传感器表面710上的位置的一种方法。在两个或多个像素共享最大强度的情况下找回所照亮点的几何中心也是可能的，并且可能是更适当的。该中心可被计算为由所照亮点中的每个像素处的局部强度值所加权的质心。该质心位置由以下公式给出：
其中xi是坐标，而INTi是第i像素的强度读数。此外，如果传感器的点分布函数是已知的，则接收信号模式可相关于该函数去卷积，以便于找回传感器的预图像。为了增强精度，可在其它信号处理之前减去如在校准步骤中确定的传感器的暗电流。
图8是根据本发明一实施例的IR信号源800的概略图。该源800具有：IR光源810，其适于发射经时间调制的IR光；以及接收机860，其适于接收来自设置在系统的眼镜中的激活信号发射机的无线激活信号。可任选地，进一步的调制可通过在光源810的孔径处设置彩色或偏振滤光片来实现。调制器820向光源810提供驱动电压，其本身由电压源840供电。将充电电池用作电压源对系统的适应性来说是有益的。中继器830串联连接至电压源840和调制器820，由此可用来激活和停用调制器820。中继器830可由来自开关电路870的信号致动。开关电路870的用于控制开关电路840的信号的值基于接收机860和定时器850提供的数据。例如，开关电路870可被配置成使中继器830在每次接收到激活信号之后关闭向光源810供电的电路达预定时间间隔(诸如五分钟，其可以是测量会话的期望持续时间)。在此时间间隔结束之后，IR信号源800进入节电模式。使用全无源接收机860以使IR信号源800在接收到激活信号之前的其等待时间期间不耗散任何能量是有利的。
参照图9-12，现在将讨论凝视点检测系统的功能。首先，图11是示出在本发明一实施例的操作期间如何处理所采集数据的流程图。眼动跟踪单元ET具有输出眼动跟踪信号S1的检测器。IR传感器IS从系统的IR信号源接收IR信号，并且输出IR信号源跟踪信号S4，其编码如从IR传感器所见的IR信号源的位置。因为IR信号源跟踪信号将用于使眼动跟踪信号S1与特定坐标系相关，所以这些信号基于同时或近似同时的测量。在所示的示例性实施例中，可从眼动跟踪信号S1导出有关瞳孔位置和眼动跟踪单元的IR光源的角膜反射(闪烁)的位置的信息。在第一处理步骤P1中，眼动跟踪信号与个人校准数据S2组合并获得凝视点S3。如在本上下文中使用地，个人校准数据S2可包括：
—眼睛视轴与光轴之间的水平角和垂直角，
—角膜曲率半径，以及
—瞳孔中心与角膜曲率中心之间的距离。
用于基于包含至少一个角膜闪烁的眼睛图像确定凝视方向(以及由此图像平面中的凝视点)的计算方法是本领域中已知的，例如E.D.Guestrin和M.Eizenmann在IEEE生物医学工程会刊53卷第6期1124-1133页(2006年6月)所发表的，其通过引用包括于此。
在前面段落中描述的步骤(在图11的虚线框内用符号表示)要对每个测试对象执行一次。现在将描述的涉及对数据的最终处理和呈现，在本实施例中其可对数据流连续地执行或者在暂时储存数据的情形中可在后面的任意时间点执行。暂时储存眼动跟踪信号S1以及对处理成与最终处理步骤相关的凝视点数据S3的执行显现为是等同的选择。但是，可表示为眼睛的IR图像的视频序列的眼动跟踪信号S1的数据量仍然比凝视点数据S3的数据量大得多，因此将第一处理步骤P1用作为预处理步骤实际上对于系统的性能是有影响的。作为在暂时存储之前执行第一处理步骤P1的替代，可剪切、过滤和/或压缩编码在眼动跟踪信号S1中的图像以节约空间和/或带宽。
再次查看图11，IR传感器和相机单元CU(当然功能上等效于外部场景相机、且在本公开内容中与外部场景相机无区别)分别在任何时间点获取IR信号源跟踪信号S5和测试场景的图片S6(快照)。在第二处理步骤P2-其使用将相机单元CU的基准帧与IR传感器IS相关的硬件基准数据S8-测试场景的图片S6与对应IR信号源跟踪信号S5作比较，以便于获取IR信号源位置与测试场景图片的图元之间的关系S7。为了例示，图9a示出示例性测试场景的图片(图2的书架220)，其中IR信号源的位置910已被形象化为双圆。因而，四个位置910对应于测试场景图片S6的四个有限图元；这些图元的标识符(坐标)可用于编码关系S7。第三处理步骤P3具有同时获取的凝视点数据S3和IR信号源跟踪信号S4作为其输入变量。此外，计算所必需的参数从硬件校准数据S8以及IR信号源位置和测试场景图片之间的关系S7导出。此第三处理步骤P3包括凝视点S3从眼动跟踪单元的移动校准帧到测试场景图片S6的基准帧的变换。在本实施例中，测试场景图片中的基准帧仅仅是图元。因此，凝视点被表达为凝视点图元S9。在第四处理步骤P4中，凝视点图元S9在测试场景的图片S6上绘制(叠加)，由此产生表示组合图片的数据S10，这些凝视点图元被提供给输出装置OUT，诸如监视器、打印机、输出文件或电子消息。示例性组合图片在图9c中示出，凝视点由虚线圆930示出。
在第三处理步骤P3中执行的凝视点变换更精确地是透视投影。如本领域技术人员可理解地，一个点的透视投影可被表达为在点以齐次坐标给出的情况下的线性映射。透视投影是在眼镜尚未移位情况下的恒等映射。如果相反眼镜已经移动(平移和/或旋转)，则透视投影可被定义为将采集眼动跟踪数据S1时IR信号源的视觉观感(图像平面点)变换成获取测试场景图片S6时IR信号源的视觉观感的映射。图13示出当眼镜从第一位置R1移位到第二位置R2时测试场景TS中的三个IR信号源800的视角如何从第一三元组(α1，α2，α3)变化成第二三元组(β1，β2，β3)的示例。图13被简化成：眼镜在两个位置都相同地定向，并且图中的所有物体都共面；实际上，测量至每个IR信号源的两个角。在本实施例中，不跟踪眼镜的移动，从而先验的透视投影仅仅是隐式已知的。优选地，映射基于IR信号源跟踪信号S4以及IR信号源位置与测试场景图片(与IR信号源相对应的图元)之间的关系S7来估计。该估计可通过直接线性变换来实现。如本领域技术人员将理解地，透视投影的完全估计需要至少四个不同IR信号源位置的知识。如果更少的IR信号源位置是已知的，该估计将提供多个解决方案。如果测试场景图片S6包含四个以上IR信号源，则不使用过量的信号源可能是有利的。具体而言，不合需要的IR信号可能作为反射显现在测试场景视图中，或者可能从测试场景后面的源中射出。对要使用什么IR信号源的选择可由用户执行，或者可在系统中自动进行；例如可选择四个最强的IR信号作为第二处理步骤P2的一部分。
以上尚未讨论处理步骤在系统的不同构成部件之间的精确分布。存储和处理数据是随着技术开发的进展逐步需要越来越少的能量且占用越来越少的物理空间的活动。任务实际上可用许多相当等效的方法分配。作为示例，可应用表1中所示的分配。
如果以下假设为真，则表1所示的分布可能不是最佳的：(i).眼镜及其相应支持单元之间的通信链路是缓慢和不可靠的，支持单元与中央数据处理和存储单元之间的通信链路也是如此；以及(ii).可以低电池功耗在眼镜处执行数字计算。在这种情况下，表2中阐述的替代分配方案可更佳地执行。
Figure BPA00001408694900162
通过例行试验，本领域技术人员一旦阅读并理解了本说明书将发现给定情况下处理步骤的适当分布。
图12示出图11中所示过程的替代实施例。有利地，该实施例不取决于IR传感器IS在生成眼动跟踪信号的每一时刻接收来自所有IR信号源的信号。为了补偿一个或多个丢失的IR信号，需要相机单元CU获取生成眼动跟踪信号时测试场景的图片。作为一简化示例，假设在一时间点接收眼动跟踪信号S1和测试场景图片S11-而非IR信号。在此时间点之前，像上述实施例中的第二处理步骤P2一样，在测试场景图片S6中已接收和定位了完整集合的IR信号源S5。另外在此替换实施例中，图像特征从图片中提取并且定位和存储以供后来使用。IR信号源和所提取图像特征的定位(全体标示为S13)在替代第二处理步骤P5中实现。输出S13可如图9b中地形象化，其中先前所示的IR信号源910由图像特征位置920补充。在图9b中，已经提取了以下的图像特征：八面体的顶部隅角920a、时钟的支脚920b、最左侧书籍的顶部左隅角920c、以及书架220的各个结构元件的交叉点920d。假设已经提取了这四个图像特征且这四个图像特征已在测试场景图片S6和更新近的测试场景图片S11(即已与眼动跟踪信号S1同时获取的测试场景图片)两者中定位。从测试场景图片S11中提取图像特征S12在提取步骤P6中完成以在第三处理步骤P3之前执行。在第三处理步骤P3中，其包括估计补偿可能的眼镜移动的透视投影，图像特征的位置被用作对估计算法的输入。因此，为了解决透视投影估计问题的解决方案的可能歧义性，所提取的图像特征在丢失IR信号源的一个或多个的情形下扮演IR信号源的角色。第四处理步骤P4如在如上所述的实施例中地执行。注意，在一些方面中IR信号源在作为基准点的角色中优于期望图像特征。图像特征的位置可能难以准确地建立；在测试场景的视角改变时跟踪特征可证明是棘手的；并且最为重要的是，测试对象的注意力会被图像特征转移，这些图像特征与IR光不同是可见的。出于这些原因，图像特征应当仅仅被视为是对IR信号源的补充。作为(分段)对特征跟踪的替换，在所接收到的IR信号不完整的情形中可使用卡尔曼滤波来重构眼镜的位置。基于光学基准信号来进行位置和取向估计的卡尔曼滤波器在G.F.Welch，SCAAT：Incremental tracking withincomplete information(用不完整信息进行增量跟踪)在美国北卡罗莱纳大学Chapel Hill(教堂山)分校的博士论文(1996年10月)中揭示，其通过引用包括于此。IR信号源跟踪历史然后关联于对例如佩戴系统眼镜的人的最大加速的假设来使用。在一更简单的方法中，可替代地使用最近估计的透视投影作为初始猜想；除了加速估计之外，这还可防止估计算法会聚至一伪解。作为另一替代，如果观察历史在具有不完整数据的时间点左右可用(这表示该处理是非因果关系地完成的)，则可使用两个已知点之间的线性插补。
根据本发明的系统所检测到的凝视点数据的呈现可以多种格式设计。作为示例，图10a是凝视点示为虚线圆1010、1012、1014、1016、1018的组合测试场景图片。圆1010、1012、1014、1016、1018可对应于不同测试对象的瞬间凝视点(‘蜜蜂群’视图)。它们还可对应于不同时间点一个测试对象的凝视点(‘凝视曲线’视图)，假设凝视点检测覆盖非零长度的时间间隔。在此情形中，圆1010、1012、1014、1016、1018可由文本标记补充以指定其相应查看时间；它们还可通过线或箭头连接以示出查看顺序，即查看者凝视的路径。点、星形、矩形、十字形或其它形状可替代圆使用，只要在各个应用中适当即可。每种形状的大小可指示检测的准确性，因为越大的形状可对应于越大的数字不确定性。图10b是具有叠加阴影区域的测试场景图片(‘热图’视图)。在此，颜色越深代表凝视的停留时间越长。这种停留时间在仅包括一个测试对象的测试会话期间可累计，或者可以是多个测试对象的停留时间之和。根据一种替代的数据呈现方法，预定义多个感兴趣区域，并且在包括一个或多个测试对象的测试会话期间累计每个区域的停留时间。感兴趣的各个区域根据停留时间的统计测量值加阴影，并且在测试场景图片上叠加(‘集群视图’)。统计测量值包括：每个测试对象的平均总停留时间，每个定影的平均持续时间，总停留时间的百分比、已访问了每个感兴趣区域的测试对象群体的百分比等。
在一特定实施例中，测试场景图片由眼镜的相机单元以规则时间间隔获取(诸如每秒10-100张图片且适当地为每秒20-40张图片)。这样，获得测试场景的视频序列。然后，凝视点可由测试场景的视频序列的各个帧上、而非固定的测试场景图片上的叠加图片符号表示。(注意，甚至在仅获取一张测试场景图片时，该视频序列中的帧原则上也可通过对该一张测试场景图片应用透视变换基于IR信号源跟踪数据来重构；关联计算努力将相当地大。)此实施例结合仿真器可特别有用。在其中测试场景是表示对测试对象的可变视觉刺激的视频监视器的研究中其也是有利的。实际上，就不同时间点的凝视点而言，结果的综合评估应当考虑在给定时刻向测试对象呈现了什么图像。
尽管在附图和前面的描述中已例示和描述了本发明，但是这种例示和描述被示为是说明性或示例性而非限制性的；本发明不限于所揭示的实施例。实践所要求保护发明的本领域技术人员，根据对附图、公开内容和所附权利要求的研究，可以理解和实现所公开实施例的其它变体。在权利要求中，词语‘包括’并不排除其它元件或步骤，而不定冠词‘一’或‘一个’不排除复数。在互不相同的从属权利要求中阐述特定特征的事实并不表示这些特征的组合不可用来带来益处。权利要求中的任何附图标记不应当解释为限制范围。

Claims (35)

1.一种用于确定人相对于空间区域图片的凝视点的系统(100)，所述系统包括：
位于所述空间区域中的适于发射IR信号的至少一个红外线IR信号源(800)；
适于由人佩戴的至少一副眼镜(400)，所述至少一副眼镜包括：
图像传感器(416)，适于接收来自所述至少一个IR信号源的入射IR信号并生成至少一个IR信号源跟踪信号；以及
眼动跟踪单元，适于确定人眼睛的凝视方向并生成与所确定的凝视方向相对应的眼动跟踪信号；以及
数据处理和存储单元(110)，适于与眼镜通信以便于获取所述至少一个IR信号源跟踪信号和所述眼动跟踪信号，并基于所述至少一个IR信号源跟踪信号、所述眼动跟踪信号和图片计算人相对于空间区域图片的凝视点。
2.如权利要求1所述的系统，其特征在于，还包括场景相机(1400)，其适于获取空间区域的至少一张图片。
3.如权利要求1所述的系统，其特征在于，所述至少一副眼镜还包括相机单元(414)，其适于获取空间区域的至少一张图片。
4.如权利要求3所述的系统，其特征在于，所述数据处理和存储单元适于使所述相机单元获取的图片与来自至少一个IR信号源跟踪信号的信息相匹配，以便于创建所获取图片与所述至少一个IR信号源的相对位置的组合图像。
5.如权利要求3或4所述的系统，其特征在于，所述系统包括至少四个IR信号源，并且所述数据处理和存储单元适于进一步使所述图片与所述IR信号源的位置信息相匹配，其中所述IR信号源的位置信息被储存在所述数据处理和存储单元中。
6.如权利要求5所述的系统，其特征在于，所述数据处理和存储单元进一步适于提取和持续跟踪所获取图片中的图像特征以检测眼镜位置的变化。
7.如前面权利要求的任一项所述的系统，其特征在于：所述IR信号是经调制IR光；以及
所述数据处理和存储单元适于基于所述至少一个IR信号源跟踪信号确定特定IR信号源的身份。
8.如权利要求7所述的系统，其特征在于，经调制IR光相关于由时间、波长和偏振构成的组中的至少一个量调制。
9.如前面权利要求的任一项所述的系统，其特征在于：
图像传感器包括适于接收所述入射IR信号的传感器表面(710)；
图像传感器适于通过确定所述入射IR信号在传感器表面上的位置来计算入射IR信号与垂直于传感器表面并穿过图像传感器的光学孔径的中心(708)的轴之间的至少一个角度；以及
所计算出的角度被包括在所述IR信号源跟踪信号中。
10.如前面权利要求的任一项所述的系统，其特征在于，所述眼镜的眼动跟踪单元包括：
至少一个IR发光器件(420)，其设置在所述眼镜的侧边或镜架上以使所发射的光脉冲被导向所述人的眼睛；
检测器，其设置在所述侧边或镜架上以使从所述眼睛反射的光脉冲被接收，所述检测器适于重复获取所述眼睛的图像；以及
评估单元，其连接至检测器且适于确定所述眼睛的凝视方向。
11.如权利要求10所述的系统，其特征在于，所述至少一个IR光发射器件和所述检测器被非同轴地设置。
12.如权利要求10或11所述的系统，其特征在于：
所述眼镜进一步包括至少一个偏光滤光片，其设置在人眼的前方且适于发射在第一方向上偏光的光；以及
适于发射在第二方向上偏光的偏光滤光片在检测器之前，该第二方向实质上与所述第一方向正交。
13.如前面权利要求的任一项所述的系统，其特征在于，进一步包括至少一个支持单元(500)，每个支持单元通信耦合至一副眼镜并包括由以下构成的组的至少之一：
电压源；
数据缓冲器；
数据预处理装置；
适于与数据处理和存储单元通信的收发机(550)；以及
适于与所关联的眼镜通信的收发机(510)。
14.如前面权利要求的任一项所述的系统，其特征在于，所述眼镜的图像传感器包括：
第一光学线传感器，其扫描方向(B)在眼镜被佩戴时略微偏离垂直方向(A)；以及
第二光学线传感器，其扫描方向(D)与第一线传感器的基本上垂直，
其中所述两个光学线传感器的扫描方向在眼镜被佩带时与人的正面(FP)基本上平行。
15.如前面权利要求的任一项所述的系统，其特征在于，所述至少一个IR信号源可以节能模式操作，该节能模式可通过接收到预定义无线信号中断。
16.如前面权利要求的任一项所述的系统，其特征在于，所述系统适于确定多个人相对于空间区域的给定图片的凝视点，其中：
所述至少一副眼镜适于针对每个人生成眼动跟踪信号和IR信号源跟踪信号；以及
所述数据处理和存储单元适于计算每个人相对于眼镜中的相机单元所获取的图片的凝视点。
17.一副要由人佩戴的眼镜(400)，包括
图像传感器(416)，适于接收来自空间区域中所述至少一个IR信号源(800)的入射红外线(IR)信号并生成至少一个IR信号源跟踪信号；以及
眼动跟踪单元，适于确定人眼睛的凝视方向并生成与所确定的凝视方向相对应的眼动跟踪信号。
18.如权利要求17所述的眼镜，其特征在于，还包括相机单元(414)，其适于获取所述空间区域的至少一张图片。
19.如权利要求18所述的眼镜，其特征在于，所述眼镜用于一系统中，所述系统包括数据处理和存储单元(110)，其适于与眼镜通信以便于获取所述至少一个IR信号源跟踪信号、所述眼动跟踪信号和所述至少一张图片，并基于所述至少一个IR信号源跟踪信号、所述眼动跟踪信号和所述至少一张图片计算人相对于所述至少一张所获取图片之一的凝视点。
20.如权利要求17-19的任一项所述的眼镜，其特征在于：
图像传感器包括适于接收所述入射IR信号的传感器表面(710)；
图像传感器适于通过确定所述入射IR信号在传感器表面上的位置来计算入射IR信号与垂直于传感器表面并穿过图像传感器的光学孔径的中心(708)的轴之间的至少一个角度；以及
所计算的角度被包括在所述IR信号源跟踪信号中。
21.如权利要求17-20的任一项所述的眼镜，其特征在于，所述眼动跟踪单元包括：
至少一个IR发光器件(420)，其设置在所述眼镜的侧边或镜架上以使所发射的光脉冲被导向所述人的眼睛；
检测器，其设置在所述侧边或镜架上以使从所述眼睛反射的光脉冲被接收，所述检测器适于重复获取所述眼睛的图像；以及
评估单元，其连接至检测器且适于确定所述眼睛的凝视方向。
22.如权利要求17-21的任一项所述的眼镜，其特征在于，所述至少一个IR光发射器件和所述检测器被非同轴地设置。
23.如权利要求17-22的任一项所述的眼镜，其特征在于，还包括至少一个偏光滤光片，其设置在人眼的前方且适于发射在第一方向上偏光的光，其中适于发射在第二方向上偏光的光的偏光滤光片在检测器之前，该第二方向实质上与所述第一方向正交。
24.如权利要求17-23的任一项所述的眼镜，其特征在于，所述眼镜通信耦合至支持单元(500)，所述支持单元包括来自由以下构成的组的至少之一：
电压源；
数据缓冲器；
数据预处理装置；
适于与数据处理和存储单元通信的收发机(550)；以及
适于与所关联的眼镜通信的收发机(510)。
25.如权利要求17-24的任一项所述的眼镜，其特征在于，所述图像传感器包括：
第一光学线传感器，其扫描方向(B)在眼镜被佩带时略微偏离垂直方向(A)；以及
第二光学线传感器，其扫描方向(D)与第一线传感器的基本上垂直，
其中所述两个光学线传感器的扫描方向在眼镜被佩带时与人的正面(FP)基本上平行。
26.一种红外线IR信号源(800)，其适于向适于由人佩戴的至少一副眼镜(400)发射IR信号，其中眼镜包括图像传感器(416)，其适于接收IR信号并生成至少一个IR信号源跟踪信号，由此用于确定眼镜相对于IR信号源的位置。
27.如权利要求26所述的IR信号源，其特征在于，所述IR信号源在一系统中使用，所述系统包括：
至少一副眼镜，进一步包括：
眼动跟踪单元，适于确定人眼睛的凝视方向并生成与所确定的凝视方向相对应的眼动跟踪信号；以及
相机单元，适于获取空间区域的至少一张图片；以及
数据处理和存储单元，其适于与眼镜通信以便于获取所述至少一个IR信号源跟踪信号、所述眼动跟踪信号和所述至少一张图片，并基于所述至少一个IR信号源跟踪信号、所述眼动跟踪信号和所述至少一张图片计算人相对于所述至少一张所获取图片之一的凝视点。
28.如权利要求26或27所述的IR信号源，其特征在于：
所述IR信号是经调制IR光；以及
所述数据处理和存储单元适于基于所述至少一个IR信号源跟踪信号确定特定IR信号源的身份。
29.如权利要求28所述的IR信号源，其特征在于，经调制IR光相关于由时间、波长和偏振构成的组中的至少一个量调制。
30.如权利要求27-29的任一项所述的IR信号源，其特征在于，所述IR信号源可以节能模式操作，该节能模式可通过接收到预定义无线信号中断。
31.一种场景相机(1400)，其适于获取空间区域的至少一张图片，所述场景相机用于在系统中使用，所述系统包括：
设置在所述空间区域中的适于发射IR信号的至少一个红外线IR信号源(800)；
至少一副眼镜(400)，包括：
图像传感器(416)，适于接收IR信号并生成至少一个IR信号源跟踪信号；以及
眼动跟踪单元(414)，适于确定人眼睛的凝视方向并生成与所确定的凝视方向相对应的眼动跟踪信号；以及
数据处理和存储单元(110)，适于与眼镜通信以便于获取所述至少一个IR信号源跟踪信号和所述眼动跟踪信号，并基于所述至少一个IR信号源跟踪信号、所述眼动跟踪信号和图片计算人相对于空间区域图片的凝视点。
32.如权利要求31所述的场景相机，其特征在于，进一步适于接收可见光和IR光两者。
33.一种用于确定人相对于空间区域图片的凝视点的方法，所述方法包括以下步骤：
(a)在至少一个IR信号源处发射红外线IR信号；
(b)在接收机处接收来自所述至少一个IR信号源的至少一个IR信号；
(c)确定所述至少一个所接收IR信号各自的入射角；
(d)在相机单元处获取包含所述至少一个IR信号源的空间区域的图片；
(e)确定所述至少一个IR信号源相对于图片的位置；
(f)确定人相对于所述至少一个IR信号源的位置的凝视点；以及
(g)输出所述空间区域与凝视点的组合图像。
34.如权利要求33所述的方法，其特征在于，所述方法适于确定多个人相对于空间区域图片的凝视点，包括：
执行步骤(a)和(d)；
对于每个人，执行步骤(b)、(c)、(e)和(f)；以及
输出所述空间区域与所述至少两个人的凝视点的组合图像。
35.一种储存计算机可执行指令的计算机程序产品，这些计算机可执行指令在通用处理器上执行时执行权利要求33或34的步骤。
CN200980155847.4A 2009-01-26 2009-01-26 由光学基准信号辅助的对凝视点的检测 Active CN102292017B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2009/000480 WO2010083853A1 (en) 2009-01-26 2009-01-26 Detection of gaze point assisted by optical reference signals

Publications (2)

Publication Number Publication Date
CN102292017A true CN102292017A (zh) 2011-12-21
CN102292017B CN102292017B (zh) 2015-08-05

Family

ID=40942437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980155847.4A Active CN102292017B (zh) 2009-01-26 2009-01-26 由光学基准信号辅助的对凝视点的检测

Country Status (7)

Country Link
US (3) US9495589B2 (zh)
EP (1) EP2389095B1 (zh)
JP (1) JP5456791B2 (zh)
KR (1) KR101564387B1 (zh)
CN (1) CN102292017B (zh)
DK (1) DK2389095T3 (zh)
WO (1) WO2010083853A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103431840A (zh) * 2013-07-31 2013-12-11 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN104321785A (zh) * 2012-03-22 2015-01-28 Smi创新传感技术有限公司 评估视线检测结果的方法和装置
CN104337496A (zh) * 2013-07-30 2015-02-11 财团法人交大思源基金会 头戴式人眼追踪系统
CN104813216A (zh) * 2012-11-19 2015-07-29 橙子牙科有限两合公司 具有能量采集系统的放大镜
CN105142498A (zh) * 2013-03-15 2015-12-09 感知技术有限公司 增强光学和感知数字护目镜
JP2016514865A (ja) * 2013-03-15 2016-05-23 ダクリ エルエルシーＤａｑｒｉ， ＬＬＣ 現実世界の分析可視化
CN105615821A (zh) * 2016-01-21 2016-06-01 吉林大学 一种偏光视力检测装置
CN106030660A (zh) * 2014-03-28 2016-10-12 英特尔公司 具有动态光照以用于眼睛追踪的计算阵列相机
CN107533362A (zh) * 2015-05-08 2018-01-02 Smi创新传感技术有限公司 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
US9870050B2 (en) 2013-10-10 2018-01-16 Beijing Zhigu Rui Tuo Tech Co., Ltd Interactive projection display
US9867756B2 (en) 2013-08-22 2018-01-16 Beijing Zhigu Rui Tuo Tech Co., Ltd Eyesight-protection imaging system and eyesight-protection imaging method
US10048750B2 (en) 2013-08-30 2018-08-14 Beijing Zhigu Rui Tuo Tech Co., Ltd Content projection system and content projection method
US10191276B2 (en) 2013-06-28 2019-01-29 Beijing Zhigu Rui Tuo Tech Co., Ltd Imaging adjustment device and imaging adjustment method
US10261345B2 (en) 2013-06-28 2019-04-16 Beijing Zhigu Rui Tuo Tech Co., Ltd Imaging adjustment device and imaging adjustment method
US10395510B2 (en) 2013-08-30 2019-08-27 Beijing Zhigu Rui Tuo Tech Co., Ltd Reminding method and reminding device
US10481396B2 (en) 2013-06-28 2019-11-19 Beijing Zhigu Rui Tuo Tech Co., Ltd. Imaging device and imaging method
US10551638B2 (en) 2013-07-31 2020-02-04 Beijing Zhigu Rui Tuo Tech Co., Ltd. Imaging apparatus and imaging method
US10583068B2 (en) 2013-08-22 2020-03-10 Beijing Zhigu Rui Tuo Tech Co., Ltd Eyesight-protection imaging apparatus and eyesight-protection imaging method
CN112651270A (zh) * 2019-10-12 2021-04-13 北京七鑫易维信息技术有限公司 一种注视信息确定方法、装置、终端设备及展示对象

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5456791B2 (ja) 2009-01-26 2014-04-02 トビー・テクノロジー・アーベー 空間領域の映像に対する人の注視点を決定するためのシステム及びその方法
US10019634B2 (en) * 2010-06-04 2018-07-10 Masoud Vaziri Method and apparatus for an eye tracking wearable computer
US11450113B1 (en) * 2009-06-04 2022-09-20 Masoud Vaziri Method and apparatus for a wearable computer
US9727790B1 (en) * 2010-06-04 2017-08-08 Masoud Vaziri Method and apparatus for a wearable computer with natural user interface
US10064552B1 (en) 2009-06-04 2018-09-04 Masoud Vaziri Method and apparatus for a compact and high resolution mind-view communicator
US8872910B1 (en) 2009-06-04 2014-10-28 Masoud Vaziri Method and apparatus for a compact and high resolution eye-view recorder
US11367164B1 (en) 2009-06-04 2022-06-21 Masoud Vaziri Method and apparatus for super resolution imaging and eye tracking devices
EP2499960B1 (en) 2011-03-18 2015-04-22 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for determining at least one parameter of two eyes by setting data rates and optical measuring device
US9033502B2 (en) 2011-03-18 2015-05-19 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
EP2499963A1 (en) * 2011-03-18 2012-09-19 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and apparatus for gaze point mapping
US9183199B2 (en) * 2011-03-25 2015-11-10 Ming-Yuan Wu Communication device for multiple language translation system
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US9135508B2 (en) * 2011-12-20 2015-09-15 Microsoft Technology Licensing, Llc. Enhanced user eye gaze estimation
FR2989482B1 (fr) 2012-04-12 2022-12-23 Marc Massonneau Procede de determination de la direction du regard d'un utilisateur.
US8864310B2 (en) 2012-05-01 2014-10-21 RightEye, LLC Systems and methods for evaluating human eye tracking
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
EP2709060B1 (en) 2012-09-17 2020-02-26 Apple Inc. Method and an apparatus for determining a gaze point on a three-dimensional object
US9575960B1 (en) * 2012-09-17 2017-02-21 Amazon Technologies, Inc. Auditory enhancement using word analysis
JP6020576B2 (ja) * 2012-09-19 2016-11-02 株式会社ニコン 視線検出装置較正方法、視線情報検出方法、眼鏡レンズ設計方法、眼鏡レンズ選択方法、および、眼鏡レンズ製造方法
US20140085198A1 (en) * 2012-09-26 2014-03-27 Grinbath, Llc Correlating Pupil Position to Gaze Location Within a Scene
US9426447B2 (en) * 2012-10-09 2016-08-23 Electronics And Telecommunications Research Institute Apparatus and method for eye tracking
TW201416054A (zh) * 2012-10-22 2014-05-01 Hon Hai Prec Ind Co Ltd 輔助裝置及利用該輔助裝置進行眼藥水投藥的方法
TW201416908A (zh) * 2012-10-23 2014-05-01 Pixart Imaging Inc 瞳孔追蹤裝置
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US8919969B2 (en) * 2012-11-29 2014-12-30 3M Innovative Properties Company On-product projection for digital merchandizing
US9681982B2 (en) 2012-12-17 2017-06-20 Alcon Research, Ltd. Wearable user interface for use with ocular surgical console
US10365874B2 (en) * 2013-01-28 2019-07-30 Sony Corporation Information processing for band control of a communication stream
US9596508B2 (en) 2013-03-15 2017-03-14 Sony Corporation Device for acquisition of viewer interest when viewing content
CN105230013A (zh) * 2013-06-28 2016-01-06 汤姆逊许可公司 具有位置感测和适配数量的视图的多视图三维显示系统和方法
US10345903B2 (en) * 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
US10420464B2 (en) * 2013-07-31 2019-09-24 Saar Wilf Gaze tracking system
US10277787B2 (en) 2013-09-03 2019-04-30 Tobii Ab Portable eye tracking device
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
US10310597B2 (en) 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
JP2015061339A (ja) * 2013-09-17 2015-03-30 株式会社日立製作所 結線作業支援システム
US10008124B1 (en) 2013-09-18 2018-06-26 Beth Holst Method and system for providing secure remote testing
US11327302B2 (en) 2013-09-18 2022-05-10 Beth Holst Secure capture and transfer of image and audio data
JP6171781B2 (ja) * 2013-09-20 2017-08-02 大日本印刷株式会社 視線分析システム
EP2886039B1 (en) * 2013-12-17 2019-08-21 Microsoft Technology Licensing, LLC Method and see-thru display device for color vision deficit correction
WO2015103444A1 (en) * 2013-12-31 2015-07-09 Eyefluence, Inc. Systems and methods for gaze-based media selection and editing
JP6123694B2 (ja) * 2014-02-10 2017-05-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
GB2523356A (en) * 2014-02-21 2015-08-26 Tobii Technology Ab Apparatus and method for robust eye/gaze tracking
US9330302B2 (en) 2014-02-26 2016-05-03 Microsoft Technology Licensing, Llc Polarized gaze tracking
US20150302422A1 (en) * 2014-04-16 2015-10-22 2020 Ip Llc Systems and methods for multi-user behavioral research
JP6445784B2 (ja) * 2014-05-16 2018-12-26 キヤノン株式会社 画像診断支援装置、その処理方法及びプログラム
US9727136B2 (en) * 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
JP6311461B2 (ja) * 2014-06-05 2018-04-18 大日本印刷株式会社 視線分析システムおよび視線分析装置
US9132957B1 (en) * 2014-06-09 2015-09-15 Amazon Technologies, Inc. Processing of misplaced items to resolve inventory defects
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
KR102197536B1 (ko) * 2014-08-18 2020-12-31 엘지디스플레이 주식회사 이동 플리커가 감소된 입체영상 표시장치
CN107072528B (zh) * 2014-08-20 2021-07-02 加州浸会大学 用于监测眼睛健康的系统和方法
JP6802795B2 (ja) 2014-12-16 2020-12-23 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 自動放射線読み取りセッション検出
JP6601417B2 (ja) * 2014-12-17 2019-11-06 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10169535B2 (en) * 2015-01-16 2019-01-01 The University Of Maryland, Baltimore County Annotation of endoscopic video using gesture and voice commands
WO2016151581A1 (en) * 2015-03-23 2016-09-29 Controlrad Systems Inc. Eye tracking system
US11061233B2 (en) 2015-06-30 2021-07-13 3M Innovative Properties Company Polarizing beam splitter and illuminator including same
US9870049B2 (en) * 2015-07-31 2018-01-16 Google Llc Reflective lenses to auto-calibrate a wearable system
US10635901B2 (en) 2015-08-11 2020-04-28 Sony Interactive Entertainment Inc. Head-mounted display
US20170045935A1 (en) 2015-08-13 2017-02-16 International Business Machines Corporation Displaying content based on viewing direction
US10061383B1 (en) * 2015-09-16 2018-08-28 Mirametrix Inc. Multi-feature gaze tracking system and method
US9905244B2 (en) * 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
KR101887375B1 (ko) * 2016-02-25 2018-08-13 이상훈 눈의 망막과 공막의 혈관을 촬영하는 촬영장치 및 이를 이용하여 진단하는 방법
EP3239870B1 (en) 2016-04-28 2021-06-02 Essilor International A method for monitoring the behavior of a cohort group of members
EP3563217A1 (en) 2016-09-27 2019-11-06 Tobii AB Portable eye tracking device
US9898082B1 (en) 2016-11-01 2018-02-20 Massachusetts Institute Of Technology Methods and apparatus for eye tracking
US10110802B2 (en) 2016-12-30 2018-10-23 Axis Ab Historical gaze heat map for a video stream
US10366540B2 (en) * 2017-03-23 2019-07-30 Htc Corporation Electronic apparatus and method for virtual reality or augmented reality system
DE102017207960A1 (de) 2017-05-11 2018-11-15 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
US20180357670A1 (en) * 2017-06-07 2018-12-13 International Business Machines Corporation Dynamically capturing, transmitting and displaying images based on real-time visual identification of object
US10304207B2 (en) 2017-07-07 2019-05-28 Samsung Electronics Co., Ltd. System and method for optical tracking
JP6943672B2 (ja) * 2017-08-04 2021-10-06 株式会社ディスコ 加工装置の情報伝達機構
WO2019111257A1 (en) * 2017-12-07 2019-06-13 Eyefree Assisting Communication Ltd. Communication methods and systems
BR112020012725A2 (pt) * 2017-12-22 2020-12-01 Sr Labs S.R.L. método e sistema de mapeamento para mapear um ambiente real
US11164197B2 (en) * 2018-04-13 2021-11-02 Shopper Scientist Llc Shopping time allocated to product exposure in a shopping environment
US11308591B1 (en) 2018-07-11 2022-04-19 Masoud Vaziri Method and apparatus for a software enabled high resolution ultrasound imaging device
WO2020027790A1 (en) * 2018-07-31 2020-02-06 Hewlett-Packard Development Company, L.P. Projecting images onto a face of a user
US10921883B2 (en) * 2019-01-17 2021-02-16 International Business Machines Corporation Eye tracking for management of mobile device
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11644940B1 (en) 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
IL269809B (en) * 2019-10-03 2021-12-01 Eyejets Ltd A compact retinal scanning device for tracking pupil movements of a user's eye and its applications
EP3826432A1 (en) 2019-11-22 2021-05-26 Oberalp Spa Headlamp with an ai unit
WO2021257797A1 (en) * 2020-06-18 2021-12-23 Northwestern University Infrared tele-video-oculography for remote evaluation of eye movements
KR102580559B1 (ko) 2021-01-08 2023-09-21 한국전자통신연구원 시각적 정보를 이용한 통역 결과 제공 방법, 장치 및 시스템
US11350506B1 (en) 2021-05-03 2022-05-31 Ober Alp S.P.A. Adaptive illumination control via activity classification
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
US20220390771A1 (en) * 2021-06-07 2022-12-08 Blink Technologies Inc. System and method for fitting eye wear
DE102021208483A1 (de) * 2021-08-05 2023-02-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben einer Lasereinheit in Abhängigkeit von einem erkannten Zustand eines Objekts und Laservorrichtung
CN113693553A (zh) * 2021-09-14 2021-11-26 首都医科大学附属北京儿童医院 消除眼动检测中冷效应干扰的方法及装置
US20230133579A1 (en) * 2021-09-24 2023-05-04 The Regents Of The University Of Michigan Visual attention tracking using gaze and visual content analysis
CN114680889A (zh) * 2022-03-08 2022-07-01 中国石油大学(北京) 钻井作业人员的不安全行为识别方法和装置
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system
US11800244B1 (en) 2022-08-13 2023-10-24 Mojtaba Vaziri Method and apparatus for an imaging device
US12186019B2 (en) 2023-04-07 2025-01-07 Globe Biomedical, Inc Mechanical integration of components of wearable devices and ocular health monitoring system
USD1058631S1 (en) 2023-04-07 2025-01-21 Globe Biomedical, Inc. Smart spectacles
USD1057791S1 (en) 2023-04-07 2025-01-14 Globe Biomedical, Inc. Smart spectacles

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0125808A3 (en) 1983-04-18 1986-01-29 Lee S. Weinblatt Eye movement monitoring technique
IL82731A (en) * 1987-06-01 1991-04-15 El Op Electro Optic Ind Limite System for measuring the angular displacement of an object
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
US4967268A (en) * 1989-07-31 1990-10-30 Stereographics Liquid crystal shutter system for stereoscopic and other applications
US5325192A (en) * 1992-07-24 1994-06-28 Tektronix, Inc. Ambient light filter for infrared linked stereoscopic glasses
US6373961B1 (en) * 1996-03-26 2002-04-16 Eye Control Technologies, Inc. Eye controllable screen pointer
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US6381339B1 (en) * 1997-01-15 2002-04-30 Winton Emery Brown Image system evaluation method and apparatus using eye motion tracking
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6396461B1 (en) * 1998-08-05 2002-05-28 Microvision, Inc. Personal display with vision tracking
DE19838246C2 (de) * 1998-08-22 2001-01-04 Daimler Chrysler Ag Bispektrales Fenster für einen Reflektor und Reflektorantenne mit diesem bispektralen Fenster
US6243076B1 (en) * 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
DE19953835C1 (de) * 1999-10-30 2001-05-23 Hertz Inst Heinrich Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens
US7431455B2 (en) * 2005-03-22 2008-10-07 Amo Manufacturing Usa, Llc Pupilometer for pupil center drift and pupil size measurements at differing viewing distances
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US7266995B2 (en) * 2001-08-10 2007-09-11 Jenser Technology Ab Method and instrument for measuring surface tension
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
JP2003225207A (ja) * 2002-02-04 2003-08-12 Minolta Co Ltd 視線検出装置
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
JP2004113755A (ja) * 2002-09-27 2004-04-15 Photron Ltd 視点検出カメラ及び視点の自動分析装置
SE524003C2 (sv) * 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US6637883B1 (en) 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
US7280678B2 (en) * 2003-02-28 2007-10-09 Avago Technologies General Ip Pte Ltd Apparatus and method for detecting pupils
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
EP1691670B1 (en) * 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
WO2005046565A2 (en) 2003-11-17 2005-05-26 Quark Biotech, Inc. Diagnosis and treatment of kidney fibrosis and other fibrotic diseases
US8094927B2 (en) * 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
JP2005253778A (ja) * 2004-03-12 2005-09-22 Gen Tec:Kk 視線検出方法及び同装置
JP4580678B2 (ja) * 2004-04-28 2010-11-17 株式会社ディテクト 注視点位置表示装置
US7720264B2 (en) * 2004-05-10 2010-05-18 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for pupil detection for security applications
EP2202609B8 (en) * 2004-06-18 2016-03-09 Tobii AB Eye control of computer apparatus
US7865834B1 (en) * 2004-06-25 2011-01-04 Apple Inc. Multi-way video conferencing user interface
SG155167A1 (en) * 2004-08-03 2009-09-30 Silverbrook Res Pty Ltd Walk-up printing
US20060149426A1 (en) * 2005-01-04 2006-07-06 Unkrich Mark A Detecting an eye of a user and determining location and blinking state of the user
US7438414B2 (en) * 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
WO2007023798A1 (ja) * 2005-08-23 2007-03-01 National University Corporation Shizuoka University 瞳孔検出装置及び瞳孔検出方法
WO2007074842A1 (ja) * 2005-12-27 2007-07-05 Matsushita Electric Industrial Co., Ltd. 画像処理装置
US7747068B1 (en) * 2006-01-20 2010-06-29 Andrew Paul Smyth Systems and methods for tracking the eye
CN101336089A (zh) * 2006-01-26 2008-12-31 诺基亚公司 眼睛跟踪器设备
US20070237387A1 (en) 2006-04-11 2007-10-11 Shmuel Avidan Method for detecting humans in images
US7542210B2 (en) * 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
US8073719B2 (en) * 2006-06-30 2011-12-06 Rearden Commerce, Inc. System and method for core identity with personas across multiple domains with permissions on profile data based on rights of domain
KR100820639B1 (ko) * 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
WO2008106802A1 (en) * 2007-03-08 2008-09-12 University Of Northern British Columbia Apparatus and method for objective perimetry visual field test
WO2008141460A1 (en) * 2007-05-23 2008-11-27 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
CN100491903C (zh) * 2007-09-05 2009-05-27 北京航空航天大学 一种结构光视觉传感器结构参数标定方法
US7618144B2 (en) * 2008-01-07 2009-11-17 Optical Physics Company System and method for tracking eye movement
KR101446559B1 (ko) * 2008-03-24 2014-10-06 삼성전자주식회사 3차원 영상 시청을 위한 신호생성방법 및 이를 적용한영상시청장치
KR100947990B1 (ko) * 2008-05-15 2010-03-18 성균관대학교산학협력단 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
WO2010003410A1 (en) * 2008-07-08 2010-01-14 It-University Of Copenhagen Eye gaze tracking
WO2010018459A2 (en) * 2008-08-15 2010-02-18 Imotions - Emotion Technology A/S System and method for identifying the existence and position of text in visual media content and for determining a subject's interactions with the text
US7736000B2 (en) * 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
CN103119512A (zh) * 2008-11-02 2013-05-22 大卫·乔姆 近眼式显示系统和装置
JP5456791B2 (ja) 2009-01-26 2014-04-02 トビー・テクノロジー・アーベー 空間領域の映像に対する人の注視点を決定するためのシステム及びその方法
US7810926B2 (en) * 2009-02-15 2010-10-12 International Business Machines Corporation Lateral gaze angle estimation using relative eye separation
WO2010102037A2 (en) * 2009-03-03 2010-09-10 The Ohio State University Gaze tracking measurement and training system and method
EP2238889B1 (en) * 2009-04-01 2011-10-12 Tobii Technology AB Adaptive camera and illuminator eyetracker
WO2011008793A1 (en) * 2009-07-13 2011-01-20 Emsense Corporation Systems and methods for generating bio-sensory metrics
ES2669058T3 (es) * 2009-07-16 2018-05-23 Tobii Ab Sistema y método de detección ocular que usa flujo de datos secuencial
US8500281B2 (en) * 2009-08-19 2013-08-06 Electronics And Telecommunications Research Institute Apparatus for irradiating beam at user's eye gaze point and operation method thereof
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US8467133B2 (en) * 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US8878773B1 (en) * 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US8531355B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US20130083007A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Changing experience using personal a/v system
US8879801B2 (en) * 2011-10-03 2014-11-04 Qualcomm Incorporated Image-based head position tracking method and system
EP2774380B1 (en) * 2011-11-02 2019-05-22 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
JP5602708B2 (ja) * 2011-11-09 2014-10-08 楽天株式会社 注視位置推定システム、注視位置推定システムの制御方法、注視位置推定装置、注視位置推定装置の制御方法、プログラム、及び情報記憶媒体
US8860660B2 (en) * 2011-12-29 2014-10-14 Grinbath, Llc System and method of determining pupil center position
US8955973B2 (en) * 2012-01-06 2015-02-17 Google Inc. Method and system for input detection using structured light projection
EP2642425A1 (de) * 2012-03-22 2013-09-25 SensoMotoric Instruments GmbH Verfahren und Vorrichtung zum Auswerten von Ergebnissen einer Blickerfassung
WO2013154561A1 (en) * 2012-04-12 2013-10-17 Intel Corporation Eye tracking based selectively backlighting a display
WO2014043142A1 (en) * 2012-09-11 2014-03-20 Augmented Vision, Inc. Compact eye imaging and eye tracking apparatus
US9039179B2 (en) * 2012-12-11 2015-05-26 Elwha Llc Unobtrusive active eye interrogation
US9179833B2 (en) * 2013-02-28 2015-11-10 Carl Zeiss Meditec, Inc. Systems and methods for improved ease and accuracy of gaze tracking
GB2511868B (en) * 2013-03-15 2020-07-15 Tobii Ab Eye/gaze tracker and method of tracking the position of an eye and/or a gaze point of a subject
EP3048949B1 (en) * 2013-09-24 2019-11-20 Sony Interactive Entertainment Inc. Gaze tracking variations using dynamic lighting position
WO2015048030A1 (en) * 2013-09-24 2015-04-02 Sony Computer Entertainment Inc. Gaze tracking variations using visible lights or dots
US9430040B2 (en) * 2014-01-14 2016-08-30 Microsoft Technology Licensing, Llc Eye gaze detection with multiple light sources and sensors
GB2523356A (en) * 2014-02-21 2015-08-26 Tobii Technology Ab Apparatus and method for robust eye/gaze tracking
US9330302B2 (en) * 2014-02-26 2016-05-03 Microsoft Technology Licensing, Llc Polarized gaze tracking
US9510753B2 (en) * 2014-02-27 2016-12-06 Lc Technologies, Inc. Asymmetric aperture for eyetracking
US9552061B2 (en) * 2014-03-26 2017-01-24 Microsoft Technology Licensing, Llc Eye gaze tracking using binocular fixation constraints
US9329684B2 (en) * 2014-06-02 2016-05-03 Intel Corporation Eye tracking with detection of adequacy of lighting
US9355315B2 (en) * 2014-07-24 2016-05-31 Microsoft Technology Licensing, Llc Pupil detection
US20170045935A1 (en) * 2015-08-13 2017-02-16 International Business Machines Corporation Displaying content based on viewing direction

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104321785B (zh) * 2012-03-22 2018-01-09 Smi创新传感技术有限公司 评估视线检测结果的方法和装置
CN104321785A (zh) * 2012-03-22 2015-01-28 Smi创新传感技术有限公司 评估视线检测结果的方法和装置
US9639745B2 (en) 2012-03-22 2017-05-02 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and apparatus for evaluating results of gaze detection
CN104813216A (zh) * 2012-11-19 2015-07-29 橙子牙科有限两合公司 具有能量采集系统的放大镜
CN105142498A (zh) * 2013-03-15 2015-12-09 感知技术有限公司 增强光学和感知数字护目镜
JP2016514865A (ja) * 2013-03-15 2016-05-23 ダクリ エルエルシーＤａｑｒｉ， ＬＬＣ 現実世界の分析可視化
US10481396B2 (en) 2013-06-28 2019-11-19 Beijing Zhigu Rui Tuo Tech Co., Ltd. Imaging device and imaging method
US10261345B2 (en) 2013-06-28 2019-04-16 Beijing Zhigu Rui Tuo Tech Co., Ltd Imaging adjustment device and imaging adjustment method
US10191276B2 (en) 2013-06-28 2019-01-29 Beijing Zhigu Rui Tuo Tech Co., Ltd Imaging adjustment device and imaging adjustment method
CN104337496A (zh) * 2013-07-30 2015-02-11 财团法人交大思源基金会 头戴式人眼追踪系统
US9867532B2 (en) 2013-07-31 2018-01-16 Beijing Zhigu Rui Tuo Tech Co., Ltd System for detecting optical parameter of eye, and method for detecting optical parameter of eye
CN103431840B (zh) * 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103431840A (zh) * 2013-07-31 2013-12-11 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
US10551638B2 (en) 2013-07-31 2020-02-04 Beijing Zhigu Rui Tuo Tech Co., Ltd. Imaging apparatus and imaging method
US9867756B2 (en) 2013-08-22 2018-01-16 Beijing Zhigu Rui Tuo Tech Co., Ltd Eyesight-protection imaging system and eyesight-protection imaging method
US10583068B2 (en) 2013-08-22 2020-03-10 Beijing Zhigu Rui Tuo Tech Co., Ltd Eyesight-protection imaging apparatus and eyesight-protection imaging method
US10048750B2 (en) 2013-08-30 2018-08-14 Beijing Zhigu Rui Tuo Tech Co., Ltd Content projection system and content projection method
US10395510B2 (en) 2013-08-30 2019-08-27 Beijing Zhigu Rui Tuo Tech Co., Ltd Reminding method and reminding device
US9870050B2 (en) 2013-10-10 2018-01-16 Beijing Zhigu Rui Tuo Tech Co., Ltd Interactive projection display
CN106030660A (zh) * 2014-03-28 2016-10-12 英特尔公司 具有动态光照以用于眼睛追踪的计算阵列相机
US10327633B2 (en) 2014-03-28 2019-06-25 Intel Corporation Computational array camera with dynamic illumination for eye tracking
CN107533362A (zh) * 2015-05-08 2018-01-02 Smi创新传感技术有限公司 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
CN107533362B (zh) * 2015-05-08 2020-10-16 苹果公司 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
CN105615821A (zh) * 2016-01-21 2016-06-01 吉林大学 一种偏光视力检测装置
CN112651270A (zh) * 2019-10-12 2021-04-13 北京七鑫易维信息技术有限公司 一种注视信息确定方法、装置、终端设备及展示对象

Also Published As

Publication number Publication date
US10635900B2 (en) 2020-04-28
US9779299B2 (en) 2017-10-03
US20140146156A1 (en) 2014-05-29
US20110279666A1 (en) 2011-11-17
WO2010083853A1 (en) 2010-07-29
US9495589B2 (en) 2016-11-15
JP5456791B2 (ja) 2014-04-02
KR20110124246A (ko) 2011-11-16
US20180232575A1 (en) 2018-08-16
EP2389095B1 (en) 2014-10-01
KR101564387B1 (ko) 2015-11-06
DK2389095T3 (da) 2014-11-17
CN102292017B (zh) 2015-08-05
JP2012515579A (ja) 2012-07-12
EP2389095A1 (en) 2011-11-30

Similar Documents

Publication Publication Date Title
CN102292017B (zh) 由光学基准信号辅助的对凝视点的检测
US11778149B2 (en) Headware with computer and optical element for use therewith and systems utilizing same
JP7008131B2 (ja) イベントカメラデータを使用するアイトラッキングの方法及び装置
EP2710516B1 (en) Systems and methods for identifying gaze tracking scene reference locations
US12073015B1 (en) Systems and methods for calibrating eye tracking
CN113874816A (zh) 人工现实系统中身体姿态跟踪的磁传感器采样频率的同步
CN104094280A (zh) 用于高分辨率视线跟踪的系统和方法
CN109791605A (zh) 基于眼睛跟踪信息的图像区域中的自适应参数
Bohme et al. Remote eye tracking: State of the art and directions for future development
EP3082568A1 (en) Method for calibrating a head-mounted eye tracking device
CN110275602A (zh) 人工现实系统和头戴式显示器
WO2019125700A1 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping
CN113467619A (zh) 画面显示方法、装置和存储介质及电子设备
EP3075315B1 (en) System and computer-implemented method for monitoring the visual behavior of a person
Hwang et al. A rapport and gait monitoring system using a single head-worn IMU during walk and talk
KR101331055B1 (ko) 시각 주의 분석에 근거한 시각 보조 시스템 및 상기 시각 주의 분석을 이용한 시각 보조 방법
CN109917908A (zh) 一种ar眼镜的图像获取方法及系统
BEŠIĆ et al. RFID AND VIRTUAL REALITY TEST SETUP FOR VISUALLY IMPAIRED ASSISTIVE TECHNOLOGY
CN117784931A (zh) 一种智能眼镜
CN119620401A (zh) 用于闭环主动调光控制的视差传感器及其系统和使用方法
TW201618685A (zh) 具實境導航與互動導覽之穿戴式遮陽帽

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: Sweden Danderyd

Applicant after: Toby joint-stock company

Address before: Sweden Danderyd

Applicant before: Tobii Technology AB

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

Free format text: CORRECT: APPLICANT; FROM: TOBII TECHNOLOGY AB TO: TOBY AG

C14 Grant of patent or utility model
GR01 Patent grant