CN109965843B - 一种基于滤波传像的眼动系统 - Google Patents

Abstract

本发明涉及一种基于滤波传像的眼动系统，包括透镜、依次设置于所述透镜前方的滤波传像装置、成像透镜组、成像器件和图像处理装置；所述透镜获取被试者观察不同点时的初始人眼图像，并将所述初始人眼图像传入所述滤波传像装置的入瞳；所述滤波传像装置将所述初始人眼图像以光路传播至所述成像透镜组，并在传播的过程将图像中干扰虹膜检测的噪声滤除；所述成像透镜组接收所述光路，放大成像后获得二级人眼图像，并传入所述成像器件；所述成像器件接收所述二级人眼图像，将其进行光电转化成视频信号导入所述图像处理装置检测被试者的视线落点。本发明所述的基于滤波传像的眼动系统具有能够滤除杂质噪声，精准测试出被试者视线落点的优点。

Description

一种基于滤波传像的眼动系统

技术领域

本发明涉及视线追踪领域，特别是涉及一种基于滤波传像的眼动系统。

背景技术

眼动测试就是通过视线追踪技术，也称为眼动跟踪技术，监测用户在看特定目标时的眼睛运动和注视方向，并进行相关分析的过程。视线追踪技术是利用机械、电子、光学等技术手段获取被试者“视觉注意”方向的技术，在认知障碍诊断和人机交互领域有着广泛的应用，如人机交互、虚拟现实、广告学、车辆辅助驾驶、心理与生理学研究等。视线追踪的研究范畴涉及图像处理与分析、计算机视觉、光学、心理学与解剖学等众多领域的专业知识，技术手段需融合多种生物特征识别技术，是典型的多学科交叉性研究课题。按照系统构成和采用的检测方法不同，视线追踪技术可以粗略地划分为侵入式和非侵入式。侵入式视线追踪系统对人的干扰较大，甚至会引起人身体上的不适感。随着相关技术的发展，基于数字视频分析的非侵入式视线追踪系统以其对人的干扰小、操作方便、精度较高等优点成为当前研究的热点方向。

而视线追踪技术的主要研究内容是如何实时、客观、准确地记录被试者当前的视线方向或视线落点位置。早期测量手段比较匮乏时，研究人员多使用诸如机械记录法、电磁记录法、电流记录法等侵入式方法来检测和记录眼动数据。随着机器视觉和数字图像处理技术的迅速发展，利用数字摄像机记录眼动过程并采用图像处理方法分析视线方向的光学记录法得到广泛应用。非侵入式方法主要是在封闭的暗室内或者晚上采用红外光作为光源，利用外部的摄像机获取人眼图像，通过对人眼图像做图像处理得到瞳孔特征点，并对瞳孔做椭圆拟合，找到瞳孔中心位置，从而估算出视线落点位置。随着医学的不断发展和所需条件要求不断的提高，很多医学检测需要在明亮的场景以及强磁场空间内进行，此时的CCD等有源成像器件会对医疗检测产生干扰，需用自然光替代红外光做光源，而用自然光做光源时在获取眼睛图像过程中会产生对实验精度造成不良影响的杂质噪声，导致无法精准地测试出被试者视线落点。

发明内容

基于此，本发明的目的在于，提供一种基于滤波传像的眼动系统，其具有能够滤除杂质噪声，精准测试出被试者视线落点的优点。

一种基于滤波传像的眼动系统，包括透镜、依次设置于所述透镜前方的滤波传像装置、成像透镜组、成像器件和图像处理装置；所述透镜获取被试者观察不同点时的初始人眼图像，并将所述初始人眼图像传入所述滤波传像装置的入瞳；所述滤波传像装置将所述初始人眼图像以光路传播至所述成像透镜组，并在传播的过程将图像中干扰虹膜检测的噪声滤除；所述成像透镜组接收所述光路，放大成像后获得二级人眼图像，并传入所述成像器件；所述成像器件接收所述二级人眼图像，将其进行光电转化成视频信号导入所述图像处理装置检测被试者的视线落点；所述图像处理装置接收所述视频信号还原获得人眼虹膜图像，并检测人眼虹膜中心的位置，确定被试者的视线落点；所述检测人眼虹膜中心位置的步骤为：对所述人眼虹膜图像进行灰度处理和二值化处理以获得黑白图像；对所述黑白图像做边缘检测提取虹膜轮廓；预设一定半径的特定区域，并在特定区域内对圆的参数组进行投票；找到投票最多的参数组所对应的圆，将该圆的中心确定为虹膜中心。

本发明所述的基于滤波传像的眼动系统，通过滤波传像装置将初始人眼图像中携带的杂质噪声滤除，获得更清晰的人眼图像，从而更精准测试出被试者视线落点。

进一步地，预设一定半径的特定区域，并在特定区域内对圆的参数组(x，y，r)进行投票，其中圆的极坐标形式为：

其中p为虹膜的宽度，q为虹膜的高度；找到投票最多的参数组所对应的圆，将该圆的中心确定为虹膜中心。

进一步地，所述滤波传像装置为传像光纤束；所述传像光纤束中的各条光纤将所述初始人眼图像分割成细微像元，并以光路传播至所述成像透镜组。

进一步地，所述传像光纤束传播所述细微像元时，将直径小于所述细微像元直径的杂质滤除，以获得更清晰的人眼虹膜轮廓。

进一步地，所述传像光纤束的直径与所述透镜的通光孔径相匹配，使得传像光纤束与透镜之间形成良好的图像对接，保证图像的完整度。

进一步地，还包括位于透镜后侧的头托；所述头托用于固定被试者的头部。

进一步地，还包括设置于所述头托的正前方的显示屏；所述显示屏用于显示实验点供被试者观察。该方法提供特定实验点供被试者观察，更有利于对测试数据的分析。

进一步地，所述成像器件为CCD图像传感器。

进一步地，所述滤波传像系统包括位于所述透镜后端的滤波器和传像器；所述滤波器将所述初始人眼图像中的噪声滤除，并传入所述传像器；所述传像器将噪声滤除后的所述初始人眼图像传递至所述成像透镜组。

为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1为本发明所述的基于滤波传像的眼动系统的系统框图；

图2为本发明所述组合式滤波传像装置的结构示意图；

图3为未加滤波传像光纤束时对特殊点的拟合图；

图4为基于滤波传像光纤束的与图3所示的相同特殊点的拟合图；

图5为未加滤波传像光纤束时选取的五组数据纵坐标的变化曲线图；

图6为基于滤波传像光纤束的选取的五组数据纵坐标的变化曲线图；

图7为未加滤波传像光纤束时的二十组数据取均值后做的标准误差曲线图；

图8为基于滤波传像光纤束的二十组数据取均值后做的标准误差曲线图；

图9为未加滤波传像光纤束时的二十组数据取均值后做的残差分析图；

图10为基于滤波传像光纤束的二十组数据取均值后做的残差分析图。

具体实施方式

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

请参阅图1，其是本发明所述的基于滤波传像的眼动系统的系统框图。

本发明所述的基于滤波传像的眼动系统，包括头托10、依次设置于所述头托10前方的透镜20、滤波传像装置30、成像透镜组40、成像器件50、图像处理装置60和显示屏70。

所述头托10设置于透镜20后侧，用于固定被试者的头部，使其免于晃动而影响成像。

所述透镜20通过支架支撑，并位于所述头托10的前方7-15厘米处，透镜的焦距为4毫米。所述透镜20用于获取被试者观察不同点时的初始人眼图像，并将所述初始人眼图像传入所述滤波传像装置30的入瞳。

所述滤波传像装置30位于所述透镜20前侧的焦平面处，将所述初始人眼图像以光路传播至所述成像透镜组40，并在传播的过程中将图像中干扰虹膜检测的噪声滤除。

所述滤波传像装置30同时具备滤波和传像功能，其中传像功能使得眼动系统中的有源器件和无源器件可以远距离分开，适用于某些极端情况的应用，如存在强磁场而使得有源器件无法工作的情况；其滤波功能使得被测者眼睛的光学图像的某些影响实验精度的图像噪声被弱化，甚至被滤除，从而实现对被试者视线落点更加精准地估计。具体地，人眼图像中的噪声可以为人眼虹膜周围的睫毛、眼睑、光纤表面的微小缺陷及污染物、或其他影响成像质量的杂质。

在一个实施例中，所述滤波传像装置30可以为由一定数量的光纤按照一一对应地顺序排列组合而成的传像光纤束。所述传像光纤束中的各条光纤将所述初始人眼图像分割成细微像元，将所述细微像元以光路的形式传播至所述成像透镜组，并在像元的传播过程中将直径小于所述细微像元直径的杂质滤除。例如，单根光纤的直径约为10um，睫毛的直径约为70um，成像到光纤束输入端面上时缩小到原来的二十五分之一，则为2.8um，小于单根光纤的直径而无法分辨，因此，经过传像光纤束的传播后，睫毛可以被过滤掉。实验过程中的其他杂质基于同样的原理也可以滤除。

该传像光纤束中光纤数量的多少是能否将图像完整、清晰传播的关键所在，光纤数量太少分割成的像元数量就少，即传像分辨率较低，无法清晰的传播图像，就会对实验造成影响；光纤数量太多，所分割成的像元数量就太多，即传像分辨率较高，无法将人眼图像中的杂质滤除，也会对实验造成影响。因此，本实施例中，该传像光纤束中光纤的长度截取为30cm，直径为2000±120um，所包含光纤的具体数量为13000根，将初始人眼图像分割成13000个像元以光路的形式来传播，满足实验需求。该传像光纤束的核心材料为PMMA，即聚甲基丙烯酸甲酯；复合材料为氟化高聚物；数值孔径为0.5，可传播光波长范围为可见光波段，因此，加入传像光纤束后的眼动实验可在自然光下进行，不需要采用红外光作为光源。在该传像光纤束的外部还有一层黑色保护套，厚度为0.4mm，材质为聚乙烯。该传像光纤束不仅可以传导自然光还可以传导图像，且价格低廉，适用于低成本运作；同时因其材质为塑料，硬度较低，在端面受污染或有刻痕的情况下可用刀子切割和光纤研磨纸研磨，使用方便。

由于该传像光纤束的材质为塑料，柔软度好，可弯曲的自由度高，且质量轻，本传像光纤束可以随意弯曲，达到改变光路的作用。因此，本眼动系统可根据不同用途做成桌面式、头戴式等多种形式的眼动仪，用于设计图像处理与分析、计算机视觉、光学、心理学与解剖学等多种场合以及某些狭小空间的应用。另外，传像光纤束不受电磁辐射影响，因此可利用其将图像从强磁场区域中传输出来，避免了CCD等有源器件受强磁场的干扰而无法工作，可见采用传像光纤束传像的眼动系统可应用于强磁场环境下。

在其他实施例中，请参阅图2，其是本发明所述组合式滤波传像装置的结构示意图。所述滤波传像装置30还可以是由滤波器和传像器组合而成，具体包括位于所述透镜20的焦平面上的滤波器和传像器；所述滤波器将所述初始人眼图像中的噪声滤除，并传入所述传像器；所述传像器将噪声滤除后的所述初始人眼图像传递至所述成像透镜组。具体地，所述滤波器可以为固定频率或者可调谐的低通滤波器，可以将图像中的高频噪声过滤掉，凸显有用信息使得物像得到改善。所述传像器可以由多块相互错开放置的平面镜组合构成，以改变光路将人眼图像进行传播。

所述成像透镜组40位于所述传像光纤束的后端，接收所述传像光纤束传播过来的光路，成像放大后获得二级人眼图像，并传入所述成像器件50。所述成像透镜组40的焦距可调，体型轻便，并通过固定支架支撑，高度和方向均可以任意调节，以便于调节传像光纤束的距离和契合度。

所述成像器件50接收所述二级人眼图像，将其进行光电转化成视频信号导入所述图像处理装置60检测被试者的视线落点。具体地，所述成像器件可以为摄像管、CCD(电荷耦合器件)、SSPD(自扫描光电二极管阵列)等具有视频信号输出的成像器件。本实施例中的成像器件为CCD5，CCD5通过USB接口将人眼图像导入到图像处理装置60中进行数据处理。

所述图像处理装置60接收所述视频信号，还原获得人眼虹膜图像，针对不完整的虹膜图像，采用霍夫圆变换法进行拟合，以检测人眼虹膜中心的位置，确定被试者的视线落点。本实施例中，所述图像处理装置60为计算机。霍夫圆变换法为：对一个圆来说，需要用三个参数来表示，即：C(xcenter，ycenter，r)，这里的(xcenter，ycenter)为圆的圆心坐标，r为圆的半径，如此，一个唯一的圆就被定义了。具体步骤为：

(1)用图像处理方法将原图像进行灰度处理，对灰度处理后的图像做二值化处理；

(2)对二值化处理后的眼睛图像做边缘检测，并进行轮廓提取；

(3)轮廓提取后，将图像中所有边界点设为(xi，yi)。其中取值为0的点作为非边界点，取值为255的点作为边界点；

(4)对圆的参数组(x，y，r)进行投票的过程即是对圆的检测过程。设圆的极坐标形式为：

其中p为虹膜的宽度，q为虹膜的高度；

(5)在参数空间中，找到参数x，y，r对应的单元，找到后将其所在的单元的累加器加一；

(6)当图像中所有点都完成步骤(3)和(4)后，检查参数空间里每个累加器的值，最大值表示此组参数得到的投票数最多，值最大的单元即为圆心坐标和半径。用数学形式表示，即当H(x₀，y₀，R)＝max(H(x，y，r))，则圆形的坐标为(x₀，y₀)，半径为r；一旦在某一个r下面检测到圆，那么r的值也就随之确定，最终确定圆。

具体地，本实施例中，所述检测人眼虹膜中心位置的步骤为：对所述人眼虹膜图像进行灰度处理和二值化处理以获得黑白图像；对所述黑白图像做边缘检测提取虹膜轮廓；预设一定半径的特定区域，并在特定区域内对圆的参数组(x，y，r)进行投票，其中圆的极坐标形式为：

其中p为虹膜的宽度，q为虹膜的高度；找到投票最多的参数组所对应的圆，将该圆的中心确定为虹膜中心。

其中二值化处理具体为：预设阈值，将大于阈值的像素点用白色表示，将小于阈值的像素点用黑色表示，该阈值可根据图片需要手动改变。二值化处理后的图像为黑白图像，即其中的虹膜是黑色的，其他内容为白色。另外，为了研究方便，还可以采用对二值化取反的方式对图像进行处理，即背景设为黑色，目标图设为白色来进行处理。

所述显示屏70设置于所述头托的正前方，用于显示实验点供被试者观察。本实施例中，显示屏中显示9个不同的测试点供被试者观察，以拍摄出被试者观察不同点时的人眼图像。

以下从眼动实验进行描述，本实验为基于所述滤波传像的眼动系统所做的实验。具体的实验过程如下：

实验中，首先对被试者进行定标，将定标点坐标代入传统的二次多项式模型求参，在验证实验中代入求出的参数，求出人眼在屏幕上的估计视线落点；对含有某些特殊点的行或列分别求坐标点，单独分析得出规律。

具体地，本实验采用九点定标九点验证方法，显示屏上显示出供被试者观察的九个测试点；被试者眼睛随着九个测试点转移视线，CCD5成像器件读取经前置透镜和传像光纤束传播的人眼图像，将被试者观察不同测试点的人眼图像的每一帧记录下来；并对获取的人眼图像进行霍夫圆变换，检测到虹膜中心，确定眼睛的视线落点。

本实验中采用自然光做光源，解决了红外光不被允许，以及被试者对红外线过敏的问题；同时，由于在自然光下，瞳孔的检测会存在困难，因此本实验中采用检测虹膜中心位置来代替瞳孔中心的位置。当被试者眼睛的视线落在屏幕上一些拐角的点(以下称为特殊点)时，人眼的睫毛、眼睑与虹膜之间的轮廓会影响拟合效果导致视线落点估计产生偏差。如图3所示，其是未加滤波传像光纤束时对特殊点的拟合图，此时虹膜被眼睑遮住的部分无法拟合。为了有效地改善这种误差，选取分辨率处于一定范围内的传像光纤束做传递图像的导体。如图4所示，其是基于滤波传像光纤束的与图3所示的相同特殊点的拟合图，当图像通过传像光纤束时，人眼睫毛被滤掉，眼睑与虹膜之间的轮廓被弱化，虹膜被眼睑遮住部分对整体拟合的影响较小。

进一步，为了验证采用传像光纤束传像时，在某些特殊点体现出的过滤睫毛和弱化眼睑与虹膜之间轮廓的优势，选取了包含特殊点的一行测试点，即在显示屏上显示为一行五列的五个测试点，被试者视线方向随这五个点的变化而变化。分别获取被试者观察这五个点时的人眼图像，并对人眼图像做霍夫圆变换，得出视线估计坐标，选取各个点的纵坐标作比较，画出趋势图。具体请参阅图5和图6，其中图5为未加滤波传像光纤束时选取的五组数据纵坐标的变化曲线图，图6为基于滤波传像光纤束的选取的五组数据纵坐标的变化曲线图。由图5中可以看出，未加滤波传像光纤束时，拟合过程中前四个点的纵坐标相差不大，只有轻微的上下抖动，到第五个点由于无法拟合虹膜被眼睑遮住的部分，导致纵坐标产生一个突增，与前四个点的纵坐标明显有一个较大差值。而基于滤波传像光纤束的眼动系统，同行的五个点一直在同一水平线上上下波动，不存在突变的情况。同时，请参阅图7和图8，其中图7为未加滤波传像光纤束时的二十组数据取均值后做的标准误差曲线图；图8为基于滤波传像光纤束的二十组数据取均值后做的标准误差曲线图。可见，图7和图8中也验证了上述中第五个点由于无法拟合虹膜被眼睑遮住的部分，导致纵坐标产生突增，与前四个点的纵坐标明显有一个较大差值的情况。

为进一步说明这种突变的存在，还对未加传像光纤束和基于滤波传像光纤束的各二十组实验数据进行方差、标准差与离散系数对比，如表1和表2所示，其中表1为未加传像光纤束的实验数据；表2为基于滤波传像光纤束的实验数据。

方差	9.4464437
		标准差	2.749028003
离散系数	0.014309418

表1

方差	1.3634173
		标准差	0.998883951
离散系数	0.004046194

表2

从表1和表2中可以看出未加光纤束的方差和离散系数都比较大，说明点的偏离程度较大；而基于传像光纤束的方差和离散系数较小，说明点的偏离程度较小。

进一步地，对未加传像光纤束的每组数据除去特殊点的其余四个点做方差与离散系数分析，发现方差减小为原来的三分之一，而离散系数减小为原来的二分之一左右。而对于基于滤波传像光纤束的每组数据除去第五个点后前四个点的方差与离散系数几乎无变化。如表3和表4所示，其中表3为未加传像光纤束除去特殊点的数据，表4为加传像光纤束除去特殊点的数据。

方差	3.14745025
		标准差	1.536420414
离散系数	0.008047341

表3

方差	1.3634173
		标准差	0.998883951
离散系数	0.004046194

表4

从表3和表4中可以看出，自然光下某些特殊点的视线落点估计得到了很好地改善。

为进一步说明增加传像光纤束后对特殊点的拟合时出现的问题，分别对未加传像光纤束和加传像光纤束的各二十组数据用matlab做残差分析，请参与图9和图10，其中图9为未加滤波传像光纤束时的二十组数据取均值后做的残差分析图；图10为基于滤波传像光纤束的二十组数据取均值后做的残差分析图。从残差分析图可以看出数据的残差离零点的远近，当残差的置信区间均包含零点，这说明回归模型能较好的符合原始数据，否则视为异常点。从图9中可明显看出未加传像光纤束的第五个点，即特殊点偏离较远，为异常点；而图10中基于传像光纤束的五个点都在零点附近波动，无异常点显示。可见，加入传像光纤束后有效改善了人眼睫毛、眼睑对虹膜轮廓检测的影响。

本发明所述的基于滤波传像的眼动系统，利用滤波传像装置对光学图像进行传播并滤除杂质噪声，能够更精确地找到虹膜中心的位置进而估算出被试者视线落点位置。同时，本眼动系统还可根据不同用途做成桌面式、头戴式等多种形式的眼动仪，用于设计图像处理与分析、计算机视觉、光学、心理学与解剖学等多种场合，还可以做成光电分离的形式应用于某些要求较高的环境下，如医学上用于医疗检测的要求无金属器件干扰的强磁场空间等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (8)

1.一种基于滤波传像的眼动系统，其特征在于：包括透镜、依次设置于所述透镜前方的滤波传像装置、成像透镜组、成像器件和图像处理装置；所述透镜获取被试者观察不同点时的初始人眼图像，并将所述初始人眼图像传入所述滤波传像装置的入瞳；所述滤波传像装置将所述初始人眼图像以光路传播至所述成像透镜组，并在传播的过程将图像中干扰虹膜检测的噪声滤除；所述成像透镜组接收所述光路，放大成像后获得二级人眼图像，并传入所述成像器件；所述成像器件接收所述二级人眼图像，将其进行光电转化成视频信号导入所述图像处理装置检测被试者的视线落点；

所述图像处理装置接收所述视频信号还原获得人眼虹膜图像，并检测人眼虹膜中心的位置，确定被试者的视线落点；其中，所述检测人眼虹膜中心位置的步骤为：对所述人眼虹膜图像进行灰度处理和二值化处理以获得黑白图像；对所述黑白图像做边缘检测提取虹膜轮廓；预设一定半径的特定区域，并在特定区域内对圆的参数组进行投票；找到投票最多的参数组所对应的圆，将该圆的中心确定为虹膜中心；所述预设一定半径的特定区域，并在特定区域内对圆的参数组进行投票，包括：

预设一定半径的特定区域，并在特定区域内对圆的参数组(x，y，r)进行投票；其中，

圆的极坐标形式为：

其中，p为虹膜的宽度，q为虹膜的高度；找到投票最多的参数组所对应的圆，将该圆的中心确定为虹膜中心。

2.根据权利要求1所述的基于滤波传像的眼动系统，其特征在于：所述滤波传像装置为传像光纤束；所述传像光纤束中的各条光纤将所述初始人眼图像分割成细微像元，并以光路传播至所述成像透镜组。

3.根据权利要求 2所述的基于滤波传像的眼动系统，其特征在于：所述传像光纤束传播所述细微像元时，将直径小于所述细微像元直径的杂质滤除。

4.根据权利要求2所述的基于滤波传像的眼动系统，其特征在于：所述传像光纤束的直径与所述透镜的通光孔径相匹配。

5.根据权利要求1所述的基于滤波传像的眼动系统，其特征在于：还包括位于透镜后侧的头托；所述头托用于固定被试者的头部。

6.根据权利要求5所述的基于滤波传像的眼动系统，其特征在于：还包括设置于所述头托的正前方的显示屏；所述显示屏用于显示实验点供被试者观察。

7.根据权利要求1所述的基于滤波传像的眼动系统，其特征在于：所述成像器件为CCD图像传感器。

8.根据权利要求1所述的基于滤波传像的眼动系统，其特征在于：所述滤波传像装置包括位于所述透镜后端的滤波器和传像器；所述滤波器将所述初始人眼图像中的噪声滤除，并传入所述传像器；所述传像器将噪声滤除后的所述初始人眼图像传递至所述成像透镜组。

Images