CN114660806A - 眼动追踪光学装置、头戴显示设备及眼动追踪方法 - Google Patents

Abstract

本发明涉及头戴显示设备领域，尤其涉及一种眼动追踪光学装置以及应用该装置的头戴显示设备和眼动追踪方法。一种眼动追踪光学装置包括光学组件、显示屏、相机和红外发射器，所述光学组件包括并排设置的第一透镜和第二透镜，所述第一透镜靠近第二透镜一侧设有一凹面，凹面上设有第一部分反射器；所述第二透镜为波导透镜，波导透镜中间设置有第二部分反射器，显示屏位于波导透镜上方，相机位于波导透镜下方，用于拍摄眼部的图像。本发明利用波导透镜、凹面透镜和部分反射器组成光学组件，实现显示屏光线和红外发射器光线平行射入人眼，从而实现了相机对眼睛图像的同轴追踪拍摄，提高了眼部追踪的准确性。

Description

眼动追踪光学装置、头戴显示设备及眼动追踪方法

技术领域

本发明涉及头戴显示设备领域，尤其涉及一种眼动追踪光学装置以及应用该装置的头戴显示设备和眼动追踪方法。

背景技术

在虚拟现实(VR)、混合现实(AR)领域，人机交互设计一直是该领域研究的重中之重。目前常见的人机交互方式既有手柄、遥控器、触摸板等有实物接触式交互，也有手势识别、眼球追踪、动作捕捉等无实物接触式交互。眼球追踪技术是通过对人眼瞳孔位置的检测，判断人眼的真实注视点，从而控制头显设备的图像展示效果。相比其他交互方式，眼球追踪交互方式更加贴合自然交互，而且被认为是解决虚拟现实头显设备眩晕病问题的突破之处。

现有的眼球追踪交互方式多采用的是相机与眼球离轴式的追踪，会存在离轴角相反方向的追踪失真，容易导致对眼球的追踪不准确甚至丢失，影响眼动交互的准确性。

发明内容

为解决上述问题，本发明提供了一种眼动追踪光学装置，通过将透镜的波导反射与相机结合，实现对眼睛图像的同轴追踪拍摄，反馈给系统，实现更加准确的眼部追踪。

本发明的技术方案如下：

一种眼动追踪光学装置，包括光学组件、显示屏、相机和红外发射器，所述光学组件包括并排设置的第一透镜和第二透镜，所述第一透镜靠近第二透镜一侧设有一凹面，凹面上设有第一部分反射器；所述第二透镜为波导透镜，波导透镜中间设置有第二部分反射器，显示屏位于波导透镜上方，相机位于波导透镜下方，用于拍摄眼部的图像；第一部分反射器用于将经波导透镜传输的显示屏图像光线反射放大后射入人眼以及供外部光线穿过进入人眼，第二部分反射器用于将波导透镜中传输的红外发射器光线反射后射入人眼，实现相机接收的光线与图像光线同轴。

进一步，所述波导透镜包括波导棱镜和波导补偿镜，所述波导棱镜和波导补偿镜沿斜面贴合组成均厚的光学透镜，所述第二部分反射器设置在所述斜面位置，用于实现红外发射器发出的光线经部分反射器反射后，射入人眼。显示屏的图像光线进入波导棱镜后，在波导棱镜内经过一次或多次全反射，射到第二部分反射器上，一部分光线反射出波导棱镜，射到第一透镜，经第一透镜上的第一部分反射器反射放大后，又进入波导透镜，从波导透镜穿出射入人眼。

优选的，所述波导棱镜和波导补偿镜之间还设有红外反射膜，用于提高红外光线的反射效率，能够将红外发射器的红外光线反射入人眼的效率提升90％以上，从而使相机拍摄的眼部图像更加清晰。

优选的，所述第一透镜为一均厚的弧形透镜，包括凸面和凹面，并且凹面靠近第二透镜。由于第一透镜还要透射外部环境光线，便于人眼看见外部图像，第一透镜厚度相同，可以防止外部光线射入时发生畸变。第一透镜的凹面靠近第二透镜，用于接收右侧射来的显示屏图像光线，进行放大成像。

进一步，所述第一透镜的前侧和/或后侧设有红外截止玻片，用于过滤前侧射入的外部环境光线中的红外光线，防止相机过曝，影响拍摄画质。

本发明在第一透镜和第二透镜上设置部分反射器，可以在不同阶段分别实现对光线的反射和透射，所述第一部分反射器和第二部分反射器为半透半反膜或反射偏振膜。

进一步，所述红外发射器包括至少一个，红外发射器与相机位于同一位置，和/或红外发射器位于波导透镜后侧的顶部和/或底部。红外发射器若设置在相机附近，发出的红外光线经过波导透镜一次或多次反射后，经第二部分反射器和红外反射膜反射，射入人眼。红外发射器若设置在波导透镜后侧，发出的红外光线直接射入人眼。

进一步，所述相机为红外摄像机，在相机内设置红外窄带带通滤光片，仅允许红外光通过。红外光线进入人眼后，根据光路可逆原理，眼睛处的红外光会沿着光路原路返回，进入相机，相机获取眼部图像。

一种头戴显示设备，具有上述眼动追踪光学装置。

进一步，所述眼动追踪光学装置包括两个相机，分别对应左眼和右眼设置，用于拍摄左眼、右眼瞳孔，确定左眼、右眼的瞳距和瞳高，方便用户根据瞳距和瞳高调整设备，改善佩戴效果。

一种应用上述眼动追踪光学装置进行眼动追踪的方法，包括图像识别模块和分析处理模块，包括以下步骤：

S1、相机获取眼部图像信息，传给图像识别模块；

S2、图像识别模块识别瞳孔和红外图像点位置；

S3、相机间隔设定时间t1，再次获取眼部图像信息，图像识别模块再次识别瞳孔和红外图像点位置；

S4、分析处理模块根据两次识别的瞳孔和红外图像点的位置，计算眼部位置移动的方向和距离；

S5、根据步骤S4计算的眼部位置变化，系统执行相对应的映射操作。

步骤S2和S3中，红外图像点包括一个，确定瞳孔与红外图像点的相对位置。

步骤S2和S3中，红外图像点包括多个，确定瞳孔和这些红外图像点的相对位置，或以红外图像点构建坐标系，确定瞳孔在坐标系中的位置。

步骤S4中所述映射操作包括与眼睛注视点相对应的光标随眼睛的移动相应移动。

当眼睛转动、头部不动时头戴显示设备也固定不动，因此，头显上的红外发射器在眼睛投射的红外图像点位置是不动的，而瞳孔位置会随眼睛转动发生变化，因此，通过计算瞳孔相对红外图像点位置的变化，即可判断出眼球的移动方向和距离，从而确定眼球注视点的变化，进而跟踪眼部注视点执行相应的操作。

若经过设定时间t2，瞳孔位置未变化或变化范围小于设定值，系统执行相应的操作，其中t2>t1。这样是为了判断用户是否长时间注视某个位置，可以用来实现聚焦或放大局部位置等操作。

为防止眨眼等非正常眼部移动导致的误操作，可以通过设定正常眼部图像范围来判断并排杂，即若步骤S1、S3中获取的眼部图像信息与设定的图像范围相比，超出设定范围时，本次获取眼部变化不进行运算，系统不做出对应的反应。

本发明的有益效果：

1、本发明利用波导透镜、凹面透镜和部分反射器组成光学组件，实现显示屏光线和红外发射器光线平行射入人眼，从而实现了相机对眼睛图像的同轴追踪拍摄，提高了眼部追踪的准确性。

2、本发明在光学组件前侧设置红外截止玻片，避免受外部环境中红外光线的干扰，提高相机的拍摄画质。

3、本发明可以设置多个红外发射器，在眼部投射多个红外图像点，根据多个红外图像点定位眼睛的位置，提高定位精准度。

4、本发明所述眼动追踪方法能准确跟踪眼部移动，并且能对眼部的长时间注视作出反应，提高交互效果。

附图说明

图1是本发明实施例一的结构示意图；

图2是本发明实施例二的结构示意图；

图3是本发明实施例三的结构示意图；

图4是本发明实施例四的结构示意图；

图5是本发明所述眼动追踪方法的流程示意图；

图6是采用一个红外发射器的眼部图像示意图；

图7是采用多个红外发射器的眼部图像示意图；

图中，1、第一透镜，2、第一半透半反膜，3、显示屏，4、波导棱镜，5、波导补偿镜，6、红外发射器，7、相机，8、人眼，9、第二半透半反膜，10、红外反射膜，11、红外截止玻片，12、瞳孔，13、红外图像点。

具体实施方式

下面结合附图和实施例对本发明的实施方式进行详细说明。

实施例一

一种眼动追踪光学装置，如图1所示，包括一光学组件及位于光学组件顶部的显示屏3和位于光学组件底部的相机7。所述光学组件包括并排设置的第一透镜1和第二透镜，所述第一透镜1为均厚的弧形透镜，具有凸面和凹面，凹面靠近第二透镜，凹面上贴有第一半透半反膜2。所述第二透镜为波导透镜，所述波导透镜包括波导棱镜4和波导补偿镜5，波导棱镜4位于上方，靠近显示屏，波导补偿镜5位于下方，靠近相机。波导棱镜4和波导补偿镜5沿自右上到左下倾斜的斜面贴合组成均厚的光学透镜，在波导棱镜和波导补偿镜贴合位置贴有第二半透半反膜9。所述相机7为红外摄像机，内部设有红外窄带带通滤波片，仅允许红外光通过。相机7上(或附近)设有红外发射器6，所述红外发射器采用红外LED，用于发射红外光线。

实施例二

一种眼动追踪光学装置，如图2所示，在实施例一的基础上，在波导棱镜和波导补偿镜分界处增加红外反射膜10，用于减少红外光线的损失，提高红外光线反射率，提升相机拍摄的眼部图像的清晰度。

实施例三

一种眼动追踪光学装置，如图3所示，在实施例二的基础上，在第一透镜前侧和后侧各设置一层红外截止玻片11，用于过滤掉外部环境光中的红外光，防止相机过曝，影响拍摄画质。

实施例四

一种眼动追踪光学装置，如图4所示，在实施例三的基础上，在波导透镜顶部和底部各增加一个红外发射器6，直接向眼睛上投射红外光线，能在眼睛上形成多个红外图像点，实现多点定位效果。

上述装置的光线传输路径如下：

1、显示屏图像光线到人眼的过程为：显示屏发出的图像光线首先耦入波导棱镜，在波导棱镜内进行一次或多次全反射后，到达波导棱镜和波导补偿镜分界处的第二半透半反膜，经其反射后，穿出波导棱镜，射到第一透镜的凹面上，反射放大后，再次进入波导棱镜，穿过波导棱镜和波导补偿镜后进入人眼。

2、相机附近的红外发射器的红外光线到人眼的过程：红外发射器从波导补偿镜下方耦入，经过一次或多次全反射后，通过第二半透半反膜(和红外反射膜)反射出波导补偿镜，进入人眼。

3、人眼图像光线进入相机的过程：根据光路可逆原理，人眼图像光线按照红外发射器的红外光线的传输路径返回到相机处，即人眼图像光线进入波导补偿镜，经过第二半透半反膜(和红外反射膜)反射后，再经过一次或多次全反射后在下方耦出到相机中，从而相机获取到人眼图像。

4、外部环境光线进入人眼的过程：外部环境光线穿过第一透镜和波导透镜进入人眼。

经过上述光学组件的反射和透射，显示屏和红外发射器的光线最后都是垂直射入人眼的，根据光路可逆，人眼看到的相机和显示屏都在人眼的正前方，显示屏的光线从正前方进入眼睛，相机也从眼睛的正前方获取眼部的图像和眼部的红外反射光线，进而实现了相机和图像的同轴跟踪。

实施例五

一种头戴显示设备，设有实施例三或四的眼动追踪光学装置。该头戴显示设备对应左眼和右眼设置两个相机，分别拍摄左眼和右眼的图像，确定左眼、右眼的瞳距和瞳高，用于根据用户的瞳距和瞳高调整设备的佩戴位置。

一种应用上述眼动追踪光学装置进行眼动追踪的方法，还包括图像识别模块和分析处理模块，该方法包括以下步骤：

S1、相机获取眼部图像信息，传给图像识别模块。

S2、图像识别模块识别瞳孔和红外图像点位置。

S3、相机间隔设定时间t1，再次获取眼部图像信息，图像识别模块再次识别瞳孔和红外图像点位置。

对应眼动追踪光学装置中红外发射器的数量设置，拍摄的眼睛中的红外图像点可以是一个，也可以是多个。若红外图像点是一个，直接确定瞳孔与红外图像点的相对位置即可。红外图像点有多个，确定瞳孔和这些红外图像点的相对位置，或以红外图像点构建坐标系，确定瞳孔在坐标系中的位置。

S4、分析处理模块根据两次识别的瞳孔和红外图像点的位置，计算眼部位置移动的方向和距离。一般是红外图像点不动，根据瞳孔相对于红外图像点位置的变化计算。

S5、根据步骤S4计算的眼部位置变化，系统执行相对应的映射操作。所述映射操作设为与眼睛注视点相对应的光标随眼睛的移动相应移动。

系统同时还可以针对用户长时间注视某个位置，执行一定操作，例如局部放大等。可以通过设置时间阈值t2(t2>t1)，当系统检测到超过时间阈值t2，瞳孔位置未变化或变化范围小于设定值，系统即执行相应的操作。

系统还可以实现排除眨眼等干扰，通过设定一个图像范围，当相机获取的眼部图像信息超出设定的图像范围时，本次获取眼部变化不进行运算，系统不做出对应的反应。

Claims (16)

1.一种眼动追踪光学装置，包括光学组件、显示屏、相机和红外发射器，其特征在于：所述光学组件包括并排设置的第一透镜和第二透镜，所述第一透镜靠近第二透镜一侧设有一凹面，凹面上设有第一部分反射器；所述第二透镜为波导透镜，波导透镜中间设置有第二部分反射器，显示屏位于波导透镜上方，相机位于波导透镜下方，用于拍摄眼部的图像；第一部分反射器用于将经波导透镜传输的显示屏图像光线反射放大后射入人眼以及供外部光线穿过进入人眼，第二部分反射器用于将波导透镜中传输的红外发射器光线反射后射入人眼，实现相机接收的光线与图像光线同轴。

2.根据权利要求1所述的眼动追踪光学装置，其特征在于：所述波导透镜包括波导棱镜和波导补偿镜，所述波导棱镜和波导补偿镜沿斜面贴合组成均厚的光学透镜，所述第二部分反射器设置在所述斜面位置，用于实现红外发射器发出的光线经部分反射器反射后，射入人眼。

3.根据权利要求2所述的眼动追踪光学装置，其特征在于：所述波导棱镜和波导补偿镜之间还设有红外反射膜。

4.根据权利要求1所述的眼动追踪光学装置，其特征在于：所述第一透镜为一均厚的弧形透镜，包括凸面和凹面，并且凹面靠近第二透镜。

5.根据权利要求4所述的眼动追踪光学装置，其特征在于：所述第一透镜的前侧和/或后侧设有红外截止玻片。

6.根据权利要求1至5任一项所述的眼动追踪光学装置，其特征在于：所述第一部分反射器和第二部分反射器为半透半反膜或反射偏振膜。

7.根据权利要求1至5任一项所述的眼动追踪光学装置，其特征在于：所述红外发射器包括至少一个，红外发射器与相机位于同一位置，和/或红外发射器位于波导透镜后侧的顶部和/或底部。

8.根据权利要求1至5任一项所述的眼动追踪光学装置，其特征在于：所述相机为红外摄像机。

9.一种头戴显示设备，其特征在于：具有权利要求1-8任一项所述的眼动追踪光学装置。

10.根据权利要求9所述的头戴显示设备，其特征在于：所述眼动追踪光学装置包括两个相机，分别对应左眼和右眼设置，用于拍摄左眼、右眼瞳孔，确定左眼、右眼的瞳距和瞳高。

11.一种应用权利要求1-8所述装置进行眼动追踪的方法，包括图像识别模块和分析处理模块，其特征在于包括以下步骤：

S1、相机获取眼部图像信息，传给图像识别模块；

S2、图像识别模块识别瞳孔和红外图像点位置；

S3、相机间隔设定时间t1，再次获取眼部图像信息，图像识别模块再次识别瞳孔和红外图像点位置；

S4、分析处理模块根据两次识别的瞳孔和红外图像点的位置，计算眼部位置移动的方向和距离；

S5、根据步骤S4计算的眼部位置变化，系统执行相对应的映射操作。

12.根据权利要求11所述的眼动追踪方法，其特征在于：步骤S2和S3中，红外图像点包括一个，确定瞳孔与红外图像点的相对位置。

13.根据权利要求11所述的眼动追踪方法，其特征在于：步骤S2和S3中，红外图像点包括多个，确定瞳孔和这些红外图像点的相对位置，或以红外图像点构建坐标系，确定瞳孔在坐标系中的位置。

14.根据权利要求11所述的眼动追踪方法，其特征在于：步骤S5中所述映射操作包括与眼睛注视点相对应的光标随眼睛的移动相应移动。

15.根据权利要求11所述的眼动追踪方法，其特征在于：若经过设定时间t2，瞳孔位置未变化或变化范围小于设定值，系统执行相应的操作，其中t2>t1。

16.根据权利要求11所述的眼动追踪方法，其特征在于：若步骤S1、S3中获取的眼部图像信息与设定的图像范围相比，超出设定范围时，本次获取眼部变化不进行运算，系统不做出对应的反应。

Images