CN112213859B

CN112213859B - 头戴显示设备成像方法及头戴显示设备

Info

Publication number: CN112213859B
Application number: CN202011086094.0A
Authority: CN
Inventors: 王朋杰; 鹿丽华; 刘小建; 姜滨; 迟小羽
Original assignee: Goertek Techology Co Ltd
Current assignee: Goertek Techology Co Ltd
Priority date: 2020-10-12
Filing date: 2020-10-12
Publication date: 2022-09-23
Anticipated expiration: 2040-10-12
Also published as: US20230375838A1; CN112213859A; US11892641B2; WO2022078169A1

Abstract

本发明公开了一种头戴显示设备成像方法及头戴显示设备，包括：检测头戴显示设备通过其光学系统出射的光束波前；获取人眼的视轴位置；计算人眼的视轴与光学系统的光轴之间的偏差；根据所述偏差调整入射到人眼的波前，使入射到人眼的波前与视轴之间的对应关系同光学系统出射的光束波前与光轴之间的对应关系一致。本发明的头戴显示设备通过比对人眼的视轴与光学系统的光轴之间的偏差来进行像差补偿，解决了因光轴与视轴不重合所导致的非对称像差变得更加明显的问题，继而改善了因非对称像差造成的图像不清晰缺陷，最终达到了一种与视轴和光轴重合情况下一致的成像效果，实现了成像质量以及用户体验的明显提升。

Description

头戴显示设备成像方法及头戴显示设备

技术领域

本发明属于头戴显示设备技术领域，具体地说，是涉及一种用于头戴显示设备的成像方法。

背景技术

头戴显示设备是一种通过光学系统（主要是精密光学透镜）放大超微显示屏上的图像，并将影像投射于视网膜上,进而呈现于观看者眼中大屏幕图像的视频播放设备，可以实现虚拟现实（VR）、增强现实（AR）、混合现实（MR）等不同显示效果。

头戴显示设备的光学技术对于用户体验的提升具有非常重要的作用。但是，目前的头戴显示设备在光学系统设计过程中，往往不考虑人眼视轴S与光学系统的光轴G之间的差异，且在头戴显示设备实际使用过程中，人眼的注视点会发生一定程度的变化，导致人眼视轴S与光轴G的差异更为明显，如图1所示。这种差异会使得原本并非理想成像的光学系统出现更加明显的非对称像差，如彗差等，继而影响了成像的清晰度，降低了使用体验。

在过去的眼底显微成像技术中，像差测量过程非常复杂，从点光源到面光源，从第一光束到第二光束，需要利用七块透镜经过各种探测才能得到像差，导致检测系统十分复杂并且不利于产品结构的小型化。而现阶段，波前像差检测只需要使用一个夏克哈曼特传感器就能做到，并且系统结构相对简单，有利于产品的小型化设计。在校正方法方面，现在的技术都是采用位置标定辅助光路去标定人眼瞳孔，然后利用校正器件调整光束方向，使得瞳孔与光束一致。这里其实存在一个问题：所谓瞳孔与光束一致，是指瞳孔的光轴与光束的光轴一致，而瞳孔的光轴与人眼的视轴是不重合的，所以看到的影像依然存在较大的波前像差，继而影响了成像质量。

本背景技术所公开的上述信息仅仅用于增加对本申请背景技术的理解，因此，其可能包括不构成本领域普通技术人员已知的现有技术。

发明内容

本发明的目的在于提供一种头戴显示设备成像方法，通过解决因人眼的视轴与光学系统的光轴不重合所导致的非对称像差变得更加明显的问题，以改善成像质量，提升用户体验。

为实现上述发明目的，本发明采用以下技术方案予以实现：

在一个方面，本发明提出了一种头戴显示设备成像方法，包括：检测头戴显示设备通过其光学系统出射的光束波前；获取人眼的视轴位置；计算人眼的视轴与光学系统的光轴之间的偏差；根据所述偏差调整入射到人眼的波前，使入射到人眼的波前与视轴之间的对应关系同光学系统出射的光束波前与光轴之间的对应关系一致。

在本申请的一些实施例中，所述获取人眼的视轴位置的过程包括：利用眼球追踪技术获取人眼在头戴显示设备的显示屏上的注视点；获取人眼的瞳孔位置；将注视点与瞳孔中心的连线作为人眼的视轴位置。

在本申请的一些实施例中，所述计算人眼的视轴与光学系统的光轴之间的偏差的过程包括：以光学系统的光轴与显示屏的交点作为原点A（0,0）进行十字标定，建立直角坐标系；获取人眼在显示屏上的注视点B的坐标（x，y）;计算A、B两点的距离ρ以及A、B两点的连线与Y轴的夹角θ。

在本申请的一些实施例中，所述根据所述偏差调整入射到人眼的波前的过程包括：根据所述ρ和θ，利用泽尼克多项式计算人眼在注视所述注视点B时的波前数据W2；根据波前数据W2以及光学系统出射的光束波前数据W1计算出波前像差的相对变化量△W；根据相对变化量△W调整入射到人眼的波前，实现波前校正。

在本申请的一些实施例中，所述调整入射到人眼的波前的过程包括：在所述光学系统朝向人眼的一侧安装波前校正器；利用波前校正器根据所述相对变化量△W调整入射到人眼的波前，使入射到人眼的波前与视轴之间的对应关系同光学系统出射的光束波前与光轴之间的对应关系一致。

在另一个方面，本发明还提出了一种头戴显示设备，包括显示屏、光学系统、波前探测器、摄像头、波前校正器和处理器；其中，所述波前探测器用于检测所述光学系统出射的光束波前；所述摄像头采集佩戴者的眼球影像；所述波前校正器安装在所述光学系统朝向人眼的一侧，用于调整入射到人眼的波前；所述处理器接收所述波前探测器检测输出的波前数据，并根据所述摄像头采集到的眼球影像确定出人眼的视轴，计算出人眼的视轴与光学系统的光轴之间的偏差，并根据所述偏差控制所述波前校正器调整入射到人眼的波前，使入射到人眼的波前与视轴之间的对应关系同光学系统出射的光束波前与光学系统的光轴之间的对应关系一致。

在本申请的一些实施例中，所述处理器根据所述摄像头采集到的眼球影像，优选采用眼球追踪技术确定出人眼在显示屏上的注视点以及人眼的瞳孔位置，然后以注视点与瞳孔中心的连线作为人眼的视轴位置。

在本申请的一些实施例中，所述处理器以光学系统的光轴与显示屏的交点作为原点A（0,0）进行十字标定，建立直角坐标系，并获取所述注视点B的坐标（x，y），通过计算A、B两点的距离ρ以及A、B两点的连线与Y轴的夹角θ，确定出所述人眼的视轴与光学系统的光轴之间的偏差。

在本申请的一些实施例中，所述处理器根据计算出的ρ和θ，优选利用泽尼克多项式计算出人眼在注视所述注视点B时的波前数据W2，并根据所述波前数据W2以及所述波前探测器检测输出的波前数据W1计算出波前像差的相对变化量△W，根据所述相对变化量△W控制所述波前校正器对入射到人眼的波前进行校正。

在本申请的一些实施例中，在所述波前校正器中设置有透射式液晶单元、驱动电路和液晶空间光调制器，所述处理器根据所述相对变化量△W生成控制信号发送至所述液晶空间光调制器，生成调制信号调整通过所述驱动电路施加到透射式液晶单元上的电压，以校正通过透射式液晶单元出射的光束波前，使其与视轴之间的对应关系同光学系统出射的光束波前与光学系统的光轴之间的对应关系一致。

与现有技术相比，本发明的优点和积极效果是：本发明的头戴显示设备通过比对人眼的视轴与光学系统的光轴之间的偏差来确定像差补偿量，根据该像差补偿量来调整入射到人眼的波前，使其与人眼视轴之间的对应关系刚好同光学系统出射的光束波前与其光轴之间的对应关系完全一致，由此便可解决因光轴与视轴不重合所导致的非对称像差变得更加明显的问题，继而改善了因非对称像差所造成的图像不清晰缺陷，最终达到了一种与视轴和光轴重合情况下一致的成像效果，实现了成像质量以及用户体验的明显提升。

结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是人眼的视轴与光学系统的光轴不重合情况的示意图；

图2是本发明所提出的头戴显示设备的一种实施例的结构示意图；

图3是图2所示的头戴显示设备的工作原理示意图；

图4是本发明所提出的头戴显示设备成像方法的一种实施例的流程图；

图5是图4所示的头戴显示设备成像方法的一种实施例的详细流程图；

图6是注视点位置图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步详细地说明。

参见图2、图3，本实施例的头戴显示设备主要包括显示主体和连接显示主体的头戴组件。其中，显示主体用于将影像投影于设备佩戴者的眼中，包括壳体1以及安装于壳体1中的显示屏2、光学系统3、摄像头等光学或电子部件。头戴组件用于将显示主体佩戴在用户的头部且位于人眼的前方，可以设计成绑带式，也可以设计成镜架式。

目前的光学系统3都是由多个光学透镜构成的透镜模组设计而成的，显示屏2显示的图像经由光学系统3射出并投射进入佩戴者的眼中。由于在实际使用过程中，人眼的视轴S与光学系统3的光轴G往往处于相对变化的状态，当人眼的视轴S与光学系统3的光轴G不重合时，就会使得原本并非理想成像的光学系统出现更加明显的非对称像差，继而严重影响了头戴显示设备的成像清晰度。

为了提高头戴显示设备的成像质量，首先，在结构设计上，本实施例在头戴显示设备的显示主体上增设波前探测器4和波前校正器5，结合图2、图3所示。其中，波前探测器4可以安装在壳体1上，且位于朝向人眼的一侧，用于检测光学系统3出射的光束波前W。波前是指等相位面,也就是相位相同的点的集合生成的曲面。在光学系统3安装到位后，其光轴G的位置便已固定。通过波前探测器4检测出光学系统3出射的光束波前W后，即可确定出光学系统3出射的光束波前W与光学系统3的光轴G之间的对应关系。

波前校正器5可以安装在壳体1上，且位于光学系统3的后方，即，相对于光学系统3更接近人眼的一侧，用于调整入射到人眼的光束波前W’。调整入射到人眼的光束波前W’，可以改变其与人眼的视轴S之间的对应关系。当入射到人眼的光束波前W’与视轴S之间的对应关系，同所述光学系统3出射的光束波前W与光轴G之间的对应关系完全一致时，即可改善因光轴G与视轴S不重合所导致的非对称像差变得更加明显的问题，使在人眼的成像效果更接近于显示屏2的显示效果，继而达到提升头戴显示设备成像清晰度的目的。

在本实施例中，所述波前探测器4可以采用夏克哈曼特传感器或者其他现有的小型化波前传感器，以便于在头戴显示设备的壳体1上的布设。所述波前校正器5可以采用基于透射式液晶单元的波前校正器件，通过调整施加到液晶上的电压，以实现波前校正。当然，所述波前校正器5也可以采用其他现有的小型化、集成化的波前校正器件布设于头戴显示设备的壳体1上，对光学系统4出射的光束波前W进行补偿校正，形成光束波前W’，入射到佩戴者的眼中。

为了获得人眼的视轴S位置，本实施例首先借助头戴显示设备内置的摄像头（图中未示出）采集佩戴者的眼球影像，并传输至头戴显示设备内置电路板上的处理器进行图像处理；然后，利用现有的眼球追踪算法，计算出人眼在显示屏2上的注视点B的位置以及人眼的瞳孔位置，结合图6所示；最后，以注视点B与瞳孔中心的连线作为人眼的视轴S位置。这里人眼的视轴S不同于瞳孔的光轴，按照这种方式确定出的人眼视轴S位置，在配合波前校正器5对光学系统4出射的光束波前W进行补偿校正时，只要校正后的光束波前W’与视轴S的对应关系，与光学系统3出射的光束波前W与光轴G的对应关系一致，即可改善因光轴G与视轴S不重合所导致的愈加明显的非对称像差的问题，继而获得与视轴S和光轴G重合情况下一致的成像效果。

下面结合头戴显示设备的上述硬件设计，对光束波前的具体调整方法进行详细阐述。

如图4、图5所示，具体包括以下过程：

S401、检测头戴显示设备通过其光学系统3出射的光束波前W；

在本实施例中，利用波前探测器4检测光学系统3出射的光束波前W，生成波前数据W1发送至头戴显示设备内置的处理器。处理器根据接收到的波前数据W1以及预先已确定的光学系统3的光轴G位置，确定出光束波前W与光轴G的对应关系。

S402、获取人眼视轴S的位置；

在本实施例中，可以利用头戴显示设备内置的摄像头采集佩戴者的眼球影像，利用目前成熟的眼球追踪技术确定出人眼在头戴显示设备的显示屏2上的注视点B以及人眼的瞳孔位置，将注视点B与瞳孔中心的连线作为人眼视轴S的位置。

S403、计算人眼的视轴S与光学系统的光轴G之间的偏差；

结合图6所示，本实施例以光学系统3的光轴G与显示屏2的交点作为原点A（0,0），在显示屏2所在平面进行十字标定，建立起直角坐标系。利用眼球追踪技术确定出人眼在显示屏2上的注视点B的坐标（x，y）。根据A、B两点的坐标即可计算出A、B两点的距离ρ以及A、B两点的连线与Y轴的夹角θ，即：

ρ=(x²+y²)^1/2

θ=arctan(x/y)。

为了避免波前校正器5频繁动作，本实施例优选设定一个阈值a，并根据A、B两点的距离ρ或者结合ρ和θ两个参数共同确定出一个差异量δ，若所述差异量δ>a，则执行后续的波前校正过程；否则，保持当前波前W，并返回步骤S402继续跟踪人眼视轴G的位置变化。

S404、调整入射到人眼的波前W’，使入射到人眼的波前W’与人眼视轴S之间的对应关系同光学系统3出射的光束波前W与光轴G之间的对应关系一致；

在本实施例中，可以首先利用泽尼克多项式计算出人眼在注视所述注视点B时的波前数据W2，即：

W(ρ,θ)=Z₀+Z₁ρcosθ+Z₂ρsinθ+Z₃(2ρ²-1)+Z₄ρ²cos2θ+Z₅ρ²sin2θ

+Z₆(3ρ²-2)ρcosθ+Z₇(3ρ²-2)ρsinθ+Z₈(6ρ⁴-6ρ²+1)。

其中，W2= W(ρ,θ)；Z₀为平移量；Z₁为X轴倾斜量；Z₂为Y轴倾斜量；Z₃为离焦量；Z₄为像散0度和离焦量；Z₅为像散45度和离焦量；Z₆为彗差和X轴倾斜量；Z₇：彗差和Y轴倾斜量；Z₈：球差和离焦量。这些系数可以由波前探测器4直接获得。当人眼注视原点A时，W2=W1；当人眼注视显示屏2上的其他任意一点时，可以通过上述泽尼克多项式计算出人眼在注视该点时的波前数据W2。

根据计算出的波前数据W2以及光学系统3出射的光束波前数据W1计算出波前像差的相对变化量△W，根据所述相对变化量△W调整入射到人眼的波前W’，实现波前校正。具体过程为：

处理器根据计算出的相对变化量△W生成控制信号发送至波前校正器5。在所述波前校正器5中设置有透射式液晶单元、驱动电路和液晶空间光调制器，所述液晶空间光调制器接收处理器输出的控制信号，生成调制信号传输至驱动电路，调整通过所述驱动电路施加到透射式液晶单元上的电压，以校正通过透射式液晶单元出射的光束波前W’，使光束波前W’与人眼的视轴S之间的对应关系，与光学系统3出射的光束波前W与光轴G之间的对应关系一致。例如，若光学系统3出射的光束波前W与光学系统的光轴G垂直，则通过波前校正器5调整入射到人眼的光束波前W’，使其与人眼的视轴S垂直，如图3所示，由此便可改善成像质量，提高头戴显示设备的成像清晰度。

执行完本轮波前校正后，可以返回步骤S402继续追踪视轴S的位置变化，进入下一轮波前校正过程。

本实施例的头戴显示设备结合眼球追踪技术，获得眼球注视点，对比视轴与光轴的差异，通过波前校正，改善由于视轴与光轴不一致所引入的非对称像差，从而提高了成像清晰度，提升了用户体验。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims

1.一种头戴显示设备成像方法，其特征在于，包括：

检测头戴显示设备通过其光学系统出射的光束波前；

获取人眼的视轴位置；

计算人眼的视轴与光学系统的光轴之间的偏差，其包括：

--以光学系统的光轴与头戴显示设备的显示屏的交点作为原点A（0,0）进行十字标定，建立直角坐标系；

--获取人眼在显示屏上的注视点B的坐标（x，y）;

--计算出A、B两点的距离ρ以及A、B两点的连线与Y轴的夹角θ；

根据所述偏差调整入射到人眼的波前，其包括：

--根据所述ρ和θ，利用泽尼克多项式计算人眼在注视所述注视点B时的波前数据W2；

--根据所述波前数据W2以及光学系统出射的光束波前数据W1计算出波前像差的相对变化量△W；

--根据所述相对变化量△W调整入射到人眼的波前；

使入射到人眼的波前与视轴之间的对应关系同光学系统出射的光束波前与光轴之间的对应关系一致。

2.根据权利要求1所述的头戴显示设备成像方法，其特征在于，所述获取人眼的视轴位置的过程包括：

利用眼球追踪技术获取人眼在头戴显示设备的显示屏上的注视点；

获取人眼的瞳孔位置；

将注视点与瞳孔中心的连线作为人眼的视轴位置。

3.根据权利要求1或2所述的头戴显示设备成像方法，其特征在于，所述根据相对变化量△W调整入射到人眼的波前的过程包括：

在所述光学系统朝向人眼的一侧安装波前校正器；

利用波前校正器根据所述相对变化量△W调整入射到人眼的波前，使入射到人眼的波前与视轴之间的对应关系同光学系统出射的光束波前与光轴之间的对应关系一致。

4.一种头戴显示设备，包括显示屏和光学系统；其特征在于，还包括：

波前探测器，其用于检测所述光学系统出射的光束波前；

摄像头，其采集佩戴者的眼球影像；

波前校正器，其安装在所述光学系统朝向人眼的一侧，用于调整入射到人眼的波前；

处理器，其接收所述波前探测器检测输出的波前数据，并根据所述摄像头采集到的眼球影像确定出人眼的视轴；以光学系统的光轴与显示屏的交点作为原点A（0,0）进行十字标定，建立直角坐标系，并获取人眼在显示屏上的注视点B的坐标（x，y），通过计算A、B两点的距离ρ以及A、B两点的连线与Y轴的夹角θ，确定出人眼的视轴与光学系统的光轴之间的偏差；根据计算出的ρ和θ，利用泽尼克多项式计算出人眼在注视所述注视点B时的波前数据W2，并根据所述波前数据W2以及所述波前探测器检测输出的波前数据W1计算出波前像差的相对变化量△W，根据所述相对变化量△W控制所述波前校正器对入射到人眼的波前进行校正，使入射到人眼的波前与视轴之间的对应关系同光学系统出射的光束波前与光学系统的光轴之间的对应关系一致。

5.根据权利要求4所述的头戴显示设备，其特征在于，所述处理器根据所述摄像头采集到的眼球影像，利用眼球追踪技术确定出人眼在显示屏上的注视点以及人眼的瞳孔位置，并以注视点与瞳孔中心的连线作为人眼的视轴位置。

6.根据权利要求4或5所述的头戴显示设备，其特征在于，在所述波前校正器中设置有透射式液晶单元、驱动电路和液晶空间光调制器，所述处理器根据所述相对变化量△W生成控制信号发送至所述液晶空间光调制器，生成调制信号调整通过所述驱动电路施加到透射式液晶单元上的电压，以校正通过透射式液晶单元出射的光束波前，使其与视轴之间的对应关系同光学系统出射的光束波前与光学系统的光轴之间的对应关系一致。