CN106526867B - 影像画面的显示控制方法、装置及头戴式显示设备 - Google Patents

Abstract

本发明公开了一种影像画面的显示控制方法、装置及头戴式显示设备。其中，该方法包括：采用预设光场显示方式对初始影像画面进行三维重建，得到三维重建光场；根据波前图信息将三维重建光场切分为多个焦平面，其中，波前图信息是通过波前像差仪对观看影像画面的用户的眼睛进行扫描后获得的，多个焦平面分别对应眼睛不同部位的屈光度且聚焦于眼睛的视网膜上；控制多个焦平面在用户的视网膜上聚焦，将初始影像画面显示为待显示影像画面。本发明解决了相关技术中远/近视用户在使用HMD设备观看影像画面时无法获得良好的视觉体验的技术问题。

Description

影像画面的显示控制方法、装置及头戴式显示设备

技术领域

本发明涉及图像处理领域，具体而言，涉及一种影像画面的显示控制方法、装置及头戴式显示设备。

背景技术

随着虚拟现实(VR)技术的发展，以Oculus Rift、Cardboard、Gear VR等头戴式可视设备(HMD)，例如：VR眼镜，为载体的VR应用正在不断兴起，其可以带给用户前所未有的拟真度，从而使得用户能够完全沉浸在VR应用世界中，具有很强的代入感。然而，以VR游戏为例，面对用户中超过1/3的远/近视群体，由于远/近视易造成用户难以看清游戏画面，因而，极大地降低了用户的游戏体验。不仅仅是针对VR游戏，当用户使用HMD设备进行其他活动，例如：观看电视节目、电影时，也都会存在因远/近视的问题而造成难以看清显示画面的困扰。因此，如何解决VR头戴式显示设备与远/近视眼镜之间的矛盾，成为业界各个生产厂商亟待解决的问题。

据统计，全球有20亿人需要在日常生活中佩戴眼镜，其中，在亚洲，有80％以上的青少年为近视群体。可见，远/近视问题存在全球的普遍性。

针对庞大的远/近视群体，目前各大HMD设备厂商主要采用以下三种解决方案：

方案一、指导用户在自行佩戴眼镜后再佩戴HMD设备，其中，HMD设备厂商会在设备上加入人工学的优化(例如：便于眼镜腿走向的凹口)；

然而，该方案的明显缺陷在于：佩戴舒适性较差，易存在压迫感，而且眼镜位置变动会影响聚焦，致使用户在佩戴HMD设备后无法体验剧烈运动的VR内容。

方案二、由HMD设备提供机械式的焦距调整功能，从而使得近视用户能够直接佩戴HMD设备，而无须戴上眼镜；

然而，该方案的明显缺陷在于：难以满足高度近视、左右眼视力差距大、散光等用户群体需求。

方案三、不提供额外支持，用户只能通过佩戴隐形眼镜或通过手术矫正才能体验到最佳的VR画面；

然而，该方案的明显缺陷在于：显然会对用户健康造成隐患。

由此可见，当前的HMD设备针对远/近视群体的解决方案无法完全覆盖所有用户，而且会对用户造成不同程度的不适甚至是健康隐患。因此，如果HMD设备本身能够实现对远/近视用户的视觉矫正，那将极大地提高该部分用户群体的视觉体验。

与上述三种解决方案不同，相关技术中还提供了两种通过HMD设备改善用户视觉体验的改进技术方案。

为此，相关技术中基于上述技术缺陷还提供了以下两种改进方案：

方案一、目前普遍使用的，通过非侵入式的手段达到矫正远/近视群体视觉像差的技术方案，其利用自调节液晶来实现影像画面的自适应。具体的实现步骤如下：

第一步、使用晶状体焦距检测器来检测眼球晶状体的晶状体焦距变化；

第二步、显示屏输出的影像通过可调节液晶向用户进行显示；

需要说明的是，普通的光学元件(例如：凸透镜)的光学参数(例如：凸透镜的焦距)是固定的，而上述可调节液晶可以根据输入参数的变更来改变对应的光学参数，从而实现自适配调整。

第三步、将可调节液晶与晶状体焦距检测器相连接，以获取用户实时的晶状体焦距数据；

第四步、根据获取到的晶状体焦距数据，计算出液晶需要调节的数值；

第五步、最终确保显示屏输出的影像在用户视网膜上聚焦。

根据上述操作步骤可知，自调节液晶的技术方案是通过实时获取用户焦距的方式，利用可调节的液晶为用户提供定制化的影像画面，其核心技术构思在于：为不同屈光度(度量透镜，例如：眼睛，屈光能力的单位)的用户提供不同的影像画面，并确保这些画面能够在用户视网膜上聚焦。

然而，该技术方案的缺陷在于：尽管该技术方案的设备结构简单、成本低廉易于小型化生产，但是应用于HMD设备上仍然会存在如下几点问题：

(1)液晶的调节无法完全模拟人眼真实的变焦聚焦过程，外界屈光度的骤变会导致用户感到眩晕和不适；

(2)液晶的自调节存在阈值限制，即只能在一定焦距范围内进行调整，而无法完全覆盖所有远/近视用户群体，并且覆盖的范围越大，对液晶的规格要求越高，这样只会极大地提高产品成本

综上所述，自调节液晶的方式尽管能够通过自动调焦在一定程度上解决远/近视问题，但是由于受其原理限制，无法确保玩家的视觉体验；并且其性能受限于可调节液晶的变焦范围，难以覆盖所有远/近视用户群体，因此，无法在HMD设备上投入使用。

方案二、光场显示技术，又称光场三维重建技术，在VR方面具有良好的应用前景。对于每个物体而言，无论是其能够自行发光，还是漫反射其他光源照射在该物体上的光，都会在自身周围形成独特的光强分布。而根据这种独特的光强分布，人眼便可以很好地客观感知到物体的三维状态；这种独特的光强分布便称为该物体的光场(即空间中任意点发出的任意方向的光的集合)。

需要说明的是，对于真实世界中的物体而言，人眼是可以从各个角度对其进行观察的，其原因在于：该物体可以向空间任意方向发射光线，因此，人眼才能够从任何角度看见该物体。由此可见，光场即为人眼能够感受到物体的原因。

例如：在观察特定三维物体的过程中，该三维物体的各个体积元素向观察者发射的光线即为该三维物体的光场，观察者通过这个光场能够感知到三维物体的存在。

如果此时在该三维物体与观察者之间插入一块柱面屏，那么，该三维物体发出的光场的所有光线都将与这个柱面屏形成交点。假设上述柱面屏不会改变光线的传播方向，并且也不会吸收任何光线，那么观察者仍然能够看到柱面屏后方的三维物体。

进一步地，如果由该柱面屏发出与上述三维物体相同分布的光线，那么即使在柱面屏后方不存在该三维物体，观察者也同样能够真实地看到该三维物体。

以上便是光场显示的原理。目前常用的光场显示技术可以包括：扫描型全景光场重构技术、拼接光场型重构技术以及集成光场重构技术。尽管使用的技术手段存在差异，但是所要实现的根本目的均在于：在尽可能地减少空间三维信息中的冗余信息的基础上，通过显示巨大的信息量，还原重构人眼所见的真实空间的三维显示。

然而，该技术方案的缺陷在于：尽管光场显示技术能够利用物体真实的光场分布，通过发光二极管(LED)等显示设备以及现有的算法技术对其进行还原，从而实现真正的三维空间显示；但是其实现的是“能够裸眼并且自由角度地看到一个实际并不存在却又准确还原的三维物体或者三维场景”，这其实并没有解决远/近视群体在使用HMD设备时的模糊视觉体验问题。例如：尽管可以使用光场显示技术还原出一个十分精细的浮雕作品，但是如果让用户在距离足够远(例如：100米)的地方，仍然无法看清浮雕上的具体内容。因此，利用光场显示技术虽然显示的数据极为丰富，但是，也仅仅还原出一个三维物体，其仍然无法解决远/近视的聚焦问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种影像画面的显示控制方法、装置及头戴式显示设备，以至少解决相关技术中远/近视用户在使用HMD设备观看影像画面时无法获得良好的视觉体验的技术问题。

根据本发明实施例的一个方面，提供了一种影像画面的显示控制方法，包括：

采用预设光场显示方式对初始影像画面进行三维重建，得到三维重建光场；根据波前图信息将三维重建光场切分为多个焦平面，其中，波前图信息是通过波前像差仪对观看影像画面的用户的眼睛进行扫描后获得的，多个焦平面分别对应眼睛不同部位的屈光度且聚焦于眼睛的视网膜上；控制多个焦平面在用户的视网膜上聚焦，将初始影像画面显示为待显示影像画面。

可选地，根据波前图信息将三维重建光场切分为多个焦平面包括：根据待显示影像画面中的每个像素点的位置信息从波形图信息中获取与每个像素点的位置信息对应的角膜点的位置信息以及与角膜点的位置信息对应的焦距；采用每个像素点的位置信息和获取到的焦距获取三维重建光场的入射点的位置信息；通过入射点的位置信息和角膜点的位置信息控制从入射点发出的入射光线的入射角度；采用获取到的焦距和所述入射角度确定与所述入射点的位置信息对应的虚拟点的位置信息，并根据所述虚拟点的位置信息生成所述多个焦平面，其中，每个焦平面均为垂直于所述眼睛的中轴线的虚拟平面，所述虚拟点为所述待显示影像画面中的每个像素点在每个焦平面上的虚拟成像。

可选地，控制从入射点发出的入射光线的入射角度包括：根据入射点的位置信息将入射光线投射在第一显示屏上；根据波前图信息确定第一显示屏与第二显示屏相互间的位置关系以及第一显示屏与第二显示屏的间距；根据位置关系和间距控制第一显示屏传递的光线的传播方向，以控制入射角度。

可选地，控制多个焦平面在用户的视网膜上聚焦，将初始影像画面修正为待显示影像画面包括：从多个焦平面上分别获取与待显示影像画面中每个像素点的位置信息对应的虚拟点的位置信息；对获取到的虚拟点的位置信息执行汇聚操作，得到待显示影像画面。

可选地，多个焦平面中每个焦平面相对于用户的眼睛之间的距离各不相同，且多个焦平面中每个焦平面中呈现的影像均与初始影像画面相同。

可选地，角膜点的位置信息、入射点的位置信息以及虚拟点的位置信息均是在以用户眼球的轴向中心线和垂直于轴向中心线的平面上的坐标系中的坐标信息。

根据本发明实施例的另一方面，还提供了一种影像画面的显示控制装置，包括：

重建模块，用于采用预设光场显示方式对初始影像画面进行三维重建，得到三维重建光场；切分模块，用于根据波前图信息将三维重建光场切分为多个焦平面，其中，波前图信息是通过波前像差仪对观看影像画面的用户的眼睛进行扫描后获得的，多个焦平面分别对应眼睛不同部位的屈光度且聚焦于眼睛的视网膜上；控制模块，用于控制多个焦平面在用户的视网膜上聚焦，将初始影像画面显示为待显示影像画面。

可选地，切分模块包括：第一获取单元，用于根据待显示影像画面中的每个像素点的位置信息从波形图信息中获取与每个像素点的位置信息对应的角膜点的位置信息以及与角膜点的位置信息对应的焦距；第二获取单元，用于采用每个像素点的位置信息和获取到的焦距获取三维重建光场的入射点的位置信息；第一处理单元，用于通过入射点的位置信息和角膜点的位置信息控制从入射点发出的入射光线的入射角度；第二处理单元，用于采用获取到的焦距和入射角度确定与入射点的位置信息对应的虚拟点的位置信息，并根据虚拟点的位置信息生成多个焦平面，其中，每个焦平面均为垂直于眼睛的中轴线的虚拟平面，虚拟点为待显示影像画面中的每个像素点在每个焦平面上的虚拟成像。

可选地，第一处理单元包括：第一处理子单元，用于根据入射点的位置信息将入射光线投射在第一显示屏上；第二处理子单元，用于根据波前图信息确定第一显示屏与第二显示屏相互间的位置关系以及第一显示屏与第二显示屏的间距；第三处理子单元，用于根据位置关系和间距控制第一显示屏传递的光线的传播方向，以控制入射角度。

可选地，控制模块包括：第三获取单元，用于从多个焦平面上分别获取与待显示影像画面中每个像素点的位置信息对应的虚拟点的位置信息；汇聚单元，用于对获取到的虚拟点的位置信息执行汇聚操作，得到待显示影像画面。

可选地，多个焦平面中每个焦平面相对于用户的眼睛之间的距离各不相同，且多个焦平面中每个焦平面中呈现的影像均与初始影像画面相同。

可选地，角膜点的位置信息、入射点的位置信息以及虚拟点的位置信息均是在以用户眼球的轴向中心线和垂直于轴向中心线的平面上的坐标系中的坐标信息。

根据本发明实施例的又一方面，还提供了一种头戴式显示设备，包括：上述影像画面的显示控制装置。

在本发明实施例中，采用预设光场显示方式对初始影像画面进行三维重建，得到三维重建光场；根据波前图信息将三维重建光场切分为多个焦平面的方式，通过控制多个焦平面在用户的视网膜上聚焦，将初始影像画面修正为待显示影像画面，达到了利用HMD设备本身实现远/近视用户群体的视觉矫正显示，从而该部分用户群体可以在无需借助眼镜等外部光学元件的情况下便能够清晰地看到VR画面，即在裸眼条件下获得良好的视觉体验的目的，从而实现了为用户提供定制的影像画面，使用户能够在裸眼条件下能够获得良好VR体验的技术效果，进而解决了相关技术中远/近视用户在使用HMD设备观看影像画面时无法获得良好的视觉体验的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的影像画面的显示控制方法的流程图；

图2是根据本发明优选实施例的参照波前图信息将三维重建光场切分为多个焦平面的过程示意图；

图3是根据本发明实施例的影像画面的显示控制装置的结构框图；

图4是根据本发明优选实施例的HMD设备内部结构示意图；

图5是根据本发明优选实施例的初始影像画面的显示控制过程示意图；

图6是根据本发明优选实施例的光场显示的普适光路图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种影像画面的显示控制方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的影像画面的显示控制方法的流程图，如图1所示，该方法包括如下步骤：

步骤S12，采用预设光场显示方式对初始影像画面进行三维重建，得到三维重建光场；

步骤S14，根据波前图信息将三维重建光场切分为多个焦平面，其中，波前图信息是通过波前像差仪对观看影像画面的用户的眼睛进行扫描后获得的，多个焦平面分别对应眼睛不同部位的屈光度且聚焦于眼睛的视网膜上；

步骤S16，控制多个焦平面在用户的视网膜上聚焦，将初始影像画面显示为待显示影像画面。

目前远/近视用户使用HMD设备进行VR相关体验时，因为眼球无法对VR画面进行准确地聚焦，由此导致视觉体验较差，而目前HMD设备厂商广泛使用的解决方法又无法完全覆盖该部分用户群体，并且还会对用户造成不同程度的不适甚至是健康隐患。通过上述步骤，采用预设光场显示方式对初始影像画面进行三维重建，得到三维重建光场；根据波前图信息将三维重建光场切分为多个焦平面的方式，通过控制多个焦平面在用户的视网膜上聚焦，将初始影像画面修正为待显示影像画面，达到了利用HMD设备本身实现远/近视用户群体的视觉矫正显示，从而该部分用户群体可以在无需借助眼镜等外部光学元件的情况下便能够清晰地看到VR画面，即在裸眼条件下获得良好的视觉体验的目的，从而实现了为用户提供定制的影像画面，使用户能够在裸眼条件下能够获得良好VR体验的技术效果，进而解决了相关技术中远/近视用户在使用HMD设备观看影像画面时无法获得良好的视觉体验的技术问题。

在优选实施过程中，上述多个焦平面中每个焦平面相对于用户的眼睛之间的距离各不相同，且多个焦平面中每个焦平面中呈现的影像均与初始影像画面相同。

可选地，在步骤S14中，参照波前图信息将三维重建光场切分为多个焦平面可以包括以下执行步骤：

步骤S141，根据待显示影像画面中的每个像素点的位置信息从波形图信息中获取与每个像素点的位置信息对应的角膜点的位置信息以及与角膜点的位置信息对应的焦距；

步骤S142，采用每个像素点的位置信息和获取到的焦距获取三维重建光场的入射点的位置信息；

步骤S143，通过入射点的位置信息和角膜点的位置信息控制从入射点发出的入射光线的入射角度；

步骤S144，采用获取到的焦距和入射角度确定与入射点的位置信息对应的虚拟点的位置信息，并根据虚拟点的位置信息生成多个焦平面，其中，每个焦平面均为垂直于眼睛的中轴线的虚拟平面，虚拟点为待显示影像画面中的每个像素点在每个焦平面上的虚拟成像。

在优选实施过程中，上述角膜点的位置信息、入射点的位置信息以及虚拟点的位置信息均是在以用户眼球的轴向中心线和垂直于轴向中心线的平面上的坐标系中的坐标信息。

在优选实施例中，可以通过在HMD设备内部新增光场显示技术以及双堆叠的液晶显示器(LCD)来实现视觉的矫正显示。通过利用光场显示器将需要显示的影像画面重建为各向异性的三维光场，再根据波前像差仪采集的用户的波前图建立双堆叠的LCD显示屏的显示参数。最终达到的效果是使得影像画面的光场被划分成多个二维的影像实例(即上述焦平面)，每个影像实例对于给定的眼睛子孔径(鉴于人眼不是一个光滑的圆球，导致人眼每处的屈光率均不相同，而眼睛子孔径可以理解为人眼上屈光度不同的一个个同心圆)而言是对焦的，确保这些影像实例在特定屈光度下被看见。这些影像实例可以被虚拟地放置在不同深度上，最终在用户眼睛的视网膜上聚焦为单个图像，从而使得用户可以根据自身的角膜和晶状体的调节情况聚焦到合适的图像上。

图2是根据本发明优选实施例的参照波前图信息将三维重建光场切分为多个焦平面的过程示意图，如图2所示，利用波前像差仪对人眼扫描后得到的即为波前图(wavefrontmap)。考虑到上述影像画面是远/近视群体用户无法直接看清的，因此，需要通过波前图的相关数据为用户提供定制化地修正。波前图本身便是通过波前像差技术得到的人眼所有视路范围(所有能够折射光线进入视网膜的区域)内各个点的屈光度以及像差情况(屏幕显示的画面与人眼中呈现的画面之间的区别)。而只有获知用户眼中每个点的屈光度情况，才可以对上述影像画面进行调整，以便用户看清上述影像画面。在远/近视用户群体使用HMD设备的过程中，首先利用波前像差仪获取得到用户眼睛的波前图，将波前图的信息数据传至控制芯片后，控制中心通过计算得到切分光场的设置参数，并将这些设置参数传递至双堆叠LCD显示屏；随后将需要呈现的影像画面作为输入传至光场显示器，光场显示器重建后的三维光场通过上述已经配置完成参数的双堆叠LCD显示屏得到的一系列对应于不同的屈光度的焦平面(过焦点且垂直于系统主光轴的平面)。

可选地，在步骤S143中，控制从入射点发出的入射光线的入射角度可以包括以下处理步骤：

步骤S1431，根据入射点的位置信息将入射光线投射在第一显示屏上；

步骤S1432，根据波前图信息确定第一显示屏与第二显示屏相互间的位置关系以及第一显示屏与第二显示屏的间距；

步骤S1433，根据位置关系和间距控制第一显示屏传递的光线的传播方向，以控制入射角度。

对于视网膜上具体成像的特定像素点，针对不同的眼球屈光度，只需要改变三维重建光场的每个入射点相对于用户的眼球轴向中心线之间的距离便可确保得到的特定像素点的位置相同。而改变三维重建光场的每个入射点相对于用户的眼球轴向中心线之间的距离的过程可以由双堆叠屏来完成的，其中，上述第一显示屏用于对入射点发射的光线直接进行显示，上述第二显示屏用于滤除光线，其上的每个像素点均可决定是否让光线透过以及上什么方向的光线透过，从而起到改变上述距离取值的作用。最终根据不同的角膜点位置信息，如果期望汇聚至相同位置的像素点，便需要多个不同的距离值，最终产生上述多个焦平面。

在具体实施过程中，在角膜点的位置信息与入射点的位置信息之后，可以参考波形图信息确定第一显示屏与第二显示屏之间的位置关系，即相互平行设置；以及确定第一显示屏与第二显示屏之间的间距，进而根据位置关系和间距确定从每个入射点发出的入射光线的传播方向。

可选地，在步骤S16中，控制多个焦平面在用户的视网膜上聚焦，将初始影像画面修正为待显示影像画面可以包括以下执行步骤：

步骤S161，从多个焦平面上分别获取与待显示影像画面中每个像素点的位置信息对应的虚拟点的位置信息；

步骤S162，对获取到的虚拟点的位置信息执行汇聚操作，得到待显示影像画面。

即待显示影像画面中的每个像素点均是由上述多个焦平面上对应的虚拟点汇聚而成的。

根据本发明实施例，还提供了一种影像画面的显示控制装置的实施例。图3是根据本发明实施例的影像画面的显示控制装置的结构框图，如图3所示，该装置可以包括：重建模块10，用于采用预设光场显示方式对初始影像画面进行三维重建，得到三维重建光场；切分模块20，用于根据波前图信息将三维重建光场切分为多个焦平面，其中，波前图信息是通过波前像差仪对观看影像画面的用户的眼睛进行扫描后获得的，多个焦平面分别对应眼睛不同部位的屈光度且聚焦于眼睛的视网膜上；控制模块30，用于控制多个焦平面在用户的视网膜上聚焦，将初始影像画面显示为待显示影像画面。

在优选实施过程中，上述多个焦平面中每个焦平面相对于用户的眼睛之间的距离各不相同，且多个焦平面中每个焦平面中呈现的影像均与初始影像画面相同。

可选地，切分模块20可以包括：第一获取单元(图中未示出)，用于根据待显示影像画面中的每个像素点的位置信息从波形图信息中获取与每个像素点的位置信息对应的角膜点的位置信息以及与角膜点的位置信息对应的焦距；第二获取单元(图中未示出)，用于采用每个像素点的位置信息和获取到的焦距获取三维重建光场的入射点的位置信息；第一处理单元，用于通过入射点的位置信息和角膜点的位置信息控制从入射点发出的入射光线的入射角度；第二处理单元，用于获取到的焦距和入射角度确定与入射点的位置信息对应的虚拟点的位置信息，并根据虚拟点的位置信息生成多个焦平面，其中，每个焦平面均为垂直于眼睛的中轴线的虚拟平面，虚拟点为待显示影像画面中的每个像素点在每个焦平面上的虚拟成像。

在优选实施过程中，上述角膜点的位置信息、入射点的位置信息以及虚拟点的位置信息均是在以用户眼球的轴向中心线和垂直于轴向中心线的平面上的坐标系中的坐标信息。

可选地，第一处理单元可以包括：第一处理子单元(图中未示出)，用于根据入射点的位置信息将入射光线投射在第一显示屏上；第二处理子单元(图中未示出)，用于根据波前图信息确定第一显示屏与第二显示屏相互间的位置关系以及第一显示屏与第二显示屏的间距；第三处理子单元，用于根据位置关系和间距控制第一显示屏传递的光线的传播方向，以控制入射角度。

可选地，控制模块30可以包括：第三获取单元(图中未示出)，用于从多个焦平面上分别获取与待显示影像画面中每个像素点的位置信息对应的虚拟点的位置信息；汇聚单元(图中未示出)，用于对获取到的虚拟点的位置信息执行汇聚操作，得到待显示影像画面。

下面将结合以下优选实施方式对上述优选实施过程作进一步详细地描述。

图4是根据本发明优选实施例的HMD设备内部结构示意图，如图4所示，该优选实施例中提供的HMD设备内部结构可以包括但不限于以下组成部分：

A1表示HMD设备外壳；

A2与A3分别表示波前像差仪的底座以及仪器本身；

A4表示光场显示器(相当于上述重建模块)；

A5表示双堆叠LCD显示屏中用于显示的LCD屏(相当于上述第一显示屏)；

A6表示双堆叠LCD显示屏中用于针孔滤波的LCD屏(相当于上述第二显示屏)；

A7表示设置在显示屏与用户双眼之间的光学元件(例如：镜片)，用于二次成像；

A8表示不透光材质的阻隔栏，避免左、右LCD显示屏的影像互相干扰。

另外，上述切分模块所实现的功能可以由该图中未示出的控制芯片控制双堆叠显示屏来完成。上述控制模块所实现的能够可以由控制芯片来完成。

该技术方案的基本原理：通过在HMD设备内植入光场显示器以及波前像差仪，将需要显示的影像画面先进行光场三维重建，再将得到的光场利用双堆叠LCD显示屏切分为多个焦平面，每个焦平面都是各向异性(与各向同性相反，其是指物体的全部或部分物理、化学等性质随方向的不同而有所变化的特性)，分别对应于不同的屈光度的，并最终在用户视网膜上聚焦，从而提高用户的裸眼视觉显示效果。

利用波前像差技术可以得到人眼所有视路范围(即所有能够折射光线进入视网膜的区域)内各个点的屈光度以及像差情况(即屏幕显示的画面和人眼中呈现的画面的区别)。波前像差仪即通过波前像差技术得到人眼不同区域调焦对像差的影响，屈光度的变化对像差的影响等数据。

图5是根据本发明优选实施例的初始影像画面的显示控制过程示意图，如图5所示，B1表示输入的影像信息，即最终需要呈现至用户眼中的影像画面；B2表示通过对输入的影像信息进行光场三维重建，得到待使用的三维重建光场；通过光场显示技术对待显示的影像画面进行三维重建，其输入的影像信息是平时电视或电脑上看到的二维画面，即为特定物体在特定角度所呈现的显示结果，而通过光场显示技术处理后得到的三维重建光场，则表现为现实世界存在的特定物体，由此可以从不同角度观察该物体，感受到该物体是一个三维影像；B3表示通过波前像差仪采集到的用户眼睛的波前图；B4与B5表示双堆叠LCD显示屏；B6表示一系列对应于不同的屈光度的焦平面；B7表示用户眼睛的角膜以及晶状体；B8表示用户眼睛的视网膜；

其中，B1变换得到B2的过程为光场显示器完成；变换过程与所选用的光场显示器的原理相关。以常用的集成光场重构技术为例，在得到B1的输入后，光场显示器可以分析得到不同视角下的影像画面，随后通过光场显示器上的阵列显示器(n行*n列的显示器)，阵列显示器中的每一个显示器所显示的图像为特定三维区域内不同视角影像画面的组合，最终这些阵列显示器图像的集成，便可以重构为一个三维物体的空间光场，即B2。通过将B1作为光场显示器的输入，将B2作为光场显示器的输出，采用光场显示器对B1进行光场三维重建，可以得到待使用的三维重建光场。通过波前像差仪对人眼的扫描获取B3，作为辅助数据参数为分解B2提供人眼各点的屈光度以及焦距信息，使得B2通过B4、和B5后得到B6；即B2为B4、B5的输入，而B6为B4、B5的输出。尽管B6中每个焦平面相对于用户眼睛的深度(距离)各不相同，但是每个焦平面呈现的影像均与B1完全相同，最终通过B7在B8上进行汇聚，由于这些焦平面能够在用户眼睛的视网膜上聚焦为单个影像画面，因此，最终实现了视觉矫正显示的目的。

图6是根据本发明优选实施例的光场显示的普适光路图，如图6所示，其为光场中一条光线进入人眼的普通光路图，其中，C1为光场显示器，C2为用户眼睛的角膜和晶状体以及C3为用户的视网膜。

光场显示器距离人眼的距离为d1，眼球的轴向距离为d2，其中d1和d2为正数；光场显示器的一条光线在L位置发出，角度为α，在经过k位置的角膜点后，到达R位置的视网膜。其中，k位置的角膜点的焦距可以由眼睛的波前图得到，即f(k)，其为正数且对应人眼上不同的点(即上述眼睛子孔径)的焦距。根据光路图可以十分直观地利用几何知识得到，从L位置发出的光线经过k位置的角膜点后，到达视网膜R位置之间的相互关系如下：

又由于k与光场显示器距离人眼之间的距离d1存在如下关系：

k＝L+tanα*d_l

于是，可以得到：

上述公式中的L、k、R的值存在正负之分。在该优选实施例中，其表示相应的点在以用户眼球轴向中心线和垂直于该轴向中心线的平面上的坐标系中的坐标信息。角度α也存在正负之分，在-90度到+90度之间。在该优选实施例中，偏转角度α对应于上述坐标系第四像限位置，即为一个负值。

由此可见，如果光场显示器与人眼之间的距离d1以及眼球的轴向距离d2(人眼球的轴向距离通常为23.8mm)为定值，那么视网膜上的成像点的位置只与显示器上的入射光线以及人眼球的波前图特性相关联。因此，只需要根据用户特定的波前图信息(即人眼的波前图计算并调整出显示器上每个像素点的位置)以及入射光线信息(即对应的入射光线的角度)，便可以确定其在人眼视网膜上的成像位置。采用矩阵形式可以表示如下：

其中，左侧矩阵为期望在视网膜上呈现的影像画面，那么只需要通过右侧的两个矩阵进行乘法运算便可以得到，即根据不同的波前图特征调整光线的发射点和发射角度；在上述矩阵公式中，α为 其为常量；g(k)为只与用户的眼睛波前图相关；L为显示屏上光线的位置信息。

由于本发明所提供的技术方案针对不同的屈光度均需要生成能够在视网膜上聚焦的影像画面，因此在上述矩阵乘法的左侧矩阵保持不变的前提下，右侧矩阵中表示显示屏上光线的位置信息的L，矩阵需要计算出多个值来满足这一需求；简而言之，需要显示屏上特定点能发出不同方向的光线，即显示屏上特定点显示在不同方向上观测的结果是不同的。这对于普通的显示设备来说是不可能做到的，因此本方案采用光场显示器来作为本方案的二级输入装置，因为光场显示能够利用各向异性的特点来满足这一需求。

另外，即便拥有能够实现各向异性的显示装置以及能够计算出光线的发射点和发射角度，还需要额外的装置来满足光线的发射点和发射角度的需求。因此本方案采用了如图3中所示的B4以及B5的双堆叠LCD显示屏，其中B4作为显示装置，而B5作为针孔滤波器来使用，用于确定B4传递过来的光线的具体传播方向，根据计算出的发射点和发射角度，在B4上的具体位置完成光线的发射，而在B5上确定光线的传播方向。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种影像画面的显示控制方法，其特征在于，包括：

采用预设光场显示方式对初始影像画面进行三维重建，得到三维重建光场；

根据波前图信息将所述三维重建光场切分为多个焦平面，其中，所述波前图信息是通过波前像差仪对观看所述影像画面的用户的眼睛进行扫描后获得的，所述多个焦平面分别对应所述眼睛不同部位的屈光度且聚焦于所述眼睛的视网膜上；

控制所述多个焦平面在所述用户的视网膜上聚焦，将所述初始影像画面显示为待显示影像画面；

其中，所述多个焦平面中每个焦平面相对于所述用户的眼睛之间的距离各不相同，且所述多个焦平面中每个焦平面中呈现的影像均与所述初始影像画面相同。

2.根据权利要求1所述的方法，其特征在于，根据所述波前图信息将所述三维重建光场切分为所述多个焦平面包括：

根据所述待显示影像画面中的每个像素点的位置信息从所述波前图信息中获取与每个像素点的位置信息对应的角膜点的位置信息以及与所述角膜点的位置信息对应的焦距；

采用每个像素点的位置信息和获取到的焦距获取所述三维重建光场的入射点的位置信息；

通过所述入射点的位置信息和所述角膜点的位置信息控制从所述入射点发出的入射光线的入射角度；

采用获取到的焦距和所述入射角度确定与所述入射点的位置信息对应的虚拟点的位置信息，并根据所述虚拟点的位置信息生成所述多个焦平面，其中，每个焦平面均为垂直于所述眼睛的中轴线的虚拟平面，所述虚拟点为所述待显示影像画面中的每个像素点在每个焦平面上的虚拟成像。

3.根据权利要求2所述的方法，其特征在于，控制从所述入射点发出的所述入射光线的所述入射角度包括：

根据所述入射点的位置信息将所述入射光线投射在第一显示屏上；

根据所述波前图信息确定所述第一显示屏与第二显示屏相互间的位置关系以及所述第一显示屏与第二显示屏的间距；

根据所述位置关系和所述间距控制所述第一显示屏传递的光线的传播方向，以控制所述入射角度。

4.根据权利要求2所述的方法，其特征在于，控制所述多个焦平面在所述用户的视网膜上聚焦，将所述初始影像画面显示为所述待显示影像画面包括：

从所述多个焦平面上分别获取与所述待显示影像画面中每个像素点的位置信息对应的虚拟点的位置信息；

对获取到的虚拟点的位置信息执行汇聚操作，得到所述待显示影像画面。

5.根据权利要求2至4中任一项所述的方法，其特征在于，所述角膜点的位置信息、所述入射点的位置信息以及所述虚拟点的位置信息均是在以用户眼球的轴向中心线和垂直于所述轴向中心线的平面上的坐标系中的坐标信息。

6.一种影像画面的显示控制装置，其特征在于，包括：

重建模块，用于采用预设光场显示方式对初始影像画面进行三维重建，得到三维重建光场；

切分模块，用于根据波前图信息将所述三维重建光场切分为多个焦平面，其中，所述波前图信息是通过波前像差仪对观看所述影像画面的用户的眼睛进行扫描后获得的，所述多个焦平面分别对应所述眼睛不同部位的屈光度且聚焦于所述眼睛的视网膜上；

控制模块，用于控制所述多个焦平面在所述用户的视网膜上聚焦，将所述初始影像画面显示为待显示影像画面；

其中，所述多个焦平面中每个焦平面相对于所述用户的眼睛之间的距离各不相同，且所述多个焦平面中每个焦平面中呈现的影像均与所述初始影像画面相同。

7.根据权利要求6所述的装置，其特征在于，所述切分模块包括：

第一获取单元，用于根据所述待显示影像画面中的每个像素点的位置信息从所述波前图信息中获取与每个像素点的位置信息对应的角膜点的位置信息以及与所述角膜点的位置信息对应的焦距；

第二获取单元，用于采用每个像素点的位置信息和获取到的焦距获取所述三维重建光场的入射点的位置信息；

第一处理单元，用于通过所述入射点的位置信息和所述角膜点的位置信息控制从所述入射点发出的入射光线的入射角度；

第二处理单元，用于采用获取到的焦距和所述入射角度确定与所述入射点的位置信息对应的虚拟点的位置信息，并根据所述虚拟点的位置信息生成所述多个焦平面，其中，每个焦平面均为垂直于所述眼睛的中轴线的虚拟平面，所述虚拟点为所述待显示影像画面中的每个像素点在每个焦平面上的虚拟成像。

8.根据权利要求7所述的装置，其特征在于，所述第一处理单元包括：

第一处理子单元，用于根据所述入射点的位置信息将所述入射光线投射在第一显示屏上；

第二处理子单元，用于根据所述波前图信息确定所述第一显示屏与第二显示屏相互间的位置关系以及所述第一显示屏与第二显示屏的间距；

第三处理子单元，用于根据所述位置关系和所述间距控制所述第一显示屏传递的光线的传播方向，以控制所述入射角度。

9.根据权利要求7所述的装置，其特征在于，所述控制模块包括：

第三获取单元，用于从所述多个焦平面上分别获取与所述待显示影像画面中每个像素点的位置信息对应的虚拟点的位置信息；

汇聚单元，用于对获取到的虚拟点的位置信息执行汇聚操作，得到所述待显示影像画面。

10.根据权利要求7至9中任一项所述的装置，其特征在于，所述角膜点的位置信息、所述入射点的位置信息以及所述虚拟点的位置信息均是在以用户眼球的轴向中心线和垂直于所述轴向中心线的平面上的坐标系中的坐标信息。

11.一种头戴式显示设备，其特征在于，包括：权利要求6至9中任一项所述的影像画面的显示控制装置。