CN103605208B

CN103605208B - 内容投射系统及方法

Info

Publication number: CN103605208B
Application number: CN201310390652.6A
Authority: CN
Inventors: 杜琳; 张宏江
Original assignee: Beijing Zhigu Ruituo Technology Services Co Ltd
Current assignee: Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date: 2013-08-30
Filing date: 2013-08-30
Publication date: 2016-09-28
Anticipated expiration: 2033-08-30
Also published as: CN103605208A; US20160179193A1; WO2015027599A1; US10048750B2

Abstract

本发明公开了一种内容投射系统及内容投射方法，所述系统包括：注视点检测装置，用于检测当前眼睛的注视点位置；图像生成装置，用于根据可视化信息以及所述注视点位置，生成虚拟图像；虚拟图像投射装置，用于根据所述注视点位置将所述虚拟图像投射至眼底。本发明实施例的系统及方法通过实时检测用户注视点位置，并针对注视点位置得到对应可视化信息的成像参数，进而生成虚拟图像并投射至眼底，使得虚拟图形信息与真实信息能够更好的融合，进而使得用户获得更好的沉浸感。

Description

内容投射系统及方法

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种内容投射系统及方法。

背景技术

在混合现实环境中，系统经常会显示一些虚拟图形化信息，但目前虚拟图形信息和真实信息间的融合显示还没有得到很好解决。例如：当用户注视某处(实际物体或虚拟图形)时，由于虚拟图形的深度或位置放置不正确，导致用户无法看清需要看清的虚拟图形信息；或者，当用户注视某处时，位于其它深度和位置上的虚拟图形信息往往也被清晰显示，没有产生合适的焦外效果，影响用户的真实沉浸感。例如目前谷歌眼镜只能在特定距离的虚拟屏幕上显示虚拟内容，导致该内容不能很好的融入现实，因此只好将该虚拟屏幕放置在眼镜斜上方，用户需要查看虚拟图形信息时需要刻意向斜上方看，严重影响了用户的视觉体验。而在双目立体视觉的混合现实系统中，由于又增加了一个立体深度的信息，虚拟系统和现实系统的和谐一致变得更加困难，错误设置虚拟图形信息的位置还会导致用户视力下降、头昏头痛等问题。

发明内容

本发明要解决的技术问题是：提供一种内容投射系统及方法，使得虚拟图形信息与真实信息能够更好的融合，进而提高用户的视觉体验。

为实现上述目的，第一方面，本发明提供了一种内容投射系统，包括：

注视点检测装置，用于检测当前眼睛的注视点位置；

图像生成装置，用于根据可视化信息以及所述注视点位置，生成虚拟图像；

虚拟图像投射装置，用于根据所述注视点位置将所述虚拟图像投射至眼底。

结合第一方面，在第二种可能的实施方式中，所述图像生成装置包括：

可视化信息参数确定模块，用于根据所述注视点位置，确定所述可视化信息的成像参数。

结合第一方面的第二种可能的实施方式，在第三种可能的实施方式中，所述图像生成装置还包括：

图像渲染模块，用于根据所述可视化信息及所述可视化信息的成像参数，渲染生成所述虚拟图像。

结合第一方面、第一方面的第二或第三种可能的实施方式，在第四种可能的实施方式中，所述可视化信息分别与用户的两只眼睛对应。

结合第一方面的第二、第三或第四种可能的实施方式中，在第五种可能的实施方式中，所述可视化信息的成像参数分别与用户的两只眼睛对应。

结合第一方面、第一方面的第二至第五种可能的实施方式中的任一种，在第六种可能的实施方式中，所述虚拟图像投射装置包括：

投射模块，用于向对应的眼底投射所述虚拟图像；

可调成像模块，位于所述投射模块与眼底之间的光路上，将所述投射的虚拟图像成像在所述眼底；

成像参数生成模块，用于根据所述注视点位置生成并调整所述可调成像模块的投射成像参数。

结合第一方面的第六种可能的实施方式，在第七种可能的实施方式中，所述可调成像模块还包括：

分光单元，用于进行所述投射模块与眼底之间的光路传递。

结合第一方面的第七种可能的实现方式，在第八种可能的实现方式中，所述分光单元包括曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，进行所述投射模块与眼底之间的光路传递。

结合第一方面的第八种可能的实现方式，在第九，所述虚拟图像投射装置包括：

反变形处理模块，用于对所述虚拟图像进行与所述曲面分光单元对应的反变形处理，使得眼底接收到需要呈现的虚拟图像。

结合第一方面、第一方面的第二至第九种可能的实现方式中的任一种，在第十种可能的实现方式中，所述注视点检测装置还包括：

瞳孔检测模块，用于检测当前眼睛瞳孔的大小。

结合第一方面的第十种可能的实现方式，在第十一种可能的实现方式中，所述可视化信息的成像参数包括景深信息；

所述可视化信息参数确定模块，根据所述眼睛瞳孔的大小生成所述景深信息。

结合第一方面的第十一种可能的实现方式，在第十二种可能的实现方式中，所述图像渲染模块包括：

焦外处理单元，用于根据可视化信息的成像参数，对所述可视化信息进行对应的焦外成像处理。

结合第一方面、第一方面的第二至第十二种可能的实现方式中的任一种，在第十三种可能的实现方式中，所述注视点检测装置包括：

图像采集设备，用于采集眼睛眼底呈现的图像；

可调成像设备，用于进行所述图像采集设备与眼睛之间光路的成像参数的调节以使得所述图像采集设备得到最清晰的图像；

图像处理设备，用于对所述图像采集设备得到的图像进行处理，根据得到所述最清晰图像时所述图像采集设备与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点位置。

结合第一方面的第十三种可能的实现方式，在第十四种可能的实现方式中，所述可调成像设备包括：

可调透镜单元，位于眼睛与所述图像采集设备之间的光路上，自身焦距可调和/或在光路中的位置可调。

结合第一方面的第十三或十四种可能的实现方式，在第十五种可能的实现方式中，所述可调成像设备包括：

曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到图像采集设备。

结合第一方面的第十三、十四或十五种可能的实现方式，在第十六种可能的实现方式中，所述注视点检测装置还包括：

投射设备，用于向眼底投射光斑图案。

结合第一方面、第一方面的第二至第十六种可能的实现方式中的任一种，在第十七种可能的实现方式中，所述注视点检测装置和所述虚拟图像投射装置的功能由同一设备实现。

第二方面，本发明还提供了一种内容投射方法，包括：

注视点检测步骤，用于检测当前眼睛的注视点位置；

图像生成步骤，用于根据可视化信息以及所述注视点位置，生成虚拟图像；

虚拟图像投射步骤，用于根据所述注视点位置将所述虚拟图像投射至眼底。

结合第二方面，在第二种可能的实现方式中，所述可视化信息包括：图形信息和/或图像信息。

结合第二方面或第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述图像生成步骤包括：

可视化信息参数确定步骤，用于根据所述注视点位置，确定所述可视化信息的成像参数。

结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述图像生成步骤还包括：

图像渲染步骤，用于根据所述可视化信息及所述可视化信息的成像参数，渲染生成所述虚拟图像。

结合第二方面、第二方面的第二至第四种可能的实现方式中的任一种，在第五种可能的实现方式中，所述可视化信息分别与用户的两只眼睛对应。

结合第二方面、第二方面的第二至第五种可能的实现方式中的任一种，在第六种可能的实现方式中，所述可视化信息的成像参数分别与用户的两只眼睛对应。

结合第二方面、第二方面的第二至第六种可能的实现方式中的任一种，在第七种可能的实现方式中，所述虚拟图像投射步骤包括：

向对应的眼底投射所述虚拟图像；

根据所述注视点位置生成投射位置与眼底之间光路的投射成像参数；

将所述投射的虚拟图像成像在所述眼底。

结合第二方面的第七种可能的实现方式，在第八种可能的实现方式中，所述虚拟图像投射步骤还包括：

分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟图像成像在眼底。

结合第二方面的第八种可能的实现方式，在第九种可能的实现方式中，所述虚拟图像投射步骤包括：

对所述虚拟图像进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟图像。

结合第二方面、第二方面的第二至第九种可能的实现方式中的任一种，在第十种可能的实现方式中，所述方法还包括：

检测当前眼睛瞳孔的大小。

结合第二方面、第二方面的第二至第十种可能的实现方式中的任一种，在第十一种可能的实现方式中，所述可视化信息的成像参数包括景深信息。

结合第二方面的第十一种可能的实现方式，在第十二种可能的实现方式中，所述可视化信息参数确定步骤还包括，根据所述眼睛瞳孔的大小生成所述景深信息。

结合第二方面的第十二种可能的实现方式，在第十三种可能的实现方式中，所述图像渲染步骤包括：

根据可视化信息的成像参数，对所述可视化信息进行对应的焦外成像处理。

结合第二方面、第二方面的第二至第十三种可能的实现方式中的任一种，在第十四种可能的实现方式中，所述注视点检测步骤包括：

采集眼睛眼底呈现的图像；

进行图像采集位置与眼睛之间光路的成像参数的调节以采集到最清晰的图像；

对所述图像采集设备得到的图像进行处理，根据得到所述最清晰图像时所述图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点位置。

结合第二方面的第十四种可能的实现方式，在第十五种可能的实现方式中，所述进行图像采集位置与眼睛之间光路的成像参数的调节包括：

调节位于眼睛与图像采集位置之间光路上的透镜单元的焦距和/或在光路中的位置。

结合第二方面的第十四或十五种可能的实现方式，在第十六种可能的实现方式中，所述注视点检测步骤还包括：

分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述图像采集设备。

结合第二方面的第十四、十五或十六种可能的实现方式，在第十七种可能的实现方式中，所述注视点检测步骤还包括：

向眼底投射光斑图案。

本发明实施例的系统及方法通过实时检测用户注视点位置，并针对注视点位置得到对应可视化信息的成像参数，进而生成虚拟图像并投射至眼底，使得虚拟图形信息与真实信息能够更好的融合，进而使得用户获得更好的沉浸感，提高用户视觉体验。

附图说明

图1为本发明实施例的一种内容投射系统的结构示意框图；

图2为本发明实施例的一种内容投射系统图像生成装置的结构示意框图；

图3为用户通过本发明实施例的一种内容投射系统得到的虚拟与现实混合场景图；

图4为本发明实施例的一种内容投射系统虚拟图像投射装置的结构示意框图；

图5a为本发明实施例的一种内容投射系统的注视点检测装置的结构框图；

图5b为本发明实施例的一种内容投射系统的另一种注视点检测装置的结构框图；

图5c为本发明实施例的一种内容投射系统的注视点检测装置使用的光斑图案示意图；

图5d为本发明实施例的一种内容投射系统的注视点检测装置拍摄到的具有光斑图案的眼底图像示意图；

图5e为本发明实施例的一种内容投射系统的注视点检测装置眼睛成像的光路示意图；

图5f为本发明实施例的一种内容投射系统的注视点检测装置根据系统已知成像参数和眼睛的光学参数得到眼睛注视点位置的示意图；

图6为本发明实施例的一种内容投射系统应用在眼镜上的示意图；

图7为本发明实施例的另一种内容投射系统应用在眼镜上的示意图；

图8为本发明实施例的又一种内容投射系统应用在眼镜上的示意图；

图9为本发明实施例的一种内容投射系统的信息处理部分的结构框图；

图10为本发明实施例的一种内容投射方法的流程图。

具体实施方式

本发明的方法及装置结合附图及实施例详细说明如下。

在虚拟现实、混合现实、增强现实以及增强虚拟等需要投射虚拟图像的场合，为了使得真实场景与虚拟场景之间、或者虚拟场景之间的融合效果更好，给用户带来更好的沉浸感，需要针对用户当前的注视点位置形成需要投射的虚拟图像。因此，如图1所示，本发明实施例提供了一种内容投射系统100，包括：

注视点检测装置110，用于检测当前眼睛的注视点位置；

图像生成装置120，用于根据可视化信息以及所述注视点位置，生成虚拟图像；

虚拟图像投射装置130，用于根据所述注视点位置将所述虚拟图像投射至眼底。

本发明实施例通过实时检测眼睛的注视点位置，并根据当前的注视点位置生成对应的虚拟图像，使得用户观看到的虚拟图像随着注视点的变化而变化，使得虚拟图像能够更好地融入当前真实场景或虚拟场景，并使得用户感觉更加真实，带来更好的沉浸感。

在本发明实施例的一种可能的实施方式中，所述内容投射系统100可以为具有注视点检测装置110以及虚拟图像投射装置130的眼镜(包括：框架眼镜、隐形眼镜、护目镜等)等易携带、使用方便的装置。尤其对于本来就有屈光不正等眼睛问题，需要佩戴如屈光矫正眼镜的用户来说，本发明的系统可以直接在所述屈光矫正眼镜上实现；或者对于在进行观影和游戏时需要呈现对应的虚拟场景的场合，还可以将该系统的功能集成在观影和游戏时使用的3D眼镜等设备上，不会给用户带来额外的负担。

当然，本发明实施例的其它可能的实施方式中，所述内容投射系统还可以为例如：头盔目镜、驾驶前挡风玻璃等与用户的眼睛配合使用的其它光学设备。

如图2所示，在本发明实施例的一种可能的实施方式中，所述图像生成装置120包括：

可视化信息参数确定模块121，用于根据所述注视点位置，确定所述可视化信息的成像参数。

图像渲染模块122，用于根据所述可视化信息及所述可视化信息的成像参数，渲染生成所述虚拟图像。

这里所述的可视化信息可以为虚拟的图形信息(例如虚拟的对话框、虚拟的球等等)、图像信息(例如预先制作好的图片或视频信息)、或者同时包括所述图形信息与所述图像信息。

这里所述的可视化信息的成像参数包括：所述可视化信息应该呈现的位置、可视化信息的大小等可视化信息自身的参数；以及所述可视化信息的渲染参数，例如虚拟相机的参数(例如位置、朝向、视角)、光照、特效等参数。

用户通过眼睛在观看真实物体时，通常只能够看清注视点附近一定景深范围内的物体，而该范围外的物体则会因为失焦而在眼底成模糊的像。本发明实施例的一种可能的实施方式中，为了使得生成的虚拟图像更加符合人眼的视觉效果，给用户带来更加真实的感受，所述可视化信息的成像参数还包括景深信息。该景深信息可以作为所述虚拟相机的景深参数。

因此在本发明实施例的一种可能的实施方式中，所述注视点检测装置还包括：

瞳孔检测模块，用于检测当前眼睛瞳孔的大小。

通常可以通过一个可以拍摄到眼睛表面图像的图像采集模块(如微型摄像机)来获得所述瞳孔的图片，再通过图像处理计算得到所述眼睛瞳孔的大小。该检测眼睛瞳孔大小的技术为已有技术，本实施例不再赘述。

在本实施方式中，所述可视化信息参数确定模块，根据所述眼睛瞳孔的大小生成所述景深信息。

其中，根据眼睛瞳孔大小来或的景深信息是已有技术，本实施例不再过多描述。一般而言瞳孔越大，景深越小；瞳孔越小，景深越大。

在本发明实施例的一种可能的实施方式中，所述图像渲染模块包括：

焦外处理单元，用于根据可视化信息的成像参数(主要是上述的景深信息)，对所述可视化信息进行对应的焦外成像处理。

这里，根据所述景深信息对可视化信息进行焦外成像处理后，使得景深范围外的可视化信息被虚化，给用户带来更加真实的视觉体验。

如图3所示，在本发明实施例的一种可能的实施方式中，本发明实施例的系统需要在真实场景中显示与真实场景中的物体对应的虚拟信息。其中，当用户的注视点在近处的花盆310处时，其对应需要呈现的可视化信息(本实施方式中，所述可视化信息为虚拟图形信息)为第一虚拟信息320；当用户的注视点在稍远处的花瓶330时，其对应需要呈现的虚拟图形信息为第二虚拟信息340。

以用户的注视点在所述花盆310处为例，本发明实施例的内容投射系统的注视点检测装置检测到当前眼睛的注视点在所述花盆310处；

图形生成装置根据所述第一虚拟信息320和第二虚拟信息340、以及它们需要呈现的位置(分别在所述花盆310和所述花瓶330附近)，生成对应的虚拟图像。例如在本实施方式中，所述虚拟图像为包括位于特定位置、具有对应大小(例如近处大、远处小)的所述第一虚拟信息320、第二虚拟信息340的图像。如果需要虚拟图像还具有与眼睛对应的焦外成像效果，则还可以根据眼睛当前的景深信息，对所述第二虚拟信息340进行焦外虚化等处理之后，再与所述第一虚拟信息320一起形成所述虚拟图像；

最后，所述虚拟图像投射装置将所述虚拟图像投射在眼底，使得眼睛看到如图3所示的虚拟图像与现实场景混合的图像。

如图4所示，在本发明实施例的一种可能的实施方式中，所述虚拟图像投射装置130包括：

投射模块131，用于向对应的眼底投射所述虚拟图像；

可调成像模块132，位于所述投射模块与眼底之间的光路上，将所述投射的虚拟图像成像在所述眼底；

成像参数生成模块133，用于根据所述注视点位置生成并调整所述可调成像模块的投射成像参数。

在本实施方式中，所述投射模块131可以为微型投影仪；

所述成像参数生成模块133，根据所述注视点位置生成所述可调成像模块132的投射成像参数(这里的投射成像参数指的是所述可调成像模块132用于投射所述虚拟图像的成像参数)，并根据所述投射成像参数对所述可调成像模块132进行调整，使得所述投射的虚拟图像能够清晰地在眼底成像，进而使得用户可以看到需要被展示的虚拟图像。

这里所述可调成像模块132的投影成像参数包括：所述可调成像模块132的焦距、在光路中的位置等。所述可调成像模块132可以通过改变自身的结构或位置来改变光线的传播方式，其可以为由单片成像参数可调的透镜构成、也可以为由多片透镜构成的透镜组构成、或者可以为包括透镜和其它光学器件的光学系统。

优选地，在本发明实施例的一些可能的实施方式中，所述可调成像模块132可以包括电子可调透镜，如美国公开号为US20070211207A1和US4572616A的专利中公布的液体或液晶透镜，通过对透镜中的液体或液晶进行控制，从而快速改变透镜的形状、折射率等成像参数。如果将本发明的系统应用在眼镜等便携可穿戴设备上的话，采用单片的电子可调透镜作为所述可调透镜模块132可以使得系统的体积更小、重量更轻，便于携带；并且将所述电子可调透镜应用于眼镜上的方式已经有了商业上的应用，如Pixeloptics公司推出的Empower电子可调焦眼镜。

除了上述的电子可调透镜外，还可以采用多片透镜构成的透镜组来形成所述的可调透镜模块132。例如通过改变多片透镜之间的位置、透镜光轴角度以及将多个透镜的光轴偏心设置等方式来调节所述可调透镜模块132的成像参数，其中，所述多片透镜中也可以部分或全部为可调透镜。

在本发明实施例的一种可能的实施方式中，所述可调成像模块还包括：

分光单元，用于进行所述投射模块与眼底之间的光路传递。

通过所述分光单元，可以避免向用户的眼睛的眼底投射所述虚拟图像时影响用户观看眼前的真实物体或虚拟场景。

在本发明实施例中，所述注视点检测装置110可以为以下几种中的一种：

a)采用一个瞳孔方向检测器检测一个眼睛的光轴方向、再通过一个深度传感器(如红外测距)得到眼睛注视场景的深度，得到眼睛视线的注视点位置，该技术为已有技术，本实施方式中不再赘述。

b)分别检测两眼的光轴方向，再得到两眼光轴方向的交点，进而得到眼睛视线的注视点位置，该技术也为已有技术，此处不再赘述。

c)根据采集到眼睛的成像面呈现的最清晰图像时图像采集设备与眼睛之间光路的光学参数，得到所述眼睛视线的注视点位置。在本实施方式中，所述注视点检测装置110可以为以下图5a-5f、图6、图7所示的注视点检测装置中的一种。

当然，本领域的技术人员可以知道，除了上述几种形式的注视点检测装置110外，其它可以用于检测用户眼睛注视点的装置也可以用于本发明实施例的系统中。

如图5a所示，在本发明实施例的一种可能的实施方式中，所述注视点检测装置500包括：

图像采集设备510，用于采集眼睛眼底呈现的图像；

可调成像设备520，用于进行所述图像采集设备与眼睛之间光路的成像参数的调节以使得所述图像采集设备得到最清晰的图像；

图像处理设备530，用于对所述图像采集设备得到的图像进行处理，根据得到所述最清晰图像时所述图像采集设备与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点位置。

本注视点检测装置500通过对眼睛眼底的图像进行分析处理，得到所述图像采集设备获得最清晰图像时眼睛的光学参数，就可以计算得到眼睛当前的注视点位置，为进一步实现眼睛自适应操作提供基础。

这里的“眼底”呈现的图像主要为在视网膜上呈现的图像，其可以为眼底自身的图像，或者可以为投射到眼底的其它物体的图像。这里的眼睛可以为人眼，也可以为其它动物的眼睛。

如图5b所示，本发明实施例的一种可能的实施方式中，所述图像采集设备510为微型摄像头，在本发明实施例的另一种可能的实施方式中，所述图像采集设备510还可以直接使用感光成像器件，如CCD或CMOS等器件。

在本发明实施例的一种可能的实施方式中，所述可调成像设备520包括：可调透镜单元521，位于眼睛与所述图像采集设备510之间的光路上，自身焦距可调和/或在光路中的位置可调。通过该可调透镜单元521，使得从眼睛到所述图像采集设备510之间的系统等效焦距可调，通过可调透镜单元521的调节，使得所述图像采集设备510在可调透镜单元521的某一个位置或状态时获得眼底最清晰的图像。在本实施方式中，所述可调透镜单元521在检测过程中连续实时的调节。

优选地，在本发明实施例的一种可能的实施方式中，所述可调透镜单元521为：焦距可调透镜，用于通过调节自身的折射率和/或形状完成自身焦距的调整。具体为：1)通过调节焦距可调透镜的至少一面的曲率来调节焦距，例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率；2)通过改变焦距可调透镜的折射率来调节焦距，例如焦距可调透镜中填充有特定液晶介质，通过调节液晶介质对应电极的电压来调整液晶介质的排列方式，从而改变焦距可调透镜的折射率。

在本发明实施例的另一种可能的实施方式中，所述可调透镜单元521包括：多片透镜构成的透镜组，用于调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。所述透镜组中也可以包括自身焦距等成像参数可调的透镜。

除了上述两种通过调节可调透镜单元521自身的特性来改变系统的光路参数以外，还可以通过调节所述可调透镜单元521在光路上的位置来改变系统的光路参数。

优选地，在本发明实施例的一种可能的实施方式中，为了不影响用户对观察对象的观看体验，并且为了使得系统可以便携应用在穿戴式设备上，所述可调成像设备520还包括：分光单元522，用于形成眼睛和观察对象之间、以及眼睛和图像采集设备510之间的光传递路径。这样可以对光路进行折叠，减小系统的体积，同时尽可能不影响用户的其它视觉体验。

优选地，在本实施方式中，所述分光单元包括：第一分光单元，位于眼睛和观察对象之间，用于透射观察对象到眼睛的光，传递眼睛到图像采集设备的光。

所述第一分光单元可以为分光镜、分光光波导(包括光纤)或其它适合的分光设备。

在本发明实施例的一种可能的实施方式中，所述系统的图像处理设备530包括光路校准模块，用于对系统的光路进行校准，例如进行光路光轴的对齐校准等，以保证测量的精度。

在本发明实施例的一种可能的实施方式中，所述图像处理设备530包括：

图像分析模块531，用于对所述图像采集设备得到的图像进行分析，找到最清晰的图像；

参数计算模块532，用于根据所述最清晰的图像、以及得到所述最清晰图像时系统已知的成像参数计算眼睛的光学参数。

在本实施方式中，通过可调成像设备520使得所述图像采集设备510可以得到最清晰的图像，但是需要通过所述图像分析模块531来找到该最清晰的图像，此时根据所述最清晰的图像以及系统已知的光路参数就可以通过计算得到眼睛的光学参数。这里眼睛的光学参数可以包括眼睛的光轴方向。

在本发明实施例的一种可能的实施方式中，优选地，所述系统还包括：投射设备540，用于向眼底投射光斑。在一个可能的实施方式中，可以通过微型投影仪来视线该投射设备的功能。

这里投射的光斑可以没有特定图案仅用于照亮眼底。

在在本发明实施例优选的一种实施方式中，所述投射的光斑包括特征丰富的图案。图案的特征丰富可以便于检测，提高检测精度。如图5c所示为一个光斑图案550的示例图，该图案可以由光斑图案生成器形成，例如毛玻璃；图5d所示为在有光斑图案550投射时拍摄到的眼底的图像。

为了不影响眼睛的正常观看，优选的，所述光斑为眼睛不可见的红外光斑。

此时，为了减小其它光谱的干扰：

所述投射设备的出射面可以设置有眼睛不可见光透射滤镜。

所述图像采集设备的入射面设置有眼睛不可见光透射滤镜。

优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：

投射控制模块534，用于根据图像分析模块得到的结果，控制所述投射设备的投射光斑亮度。

例如所述投射控制模块534可以根据图像采集设备510得到的图像的特性自适应调整亮度。这里图像的特性包括图像特征的反差以及纹理特征等。

这里，控制所述投射设备的投射光斑亮度的一种特殊的情况为打开或关闭投射设备，例如用户持续注视一点时可以周期性关闭所述投射设备；用户眼底足够明亮时可以关闭发光源只利用眼底信息来检测眼睛当前视线注视点到眼睛的距离。

此外，所述投射控制模块534还可以根据环境光来控制投射设备的投射光斑亮度。

优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：图像校准模块533，用于进行眼底图像的校准，获得至少一个与眼底呈现的图像对应的基准图像。

所述图像分析模块531将图像采集设备530得到的图像与所述基准图像进行对比计算，获得所述最清晰的图像。这里，所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式中，通过现有的图像处理算法计算当前获得的图像与基准图像的差异，例如使用经典的相位差值自动对焦算法。

优选地，在本发明实施例的一种可能的实施方式中，所述参数计算模块532包括：

眼睛光轴方向确定单元5321，用于根据得到所述最清晰图像时眼睛的特征得到眼睛光轴方向。

这里眼睛的特征可以是从所述最清晰图像上获取的，或者也可以是另外获取的。眼睛光轴方向表示眼睛视线注视的方向。

优选地，在本发明实施例的一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括：第一确定子单元，用于根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。与通过瞳孔和眼球表面的特征得到眼睛光轴方向相比，通过眼底的特征来确定眼睛光轴方向精确度更高。

在向眼底投射光斑图案时，光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域，其中：

当光斑图案的面积小于等于眼底可视区域时，可以利用经典特征点匹配算法(例如尺度不变特征转换(Scale Invariant FeatureTransform，SIFT)算法)通过检测图像上的光斑图案相对于眼底位置来确定眼睛光轴方向；

当光斑图案的面积大于等于眼底可视区域时，可以通过得到的图像上的光斑图案相对于原光斑图案(通过图像校准模块获得)的位置来确定眼睛光轴方向确定用户视线方向。

在本发明实施例的另一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括：第二确定子单元，用于根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的，也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术，此处不再赘述。

优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：眼睛光轴方向校准模块535，用于进行眼睛光轴方向的校准，以便更精确的进行上述眼睛光轴方向的确定。

在本实施方式中，所述系统已知的成像参数包括固定的成像参数和实时成像参数，其中实时成像参数为获取最清晰图像时所述可调透镜单元的参数信息，该参数信息可以在获取所述最清晰图像时实时记录得到。

在得到眼睛当前的光学参数之后，就可以计算得到眼睛注视点到眼睛的距离，具体为：

图5e所示为眼睛成像示意图，结合经典光学理论中的透镜成像公式，由图5e可以得到公式(1)：

\frac{1}{d_{o}} + \frac{1}{d_{e}} = \frac{1}{f_{e}} - - - (1)

其中d_o和d_e分别为眼睛当前观察对象5010和视网膜上的实像5020到眼睛等效透镜5030的距离，f_e为眼睛等效透镜5030的等效焦距，X为眼睛的光轴方向(即视线的光轴)。

图5f所示为根据系统已知光学参数和眼睛的光学参数得到眼睛注视点到眼睛的距离的示意图，图5f中光斑5040通过可调透镜单元521会成一个虚像(图5f中未示出)，假设该虚像距离透镜距离为x(图5f中未示出)，结合公式(1)可以得到如下方程组：

\{\begin{matrix} \frac{1}{d_{p}} - \frac{1}{x} = \frac{1}{f_{p}} \\ \frac{1}{d_{i} + x} + \frac{1}{d_{e}} = \frac{1}{f_{e}} \end{matrix} - - - (2)

其中d_p为光斑5040到可调透镜单元521的光学等效距离，d_i为可调透镜单元521到眼睛等效透镜5030的光学等效距离，f_p为可调透镜单元521的焦距值，d_i为所述眼睛等效透镜5030到可调透镜单元521的距离。

由(1)和(2)可以得出当前观察对象5010(眼睛注视点)到眼睛等效透镜5030的距离d_o如公式(3)所示：

d_{o} = d_{i} + \frac{d_{p} \cdot f_{p}}{f_{p} - d_{p}} - - - (3)

根据上述计算得到的观察对象5010到眼睛的距离，又由于之前的记载可以得到眼睛光轴方向，则可以轻易得到眼睛的注视点位置，为后续与眼睛相关的进一步交互提供了基础。

如图6所示为本发明实施例的一种可能的实施方式的眼睛注视点检测装置600应用在眼镜400上的实施例，其包括图5b所示实施方式的记载的内容，具体为：由图6可以看出，在本实施方式中，在眼镜400右侧(不局限于此)集成了本实施方式的系统600，其包括：

微型摄像头610，其作用与图5b实施方式中记载的图像采集设备相同，为了不影响用户正常观看对象的视线，其被设置于眼镜200右外侧；

第一分光镜620，其作用与图5b实施方式中记载的第一分光单元相同，以一定倾角设置于眼睛200注视方向和摄像头610入射方向的交点处，透射观察对象进入眼睛200的光以及反射眼睛到摄像头610的光；

焦距可调透镜630，其作用与图5b实施方式中记载的焦距可调透镜相同，位于所述第一分光镜620和摄像头610之间，实时进行焦距值的调整，使得在某个焦距值时，所述摄像头610能够拍到眼底最清晰的图像。

在本实施方式中，所述图像处理设备在图6中未表示出，其功能与图5b所示的图像处理设备相同。

由于一般情况下，眼底的亮度不够，因此，最好对眼底进行照明，在本实施方式中，通过一个发光源640来对眼底进行照明。为了不影响用户的体验，这里优选的发光源640为眼睛不可见光，优选对眼睛200影响不大并且摄像头610又比较敏感的近红外光发光源。

在本实施方式中，所述发光源640位于右侧的眼镜架外侧，因此需要通过一个第二分光镜650与所述第一分光镜620一起完成所述发光源640发出的光到眼底的传递。本实施方式中，所述第二分光镜650又位于摄像头610的入射面之前，因此其还需要透射眼底到第二分光镜650的光。

可以看出，在本实施方式中，为了提高用户体验和提高摄像头610的采集清晰度，所述第一分光镜620优选地可以具有对红外反射率高、对可见光透射率高的特性。例如可以在第一分光镜620朝向眼睛200的一侧设置红外反射膜实现上述特性。

由图6可以看出，由于在本实施方式中，所述眼睛注视点检测装置600位于眼镜400的镜片远离眼睛200的一侧，因此进行眼睛光学参数进行计算时，可以将镜片也看成是眼睛200的一部分，此时不需要知道镜片的光学特性。

在本发明实施例的其它实施方式中，所述眼睛注视点检测装置600可能位于眼镜400的镜片靠近眼睛200的一侧，此时，需要预先得到镜片的光学特性参数，并在计算注视点距离时，考虑镜片的影响因素。

发光源发出的光通过第二分光镜650的反射、焦距可调透镜630的投射、以及第一分光镜620的反射后再透过眼镜400的镜片进入用户眼睛，并最终到达眼底的视网膜上；摄像头610经过所述第一分光镜620、焦距可调透镜630以及第二分光镜650构成的光路透过眼睛200的瞳孔拍摄到眼底的图像。

在本发明实施例的一种可能的实施方式中，由于所述注视点检测装置和所述虚拟图像投射装置，有可能同时包括：具有投射功能的设备(如上面所述的虚拟图像投射装置的投射模块，以及所述注视点检测装置的投射设备)；以及成像参数可调的成像设备(如上面所述的虚拟图像投射装置的可调成像模块，以及所述注视点检测装置的可调成像设备)等，因此所述注视点检测装置和所述虚拟图像投射装置的功能由同一设备实现。

如图6所示，在本发明实施例的一种可能的实施方式中，所述发光源640除了可以用于所述注视点检测装置的照明外，还可以作为所述虚拟图像投射装置的投射设备的光源辅助投射所述虚拟图像。在一种可能的实施方式中，所述发光源640可以同时分别投射一个不可见的光用于所述注视点检测装置的照明；以及一个可见光，用于辅助投射所述虚拟图像；在另一种可能的实施方式中，所述发光源640还可以分时地切换投射所述不可见光与所述可见光；在又一种可能的实施方式中，所述注视点检测装置可以使用所述虚拟图像来完成照亮眼底的功能。

在本发明实施例的一种可能的实施方式中，所述第一分光镜620、第二分光镜650以及所述焦距可调透镜630除了可以作为所述的虚拟图像投射装置的可调成像模块外，还可以作为所述注视点检测装置的可调成像设备。这里，所述的焦距可调透镜630在一种可能的实施方式中，其焦距可以分区域的调节，不同的区域分别对应于所述注视点检测装置和所述虚拟图像投射装置，焦距也可能会不同。或者，所述焦距可调透镜630的焦距是整体调节的，但是所述注视点检测装置的微型摄像头610的感光单元(如CCD等)的前端还设置有其它光学器件，用于实现所述注视点检测装置的成像参数辅助调节。此外，在另一种可能的实施方式中，可以配置使得从所述发光源640的发光面(即虚拟图像投出位置)到眼睛的光程与所述眼睛到所述微型摄像头610的光程相同，则所述焦距可调透镜630调节至所述微型摄像头610接收到最清晰的眼底图像时，所述发光源640投射的虚拟图像正好在眼底清晰地成像。

由上述可以看出，本发明实施例的眼睛注视点检测装置与虚拟图像投射装置可以由一套设备实现，使得整个系统结构简单、体积小、更加便于携带。

如图7所示为本发明实施例的另一种实施方式眼睛注视点检测装置700的结构示意图。由图7可以看出，本实施方式与图6所示的实施方式相似，包括微型摄像头710、第二分光镜720、焦距可调透镜730，不同之处在于，在本实施方式中的投射设备740为投射光斑图案的投射设备740，并且通过一个曲面分光镜750作为曲面分光单元取代了图6实施方式中的第一分光镜。

这里采用了曲面分光镜750分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到图像采集设备。这样摄像头可以拍摄到眼球各个角度混合叠加的成像，但由于只有通过瞳孔的眼底部分能够在摄像头上清晰成像，其它部分会失焦而无法清晰成像，因而不会对眼底部分的成像构成严重干扰，眼底部分的特征仍然可以检测出来。因此，与图6所示的实施方式相比，本实施方式可以在眼睛注视不同方向时都能很好的得到眼底的图像，使得本实施方式的眼睛注视点检测装置适用范围更广，检测精度更高。

在本发明实施例的一种可能的实施方式中，所述注视点检测装置和所述虚拟图像投射装置也可以复用。与图6所示的实施例类似地，此时所述投射设备740可以同时或者分时切换地投射光斑图案以及所述虚拟图像；或者所述注视点检测装置将投射的虚拟图像作为所述光斑图案，进行检测。与图6所示的实施例类似地，在本发明实施例的一种可能的实施方式中，所述第一分光镜720、第二分光镜750以及所述焦距可调透镜730除了可以作为所述的虚拟图像投射装置的可调成像模块外，还可以作为所述注视点检测装置的可调成像设备。

此时，所述第二分光镜750还用于分别对应眼睛光轴方向不同时瞳孔的位置，进行所述投射模块与眼底之间的光路传递。由于所述投射设备740投射的虚拟图像经过所述曲面的第二分光镜750之后会发生变形，因此在本实施方式中，所述虚拟图像投射装置包括：

在本发明实施例的一种可能的实施方式中，为了实现立体显示，所述可视化信息分别与用户的两只眼睛对应。

在一种可能的实现方式中，也可以与用户的两只眼睛对应的可视化信息是相同的，但是所述可视化信息的成像参数分别与用户的两只眼睛对应。例如分别与两只眼睛对应的同一可视化信息的需要呈现的位置略有不同、其大小也可能略有不同；此外，其渲染参数由于两只眼睛的位置不同，其对应的虚拟相机的参数也会略有不同。因此，根据上述分别与两只眼睛对应的可视化信息和/或可视化信息的成像参数生成的虚拟图像也会有两幅，分别与所述两只眼睛对应。

例如根据与左眼对应的可视化信息的成像参数，以及对应的可视化信息生成与左眼对应的虚拟图像；根据与右眼对应的可视化信息的成像参数，以及对应的可视化信息生成与右眼对应的虚拟图像。用户的两眼分别对应地得到所述两幅虚拟图像时，会产生立体的视觉效果。

除了通过上述方法来实现立体虚拟内容的投射外，在本发明实施例的一种可能的实施方式中，投射至用户两只眼睛的虚拟图像是相同地，但是通过具有一定偏差地将所述虚拟图像分别投射至两只眼睛也可以实现立体地投射(例如调节虚拟图像投射装置中可调成像模块的光轴参数)。

如图8所示，在需要进行立体显示的情况下，所述内容投射系统800需要分别与用户的两只眼睛对应的设置两套虚拟图像投射装置，包括：

与用户的左眼对应的第一虚拟图像投射装置；以及

与用户的右眼对应的第二虚拟图像投射装置。

其中，所述第二虚拟图像投射装置的结构与图6的实施例中记载的复合有注视点检测装置功能的结构类似，也为可以同时实现注视点检测装置功能以及虚拟图像投射装置功能的结构，包括与所述图6所示实施例功能相同的微型摄像头821、第二分光镜822、第二焦距可调透镜823，第一分光镜824(所述注视点检测装置的图像处理设备与所述虚拟图像投射装置的成像参数生成模块在图8中未示出)，不同之处在于，在本实施方式中的投射设备为可以投射右眼对应的虚拟图像的第二投射设备825。其同时可以用于检测用户眼睛的注视点位置，并且把与右眼对应的虚拟图像清晰投射至右眼眼底。

所述第一虚拟图像投射装置的结构与所述第二虚拟图像投射装置820的结构类似(所述虚拟图像投射装置的成像参数生成模块在图8中未示出)，但是其不具有微型摄像头，并且没有复合注视点检测装置的功能。如图8所示，所述第一虚拟图像投射装置包括：

第一投射设备811，用于将与左眼对应的虚拟图像向左眼眼底投射；

第一焦距可调透镜813，用于对所述第一投射设备811与眼底之间的成像参数进行调节，使得对应的虚拟图像可以清晰地呈现在左眼眼底；

第三分光镜812，用于在所述第一投射设备811与所述第一焦距可调透镜813之间进行光路传递；

第四分光镜814，用于在所述第一焦距可调透镜813与所述左眼眼底之间进行光路传递。

图9为本发明实施例提供的一种信息处理部分900的结构示意图，本发明具体实施例并不对信息处理部分900的具体实现做限定。如图9所示，该信息处理部分900可以包括：

处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930、以及通信总线940。其中：

处理器910、通信接口920、以及存储器930通过通信总线940完成相互间的通信。

通信接口920，用于与比如客户端等的网元通信。

处理器910，用于执行程序932，具体可以实现上述图1至图8所示的装置实施例中图像生成装置、注视点检测装置的，虚拟图像投射装置的成像参数生成模块和反变形处理模块图像处理设备的相关功能。

具体地，程序932可以包括程序代码，所述程序代码包括计算机操作指令。

处理器910可能是一个中央处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器930，用于存放程序932。存储器930可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述装置实施例中的对应描述，在此不再赘述。

通过上述的本发明实施例的内容投射系统，可以自动实时检测用户注视点位置并且自适应的将需要投射的虚拟内容进行与所述注视点位置对应的处理，使得虚拟内容与用户正在观看到真实或虚拟场景进行效果更佳的融合，提高用户的视觉体验。

如图10所示，本发明实施例的一种可能的实施方式提供了一种内容投射方法，包括：

S110：注视点检测步骤，用于检测当前眼睛的注视点位置；

S120：图像生成步骤，用于根据可视化信息以及所述注视点位置，生成虚拟图像；

S130：虚拟图像投射步骤，用于根据所述注视点位置将所述虚拟图像投射至眼底。

优选地，在本发明实施例的一种可能的实现方式中，所述可视化信息包括：图形信息和/或图像信息。

优选地，在本发明实施例的一种可能的实现方式中，所述图像生成步骤包括：

优选地，在本发明实施例的一种可能的实现方式中，所述图像生成步骤还包括：

优选地，在本发明实施例的一种可能的实现方式中，所述可视化信息分别与用户的两只眼睛对应。

优选地，在本发明实施例的一种可能的实现方式中，所述可视化信息的成像参数分别与用户的两只眼睛对应。

优选地，在本发明实施例的一种可能的实现方式中，所述虚拟图像投射步骤包括：

向对应的眼底投射所述虚拟图像；

将所述投射的虚拟图像成像在所述眼底。

优选地，在本发明实施例的一种可能的实现方式中，所述虚拟图像投射步骤还包括：

优选地，在本发明实施例的一种可能的实现方式中，所述方法还包括：

检测当前眼睛瞳孔的大小。

优选地，在本发明实施例的一种可能的实现方式中，所述可视化信息的成像参数包括景深信息。

优选地，在本发明实施例的一种可能的实现方式中，所述可视化信息参数确定步骤还包括，根据所述眼睛瞳孔的大小生成所述景深信息。

优选地，在本发明实施例的一种可能的实现方式中，所述图像渲染步骤包括：

优选地，在本发明实施例的一种可能的实现方式中，所述注视点检测步骤包括：

采集眼睛眼底呈现的图像；

优选地，在本发明实施例的一种可能的实现方式中，所述进行图像采集位置与眼睛之间光路的成像参数的调节包括：

优选地，在本发明实施例的一种可能的实现方式中，所述注视点检测步骤还包括：

向眼底投射光斑图案。

上述各步骤的实施方式与上述装置实施例中对应模块或单元的功能的描述相同，此处不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims

1.一种内容投射系统，其特征在于，包括：

注视点检测装置，用于检测当前眼睛的注视点位置；

虚拟图像投射装置，用于根据所述注视点位置将所述虚拟图像投射至眼底；

其中，所述注视点位置包括所述眼睛的注视点到眼睛的距离。

2.如权利要求1所述的系统，其特征在于，所述图像生成装置包括：

3.如权利要求2所述的系统，其特征在于，所述图像生成装置还包括：

4.如权利要求3所述的系统，其特征在于，所述可视化信息分别与用户的两只眼睛对应。

5.如权利要求3或4所述的系统，其特征在于，所述可视化信息的成像参数分别与用户的两只眼睛对应。

6.如权利要求1所述的系统，其特征在于，所述虚拟图像投射装置包括：

投射模块，用于向对应的眼底投射所述虚拟图像；

7.如权利要求6所述的系统，其特征在于，所述可调成像模块还包括：

分光单元，用于进行所述投射模块与眼底之间的光路传递。

8.如权利要求7所述的系统，其特征在于，所述分光单元包括曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，进行所述投射模块与眼底之间的光路传递。

9.如权利要求8所述的系统，其特征在于，所述虚拟图像投射装置包括：

10.如权利要求3所述的系统，其特征在于，所述注视点检测装置还包括：

瞳孔检测模块，用于检测当前眼睛瞳孔的大小。

11.如权利要求10所述的系统，其特征在于，所述可视化信息的成像参数包括景深信息；

12.如权利要求11所述的系统，其特征在于，所述图像渲染模块包括：

13.如权利要求1所述的系统，其特征在于，所述注视点检测装置包括：

图像采集设备，用于采集眼睛眼底呈现的图像；

14.如权利要求13所述的系统，其特征在于，所述可调成像设备包括：

15.如权利要求13所述的系统，其特征在于，所述可调成像设备包括：

16.如权利要求13所述的系统，其特征在于，所述注视点检测装置还包括：

投射设备，用于向眼底投射光斑图案。

17.如权利要求13所述的系统，其特征在于，所述注视点检测装置和所述虚拟图像投射装置的功能由同一设备实现。

18.一种内容投射方法，其特征在于，包括：

注视点检测步骤，用于检测当前眼睛的注视点位置；

虚拟图像投射步骤，用于根据所述注视点位置将所述虚拟图像投射至眼底；

19.如权利要求18所述的方法，其特征在于，所述可视化信息包括：图形信息和/或图像信息。

20.如权利要求19所述的方法，其特征在于，所述图像生成步骤包括：

21.如权利要求20所述的方法，其特征在于，所述图像生成步骤还包括：

22.如权利要求21所述的方法，其特征在于，所述可视化信息分别与用户的两只眼睛对应。

23.如权利要求21或22所述的方法，其特征在于，所述可视化信息的成像参数分别与用户的两只眼睛对应。

24.如权利要求18所述的方法，其特征在于，所述虚拟图像投射步骤包括：

向对应的眼底投射所述虚拟图像；

将所述投射的虚拟图像成像在所述眼底。

25.如权利要求24所述的方法，其特征在于，所述虚拟图像投射步骤还包括：

26.如权利要求25所述的方法，其特征在于，所述虚拟图像投射步骤包括：

27.如权利要求21所述的方法，其特征在于，所述方法还包括：

检测当前眼睛瞳孔的大小。

28.如权利要求27所述的方法，其特征在于，所述可视化信息的成像参数包括景深信息。

29.如权利要求28所述的方法，其特征在于，所述可视化信息参数确定步骤还包括，根据所述眼睛瞳孔的大小生成所述景深信息。

30.如权利要求29所述的方法，其特征在于，所述图像渲染步骤包括：

31.如权利要求18所述的方法，其特征在于，所述注视点检测步骤包括：

采集眼睛眼底呈现的图像；

32.如权利要求31所述的方法，其特征在于，所述进行图像采集位置与眼睛之间光路的成像参数的调节包括：

33.如权利要求31所述的方法，其特征在于，所述注视点检测步骤还包括：

分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到采集所述眼底呈现的图像的图像采集设备。

34.如权利要求31所述的方法，其特征在于，所述注视点检测步骤还包括：

向眼底投射光斑图案。