CN108986195B - 一种结合环境映射和全局光照渲染的单镜头混合现实实现方法 - Google Patents

Abstract

本发明公开了一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，包括对虚拟物体进行定位，并生成现实场景模型；对现实场景模型和虚拟物体进行体素化及过滤；环境贴图生成，将现实场景图像采用均匀分配方式切分，再进行翻转映射为环境贴图；锥追踪渲染，采用加入环境映射的锥追踪方式渲染输出成为合成图像。本发明能够利用GPU的强大图形计算能力，增强一般的混合现实系统的输出效果，能够在单镜头的条件下模拟光亮物体对周围环境的反映效果。

Description

一种结合环境映射和全局光照渲染的单镜头混合现实实现 方法

技术领域

本发明涉及混合现实实现方法，特别是涉及一种结合环境映射和全局光照渲染的单镜头混合现实实现方法。

背景技术

现今计算机在各个行业中都有着十分重要的作用，而人机交互接口的友好性便是一个很重要的课题。一个差的人机接口会很大程度上阻碍应用的被接受程度，即使这个应用有着很强的功能。随着发展，人机接口从命令行、到图形界面、再到多媒体界面，近几年则兴起了虚拟现实。混合现实(Mixed Reality,MR)则是表达虚拟和现实相融合的概念。MR综合了计算机图形、融合显示、多传感器等多门学科，对该技术的需求也在不断增长，很多行业都出现了对它的应用。

目前国内外关于混合现实还存在着有待解决的问题：

(1)具有真实感的混合现实效果需要达到光照一致性的要求，但是这一点仍有着许多难题，比如整体的环境光照信息无法通过普通单一摄像头获取，高质量光照渲染计算量要求大等。

(2)学术界提出了许多提高光照一致性的算法，但是这些算法往往复杂度比较高，运行比较耗时，很难应用到实时性要求高的场合，而且许多算法采用增添额外镜头或放置标志物的方式，通用性较低。

(3)学术界对混合现实的渲染方面基本采用原始的局部光照，渲染结果较为粗糙。而且全局光照技术较少能够达到实时效果，随着技术发展也出现了几种实时的全局光照技术，但是加上混合现实系统本身的计算需要，要能够达到实时性的要求也是待解决的问题。

发明内容

发明目的：针对现有技术的不足，提供一种结合环境映射和全局光照渲染的单镜头混合现实实现方法。

技术方案：本发明提供了一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，相对于一般混合现实实现方法，利用体素锥追踪全局光照技术模拟出虚拟物体和真实背景光线交互效果，利用环境映射增强光亮物体对真实环境的反映效果。包括以下步骤：

(1)对相机图像还原生成现实场景模型，然后对虚拟物体进行定位

本发明对虚拟物体的定位采用还原现实场景模型从而放置虚拟物体的方法，从相机获取现实场景图像，估计现实场景中的平面，对平面进行平滑过滤，生成现实场景模型，将虚拟物体放置在平面中心；

(2)体素化及过滤

对步骤(1)中的现实场景模型和虚拟物体进行体素锥追踪准备操作，即创建包含delta体的层次体素结构，并对层次体素结构中的体素进行过滤；

将预先建立好的现实场景模型和虚拟物体进行体素化，在体素中存入从预先配置好的光源发出的辐射，将现实场景模型的几何特征在体素中作出近似表示，体素使用稀疏八叉树结构进行管理，该结构不存储那些没有被占用的体素从而节约存储空间。体素存储在显存中，避免将数据从内存传到GPU而导致的性能瓶颈。现实场景模型体素化之后进行过滤，将八叉树中存入的最底层体素自底向上逐层过滤，填满整个稀疏八叉树内的体素，对应后续的锥追踪渲染采样过程。

渲染混合现实场景时需要考虑到虚拟物体给现实场景模型带来的光照上的影响，因此会有三个由体素表示的辐射场，一个是在没有引入虚拟物体时的现实场景模型的辐射场，另一个是引入了虚拟物体时的辐射场，最后一个是从前两者中提取出的校正性的差值的辐射场即delta体，用来在后续的步骤中辅助现实场景模型在包含虚拟物体时的光照渲染。

(3)环境贴图生成，将现实场景图像采用均匀分配方式切分，再进行翻转映射为环境贴图；

对仅存在单镜头的条件下，将摄像机获取的图像进行一定规则的切分，对应环境贴图的各部分进行形变，由于单镜头视野有限，无法获取到虚拟物体位置上完整的周围图像，拍不到的不足的部分通过翻转映射的方式来补充，从而生成完整的环境贴图，达到一种可以接受的近似整体环境映射的效果。

(4)锥追踪渲染

利用步骤(1)-步骤(3)得到的数据，采用加入环境映射的锥追踪方式渲染输出成为合成图像。

对于现实场景模型表面上的每个点，利用生成好的体素结构用锥追踪获取体素内的光照和几何等数据，从而模拟间接光照的效果。对于光照的高光反射部分向视线在表面的反射方向射出一个较窄的锥，对于漫反射部分向表面反射半球各方向均匀射出多个较宽的锥，以覆盖整个半球范围。而获取环境映射就基于锥追踪的方式，从各个锥中心射出射线采样之前生成好的环境贴图，利用锥追踪获取的遮蔽值对返回颜色加权处理，解决遮蔽的问题。直接采用射线方式采样环境贴图会导致和锥范围的不一致问题，于是采用mipmap技术将环境贴图生成多级纹理，结合采样锥孔径大小对环境映射采样进行层级选择，达到近似用锥对环境贴图进行范围采样的效果。现实场景模型和虚拟物体进行区分渲染，现实场景模型表面从delta体中用锥追踪获取间接光照，虚拟物体则直接从重构的体素中获取光照，从而达到现实场景模型能够在原始背景图像的基础上渲染引入虚拟物体所产生的反射和倒影效果。

进一步的，所述步骤(1)具体为：通过采样或者生成的深度信息，将现实场景图像中的像素还原成点云，再对点云进行法线估计，生成各个点的法线；然后计算每个点的K近邻，通过它们的法线方向检查它们是否属于同一个平面，从而估计出大概属于平面区域的点；最后提取出平面上的点，先估计出最可能的平面，将点向平面方向移动，再连接这些点还原出平面的网格模型，并将该网格模型作为现实场景模型；其中，深度信息代表像素点相对相机距离。

进一步的，所述步骤(2)具体为：现实场景模型和虚拟物体首先被体素化成存储表面法线的体V_η，而delta体V_Δ用切分注入方法初始化；光源生成两个反射阴影贴图RSM，一个是来自现实场景模型的RSM，用R_ρ表示，另一个则是在现实场景模型中增加了一个虚拟物体的RSM，用R_μ表示；其中，切分注入方法就是对每个RSM像素首先判断是属于现实场景模型还是属于虚拟物体，属于现实场景模型的像素保持不变，属于虚拟物体的像素就将从不包含虚拟物体的R_ρ中创建的虚拟点光源VPL和包含虚拟物体的R_μ中的负虚拟点光源VPL存入对应位置的体素；得到两个体V_ρ和V_μ中体素的差值为V_Δ＝V_ρ-V_μ，其中V_ρ存储由R_ρ生成的VPL，V_μ存储由R_μ生成的VPL，V_Δ为delta体；

前面体素化的值都是存储在最底层的层次体素结构中，而层次体素结构中上层的体素就需要从底层体素过滤填充而得；对于k层的八叉树需要进行k-1步过滤填充，每步中平均上一层的子节点中的值存到当前层中。

进一步的，所述步骤(3)中光照数据采用格式为RGBA16的立方贴图来存储，环境贴图生成步骤为：

(31)对于+x、-x方向的面，将划分后的图像的左右两侧区域映射到面上；

(32)对于+y、-y方向的面，将划分后的图像的上下两侧区域映射到面上；

(33)对于-z方向的面，将图像中心区域映射；

(34)对于+z方向的面，将图像中心区域翻转映射。

进一步的，所述步骤(4)具体为：对于虚拟物体表面上的每个点，利用生成的层次体素结构用锥追踪获取体素内的光照和几何数据，从而模拟间接光照的效果；对于光照的高光反射部分向视线在虚拟物体表面的反射方向射出一个较窄的锥，对于漫反射部分向表面反射半球各方向均匀射出多个较宽的锥，以覆盖整个半球范围；而获取环境映射就基于锥追踪的方式，从各个锥中心射出射线采样之前生成好的环境贴图，利用锥追踪获取的遮蔽值对返回颜色加权处理；采用mipmap技术将环境贴图生成多级纹理，结合采样锥孔径大小对环境映射采样进行层级选择，达到近似用锥对环境贴图进行范围采样的效果；现实场景模型和虚拟物体进行区分渲染，现实场景模型表面从delta体中用锥追踪获取间接光照，虚拟物体则直接从重构的体素中获取光照，从而达到现实场景模型能够在现实场景图像的基础上渲染引入虚拟物体所产生的反射和倒影效果。

更进一步的，所述光照包括以下步骤：

(41)直接重光照

从现实场景模型表面点p向着光源方向

投射一个阴影锥，使用阴影锥操作C_s计算沿着锥的遮蔽，锥的孔径γ则由光源的范围来决定；为了给阴影计算正确的反辐射量，遮蔽系数会乘上入射光源L_γ本该产生的能量的负数，这个值通过双向反射分布方程BRDFf_γ来预计：

其中，T_Δ表示加在现实场景图像上的反辐射；

表示摄像机方向，

表示该点法线方向；

表示点乘这两个向量并且取大于0的值；

(42)间接光照

其中，

表示现实场景模型表面间接光照采样结果，C_Δ表示锥追踪算子，从delta体V_Δ中收集辐射，V表示体素体，σ表示漫反射锥孔径大小，β表示高光反射锥孔径大小；f_γ是双向反射分布方程，

表示光源方向，

表示摄像机方向，

表示视角反射方向，

表示该点法线方向；

表示点乘其中两个向量并且取大于0的值；

(43)虚拟对象光照

虚拟对象需要同时从体素中和环境贴图中获得光照：

其中，T_ρ表示虚拟对象表面直接光照结果，L_γ表示直接光源光照值，

表示光源方向，f_γ是双向反射分布方程，

表示摄像机方向；

表示虚拟对象表面间接光采样结果，V表示体素体，σ表示漫反射锥孔径大小，β是高光反射孔径大小，

表示视角反射方向，

表示该点法线方向，

表示点乘其中两个向量并且取大于0的值；C'_ρ表示修改的锥追踪方法，C_ρ表示锥追踪算子，从体V_ρ中收集辐射；对于高光反射部分：

是进行C_ρ锥追踪操作后累积结束的遮蔽值，I_env是从环境贴图获取的光照值，β_env表示高光锥的环境贴图采样层级；对于漫反射部分：σ_env表示漫反射锥的环境贴图采样层级。

有益效果：与现有技术相比，本发明在一般混合现实实现方法基础上，改进渲染的方法，利用GPU的强大图形计算能力，采用全局光照增强最终合成效果；另外，本发明还改进了单镜头下混合现实系统对光亮物体渲染的效果，近似出了反映周围环境的效果；改进了体素锥追踪全局光照技术在混合现实中的应用，并且采用delta体渲染出较为自然的阴影效果；对环境映射采用mipmap技术结合锥追踪中的锥孔径进行过滤，达到了近似一致的取样效果。

附图说明

图1是本发明方法流程图；

图2是背景图像切分示意图；

图3是锥采样示意图；

图4是本发明方法与现有技术方法测试结果对比图，其中(a)为本发明方法测试结果图，(b)为现有技术方法测试结果图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进行详细说明。

本发明考虑未加入虚拟物体时对整个场景的光照结果和加入虚拟物体后整个场景的光照结果，这样对于体素锥追踪(VCT)来说会产生两个不同的直接光照得到的体素结构体，将这两个体素结构体相减，就只剩下加入虚拟物体之后发生变化的辐射体素结构体(即delta体)，从而利用这个差值体(即delta体)来进行渲染。并且对于体素锥追踪(VCT)环境映射方法，在混合现实(MR)中利用切分背景图像的思路来达成效果，最终生成真实感十分高的虚拟物体，并且可以在现实场景上投射较为自然的阴影。

如图1所示，一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，主要流程是从相机获取现实场景图像，通过现实场景图像还原出现实场景模型，利用该模型定位虚拟物体的位置，再对现实场景模型和虚拟物体进行体素化和过滤，最后结合从现实场景图像进行切分映射生成的环境贴图进行锥追踪渲染输出。主要包括四个阶段，即定位、体素化及过滤、环境贴图生成和锥追踪渲染。具体包括以下步骤：

(1)对相机图像还原生成现实场景模型，然后对虚拟物体进行定位

本发明对虚拟物体的定位采用还原现实场景模型从而放置虚拟物体的方法，从相机获取现实场景图像，还原现实场景图像中的平面，将虚拟物体放置在平面中心。

从现实场景图像中获取深度信息，利用深度信息提取现实场景图像中近似平面的部分，选择其中最为接近中心和最大的平面，再对该平面进行平滑过滤，还原成为网格模型，即现实场景模型，在渲染阶段提供给虚拟物体。具体的：

由深度摄像头采样得到背景图像中的深度信息，其中，深度信息代表像素点相对相机距离；首先将现实场景图像中的像素还原成点云，再对点云进行法线估计，生成各个点的法线。然后计算每个点的K近邻，通过它们的法线方向检查它们是否属于同一个平面，从而估计出大概属于平面区域的点。最后提取出平面上的点，先估计出最可能的平面，将点向平面方向移动，再连接这些点还原出平面的网格模型，并将该网格模型作为现实场景模型。

(2)体素化及过滤

对步骤(1)中的现实场景模型和虚拟物体进行体素锥追踪准备操作，即创建体素结构和delta体。

体素化主要是给现实场景模型和虚拟物体建立一个预过滤的层次体素结构，层次体素结构采用稀疏八叉树来管理，层次体素结构包括若干个体素。体素中获取辐射的方式主要是通过利用反射阴影贴图(RSM)方法，从光源视角对现实场景模型进行标准的光栅化渲染生成RSM，再对每一个RSM的像素建立片段着色器，来将该像素生成的虚拟点光源(VPL)的辐射值输入给对应位置的体素。对于法线的存储则是平均该体素内的法线方向得到的结果。

现实场景模型和虚拟物体首先被体素化成存储表面法线的体V_η，而delta体V_Δ用切分注入方法初始化。光源会生成两个反射阴影贴图(RSM)，一个是来自现实场景模型的RSM(用R_ρ表示)，另一个则是在现实场景模型中增加了一个虚拟物体的RSM(用R_μ表示)。切分注入方法就是对每个RSM像素首先判断是属于现实场景模型还是属于虚拟物体，属于现实场景模型的像素保持不变，属于虚拟物体的像素就将从不包含虚拟物体的R_ρ中创建的虚拟点光源(VPL)和包含虚拟物体的R_μ中的负虚拟点光源(VPL)存入对应位置的体素。这样的结果就是得到两个体V_ρ和V_μ中体素的差值，其中V_ρ存储由R_ρ生成的VPL，V_μ表示存储由R_μ生成的VPL。

两个存储不同光照的体V_μ和V_ρ中直接存入从上面两个对应的RSM中生成的VPL。要计算V_Δ，现有技术方法是将V_μ和V_ρ都存在GPU内，对每个点同时查询两个体中体素的辐射贡献，将它们的差值加到现实场景图像上，但是这个方法需要两倍的计算时间来提取光照差别。所以可以选择直接存储两个体中光照的差再存到一个体中，也就是本发明所述的切分注入方法生成的delta体。这种方法十分适合用来渲染混合现实MR，并且完全可以在GPU上实现。

接下来就是和VCT一样的过滤过程，前面体素化的值都是存储在最底层的层次体素结构中，而层次体素结构中上层的体素就需要从底层体素过滤填充而得。对于k层的八叉树需要进行k-1步过滤填充，每步中平均上一层的子节点中的值存到当前层中。

(3)环境贴图生成，将现实场景图像采用均匀分配方式切分，再进行翻转映射为环境贴图；

对仅存在单镜头的条件下，将摄像机获取的现实场景图像进行一定规则的切分，对应环境贴图的各部分进行形变。由于单镜头视野有限，无法获取到虚拟物体位置上完整的周围图像，拍不到的不足的部分通过翻转映射的方式来补充，从而生成完整的环境贴图，达到一种可以接受的近似整体环境映射的效果。

主要思路是将当前的显示场景图像划分，再经过映射贴到立方贴图(cubemap)的6个面上，近似整个现实场景图像。

本发明实施例中光照数据采用格式为RGBA16的立方贴图来存储。贴图主要生成步骤为：

(31)对于+x、-x方向的面，将划分后的图像的左右两侧区域映射到面上；

(32)对于+y、-y方向的面，将划分后的图像的上下两侧区域映射到面上；

(33)对于-z方向的面，将图像中心区域映射；

(34)对于+z方向的面，将图像中心区域翻转映射。

一个立方贴图有着6个面，每个面代表着一个方向。这个方法将图像划分为5个区域，对应着立方贴图的一半(按照xy平面切分)的5个面。如步骤(31)-(34)中所述各个区域就分配给立方贴图中的各个面。如图2所示，使用均匀划分的方案，将屏幕中心的四分之一大小的区域作为-z方向的面，连接中心四角的点到整体图像四角，划分四周部分，再对这些部分进行透视投影，变成平面。

对于立方贴图的另一半中x、y方向的面，将从屏幕图像分割出来的各部分沿着对应方向镜面翻转，再同样映射到各个面上。比如+x方向的面，就用右侧的部分水平翻转映射到后半部分。而+z方向同步骤中所述，直接将切分后的中心部分进行水平翻转得到。

(4)锥追踪渲染

从现实场景模型的表面点射出锥体，在锥体步进过程中，对应于当前的锥半径和步进位置，从层次体素结构中获取相应层级和位置的体素，累积这些值到最终的渲染结果中。如图3所示，左上的摄像机采样到虚拟物体表面上的一点，从该点发射出数个较宽的锥来获取漫反射光照，在视点的反射方向发射出一条较窄的锥来获取高光光照。对于虚拟物体，每个锥都会对相应的方向进行环境贴图采样，如图3中虚线箭头所示。

对于虚拟物体表面上的每个点，利用生成好的层次体素结构用锥追踪获取体素内的光照和几何等数据，从而模拟间接光照的效果。对于光照的高光反射部分向视线在虚拟物体表面的反射方向射出一个较窄的锥，对于漫反射部分向表面反射半球各方向均匀射出多个较宽的锥，以覆盖整个半球范围。而获取环境映射就基于锥追踪的方式，从各个锥中心射出射线采样之前生成好的环境贴图，利用锥追踪获取的遮蔽值对返回颜色加权处理，解决遮蔽的问题。直接采用射线方式采样环境贴图会导致和锥范围的不一致问题，于是采用电脑图形图像技术(mipmap技术)将环境贴图生成多级纹理，结合采样锥孔径大小对环境映射采样进行层级选择，达到近似用锥对环境贴图进行范围采样的效果。现实场景模型和虚拟物体进行区分渲染，现实场景模型表面从delta体中用锥追踪获取间接光照，虚拟物体则直接从重构的体素中获取光照，从而达到现实场景模型能够在现实场景图像的基础上渲染引入虚拟物体所产生的反射和倒影效果。

具体为：

(41)直接重光照

直接重光照的变化基本上都是由虚拟物体的阴影投在现实场景模型表面所造成的。为了除去已经存在现实场景模型表面上的能量，从现实场景模型表面点p向着光源方向

投射一个阴影锥，使用阴影锥操作C_s计算沿着锥的遮蔽，锥的孔径γ则由光源的范围来决定。为了给阴影计算正确的反辐射量(anti-radiance)，遮蔽系数会乘上入射光源L_γ本该产生的能量的负数，这个值通过双向反射分布方程BRDFf_γ来预计。

其中，T_Δ表示加在现实场景图像上的反辐射，它会正确地减去已有光照，从而产生一个阴影；

表示摄像机方向，

表示该点法线方向；

表示点乘这两个向量并且取大于0的值。

(42)间接光照

上面的等式定义了现实场景模型表面间接光照采样操作

对于每个现实场景模型表面点发出9个宽孔径的锥来计算漫反射贡献，在视角反射方向发射一个锥来计算高光贡献。两种情况都是使用锥追踪算子C_Δ从delta体V_Δ中收集间接光照。其中V表示体素体，σ表示漫反射锥孔径大小，β表示高光反射锥孔径大小；f_γ是双向反射分布方程，

表示光源方向，

表示摄像机方向，

表示视角反射方向，

表示该点法线方向；

表示点乘其中两个向量并且取大于0的值。

因为虚拟表面的反射会遮挡真实表面的反射，需要考虑高光滑度时的问题：许多从真实图像上的反射会来自于未重构的几何信息。简单地在图像加上间接弹跳将会导致透明的问题。所以由C_Δ得到的采样可见度α被用来对背景图片加权。

(43)虚拟对象光照

虚拟对象需要同时从体素中和环境贴图中获得光照。

其中，T_ρ表示虚拟对象表面直接光照结果，L_γ表示直接光源光照值，

表示光源方向，f_γ是双向反射分布方程，

表示摄像机方向；

表示虚拟对象表面间接光采样结果，V表示体素体，σ表示漫反射锥孔径大小，β是高光反射孔径大小，

表示视角反射方向，

表示该点法线方向，

表示点乘其中两个向量并且取大于0的值；C'_ρ表示修改的锥追踪方法，C_ρ表示锥追踪算子，从体V_ρ中收集辐射；对于高光反射部分：

是进行C_ρ锥追踪操作后累积结束的遮蔽值，I_env是从环境贴图获取的光照值，β_env表示高光锥的环境贴图采样层级；对于漫反射部分：σ_env表示漫反射锥的环境贴图采样层级。

本发明方法的测试结果示意截图如图4中(a)所示，同现有的混合现实方法测试结果图4中(b)相比，本发明方法能够在单镜头的条件下，近似模拟出光亮物体映射周围现实环境的效果，并且整体提高了虚拟物体的亮度，使其更符合周围现实场景，提升虚拟和现实融合的效果，而现有技术方法如图4中(b)中未被光照到的部分显得特别黑，并且没有任何对周围现实场景的反映。

Claims (4)

1.一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，其特征在于，包括以下步骤：

(1)对相机图像还原生成现实场景模型，然后对虚拟物体进行定位

对虚拟物体的定位采用还原现实场景模型从而放置虚拟物体的方法，从相机获取现实场景图像，估计现实场景中的平面，对平面进行平滑过滤，生成现实场景模型，将虚拟物体放置在平面中心；

(2)体素化及过滤

对步骤(1)中的现实场景模型和虚拟物体进行体素锥追踪准备操作，即创建包含delta体的层次体素结构，并对层次体素结构中的体素进行过滤；

(3)环境贴图生成，将现实场景图像采用均匀分配方式切分，再进行翻转映射为环境贴图；

光照数据采用格式为RGBA16的立方贴图来存储，环境贴图生成步骤为：

(31)对于+x、-x方向的面，将划分后的图像的左右两侧区域映射到面上；

(32)对于+y、-y方向的面，将划分后的图像的上下两侧区域映射到面上；

(33)对于-z方向的面，将图像中心区域映射；

(34)对于+z方向的面，将图像中心区域翻转映射；

(4)锥追踪渲染

利用步骤(1)-步骤(3)得到的数据，采用加入环境映射的锥追踪方式渲染输出成为合成图像；具体为：对于虚拟物体表面上的每个点，利用生成的层次体素结构用锥追踪获取体素内的光照和几何数据，从而模拟间接光照的效果；对于光照的高光反射部分向视线在虚拟物体表面的反射方向射出一个较窄的锥，对于漫反射部分向表面反射半球各方向均匀射出多个较宽的锥，以覆盖整个半球范围；而获取环境映射就基于锥追踪的方式，从各个锥中心射出射线采样之前生成好的环境贴图，利用锥追踪获取的遮蔽值对返回颜色加权处理；采用mipmap技术将环境贴图生成多级纹理，结合采样锥孔径大小对环境映射采样进行层级选择，达到近似用锥对环境贴图进行范围采样的效果；现实场景模型和虚拟物体进行区分渲染，现实场景模型表面从delta体中用锥追踪获取间接光照，虚拟物体则直接从重构的体素中获取光照，从而达到现实场景模型能够在现实场景图像的基础上渲染引入虚拟物体所产生的反射和倒影效果。

2.根据权利要求1所述的一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，其特征在于，所述步骤(1)具体为：通过采样或者生成的深度信息，将现实场景图像中的像素还原成点云，再对点云进行法线估计，生成各个点的法线；然后计算每个点的K近邻，通过它们的法线方向检查它们是否属于同一个平面，从而估计出属于平面区域的点；最后提取出平面上的点，先估计出最可能的平面，将点向平面方向移动，再连接这些点还原出平面的网格模型，并将该网格模型作为现实场景模型；其中，深度信息代表像素点相对相机距离。

3.根据权利要求1所述的一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，其特征在于，所述步骤(2)具体为：现实场景模型和虚拟物体首先被体素化成存储表面法线的体V_η，而delta体V_Δ用切分注入方法初始化；光源生成两个反射阴影贴图RSM，一个是来自现实场景模型的RSM，用R_ρ表示，另一个则是在现实场景模型中增加了一个虚拟物体的RSM，用R_μ表示；其中，切分注入方法就是对每个RSM像素首先判断是属于现实场景模型还是属于虚拟物体，属于现实场景模型的像素保持不变，属于虚拟物体的像素就将从不包含虚拟物体的R_ρ中创建的虚拟点光源VPL和包含虚拟物体的R_μ中的负虚拟点光源VPL存入对应位置的体素；得到两个体V_ρ和V_μ中体素的差值为V_Δ＝V_ρ-V_μ，其中V_ρ存储由R_ρ生成的VPL，V_μ存储由R_μ生成的VPL，V_Δ为delta体；

前面体素化的值都是存储在最底层的层次体素结构中，而层次体素结构中上层的体素就需要从底层体素过滤填充而得；对于k层的八叉树需要进行k-1步过滤填充，每步中平均上一层的子节点中的值存到当前层中。

4.根据权利要求1所述的一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，其特征在于，所述光照包括以下步骤：

(41)直接重光照

从现实场景模型表面点p向着光源方向

投射一个阴影锥，使用阴影锥操作C_s计算沿着锥的遮蔽，锥的孔径γ则由光源的范围来决定；为了给阴影计算正确的反辐射量，遮蔽系数会乘上入射光源L_γ本该产生的能量的负数，这个值通过双向反射分布方程BRDFf_γ来预计：

其中，T_Δ表示加在现实场景图像上的反辐射；

表示摄像机方向，

表示该点法线方向；

表示点乘这两个向量并且取大于0的值；

(42)间接光照

其中，

表示现实场景模型表面间接光照采样结果，C_Δ表示锥追踪算子，从delta体V_Δ中收集辐射，V表示体素体，σ表示漫反射锥孔径大小，β表示高光反射锥孔径大小；f_γ是双向反射分布方程，

表示光源方向，

表示摄像机方向，

表示视角反射方向，

表示该点法线方向；

表示点乘其中两个向量并且取大于0的值；

(43)虚拟对象光照

虚拟对象需要同时从体素中和环境贴图中获得光照：

其中，T_ρ表示虚拟对象表面直接光照结果，L_γ表示直接光源光照值，

表示光源方向，f_γ是双向反射分布方程，

表示摄像机方向；

表示虚拟对象表面间接光采样结果，V表示体素体，σ表示漫反射锥孔径大小，β是高光反射孔径大小，

表示视角反射方向，

表示该点法线方向，

表示点乘其中两个向量并且取大于0的值；C'_ρ表示修改的锥追踪方法，C_ρ表示锥追踪算子，从体V_ρ中收集辐射；对于高光反射部分：

是进行C_ρ锥追踪操作后累积结束的遮蔽值，I_env是从环境贴图获取的光照值，β_env表示高光锥的环境贴图采样层级；对于漫反射部分：σ_env表示漫反射锥的环境贴图采样层级。

Images