CN113470161B - 虚拟环境中容积云的光照确定方法、相关设备及存储介质 - Google Patents

Abstract

本申请涉及一种虚拟环境中容积云的光照确定方法、相关设备及存储介质。方法包括：确定当前帧虚拟图像中容积云的任一像素的理论光照值；确定所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息；根据所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，确定所述任一像素对应的混合系数；按照所述混合系数，对所述第N帧图像中所述任一像素的光照值以及所述理论光照值进行混合，得到所述当前帧虚拟图像中所述任一像素的光照值。用以解决虚拟场景中的容积云的区域有运动物体时，容积云渲染后的浓度受到运动物体存在的影响，导致与模拟的真实场景存在偏差的问题。

Description

虚拟环境中容积云的光照确定方法、相关设备及存储介质

技术领域

本申请涉及虚拟现实技术领域，尤其涉及一种虚拟环境中容积云的光照确定方法、相关设备及存储介质。

背景技术

容积云(Volumetric Clouds)，一般称为体积云或者体积雾，在游戏等虚拟现实场景中的体积云就是使用图像引擎来模拟真实云雾半透明、无规则的表现效果。

光线步进(英文名称：Ray Marching)，是制作体积云或体积雾过程中渲染光线常用的一种技术，用于实时场景的快速渲染。主要渲染思想是：模拟摄像机位置，根据视椎体的扩张角度，以摄像机位置为原点，步进式发射射线，当射线碰撞到物体之后，返回其深度信息，如果到视椎体的最大距离之前都没有返回，那么可以以此判断该像素点没有对应物体，最后根据返回的信息计算光照。

为了平衡效果和效率，在使用Ray Marching制作体积云或体积雾时，经常采用时域优化技术，对制作的体积云或体积雾的光线进行优化。时域优化的主要思路为：将对三维空间中某个体素的多次光照计算分摊到多帧，也就是说，在Ray Marching计算得到的当前帧的理论光照后，将当前帧的理论光照与历史帧的光照混合，作为当前帧最终的光照。

如果体积云或雾覆盖的区域有物体运动，那么在物体运动的路线上，体积雾会出现鬼影(也称为ghosting)现象，也就是说在运动物体刚离开的区域内，体积云或雾的浓度会受到运动物体存在时浓度的影响。

发明内容

本申请提供了一种虚拟环境中容积云的光照确定方法、相关设备及存储介质，用以解决虚拟场景中的容积云的区域有运动物体时，容积云渲染后的浓度受到运动物体存在的影响，导致与模拟的真实场景存在偏差的问题。

第一方面，本申请实施例提供了一种虚拟环境中容积云的光照确定方法，包括：

确定当前帧虚拟图像中容积云的任一像素的理论光照值；

确定所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息；所述遮挡变化信息用于指示所述任一像素是否从被运动物体遮挡状态转换为无遮挡状态；所述N为大于1的整数；所述N帧图像包括第1至第N帧图像；

根据所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，确定所述任一像素对应的混合系数；

按照所述混合系数，对所述第N帧图像中所述任一像素的光照值以及所述理论光照值进行混合，得到所述当前帧虚拟图像中所述任一像素的光照值，其中，所述第N帧图像为所述当前帧虚拟图像的前一帧图像。

可选地，所述根据所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，确定所述任一像素对应的混合系数，包括：

若所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息指示，所述任一像素从被运动物体遮挡状态转换为无遮挡状态，并且最近一次在所述任一像素处出现所述运动物体是所述N帧图像中的第k帧图像，则确定所述任一像素对应的混合系数为，混合基数的k+1倍；

若所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息指示，所述任一像素不是从被运动物体遮挡状态转换为无遮挡状态，则确定所述任一像素对应的混合系数为所述混合基数。

可选地，所述确定所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，包括：

获取所述当前帧虚拟图像中所述任一像素对应的第一深度值；以及获取所述第N帧图像中所述任一像素对应的第二深度值；

计算获得所述第一深度值与所述第二深度值的差值；

若所述差值不大于预设门限值，则确定所述当前帧虚拟图像相对于所述第N帧图像在所述任一像素的遮挡变化信息为：不是从被运动物体遮挡状态转换为无遮挡状态；

若所述差值大于所述预设门限值，则确定所述当前帧虚拟图像相对于所述第N帧图像在所述任一像素的遮挡变化信息为：是从被运动物体遮挡状态转换为无遮挡状态；

根据所述当前帧虚拟图像相对于所述第N帧图像在所述任一像素的遮挡变化信息，以及所述第N帧图像相对于所述第N帧图像之前的M帧图像在所述任一像素的遮挡变化信息，得到所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，其中，M＝N。

可选地，所述根据所述当前帧虚拟图像相对于所述第N帧图像在所述任一像素的遮挡变化信息，以及所述第N帧图像相对于所述第N帧图像之前的M帧图像在所述任一像素的遮挡变化信息，得到所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，包括：

根据所述当前帧虚拟图像相对于所述第N帧图像在所述任一像素的遮挡变化信息，确定第N标记图，其中，若所述当前帧虚拟图像相对于所述第N帧图像在所述任一像素的遮挡变化信息，指示所述任一像素从被运动物体遮挡状态转换为无遮挡状态，在所述第N标记图中所述任一像素的值设置为N+1；若所述当前帧虚拟图像相对于所述第N帧图像在所述任一像素的遮挡变化信息，指示所述任一像素不是从被运动物体遮挡状态转换为无遮挡状态，在所述第N标记图中所述任一像素的值设置为零；

获取所述第N帧图像相对于所述M帧图像在所述任一像素的遮挡变化信息，对应的第N-1标记图；其中，若所述第N-1标记图中所述任一像素的值为零，表示所述第N帧图像相对于所述M帧图像在所述任一像素的遮挡变化信息为不是从被运动物体遮挡状态转换为无遮挡状态；若所述第N-1标记图中所述任一像素的值为m+1，表示所述第N帧图像相对于所述M帧图像中的第m帧图像在所述任一像素的遮挡变化信息为从被运动物体遮挡状态转换为无遮挡状态；

将所述第N-1标记图中所述任一像素的值减一，获得目标值；其中，若所述任一像素的值减一后所得的值小于零，则将所述目标值置为零；选取所述任一像素在所述第N标记图的值以及所述目标值中的最大值，用于指示所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息。

可选地，所述根据所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，确定所述任一像素对应的混合系数，包括：

获取用于指示所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息的所述最大值；

若所述最大值不为零，将所述最大值与混合基数的乘积所得的结果，确定为所述任一像素对应的混合系数；

若所述最大值为零，将所述混合基数确定为所述任一像素对应的混合系数。

可选地，所述按照所述混合系数，对所述第N帧图像中所述任一像素的光照值以及所述理论光照值进行混合，得到所述当前帧虚拟图像中所述任一像素的光照值，包括：

计算1与所述混合系数的差值；

将所述第N帧图像中所述任一像素的光照值与所述差值的乘积，作为第一结果；

将所述理论光照值与所述混合系数的乘积，作为第二结果；

计算所述第一结果和所述第二结果的和，将所得的和值作为所述当前帧虚拟图像中所述任一像素的光照值。

可选地，所述混合基数为：1/(N+1)。

第二方面，本申请实施例提供了一种容积云的光照确定装置，包括：

第一确定模块，用于确定当前帧虚拟图像中容积云的任一像素的理论光照值；

第二确定模块，用于确定所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息；所述遮挡变化信息用于指示所述任一像素是否从被运动物体遮挡状态转换为无遮挡状态；所述N为大于1的整数；所述N帧图像包括第1至第N帧图像；

第三确定模块，用于根据所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，确定所述任一像素对应的混合系数；

混合模块，用于按照所述混合系数，对所述第N帧图像中所述任一像素的光照值以及所述理论光照值进行混合，得到所述当前帧虚拟图像中所述任一像素的光照值，其中，所述第N帧图像为所述当前帧虚拟图像的前一帧图像。

第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储器和通信总线，其中，处理器和存储器通过通信总线完成相互间的通信；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述存储器中所存储的程序，实现第一方面所述的虚拟环境中容积云的光照确定方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的虚拟环境中容积云的光照确定方法。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，确定当前帧虚拟图像相对于当前帧虚拟图像之前的N帧图像中在任一像素的遮挡变化信息，通过该遮挡变化信息指示该像素是否从被运动物体遮挡状态转换为无遮挡状态，使得能够通过遮挡变化信息反映运动物体的运动情况。

进而，使得确定的该任一像素的混合系数，能够结合遮挡变化变化信息所反映的运动物体的运动情况，按照该混合系数，对该第N帧图像中该任一像素的光照值以及该理论光照值进行混合，得到当前帧虚拟图像中该任一像素的光照值，结合了运动物体的运动对光照值所产生的影响，避免了均匀混合多帧光照值的方式，导致与模拟的真实场景存在偏差的问题，提高了容积云的真实性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中容积云的光照确定方法应用的硬件环境示意图；

图2为本申请实施例中容积云的光照确定方法流程示意图；

图3为本申请实施例中确定当前帧虚拟图像相对于该当前帧虚拟图像之前的N帧图像在该任一像素的遮挡变化信息的方法流程示意图；

图4为本申请实施例中得到该当前帧虚拟图像相对于该当前帧虚拟图像之前的N帧图像在该任一像素的遮挡变化信息的方法流程示意图；

图5为本申请实施例中容积云的光照确定装置结构示意图；

图6为本申请实施例中电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例中提供了一种虚拟环境中容积云的光照确定方法，主要用于解决虚拟场景中的容积云的区域有运动物体时，容积云的浓度受到运动物体存在的影响，导致与模拟的真实场景存在偏差的问题。

对该问题的产生过程进行具体分析如下：

假设虚拟场景的体积雾覆盖区域中，在第n帧物体运动到A点，由于该物体的遮挡，A点雾的浓度对应到现实场景应该是比较淡的；在第n+1帧物体离开A点，由于没有物体遮挡，A点雾的浓度对应到现实场景应该是比较高的。如果将第n+1帧中A点的光照度与之前n帧中A点的光照度按照固定的混合系数进行混合，得到的混合结果中，A点所显示的雾的浓度相对真实浓度将会变淡，从而导致得到的体积雾受到前一帧运动物体的影响较大，与真实场景中运动物体对体积雾浓度的影响产生偏差。

需要说明的是，本申请各实施例中，容积云包括体积云或体积雾，体积雾/云的光照度是直接用于反映体积雾/云浓度的参数，光照值越大，渲染后的虚拟画面中体积雾/云的浓度越大，反之，光照值越小，渲染后的虚拟画面中体积雾/云的浓度越小。

本申请实施例中所提供的虚拟环境中容积云的光照确定方法，可以应用于如图1所示的由终端10和服务器11所构成的硬件环境中。如图1所示，服务器11通过网络与终端10连接，可用于为终端或终端上安装的客户端提供服务(如游戏服务、应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器11提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端10并不限定于PC(Personal Computer，个人计算机)、手机、平板电脑等。

本申请实施例的虚拟环境中容积云的光照确定方法可以由服务器11来执行，也可以由终端10来执行，还可以是由服务器11和终端10共同执行。其中，终端10执行本申请实施例虚拟环境中容积云的光照确定方法，也可以是由安装在其上的客户端来执行。

基于同一构思，本申请实施例中提供的虚拟环境中容积云的光照确定方法，如图2所示，主要包括以下步骤：

步骤201，确定当前帧虚拟图像中容积云的任一像素的理论光照值。

需要说明的是，此处所提及的当前帧虚拟图像中容积云的任一像素，可以是指当前帧虚拟图像中容积云的沿视线方向的体素累积对应的任一像素，这里仅以一个像素的光照值确定过程为例进行说明，容积云的其他像素的光照值的确定过程与此过程相同。

具体地，体素(voxel)是体积元素的简称。一个体素包括容积云的上的至少一个采样点。一个体素的光照度可以由该体素所包括的多个采样点的光照度确定，例如，将该体素包括的其中一个采样点的光照度，作为该体素的光照度，或者，将该体素包括的每个像素点的光照度的平均值，作为该体素的光照度。体素的光照度通过在视线方向Ray Marching一步一步采样得到，将这个视线方向的体素的光照度累积起来就是某一像素的光照度。

根据应用场景的需要，可以从当前帧虚拟图像中的任一像素均执行该光照值的确定过程。

其中，当前帧虚拟图像中容积云的某像素的理论光照值，可以是通过预先配置的光照值算法确定。例如，采用Ray Marching计算获得当前帧虚拟图像中某像素的理论光照值。

具体地，采用Ray Marching计算获得当前帧虚拟图像中某像素的理论光照值，主要包括：获取模拟摄像机的位置；以所述模拟摄像机的位置为原点，步进式发射射线至该体素并返回，获得该像素的深度信息，根据该深度信息确定该像素的理论光照值。

需要说明的是，理论光照值也可以采用其他算法确定，此处仅以Ray Marching为例进行说明。

步骤202，确定当前帧虚拟图像相对于该当前帧虚拟图像之前的N帧图像在该任一像素的遮挡变化信息；该遮挡变化信息用于指示该任一像素是否从被运动物体遮挡状态转换为无遮挡状态；N为大于1的整数；该N帧图像包括第1至第N帧图像。

需要说明的是，当前帧虚拟图像之前的N帧图像，可以是对虚拟场景进行渲染得到的图像中，在当前帧虚拟图像之前连续的N帧图像，也可以是不连续的N帧图像。通过当前帧虚拟图像相对于该当前帧虚拟图像之前的N帧图像在该像素的遮挡变化信息，对当前帧虚拟图像中该像素的光照值进行时域优化。

在虚拟场景中，容积云会受到运动物体的遮挡，导致容积云被遮挡部分的光照值发生变化，可见，对于容积云上的任一像素，通过获取该像素的遮挡变化信息，可推测运动物体对容积云的当前帧图像中该像素的光照度。

一个具体实施例中，按照图3所示，确定当前帧虚拟图像相对于该当前帧虚拟图像之前的N帧图像在该任一像素的遮挡变化信息，包括：

步骤301，获取当前帧虚拟图像中该任一像素对应的第一深度值；以及获取该第N帧图像中该任一像素对应的第二深度值；

步骤302，计算获得第一深度值与第二深度值的差值；

步骤303，若该差值不大于预设门限值，则确定当前帧虚拟图像相对于第N帧图像在该任一像素的遮挡变化信息为：不是从被运动物体遮挡状态转换为无遮挡状态；

步骤304，若该差值大于该预设门限值，则确定当前帧虚拟图像相对于第N帧图像在该任一像素的遮挡变化信息为：是从被运动物体遮挡状态转换为无遮挡状态；

步骤305，根据当前帧虚拟图像相对于第N帧图像在该任一像素的遮挡变化信息，以及该第N帧图像相对于该第N帧图像之前的M帧图像在该任一像素的遮挡变化信息，得到该当前帧虚拟图像相对于该当前帧虚拟图像之前的N帧图像在该任一像素的遮挡变化信息，其中，M＝N。

具体地，当前帧虚拟图像中所述任一像素对应的第一深度值可以是该任一像素对应的当前场景深度(即任一像素对应的全场景的深度，任一像素对应的当前场景深度由引擎中的渲染管线预先计算出来)。可选地，对于该任一像素，将渲染管线提供的该像素对应的当前场景深度作为第一深度值，将该一深度值绘制在第一渲染目标图上，得到该当前帧虚拟图像的深度图。

在虚拟场景的渲染引擎中，保存有第N帧图像的世界矩阵，表示为prevWorldMatrix，利用该第N帧图像的世界矩阵，计算得到运动物体在该第N帧图像中的深度值，作为第二深度值，将该第二深度值绘制在第二渲染目标图(表示为rendertarget)上，得到该第N帧图像的深度图，表示为MotionObjectDepth。

比较当前帧虚拟图像的深度图以及该第N帧图像的深度图，即可获得该当前帧虚拟图像相对于该第N帧图像在该任一像素的遮挡变化信息。

一个具体实施例中，如图4所示，步骤305中，根据当前帧虚拟图像相对于第N帧图像在该任一像素的遮挡变化信息，以及该第N帧图像相对于该第N帧图像之前的M帧图像在该任一像素的遮挡变化信息，得到该当前帧虚拟图像相对于该当前帧虚拟图像之前的N帧图像在该任一像素的遮挡变化信息，包括：

步骤401，根据当前帧虚拟图像相对于第N帧图像在该任一像素的遮挡变化信息，确定第N标记图，其中，若当前帧虚拟图像相对于第N帧图像在该任一像素的遮挡变化信息，指示该任一像素从被运动物体遮挡状态转换为无遮挡状态，在该第N标记图中该任一像素的值设置为N+1；若当前帧虚拟图像相对于第N帧图像在该任一像素的遮挡变化信息，指示该任一像素不是从被运动物体遮挡状态转换为无遮挡状态，在该第N标记图中该任一像素的值设置为零；

步骤402，获取第N帧图像相对于该M帧图像在该任一像素的遮挡变化信息，对应的第N-1标记图；其中，若第N-1标记图中该任一像素的值为零，表示第N帧图像相对于该M帧图像在任一像素的遮挡变化信息为不是从被运动物体遮挡状态转换为无遮挡状态；若第N-1标记图中该任一像素的值为m+1，表示该第N帧图像相对于该M帧图像中的第m帧图像在该任一像素的遮挡变化信息为从被运动物体遮挡状态转换为无遮挡状态；

步骤403，将第N-1标记图中该任一像素的值减一，获得目标值；其中，若该任一像素的值减一后所得的值小于零，则将该目标值置为零；选取该任一像素在第N标记图的值以及该目标值中的最大值，用于指示该当前帧虚拟图像相对于当前帧虚拟图像之前的N帧图像在该任一像素的遮挡变化信息。

步骤203，根据当前帧虚拟图像相对于该当前帧虚拟图像之前的N帧图像在该任一像素的遮挡变化信息，确定该任一像素对应的混合系数。

其中，混合系数决定了该第N帧图像在混合过程中所占的比重，混合系数大，则在混合过程中所占的比重小，反之，混合系数小，则在混合过程中所占的比重大。可选地，在上述实施例中，使用线性插值函数lerp()对前一帧混合后的光照值和当前帧的理论光照值按照混合系数进行混合。不难理解的是，当前帧虚拟图像相对于该当前帧虚拟图像之前的N帧图像在该任一像素的遮挡变化信息为，从被运动物体遮挡状态转化为无遮挡状态，意味着，当前帧虚拟图像中，容积云的该像素不被遮挡，但第k帧图像中该像素被遮挡，通过上述方式确定出的混合系数，应当使得在混合过程中该第k帧图像所占的比重小，以达到降低该前一帧图像对混合结果的影响的目的。反之同理。

需要说明的是，混合系数的具体确定方式有多种，以下通过举例的方式对其中两种混合系数的确定方式进行详细说明如下：

方式一

根据当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，确定所述任一像素对应的混合系数，包括：

若当前帧虚拟图像相对于该当前帧虚拟图像之前的N帧图像在该任一像素的遮挡变化信息指示，该任一像素从被运动物体遮挡状态转换为无遮挡状态，并且最近一次在该任一像素处出现该运动物体是该N帧图像中的第k帧图像，则确定该任一像素对应的混合系数为，混合基数的k+1倍；

若当前帧虚拟图像相对于该当前帧虚拟图像之前的N帧图像在该任一像素的遮挡变化信息指示，该任一像素不是从被运动物体遮挡状态转换为无遮挡状态，则确定该任一像素对应的混合系数为混合基数。

其中，混合基数为：1/(N+1)。

其中，该N帧图像包括第1至第N帧图像，第N帧图像为当前帧虚拟图像的前一帧图像。N为大于1的整数。

需要说明的是，对于容积云的每个像素分别按照该方式所限定的过程进行处理，可针对每个像素分别获得混合系数。也就是说，假设容积云有S个像素，则可以获得S个混合系数，一个像素对应一个混合系数。

方式二

采用标记图的方式指示当前帧虚拟图像相对于当前帧虚拟图像之前的N帧图像在该任一像素的遮挡变化信息，再基于标记图中该任一像素对应的值，确定该任一像素的混合系数。

具体地，得到当前帧虚拟图像相对于该当前帧虚拟图像之前的N帧图像在该任一像素的遮挡变化信息，包括：

根据当前帧虚拟图像相对于第N帧图像在该任一像素的遮挡变化信息，确定第N标记图，其中，若该当前帧虚拟图像相对于第N帧图像在该任一像素的遮挡变化信息，指示该任一像素从被运动物体遮挡状态转换为无遮挡状态，在第N标记图中该任一像素的值设置为N+1；若当前帧虚拟图像相对于第N帧图像在该任一像素的遮挡变化信息，指示该任一像素不是从被运动物体遮挡状态转换为无遮挡状态，在第N标记图中该任一像素的值设置为零；

获取第N帧图像相对于该第N帧图像之前的M帧图像在该任一像素的遮挡变化信息，对应的第N-1标记图；其中，若第N-1标记图中该任一像素的值为零，表示第N帧图像相对于第1至第N-1帧图像在该任一像素的遮挡变化信息为不是从被运动物体遮挡状态转换为无遮挡状态；若第N-1标记图中该任一像素的值为m+1，表示第N帧图像相对于该M帧图像中的第m帧图像在该任一像素的遮挡变化信息为从被运动物体遮挡状态转换为无遮挡状态；

将所述第N-1标记图中所述任一像素的值减一，获得目标值；其中，若所述任一像素的值减一后所得的值小于零，则将所述目标值置为零；选取所述任一像素在所述第N标记图的值以及所述目标值中的最大值，用于指示当前帧虚拟图像相对于该当前帧虚拟图像之前的N帧图像在该任一像素的遮挡变化信息。

在确定混合系数时，获取用于指示当前帧虚拟图像相对于该当前帧虚拟图像之前的N帧图像在该任一像素的遮挡变化信息的该最大值；若该最大值不为零，将该最大值与混合基数的乘积所得的结果，确定为该任一像素对应的混合系数；若该最大值为零，将该混合基数确定为该任一像素对应的混合系数。

其中，混合基数为1/(N+1)。

其中，第N帧图像相对于M帧图像中的第1帧至第M帧图像在该任一像素的遮挡变化信息，对应的第N-1标记图，具体获得过程如下：

N帧图像中的第2帧到第N帧图像各自对应的是第1至第N-1标记图，第i标记图是指N帧图像中第i+1帧图像相对于该第i+1帧图像之前的P帧图像在该任一像素的遮挡变化信息，其中，P＝N；获得第1至第N-1标记图是类似的迭代过程，以第i标记图为例，第i标记图的获得过程为：

获取第i+1帧图像相对于第i帧图像在该任一像素的遮挡变化信息；若该遮挡变化信息指示该任一像素从被运动物体遮挡状态转换为无遮挡状态，在初始标记图中该任一像素的值设置为N+1；若该遮挡变化信息指示该任一像素不是从被运动物体遮挡状态转换为无遮挡状态，在初始标记图中该任一像素的值设置为零；

获取第i帧图像相对于该第i帧图像之前的N个帧图像中的第1至第N个帧图像在该任一像素的遮挡变化信息，对应的第i-1标记图；

将第i-1标记图中该任一像素的值减一，若减一后所得的结果大于零，则将该减一后所得的结果作为该第i-1标记图中该任一像素的值；若减一后所得的结果小于或等于零，则将该第i-1标记图中该任一像素的值置为零；

选取该任一像素在初始标记图和第i-1标记图中的值的最大值，将最大值作为第i标记图中该任一像素的值。

i的取值为大于或等于1，且小于或等于N-1。当i＝N-1时，通过上述方式得到的就是当前帧图像之前的N帧图像中第N帧图像相对于该第N帧图像之前的N帧图像在该任一像素的遮挡变化信息。

以N等于6为例，若第N标记图和第N-1标记图中某像素的值中的最大值为7，表示当前帧虚拟图像的前一帧图像，即第6帧图像的该像素位置有遮挡物；若第N标记图和第N-1标记图中某像素的值中的最大值为6，表示第5帧图像的该像素位置有遮挡物；若第N标记图和第N-1标记图中某像素的值中的最大值为5，表示第4帧图像的该像素位置有遮挡物；若第N标记图和第N-1标记图中某像素的值中的最大值为4，表示第3帧图像的该像素位置有遮挡物；若第N标记图和第N-1标记图中某像素的值中的最大值为3，表示第2帧图像的该像素位置有遮挡物；若第N标记图和第N-1标记图中某像素的值中的最大值为2，表示第1帧图像的该像素位置有遮挡物。

需要说明的是，由于考虑到当前帧虚拟图像相对于当前帧虚拟图像之前的N帧图像在任一像素的遮挡变化信息，在采用标记图指示的情况下，只能够指示相对于该N帧图像的遮挡变化信息，而相对于该N帧图像之前的图像的遮挡变化信息，通过对标记图中的值减一的操作，使得在标记图中对应的值只能是零值，也就是说，本方案只考虑对当前帧虚拟图像的光照值有影响的N帧图像，对于该N帧图像之前的图像对光照值的影响，通过减一操作可自动滤除。

并且，由于通过减一操作可自动滤除该N帧图像之前的图像对当前帧虚拟图像中的光照值的影响，使得能够简化操作流程，即对于当前帧虚拟图像之前的N帧图像中的任一帧图像，均可计算该任一帧图像相对于该任一帧图像之前的N帧图像的遮挡变化信息。

例如，在计算当前帧虚拟图像之前的6帧图像中，第2帧图像相对于之前图像的遮挡变化信息时，不是计算该第2帧图像相对于第1帧图像的遮挡变化信息，而是直接利用第1帧图像相对于该第1帧图像之前的6帧图像的遮挡变化信息。

具体过程举例如下：

假设该第1帧图像相对于该第1帧图像之前的6帧图像的遮挡变化信息中，像素1的取值为7，表示该第1帧图像相对于该第1帧图像之前6帧图像中的第6帧图像从被遮挡状态转换为无遮挡状态，像素2的取值为3，表示该第1帧图像相对于该第1帧图像的之前的6帧图像中的第2帧图像从被遮挡状态转换为无遮挡状态。

在计算当前帧虚拟图像之前的6帧图像中，第2帧图像相对于该第2帧图像之前的6帧图像的遮挡变化信息时，将以上得到的第1帧图像相对于该第1帧图像之前的6帧图像的遮挡变化信息中，各像素的取值减1，则像素1的取值变更为6，像素2的取值变更为2。

假设该第2帧图像相对于第1帧图像的遮挡变化信息中，像素1的取值为7，像素2的取值为0，则获得第2帧图像相对于该第2帧图像之前的6帧图像的遮挡变化信息中，像素1的取值为7，像素2的取值为2。因此，第2帧图像相对于第2帧图像之前的6帧图像的遮挡变化信息中，像素1的取值为7，像素2的取值为2。

在计算当前帧虚拟图像之前的6帧图像中，第3帧图像相对于该第三帧图像之前的6帧图像的遮挡变化信息时，将以上得到的第2帧图像相对于该第2帧图像之前的6帧图像的遮挡变化信息中，各像素的取值减一，则像素1的取值为6，像素2的取值为1。

假设第3帧图像相对于第2帧图像的遮挡变化信息中，像素1的取值为0，如果像素2的取值为7，则第3帧图像相对于该第3帧图像之前的6帧图像的遮挡变化信息中，像素1的取值为6，像素2的取值为7，即像素2的值被最近发生遮挡信息变化的图像影响。

而如果第3帧图像相对于第2帧图像的遮挡变化信息中，像素2的取值为0，则第3帧图像相对于该第3帧图像之前的6帧图像的遮挡变化信息中，像素2的取值为1。可以预见，通过减一操作，在第4帧图像相对于第3帧图像在像素2未发生遮挡变化的情况下，该像素2的值将被更新为0。

由于本方案只考虑对当前帧虚拟图像的光照值有影响的N帧图像，对于该N帧图像之前的图像对光照值的影响，通过减一操作可自动滤除。例如，当前帧虚拟图像是第17帧(在该当前帧虚拟图像之前的N帧图像为第11帧至第16帧)，该当前帧虚拟图像之前的第N帧图像是第16帧图像，则对于该第16帧图像而言，其相对于在其之前的6帧图像在上述任一像素处的遮挡变化信息对应的标记图，反应的是第16帧图像相对于第10帧至第15帧图像在该任一像素处的遮挡变化信息。当在确定第17帧相对于对第11帧至第16帧图像的遮挡变化信息时，对第16帧图像对应的标记图中的值进行减一操作后，就自动消除了第10帧图像对第17帧图像中的光照值的影响。

需要说明的是，在上述实施例中，以确定当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息为例进行了说明，对于该当前帧虚拟图像之前的N帧图像中的各帧图像而言，在确定这N帧图像中的每帧图像相对于各自之前的N帧图像在任一像素的遮挡变化信息(包括但不限于确定第N帧图像相对于上述M帧图像在该任一像素的遮挡变化信息)时，与上述确定当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息是类似的处理过程，即每一帧相对于各自的前N帧图像在所述任一像素的遮挡变化信息，是基于每一帧的前一帧图像相对于自身的前N帧图像在所述任一像素的遮挡变化信息又执行了一次迭代。

步骤204，按照混合系数，对第N帧图像中该任一像素的光照值以及该理论光照值进行混合，得到当前帧虚拟图像中该任一像素的光照值，其中，第N帧图像为当前帧虚拟图像的前一帧图像。

一个具体实施例中，按照混合系数，对第N帧图像中该任一像素的光照值以及该理论光照值进行混合，得到当前帧虚拟图像中该任一像素的光照值，包括：

计算1与混合系数的差值；

将第N帧图像中该任一像素的光照值与该差值的乘积，作为第一结果；

将理论光照值与该混合系数的乘积，作为第二结果；

计算第一结果和第二结果的和，将所得的和值作为当前帧虚拟图像中该任一像素的光照值。

当前帧虚拟图像之前的N帧图像中，出现运动物体的一帧图像越靠近当前帧虚拟图像，则混合系数越大，即对当前帧虚拟图像中像素的光照值的影响越小。

具体地，该任一像素的光照值可采用lerp函数表示为：

output＝lerp(第N帧图像中该任一像素的光照值，理论光照值，混合系数)＝(1-混合系数)*第N帧图像中该任一像素的光照值+混合系数*理论光照值。其中，第N帧图像中该任一像素的光照值可以是该第N帧图像中该任一像素的混合后的光照值。

本申请实施例提供的该方法，确定当前帧虚拟图像相对于当前帧虚拟图像之前的N帧图像中在任一像素的遮挡变化信息，通过该遮挡变化信息指示该像素是否从被运动物体遮挡状态转换为无遮挡状态，使得能够通过遮挡变化信息反映运动物体的运动情况。

进而，使得确定的该任一像素的混合系数，能够结合遮挡变化变化信息所反映的运动物体的运动情况，按照该混合系数，对该第N帧图像中该任一像素的光照值以及该理论光照值进行混合，得到当前帧虚拟图像中该任一像素的光照值，结合了运动物体的运动对光照值所产生的影响，避免了均匀混合多帧光照值的方式，导致与模拟的真实场景存在偏差的问题，提高了容积云的真实性。

基于同一构思，本申请实施例中提供了一种虚拟环境中容积云的光照确定装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述，如图5所示，该装置主要包括：

第一确定模块501，用于确定当前帧虚拟图像中容积云的任一像素的理论光照值；

第二确定模块502，用于确定所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息；所述遮挡变化信息用于指示所述任一像素是否从被运动物体遮挡状态转换为无遮挡状态；所述N为大于1的整数；所述N帧图像包括第1至第N帧图像；

第三确定模块503，用于根据所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，确定所述任一像素对应的混合系数；

混合模块504，用于按照所述混合系数，对所述第N帧图像中所述任一像素的光照值以及所述理论光照值进行混合，得到所述当前帧虚拟图像中所述任一像素的光照值，其中，所述第N帧图像为所述当前帧虚拟图像的前一帧图像。

基于同一构思，本申请实施例中还提供了一种电子设备，如图6所示，该电子设备主要包括：处理器601、存储器602和通信总线603，其中，处理器601和存储器602通过通信总线603完成相互间的通信。其中，存储器602中存储有可被至处理器601执行的程序，处理器601执行存储器602中存储的程序，实现如下步骤：

确定当前帧虚拟图像中容积云的任一像素的理论光照值；

确定所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息；所述遮挡变化信息用于指示所述任一像素是否从被运动物体遮挡状态转换为无遮挡状态；所述N为大于1的整数；所述N帧图像包括第1至第N帧图像；

根据所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，确定所述任一像素对应的混合系数；

按照所述混合系数，对所述第N帧图像中所述任一像素的光照值以及所述理论光照值进行混合，得到所述当前帧虚拟图像中所述任一像素的光照值，其中，所述第N帧图像为所述当前帧虚拟图像的前一帧图像。

上述电子设备中提到的通信总线603可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该通信总线603可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器602可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器601的存储装置。

上述的处理器601可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述实施例中所描述的容积云的光照确定方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以时通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种虚拟环境中容积云的光照确定方法，其特征在于，包括：

确定当前帧虚拟图像中容积云的任一像素的理论光照值；

确定所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息；所述遮挡变化信息用于指示所述任一像素是否从被运动物体遮挡状态转换为无遮挡状态；所述N为大于1的整数；所述N帧图像包括第1至第N帧图像；

根据所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，确定所述当前帧虚拟图像中所述任一像素对应的混合系数；

按照所述混合系数，对所述第N帧图像中所述任一像素的光照值以及所述理论光照值进行混合，得到所述当前帧虚拟图像中所述任一像素的光照值，其中，所述第N帧图像为所述当前帧虚拟图像的前一帧图像；

其中，所述根据所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，确定所述当前帧虚拟图像中所述任一像素对应的混合系数，包括：

若所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息指示，所述任一像素从被运动物体遮挡状态转换为无遮挡状态，并且最近一次在所述任一像素处出现所述运动物体是所述N帧图像中的第k帧图像，则确定所述当前帧虚拟图像中所述任一像素对应的混合系数为，混合基数的k+1倍；

若所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息指示，所述任一像素不是从被运动物体遮挡状态转换为无遮挡状态，则确定所述当前帧虚拟图像中所述任一像素对应的混合系数为所述混合基数。

2.根据权利要求1所述的虚拟环境中容积云的光照确定方法，其特征在于，所述确定所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，包括：

获取所述当前帧虚拟图像中所述任一像素对应的第一深度值；以及获取所述第N帧图像中所述任一像素对应的第二深度值；

计算获得所述第一深度值与所述第二深度值的差值；

若所述差值不大于预设门限值，则确定所述当前帧虚拟图像相对于所述第N帧图像在所述任一像素的遮挡变化信息为：不是从被运动物体遮挡状态转换为无遮挡状态；

若所述差值大于所述预设门限值，则确定所述当前帧虚拟图像相对于所述第N帧图像在所述任一像素的遮挡变化信息为：是从被运动物体遮挡状态转换为无遮挡状态；

根据所述当前帧虚拟图像相对于所述第N帧图像在所述任一像素的遮挡变化信息，以及所述第N帧图像相对于所述第N帧图像之前的M帧图像在所述任一像素的遮挡变化信息，得到所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，其中，M＝N。

3.根据权利要求2所述的虚拟环境中容积云的光照确定方法，其特征在于，所述根据所述当前帧虚拟图像相对于所述第N帧图像在所述任一像素的遮挡变化信息，以及所述第N帧图像相对于所述第N帧图像之前的M帧图像在所述任一像素的遮挡变化信息，得到所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，包括：

根据所述当前帧虚拟图像相对于所述第N帧图像在所述任一像素的遮挡变化信息，确定第N标记图，其中，若所述当前帧虚拟图像相对于所述第N帧图像在所述任一像素的遮挡变化信息，指示所述任一像素从被运动物体遮挡状态转换为无遮挡状态，在所述第N标记图中所述任一像素的值设置为N+1；若所述当前帧虚拟图像相对于所述第N帧图像在所述任一像素的遮挡变化信息，指示所述任一像素不是从被运动物体遮挡状态转换为无遮挡状态，在所述第N标记图中所述任一像素的值设置为零；

获取所述第N帧图像相对于所述M帧图像在所述任一像素的遮挡变化信息，对应的第N-1标记图；其中，若所述第N-1标记图中所述任一像素的值为零，表示所述第N帧图像相对于所述M帧图像在所述任一像素的遮挡变化信息为不是从被运动物体遮挡状态转换为无遮挡状态；若所述第N-1标记图中所述任一像素的值为m+1，表示所述第N帧图像相对于所述M帧图像中的第m帧图像在所述任一像素的遮挡变化信息为从被运动物体遮挡状态转换为无遮挡状态；

将所述第N-1标记图中所述任一像素的值减一，获得目标值；其中，若所述任一像素的值减一后所得的值小于零，则将所述目标值置为零；选取所述任一像素在所述第N标记图的值以及所述目标值中的最大值，用于指示所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息。

4.根据权利要求3所述的虚拟环境中容积云的光照确定方法，其特征在于，所述根据所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，确定所述当前帧虚拟图像中所述任一像素对应的混合系数，包括：

获取用于指示所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息的所述最大值；

若所述最大值不为零，将所述最大值与混合基数的乘积所得的结果，确定为所述当前帧虚拟图像中所述任一像素对应的混合系数；

若所述最大值为零，将所述混合基数确定为所述当前帧虚拟图像中所述任一像素对应的混合系数。

5.根据权利要求1至4任一项所述的虚拟环境中容积云的光照确定方法，其特征在于，所述按照所述混合系数，对所述第N帧图像中所述任一像素的光照值以及所述理论光照值进行混合，得到所述当前帧虚拟图像中所述任一像素的光照值，包括：

计算1与所述混合系数的差值；

将所述第N帧图像中所述任一像素的光照值与所述差值的乘积，作为第一结果；

将所述理论光照值与所述混合系数的乘积，作为第二结果；

计算所述第一结果和所述第二结果的和，将所得的和值作为所述当前帧虚拟图像中所述任一像素的光照值。

6.根据权利要求1或4所述的虚拟环境中容积云的光照确定方法，其特征在于，所述混合基数为1/(N+1)。

7.一种虚拟环境中容积云的光照确定装置，其特征在于，包括：

第一确定模块，用于确定当前帧虚拟图像中容积云的任一像素的理论光照值；

第二确定模块，用于确定所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息；所述遮挡变化信息用于指示所述任一像素是否从被运动物体遮挡状态转换为无遮挡状态；所述N为大于1的整数；所述N帧图像包括第1至第N帧图像；

第三确定模块，用于根据所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息，确定所述当前帧虚拟图像中所述任一像素对应的混合系数；

混合模块，用于按照所述混合系数，对所述第N帧图像中所述任一像素的光照值以及所述理论光照值进行混合，得到所述当前帧虚拟图像中所述任一像素的光照值，其中，所述第N帧图像为所述当前帧虚拟图像的前一帧图像；

其中，所述第三确定模块，用于：

若所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息指示，所述任一像素从被运动物体遮挡状态转换为无遮挡状态，并且最近一次在所述任一像素处出现所述运动物体是所述N帧图像中的第k帧图像，则确定所述当前帧虚拟图像中所述任一像素对应的混合系数为，混合基数的k+1倍；

若所述当前帧虚拟图像相对于所述当前帧虚拟图像之前的N帧图像在所述任一像素的遮挡变化信息指示，所述任一像素不是从被运动物体遮挡状态转换为无遮挡状态，则确定所述当前帧虚拟图像中所述任一像素对应的混合系数为所述混合基数。

8.一种电子设备，其特征在于，包括：处理器、存储器和通信总线，其中，处理器和存储器通过通信总线完成相互间的通信；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述存储器中所存储的程序，实现权利要求1至6任一项所述的虚拟环境中容积云的光照确定方法。

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的虚拟环境中容积云的光照确定方法。

Images