CN116266376A - 渲染方法和装置 - Google Patents

Abstract

本申请公开了渲染方法和装置，涉及媒体技术领域，能够实现高质量快速渲染。该方法包括：首先获取场景的渲染信息。然后对上述场景的渲染信息进行编码生成上述场景的编码渲染信息。最后将上述编码渲染信息输入上述场景的渲染神经网络模型以得到上述场景的渲染图像。其中，上述渲染信息包括材质信息、光源信息、视角信息和着色点信息。上述渲染神经网络模型是利用训练数据样本集训练得到的。本申请提供的渲染方法通过渲染神经网络参考训练数据样本集中当前场景的历史渲染图像和数据进行渲染。一方面，可以降低渲染过程中的运算量，提高渲染速度。另一方面，可以确保渲染质量。由此实现高质量快速渲染。

Description

渲染方法和装置

技术领域

本申请涉及媒体技术领域，尤其涉及渲染方法和装置。

背景技术

随着渲染算法和硬件算力的发展，3维(dimension，D)数字内容(如3D虚拟场景)越来越复杂。设计师在设计3D数字内容时，需要通过3D数字内容的渲染图像对设计的3D数字内容进行预览和修改。快速且高质量的渲染技术有助于提高设计师的工作效率。

现有技术中渲染技术主要分为离线渲染技术和实时渲染技术。现有离线渲染技术(如光线追踪技术)渲染质量较高，但渲染速度较慢。而实时渲染技术(如实时光栅渲染技术和实时光线追踪技术)渲染速度较快，但渲染质量较低。

发明内容

本申请提供了渲染方法和装置，能够实现高质量快速渲染。为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供了一种渲染方法，该方法包括：首先获取场景的渲染信息。然后对上述场景的渲染信息进行编码生成上述场景的编码渲染信息。最后将上述编码渲染信息输入上述场景的渲染神经网络模型以得到上述场景的渲染图像。其中，上述渲染信息包括材质信息、光源信息、视角信息和着色点信息。上述渲染神经网络模型是利用训练数据样本集训练得到的。

相较于现有离线渲染方法在对场景进行渲染时需要大量运算。本申请提供的渲染方法通过渲染神经网络参考训练数据样本集中当前场景的历史渲染图像和数据进行渲染。一方面，可以降低渲染过程中的运算量，提高渲染速度。另一方面，可以确保渲染质量。由此实现高质量快速渲染。

可选地，上述场景可以为静态场景，静态场景为几何不可编辑的场景。即场景内的物体的位置及形状都不可编辑(不会发生变化)的场景。

在一种可能的实现方式中，所述方法还可以包括：获取场景的场景信息；根据所述场景信息从模型库中匹配所述场景的渲染神经网络模型，所述模型库包括多个场景的渲染神经网络模型。

其中，场景的场景信息用于描述场景的几何，即用于描述场景的形状以及场景内物体的形状和位置。

在一种可能的实现方式中，所述方法还可以包括：根据所述场景的视角信息确定所述场景的着色点信息。

示例性地，可以根据当前场景的视角信息确定当前视角下的着色点位置及法线方向。

可选地，材质信息可以包括漫反射分量、高光反射分量、反照率或粗糙度中的至少一项。

示例性地，材质信息可以包括漫反射(diffuse)分量、高光反射(specular)分量、反照率(albedo)、粗糙度等可以用于表示光线在着色点局部传播特征的参数化表达。

可选地，光源信息可以包括光源强度、光源位置、直接光照或光源到着色点方向中的至少一项。

示例性地，光源信息可以包括光源强度、光源位置，通过场景在特定材质下的直接光照(radiancecue)、直接光照(direct)、光源到着色点方向(light map)等通道表达。

需要说明的是，采用光源到着色点、直接光照和radiancecue可以更加合理的表达光源在场景中的作用。

可选地，视角信息可以为描述相机位置及拍摄角度的数学表达。视角信息可以包括相机位置和拍摄角度。

示例性地，可选地，着色点信息可以包括着色点的位置或着色点的法线方向中的至少一项。

在一种可能的实现方式中，上述场景的多组渲染信息为所述场景编码后的多组渲染信息。

在一种可能的实现方式中，上述场景的渲染信息为用户编辑后的上述场景的渲染信息。

示例性地，用户可以对场景的视角位置、材质或光源进行编辑生成该场景的渲染信息。

在一种可能的实现方式中，所述对所述场景的渲染信息进行编码生成所述场景的编码渲染信息，包括：通过不同频率的周期函数对所述场景的渲染信息进行编码生成所述场景的编码渲染信息。

需要说明的是，通过不同频率下的周期函数对输入模块的信息进行编码，可以限制编码值的值域并强调输入高频分量所包含的信息。信息编码模块还用于向网络推理模块和网络训练模块输出编码后的信息或未编码的信息。

在一种可能的实现方式中，所述训练数据样本集中包括所述场景的多组编码渲染信息和所述多组编码渲染信息中每组编码渲染信息对应的离线渲染图像。

示例性地，视角信息对应的渲染图像可以通过离线渲染器获得。渲染信息中视角信息可以通过当前场景的在空间中随机采样得到，光源，材质等信息可以通过在相应的参数空间内随机采样得到。

可选地，渲染神经网络模型可以包括全连接网络、卷积神经网络或注意力网络中的至少一项。

可选地，渲染神经网络模型可以是由多个网络通过直接连接、张量拼接、残差等方式组合形成的网络。

可选地，渲染神经网络模型还可以包括优化网络。

可选地，上述优化网络使用的算法包括所有基于一阶梯度的优化算法。

第二方面，本申请还提供了一种渲染装置，该装置包括处理单元，所述处理单元用于：获取场景的渲染信息，所述渲染信息包括材质信息、光源信息、视角信息和着色点信息；对所述场景的渲染信息进行编码生成所述场景的编码渲染信息；将所述编码渲染信息输入所述场景的渲染神经网络模型以得到所述场景的渲染图像，所述渲染神经网络模型是利用训练数据样本集训练得到的。

在一种可能的实现方式中，所述处理单元还用于：获取场景的场景信息；根据所述场景信息从模型库中匹配所述场景的渲染神经网络模型，所述模型库包括多个场景的渲染神经网络模型。

在一种可能的实现方式中，所述处理单元还用于：根据所述场景的视角信息确定所述场景的着色点信息。

可选地，所述材质信息可以包括漫反射分量、高光反射分量、反照率或粗糙度中的至少一项。

可选地，所述光源信息可以包括光源强度、光源位置、直接光照或光源到着色点方向中的至少一项。

可选地，所述视角信息可以包括相机位置和拍摄角度。

可选地，所述着色点信息可以包括着色点的位置或着色点的法线方向中的至少一项。

可选地，所述场景的渲染信息为用户编辑后的所述场景的渲染信息。

在一种可能的实现方式中，所述处理单元还用于：通过不同频率的周期函数对所述场景的渲染信息进行编码生成所述场景的编码渲染信息。

可选地，所述训练数据样本集中包括所述场景的多组编码渲染信息和所述多组编码渲染信息中每组编码渲染信息对应的离线渲染图像。

第三方面，本申请还提供一种渲染装置，该装置包括：至少一个处理器，当所述至少一个处理器执行程序代码或指令时，实现上述第一方面或其任意可能的实现方式中所述的方法。

可选地，该电子设备还可以包括至少一个存储器，该至少一个存储器用于存储该程序代码或指令。

第四方面，本申请还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序包括用于实现上述第一方面或其任意可能的实现方式中所述的方法。

第五方面，本申请还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机实现上述第一方面或其任意可能的实现方式中所述的方法。

本实施例提供的渲染装置、计算机存储介质和计算机程序产品均用于执行上文所提供的渲染方法，因此，其所能达到的有益效果可参考上文所提供的渲染方法中的有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种渲染装置的结构示意图；

图2为本申请实施例提供的一种渲染装置的工作流程示意图；

图3为本申请实施例提供的一种渲染方法的流程示意图

图4为本申请实施例提供的一种渲染过程的示意图；

图5为本申请实施例提供的渲染图像；

图6为本申请实施例提供的一种装置的结构示意图；

图7为本申请实施例提供的另一种装置的结构示意图；

图8为本申请实施例提供的一种芯片的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请实施例的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。

此外，本申请实施例的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括其他没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

需要说明的是，本申请实施例的描述中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

首先对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。

场景：即虚拟场景是指用计算机生成的一种虚拟的场景环境(如房间环境)，它能够提供一个多媒体的虚拟世界，用户可通过操作设备或操作界面对虚拟场景中可操作的虚拟对象进行控制，以虚拟对象的视角观察虚拟场景中的物体、动物、人物、风景等虚拟物。

神经网络：神经网络(neural network，NN)是机器学习模型，神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以为：

其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是sigmoid函数。神经网络是将许多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。

深度神经网络：深度神经网络(deep neural network，DNN)，也称多层神经网络，可以理解为具有很多层隐含层的神经网络，这里的“很多”并没有特别的度量标准。从DNN按不同层的位置划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：

其中，/>

是输入向量，/>

是输出向量，/>

是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量/>

经过如此简单的操作得到输出向量/>

由于DNN层数多，则系数W和偏移向量/>

的数量也就很多了。这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为/>

上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。总结就是：第L-1层的第k个神经元到第L层的第j个神经元的系数定义为/>

需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。

卷积神经网络：卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像做出响应。卷积神经网络包含了一个由卷积层和池化层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。

卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。卷积层可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行×列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行×列)相同，经过该多个尺寸相同的权重矩阵提取后的特征图的尺寸也相同，再将提取到的多个尺寸相同的特征图合并形成卷积运算的输出。这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络进行正确的预测。当卷积神经网络有多个卷积层的时候，初始的卷积层往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络深度的加深，越往后的卷积层提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。

由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。

在经过卷积层/池化层的处理后，卷积神经网络还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络需要利用神经网络层来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层中可以包括多层隐含层，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等。

可选的，在神经网络层中的多层隐含层之后，还包括整个卷积神经网络的输出层，该输出层具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络的前向传播完成，反向传播就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络的损失，及卷积神经网络通过输出层输出的结果和理想结果之间的误差。

循环神经网络：循环神经网络(recurrent neural networks，RNN)是用来处理序列数据的。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，而对于每一层层内之间的各个节点是无连接的。这种普通的神经网络虽然解决了很多难题，但是却仍然对很多问题却无能为力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN之所以称为循环神经网络，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐含层本层之间的节点不再无连接而是有连接的，并且隐含层的输入不仅包括输入层的输出还包括上一时刻隐含层的输出。理论上，RNN能够对任何长度的序列数据进行处理。对于RNN的训练和对传统的CNN或DNN的训练一样。同样使用误差反向传播算法，不过有一点区别：即，如果将RNN进行网络展开，那么其中的参数，如W，是共享的；而如上举例上述的传统神经网络却不是这样。并且在使用梯度下降算法中，每一步的输出不仅依赖当前步的网络，还依赖前面若干步网络的状态。该学习算法称为基于时间的反向传播算法(Back propagation Through Time，BPTT)。

既然已经有了卷积神经网络，为什么还要循环神经网络？原因很简单，在卷积神经网络中，有一个前提假设是：元素之间是相互独立的，输入与输出也是独立的，比如猫和狗。但现实世界中，很多元素都是相互连接的，比如股票随时间的变化，再比如一个人说了：我喜欢旅游，其中最喜欢的地方是云南，以后有机会一定要去。这里填空，人类应该都知道是填“云南”。因为人类会根据上下文的内容进行推断，但如何让机器做到这一步？RNN就应运而生了。RNN旨在让机器像人一样拥有记忆的能力。因此，RNN的输出就需要依赖当前的输入信息和历史的记忆信息。

损失函数：在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能地接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objectivefunction)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。

反向传播算法：卷积神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的超分辨率模型中参数的大小，使得超分辨率模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的超分辨率模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的超分辨率模型的参数，例如权重矩阵。

生成式对抗网络：生成式对抗网络(generative adversarial networks，GAN)是一种深度学习模型。该模型中至少包括两个模块：一个模块是生成模型(GenerativeModel)，另一个模块是判别模型(Discriminative Model)，通过这两个模块互相博弈学习，从而产生更好的输出。生成模型和判别模型都可以是神经网络，具体可以是深度神经网络，或者卷积神经网络。GAN的基本原理如下：以生成图片的GAN为例，假设有两个网络，G(Generator)和D(Discriminator)，其中G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)；D是一个判别网络，用于判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片，如果为0，就代表不可能是真实的图片。在对该生成式对抗网络进行训练的过程中，生成网络G的目标就是尽可能生成真实的图片去欺骗判别网络D，而判别网络D的目标就是尽量把G生成的图片和真实的图片区分开来。这样，G和D就构成了一个动态的“博弈”过程，也即“生成式对抗网络”中的“对抗”。最后博弈的结果，在理想的状态下，G可以生成足以“以假乱真”的图片G(z)，而D难以判定G生成的图片究竟是不是真实的，即D(G(z))＝0.5。这样就得到了一个优异的生成模型G，它可以用来生成图片。

随着渲染算法和硬件算力的发展，3D数字内容(如3D虚拟场景)越来越复杂。设计师在设计3D数字内容时，需要通过3D数字内容的渲染图像对设计的3D数字内容进行预览和修改。快速且高质量的渲染技术有助于提高设计师的工作效率。

例如，在室内家装设计领域，室内的几何布局基本是确定的，可以视为静态场景。而设计师需要为不同客户调整室内每一个物件的呈现形式，如物体材质、色调等，以满足不同客户对于家装的不同需求。快速且高质量的渲染技术有助于设计师快速预览并调整室内每一个物件的呈现形式。

又例如，在3D游戏场景设计领域中，设计师首先会确定场景的几何布局，然后根据场景所需要表达的主题修改场景中每个元素的呈现形式。快速且高质量的渲染技术有助于设计师快速预览并调整场景中每个元素的呈现形式。

然而，现有离线渲染技术(如光线追踪技术)渲染质量较高，但渲染速度较慢。而实时渲染技术(如实时光栅渲染技术和实时光线追踪技术)渲染速度较快，但渲染质量较低。均无法实现高质量快速渲染。

为此，本申请实施例提供了一种渲染方法，能够实现高质量快速渲染。该方法可由渲染装置执行。

示例性地，图1是本申请实施例提供的一例渲染装置100的结构示意图。渲染装置100可以包括数据集生成模块、着色点信息生成模块、信息编码模块、网络训练模块、材质光源编辑接口、视角编辑接口和网络推理模块。

图2为本申请实施例提供的渲染装置的工作流程示意图，下面结合图2介绍渲染装置100中各模块的工作流程。

数据集生成模块，用于根据输入的场景(如静态场景)生成多组渲染信息和多组渲染信息中每组渲染信息对应的渲染图像。数据集生成模块还用于向网络训练模块或信息编码模块输出训练数据样本集以及向着色点信息生成模块输出训练数据样本集中的视角信息。其中，视角信息对应的渲染图像可以通过离线渲染器获得。渲染信息中视角信息可以通过当前场景的在空间中随机采样得到，光源，材质等信息可以通过在相应的参数空间内随机采样得到。

着色点信息生成模块，用于根据输入模块的场景和视角信息，生成视角信息对应的着色点信息。着色点信息生成模块还用于向网络推理模块和网络训练模块输出着色点信息。

信息编码模块，用于对输入模块的信息进行编码生成编码信息。例如，信息编码模块可以通过不同频率下的周期函数对输入模块的信息进行编码，以限制编码值的值域并强调输入高频分量所包含的信息。信息编码模块还用于向网络推理模块和网络训练模块输出编码后的信息或未编码的信息。

网络训练模块，用于根据输入模块渲染信息(编码渲染信息)和渲染信息对应的渲染图像对渲染神经网络模型进行训练，拟合从输入信息到渲染图像的函数。以及向网络推理模块提供训练好的渲染神经网络模型。

渲染神经网络模型可以是卷积神经网络(convolutional neural networks，CNN)模型，也可以是门控图神经网络(gated graph neural network，GGNN)模型或其他神经网络模型。本申请实施例对此不做限定。

可选地，渲染神经网络模型可以包括全连接网络、卷积神经网络或注意力网络中的至少一项。

可选地，渲染神经网络模型可以是由多个网络通过直接连接、张量拼接、残差等方式组合形成的网络。

可选地，渲染神经网络模型还可以包括优化网络。

可选地，上述优化网络使用的算法包括所有基于一阶梯度的优化算法。

材质光源编辑接口，即用户对场景中物体的材质，场景中的光源进行编辑的交互接口。用户可以通过材质光源编辑接口对于光源的编辑，材质光源编辑接口支持用户对光源位置，光源形状，光源各个颜色通道强度进行编辑。用户也可以通过该接口对于材质的编辑，材质光源编辑接口支持用户对漫反射(diffuse)分量、高光反射(specular)分量、反照率(albedo)、粗糙度等参数进行编辑。材质光源编辑接口还用于向网络推理模块输出场景的材质信息和光源信息。

视角编辑接口，即用户对观察场景的视角进行编辑的交互接口。视角编辑接口支持对观察的位置，观察的方向(包括前方向和上方向)，观察相机的焦距，输出图像的分辨率等信息进行编辑。视角编辑接口还用于向着色点信息生成模块和网络推理模块输出场景的视角信息。

网络推理模块，用于将输入模块的场景的渲染信息(编码后场景的渲染信息)输入到网络训练模块训练得到的渲染神经网络模型中，以及输出场景的渲染图像。

本申请实施例对渲染装置100的具体类型不作任何限制。例如，渲染装置100可以为手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等。

可以理解的是，本申请实施例示意的结构并不构成对渲染装置的具体限定。在本申请另一些实施例中，渲染装置100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

例如，渲染装置100可以仅包括材质光源编辑接口、视角编辑接口和网络推理模块。网络推理模块可以通过调用其他设备(如服务器)上已训练好的渲染神经网络模型对输入的渲染数据进行渲染。

下面结合附图对本申请实施例提供的渲染方法进行详细说明，如图3所示，本申请实施例提供的渲染方法包括：

S301、渲染装置获取场景的渲染信息。

其中，渲染信息包括材质信息、光源信息、视角信息和着色点信息。

可选地，场景的渲染信息可以为用户编辑后的场景的渲染信息。

示例性地，渲染装置可以通过材质光源编辑接口获取用户编辑好的材质信息和光源信息，通过视角编辑接口获取用户编辑好的视角信息，通过着色点信息生成模块获取着色点信息。

可选地，上述场景可以为静态场景。静态场景为几何不可编辑的场景。即场景内的物体的位置及形状都不可编辑(不会发生变化)的场景。

可选地，材质信息可以包括漫反射分量、高光反射分量、反照率或粗糙度中的至少一项。例如，材质信息可以包括漫反射分量、高光反射分量、反照率和粗糙度。

可选地，光源信息可以包括光源强度、光源位置、直接光照或光源到着色点方向中的至少一项。例如，光源信息可以包括光源强度、光源位置、直接光照和光源到着色点方向。

需要说明的是，采用光源到着色点、直接光照和radiancecue可以更加合理的表达光源在场景中的作用。

可选地，视角信息可以包括相机位置和拍摄角度。即视角信息用于表征当前视角在场景中的位置与角度。

可选地，着色点信息可以包括着色点的位置或着色点的法线方向中的至少一项。例如，着色点信息可以包括着色点的位置和着色点的法线方向。

在一种可能的实现方式中，渲染装置可以根据场景的视角信息确定场景的着色点信息。

示例性地，渲染装置可以通过将场景的视角信息输入着色点信息生成模块以得到场景的着色点信息。

S302、渲染装置对该场景的渲染信息进行编码生成该场景的编码渲染信息。

在一种可能的实现方式中，渲染装置可以通过不同频率的周期函数对场景的渲染信息进行编码生成场景的编码渲染信息。

示例性地，如图2和图4所示，渲染装置可以将场景的渲染信息输入信息编码模块，通过信息编码模块采用不同频率的周期函数对场景的渲染信息进行编码。

需要说明的是，将当前场景的渲染信息编码到适合渲染神经网络的分布中，可以突出强调了高频信息对渲染结果的作用，使渲染神经网络模型输出的渲染图像表达更丰富的细节，由此提高了渲染神经网络模型输出渲染图像的质量。

S303、渲染装置将该场景的编码渲染信息输入该场景的渲染神经网络模型以得到该场景的渲染图像。

其中，渲染神经网络模型是利用训练数据样本集训练得到的。

可选地，训练数据样本集中可以包括上述场景的多组编码渲染信息和上述多组编码渲染信息中每组编码渲染信息对应的离线渲染图像。

示例性地，如图2和图4所示，渲染装置可以将渲染信息输入网络推理模块中，网络推理模块利用渲染神经网络模型以得到场景的渲染图像。

可选地，渲染图像可以为RGB图像。

示例性地，上述场景的多组编码渲染信息为所述场景的多组采用不同频率的周期函数编码后的渲染信息。

可以理解的是，编码后的信息相较于未编码的信息更容易被神经网络所理解，渲染神经网络通过当前场景编码后的多组渲染信息进行训练，可以更容易学习到当前场景的渲染信息与渲染图像之间的联系。

在一种可能的实现方式中，渲染装置还可以获取场景的场景信息，然后根据该场景信息从模型库中匹配该场景的渲染神经网络模型。

其中，模型库包括多个场景的渲染神经网络模型。场景的场景信息用于描述场景的几何，即用于描述场景的形状以及场景内物体的形状和位置

可选地，渲染神经网络模型可以包括全连接网络、卷积神经网络或注意力网络中的至少一项。

可选地，渲染神经网络模型可以是由多个网络通过直接连接、张量拼接、残差等方式组合形成的网络。

可选地，渲染神经网络模型还可以包括优化网络。

可选地，上述优化网络使用的算法包括所有基于一阶梯度的优化算法。

相较于现有离线渲染方法在对场景进行渲染时需要大量运算。本申请实施例提供的渲染方法通过渲染神经网络参考训练数据样本集中当前场景的历史渲染图像和数据进行渲染。一方面，可以降低渲染过程中的运算量，提高渲染速度。另一方面，可以确保渲染质量。由此实现高质量快速渲染。

图5示出了渲染神经网络模型输出的渲染图像，通过图5可以看出通过本申请实施例提供的渲染方法所得到的渲染图像成功绘制了复杂的全局光照效果，可以实现高质量渲染。

相比于现有的离线渲染技术，本申请实施例提供的渲染方法得到的渲染图像质量与之相当。而效率上，离线渲染需要数十分钟到数小时不等的渲染时间，而本申请实施例提供的渲染方法的渲染效率可以达到一秒一张以上的出图速度。

相比于现有的实时渲染技术(如实时光栅渲染技术)本申请实施例提供的渲染方法所得到的渲染图像很好地渲染了全局光照效果，使得渲染图像更接近真实照片。

相比于现有的实时渲染技术(如实时光线追踪技术)，本申请实施例提供的渲染方法对图像处理器的要求较低，且不会出现边缘模糊等问题，渲染图像的效果上也强于通过实时渲染技术得到的渲染图像。

在一种可能的实现方式中，本申请实施例提供的渲染方法可集成到公有云作为一项服务对外发布。当该渲染方法集成到公有云作为一项服务对外发布，还可以对用户上传数据进行保护。例如对于场景的渲染信息，可以要求用户上传的场景的渲染信息已事先进行加密。

在另一种可能的实现方式中，本申请实施例提供的渲染方法也可以集成到私有云，作为一项服务对内使用。当渲染方法集成到私有云时，可以根据实际需要确定是否对用户上传数据进行保护。

在又一种可能的实现方式中，本申请实施例提供的渲染方法还可以集成到混合云。其中，混合云是指包括至少一个公有云和至少一个私有云的架构。

当本申请实施例提供的渲染方法以服务的方式提供给用户使用时，该服务可以提供应用程序编程接口(application programming interface，API)和/或用户界面(也称作用户接口)。其中，用户界面可以是图形用户界面(graphical user interface)或者是命令用户界面(command user interface，CUI)。如此，操作系统或软件系统等业务系统可以直接调用该服务提供的API进行场景渲染，或者是服务通过GUI或CUI接收用户输入的场景的渲染信息，对待渲染场景进行渲染处理。

在又一种可能的实现方式中，本申请实施例提供的渲染方法可以封装成软件包出售，用户购买软件包后可在该用户的运行环境下安装使用。当然，上述软件包也可以预安装在各种设备(例如，台式机、笔记本电脑、平板电脑、智能手机等)中，用户购买预安装软件包的设备，并使用该设备，实现对场景的渲染处理。

下面将结合图6和图7介绍用于执行上述渲染方法的渲染装置。

可以理解的是，渲染装置为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对渲染装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图6示出了上述实施例中涉及的渲染装置的一种可能的组成示意图，如图6所示，该装置600可以包括：收发单元601和处理单元602，该处理单元602可以实现上述方法实施例中由渲染装置所执行的方法，和/或用于本文所描述的技术的其他过程。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

在采用集成的单元的情况下，装置600可以包括处理单元、存储单元和通信单元。其中，处理单元可以用于对装置600的动作进行控制管理，例如，可以用于支持装置600执行上述各个单元执行的步骤。存储单元可以用于支持装置600执行存储程序代码、和/或数据等。通信单元可以用于支持装置600与其他设备的通信。

其中，处理单元可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，DSP)和微处理器的组合等等。存储单元可以是存储器。通信单元具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他渲染装置交互的设备。处理单元、处理器和存储单元之间可以通过内部连接通路互相通信。

在一种可能的实现方式中，本申请实施例所涉及的渲染装置可以为具有图7所示结构的装置700，该装置700包括处理器701和收发器702。图6中的收发单元601和处理单元602所实现的相关功能可以由处理器701来实现。

可选地，该装置700还可以包括存储器703，该处理器701和该存储器703通过内部连接通路互相通信。图6中的存储单元所实现的相关功能可以由存储器703来实现。

上述存储器703可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanc ed SDRAM，ESDRAM)。应注意，本文描述的系统和装置的存储器旨在包括但不限于这些和任意其他适合业务类型的存储器。

本申请实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在渲染装置上运行时，使得渲染装置执行上述相关方法步骤实现上述实施例中的渲染方法。

本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的渲染方法。

本申请实施例还提供一种渲染装置，这个装置具体可以是芯片、集成电路、组件或模块。具体的，该装置可包括相连的处理器和用于存储指令的存储器，或者该装置包括至少一个处理器，用于从外部存储器获取指令。当装置运行时，处理器可执行指令，以使芯片执行上述各方法实施例中的渲染方法。

图8示出了一种芯片800的结构示意图。芯片800包括一个或多个处理器801以及接口电路802。可选的，上述芯片800还可以包含总线803。

处理器801可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述渲染方法的各步骤可以通过处理器801中的硬件的集成逻辑电路或者软件形式的指令完成。

可选地，上述的处理器801可以是通用处理器、数字信号处理(digital signalproces sing，DSP)器、集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

接口电路802可以用于数据、指令或者信息的发送或者接收，处理器801可以利用接口电路802接收的数据、指令或者其他信息，进行加工，可以将加工完成信息通过接口电路802发送出去。

可选的，芯片还包括存储器，存储器可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(non-vo latile random access memory，NVRAM)。

可选的，存储器存储了可执行软件模块或者数据结构，处理器可以通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。

可选的，芯片可以使用在本申请实施例涉及的渲染装置或DOP中。可选的，接口电路802可用于输出处理器801的执行结果。关于本申请的一个或多个实施例提供的渲染方法可参考前述各个实施例，这里不再赘述。

需要说明的，处理器801、接口电路802各自对应的功能既可以通过硬件设计实现，也可以通过软件设计来实现，还可以通过软硬件结合的方式来实现，这里不作限制。

其中，本实施例提供的装置、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (23)

1.一种渲染方法，其特征在于，包括：

获取场景的渲染信息，所述渲染信息包括材质信息、光源信息、视角信息和着色点信息；

对所述场景的渲染信息进行编码生成所述场景的编码渲染信息；

将所述编码渲染信息输入所述场景的渲染神经网络模型以得到所述场景的渲染图像，所述渲染神经网络模型是利用训练数据样本集训练得到的。

2.权利要求1所述的方法，其特征在于，所述方法还包括：

获取场景的场景信息；

根据所述场景信息从模型库中匹配所述场景的渲染神经网络模型，所述模型库包括多个场景的渲染神经网络模型。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

根据所述场景的视角信息确定所述场景的着色点信息。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述材质信息包括漫反射分量、高光反射分量、反照率或粗糙度中的至少一项。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述光源信息包括光源强度、光源位置、直接光照或光源到着色点方向中的至少一项。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述视角信息包括相机位置和拍摄角度。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述着色点信息包括着色点的位置或着色点的法线方向中的至少一项。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述场景的渲染信息为用户编辑后的所述场景的渲染信息。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述对所述场景的渲染信息进行编码生成所述场景的编码渲染信息，包括：

通过不同频率的周期函数对所述场景的渲染信息进行编码生成所述场景的编码渲染信息。

10.根据权利要求1至9中任一项所述的方法，其特征在于，所述训练数据样本集中包括所述场景的多组编码渲染信息和所述多组编码渲染信息中每组编码渲染信息对应的离线渲染图像。

11.一种渲染装置，其特征在于，所述装置包括处理单元，所述处理单元用于：

获取场景的渲染信息，所述渲染信息包括材质信息、光源信息、视角信息和着色点信息；

对所述场景的渲染信息进行编码生成所述场景的编码渲染信息；

将所述编码渲染信息输入所述场景的渲染神经网络模型以得到所述场景的渲染图像，所述渲染神经网络模型是利用训练数据样本集训练得到的。

12.根据权利要求11所述的渲染装置，其特征在于，所述处理单元还用于：

获取场景的场景信息；

根据所述场景信息从模型库中匹配所述场景的渲染神经网络模型，所述模型库包括多个场景的渲染神经网络模型。

13.根据权利要求11或12所述的装置，其特征在于，所述处理单元还用于：

根据所述场景的视角信息确定所述场景的着色点信息。

14.根据权利要求11至13中任一所述的装置，其特征在于，所述材质信息包括漫反射分量、高光反射分量、反照率或粗糙度中的至少一项。

15.根据权利要求11至14中任一项所述的装置，其特征在于，所述光源信息包括光源强度、光源位置、直接光照或光源到着色点方向中的至少一项。

16.根据权利要求11至15中任一项所述的装置，其特征在于，所述视角信息包括相机位置和拍摄角度。

17.根据权利要求11至16中任一项所述的装置，其特征在于，所述着色点信息包括着色点的位置或着色点的法线方向中的至少一项。

18.根据权利要求11至17中任一项所述的装置，其特征在于，所述场景的渲染信息为用户编辑后的所述场景的渲染信息。

19.根据权利要求11至18中任一项所述的装置，其特征在于，所述处理单元具体用于：

通过不同频率的周期函数对所述场景的渲染信息进行编码生成所述场景的编码渲染信息。

20.根据权利要求11至19中任一项所述的装置，其特征在于，所述训练数据样本集中包括所述场景的多组编码渲染信息和所述多组编码渲染信息中每组编码渲染信息对应的离线渲染图像。

21.一种渲染装置，包括至少一个处理器和接口电路，所述至少一个处理器和所述接口电路耦合，其特征在于，所述至少一个处理器执行存储在存储器中的程序或指令，以使得所述渲染装置实现权利要求1至10中任一项所述的方法。

22.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序包括用于实现上述权利要1至10中任一项所述的方法的指令。

23.一种计算机程序产品，所述计算机程序产品中包含指令，其特征在于，当所述指令在计算机或处理器上运行时，使得所述计算机或所述处理器实现上述权利要求1至10中任一项所述的方法。

Images