CN115147530B - 基于异步传输数据的三维场景云渲染方法和系统 - Google Patents
基于异步传输数据的三维场景云渲染方法和系统 Download PDFInfo
- Publication number
- CN115147530B CN115147530B CN202210757039.2A CN202210757039A CN115147530B CN 115147530 B CN115147530 B CN 115147530B CN 202210757039 A CN202210757039 A CN 202210757039A CN 115147530 B CN115147530 B CN 115147530B
- Authority
- CN
- China
- Prior art keywords
- quality
- information
- pixel
- dimensional scene
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 218
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000005540 biological transmission Effects 0.000 title claims description 30
- 238000004040 coloring Methods 0.000 claims description 57
- 238000005286 illumination Methods 0.000 claims description 47
- 238000013528 artificial neural network Methods 0.000 claims description 31
- 230000033001 locomotion Effects 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000001965 increasing effect Effects 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 101100391179 Dictyostelium discoideum forF gene Proteins 0.000 claims description 3
- 238000005457 optimization Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/55—Radiosity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Generation (AREA)
Abstract
本发明公开了一种基于异步传输数据的三维场景云渲染方法和装置，包括以下步骤：云端使用渲染流水线对三维场景数据进行渲染得到高质量渲染结果，并将得到高质量渲染结果的历史时刻一同传输至本地端；本地端利用三维场景数据逐像素着色，得到低质量渲染结果；本地端将接收的高质量渲染结果与相同历史时刻的低质量渲染结果进行比较，计算得到低质量渲染结果相对于高质量渲染结果的残差信息；本地端利用残差信息对当前时刻着色像素增强以提升本地渲染质量。该方法和系统允许本地设备非同步地接收云端渲染的高质量结果，并通过云端的高质量结果改善本地计算得到的低质量结果，提升图像质量。
Description
技术领域
本发明属于实时渲染领域，尤其涉及一种基于异步传输数据的三维场景云渲染方法和系统。
背景技术
随着各种个人终端的普及及其计算能力的提高，在各种设备上实时渲染真实感图像的需求也逐步提高。但与此同时，不断发展的图形渲染技术也对设备的计算能力提出越来越高的要求。设备的计算性能增长并没有跟上人们对更高品质画面的追求。在现有的硬件与图形渲染技术下，从业人员不得不在画面质量、画面分辨率与延迟上做平衡。对游戏等产品来说，保证较低的延迟和稳定的帧率是首先需要保证的，因此很多产品在便携设备上不得不牺牲画质与分辨率来保证玩家较为流畅的游戏体验。
为了让移动设备的用户能够有更好的体验，有人想到把云上强大的计算能力利用起来。如专利文献CN1856819A提出了一种在强计算能力的服务器上完成绘制操作再把结果压缩传输到端的方法。该方法解决了移动设备实时渲染中低画质、低分辨率的问题，但如何获得低延迟、高帧率的画面这一问题该技术方案并没有解决。
专利文献CN 113440838 A提出了一种端到端的图像渲染融合方法及系统，基于云端图形应用复用场景的云端渲染/数据包下发、终端侧进行角色装备图形渲染/资源整合/光影同步/操控处理等，实现融合云端和终端能力，达到基于网络传输保障的基础上，云端计算资源和通用场景渲染数据共享，但是实际应用，在网络传输无法保障时该方案实现的图像渲染融合也无法得到保证。
将云端渲染出的每一帧画面都传输至本地设备端意味着云端和本地设备段间的通信需要能够保证良好的实时性和具有庞大的带宽。在实际应用场景中，无法保证所有用户都拥有满足要求的优质网络，如何在较差的网络环境下依旧能够完成端云协同渲染是一个需要解决的问题。
发明内容
鉴于上述，本发明的目的是提供一种基于异步传输数据的三维场景云渲染方法和系统，允许本地设备非同步地接收云端渲染的高质量结果，并通过云端的高质量结果改善本地计算得到的低质量结果，提升图像质量。
为实现上述发明目的，实施例提供的一种基于异步传输数据的三维场景云渲染方法，包括以下步骤：
云端使用渲染流水线对三维场景数据进行渲染得到高质量渲染结果，并将得到高质量渲染结果的历史时刻一同传输至本地端；
本地端利用三维场景数据逐像素着色，得到低质量渲染结果；
本地端将接收的高质量渲染结果与相同历史时刻的低质量渲染结果进行比较，计算得到低质量渲染结果相对于高质量渲染结果的残差信息；
本地端利用残差信息对当前时刻着色像素增强以提升本地渲染质量。
在一个实施例中，所述本地端利用三维场景数据逐像素着色，包括三维场景数据的预处理和使用预处理数据进行逐像素着色；
所述三维场景数据的预处理包括对光照信息、三维场景几何信息以及运动信息的预处理，预处理后的光照信息为光源的参数表示或光源参数信息输入神经网络后得到的光编码；预处理后的三维场景几何信息包括位置贴图、深度贴图、法线贴图、材质贴图；预处理后的运动信息以运动向量表示，记载每个像素所对应的物体在一系列中图像的运动情况，用于追踪在不同历史时刻的图像中像素的对应关系；
所述使用预处理数据进行逐像素着色包括利用预处理后的光照信息和的三维场景几何信息进行逐像素着色，以得到低质量渲染结果；
优选地，着色过程采用渲染引擎中的着色器或基于神经网络构建的着色器。
在一个实施例中，每个像素具有独立的残差数值，在不同帧图像之间，依据运动向量复用历史残差，即由运动向量相联系的两个像素使用同一历史残差增强渲染结果。
在一个实施例中，在接收高质量渲染结果后，依据高质量渲染对应的历史时刻查找相同历史时刻的低质量渲染结果，并以相同历史时刻的低质量渲染结果与高质量渲染结果做差，得到每个像素的残差信息，在下一次接收云端下传的高质量渲染结果之前，本地端均采用该残差信息增强当前时刻的低质量渲染结果。
在一个实施例中，所述本地端利用残差信息对当前时刻着色像素增强以提升本地渲染质量，包括：
以取值范围为[0，1]的单调递增函数w(Δt)作为权值，以权值与残差信息的乘积作为第一增强像素，并将该第一增强像素叠加到低质量的着色像素，以实现着色像素增强，公式表示为：
g1(xt)＝f(xt)-f′(xt)
h1(xt′)＝f′(xt′)+w(t′-t)g1(xt)
其中，x为某像素处的光照信息和三维场景几何信息，f(xt)和f′(xt)分别表示历史时刻t针对xt的高质量渲染结果和低质量渲染结果，g1(xt)表示历史时刻t对应计算得到的残差信息，f′(xt′)表示当前时刻t′针对xt′的低质量渲染结果，w(t′-t)表示在t时刻叠加t′时刻的残差时需要使用的权重，h1(xt′)表示当前时刻t′针对xt′的着色像素增强结果。
在一个实施例中，所述本地端利用残差信息对当前时刻着色像素增强以提升本地渲染质量，包括：
以取值范围为[0，1]的单调递增函数w(Δt)作为权值，以权值与修正后的残差信息的乘积作为第二增强像素，并将该第二增强像素叠加到低质量的着色像素，以实现着色像素增强，公式表示为：
g1(xt)＝f(xt)-f′(xt)
g2(xt′)＝F(xt′；xt，g1(xt))
h2(xt′)＝f′(xt′)+w(t′-t)g2(xt′)
其中，x为某像素处的光照信息和三维场景几何信息，f(xt)和f′(xt)分别表示历史时刻t针对xt的高质量渲染结果和低质量渲染结果，g1(xt)表示历史时刻t对应计算得到的残差信息，g2(xt′)表示修正后的残差信息，F(xt′；xt，g1(t))表示以当前时刻t′某像素处的光照信息和三维场景几何信息输入至基于神经网络构建的修正模型，并同时将xt，g1(t)输入修正模型作为输入用作辅助信息，经过模型预测得到的修正后的修正后的残差信息，f′(xt′)表示当前时刻t′针对xt′的低质量渲染结果，w(t′-t)表示在t时刻叠加t′时刻的残差时需要使用的权重，h2(xt′)表示当前时刻t′针对xt′的着色像素增强结果。
在一个实施例中，所述本地端利用残差信息对未来时刻着色像素增强以提升本地渲染质量，包括：
获取由一系列历史时刻组成的历史时刻序列{ti：i∈[1，I]}，及其对应的残差信息序列光照信息和三维场景几何信息将三者结合形成作为基于神经网络构建的着色残差模型的输入，经计算预测得到当前时刻t′给定三维场景几何信息和光照信息xt′下指定像素的残差信息g3(xt′)，该残差信息g3(xt′)作为增强像素叠加到低质量的着色像素，以实现着色像素增强，公式表示为：
h3(xt′)＝f′(xt′)+g3(xt′)
其中，x为某像素处的光照信息和三维场景几何信息，和分别表示历史时刻ti针对的高质量渲染结果和低质量渲染结果，f′(xt′)表示当前时刻t′针对xt′的低质量渲染结果，h3(xt′)表示当前时刻t′针对xt′的着色像素增强结果，表示以当前时刻t′某像素处的光照信息和三维场景几何信息xt′输入至基于神经网络构建的着色残差模型，并同时将输入着色残差模型，经过模型预测得到的残差信息，i表示历史时刻的索引，I为历史时刻总数。
为实现上述发明目的，实施例提供了一种基于异步传输数据的三维场景云渲染方法，包括以下步骤：
云端使用渲染流水线对三维场景数据进行渲染得到高质量渲染结果，并将得到高质量渲染结果的历史时刻一同传输至本地端；
本地端利用三维场景数据逐像素着色，得到由所有像素的低质量渲染结果组成的整张低质量渲染结果；
以当前时刻t′的整张低质量渲染结果F′(Xt′)、三维场景几何信息和光照信息Xt′以及运动信息组成作为基于神经网络构建的增强模型的输入；
以由一系列历史时刻组成的历史时刻序列{ti：i∈[1，I]}，及其对应的整张高质量渲染结果光照信息和三维场景几何信息运动向量组成的 作为增强模型的辅助输入，经过计算输出当前时刻t′输出的增强渲染结果，i表示历史时刻的索引，I为历史时刻总数。
为实现上述发明目的，实施例提供了一种基于异步传输数据的三维场景云渲染系统，包括云端和本地端，所述云端用于使用渲染流水线对三维场景数据进行渲染得到高质量渲染结果，并将得到高质量渲染结果的历史时刻一同传输至本地端；
所述本地端用于利用三维场景数据逐像素着色，得到低质量渲染结果；还用于将接收的高质量渲染结果与相同历史时刻的低质量渲染结果进行比较，计算得到低质量渲染结果相对于高质量渲染结果的残差信息；还用于利用残差信息对当前时刻着色像素增强以提升本地渲染质量。
与现有技术相比，本发明具有的有益效果至少包括：
通过根据相同历史时刻的云端的高质量渲染结果和本地端的低质量渲染结果构建每个像素的残差信息，利用残差信息对当前时刻的像素渲染结果进行像素增强，可以在无法与云端进行高效、同步的数据传输前提下，依旧可以利用云端传输来的部分画面来补强本地端的画面，以提高本地渲染质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的基于异步传输数据的三维场景云渲染方法的流程图；
图2是实施例提供的基于异步传输数据的三维场景云渲染方法的流程框图；
图3是另一实施例提供的基于异步传输数据的三维场景云渲染方法的流程框图；
图4是再一实施例提供的基于异步传输数据的三维场景云渲染方法的流程框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为云端无法与本地端进行高效、同步的数据传输前提下，本地端怎样利用部分历史时刻传输的部分高质量渲染结果来增强本地低质量渲染结果，实施例提供了一种基于异步传输数据的三维场景云渲染方法和系统。
图1是实施例提供的基于异步传输数据的三维场景云渲染方法的流程图。如图1所示，实施例提供的基于异步传输数据的三维场景云渲染方法，包括以下步骤：
步骤1，云端使用渲染流水线对三维场景数据进行渲染得到高质量渲染结果。
云端具有强大的计算能力，因此能利用完整的渲染流水线实时获得高质量画面，即高质量渲染结果，其中，高质量画面是指包含全局光照信息的、高分辨率的画面。
步骤2，云端将得到高质量渲染结果的历史时刻一同传输至本地端。
在异步传输中，无法保证高质量渲染结果何时以何种顺序从云端传输到本地端，因此云端在传输高质量渲染结果同时还要将得到该帧高质量渲染结果对应的历史时刻一同记录下来并传输到本地端，来方便本地端设备分辨云端传来的高质量渲染结果来自哪一历史时刻并根据历史时刻的不同采取不同的策略。
实施例中，云端将得到高质量渲染结果下传时，可以同时传输多个历史时刻对应的多个高质量渲染结果。
步骤3，本地端利用三维场景数据逐像素着色，得到低质量渲染结果。
本地端利用三维场景数据逐像素着色，包括三维场景数据的预处理和使用预处理数据进行逐像素着色。
其中，三维场景数据的预处理包括对光照信息、三维场景几何信息以及运动信息的预处理，预处理后的光照信息根据选择的着色器不同可以为光源的参数表示或光源参数信息输入神经网络后得到的光编码。预处理后的三维场景几何信息包含位置、深度、法向量、材质等信息，可用简单的渲染流水线获得的位置贴图、深度贴图、法线贴图、材质贴图表示。预处理后的运动信息以运动向量表示，记载每个像素所对应的物体在一系列中图像的运动情况，用于追踪在不同历史时刻的图像中像素的对应关系。
实施例中，使用预处理数据进行逐像素着色包括利用预处理后的光照信息和的三维场景几何信息进行逐像素着色，以得到低质量渲染结果。
实施例中，着色过程采用渲染引擎中的着色器或基于神经网络构建的着色器。以预处理后的光照信息和的三维场景几何信息作为着色器的输入，当着色器选自为渲染引擎中的着色器时，光照信息为光源的参数表示。当着色器选自为由神经网路构建时，光照信息为光源参数信息输入神经网络后得到的光编码。
实施例中，由于不同像素对应的物体的全局信息不同，因此每个像素都有独一无二的着色器，并且在不同帧之间，可以利用运动向量来复用着色器，由运动向量相联系的两个像素使用同一个着色器。
步骤4，本地端将接收的高质量渲染结果与相同历史时刻的低质量渲染结果进行比较，计算得到低质量渲染结果相对于高质量渲染结果的残差信息。
实施例中，本地端接收到云端传输来的高质量渲染结果后，需要通过和高质量渲染结果一同传输过来的历史时刻找到本地相同历史时刻的低质量渲染结果，并将两者做差得到残差信息。在下一次接收云端下传的高质量渲染结果之前，本地端均采用该残差信息增强以当前时刻的低质量渲染结果。需要说明的是，计算残差信息的高质量渲染结果是距离当前时刻最近的历史时刻渲染得到的高质量渲染结果。
步骤5，本地端利用残差信息对当前时刻着色像素增强以提升本地渲染质量。
实施例中，使用运动向量跟踪像素的移动情况，在对应的像素上适当叠加残差来增强后续画面的渲染质量。
在一个实施方式中，如图2所示，本地端利用残差信息对当前时刻着色像素增强以提升本地渲染质量，包括：
以取值范围为[0，1]的单调递增函数w(Δt)作为权值，以权值与残差信息的乘积作为第一增强像素，并将该第一增强像素叠加到低质量的着色像素，以实现着色像素增强，公式表示为：
g1(xt)＝f(xt)-f′(xt) (1)
h1(xt′)＝f′(xt′)+w(t′-t)g1(xt) (2)
其中，x为某像素处的光照信息和三维场景几何信息，f(xt)和f′(xt)分别表示历史时刻t针对xt的高质量渲染结果和低质量渲染结果，g1(xt)表示历史时刻t对应计算得到的残差信息，f′(xt′)表示当前时刻t′针对xt′的低质量渲染结果，w(t′-t)表示在t时刻叠加t′时刻的残差时需要使用的权重，h1(xt′)表示当前时刻t′针对xt′的着色像素增强结果。
在一个实施方式中，不直接使用最近历史时刻高质量渲染结果和低质量渲染结果对应像素的残差信息，而是考虑该像素处三维场景几何信息、光照信息的改变对残差信息的影响，可以使用神经网络来拟合残差随三维几何信息、光照信息的变化而发生的改变。引入该方式是因为由于随着时间的推移同一个像素处的三维场景几何信息、光照信息可能会发生改变，直接沿用之前的残差无法体现这一变化。基于此，如图3所示，本地端利用残差信息对当前时刻着色像素增强以提升本地渲染质量，包括：
以取值范围为[0，1]的单调递增函数w(Δt)作为权值，以权值与修正后的残差信息的乘积作为第二增强像素，并将该第二增强像素叠加到低质量的着色像素，以实现着色像素增强，公式表示为：
g1(xt)＝f(xt)-f′(xt) (3)
g2(xt′)＝F(xt′；xt，g1(xt)) (4)
h2(xt′)＝f′(xt′)+w(t′-t)g2(xt′) (5)
其中，x为某像素处的光照信息和三维场景几何信息，f(xt)和f′(xt)分别表示历史时刻t针对xt的高质量渲染结果和低质量渲染结果，g1(xt)表示历史时刻t对应计算得到的残差信息，g2(xt′)表示修正后的残差信息，F(xt′；xt，g1(t))表示以当前时刻t′某像素处的光照信息和三维场景几何信息输入至基于神经网络构建的修正模型，并同时将xt，g1(t)输入修正模型作为输入用作辅助信息，经过模型预测得到的修正后的修正后的残差信息，f′(xt′)表示当前时刻t′针对xt′的低质量渲染结果，w(t′-t)表示在t时刻叠加t′时刻的残差时需要使用的权重，h2(xt′)表示当前时刻t′针对xt′的着色像素增强结果。
在构建修正模型时，神经网络选择简单的MLP网络即可。具体的模型优化过程包括渲染一系列高质量高分辨率的画面，并同时获取这些画面对应的三维场景几何信息、光照信息以及残差信息。选取一系列画面中的部分作为关键帧(对应历史时刻)，剩余部分作为预测帧(对应当前时刻)。对于每一个预测帧来说，使用最近的上一个关键帧按照公式(5)计算得到当前时刻预测帧的着色像素增强结果，并以预测帧的补强结果与真实高质量渲染结果之间的差值最小化为优化目标，优化神经网络，以得到修正模型。
在一个实施方式中，综合考虑时序的影响和三维场景几何信息、光照信息改变对渲染结果的影响。基于此，如图4所示，本地端利用残差信息对未来时刻着色像素增强以提升本地渲染质量，包括：
获取由一系列历史时刻组成的历史时刻序列{ti：i∈[1，I]}，及其对应的残差信息序列光照信息和三维场景几何信息将三者结合形成作为基于神经网络构建的着色残差模型的输入，经计算预测得到当前时刻t′给定三维场景几何信息和光照信息xt′下指定像素的残差信息g3(xt′)，该残差信息g3(xt′)作为增强像素叠加到低质量的着色像素，以实现着色像素增强，公式表示为：
g1(xt)＝f(xt)-f′(xt) (6)
h3(xt′)＝f′(xt′)+g3(xt′) (8)
其中，x为某像素处的光照信息和三维场景几何信息，和分别表示历史时刻ti针对的高质量渲染结果和低质量渲染结果，f′(xt′)表示当前时刻t′针对xt′的低质量渲染结果，h3(xt′)表示当前时刻t′针对xt′的着色像素增强结果，表示以当前时刻t′某像素处的光照信息和三维场景几何信息xt′输入至基于神经网络构建的着色残差模型，并同时将输入着色残差模型，经过模型预测得到的残差信息，i表示历史时刻的索引，I为历史时刻总数。
在构建着色残差模型时，神经网络选择具有时序信息的神经网络，例如LSTM，RNN等。具体的模型优化过程包括渲染一系列高质量高分辨率的画面，并同时获取这些画面对应的三维场景几何信息、光照信息以及残差信息。选取一系列画面中的部分作为关键帧(对应历史时刻)，剩余部分作为预测帧(对应当前时刻)。对于每一个预测帧来说，把位于他之前的所有关键帧作为神经网络的输入，按照公式(8)计算得到当前时刻预测帧的着色像素增强结果，并以预测帧的补强结果与真实高质量渲染结果之间的差值最小化为优化目标，优化神经网络，以得到残差预测模型。
实施例还提供了一种基于异步传输数据的三维场景云渲染方法，包括以下步骤：
步骤1，云端使用渲染流水线对三维场景数据进行渲染得到高质量渲染结果，并将得到高质量渲染结果的历史时刻一同传输至本地端；
步骤2，本地端利用三维场景数据逐像素着色，得到由所有像素的低质量渲染结果组成的整张低质量渲染结果；
步骤3，以当前时刻t′的整张低质量渲染结果F′(Xt′)、三维场景几何信息和光照信息Xt′以及运动信息组成 作为基于神经网络构建的增强模型的输入；
步骤4，以由一系列历史时刻组成的历史时刻序列{ti：i∈[1，I]}，及其对应的整张高质量渲染结果光照信息和三维场景几何信息运动向量组成的作为增强模型的辅助输入，经过计算输出当前时刻t′输出的增强渲染结果。
在构建增强模型时，神经网络选择具有时序信息的神经网络，例如LSTM，RNN等。具体的模型优化过程包括渲染一系列高质量高分辨率的画面，并同时获取这些画面对应的三维场景几何信息、光照信息以及残差信息。选取一系列画面中的部分作为关键帧(对应历史时刻)，剩余部分作为预测帧(对应当前时刻)。对于每一个预测帧来说，把位于他之前的所有关键帧作为神经网络的输入，按照上述过程计算得到当前时刻预测帧的画面增强结果，并以预测帧的增强结果与真实高质量渲染结果之间的差值最小化为优化目标，优化神经网络，以得到增强模型。
基于相同的发明构思，实施例还提供了一种基于异步传输数据的三维场景云渲染系统，包括云端和本地端，云端用于使用渲染流水线对三维场景数据进行渲染得到高质量渲染结果，并将得到高质量渲染结果的历史时刻一同传输至本地端；本地端用于利用三维场景数据逐像素着色，得到低质量渲染结果；还用于将接收的高质量渲染结果与相同历史时刻的低质量渲染结果进行比较，计算得到低质量渲染结果相对于高质量渲染结果的残差信息；还用于利用残差信息对当前时刻着色像素增强以提升本地渲染质量。
上述实施例提供的基于异步传输数据的三维场景云渲染方法和系统，在无法与云端进行高效、同步的数据传输前提下，依旧可以利用云端传输来的部分画面来补强本地端的画面。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于异步传输数据的三维场景云渲染方法，其特征在于，包括以下步骤：
云端使用渲染流水线对三维场景数据进行渲染得到高质量渲染结果，并将得到高质量渲染结果的历史时刻一同传输至本地端；
本地端利用三维场景数据逐像素着色，得到低质量渲染结果；
本地端将接收的高质量渲染结果与相同历史时刻的低质量渲染结果进行比较，计算得到低质量渲染结果相对于高质量渲染结果的每个像素的残差信息；
本地端利用残差信息对当前时刻着色像素增强以提升本地渲染质量，每个像素具有独立的残差信息，在不同帧图像之间，依据运动向量复用历史残差，即由运动向量相联系的两个像素使用同一历史残差增强渲染结果，在下一次接收云端下传的高质量渲染结果之前，本地端均采用该残差信息增强当前时刻的低质量渲染结果。
2.根据权利要求1所述的基于异步传输数据的三维场景云渲染方法，其特征在于，所述本地端利用三维场景数据逐像素着色，包括三维场景数据的预处理和使用预处理数据进行逐像素着色；
所述三维场景数据的预处理包括对光照信息、三维场景几何信息以及运动信息的预处理，预处理后的光照信息为光源的参数表示或光源参数信息输入神经网络后得到的光编码；预处理后的三维场景几何信息包括位置贴图、深度贴图、法线贴图、材质贴图；预处理后的运动信息以运动向量表示，记载每个像素所对应的物体在一系列中图像的运动情况，用于追踪在不同历史时刻的图像中像素的对应关系；
所述使用预处理数据进行逐像素着色包括利用预处理后的光照信息和的三维场景几何信息进行逐像素着色，以得到低质量渲染结果；
优选地，着色过程采用渲染引擎中的着色器或基于神经网络构建的着色器。
3.根据权利要求1所述的基于异步传输数据的三维场景云渲染方法，其特征在于，所述本地端利用残差信息对当前时刻着色像素增强以提升本地渲染质量，包括：
以取值范围为[0,1]的单调递增函数w(Δt)作为权值，以权值与残差信息的乘积作为第一增强像素，并将该第一增强像素叠加到低质量的着色像素，以实现着色像素增强，公式表示为：
g1(xt)＝f(xt)-f′(xt)
h1(xt′)＝f′(xt′)+w(t′-t)g1(xt)
其中，x为某像素处的光照信息和三维场景几何信息，f(xt)和f′(xt)分别表示历史时刻t针对xt的高质量渲染结果和低质量渲染结果，g1(xt)表示历史时刻t对应计算得到的残差信息，f′(xt′)表示当前时刻t′针对xt′的低质量渲染结果，w(t′-t)表示在t时刻叠加t′时刻的残差时需要使用的权重，h1(xt′)表示当前时刻t′针对xt′的着色像素增强结果。
4.根据权利要求1所述的基于异步传输数据的三维场景云渲染方法，其特征在于，所述本地端利用残差信息对当前时刻着色像素增强以提升本地渲染质量，包括：
以取值范围为[0,1]的单调递增函数w(Δt)作为权值，以权值与修正后的残差信息的乘积作为第二增强像素，并将该第二增强像素叠加到低质量的着色像素，以实现着色像素增强，公式表示为：
g1(xt)＝f(xt)-f′(xt)
g2(xt′)＝F(xt′；xt,g1(xt))
h2(xt′)＝f′(xt′)+w(t′-t)g2(xt′)
其中，x为某像素处的光照信息和三维场景几何信息，f(xt)和f′(xt)分别表示历史时刻t针对xt的高质量渲染结果和低质量渲染结果，g1(xt)表示历史时刻t对应计算得到的残差信息，g2(xt′)表示修正后的残差信息，F(xt′；xt,g1(t))表示以当前时刻t′某像素处的光照信息和三维场景几何信息xt′输入至基于神经网络构建的修正模型，并同时将xt,g1(t)输入修正模型作为输入用作辅助信息，经过模型预测得到的修正后的残差信息，f′(xt′)表示当前时刻t′针对x的低质量渲染结果，w(t′-t)表示在t时刻叠加t′时刻的残差时需要使用的权重，h2(xt′)表示当前时刻t′针对xt′的着色像素增强结果。
5.根据权利要求1所述的基于异步传输数据的三维场景云渲染方法，其特征在于，所述本地端利用残差信息对未来时刻着色像素增强以提升本地渲染质量，包括：
获取由一系列历史时刻组成的历史时刻序列{ti:i∈[1,I]}，及其对应的残差信息序列光照信息和三维场景几何信息将三者结合形成作为基于神经网络构建的着色残差模型的输入，经计算预测得到当前时刻t′给定三维场景几何信息和光照信息xt′下指定像素的残差信息g3(xt′)，该残差信息g3(xt′)作为增强像素叠加到低质量的着色像素，以实现着色像素增强，公式表示为：
h3(xt′)＝f′(xt′)+g3(xt′)
其中，x为某像素处的光照信息和三维场景几何信息，和分别表示历史时刻ti针对的高质量渲染结果和低质量渲染结果，f′(xt′)表示当前时刻t′针对xt′的低质量渲染结果，h3(xt′)表示当前时刻t′针对xt′的着色像素增强结果，表示以当前时刻t′某像素处的光照信息和三维场景几何信息xt′输入至基于神经网络构建的着色残差模型，并同时将输入着色残差模型，经过模型预测得到的残差信息，i表示历史时刻的索引，I为历史时刻总数。
6.一种基于异步传输数据的三维场景云渲染方法，其特征在于，包括以下步骤：
云端使用渲染流水线对三维场景数据进行渲染得到高质量渲染结果，并将得到高质量渲染结果的历史时刻一同传输至本地端；
本地端利用三维场景数据逐像素着色，得到由所有像素的低质量渲染结果组成的整张低质量渲染结果；
以当前时刻t′的整张低质量渲染结果F′(Xt′)、三维场景几何信息和光照信息Xt′以及运动信息组成作为基于神经网络构建的增强模型的输入；
以由一系列历史时刻组成的历史时刻序列{ti,i∈[1,I]}，及其对应的整张高质量渲染结果光照信息和三维场景几何信息运动向量组成的 作为增强模型的辅助输入，经过计算输出当前时刻t′输出的增强渲染结果，i表示历史时刻的索引，I为历史时刻总数。
7.一种基于异步传输数据的三维场景云渲染系统，包括云端和本地端，其特征在于，
所述云端用于使用渲染流水线对三维场景数据进行渲染得到高质量渲染结果，并将得到高质量渲染结果的历史时刻一同传输至本地端；
所述本地端用于利用三维场景数据逐像素着色，得到低质量渲染结果；还用于将接收的高质量渲染结果与相同历史时刻的低质量渲染结果进行比较，计算得到低质量渲染结果相对于高质量渲染结果的每个像素的残差信息；还用于利用残差信息对当前时刻着色像素增强以提升本地渲染质量，每个像素具有独立的残差信息，在不同帧图像之间，依据运动向量复用历史残差，即由运动向量相联系的两个像素使用同一历史残差增强渲染结果，在下一次接收云端下传的高质量渲染结果之前，本地端均采用该残差信息增强当前时刻的低质量渲染结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210757039.2A CN115147530B (zh) | 2022-06-29 | 2022-06-29 | 基于异步传输数据的三维场景云渲染方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210757039.2A CN115147530B (zh) | 2022-06-29 | 2022-06-29 | 基于异步传输数据的三维场景云渲染方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115147530A CN115147530A (zh) | 2022-10-04 |
| CN115147530B true CN115147530B (zh) | 2024-11-19 |
Family
ID=83409529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210757039.2A Active CN115147530B (zh) | 2022-06-29 | 2022-06-29 | 基于异步传输数据的三维场景云渲染方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115147530B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494569A (zh) * | 2022-01-27 | 2022-05-13 | 光线云(杭州)科技有限公司 | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9264749B2 (en) * | 2012-12-13 | 2016-02-16 | Microsoft Technology Licensing, Llc | Server GPU assistance for mobile GPU applications |
| SG11201605217VA (en) * | 2013-12-26 | 2016-07-28 | Univ Singapore Technology & Design | A method and apparatus for reducing data bandwidth between a cloud server and a thin client |
| US11087529B2 (en) * | 2019-09-27 | 2021-08-10 | Disney Enterprises, Inc. | Introducing real-time lighting effects to illuminate real-world physical objects in see-through augmented reality displays |
| CN112200900B (zh) * | 2020-12-02 | 2021-02-26 | 成都完美时空网络技术有限公司 | 一种体积云渲染方法、装置、电子设备及存储介质 |
-
2022
- 2022-06-29 CN CN202210757039.2A patent/CN115147530B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494569A (zh) * | 2022-01-27 | 2022-05-13 | 光线云(杭州)科技有限公司 | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115147530A (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12214277B2 (en) | Method and device for generating video frames | |
| CN111540055B (zh) | 三维模型驱动方法、装置、电子设备及存储介质 | |
| JP2020010331A (ja) | 画質を向上させる方法 | |
| KR101547780B1 (ko) | 이미지 모델 구축 방법 및 장치 | |
| CN111464834B (zh) | 一种视频帧处理方法、装置、计算设备及存储介质 | |
| CN102870412A (zh) | 在网络环境中提供编码视频应用 | |
| KR102441514B1 (ko) | 하이브리드 스트리밍 | |
| CN113313818A (zh) | 一种三维重建方法、装置及系统 | |
| Zhang et al. | Semantic communications with variable-length coding for extended reality | |
| KR102358464B1 (ko) | 인공지능 기술을 이용하여 영상 정보로부터 3d 캐릭터 애니메이션을 자동으로 생성하는 3d 이미지 변환장치 및 이를 포함하는 3d 이미지 변환시스템 | |
| CN103650001A (zh) | 动画分发服务器、动画播放装置、控制方法、程序、及记录介质 | |
| CN114494569B (zh) | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 | |
| WO2024017093A1 (zh) | 图像生成方法、模型训练方法、相关装置及电子设备 | |
| CN116051722A (zh) | 三维头部模型重建方法、装置及终端 | |
| WO2024060669A1 (zh) | 动作迁移方法、装置、终端设备及存储介质 | |
| CN115272565A (zh) | 一种头部三维模型的重建方法及电子设备 | |
| CN116958534A (zh) | 一种图像处理方法、图像处理模型的训练方法和相关装置 | |
| CN112968950A (zh) | 一种轻量级GPU云烘培Web3D实时全局光照渲染管线 | |
| Peng et al. | Face photo–sketch synthesis via intra-domain enhancement | |
| CN115147530B (zh) | 基于异步传输数据的三维场景云渲染方法和系统 | |
| CN113515193B (zh) | 一种模型数据传输方法及装置 | |
| CN115170713B (zh) | 基于超网络的三维场景云渲染方法和系统 | |
| CN113473172B (zh) | Vr视频缓存方法、装置、缓存服务装置以及存储介质 | |
| Soares et al. | Privacy-preserving training of monocular depth estimators via self-supervised federated learning | |
| CN117593222A (zh) | 一种渐进式像素级调整的低光照图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |