CN118587345A - 基于光线反射与全局光照的实时人物建模方法 - Google Patents
基于光线反射与全局光照的实时人物建模方法 Download PDFInfo
- Publication number
- CN118587345A CN118587345A CN202410817388.8A CN202410817388A CN118587345A CN 118587345 A CN118587345 A CN 118587345A CN 202410817388 A CN202410817388 A CN 202410817388A CN 118587345 A CN118587345 A CN 118587345A
- Authority
- CN
- China
- Prior art keywords
- static
- illumination
- light source
- dynamic
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000003068 static effect Effects 0.000 claims abstract description 220
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 230000000694 effects Effects 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000009877 rendering Methods 0.000 claims abstract description 21
- 238000013145 classification model Methods 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims description 107
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 8
- 239000000523 sample Substances 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 6
- 238000002310 reflectometry Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 5
- 238000007499 fusion processing Methods 0.000 abstract 1
- 238000005457 optimization Methods 0.000 abstract 1
- 238000012935 Averaging Methods 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Image Generation (AREA)
Abstract
本发明公开了基于光线反射与全局光照的实时人物建模方法,涉及实时渲染领域。基于光线反射与全局光照的实时人物建模方法,包括有:获取人物照片,转换为原始人物模型;进行调整优化后,获取初始人物模型;获取物体模型集;添加场景,将物体模型集拖放至场景中,设置光源,获取实时场景;使用分类模型对实时场景中的光源和物体模型进行分类;获取静态光照数据,并储存在预存信息库中;获取动态光照数据;使用融合模型进行融合处理,获取整体光照效果,应用整体光照效果进行渲染操作,获取实时人物图像。本发明将光照分为静态光照和动态光照,针对静态光照,通过预计算模型对静态光照进行计算,减少实时渲染过程中对光照的计算量。
Description
技术领域
本发明涉及实时渲染领域,具体涉及基于光线反射与全局光照的实时人物建模方法。
背景技术
实时人物建模是指利用计算机图形学技术,在实时环境中对人物进行三维建模和渲染。这种技术通常应用于电子游戏、虚拟现实和增强现实等领域,可以让人物在虚拟环境中以逼真的方式移动、交互和表现。
常规的实时人物建模方法在进行渲染时,通常需要在每一帧的图像显示中计算大量光照信息,光照信息的计算量过大会导致渲染效率较低;同时大量的光源和复杂的阴影计算会增加渲染负载。
因此,我们需要提供一种能够提高渲染效率的基于光线反射与全局光照的实时人物建模方法。
发明内容
本发明旨在提供基于光线反射与全局光照的实时人物建模方法,解决在实时渲染中对光照计算量过大的问题。
基于光线反射与全局光照的实时人物建模方法,包括:
S1:获取人物照片,对人物照片进行预处理,获取参考照片,将参考照片输入至转换模型进行转换,获取原始人物模型;
S2:将原始人物模型输入至建模调整模型,建模调整模型用于对原始人物模型进行调整优化操作,获取初始人物模型;创建多个物品模型,对初始人物模型和物品模型进行添加材料和调整纹理映射的操作,获取物体模型集;
S3:添加场景,将物体模型集拖放至场景中,然后对物体模型集中的各个物体模型进行调整和放置,获取初始场景;在初始场景中设置光源,并调整光源的参数,获取实时场景;
使用分类模型对物体模型集中的所有物体模型进行分类,获取静态物体集和动态物体集;对实时场景中的每个光源进行分类,获取静态光源和动态光源;将所有静态光源和影响静态物体集的光照划归为静态光照,静态光照包括静态直接光照、静态间接光照和静态阴影;将受到动态光源和动态物体影响的光照规划为动态光照,动态光照包括动态直接光照、动态间接光照和动态阴影;
S4:将静态光照输入至预计算模型,对静态光照中的各类光照进行计算,获取静态光照数据;创建预存信息库,将静态光照数据储存在预存信息库中;对预存信息库进行更新;
S5:对动态光照中的各类光照进行实时计算,获取动态光照数据;
将静态光照数据和动态光照数据输入至融合模型,输出整体光照效果;
应用整体光照效果对实时场景进行渲染操作,获取实时人物图像。
作为本发明的一种优选技术方案,步骤S1中将参考照片转换成原始人物模型的具体步骤,包括:
A1:将参考照片输入至转换模型,对参考照片进行对齐操作,获取精确参考照片;
A2:对精确参考照片进行建立点云操作,获取点云模型;
A3:对点云模型进行网格化处理,获取网格模型;
A4:将点云模型的纹理映射到网格模型上,获取原始人物模型。
作为本发明的一种优选技术方案,步骤S3中分类模型的具体操作,包括:
B1:设置光源变化阈值和物体变化阈值;光源变化阈值包括光源位置变化阈值、颜色变化阈值和强度变化阈值;
B2:以t为时间间隔进行n次采集各个光源在各个时刻的位置坐标、颜色值和强度,计算各个光源在各个时刻的位置坐标、颜色值和强度平均在每个时间间隔t的变化值,获取各个光源的光源位置变化值、颜色变化值和强度变化值;将各个光源的光源位置变化值、颜色变化值和强度变化值分别与光源位置变化阈值、颜色变化阈值和强度变化阈值进行比较,若光源的光源位置变化值、颜色变化值和强度变化值分别小于光源位置变化阈值、颜色变化阈值和强度变化阈值,则将该光源标记为静态光源;否则,将该光源标记为动态光源;
B3:以t为时间间隔进行n次采集各个物体模型的位置坐标,计算各个物体模型在各个时刻的位置坐标平均在每个时间间隔t的变化值,获取物体位置变化值;将各个物体模型的物体位置变化值与物体变化阈值进行比较,若物体位置变化值小于物体变化阈值,则将该物体模型为标记为静态物体;否则,将该物体模型标记为动态物体;
B4:将由静态光源和静态物体产生的光照标记为静态光照,静态光照包括静态直接光照、静态间接光照和静态阴影,将受到动态光源和动态物体影响的光照标记为动态光照,动态光照包括动态直接光照、动态间接光照和动态阴影。
作为本发明的一种优选技术方案,步骤S4中预计算模型的具体操作,包括:
C1:计算静态直接光照,获取静态直接光照数据;计算静态间接光照,获取静态间接光照数据;计算静态阴影,获取静态阴影数据;
C2:创建预存信息库,将静态直接光照数据、静态间接光照数据和静态阴影数据整合为静态光照数据,将静态光照数据储存在预存信息库中;
C3:对预存信息库进行更新。
作为本发明的一种优选技术方案,对预存信息库进行更新的具体操作:
设置光源更新阈值和物体更新阈值,通过比较当前帧与上一帧的静态光源的位置坐标、颜色值和强度,获取静态光源信息变化值;同时比较当前帧与上一帧的静态物体的位置坐标,获取静态物体信息变化值;对光源更新阈值与静态光源信息变化值进行比较,同时对物体更新阈值与静态物体信息变化值进行比较,若静态光源信息变化值小于光源更新阈值,同时静态物体信息变化值小于物体更新阈值,则无需进行更新操作;否则,再次执行C1步骤,并使用计算结果对预存信息库中的静态光照数据进行替换。
作为本发明的一种优选技术方案,步骤S5的具体操作,包括:
D1:从预存信息库中提取静态光照数据,对动态光照中的动态直接光照、动态间接光照和动态阴影进行计算,获取动态光照数据;
D2:将静态光照数据和动态光照数据输入至融合模型,输出整体光照效果;
D3:应用整体光照效果对实时场景进行渲染操作,获取人物图像;
D4:在每一帧中重复执行D1步骤-D3步骤,获取实时人物图像。
作为本发明的一种优选技术方案,融合模型的具体操作,包括:
E1:通过使用静态光照影响的区域与动态光照影响的区域进行比较,获取静态光照与动态光照的交界区域;
E2:在各个交界区域中,计算该交界区域与静态光源和动态光源的距离权重,获取静态光权重和动态光权重;
E3:使用静态光权重和动态光权重对静态光照数据和动态光照数据进行加权平均,获取融合因子;
E4:对融合因子进行平滑处理,获取最终融合因子;
E5:在各个交界区域中,将最终融合因子应用于该交界区域中的静态光照数据和动态光照数据,获取区域光照数据;
E6:结合静态光照数据、动态光照数据和区域光照数据,获取实时场景中的整体光照效果。
作为本发明的一种优选技术方案,针对静态光照的计算,具体操作:
计算静态直接光照:
K1:分析静态物体的表面属性,静态物体的表面属性包括反射率和粗糙度;
K2:对于场景中的每一个点,计算从静态光源到该点的入射光线;根据与静态光源的距离和入射光线的传播距离,计算得到入射光线的衰减程度;
K3:根据静态光源的强度、入射光线的衰减程度以及静态物体表面属性进行计算,获取光照强度;
K4:根据光照强度和静态物体表面属性进行计算,获取静态直接光照数据;
计算静态间接光照:
L1:在实时场景中均匀放置虚拟的光照探针,光照探针用于捕捉周围的环境光;
L2:光照探针通过球谐函数环境映射技术来采集来自所有方向的光照数据,获取环境光数据;
L3:将环境光数据投影到球谐函数上,对每个环境光数据的每个像素计算球谐函数的加权和,获取球谐系数,静态间接光照数据包含每个像素的球谐系数;
计算静态阴影:
M1:从静态光源的视角出发,记录实时场景中各个静态物体表面与静态光源之间的距离,获取每个像素的深度信息;
M2:将深度信息存储,获取阴影贴图,并选择适当的阴影贴图分辨率,获取静态阴影数据。
本发明具有以下优点:
1、本发明通过分类模型对实时场景中的光源和物体进行分类,将光照分为静态光照和动态光照,使预计算过程更加精细化和针对性;针对静态光照,通过预计算模型对静态光照进行计算,减少实时渲染过程中对光照的计算量,从而提高渲染效率。
2、本发明通过融合模型对静态光照和动态光照的交界区域进行融合,获取区域光照数据,最后结合静态光照数据、动态光照数据和区域光照数据,获取实时场景中的整体光照效果,有效避免在实时人物图像中出现光照断层或不自然的过渡。
附图说明
图1为本发明实施例采用的基于光线反射与全局光照的实时人物建模方法的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
实施例1
基于光线反射与全局光照的实时人物建模方法,如图1所示,包括:
S1:获取人物照片,对人物照片进行预处理:选择高质量清晰的照片、去除失真、进行色彩校正和曝光调整、去除重复照片、裁剪和旋转照片,以及标记控制点和适当命名文件;这些预处理步骤有助于提高转换模型进行转换操作的准确性和效果;获取参考照片;将参考照片输入至转换模型进行转换,获取原始人物模型;
S2:将原始人物模型输入至建模调整模型,确保原始人物模型的比例和位置正确,并在原始人物模型的基础上进行细节建模,添加面部表情、服装褶皱等细节;获取初始人物模型;创建多个物品模型,对初始人物模型和物品模型进行添加材料和调整纹理映射的操作:为初始人物模型和物品模型设置适当的材质,包括皮肤、服装等,考虑到光线反射和全局光照,可以使用PBR材质;获取物体模型集;
S3:添加场景,将物体模型集拖放至场景中,然后对物体模型集中的各个物体模型进行调整和放置,获取初始场景;在初始场景中设置光源,并调整灯光参数以达到理想的光照效果,获取实时场景;
使用分类模型对物体模型集中的所有物体模型进行分类,获取静态物体集和动态物体集;对实时场景中的每个光源进行分类,获取静态光源和动态光源;将所有静态光源和影响静态物体集的光照划归为静态光照,静态光照包括静态直接光照、静态间接光照和静态阴影;将受到动态光源和动态物体影响的光照规划为动态光照,动态光照包括动态直接光照、动态间接光照和动态阴影;
S4:将静态光照输入至预计算模型,对静态光照中的各类光照进行计算,获取静态光照数据;创建预存信息库,将静态光照数据储存在预存信息库中;对预存信息库进行更新;
S5:对动态光照中的各类光照进行实时计算,获取动态光照数据;
将静态光照数据和动态光照数据输入至融合模型,输出整体光照效果;
应用整体光照效果对实时场景进行渲染操作,获取实时人物图像。
作为本发明的一种优选技术方案,步骤S1中将参考照片转换成原始人物模型的具体步骤,包括:
A1:将参考照片输入至转换模型,对参考照片进行对齐操作,获取精确参考照片,选择合适的对齐精度,以便后续步骤中能够获得准确的原始人物模型;
A2:对精确参考照片进行建立点云操作,获取点云模型,这些点将用于后续步骤中创建几何模型;
A3:对点云模型进行网格化处理,获取网格模型;
A4:将点云模型的纹理映射到网格模型上,获取原始人物模型。
分类模型的具体操作,包括:
B1:设置光源变化阈值和物体变化阈值;光源变化阈值包括光源位置变化阈值、颜色变化阈值和强度变化阈值;
B2:以t为时间间隔进行n次采集各个光源在各个时刻的位置坐标、颜色值和强度,计算各个光源在各个时刻的位置坐标、颜色值和强度平均在每个时间间隔t的变化值,获取各个光源的光源位置变化值、颜色变化值和强度变化值;将各个光源的光源位置变化值、颜色变化值和强度变化值分别与光源位置变化阈值、颜色变化阈值和强度变化阈值进行比较,若光源的光源位置变化值、颜色变化值和强度变化值分别小于光源位置变化阈值、颜色变化阈值和强度变化阈值,则将该光源标记为静态光源;若光源的光源位置变化值、颜色变化值和强度变化值之中任意一个大于对应的变化阈值,则将该光源标记为动态光源;
B3:以t为时间间隔进行n次采集各个物体模型的位置坐标,计算各个物体模型在各个时刻的位置坐标平均在每个时间间隔t的变化值,获取物体位置变化值;将各个物体模型的物体位置变化值与物体变化阈值进行比较,若物体位置变化值小于物体变化阈值,则将该物体模型为标记为静态物体;否则,将该物体模型标记为动态物体;
B4:将由静态光源和静态物体产生的光照标记为静态光照,静态光照用于预先计算并储存,并在实时渲染的过程中应用,从而减少实时渲染的光照计算量,静态光照包括静态直接光照、静态间接光照和静态阴影;将受到动态光源和动态物体影响的光照标记为动态光照,动态光照则需要在实时渲染的过程中进行实时计算,动态光照包括动态直接光照、动态间接光照和动态阴影。
预计算模型的具体操作,包括:
C1:计算静态直接光照,获取静态直接光照数据;计算静态间接光照,获取静态间接光照数据;计算静态阴影,获取静态阴影数据;
C2:创建预存信息库,将静态直接光照数据、静态间接光照数据和静态阴影数据整合为静态光照数据,将静态光照数据储存在预存信息库中;预存信息库用于为实时渲染的操作过程中提供静态光照数据;
C3:对预存信息库进行更新。
对预存信息库进行更新的具体操作:
由于静态光源和静态物体依然会发生变化,因此需要对预存信息库进行更新;
设置光源更新阈值和物体更新阈值,通过比较当前帧与上一帧的静态光源的位置坐标、颜色值和强度,获取静态光源信息变化值;同时比较当前帧与上一帧的静态物体的位置坐标,获取静态物体信息变化值;对光源更新阈值与静态光源信息变化值进行比较,同时对物体更新阈值与静态物体信息变化值进行比较,若静态光源信息变化值小于光源更新阈值,同时静态物体信息变化值小于物体更新阈值,则无需进行更新操作;否则,再次执行C1步骤,并使用计算结果对预存信息库中的静态光照数据进行替换。
步骤S5的具体操作,包括:
D1:从预存信息库中提取静态光照数据;对于动态光照中的动态直接光照,使用实时光栅化技术进行计算,这包括使用动态光源的位置和强度,结合物体表面的属性,在每个像素上计算光的入射强度,从而确定物体模型表面的颜色和亮度,获取动态直接光照数据;对于动态光照中的动态间接光照,使用实时光线追踪技术进行计算,实时光线追踪能够模拟光线在场景中的多次反射和折射过程,从而捕捉到间接光照的效果,获取动态间接光照数据;对于动态光照中的动态阴影,使用实时阴影映射技术进行计算,这包括使用深度贴图或阴影贴图来捕捉光源的阴影信息,并将其应用于场景中的物体,以模拟动态阴影效果进行计算,获取动态阴影数据;将动态直接光照数据、动态间接光照数据和动态阴影数据整合成动态光照数据;
D2:将静态光照数据和动态光照数据输入至融合模型,输出整体光照效果;
D3:应用整体光照效果对实时场景进行渲染操作,获取人物图像;
D4:在每一帧中重复执行D1步骤-D3步骤,获取实时人物图像。
融合模型的具体操作,包括:
E1:通过使用静态光照影响的区域与动态光照影响的区域进行比较,获取静态光照与动态光照的交界区域;
E2:在各个交界区域中,计算该交界区域与静态光源和动态光源的距离权重,获取静态光权重和动态光权重;
E3:使用静态光权重和动态光权重对静态光照数据和动态光照数据进行加权平均,获取融合因子;
E4:对融合因子进行平滑处理,获取最终融合因子;
E5:在各个交界区域中,将最终融合因子应用于该交界区域中的静态光照数据和动态光照数据,获取区域光照数据;
E6:结合静态光照数据、动态光照数据和区域光照数据,获取实时场景中的整体光照效果。
针对静态光照的计算,具体操作:
计算静态直接光照:
K1:分析静态物体的表面属性,静态物体的表面属性包括反射率和粗糙度;
反射率:表面材质的反射率,即表面对光的吸收和反射程度;
粗糙度:表面的粗糙度会影响光线的散射程度,从而影响表面的亮度和阴影效果;
K2:对于场景中的每一个点,计算从静态光源到该点的入射光线;根据与静态光源的距离和入射光线的传播距离,计算得到入射光线的衰减程度;
K3:根据静态光源的强度、入射光线的衰减程度以及静态物体表面属性进行计算,获取光照强度;
K4:根据光照强度和静态物体表面属性进行计算,获取静态直接光照数据;
计算静态间接光照:
L1:在实时场景中均匀放置虚拟的光照探针,光照探针用于捕捉周围的环境光;
L2:光照探针通过球谐函数环境映射技术来采集来自所有方向的光照数据,获取环境光数据;
球谐函数环境映射是一种利用球谐函数对环境光照进行近似的技术,它通过对环境光照进行球谐函数变换,将其表示为一组球谐系数,然后在渲染时使用这些系数来近似环境光照,球谐函数环境映射通常用于捕捉和渲染间接光照,特别是在实时渲染中,以提高渲染效率;
L3:将环境光数据投影到球谐函数上,对每个环境光数据的每个像素计算球谐函数的加权和,获取球谐系数,静态间接光照数据包含每个像素的球谐系数;
在实时渲染过程中,使用球谐系数和球谐函数为实时场景中的每个点重建间接光照;
计算静态阴影:
M1:从静态光源的视角出发,记录实时场景中各个静态物体表面与静态光源之间的距离,获取每个像素的深度信息;
M2:将深度信息存储,获取阴影贴图,并选择适当的阴影贴图分辨率,获取静态阴影数据。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。本说明书中未作详细描述的部分属于本领域专业技术人员公知的现有技术。
Claims (8)
1.基于光线反射与全局光照的实时人物建模方法,其特征在于,包括:
S1:获取人物照片,对人物照片进行预处理,获取参考照片,将参考照片输入至转换模型进行转换,获取原始人物模型;
S2:将原始人物模型输入至建模调整模型,建模调整模型用于对原始人物模型进行调整优化操作,获取初始人物模型;创建多个物品模型,对初始人物模型和物品模型进行添加材料和调整纹理映射的操作,获取物体模型集;
S3:添加场景,将物体模型集拖放至场景中,然后对物体模型集中的各个物体模型进行调整和放置,获取初始场景;在初始场景中设置光源,并调整光源的参数,获取实时场景;
使用分类模型对物体模型集中的所有物体模型进行分类,获取静态物体集和动态物体集;对实时场景中的每个光源进行分类,获取静态光源和动态光源;将所有静态光源和影响静态物体集的光照划归为静态光照,静态光照包括静态直接光照、静态间接光照和静态阴影;将受到动态光源和动态物体影响的光照规划为动态光照,动态光照包括动态直接光照、动态间接光照和动态阴影;
S4:将静态光照输入至预计算模型,对静态光照中的各类光照进行计算,获取静态光照数据;创建预存信息库,将静态光照数据储存在预存信息库中;对预存信息库进行更新;
S5:对动态光照中的各类光照进行实时计算,获取动态光照数据;
将静态光照数据和动态光照数据输入至融合模型,输出整体光照效果;
应用整体光照效果对实时场景进行渲染操作,获取实时人物图像。
2.根据权利要求1所述的基于光线反射与全局光照的实时人物建模方法,其特征在于,步骤S1中将参考照片转换成原始人物模型的具体步骤,包括:
A1:将参考照片输入至转换模型,对参考照片进行对齐操作,获取精确参考照片;
A2:对精确参考照片进行建立点云操作,获取点云模型;
A3:对点云模型进行网格化处理,获取网格模型;
A4:将点云模型的纹理映射到网格模型上,获取原始人物模型。
3.根据权利要求2所述的基于光线反射与全局光照的实时人物建模方法,其特征在于,步骤S3中分类模型的具体操作,包括:
B1:设置光源变化阈值和物体变化阈值;光源变化阈值包括光源位置变化阈值、颜色变化阈值和强度变化阈值;
B2:以t为时间间隔进行n次采集各个光源在各个时刻的位置坐标、颜色值和强度,计算各个光源在各个时刻的位置坐标、颜色值和强度平均在每个时间间隔t的变化值,获取各个光源的光源位置变化值、颜色变化值和强度变化值;将各个光源的光源位置变化值、颜色变化值和强度变化值分别与光源位置变化阈值、颜色变化阈值和强度变化阈值进行比较,若光源的光源位置变化值、颜色变化值和强度变化值分别小于光源位置变化阈值、颜色变化阈值和强度变化阈值,则将该光源标记为静态光源;否则,将该光源标记为动态光源;
B3:以t为时间间隔进行n次采集各个物体模型的位置坐标,计算各个物体模型在各个时刻的位置坐标平均在每个时间间隔t的变化值,获取物体位置变化值;将各个物体模型的物体位置变化值与物体变化阈值进行比较,若物体位置变化值小于物体变化阈值,则将该物体模型为标记为静态物体;否则,将该物体模型标记为动态物体;
B4:将由静态光源和静态物体产生的光照标记为静态光照,静态光照包括静态直接光照、静态间接光照和静态阴影,将受到动态光源和动态物体影响的光照标记为动态光照,动态光照包括动态直接光照、动态间接光照和动态阴影。
4.根据权利要求3所述的基于光线反射与全局光照的实时人物建模方法,其特征在于,步骤S4中预计算模型的具体操作,包括:
C1:计算静态直接光照,获取静态直接光照数据;计算静态间接光照,获取静态间接光照数据;计算静态阴影,获取静态阴影数据;
C2:创建预存信息库,将静态直接光照数据、静态间接光照数据和静态阴影数据整合为静态光照数据,将静态光照数据储存在预存信息库中;
C3:对预存信息库进行更新。
5.根据权利要求4所述的基于光线反射与全局光照的实时人物建模方法,其特征在于,对预存信息库进行更新的具体操作:
设置光源更新阈值和物体更新阈值,通过比较当前帧与上一帧的静态光源的位置坐标、颜色值和强度,获取静态光源信息变化值;同时比较当前帧与上一帧的静态物体的位置坐标,获取静态物体信息变化值;对光源更新阈值与静态光源信息变化值进行比较,同时对物体更新阈值与静态物体信息变化值进行比较,若静态光源信息变化值小于光源更新阈值,同时静态物体信息变化值小于物体更新阈值,则无需进行更新操作;否则,再次执行C1步骤,并使用计算结果对预存信息库中的静态光照数据进行替换。
6.根据权利要求5所述的基于光线反射与全局光照的实时人物建模方法,其特征在于,步骤S5的具体操作,包括:
D1:从预存信息库中提取静态光照数据,对动态光照中的动态直接光照、动态间接光照和动态阴影进行计算,获取动态光照数据;
D2:将静态光照数据和动态光照数据输入至融合模型,输出整体光照效果;
D3:应用整体光照效果对实时场景进行渲染操作,获取人物图像;
D4:在每一帧中重复执行D1步骤-D3步骤,获取实时人物图像。
7.根据权利要求6所述的基于光线反射与全局光照的实时人物建模方法,其特征在于,融合模型的具体操作,包括:
E1:通过使用静态光照影响的区域与动态光照影响的区域进行比较,获取静态光照与动态光照的交界区域;
E2:在各个交界区域中,计算该交界区域与静态光源和动态光源的距离权重,获取静态光权重和动态光权重;
E3:使用静态光权重和动态光权重对静态光照数据和动态光照数据进行加权平均,获取融合因子;
E4:对融合因子进行平滑处理,获取最终融合因子;
E5:在各个交界区域中,将最终融合因子应用于该交界区域中的静态光照数据和动态光照数据,获取区域光照数据;
E6:结合静态光照数据、动态光照数据和区域光照数据,获取实时场景中的整体光照效果。
8.根据权利要求7所述的基于光线反射与全局光照的实时人物建模方法,其特征在于,针对静态光照的计算,具体操作:
计算静态直接光照:
K1:分析静态物体的表面属性,静态物体的表面属性包括反射率和粗糙度;
K2:对于场景中的每一个点,计算从静态光源到该点的入射光线;根据与静态光源的距离和入射光线的传播距离,计算得到入射光线的衰减程度;
K3:根据静态光源的强度、入射光线的衰减程度以及静态物体表面属性进行计算,获取光照强度;
K4:根据光照强度和静态物体表面属性进行计算,获取静态直接光照数据;
计算静态间接光照:
L1:在实时场景中均匀放置虚拟的光照探针,光照探针用于捕捉周围的环境光;
L2:光照探针通过球谐函数环境映射技术来采集来自所有方向的光照数据,获取环境光数据;
L3:将环境光数据投影到球谐函数上,对每个环境光数据的每个像素计算球谐函数的加权和,获取球谐系数,静态间接光照数据包含每个像素的球谐系数;
计算静态阴影:
M1:从静态光源的视角出发,记录实时场景中各个静态物体表面与静态光源之间的距离,获取每个像素的深度信息;
M2:将深度信息存储,获取阴影贴图,并选择适当的阴影贴图分辨率,获取静态阴影数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410817388.8A CN118587345B (zh) | 2024-06-24 | 2024-06-24 | 基于光线反射与全局光照的实时人物建模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410817388.8A CN118587345B (zh) | 2024-06-24 | 2024-06-24 | 基于光线反射与全局光照的实时人物建模方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118587345A true CN118587345A (zh) | 2024-09-03 |
CN118587345B CN118587345B (zh) | 2024-11-15 |
Family
ID=92525781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410817388.8A Active CN118587345B (zh) | 2024-06-24 | 2024-06-24 | 基于光线反射与全局光照的实时人物建模方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118587345B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118941723A (zh) * | 2024-10-12 | 2024-11-12 | 南昌大学 | 一种基于可微射线追踪的三维人脸重建方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111145341A (zh) * | 2019-12-27 | 2020-05-12 | 陕西职业技术学院 | 一种基于单光源的虚实融合光照一致性绘制方法 |
US20220130131A1 (en) * | 2018-11-30 | 2022-04-28 | Pcms Holdings, Inc. | Method and apparatus to estimate scene illuminant based on skin reflectance database |
CN116228943A (zh) * | 2023-05-10 | 2023-06-06 | 深圳市腾讯计算机系统有限公司 | 虚拟对象面部重建方法、面部重建网络训练方法及装置 |
CN117710819A (zh) * | 2023-12-20 | 2024-03-15 | 西安邮电大学 | 基于动态卷积Transformer的高光谱图像分类方法及系统 |
-
2024
- 2024-06-24 CN CN202410817388.8A patent/CN118587345B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220130131A1 (en) * | 2018-11-30 | 2022-04-28 | Pcms Holdings, Inc. | Method and apparatus to estimate scene illuminant based on skin reflectance database |
CN111145341A (zh) * | 2019-12-27 | 2020-05-12 | 陕西职业技术学院 | 一种基于单光源的虚实融合光照一致性绘制方法 |
CN116228943A (zh) * | 2023-05-10 | 2023-06-06 | 深圳市腾讯计算机系统有限公司 | 虚拟对象面部重建方法、面部重建网络训练方法及装置 |
CN117710819A (zh) * | 2023-12-20 | 2024-03-15 | 西安邮电大学 | 基于动态卷积Transformer的高光谱图像分类方法及系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118941723A (zh) * | 2024-10-12 | 2024-11-12 | 南昌大学 | 一种基于可微射线追踪的三维人脸重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN118587345B (zh) | 2024-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114241159B (zh) | 基于近景摄影测量法的三维重建与pbr贴图的制作方法 | |
Lu et al. | Non-photorealistic volume rendering using stippling techniques | |
CN107679497A (zh) | 视频面部贴图特效处理方法及生成系统 | |
CN108805971B (zh) | 一种环境光遮蔽方法 | |
CN106056650A (zh) | 基于快速表情信息提取和泊松融合的人脸表情合成方法 | |
CN114202630A (zh) | 一种光照匹配的虚拟试衣方法、设备和存储介质 | |
CN118587345B (zh) | 基于光线反射与全局光照的实时人物建模方法 | |
CN109523622A (zh) | 一种非结构化的光场渲染方法 | |
WO2023225891A1 (zh) | 一种基于多分辨率网络结构的神经绘制方法 | |
CN116485994A (zh) | 基于神经隐式表达的场景逆向绘制方法和装置 | |
CN118196268A (zh) | 元宇宙数字人的渲染方法、装置、设备及存储介质 | |
CN117372598A (zh) | 一种基于环境艺术设计的视觉渲染方法、系统及介质 | |
Ma et al. | Neural compositing for real-time augmented reality rendering in low-frequency lighting environments | |
CN112002019B (zh) | 一种基于mr混合现实的模拟人物阴影的方法 | |
CN118823245A (zh) | 一种面向地面综合测试场景的有效载荷点云重建系统及方法 | |
CN118945487A (zh) | 虚拟影像合成方法、装置、设备以及存储介质 | |
CN118628630A (zh) | 三维模型自动贴图优化方法 | |
CN114663574A (zh) | 基于单视角照片的三维人脸自动建模方法、系统及装置 | |
CN115033998B (zh) | 一种面向机械零部件的个性化2d数据集构建方法 | |
CN117853191A (zh) | 一种基于区块链技术的商品交易信息共享方法及系统 | |
CN118840472B (zh) | 一种基于神经网络的虚拟摄影图像生成方法 | |
CN119444989B (zh) | 基于扩散模型的三维图像安全处理系统及方法 | |
CN110264564A (zh) | 一种基于色卡映射与直方图映射的影视风格仿真方法 | |
CN118537485A (zh) | 头部模型的贴图方法 | |
Pardo | Photogrammetry Workflow for Obtaining Low-polygon 3D Models Using Free Software |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |