CN105844695B - 一种基于真实材质测量数据的光照建模方法 - Google Patents

Abstract

本发明公开了一种基于真实材质测量数据的光照建模方法，本发明分为数据预处理部分和数据拟合部分。针对BRDF模型仅限于拟合过于单一的平面材质，将BTF材质的测量数据分解为几何信息和光照信息，并利用光照信息进行BRDF拟合。并针对目前的BTF的BRDF拟合方法忽略了自遮挡、自阴影及互反射等效果而直接进行BRDF拟合的现状，本发明利用所得到的法向、深度几何信息，对BTF测量数据先去除无效的遮蔽、阴影数据后再进行BRDF拟合，从而提供了一种具有更加真实视觉效果的光照模型拟合算法。相比于其他BRDF模型，基于微表面的BRDF拟合效果更好。

Description

一种基于真实材质测量数据的光照建模方法

技术领域

本发明涉及一种基于真实材质测量数据的光照建模方法。

背景技术

近些年来，随着计算机图形学的发展，动漫、影视、广告宣传等领域对渲染的要求越来越高，传统的解析反射模型越来越难满足动漫、影视产业的要求，基于真实材质测量数据的研究和使用越来越广泛，如何获得极尽真实的渲染效果已经成为计算机真实感图形学的主要研究方向。材质的光照属性建模是为了精确展示物体在不同光照条件下的外观视觉效果，由于材质的多样性与光照反射成因的复杂性，因此材质表面光照属性建模一直是研究的难点及热点。

基于不透明表面真实材质测量数据的材质光照属性的重建工作，可以提高渲染场景中物体的逼真程度，模拟出物体在不同光照条件下的外观视觉效果，从而使三维动漫作品更加逼真，实现与现实生活中同样的真实性效果。尽管材质光照属性模型可以展示现实世界中的错综复杂的光学现象，但是高维度的反射属性数据以及材质反射的复杂多样给材质采集和建模技术带来了难度。目前通常使用双向纹理函数(Bidirectional TextureFunction，BTF)和双向反射分布函数(Bidirectional Reflectance DistributionFunction，BRDF)两种方法可以描述不透明材质表面对光线的反射现象。

双向反射分布函数(BRDF)是基于入射光线方向及出射光线方向的四维函数，描述不透明材质表面对光线的反射现象。BRDF的模型主要分为经验模型、基于物理的模型以及数据驱动模型三类。其中经验模型主要源自于设计人员的经验和直觉，计算相对简单，主要是试图模拟物体的反射率来获得类似现实世界中真实物体的材质外观，但是并没有分析潜在的物理规律，具体的模型有Lambertian BRDF、Phong BRDF、Blinn BRDF等。基于物理的模型主要根据物体的几何和光学特性来描述反射比，对物体的潜在属性做了一些物理假设，具体的模型有Torrance-Sparrow BRDF、Fresnel Term Model和Ward Model等。数据驱动模型是通过BRDF数据采集设备采集得到的数据来描述反射比的模型，但采集到的数据量大，常常需要数据压缩算法进行压缩或利用经验模型或物理模型进行BRDF参数拟合。

虽然BRDF描述了材质不同视点方向、不同光照方向下的材质表面的光照变化，但只能描述近似平面、表面相对平滑的材质反射效果，但无法表示表面粗糙、有凹凸起伏的材质反射效果。双向纹理函数(BTF)通过对这类材质在不同光照、不同视点下进行采样，很好地重现了物体表面微几何结构产生的阴影、环境遮挡等全局光照视觉效果。

由于BTF测量数据往往占据很大的存储空间，致使直接使用测量数据进行绘制不能满足实时绘制的要求，因此必须对BTF测量数据进行压缩。当前主要的压缩方法有两类，一种方法将BTF数据看成多维信号，利用PCA主元分析方法获取数据主元，利用主元的线性组合拟合原始数据，但压缩率并不理想。另一类方法是采用BRDF解析模型对BTF测量数据中的每个像素进行拟合。虽然利用BRDF反射模型拟合BTF测量数据的方法具有非常高的压缩率，但是由于BTF材质表面比较粗糙，会呈现出自遮挡、自阴影、互反射等视觉效果，直接对BTF测量数据进行BRDF拟合，往往会引入很多噪声值，拟合得到的BRDF解析模型并不能很好的反映BTF材质的特点。

发明内容

本发明为了解决上述问题，提出了一种基于真实材质测量数据的光照建模方法，本方法将BTF材质的测量数据分解为几何信息和光照信息，并利用光照信息进行BRDF拟合。并针对目前的BTF的BRDF拟合方法忽略了自遮挡、自阴影及互反射等效果而直接进行BRDF拟合的现状，利用所得到的法向、深度几何信息，对BTF测量数据先去除无效的遮蔽、阴影数据后再进行BRDF拟合，从而具有更加真实视觉效果。

为了实现上述目的，本发明采用如下技术方案：

一种基于真实材质测量数据的光照建模方法，包括以下步骤：

(1)采集平面材质的BTF图像，进行相同视点、光照方向下的HDR图像合成，进行正视图校正及正视图裁剪，得到相同分辨率的正视投影下的图像集合；

(2)将裁剪后的图像信息按照光照、视点依次变化的顺序进行矩阵存储，并转换为同一像素在不同光照和视点的图像像素集合；

(3)利用获取到的法向信息及每张图片的视点、光照位置信息，计算每个像素点在不同光照、视点方向下的可见性，获得每个像素点的可见像素点阵；

(4)对每个像素点进行光照信息的拟合，计算每个像素不同光照、视点下的测量数据的平均值，根据平均值设定阈值，去除无效测量数据以及确定漫反射分量；

(5)根据漫反射分量计算高光分量，利用基于微表面的高光BRDF模型，计算出每个像素对应的高光BRDF分量中的光照模型参数，根据其进行渲染形成最终图像。

所述步骤(1)中，具体步骤包括：

(1-1)采集不同视点、光照方向、与曝光时间下的平面材质的BTF纹理图像；

(1-2)通过材质测量设备拍摄的图像，利用每个曝光时间相对应的LDR图像中图像细节清晰可见的部分来合成相应视点与光照方向下的HDR图像；

(1-3)利用合成后HDR图像，以及每张HDR图像对应的拍摄器械的内外参数及拍摄得到正视图的内外参数，将所有HDR图像转换为正视图像；

(1-4)利用恢复得到的HDR正视图像，进行相同分辨率的图像裁剪，最终获得具有相同分辨率的图像集合。

所述步骤(1-1)中，优选的，利用相机光照阵列模式的真实感材质测量装置采集不同视点、光照方向、与曝光时间下的平面材质的数据。

所述步骤(2)具体步骤包括：

(2-1)对裁剪后的BTF纹理图像信息按照光照、视点依次变化的顺序进行矩阵存储；

(2-2)获取每张图像相同位置下的像素点对应的不同光照、视点下的颜色信息，将BTF纹理图像组织形式转换为同一排列的像素集合。

所述步骤(2-2)中，将BTF纹理图像组织形式转换为像素组织形式，使得每个像素集合由不同视点、光照方向下对应的BRDF值组成。

所述步骤(3)中，具体步骤包括：

(3-1)针对每个像素的像素值集合，认定像素值为0的像素为被遮挡的像素；

(3-2)利用恢复得到的法向信息、深度信息，以及光照方向、视点方向计算该像素位置能否可见，若可见，将该像素值保留，否则，将该像素值设为0；

(3-3)将对于其他像素值非0的像素值作为该像素进行拟合的数据。

所述步骤(4)中，具体步骤包括：

(4-1)将Lambertian漫反射模型和基于微表面的高光BRDF模型作为要拟合的模型，对每一个像素点分别进行光照信息的拟合；

(4-2)计算每个像素不同光照、视点下的测量数据的平均值，根据平均值确定阈值，去除无效测量数据；

(4-3)利用有效测量数据中最小值作为该像素的漫反射分量，根据Lambertain漫反射模型计算出漫反射系数。

优选的，所述步骤(4-2)中，阈值为平均值的0.02-0.10％。

所述步骤(5)中，具体步骤包括：

(5-1)根据计算漫反射分量，计算出高光分量，采用基于微表面理论的BRDF模型进行拟合；

(5-2)设定遮挡因子和菲涅尔因子的初始值，通过交替迭代最小二乘法，最终计算出每个像素对应的高光BRDF分量中的各个参数。

所述步骤(5-1)中，基于微表面理论的BRDF模型为：

其中，p_s(k₁,k₂)为高光分量，n为法向量，k₁为入射光线方向向量，k₂为出射光线方向向量，h为入射光线k₁和出射光线k₂的角平分方向向量，p(h)为微表面法向分布函数，G(k₁,k₂)为入射方向k₁和出射方向k₂对应的遮挡因子，F(k·h)为菲涅尔因子。

所述步骤(5-2)中，具体方法为：

设定遮挡因子G(k₁,k₂)和菲涅尔因子F(k·h)的初始值为1，利用公式(2)、公式(3)，通过交替迭代最小二乘法，最终计算出每个像素对应的高光BRDF分量中的各个参数，

其中，p_s为高光分量，n为法向量，k₁为入射光线方向向量，k₂为出射光线方向向量，h为入射光线k₁和出射光线k₂的角平分方向向量，p(h)为微表面法向分布函数，入射方向k₁和出射方向k₂对应的遮挡因子G(k₁,k₂)由入射方向k₁的遮挡因子g(k₁)和出射方向k₂的遮挡因子g(k₂)的乘积代替，其中g(k)通过公式(3)计算得到。

本发明的有益效果为：

(1)本发明提出了一种基于真实材质测量数据的光照建模算法，是BTF测量数据去除遮挡信息后的BRDF拟合首次实现；

(2)本发明在BTF拟合阶段采用了基于微表面的BRDF高光模型，相比于其他BRDF模型，基于微表面的BRDF拟合效果更好；

(3)本发明采用了去除了BTF测量数据的遮挡信息，使拟合的数据更加真实，恢复得到的数据更加真实。

附图说明

图1为基于BTF的真实材质测量数据的光照建模算法流程图；

图2为基于微表面理论的BRDF模型示意图；

图3为真实材质测量数据拟合阶段的流程图；

图4(a)为使用原始未去除遮蔽、阴影影响的BTF测量数据进行BRDF拟合的渲染结果；

图4(b)为使用去除遮蔽、阴影影响的BTF测量数据进行BRDF拟合的渲染结果；

图4(c)为直接利用BTF测量数据得到的渲染结果。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

如图1所示，本发明针对BRDF模型仅限于拟合过于单一的平面材质，将BTF材质的测量数据分解为几何信息和光照信息，并利用光照信息进行BRDF拟合。并针对目前的BTF的BRDF拟合方法忽略了自遮挡、自阴影及互反射等效果而直接进行BRDF拟合的现状，本发明利用所得到的法向、深度几何信息，对BTF测量数据先去除无效的遮蔽、阴影数据后再进行BRDF拟合，从而提供了一种具有更加真实视觉效果的光照模型拟合算法。算法分为数据预处理部分和数据拟合部分。

为了实现该算法，本发明采用如下技术方案：

在图像数据预处理部分，首先利用相机光照阵列模式的真实感材质测量装置采集待拟合的平面材质的图像，经过多曝光-高动态范围合成图像、正视图校正及正视图裁剪等图像预处理过程，得到具有相同分辨率的图像集合。然后，将BTF样本数据组织形式由不同视点、光照方向下的纹理图像集合转换为同一像素在不同光照和视点的图像像素集合。接着，利用获取到的法向信息及每个像素点的不同视点、光照的位置信息，计算出每个像素点不同视点、光照下的可见性，如果在某视点、光照下像素点可见，则保留该视点、光照下对应的像素值，若不可见，则该视点、光照下对应的像素值设为零，这样就获得了每个像素点的可见像素点阵。最后，利用获得的每个像素点的可见像素点阵，为每个像素点进行数据拟合。

在数据拟合阶段，本发明采用基于微表面的BRDF模型，对每个像素点进行BRDF数据拟合。首先，利用Lambertian漫反射模型和基于微表面的高光BRDF模型作为要拟合的BRDF模型。其次，计算每个像素不同光照、视点下的测量数据的平均值，并将该平均值的0.05％作为阈值，去除无效测量数据，并利用有效测量数据中最小值作为该像素的漫反射分量。最后，设定遮挡因子和菲涅尔系数的初始值为1，利用交替迭代最小二乘法，计算出每个像素对应的高光BRDF分量中的各个参数。

一种基于真实材质测量数据的光照建模算法，包括如下步骤：

步骤1.开始图片数据预处理阶段，首先相机光照阵列模式的真实感材质测量装置采集平面材质，然后进行相同视点、光照方向下的HDR图像合成，然后进行正视图校正及正视图裁剪，最终得到相同分辨率的正视投影下的图像集合；

步骤2.BTF数据组织形式的转换阶段，将BTF样本数据组织形式由不同视点、光照方向下的纹理图像集合转换为同一像素在不同光照和视点的图像像素集合；

步骤3.利用获取到的法向信息及每张图片的视点、光照位置信息，为每个像素点计算不同光照、视点方向下该像素点的可见性，获得每个像素点的可见像素点阵；

步骤4.估计漫反射分量阶段，计算每个像素不同光照、视点下的测量数据的平均值，并将该平均值的0.05％作为阈值，去除无效测量数据，并利用有效测量数据中最小值作为该像素的漫反射分量。

步骤5.高光分量参数估计阶段，利用获得到的漫反射分量得到高光分量，并利用基于微表面的高光BRDF模型，计算出每个像素对应的高光BRDF分量中的各个参数。

步骤6.图像生成阶段，利用拟合得到的BRDF光照模型参数以及几何信息，通过渲染形成最终图像。

所述步骤(1)包括如下步骤：

步骤(1.1)：利用相机光照阵列模式的真实感材质测量装置采集不同视点、光照方向、与曝光时间下的平面材质的数据；

步骤(1.2)：多曝光-高动态范围合成图像(HDR)，通过材质测量设备拍摄的图像，利用每个曝光时间相对应最佳细节的LDR图像来合成相应视点与光照方向下的HDR图像。

步骤(1.3)：利用合成后HDR图像，以及每张HDR图像对应的摄像机内外参数及拍摄得到正视图的摄像机内外参数，将所有HDR图像转换为正视图像。

步骤(1.4)：利用恢复得到的HDR正视图像，进行相同分辨率的图像裁剪，最终获得具有相同分辨率的图像集合。

所述步骤(2)包括如下步骤：

步骤(2.1)：将裁剪后的BTF纹理图像信息按照光照、视点依次变化的顺序进行矩阵存储；

步骤(2.2)：获取每张图像相同位置下的像素点对应的不同光照、视点下的颜色信息，将BTF纹理图像组织形式转换为一种类似BRDF排列的像素组织形式。

所述步骤(3)包括如下步骤：

步骤(3.1)：首先，针对每个像素的像素值集合，认定像素值为0的像素为被遮挡的像素；

步骤(3.2)：其次，利用恢复得到的法向信息、深度信息，以及光照方向、视点方向计算该像素位置能否可见，若可见，将该像素值保留，否则，将该像素值设为0；

步骤(3.3)：经过3.1、3.2步骤的处理，将对于其他像素值非0的像素值作为该像素进行拟合的数据；

所述步骤(4)包括如下步骤：

步骤(4.1)：利用Lambertian漫反射模型和基于微表面的高光BRDF模型作为要拟合的模型，对每一个像素点分别进行光照信息的拟合。

步骤(4.2)：计算每个像素不同光照、视点下的测量数据的平均值，并将该平均值的0.05％作为阈值，去除无效测量数据，并利用有效测量数据中最小值作为该像素的漫反射分量，根据Lambertain漫反射模型计算出漫反射系数。

所述步骤(5)包括如下步骤：

步骤(5.1)：根据计算漫反射分量，计算出高光分量，采用基于微表面理论的BRDF模型进行拟合：

步骤(5.2)：设定遮挡因子G(k₁,k₂)和菲涅尔因子F(k·h)的初始值为1，利用公式(2)、公式(3)，通过交替迭代最小二乘法，最终计算出每个像素对应的高光BRDF分量中的各个参数。

实施例一：

选定的材质，作为待采集的平面材质，采用相机光照阵列模式的真实感材质测量装置拍摄数据。测量装置包括工作台，所述工作台上固定拍摄支架，所述拍摄支架包括半圆弧形相机固定臂、半圆弧形光照旋转臂和中心旋转托盘，所述相机固定臂上架设有多台相机，所述光照固定臂上架设有多个光照；拍摄支架和工作台通过计算机串口编程控制。

通过测量相机拍摄，获得材质在视点的俯仰角为0度到90度(间隔15度)，方位角为0度到360度(间隔15度)，光照方向为0度到90度(间隔15度)，方位角为0度到360度(间隔15度)拍摄的图像。

步骤1，对拍摄获取的拍摄图片，经过多曝光-高动态范围合成图像、正视图校准、图像预处理等数据预处理步骤，最终得到6561张正视投影下的材质图片，每张图片像素分辨率为256*256。

步骤2，将6561张材质图片按一定的光照、视点排列顺序，存储为3个6561*65536的矩阵，其中每个矩阵的每一行存储了一张材质图像的256*256的所有像素点的像素单通道信息，每一列为对应的一组视点、光照位置，且全部视点、光照组合存储在6561*4的矩阵中。然后利用相应的光照视点顺序，将6561*65536转换为65536*6561的矩阵，其中每行代表一个像素点的对应在不同材质图片中的全部信息。

步骤3，利用获取得到的材质法向信息及每张图片的视点、光照位置，为每个像素点计算不同光照、视点方向下该像素点的可见性，获得每个像素点的可见像素点阵，其中可见像素点保留，非可见像素点值设为0；

步骤4，对每个像素点的可见像素点阵进行BRDF拟合，首先估计漫反射分量，计算每个像素不同光照、视点下的测量数据的平均值，并将该平均值的0.05％作为阈值，去除小于该阈值的无效测量数据，并利用剩余有效测量数据中的最小值作为该像素的漫反射分量。

步骤5，如图2所示，通过估计得到的漫反射分量，计算每个像素点的高光分量。利用公式(1)，对每个像素点进行高光分量的BRDF拟合。首先设定遮挡因子g(k₁)、g(k₂)和菲涅尔因子F(kh)的初始值为1，利用公式(2)、公式(3)，通过交替迭代最小二乘法，最终计算出每个像素对应的高光BRDF分量中的各个参数。

根据图4(a)使用原始未去除遮蔽、阴影影响的BTF测量数据进行BRDF拟合的渲染结果、图4(b)使用去除遮蔽、阴影影响的BTF测量数据进行BRDF拟合的渲染结果以及图4(c)直接利用BTF测量数据得到的渲染结果对比可以看出本发明有较好的效果。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于真实材质测量数据的光照建模方法，其特征是：包括以下步骤：

(1)采集平面材质的BTF图像，进行相同视点、光照方向下的HDR图像合成，进行正视图校正及正视图裁剪，得到相同分辨率的正视投影下的图像集合；

(2)将裁剪后的图像信息按照光照、视点依次变化的顺序进行矩阵存储，并转换为同一像素在不同光照和视点的图像像素集合；

(3)利用获取到的法向信息及每张图片的视点、光照位置信息，计算每个像素点在不同光照、视点方向下的可见性，获得每个像素点的可见像素点阵；

(4)对每个像素点进行光照信息的拟合，计算每个像素不同光照、视点下的测量数据的平均值，根据平均值设定阈值，去除无效测量数据以及确定漫反射分量；

(5)根据漫反射分量计算高光分量，利用基于微表面的高光BRDF模型，计算出每个像素对应的高光BRDF分量中的光照模型参数，根据其进行渲染形成最终图像；

基于微表面理论的BRDF模型为：

其中，p_s(k₁,k₂)为高光分量，n为法向量，k₁为入射光线方向向量，k₂为出射光线方向向量，h为入射光线k₁和出射光线k₂的角平分方向向量，p(h)为微表面法向分布函数，G(k₁,k₂)为入射方向k₁和出射方向k₂对应的遮挡因子，F(k·h)为菲涅尔因子；

所述步骤(5)中，具体步骤包括：

(5-1)根据计算漫反射分量，计算出高光分量，采用基于微表面理论的BRDF模型进行拟合；

(5-2)设定遮挡因子和菲涅尔因子的初始值，通过交替迭代最小二乘法，最终计算出每个像素对应的高光BRDF分量中的各个参数；

所述步骤(5-2)中，具体方法为：

设定遮挡因子G(k₁,k₂)和菲涅尔因子F(k·h)的初始值为1，利用公式(2)、公式(3)，通过交替迭代最小二乘法，最终计算出每个像素对应的高光BRDF分量中的各个参数，

其中，p_s为高光分量，n为法向量，k₁为入射光线方向向量，k₂为出射光线方向向量，h为入射光线k₁和出射光线k₂的角平分方向向量，p(h)为微表面法向分布函数，入射方向k₁和出射方向k₂对应的遮挡因子G(k₁,k₂)由入射方向k₁的遮挡因子g(k₁)和出射方向k₂的遮挡因子g(k₂)的乘积代替，其中g(k)通过公式(3)计算得到。

2.如权利要求1所述的一种基于真实材质测量数据的光照建模方法，其特征是：所述步骤(1)中，具体步骤包括：

(1-1)采集不同视点、光照方向、与曝光时间下的平面材质的BTF纹理图像；

(1-2)通过材质测量设备拍摄的图像，利用每个曝光时间相对应的LDR图像中图像细节清晰可见的部分来合成相应视点与光照方向下的HDR图像；

(1-3)利用合成后HDR图像，以及每张HDR图像对应的拍摄器械的内外参数及拍摄得到正视图的内外参数，将所有HDR图像转换为正视图像；

(1-4)利用恢复得到的HDR正视图像，进行相同分辨率的图像裁剪，最终获得具有相同分辨率的图像集合。

3.如权利要求2所述的一种基于真实材质测量数据的光照建模方法，其特征是：所述步骤(1-1)中，利用相机光照阵列模式的真实感材质测量装置采集不同视点、光照方向、与曝光时间下的平面材质的数据。

4.如权利要求1所述的一种基于真实材质测量数据的光照建模方法，其特征是：所述步骤(2)具体步骤包括：

(2-1)对裁剪后的BTF纹理图像信息按照光照、视点依次变化的顺序进行矩阵存储；

(2-2)获取每张图像相同位置下的像素点对应的不同光照、视点下的颜色信息，将BTF纹理图像组织形式转换为同一排列的像素集合。

5.如权利要求4所述的一种基于真实材质测量数据的光照建模方法，其特征是：所述步骤(2-2)中，将BTF纹理图像组织形式转换为像素组织形式，使得每个像素集合由不同视点、光照方向下对应的BRDF值组成。

6.如权利要求1所述的一种基于真实材质测量数据的光照建模方法，其特征是：所述步骤(3)中，具体步骤包括：

(3-1)针对每个像素的像素值集合，认定像素值为0的像素为被遮挡的像素；

(3-2)利用恢复得到的法向信息、深度信息，以及光照方向、视点方向计算该像素位置能否可见，若可见，将该像素值保留，否则，将该像素值设为0；

(3-3)将对于其他像素值非0的像素值作为该像素进行拟合的数据。

7.如权利要求1所述的一种基于真实材质测量数据的光照建模方法，其特征是：所述步骤(4)中，具体步骤包括：

(4-1)将Lambertian漫反射模型和基于微表面的高光BRDF模型作为要拟合的模型，对每一个像素点分别进行光照信息的拟合；

(4-2)计算每个像素不同光照、视点下的测量数据的平均值，根据平均值确定阈值，去除无效测量数据；

(4-3)利用有效测量数据中最小值作为该像素的漫反射分量，根据Lambertain漫反射模型计算出漫反射系数。

8.如权利要求7所述的一种基于真实材质测量数据的光照建模方法，其特征是：所述步骤(4-2)中，阈值为平均值的0.02-0.10％。