[go: up one dir, main page]

CN107146264B - 一种提取材质表面几何和光照物理属性的方法 - Google Patents

一种提取材质表面几何和光照物理属性的方法 Download PDF

Info

Publication number
CN107146264B
CN107146264B CN201710291472.0A CN201710291472A CN107146264B CN 107146264 B CN107146264 B CN 107146264B CN 201710291472 A CN201710291472 A CN 201710291472A CN 107146264 B CN107146264 B CN 107146264B
Authority
CN
China
Prior art keywords
image
value
channel
picture
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710291472.0A
Other languages
English (en)
Other versions
CN107146264A (zh
Inventor
吕高建
宋佳
郭延文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201710291472.0A priority Critical patent/CN107146264B/zh
Publication of CN107146264A publication Critical patent/CN107146264A/zh
Application granted granted Critical
Publication of CN107146264B publication Critical patent/CN107146264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4738—Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种提取材质表面几何和光照物理属性的方法，包括以下步骤：步骤1，搭建拍摄环境；步骤2，拍摄用于光线补偿的图片；步骤3，拍摄材质图片；步骤4，计算材质表面的几何曲面形状；步骤5，计算材质表面的漫反射系数；步骤6，计算材质表面的镜面反射系数；步骤7，计算材质表面的置换信息；步骤8，计算材质的透明度值。

Description

一种提取材质表面几何和光照物理属性的方法
技术领域
本发明属于计算机图形学领域，涉及一种提取材质表面几何和光照物理属性的方法。
背景技术
材料表面视觉信息的用途相当广泛，主要应用在工业可视化材质制作，虚拟现实材质制作，工业、服装、家具、装潢等数字材质制作，游戏材质制作，影视材质制作，CG材质制作等方面。
现有的材质视觉扫描方案多基于两种采集模式，扫描仪或照相机。其重要问题有两点，一是采集信息不全面，仅能采集色彩信息。二是质量不稳定，无法广泛应用于多种材质视觉信息采集。
针对上述问题，现有技术中也可将扫描仪或照相机获取的图像通过Photoshop、CrazyBump等软件转化生成材质表面的一些信息，但转化结果均存在非常严重的错误，很难用于高质量材质应用。而且转化后的数据类型无法规范统一，很难符合工业应用标准。
发明内容
发明目的：本发明所要解决的问题是针对现有技术的不足，提供一种提取材质表面几何和光照物理属性的方法，从而快速的实现材质表面信息的提取并存储为材质贴图。
技术方案：本发明公开了一种提取材质表面几何和光照物理属性的方法，其核心在于利用相机以及LED灯带拍摄不同方向光照的图片从而计算出材质表面几何和光照物理属性，包括计算材质表面的几何曲面形状，提取材质表面的漫反射和镜面反射系数，提取材质的透明度值以及其置换信息。包括以下步骤：
步骤1，搭建拍摄环境。
步骤2，拍摄用于光线补偿的图片。
步骤3，拍摄材质图片。
步骤4，计算材质表面的几何曲面形状。
步骤5，计算材质表面的漫反射系数。
步骤6，计算材质表面的镜面反射系数。
步骤7，计算材质表面的置换信息。
步骤8，计算材质的透明度值
其中步骤1如下：
步骤1-1，制备遮光箱，遮光箱的长宽高分别为a，b，c(a，b，c一般取值分别为75cm，75cm，110cm)，将遮光箱内侧涂上亚光材料(这里使用了黑色涂料)，这样做是为了防止遮光箱内部灯带在摄图像时遮光箱内壁反射光线所造成的图像质量问题。
步骤1-2，遮光箱顶端中心处固定相机，在遮光箱底部10cm处设置透台，用于放置待拍摄物体，由于要使得底部灯光可以透过透台，因此透台材质选择了匀光板，匀光板不仅半透明更有发散光线的作用。
步骤1-3，在遮光箱内部设置灯光组。包括：
顶部灯光组，设置在机镜头下方3cm处，包括四条LED灯带；
底部灯光组，设置在遮光箱底部，包括四条LED灯带，在透台下侧。
四周灯光组，设置在透台上侧20cm处，遮光箱内侧四周与底部夹角呈45°，根据灯光打亮时拍摄图片亮度范围分别命名为东部灯组，南部灯组，西部灯组，北部灯组。其中东部灯组拍摄出来的图片右半部分亮，西部灯组拍摄出来的图片左半部分亮，南部灯组拍摄出来的图片下半部分亮，北部灯组拍摄出来的图片上半部分亮。
步骤1-4，在所有灯组上放着滤光膜。以形成方向光源。
步骤2如下：
步骤2-1，透台上什么都不放，打开顶部灯组，相机进行拍摄，存储为Top；
步骤2-2，打开东部灯组，相机进行拍摄，存储为East；
步骤2-3，打开西部灯组，相机进行拍摄，存储为West；
步骤2-4，打开北部灯组，相机进行拍摄，存储为North；
步骤2-5，打开南部灯组，相机进行拍摄，存储为South；
为了保证图像质量，这里存储的所有图像都是.tif格式的。当然也可以存储为其他格式。
步骤3如下：
步骤3-1，将材质样本平整的放置于半透明透台中央部分(由于遮光箱内侧四周的灯带与透台平面呈45度角，离LED灯带越近亮度越大，越远亮度越低，为了得到光线质量更好的图像，最好将材质放置于透台中央，这里的透台材质为匀光板，所以是半透明透台)，在相机镜头上放置滤光镜，这里使用滤光镜是为了滤除拍摄图像的高光信息，依次打开顶部灯组，东部灯组，西部灯组，北部灯组，南部灯组以及底部灯组，打开相机进行拍摄，将拍摄的图片依次存储为Image_T1，Image_E1，Image_W1，Image_N1，Image_S1，Image_B1，最后打开除底部灯组外的其他灯组，并打开相机进行拍摄，拍摄图片存储为Image_F1；
步骤3-2，取下相机镜头上放置滤光镜，依次打开顶部灯组，东部灯组，西部灯组，北部灯组以及南部灯组，并打开相机进行拍摄，将拍摄的图片依次存储为Image_T2，Image_E2，Image_W2，Image_N2和Image_S2，最后打开除底部灯组外的其他灯组，并打开相机进行拍摄，拍摄图片存储为Image_F2。
步骤4包括以下步骤：
步骤4-1，将拍摄图片North，South，West，East，Top转换为单通道浮点亮度图，分别记为NorthL，SouthL，WestL，EastL，TopL。对于三通道的图片Img来说，设其三通道为Ir，Ig，Ib代表红，绿，蓝三通道，最后得到的单通道亮度记为ImgL，则ImgL＝(Max(Ir，Ig，Ib)+Min(Ir，Ig，Ib))/(2.0*255.0)，
其中Max表示取三者中最大值，Min表示取三者中最小值。
步骤4-2，计算(TopL-NorthL)<0的所有像素的平均值的绝对值，记为AvgN；计算(TopL-SouthL)<0的所有像素的平均值的绝对值，记为AvgS；计算(TopL-WestL)<0的所有像素的平均值的绝对值，记为AvgW；计算(TopL-EastL)<0的所有像素的平均值的绝对值，记为AvgE；这里主要是防止Top较其他方向相比出现负数影响之后对于材质的光照补偿。采用平均值的原因也是为了防止出现补偿过度。
步骤4-3，计算(TopL-NorthL)+AvgN的值，得到北部方向补偿信息，存储为ImageAdjust_N；
计算(topL-SouthL)+AvgS的值，得到南部方向补偿信息，存储为ImageAdjust_S；
计算(topL-WestL)+AvgW的值，得到西部方向补偿信息，存储为ImageAdjust_W；
计算(topL-EastL)+AvgE的值，得到东部方向补偿信息，存储为ImageAdjust_E；
步骤4-4，将图片Image_N1，Image_S1，Image_W1，Image_E1，Image_T1都转换为单通道浮点亮度图，分别记为Image_NL1，Image_SL1，Image_WL1，Image_EL1，Image_TL1。
步骤4-5，光线补偿以及去除颜色影响，由于不同颜色对于光线的反应情况不同，因此要去除颜色对于亮度的影响，因此在进行光线补偿以及去除颜色时使用参数α对Image_NL1，Image_SL1，Image_WL1和Image_EL1进行修正，公式如下：
Image_NLN1＝Image_NL1_Data+ImageAdjust_N*α-Image_TL1，
Image_SLN1＝Image_SL1_Data+ImageAdjust_S*α-Image_TL1，
Image_WLN1＝Image_WL1_Data+ImageAdjust_W*α-Image_TL1，
Image_ELN1＝Image_EL1_Data+ImageAdjust_E*α-Image_TL1。
其中Image_NL1_Data表示Image_NL1的像素值，Image_SL1_Data表示Image_SL1的像素值，Image_WL1_Data表示Image_WL1的像素值，Image_EL1_Data表示Image_EL1的像素值。
步骤4-6，新建两个三通道的图像NorthWest和SouthEast，将Image_WLN1作为NorthWest的R通道，Image_NLN1作为NorthWest的G通道，并将NorthWest图像色阶调整到0.5—0，将Image_ELN1作为SouthEast的R通道，Image_SLN1作为SouthEast的G通道，并将图像SouthEast的色阶调整到0.5—1.0。然后将NorthWest和SouthEast两张图片以叠加的方式进行混合得到图像Temp1(R通道、G通道、B通道分别表示红、绿、蓝通道)。
假设图像的像素值为p，将色阶调整到A—B的计算方式为：
Pnew＝P*(B-A)+A；
Pnew表示调整后像素值；
叠加方式图像混合方式计算方法为：
Temp1＝2*NorthWest*SouthEast。
步骤4-7，对图像Temp1进行去褶皱处理。使用高斯滤波对Temp1的R通道和G通道分别进行高斯滤波，高斯滤波器一般是使用一个高斯核的二维卷积算子来进行图像平滑。高斯滤波的思路就是：对高斯函数进行离散化，以离散点上的高斯函数值为权值，对我们采集到的灰度矩阵的每个像素点做一定范围邻域内的加权平均，这里使用的高斯函数如下：
该高斯函数表示大小为(2k+1)*(2k+1)大小的高斯卷积核，Gxy表示高斯核在点(x,y)位置处高斯函数值，σ为方差，k的值用于确定核矩阵的维数。σ的计算方式为：
这里k取值200个像素值，根据σ计算出高斯核矩阵的每个像素的权值，对图像Temp1中每个像素进行如下计算：以该像素自身为中心乘以这个核矩阵的值作为该像素新的值，从而得到平滑后的图像，记为Smooth1。
步骤4-8，通过Temp1与Smooth1计算出使用滤光膜的一组图片的几何曲面形状信息Shape1的R通道和G通道，方式如下：
Shape1＝Temp1-Smooth1+127；
步骤4-9，将图片Image_N2，Image_S2，Image_W2，Image_E2，Image_T2，使用步骤4-4～步骤4-8的方法，得到不使用滤光膜的一组图像的几何曲面形状信息记为Shape2(即先将图片Image_N2，Image_S2，Image_W2，Image_E2，Image_T2转换为单通道浮点亮度图，分别记为Image_NL2，Image_SL2，Image_WL2，Image_EL2，Image_TL2；再使用参数α对它们进行调整，得到的调整后的像素值分别记为Image_NLN2，Image_SLN2，Image_WLN2，Image_ELN2，Image_TLN2，新建两个三通道图像NorthWest1和SouthEast1，Image_WLN2的值作为NorthWest1的R通道的值，Image_NLN2的值作为NorthWest1的G通道的值，并将NorthWest1图像色阶调整到0.5—0，将Image_ELN2的值作为SouthEast1的R通道的值，Image_SLN2的值作为SouthEast1的G通道的值，并将图像SouthEast1的色阶调整到0.5—1.0，然后将NorthWest1和SouthEast1两张图片以叠加的方式进行混合得到图像Temp2，对图像Temp2进行去褶皱处理，得到平滑后的图像，记为Smooth2，通过图像Temp2与Smooth2计算出不使用滤光膜的一组图片的几何曲面形状信息Shape2)，将Shape1与Shape2进行融合得到最终材质表面几何曲面形状信息，记为Shape：
Shape＝(Shape1+Shape2)*0.5；
步骤4-10，计算材质表面几何曲面形状信息。由于Shape图像的R通道和B通道已知，而材质表面几何曲面形状即可以通过归一化Shape图像的RGB三通道得到，因此假设R通道的像素值为r，G通道的像素值为g，则B通道的像素值b的计算公式如下：
最后将B通道像素值从[0,1]转到[0,255]即得到最终的材质表面几何曲面形状。
步骤5如下：
步骤5-1，漫反射系数即材质表面漫反射率，计算材质表面漫反射率时，拍摄的材质图片不应该带有高光，因此使用带有滤光膜拍摄的Image_T1和Image_F1来得到最终的漫反射光强度，生成的漫反射光强度记为DL，计算公式如下：
其中是调整参数，这里一般取值0.5，Image_T1_Data表示Image_T1的像素值，Image_F1_Data表示Image_F1的像素值。
步骤5-2，使用全反射的材质进行拍摄时，应该就是入射光强度，因此材质表面漫反射系数即为漫反射光强度与全反射光强度比值。因此将Diffuse转换为单通道浮点亮度图即为材质表面的漫反射系数，为了更方便显示，这里将单通道浮点值转换到[0,255]图像表示的范围。因此漫反射系数Diffuse计算公式如下：
Diffuse＝(max(DL_r,DL_g,DL_b)+min(DL_r,DL_g,DL_b))/(2*Kd)，
其中max表示取三者中最大值，min表示取三者中最小值，Kd表示调整参数，在[0,1]之间。DL_r表示DL的R通道值，DL_g表示DL的G通道值,DL_b表示DL的B通道值。
步骤6如下：
步骤6-1，高光系数反映的材质的镜面反射情况，可以通过材质的高光图以及入射光总亮度得到。材质的高光图主要由Image_T1和Image_T2计算得到，得到的高光图记为Sp，则计算方式如下：
Sp_Data＝Image_T2_Data-Image_T1_Data；
其中Sp_Data表示Sp的像素值，Image_T2_Data表示Image_T2的像素值，Image_T1_Data表示Image_T1的像素值。
步骤6-2，由于入射光强度是一个[0,1]之间的值，因此高光系数可以通过如下公式进行计算，并保存为图片Specular；
Specular_Data＝(max(Sp_L,Sp_g,Sp_b)+min(Sp_r,Sp_g,Sp_b))/(2*Ks)
其中max表示取三者中最大值，min表示取三者中最小值，Ks表示调整参数，在[0,1]之间。Sp_r表示Sp的R通道值，Sp_g表示Sp的G通道值,Sp_b表示Sp的B通道值,Specular_Data表示Specular的像素值。
步骤7包括：
置换信息主要作用就是按置换图中红色通道的灰阶值，控制原图像素水平方向的移动。按绿色通道中的灰阶值，控制原图像素垂直方向的移动。置换信息的计算主要用到了步骤3拍摄的图片Image_T1，和图片Image F1。将两张图片每个像素求平均值，得到的新的图片转换为灰度图记为DisTemp，最后对灰度图进行调整得到置换信息，保存为图片记为Displacement，调整公式如下：
factor＝(ρ*(contract+255))/(255*(ρ-contract))，
Displacement_Data＝(DisTemp_Data-128)*factor+128，
其中ρ与constract是计算调整参数factor的参数，这里ρ取值259，contract取值-127，Displacement_Data表示Displacement的像素值，DisTemp_Data表示DisTemp的像素值。
步骤8如下：
步骤8-1，透明度值主要通过底部灯组拍摄的图片得到。这里使用了步骤3拍摄的图片Image_B1，将Image_B1转换为单通道浮点亮度图，记为Image_BL，则透明度信息保存为图片，记为Alpha，其像素值的计算公式如下：
Alpha_Data＝(1.0-Image_BL_Data)*γ，
其中γ为调整参数，一般取值为0.8，Alpha_Data表示图片Alpha的像素值，Image_BL_Data表示Image_BL的像素值。
有益效果：
1)本发明提出使用光照补偿来计算材质的表面几何曲面形状信息，弥补了由于光照损失造成的图像拍摄质量差而导致的计算误差。
2)本发明实现了褶皱的去除算法，保证了得到的材质信息不会因为材质本身的质量问题造成的不平整问题。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1为遮光箱设计图。
图2为一个材质信息。
图3a～图3e为计算出来的材质表面几何和物理属性信息，依次为透明度值，漫反射系数，置换信息，表面几何曲面形状信息，高光系数。
图4a～图4c为不同的材质表面几何和物理属性信息。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
实施例1
本方法的流程分为八大过程：首先搭建拍摄环境；然后拍摄用于光照补偿的图片；然后拍摄材质图片；然后计算材质表面的几何曲面形状；然后计算材质表面的漫反射系数；然后计算材质表面的镜面反射系数；然后计算材质的置换信息；最后计算材质的透明度值。
具体地说，本发明公开了一种数据驱动的室内场景着色方法，主要包括以下几个步骤：
步骤1，搭建拍摄环境。
步骤2，拍摄用于光线补偿的图片。
步骤3，拍摄材质图片。
步骤4，计算材质表面的几何曲面形状。
步骤5，计算材质表面的漫反射系数。
步骤6，计算材质表面的镜面反射系数。
步骤7，计算材质表面的置换信息。
步骤8，计算材质的透明度值。
其中步骤1如下：
步骤1-1，制备遮光箱，遮光箱的长宽高分别为a、b和c，将遮光箱内侧涂上亚光材料；
步骤1-2，遮光箱顶端中心处固定相机，在遮光箱底部10cm处设置透台，用于放置待拍摄物体，透台的透台材质为匀光板；
步骤1-3，在遮光箱内部设置灯光组，包括：
顶部灯光组，设置在相机镜头下方3cm处，包括四条LED灯带；
底部灯光组，设置在遮光箱底部，包括四条LED灯带，在透台下侧；
四周灯光组，设置在透台上侧20cm处，并与遮光箱内侧四周与底部夹角呈45°，根据灯光打亮时拍摄图片亮度范围分别命名为东部灯组、南部灯组、西部灯组和北部灯组，其中东部灯组拍摄出来的图片右半部分亮，西部灯组拍摄出来的图片左半部分亮，南部灯组拍摄出来的图片下半部分亮，北部灯组拍摄出来的图片上半部分亮；
步骤1-4，在所有灯组上放置滤光膜，以形成方向光源。
其中步骤2如下：
步骤2-1，透台上不放置任何物体，打开顶部灯光组，相机进行拍摄，拍摄图片存储为Top；
步骤2-2，打开东部灯组，相机进行拍摄，拍摄图片存储为East；
步骤2-3，打开西部灯组，相机进行拍摄，拍摄图片存储为West；
步骤2-4，打开北部灯组，相机进行拍摄，拍摄图片存储为North；
步骤2-5，打开南部灯组，相机进行拍摄，拍摄图片存储为South；
其中步骤3如下：
步骤3-1，将材质样本平整的放置于半透明透台(匀光板)中央部分，在相机镜头上放置滤光镜，依次打开顶部灯组，东部灯组，西部灯组，北部灯组，南部灯组以及底部灯组，并打开相机进行拍摄，将拍摄的图片依次存储为Image_T1，Image_E1，Image_W1，Image_N1，Image_S1和Image_B1，最后打开除底部灯组外的其他灯组，并打开相机进行拍摄，拍摄图片存储为Image_F1；
步骤3-2，取下相机镜头上放置的滤光镜，依次打开顶部灯组，东部灯组，西部灯组，北部灯组以及南部灯组，并打开相机进行拍摄，将拍摄的图片依次存储为Image_T2，Image_E2，Image_W2，Image_N2和Image_S2，最后打开除底部灯组外的其他灯组，并打开相机进行拍摄，拍摄图片存储为Image_F2。
其中步骤4如下：
步骤4-1，将拍摄图片North，South，West，East和Top转换为单通道浮点亮度图，分别记为NorthL，SouthL，WestL，EastL和TopL，对于三通道的图片Img，设其三通道为Ir，Ig，Ib，分别代表红，绿，蓝三通道，最后得到的单通道亮度记为ImgL，则：
ImgL＝(Max(Ir，Ig，Ib)+Min(Ir，Ig，Ib))/(2.0*255.0)
其中Max表示取三者中最大值，Min表示取三者中最小值；
步骤4-2，计算(TopL-NorthL)<0的所有像素的平均值的绝对值，记为AvgN；计算(TopL-SouthL)<0的所有像素的平均值的绝对值，记为AvgS；计算(TopL-WestL)<0的所有像素的平均值的绝对值，记为AvgW；计算(TopL-EastL)<0的所有像素的平均值的绝对值，记为AvgE；
步骤4-3，计算(TopL-NorthL)+AvgN的值，得到北部方向补偿信息，存储为ImageAdjust_N；
计算(topL-SouthL)+AvgS的值，得到南部方向补偿信息，存储为ImageAdjust_S；
计算(topL-WestL)+AvgW的值，得到西部方向补偿信息，存储为ImageAdjust_W；
计算(topL-EastL)+AvgE的值，得到东部方向补偿信息，存储为ImageAdjust_E；
步骤4-4，将图片Image_N1，Image_S1，Image_W1，Image_E1，Image_T1都转换为单通道浮点亮度图，保存为图片分别记为Image_NL1，Image_SL1，Image_WL1，Image_EL1，Image_TL1；
步骤4-5，使用参数α对Image_NL1，Image_SL1，Image_WL1和Image_EL1进行修正，公式如下：
Image_NLN1＝Image_NL1_Data+ImageAdjust_N*α-Image_TL1，
Image_SLN1＝Image_SL1_Data+ImageAdjust_S*α-Image_TL1，
Image_WLN1＝Image_WL1_Data+ImageAdjust_W*α-Image_TL1，
Image_ELN1＝Image_EL1_Data+ImageAdjust_E*α-Image_TL1。
其中Image_NL1_Data表示Image_NL1的像素值，Image_SL1_Data表示Image_SL1的像素值，Image_WL1_Data表示Image_WL1的像素值，Image_EL1_Data表示Image_EL1的像素值。步骤4-6，新建两个三通道的图像NorthWest和SouthEast，将Image_WLN1的值作为NorthWest的R通道的值，Image_NLN1的值作为NorthWest的G通道的值，并将NorthWest图像色阶调整到0.5—0，将Image_ELN1的值作为SouthEast的R通道的值，Image_SLN1的值作为SouthEast的G通道的值，并将图像SouthEast的色阶调整到0.5—1.0，然后将NorthWest和SouthEast两张图片以叠加的方式进行混合得到图像Temp1；
假设图像的像素值为p，将色阶调整到A—B的计算方式为：
Pnew＝P*(B-A)+A，
Pnew表示调整后像素值；
叠加方式图像混合方式计算方法为：
Temp1＝2*NorthWest*SouthEast；
步骤4-7，对图像Temp1进行去褶皱处理：使用高斯滤波对图像Temp1的R通道和G通道分别进行高斯滤波，高斯函数如下：
该高斯函数表示大小为(2k+1)*(2k+1)的高斯卷积核，Gxy表示高斯核在点(x,y)位置处高斯函数值，σ为方差，k的值用于确定核矩阵的维数，σ的计算方式为：
根据σ计算出高斯核矩阵的每个像素的权值，对图像Temp1中每个像素进行如下计算：以该像素自身为中心乘以这个核矩阵的值作为该像素新的值，从而得到平滑后的图像，记为Smooth1；
步骤4-8，通过图像Temp1与Smooth1计算出使用滤光膜的一组图片的几何曲面形状信息Shape1，公式如下：
Shape1＝Temp1-Smooth1+127；
步骤4-9，将图片Image_N2，Image_S2，Image_W2，Image_E2，Image_T2，使用步骤4-4～步骤4-8的方法，得到不使用滤光膜的一组图片的几何曲面形状信息，记为Shape2，将Shape1与Shape2通过如下公式进行融合得到最终材质表面几何曲面形状信息Shape：
Shape＝(Shape1+Shape2)*0.5；
步骤4-10，计算材质表面几何曲面形状信息：由于Shape图像的R通道和B通道已知，而材质表面几何曲面形状即通过归一化Shape图像的RGB三通道得到，因此假设R通道的像素值为r，G通道的像素值为g，则B通道的像素值b的计算公式如下：
将B通道像素值从[0,1]转到[0,255]即得到最终的材质表面几何曲面形状。
其中步骤5如下：
步骤5-1，使用带有滤光膜拍摄的图片Image_T1和Image_F1来获取最终的漫反射光强度，生成的漫反射光强度记为DL，计算公式如下：
其中是调整参数，Image_T1_Data表示Image_T1的像素值，Image_F1_Data表示Image_F1的像素值；
步骤5-2，漫反射系数Diffuse计算公式如下：
Diffuse＝(max(DL_r,DL_g,DL_b)+min(DL_r,DL_g,DL_b))/(2*Kd)，
其中Kd表示调整参数，取值在[0,1]之间，DL_r表示DL的R通道值，DL_g表示DL的G通道值，DL_b表示DL的B通道值。
其中步骤6如下：
步骤6-1，材质的高光图Sp的像素值由Image_T1和Image_T2计算得到，计算方式如下：
Sp_Data＝Image_T2_Data-Image_T1_Data；
其中Sp_Data表示Sp的像素值，Image_T2_Data表示Image_T2的像素值，Image_T1_Data表示Image_T1的像素值。
步骤6-2，高光系数通过如下公式进行计算，并保存为图片Specular：
Specular_Data＝(max(Sp_L,Sp_g,Sp_b)+min(Sp_r,Sp_g,Sp_b))/(2*Ks)
其中Ks表示调整参数，取值在[0,1]之间，Sp_r表示高光图Sp的R通道值，Sp_g表示高光图Sp的G通道值，Sp_b表示高光图Sp的B通道值,Specular_Data表示Specular的像素值。
其中步骤7如下：
将拍摄的图片Image_T1和图片Image F1对应的每个像素分别求平均值，得到的新的图片即求平均值后的图片，转换为灰度图，记为DisTemp，对灰度图进行调整得到置换信息，保存为图片记为Displacement，调整公式如下：
factor＝(ρ*(contract+255))/(255*(ρ-contract))，
Displacement_Data＝(DisTemp_Data-128)*factor+128，
其中ρ与constract是计算调整参数factor的参数，Displacement_Data表示Displacement的像素值，DisTemp_Data表示DisTemp的像素值。
其中步骤8如下：
使用了步骤3拍摄的图片Image_B1获取透明度信息：将图片Image_B1转换为单通道浮点亮度图，记为Image_BL，则透明度信息保存为图片记为Alpha计算公式如下，
Alpha_Data＝(1.0-Image_BL_Data)*γ，
其中γ为调整参数,Alpha_Data表示Alpha的像素值，Image_BL_Data表示Image_BL的像素值。
实施例2
本实施例的实施硬件环境是：Intel酷睿i5-4590 3.3GHz，4G内存，Nikon D7200，软件环境是VS2013.
本发明公开了一种提取材质表面几何和光照物理属性的方法，特征在于使用相机以及LED灯带拍摄不同方向光照的图片就可以计算出材质表面几何和光照物理属性信息，包括以下步骤：
步骤1，搭建拍摄环境。
步骤2，拍摄用于光线补偿的图片。
步骤3，拍摄材质图片。
步骤4，计算材质表面的几何曲面形状。
步骤5，计算材质表面的漫反射系数。
步骤6，计算材质表面的镜面反射系数。
步骤7，计算材质表面的置换信息。
步骤8，计算材质的透明度值。
遮光箱设计图如图1所示，图中A表示整体框架，B表示相机，C表示相机镜头处滤光膜，D表示顶部灯组位置，E，F，G，H表示遮光箱内侧东西南北四组灯组，I表示底部固定脚，J表示底部灯组，K表示半透明透台即匀光板放置位置。输入的材质信息如图2所示(图2中的图片编号的含义与前文中出现的一致)，计算材质的表面几何和光照物理属性如图3，图3a～图3e为计算出来的材质表面几何和物理属性信息，依次为透明度值，漫反射系数，置换信息，表面的几何曲面形状，镜面反射系数。可以看出计算的结果非常正确，图4a、图4b和图4c为不同材质表面的几何和光照物理属性信息(图4a～图4c中的图片编号的含义与前文中出现的一致)。
本发明特征在于使用相机以及LED灯带拍摄不同方向光照的图片就可以计算出材质表面几何和光照物理属性信息，并且保证得到的材质表面几何和光照物理属性信息正确，平整。
本发明提供了一种提取材质表面几何和光照物理属性的方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种提取材质表面几何和光照物理属性的方法，包括以下步骤：
步骤1，搭建拍摄环境；
步骤2，拍摄用于光线补偿的图片；
步骤3，拍摄材质图片；
步骤4，计算材质表面的几何曲面形状；
步骤5，计算材质表面的漫反射系数；
步骤6，计算材质表面的镜面反射系数；
步骤7，计算材质表面的置换信息；
步骤8，计算材质的透明度值；
步骤1包括以下步骤：
步骤1-1，制备遮光箱，遮光箱的长宽高分别为a、b和c，将遮光箱内侧涂上亚光材料；
步骤1-2，遮光箱顶端中心处固定相机，在遮光箱底部10cm处设置透台，用于放置待拍摄物体，透台的材质为匀光板；
步骤1-3，在遮光箱内部设置灯光组，包括：
顶部灯光组，设置在相机镜头下方3cm处，包括四条LED灯带；
底部灯光组，设置在遮光箱底部，包括四条LED灯带，在透台下侧；
四周灯光组，设置在透台上侧20cm处，并与遮光箱内侧四周与底部夹角呈45o，根据灯光打亮时拍摄图片亮度范围分别命名为东部灯组、南部灯组、西部灯组和北部灯组，其中东部灯组拍摄出来的图片右半部分亮，西部灯组拍摄出来的图片左半部分亮，南部灯组拍摄出来的图片下半部分亮，北部灯组拍摄出来的图片上半部分亮；
步骤1-4，在所有灯组上放置滤光膜，以形成方向光源；
步骤2包括以下步骤：
步骤2-1，透台上不放置任何物体，打开顶部灯光组，相机进行拍摄，拍摄图片存储为Top；
步骤2-2，打开东部灯组，相机进行拍摄，拍摄图片存储为East；
步骤2-3，打开西部灯组，相机进行拍摄，拍摄图片存储为West；
步骤2-4，打开北部灯组，相机进行拍摄，拍摄图片存储为North；
步骤2-5，打开南部灯组，相机进行拍摄，拍摄图片存储为South；
步骤3包括以下步骤：
步骤3-1，将材质样本平整的放置于半透明透台中央部分，在相机镜头上放置滤光镜，依次打开顶部灯组，东部灯组，西部灯组，北部灯组，南部灯组以及底部灯组，并打开相机进行拍摄，将拍摄的图片依次存储为Image_T1，Image_E1，Image_W1，Image_N1，Image_S1和Image_B1，最后打开除底部灯组外的其他灯组，并打开相机进行拍摄，拍摄图片存储为Image_F1；
步骤3-2，取下相机镜头上放置的滤光镜，依次打开顶部灯组，东部灯组，西部灯组，北部灯组以及南部灯组，并打开相机进行拍摄，将拍摄的图片依次存储为Image_T2，Image_E2，Image_W2，Image_N2和Image_S2，最后打开除底部灯组外的其他灯组，并打开相机进行拍摄，拍摄图片存储为Image_F2；
步骤4包括以下步骤：
步骤4-1，将拍摄图片North，South，West，East和Top转换为单通道浮点亮度图，分别记为NorthL，SouthL，WestL，EastL和TopL，对于三通道的图片Img，设其三通道为Ir，Ig，Ib，分别代表红，绿，蓝三通道，最后得到的单通道亮度记为ImgL，则：
ImgL＝(Max(Ir，Ig，Ib)+Min(Ir，Ig，Ib))/(2.0*255.0)
其中Max表示取三者中最大值，Min表示取三者中最小值；
步骤4-2，计算(TopL-NorthL)<0的所有像素的平均值的绝对值，记为AvgN；计算(TopL-SouthL)<0的所有像素的平均值的绝对值，记为AvgS；计算(TopL-WestL)<0的所有像素的平均值的绝对值，记为AvgW；计算(TopL-EastL)<0的所有像素的平均值的绝对值，记为AvgE；
步骤4-3，计算(TopL-NorthL)+AvgN的值，得到北部方向补偿信息，存储为ImageAdjust_N；
计算(topL-SouthL)+AvgS的值，得到南部方向补偿信息，存储为ImageAdjust_S；
计算(topL-WestL)+AvgW的值，得到西部方向补偿信息，存储为ImageAdjust_W；
计算(topL-EastL)+AvgE的值，得到东部方向补偿信息，存储为ImageAdjust_E；
步骤4-4，将图片Image_N1，Image_S1，Image_W1，Image_E1，Image_T1都转换为单通道浮点亮度图，保存为图片分别记为Image_NL1，Image_SL1，Image_WL1，Image_EL1，Image_TL1；
步骤4-5，使用参数α对Image_NL1，Image_SL1，Image_WL1和Image_EL1进行修正，公式如下：
Image_NLN1＝Image_NL1_Data+ImageAdjust_N*α-Image_TL1，
Image_SLN1＝Image_SL1_Data+ImageAdjust_S*α-Image_TL1，
Image_WLN1＝Image_WL1_Data+ImageAdjust_W*α-Image_TL1，
Image_ELN1＝Image_EL1_Data+ImageAdjust_E*α-Image_TL1；
其中Image_NL1_Data表示Image_NL1的像素值，Image_SL1_Data表示Image_SL1的像素值，Image_WL1_Data表示Image_WL1的像素值，Image_EL1_Data表示Image_EL1的像素值；
步骤4-6，新建两个三通道的图像NorthWest和SouthEast，将Image_WLN1的值作为NorthWest的R通道的值，Image_NLN1的值作为NorthWest的G通道的值，并将NorthWest图像色阶调整到0.5～0，将Image_ELN1的值作为SouthEast的R通道的值，Image_SLN1的值作为SouthEast的G通道的值，并将图像SouthEast的色阶调整到0.5～1.0，然后将NorthWest和SouthEast两张图片以叠加的方式进行混合得到图像Temp1；
假设图像的像素值为p，将色阶调整到A～B的计算方式为：
Pnew＝P*(B-A)+A，
Pnew表示调整后像素值；
叠加方式图像混合方式计算方法为：
Temp1＝2*NorthWest*SouthEast；
步骤4-7，对图像Temp1进行去褶皱处理：使用高斯滤波对图像Temp1的R通道和G通道分别进行高斯滤波，高斯函数如下：
该高斯函数表示大小为(2k+1)*(2k+1)的高斯卷积核，Gxy表示高斯核在点(x,y)位置处高斯函数值，σ为方差，k的值用于确定高斯核矩阵的维数，σ的计算方式为：
根据σ计算出高斯核矩阵的每个像素的权值，对图像Temp1中每个像素进行如下计算：以该像素自身为中心乘以高斯核矩阵的值作为该像素新的值，从而得到平滑后的图像，记为Smooth1；
步骤4-8，通过图像Temp1与Smooth1计算出使用滤光膜的一组图片的几何曲面形状信息Shape1，公式如下：
Shape1＝Temp1-Smooth1+127；
步骤4-9，将图片Image_N2，Image_S2，Image_W2，Image_E2，Image_T2，使用步骤4-4～步骤4-8的方法，得到不使用滤光膜的一组图片的几何曲面形状信息，记为Shape2，将Shape1与Shape2通过如下公式进行融合得到最终材质表面几何曲面形状信息Shape：
Shape＝(Shape1+Shape2)*0.5；
步骤4-10，计算材质表面几何曲面形状信息：由于Shape图像的R通道和G通道已知，而材质表面几何曲面形状即通过归一化Shape图像的RGB三通道得到，因此假设R通道的像素值为r，G通道的像素值为g，则B通道的像素值b的计算公式如下：
将B通道像素值从[0,1]转到[0,255]即得到最终的材质表面几何曲面形状。
2.如权利要求1所述的方法，其特征在于，步骤5包括以下步骤：
步骤5-1，使用带有滤光膜拍摄的图片Image_T1和Image_F1来获取最终的漫反射光强度，生成的漫反射光强度记为DL，计算公式如下：
其中是调整参数，Image_T1_Data表示Image_T1的像素值，Image_F1_Data表示Image_F1的像素值；
步骤5-2，漫反射系数Diffuse计算公式如下：
Diffuse＝(max(DL_r,DL_g,DL_b)+min(DL_r,DL_g,DL_b))/(2*Kd)，
其中Kd表示调整参数，取值在[0,1]之间，DL_r表示DL的R通道值，DL_g表示DL的G通道值，DL_b表示DL的B通道值。
3.如权利要求2所述的方法，其特征在于，步骤6包括以下步骤：
步骤6-1，材质的高光图Sp的像素值由Image_T1和Image_T2计算得到，计算方式如下：
Sp_Data＝Image_T2_Data-Image_T1_Data；
其中Sp_Data表示Sp的像素值，Image_T2_Data表示Image_T2的像素值，Image_T1_Data表示Image_T1的像素值；
步骤6-2，高光系数通过如下公式进行计算，并保存为图片Specular：
Specular_Data＝(max(Sp_r,Sp_g,Sp_b)+min(Sp_r,Sp_g,Sp_b))/(2*Ks)
其中Ks表示调整参数，取值在[0,1]之间，Sp_r表示高光图Sp的R通道值，Sp_g表示高光图Sp的G通道值，Sp_b表示高光图Sp的B通道值,Specular_Data表示Specular的像素值。
4.如权利要求3所述的方法，其特征在于，步骤7包括：
将拍摄的图片Image_T1和图片Image F1对应的每个像素分别求平均值，得到的新的图片即求平均值后的图片，转换为灰度图，记为DisTemp，对灰度图进行调整得到置换信息，保存为图片记为Displacement，调整公式如下：
factor＝(ρ*(contract+255))/(255*(ρ-contract))，
Displacement_Data＝(DisTemp_Data-128)*factor+128，
其中ρ与constract是计算调整参数factor的参数，
Displacement_Data表示Displacement的像素值，DisTemp_Data表示DisTemp的像素值。
5.如权利要求4所述的方法，其特征在于，步骤8包括：
使用了步骤3拍摄的图片Image_B1获取透明度信息：将图片Image_B1转换为单通道浮点亮度图，记为Image_BL，则透明度信息保存为图片，记为Alpha，其像素值的计算公式如下：
Alpha_Data＝(1.0-Image_BL_Data)*γ，
其中γ为调整参数，Alpha_Data表示Alpha的像素值，Image_BL_Data表示Image_BL的像素值。
CN201710291472.0A 2017-04-28 2017-04-28 一种提取材质表面几何和光照物理属性的方法 Active CN107146264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710291472.0A CN107146264B (zh) 2017-04-28 2017-04-28 一种提取材质表面几何和光照物理属性的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710291472.0A CN107146264B (zh) 2017-04-28 2017-04-28 一种提取材质表面几何和光照物理属性的方法

Publications (2)

Publication Number Publication Date
CN107146264A CN107146264A (zh) 2017-09-08
CN107146264B true CN107146264B (zh) 2019-05-31

Family

ID=59775331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710291472.0A Active CN107146264B (zh) 2017-04-28 2017-04-28 一种提取材质表面几何和光照物理属性的方法

Country Status (1)

Country Link
CN (1) CN107146264B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389181A (zh) * 2018-01-23 2018-08-10 南京大学 一种基于深度学习和法向图的零件缺陷检测和定位方法
CN108729517A (zh) * 2018-03-18 2018-11-02 蔡晓青 计算机图像识别式疏通系统及方法
CN108331106B (zh) * 2018-03-18 2018-12-28 由佳鑫 计算机图像识别式疏通系统
CN111626204B (zh) * 2020-05-27 2022-01-11 汪海洋 一种铁路异物入侵监测方法及系统
CN114119779A (zh) * 2021-10-29 2022-03-01 浙江凌迪数字科技有限公司 通过多角度打光拍摄生成材质贴图的方法及电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101336831A (zh) * 2008-08-13 2009-01-07 汕头超声仪器研究所 实时三维医学超声图像的重建方法
CN101398940A (zh) * 2008-11-07 2009-04-01 北京航空航天大学 基于线性光源的真实物体材质反射属性建模方法
CN101901302A (zh) * 2010-07-16 2010-12-01 中国人民解放军信息工程大学 复杂空间目标光散射建模方法
CN106331468A (zh) * 2015-07-07 2017-01-11 司宇 材料表面视觉信息数字化采集系统及方法
CN106339708A (zh) * 2015-07-07 2017-01-18 司宇 基于多通道的材料表面视觉信息数字化采集方法
CN106408617A (zh) * 2016-08-26 2017-02-15 珠海金山网络游戏科技有限公司 一种基于yuv颜色空间的交互式单幅图像材质获取系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101336831A (zh) * 2008-08-13 2009-01-07 汕头超声仪器研究所 实时三维医学超声图像的重建方法
CN101398940A (zh) * 2008-11-07 2009-04-01 北京航空航天大学 基于线性光源的真实物体材质反射属性建模方法
CN101901302A (zh) * 2010-07-16 2010-12-01 中国人民解放军信息工程大学 复杂空间目标光散射建模方法
CN106331468A (zh) * 2015-07-07 2017-01-11 司宇 材料表面视觉信息数字化采集系统及方法
CN106339708A (zh) * 2015-07-07 2017-01-18 司宇 基于多通道的材料表面视觉信息数字化采集方法
CN106408617A (zh) * 2016-08-26 2017-02-15 珠海金山网络游戏科技有限公司 一种基于yuv颜色空间的交互式单幅图像材质获取系统和方法

Also Published As

Publication number Publication date
CN107146264A (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
CN107146264B (zh) 一种提取材质表面几何和光照物理属性的方法
CN105447906B (zh) 基于图像和模型计算光照参数进行重光照渲染的方法
CN106548455B (zh) 用于调整图像的亮度的设备和方法
CN105103189B (zh) 近红外引导的图像去噪
US8845108B2 (en) High dynamic range scenographic image projection
CN104077802B (zh) 增强虚拟场景实时仿真图像显示的方法
CN112634156B (zh) 基于便携式设备采集图像估计材质反射参数的方法
US10628989B2 (en) Photometric image processing
CN101425179B (zh) 一种人脸图像重光照的方法及装置
CN103019643A (zh) 一种即插即用的大屏幕投影自动校正与拼接显示方法
US20240015408A1 (en) Method and Electronic Device for Generating Texture Maps through Multi-angle Lighting Capture
CN106340064A (zh) 一种混合现实沙盘装置和方法
CN108024105A (zh) 图像色彩调节方法、装置、电子设备及存储介质
JPH04168583A (ja) 画像の表示方法
US20200019041A1 (en) Lighting assembly for producing realistic photo images
CN116506993A (zh) 灯光控制方法及存储介质
CN108389181A (zh) 一种基于深度学习和法向图的零件缺陷检测和定位方法
US10613418B2 (en) Proximity and color-based lighting for controlled subject distortion in film and photography
CN114494570A (zh) 三维模型的渲染方法和装置、存储介质及计算机设备
CN109523619A (zh) 一种通过多角度打光的图片生成3d材质贴图的方法
CN104317144B (zh) 大型正交多幕投影系统光辐射快速补偿方法
CN103366368B (zh) 消除阴影和高亮噪声的双梯柱体码本前景检测方法
Schindler Photometric stereo via computer screen lighting for real-time surface reconstruction
CN103295250A (zh) 一种基于l1混合范数求解的图像彩色化的方法
EP3039853B1 (en) A method and an apparatus for obtaining an image file including an alpha channel with a photographic camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant