CN102360513A - 基于梯度操作的对象光照迁移方法 - Google Patents

Abstract

本发明是一种基于梯度操作的对象光照迁移方法，为基于视频素材的虚拟场景光照效果生成提供了新的技术方案。本发明包括：构建基于梯度操作的对象光照迁移方法的总体流程：图像对齐、图像分层、加权最小二乘滤波、梯度操作、泊松积分、图像组合生成光照迁移结果；改进加权最小二乘滤波器，根据图像的不平滑程度自适应的计算加权最小二乘滤波参数，使得在不平滑区域执行更高级别滤波，保存更多的细节信息在细节层；在梯度操作中加入灰度域约束，使得光照迁移结果的整体灰度尽可能与参考对象接近。本发明可广泛应用推广到交互式数字娱乐、影视节目制作、艺术设计与创作等领域。

Description

基于梯度操作的对象光照迁移方法

技术领域

本发明涉及虚拟现实和计算机视觉领域，具体地说是一种基于梯度操作的对象光照迁移方法。

背景技术

基于视频素材的虚实融合场景生成是虚拟现实的重要组成部分，也是虚拟现实、增强现实、计算机视觉及相关研究方向有机交叉的研究热点。由于构成虚拟场景的视频场景与场景对象经常来自不同的视频素材，场景对象和视频场景的光照效果可能会存在较大的差异，然而视频虚拟场景需要各个场景对象具有一致的光照效果，但是目前的视频素材光照融合方法难以满足视频虚拟场景的需要。视频场景对象的光照迁移问题，即如何将目的视频场景中参考对象的光照效果迁移到场景对象，生成场景对象在目的视频场景光照条件下的光照效果。

目前，有一些基于视频的人脸图像光照效果合成方法，这些方法均需要使用到复杂的光照采集设备。2000年美国南加州大学的Debevec等提出一种固定视角下静态场景光照迁移方法。采集2048种点光源光照条件下静态人脸图像，线性组合所采集的图像数据生成静态人脸在新光照条件下的图像，该方法局限于固定视角下的静态对象光照效果合成。2007年南加州大学的Peers等提出了一种利用商图对人脸进行光照迁移的方法。通过采集静态参考人脸对象在不同光照条件下反射场，并利用同一对象在不同光照条件下的人脸图像与在正面均匀光照条件下的人脸图像之间比值，构建相应光照条件下该对象的材质属性图，也称作商图。同时将期望光照条件所对应的商图进行变形，并迁移到目标人脸上，以生成目标图像/视频场景的光照效果。该方法用于对人脸视频/图像进行后期光照迁移处理。该方法局限是：目标人脸和数据库人脸具有相近的几何特性和材质属性，因此该方法暂时只能处理人脸光照迁移问题，还不能用于整个人体的光照迁移问题。

目前，有一些基于几何估计或几何假设的光照迁移方法，这些方法通常做出了朗伯光照模型假设。2007年卡内基梅隆大学的Yang Wang等提出了一种在未知人脸几何信息和反照率信息情况下的人脸图像光照迁移方法。该方法输入仅需要一张在任意苛刻光照环境下的人脸图像。利用了一种可变形人脸模型来估计人脸几何信息，利用球谐函数基来表示光照条件，并通过马尔科夫随机场模型来模拟子区域的统计分布和人脸纹理的空间一致性。该方法通过使用一个可变性人脸模型来估计人脸图像的光照条件，而且能处理复杂光照条件或者人脸图像过度曝光和曝光不足的情况，能极大的提高人脸识别的准确率。但该方法作了人脸朗伯表面的假设，并用一个可变形人脸模型来拟合人脸图像估计几何信息，因此生成的人脸图像与真实图像相比缺乏一定的真实感。

另外有一些方法通过将图像分成和组合来生成光照迁移结果，这些方法将图像分解为光照相关部分和光照无关部分。2009年休斯顿大学Qing Li等提出了一种基于对数整体变分模型的人脸光照迁移技术，能够把参考人脸的光照迁移到目标人脸上去。该方法无需知道人脸的几何和光照信息。通过将人脸图像分解为光照信息和光照无关的人脸特征两个部分。并利用参考对象的光照信息替换目标对象的光照信息实现光照迁移。算法流程是：首先利用图像变形技术对参考人脸变形；然后将目标人脸和变形后的参考人脸都分解成为依光照有关的部分和于光照无关的部分；最后通过交换两幅人脸图像光照有关的部分，得到目标对象光照迁移的结果。该方法仅需要一幅参考对象用于光照迁移，并能处理彩色图像与灰度图像的光照迁移。该方法局限性在于：1.使用了目标人脸和参考人脸具有相似的复杂度的假设；2.光照迁移结果受到目标人脸与参考人脸的几何差异影响严重。

发明内容

根据上述实际需求和关键问题，本发明的目的在于：提出一种基于梯度操作的对象光照迁移方法，该方法不需要对目标对象的几何进行估计或假设，也不需要对光照模型做出假设，只需要单幅参考对象，在梯度域将参考对象的光照信息迁移到目标对象上。

本发明只对图像中感兴趣的物体做处理，该物体被称为对象，例如：目标对象和参考对象；对象是图像中构成该物体像素的集合，是图像的一部分。

本发明采用的技术方案是：构建一种基于梯度操作的对象光照迁移方法主要包括：图像对齐，首先通过自动检测特征点或者手工标记特征点，并通过图像变形方法将目标对象对象和参考对象对齐，以找到目标对象和参考对象之间的映射关系；图像分层，首先将图像从RGB颜色空间到CIELAB颜色空间，将图像分为明度层与色度层(所述图像分层是将对象区域的图像进行分层，也即将目标对象和参考对象分别分为明度层与色度层)，只对明度层进行处理，而保持色度层不变；加权最小二乘滤波，借助加权最小二乘滤波器将明度层分解为大尺度层和细节层，与光照有关的信息留在大尺度层上，与光照无关的信息留在细节层上；梯度操作，将光照变化引起的梯度从参考对象大尺度层梯度域迁移到目标对象大尺度层梯度；泊松积分，在灰度域的约束下求解泊松方程，将梯度图像变为灰度图像得到目标对象新大尺度层；图像组合，目标对象新大尺度层与目标对象的细节层混合得到目标对象新明度层，再与目标对象的颜色层混合得到光照迁移结果。

图像对齐主要是为了解决参考对象图像和目标对象图像的几何，姿态，表情等可能不一致的情况，它包含特征点定位和图像变形两个步骤。首先采用活动轮廓模型获取粗略的特征点坐标，然后用户以交互式的方式来调整特征点的位置；接着以参考对象和目标对象的特征点对参考对象进行变形。本发明采用基于仿射变换的图像变形方法。首先，对目标对象以特征点进行三角剖分；然后，对于目标对象中的每一个三角形，找到其在参考对象中对应三角形，根据三角形在目标对象和参考对象中的顶点坐标计算出两个三角形的仿射变换矩阵；接着，利用向后图像变形找到目标对象中每一个像素点在参考对象中对应的坐标值。最后，对于目标对象中的每个像素取其在参考对象中对应坐标处的值，即可得到变形后的参考对象。

颜色分层过程中，本发明选择CIELAB颜色空间，将彩色图像分解为明度L通道和颜色a、b通道，其中，L通道包含了明度信息，而a和b两个通道包含了颜色信息。这样避免了对图像在RGB三个通道上处理容易造成生成结果颜色的不和谐的情况。

细节分层采用最小二乘滤波器将明度层分解为大尺度层并利用除法得到细节层。细节层可以被视为光照无关量，大尺度层被视为光照相关量。细节分解过程中加权最小二乘滤波器的参数采用自适应的计算方法，在图像不同区域采用不同级别的平滑处理，使大尺度层包含更多的光照有关的信息，细节层包含更多与光照无关的特征信息。滤波参数计算方法如下：在不平坦的图像区域(例如胡子，眉毛等区域)设置较大的平滑值。在平坦的图像区域，设置较小的平滑值。图像的不平坦度根据图像梯度来计算，计算方式为统计梯度图像每个局部窗口内梯度像素值大于某一阈值的数量，将该统计量进行归一化，用来表示图像的不平坦度。

对梯度域进行处理时，首先将以目标对象大尺度层为参考对参考对象大尺度进行双边滤波，保留目标对象一些边缘信息，并将滤波后的大尺度层变换到梯度域，为了能够区分轮廓区域和非轮廓区域以便更好地处理轮廓区域的梯度，本发明生成一个在轮廓处渐变的掩码图像，掩码图像具有在轮廓区域附近渐变的特点，这样能够使得参考对象非轮廓区域的较大梯度与目标对象在轮廓附近能够平滑地混合。

本发明对于轮廓区域和非轮廓区域分别进行处理：处理非轮廓区域时，将非轮廓区域的较大梯度迁移到目标对象上；处理轮廓区域时，将由光照引起梯度迁移到目标对象上。

图像组合，将处理后的大尺度层与目标对象的细节层混合得到光照迁移结果的明度层，再与目标对象的色度层混合得到光照迁移的结果。

本发明与现有的技术相比，其特点是：1、本发明将图像分为明度层和色度层，明度层通过最小二乘滤波器再分为大尺度层和细节层，将与光照相关的信息保留在大尺度层上，图像对象的细节信息则留在了细节层上。2、本发明将参考对像中由光照引起的梯度变化迁移到目标对像上，在处理过程中对边界区域和非边界区域分别进行处理，使生成的结果更加真实。3、本发明给出的光照迁移方法只需要一张参考对象，并且不需要对目标对象的几何进行估计或做出假设，此外也不需要对光照模型进行假设，能够生成具有真实感的光照迁移结果。

附图说明：

图1是本发明的主流程图；

图2是本发明用户对目标对象标点流程图；

图3是本发明图像仿射变换示意图；

图4(a)是本发明基于仿射变换的三角剖分及像素映射特征点云示意图；图4(b)三角剖分示意图；图4(c)像素映射示意图

图5是本发明基于仿射变换的图像变形方法流程图；

图6是本发明梯度操作流程图。

具体实施方式：

下面结合附图对本发明作详细说明。

参阅图1本发明的主流程图，本发明基于梯度操作的对象光照迁移方法包含以下基本过程：首先是使用活动轮廓模型人脸定位工具和图像变形方法将参考对象(即输入的图像中参考对象区域的部分)对齐到目标对象(即输入的图像中目标对象区域的部分)，接着将参考对象和目标对象均分解为明度层和色度层，使用最小二乘滤波器将明度层分为大尺度层和细节层，所有的操作均在大尺度层上进行；本发明先将参考对像和目标对象的大尺度层由灰度域转换到梯度域，将参考对像中由光照引起的梯度变化迁移到目标对像上，迁移过程中不同区域采用不同的方式进行；利用泊松积分将大尺度层由梯度域恢复至灰度域，得到目标对象新的大尺度层，并与目标对象色度层，细节层重新组合得到目标对象在参考对象光照条件下的光照迁移结果。

参阅图2本发明用户对目标对象标点流程图，当图像对象是人脸时，采用自动或半自动的方法获取图像对象的特征坐标；而当图像对象非人脸时，用户采用完全手动的方式自定义特征点。本发明使用活动轮廓模型人脸定位工具完成人脸图像特征点的定位功能，该工具可以获取人脸图像上116个特征点的坐标，同时提供了特征点位置的手动调节功能，用户可以手动调整每个特征点的坐标。

参阅图3图像仿射变换，本发明将参考对象中的三角形按照目标对象中的对应三角形进行变形。对于目标对象中的每一个像素坐标(x，y)，计算出其在参考对象中对应像素的坐标(x′，y′)，像素(x，y)与像素(x′，y′)的对应关系(x′，y′)＝f(x，y)由其分别所在的三角形顶点计算：设两组三角形的相对应的三组坐标分别为(x₁，y₁)与(x′₁，y′₁)，(x₂，y₂)与(x′₂，y′₂)，以及(x₃，y₃)与(x′₃，y′₃)，定义仿射变换矩阵T_affine为：

$T_{\mathrm{affine}}=\left[\begin{array}{ccc}{x}_1^{\′}& x_2^{\′}& x_3^{\′}\\ y_1^{\′}& y_2^{\′}& y_3^{\′}\\ 1& 1& 1\end{array}\right]*{\left[\begin{array}{ccc}{x}_1& x_2& x_3\\ y_1& y_2& y_3\\ 1& 1& 1\end{array}\right]}^{-1}$

对于目标对象中的像素坐标(x，y)，利用仿射变换矩阵计算出其在参考对象中对应像素的坐标(x′，y′)：

[x′ y′ 1]^T＝T_affine[x y 1]^T

将目标对象I_B所有像素坐标值赋值为其在参考对象I_A中对应坐标处像素，I′_A(x，y)＝I_A(f(x，y))，得到变形后的参考对象。

参阅图4和图5说明本发明基于仿射变换的图像变形方法，特征点之间没有连线，如图4(a)所示，首先，对目标对象以特征点进行德劳内三角剖分，使得剖分后的三角形没有相互重叠并且覆盖整个点云面，如图4(b)所示；然后，对于目标对象中的每一个三角形，找到其在参考对象中对应三角形，如图4(c)所示，根据三角形在目标对象和参考对象中的顶点坐标计算出两个三角形的仿射变换矩阵；接着，利用向后图像变形找到目标对象中每一个像素点(x，y)在参考对象中对应的坐标值(x′，y′)；最后，对于目标对象中的每个像素(x，y)取其在参考对象中对应坐标处(x′，y′)的值，即可得到变形后的参考对象。

本发明采用采用最小二乘滤波器来将明度图像分解为大尺度层s和细节层。最小二乘滤波器能够较好地保留明度层中的细节信息，它的求解过程是最小化下面能量函数：

$E={|l-s|}^2+\mathrm{\λH}(\▿s,\▿l)$

$H(\▿s,\▿l)=\underset{p}{\mathrm{\Σ}}(\frac{{(\∂s/\∂x)}_p^2}{{(\∂l/\∂x)}_p^{\mathrm{\α}}}+\frac{{(\∂s/\∂y)}_p^2}{{(\∂l/\∂y)}_p^{\mathrm{\α}}+\mathrm{\ϵ}})$

其中，s是要求解的大尺度图像；|l-s|²是使得l和s尽可能接近的数据项；

是使得s尽可能光滑的正则化项，用来最小化s的偏导；下标p表示一个像素在图像上空间位置；最小化

会导致输入图像l的梯度发生非线性缩放，在梯度较大的区域，缩放较小，而梯度较小的区域则需要进行较大的缩放，α控制梯度非线性缩放的整体亲和性，即非线性缩放对l梯度大小的敏感性，增大α会导致生成的结果保留更加尖锐的边界；ε是一个很小的数(通常为0.0001)，用来防止在l平坦的区域出现除0；λ是数据项和正则项间的平衡调节因子，增加λ会导致滤波后的图像更加平滑，本发明在最小二乘滤波过程中在图像不同区域采用不同级别的平滑处理，在不同的图像区域设计不同大小的λ值。

为了自适应计算λ值，首先计算明度层的梯度图像，并统计每个像素局部窗口内梯度大于阈值的像素数量；接着将其归一化，用于计算出最小二乘滤波器的参数。具体地，对图像不同区域设置不同的λ值：首先，计算明度层l的水平和竖直方向梯度，分别为

和

并给出一个阈值t₁；然后，对于每个像素i，计算以该像素为中心的局部窗口w_p内梯度大小大于阈值的像素数量。

$\mathrm{\γ}\left(p\right)=\underset{i\∈w_p}{\mathrm{\Σ}}(\sqrt{{(\∂l/\∂x)}_i^2+{(\∂l/\∂y)}_i^2}\≥t_1)$

将γ(p)归一化到0-1，则λ值设置为：

λ(p)＝λ_s+(λ_l-λ_s)*γ(p)

其中，λ_s和λ_l分别表示控制对图像进行最低和最高级别平滑处理所对应的最小和最大λ值。在实现时，α＝1.2，局部窗口半径设为8，λ_s＝1，λ_l＝4，阈值t₁＝0.02。

使用最小二乘滤波器对图像进行滤波求解首先计算梯度图像，并计算像素与相邻像素的亲和力；然后计算点表示的空间非同质拉普拉斯矩阵，并构造稀疏线性方程组；最后求解稀疏线性方程组，得到滤波结果。

参阅图6梯度操作流程说明如何对图像进行梯度操作：

对梯度域进行处理时，首先将以目标对象大尺度层为参照对参考对象大尺度进行双边滤波，保留目标对象一些边缘信息，本发明中使用如下双边滤波器：

$B\left(I\right)=\frac{1}{W_p}\underset{q\∈\mathrm{\ω}}{\mathrm{\Σ}}{G}_{{\mathrm{\σ}}_d}\left(\right||p-q|\left|\right)G_{{\mathrm{\σ}}_r}\left(\right|I_p-I_q\left|\right)I_q$

$W_p=\underset{q\∈\mathrm{\ω}}{\mathrm{\Σ}}{G}_{{\mathrm{\σ}}_d}\left(\right||p-q|\left|\right)G_{{\mathrm{\σ}}_r}\left(\right|I_p-I_q\left|\right)$

$G_{\mathrm{\σ}}\left(x\right)=\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}\exp (-\frac{x^2}{{2\mathrm{\σ}}^2})$

其中，I是输入图像；p是图像坐标索引；B(I)是滤波后的结果；ω是以像素p为中心的窗口，q是窗口ω中的像素；

是空间邻近函数，σ_d是窗口大小；

是灰度相似度，σ_r是窗口大小；W_p是归一化项，使B(I)的每个像素值都在0-1之间。

为了区分轮廓区域和非轮廓区域，本发明生成一个在轮廓处渐变的掩码图像β图像，β图像具有在轮廓区域附近渐变的特点，这样能够使得参考对象非轮廓区域的较大梯度与目标对象在轮廓附近能够平滑地混合。

β图像的计算方法如下：定义一个轮廓图像k，轮廓图像在皮肤区域取值为0，在眉毛区域、眼睛区域、嘴唇轮廓区域、鼻子轮廓线区域取值为1，在鼻孔区域取值为2，掩码图像β的计算方法如下：

$\mathrm{\β}\left(p\right)=\underset{q\∈\mathrm{\ω}}{\min }(1-k\left(q\right)\·e^{-\frac{{(p-q)}^2}{{2\mathrm{\σ}}^2}})$

其中，p表示图像坐标索引；I表示输入图像；ω表示以像素p为中心的窗口，q为窗口中像素索引，σ为窗口大小。

将滤波后的大尺度层变换到梯度域，对梯度域进行处理时要在轮廓域和非轮廓区域进行不同的操作：对于非轮廓区域，设定一个阈值，大于该阈值的梯度是由光照引起的，将参考对象非轮廓区域的梯度大于该阈值的梯度迁移到目标对象上；对于轮廓区域，利用掩码图像β将参考对象轮廓区域中非轮廓引起的梯度变化迁移到目标对象上。

对于给定目标对象s_B和参考对象s_A，及其对应β图像，在梯度域上操作按如下公式进行：

${\▿s}_B^{\′}\left(p\right)=\left\{\begin{array}{c}{\▿s}_A\left(p\right),\mathrm{if\β}\left(p\right)\left|\right|{\▿s}_A\left(p\right)\left|\right|>\left|\right|{\▿s}_B\left(p\right)\left|\right|\\ {\▿s}_B\left(p\right),\mathrm{otherwise}\end{array}\right.$

其中，p表示图像坐标索引；

和

分别表示目标对象图像、参考对象图像和光照迁移后的目标对象相应的大尺度层梯度图像；

表示参考对象的梯度是否由轮廓引起的；β(p)为掩码图像，用来避免将参考对象上主要轮廓构成的梯度迁移到目标对象上。

本发明采用泊松积分将梯度图像变换到灰度图像，求解过程中加入灰度约束，这样可以使处目标对象的大尺度层在总体亮度上更加接近参考对象的大尺度层，泊松积分求解过程是最小化如下能量函数：

$E\left(f\right)=\underset{p\∈I}{\mathrm{\Σ}}[E_d\left(p\right)+E_g\left(p\right)]$

其中，I表示输入图像；p表示图像坐标索引；灰度项约束E_d(p)和梯度项约束E_g(p)分别表示为：

E_d(p)＝λ[f(p)-d(p)]²

E_g(p)＝[f_x(p)-g_x(p)]²+[f_y(p)-g^y(p)]²

其中，f(p)是待求解的大尺度层，d(p)是参考对象大尺度层；f^x(p)和f^y(p)是待求解大尺度层水平梯度和垂直梯度图像；g^x(p)和g^y(p)是处理后的大尺度层水平梯度和垂直梯度图像，是

的两个部分，参数λ用来控制灰度项约束对积分结果的影响。

当利用灰度约束泊松方程求解得到目标对象大尺度层之后，与目标对象的细节层和目标对象色度层组合，则得到了光照迁移后的目标对象图像。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (6)

1.一种基于梯度操作的对象光照迁移方法，其特征在于该方法包含以下步骤：

(1)根据目标对象和参考对象之间的逐像素对应关系，将参考对象对齐到目标对象；

(2)将目标对象和参考对象均分解为色度层和明度层；

(3)利用自适应参数的加权最小二乘滤波器对明度层进行滤波，得到大尺度层，利用明度层与大尺度层得到细节层；

(4)将光照信息从参考对象大尺度层的梯度图像迁移到目标对象大尺度层的梯度图像；

(5)将大尺度层由梯度域变换到灰度域，得到目标对象新大尺度层，与目标对象细节层组合，得到目标对象新明度层；

(6)用目标对象新明度层，与目标对象的色度层混合得到光照迁移结果。

2.根据权利要求1所述的基于梯度操作的对象光照迁移方法，其特征在于：步骤(1)所述的图像对齐采用以下步骤：

(1.1)采用活动轮廓模型获取粗略的特征点坐标，然后利用用户交互优化特征点的位置；

(1.2)以参考对象和目标对象的特征点作为控制点，对参考对象按照目标对象进行变形。

3.根据权利要求2所述的基于梯度操作的对象光照迁移方法，其特征在于，步骤(1.2)  所述的变形采用以下步骤：

(1.2.1)对目标对象以标志点进行德劳内三角剖分；

(1.2.2)对于目标对象中的每一个三角形，找到其在参考对象中对应三角形，根据三角形在目标对象和参考对象中的顶点坐标计算出两个三角形的仿射变换矩阵；

(1.2.3)利用向后图像变形找到目标对象中每一个像素点在参考对象中对应的坐标值；

(1.2.4)对于目标对象中的每个像素取其在参考对象中对应坐标处的值，得到变形后的参考对象。

4.根据权利要求1所述的基于梯度操作的对象光照迁移方法，其特征在于，步骤(2)所述的将目标对象和参考对象均分解为色度层和明度层是通过将图像从RGB颜色空间到CIELAB颜色空间完成。

5.根据权利要求1所述的基于梯度操作的图像对象光照迁移方法，其特征在于，步骤(4)所述的将光照信息从参考对象大尺度层的梯度图像迁移到目标对象大尺度层的梯度图像的过程包含以下步骤：

(4.1)利用特征点，生成人脸区域图像和轮廓区域图像并生成掩码图像；

(4.2)对参考对象按照目标对象进行双边滤波，将滤波结果变换到梯度域；

(4.3)将参考对象非轮廓区域大于特定阈值的梯度迁移到目标对象非轮廓区域；

(4.4)将参考对象轮廓区域大于特定阈值的梯度迁移到目标对象轮廓区域。

6.根据权利要求1所述的基于梯度操作的对象光照迁移方法，其特征在于，步骤(6)所述的与目标对象的色度层混合是指在CIELAB颜色空间中，将新明度层与色度层从CIELAB颜色空间变换到RGB颜色空间。

Images