CN109712095B - 一种快速边缘保留的人脸美化方法 - Google Patents

Abstract

本发明公开了一种快速边缘保留的人脸美化方法：(1)使用局部方差平滑原人脸图像G(x,y)上的肤色，得到平滑人脸图像；(2)建立自适应高斯肤色模型，在原人脸图像G(x,y)上提取肤色似然区域，得到似然肤色；(3)得到的似然肤色进行平滑处理，得到蒙版图像，将得到的蒙版图像作为权重，融合原人脸图像和得到的平滑人脸图像，得到最终边缘保留的人脸美化图像。本发明的快速边缘保留的人脸美化方法可以快速美化图像，在去除脸部瑕疵的同时保留肤色边缘信息，并减少非肤色区域信息的丢失，使其具有更加自然、立体的美化效果。

Description

一种快速边缘保留的人脸美化方法

技术领域

本发明属于图像处理技术领域，特别是涉及一种快速边缘保留的人脸美化方法。

背景技术

随着摄影技术的日益成熟，数码相机的分辨率越来越高，照片可以非常清晰地显示出人脸中的所有细节信息，甚至包括一些斑点、皱纹和影响人脸美感的其他因素。审美观念的不断提高，人们对成像的质量和美观度的要求也越来越高，希望展现出白皙、光滑且更真实、更具吸引力与美感的人脸图像。因此人脸图像的快速美化技术在移动端、广告业等多媒体行业中具有潜在的应用及实用价值。

目前各种修饰人脸的开发工具，比如美图秀秀、Photoshop等软件，虽然能较好的处理皮肤瑕疵，但是处理的过程繁琐，且需要用户具有一些专业技术和美感才能操作，给用户带来了一定的不便，因此我们需要发明一种标准的人脸美化系统，使用尽可能少的步骤去完成该功能，使得用户在不需要专业技术的条件下实现人脸图像美化。

发明内容

本发明的目的是提供一种快速边缘保留的人脸美化方法，用以快速美化图像，在去除脸部瑕疵的同时保留肤色边缘信息，并减少非肤色区域信息的丢失，使其具有更加自然、立体的美化效果。

为了达到上述目的，本发明采用的技术方案是，一种快速边缘保留的人脸美化方法，具体按照以下步骤实施：

步骤1，使用局部方差平滑原人脸图像G(x,y)上的肤色，得到平滑人脸图像；

步骤2，建立自适应高斯肤色模型，在原人脸图像G(x,y)上提取肤色似然区域，得到似然肤色；

步骤3，对步骤2得到的似然肤色进行平滑处理，得到蒙版图像，将得到的蒙版图像作为权重，融合原人脸图像和步骤1得到的平滑人脸图像，得到最终边缘保留的人脸美化图像。

本发明的技术方案，还具有以下特点：

所述步骤1，具体按照以下步骤实施：

步骤1.1，通过式(1)求原人脸图像G(x,y)的积分图I(x,y)：

积分图I(x,y)中，任一点(x,y)的数值为原人脸图像G(x,y)中左上角至当前点(x,y)所构成的矩形框内所有像素之和；

步骤1.2，根据步骤1.1得到的积分图I(x,y)，在原人脸图像G(x,y)输入一定大小的窗口，计算该窗口内像素的局部平均值与局部方差，最终得到每个像素新的像素值：

设原人脸图像G(x,y)的大小为N*M；窗口的大小为(2n+1)(2m+1)，且(2n+1)小于N，(2m+1)小于M；xi_j表示(i,j)位置处的像素值，即第i行第j列；

该窗口内像素的局部平均值可为：

该窗口内像素的局部方差可以表示为：

则加性滤波后得到的新的像素值为：

x'_ij＝(1-k)m_ij+kx_ij (4)

式中

其中σ为输入的参数；

步骤1.3，循环每个像素，重复步骤1.2，得到最终的平滑人脸图像。

在所述步骤1.1中，用公式(5)取代公式(2)，

公式(5)为：

I(x,y)＝I(x-1,y)+I(x,y-1)-I(x-1,y-1)+G(x,y) (5)。

所述步骤2具体如下进行：

步骤2.1，建立高斯肤色模型，其肤色概率计算为：

P(Cb,Cr)＝exp[-0.5(x_i-m)^TC^-1(x_i-m)] (6)

式中：

其中m表示均值,C表示协方差矩阵，x_i＝(Cb,Cr)^T为训练样本中每个肤色的像素的值，n为训练样本中像素的总个数；

步骤2.2，在肤色似然区域提取肤色样本，建立自适应高斯肤色模型：在肤色似然区域提取60*60的肤色小块作为肤色样本，则：

Cb_n＝Cb_s/3600 (9)

Cr_n＝Cr_s/3600 (10)

m_n＝[Cb_n Cr_n] (11)

式中：Cb_s和Cr_s分别为60*60肤色样本内Cb值的和与Cr值的和；Cb_n和Cr_n分别为肤色样本内Cb、Cr的均值；m_n为m的均值。

步骤2.3，利用加权欧式距离，更新m值：

其中：d_(i)为肤色样本中的每个像素点到m_n的加权欧式距离，Cb_(i)、Cr_(i)为肤色样本中每个像素点的Cb、Cr值，w和k是各自方差作为权重；

将公式(12)得到的d_(i)按从小到大排序，然后取距离较小的像素点，所取个数占肤色样本中总像素个数的比例为ρ，ρ为1/2：

此时d_1/2＝d(N/2)，式中N为肤色样本总的像素个数，继而求N/2个像素点的Cb、Cr值的和，分别为S(Cb)、S(Cr)：

则更新后的m值为：

m'＝[S(Cb)/(N/2) S(Cr)/(N/2)] (15)

步骤2.4，用m'替代m，代入公式(6)计算出肤色概率，即可获得肤色似然区域。

所述步骤3具体如下进行：

步骤3.1，对步骤2得到的皮肤似然区域高斯模糊生成蒙版图像；

步骤3.2，将步骤3.1得到的蒙版图像作为权重，融合原图像和步骤1得到的平滑人脸图像，融合策略为：

F'＝(1-g_sk)F+g_skF_blur (16)

F是原始人脸图像，F_blur是平滑后的人脸图像，F'是融合后的图像，g_sk为权重。

本发明的有益效果是：本发明的快速边缘保留的人脸美化方法，基于积分图的局部均方差边缘保留滤波算法实现快速人脸美化，能够较好的平滑人脸瑕疵且保留肤色边缘纹理，符合人脸美化的要求；通过使用积分图算法的局部均方差滤波器平滑皮肤，保护了皮肤边缘，减少运行时间；采用改进的高斯模型提取似然肤色并生成权重，融合原图像与平滑的人脸图像，减少了使用阈值分割为权重融合会造成的硬边缘效果，且减少非肤色区域细节信息的丢失；相较于Photoshop、美图秀秀等专业图像处理技术，本发明的快速边缘保留的人脸美化方法有较好的美化效果，且效果更加自然，没有人工处理痕迹，易操作，而且实时性的优点不仅可以对单幅图像美化，对视频也可以达到较好的美化效果。

附图说明

图1是本发明的一种快速边缘保留的人脸美化方法的工作流程图；

图2是本发明的一种快速边缘保留的人脸美化方法滤波实验仿真过程图；

图3是本发明的一种快速边缘保留的人脸美化方法肤色提取实验仿真的过程图；

图4是本发明的一种快速边缘保留的人脸美化方法实验仿真中采用本发明方法进行美化的过程图；

图5是本发明的一种快速边缘保留的人脸美化方法进行有效性验证的过程像。

具体实施方式

以下结合附图说明和具体实施例对本发明的技术方案作进一步地详细说明。

如图1所示，本发明的一种快速边缘保留的人脸美化方法，按照以下步骤依次实施：

步骤1，使用局部方差平滑原人脸图像G(x,y)上的肤色，得到平滑人脸图像，具体为：

步骤1.1，通过式(1)求原人脸图像G(x,y)的积分图I(x,y)：

积分图I(x,y)中，任一点(x,y)的数值为原人脸图像G(x,y)中左上角至当前点(x,y)所构成的矩形框内所有像素之和；为了加速运算，可用公式(5)取代公式(2)计算积分图I(x,y)，

公式(5)为：

I(x,y)＝I(x-1,y)+I(x,y-1)-I(x-1,y-1)+G(x,y) (5)

步骤1.2，根据步骤1.1得到的积分图I(x,y)，在原人脸图像G(x,y)输入一定大小的窗口，计算该窗口内像素的局部平均值与局部方差，最终得到每个像素新的像素值：

设原人脸图像G(x,y)的大小为N*M；窗口的大小为(2n+1)(2m+1)，且(2n+1)小于N，(2m+1)小于M；xi_j表示(i,j)位置处的像素值，即第i行第j列；

该窗口内像素的局部平均值可为：

该窗口内像素的局部方差可以表示为：

则加性滤波后得到的新的像素值为：

x'_ij＝(1-k)m_ij+kx_ij (4)

式中

其中σ为用户输入的参数；当上述局部方差较小时，图像中该窗口属于灰度平坦区，各个像素灰度值相差不大；相反，当局部方差比较大时，图像中该窗口属于边缘或者是其他高频区域，各个像素的灰度值相差比较大；从(5)式可以看出，当该窗口属于平坦区域，局部方差较小，k趋近于0，则该点滤波后的像素值为该点的局部平均值，即进行了平滑；当窗口属于边缘区域时，局部方差较大，用户输入的参数可以基本忽略不计，此时k趋近于1，则滤波后该点的像素值仍为原值，即保留了边缘像素；

步骤1.3，循环每个像素，重复步骤1.2，得到最终的平滑人脸图像；

步骤2，建立自适应高斯肤色模型，在原人脸图像G(x,y)上提取肤色似然区域，得到似然肤色，具体如下进行：

步骤2.1，建立高斯肤色模型，其肤色概率计算为：

P(Cb,Cr)＝exp[-0.5(x_i-m)^TC^-1(x_i-m)] (6)

式中：

其中m表示均值,C表示协方差矩阵，x_i＝(Cb,Cr)^T为训练样本中每个肤色的像素的值，n为训练样本中像素的总个数；

步骤2.2，在肤色似然区域提取肤色样本，建立自适应高斯肤色模型：在肤色似然区域提取60*60的肤色小块作为肤色样本，则：

Cb_n＝Cb_s/3600 (9)

Cr_n＝Cr_s/3600 (10)

m_n＝[Cb_n Cr_n] (11)

式中：Cb_s和Cr_s分别为60*60肤色样本内Cb值的和与Cr值的和；Cb_n和Cr_n分别为肤色样本内Cb、Cr的均值；m_n为m的均值；

步骤2.3，由于肤色中含有其他特征，m_n的值可能偏离实际肤色值，则像素点属于某一类就需要一个相似性度量，本发明的技术方案通过图像中每个像素点到m_n的加权欧式距离重新计算m值，利用加权欧式距离，更新m值：

其中：d_(i)为肤色样本中的每个像素点到m_n的加权欧式距离，Cb_(i)、Cr_(i)为肤色样本中每个像素点的Cb、Cr值，w和k是各自方差作为权重；

将公式(12)得到的d_(i)按从小到大排序，然后取距离较小的像素点，所取个数占肤色样本中总像素个数的比例为ρ；

如果ρ过大，则会有非肤色像素点而计算不准确；如果ρ过小，则容易导致对光照敏感；经过试验分析，当ρ为1/2时肤色检测效果较为稳定：

此时d_1/2＝d(N/2)，式中N为肤色样本总的像素个数，继而求N/2个像素点的Cb、Cr值的和，分别为S(Cb)、S(Cr)：

则更新后的m值为：

m'＝[S(Cb)/(N/2) S(Cr)/(N/2)] (15)

步骤2.4，用m'替代m，代入公式(6)计算出肤色概率，即可获得肤色似然区域。

步骤3，对步骤2得到的似然肤色进行平滑处理，得到蒙版图像，将得到的蒙版图像作为权重，融合原人脸图像和步骤1得到的平滑人脸图像，得到最终边缘保留的人脸美化图像，具体如下进行：

步骤3.1，对步骤2得到的皮肤似然区域高斯模糊生成蒙版图像；

步骤3.2，将步骤3.1得到的蒙版图像作为权重，融合原图像和步骤1得到的平滑人脸图像，融合策略为：

F'＝(1-g_sk)F+g_skF_blur (16)

F是原始人脸图像，F_blur是平滑后的人脸图像，F'是融合后的图像，g_sk为权重。

实验仿真：

图2中：(a)是本发明快速边缘保留的人脸美化方法滤波实验仿真中采用的原图像；(b)是本发明的快速边缘保留的人脸美化方法实验仿真中高斯滤波处理后的图像；(c)是本发明的快速边缘保留的人脸美化方法实验仿真中双边滤波处理后的图像；(d)是本发明的快速边缘保留的人脸美化方法实验仿真中采用本发明提出的局部均方差滤波算法处理后的图像。

图3中：(a)是本发明的快速边缘保留的人脸美化方法肤色提取实验仿真中采用的原图像；(b)是本发明的快速边缘保留的人脸美化方法实验仿真中采用本发明提出的自适应高斯肤色检测得到的似然肤色。

图4中：(a)是本发明的快速边缘保留的人脸美化方法实验仿真中采用本发明方法美化的原图像；(b)是本发明的快速边缘保留的人脸美化方法实验仿真中采用本发明方法美化的平滑后图像；(c)是本发明的快速边缘保留的人脸美化方法实验仿真中采用本发明方法美化的蒙版图像；(d)是本发明的快速边缘保留的人脸美化方法实验仿真中采用本发明方法美化的最终图像。

图5中：(a)是本发明的快速边缘保留的人脸美化方法有效性验证中采用的原图像；(b)是本发明的快速边缘保留的人脸美化方法有效性验证中分解颜色图层，生成自适应蒙版美化后的图像；(c)是本发明的快速边缘保留的人脸美化方法实验仿真中采用本发明方法美化的图像。

测试实验中，使用本发明的快速边缘保留的人脸美化方法改进的局部均方差滤波与高斯滤波、双边滤波分别处理有瑕疵的人脸图像，滤波效果的图2中(a)、(b)、(c)和(d)，可以看出高斯滤波是对图像整体进行处理，可以平滑脸部瑕疵，但是非皮肤区域也遭到破坏；双边滤波虽然能很好地平滑脸部瑕疵，也保留了非皮肤区域，但是计算量大，且丢失了眼睛等细节信息；局部均方差滤波可以有效去除脸部瑕疵的同时保留边缘、头发、眼睛等细节信息。且从表1可以看出，改进的局部均方差滤波算法耗时短，可以达到实时的处理。

表1算法耗时对比

耗时/s	高斯滤波	双边滤波	改进的局部均方差滤波
				图2	0.887	1.088	0.663

为了验证本发明的速边缘保留的人脸美化方法的有效性，采用分解颜色图层，生成自适应蒙版美化方法与本方法进行对比实验，图5的(a)、(b)和(c)，其中本方法实验参数σ＝10，窗口为15*15大小。从整体上看人像的美化效果相似，从细节上看，生成自适应蒙版的美化方法虽然改善了皮肤的平滑效果，也保留了边缘信息，但是部分平滑效果较差，且处理后的颜色偏红。本发明的快速边缘保留的人脸美化方法在皮肤区域得到更好地平滑效果，同时肤色边缘得以保留，且处理后的颜色在遵循原图基础上更加真实、立体。其主要原因在于进行皮肤平滑处理以及融合时使用了不同的方法，采用人脸特征信息来生成自适应蒙版皮肤，能更好地保持细节信息，但也使该细节未被平滑处理；而本发明的快速边缘保留的人脸美化方法利用颜色像素值的高斯模型为基础的先验提取，基本可以平滑皮肤瑕疵，而且保留了边缘细节，改善了图像的美感。

验证本文方法的有效性，还从时间复杂度上进行客观分析，进行定量的测试和对比，如表2所示。分解颜色图层，生成自适应蒙版，其美化效果较好，然而具有较大时间复杂度，使用MATLAB实现算法，500*600像素的平均处理时间为12s，难以处理视频；而本发明的快速边缘保留的人脸美化方法用C++语言实现，处理500*600像素的图像平均时间仅需要1.5s，处理1024*800像素的图像平均仅需要3.8s，通过对比可以看出，本发明的快速边缘保留的人脸美化方法在美化处理上速度较快，且不影响美化质量，具有一定的优势。

表2不同方法的时间性能对比

	图像尺寸/像素	CPU	运行平台	耗时/s
					分解图层	500*600	2.5GHz	MATLAB	12.00
本发明	500*600	2.5GHz	C++	1.50
					本发明	1024*800	2.5GHz	C++	3.80

结果表明：本发明快速边缘保留的人脸美化方法的相对其他方法有较好的美化效果，且效果更加自然，没有人工处理痕迹，而且实时性的优点不仅可以对单幅图像美化，对视频也可以达到较好的美化效果。

Claims (2)

1.一种快速边缘保留的人脸美化方法，其特征在于，具体按照以下步骤实施：

步骤1，使用局部方差平滑原人脸图像G(x,y)上的肤色，得到平滑人脸图像；

步骤2，建立自适应高斯肤色模型，在原人脸图像G(x,y)上提取肤色似然区域，得到似然肤色；

步骤3，对步骤2得到的似然肤色进行平滑处理，得到蒙版图像，将得到的蒙版图像作为权重，融合原人脸图像和步骤1得到的平滑人脸图像，得到最终边缘保留的人脸美化图像；

所述步骤1，具体按照以下步骤实施：

步骤1.1，通过式(1)求原人脸图像G(x,y)的积分图I(x,y)：

积分图I(x,y)中，任一点(x,y)的数值为原人脸图像G(x,y)中左上角至当前点(x,y)所构成的矩形框内所有像素之和；

步骤1.2，根据步骤1.1得到的积分图I(x,y)，在原人脸图像G(x,y)输入一定大小的窗口，计算该窗口内像素的局部平均值与局部方差，最终得到每个像素新的像素值：

设原人脸图像G(x,y)的大小为N*M；窗口的大小为(2n+1)(2m+1)，且(2n+1)小于N，(2m+1)小于M；x_ij表示(i,j)位置处的像素值，即第i行第j列；

该窗口内像素的局部平均值为：

该窗口内像素的局部方差表示为：

则加性滤波后得到的新的像素值为：

x′_ij＝(1-k)m_ij+kx_ij (4)

式中

其中σ为输入的参数；

步骤1.3，循环每个像素，重复步骤1.2，得到最终的平滑人脸图像；

在所述步骤1.1中，用公式(5)取代公式(1)，

公式(5)为：

I(x,y)＝I(x-1,y)+I(x,y-1)-I(x-1,y-1)+G(x,y) (5)；

所述步骤2具体如下进行：

步骤2.1，建立高斯肤色模型，其肤色概率计算为：

P(Cb,Cr)＝exp[-0.5(x_i-m)^TC^-1(x_i-m)] (6)

式中：

其中m表示均值,C表示协方差矩阵，x_i＝(Cb,Cr)^T为训练样本中每个肤色的像素的值，n为训练样本中像素的总个数；

步骤2.2，在肤色似然区域提取肤色样本，建立自适应高斯肤色模型：在肤色似然区域提取60*60的肤色小块作为肤色样本，则：

Cb_n＝Cb_s/3600 (9)

Cr_n＝Cr_s/3600 (10)

m_n＝[Cb_n Cr_n] (11)

式中：Cb_s和Cr_s分别为60*60肤色样本内Cb值的和与Cr值的和；Cb_n和Cr_n分别为肤色样本内Cb、Cr的均值；m_n为m的均值；

步骤2.3，利用加权欧式距离，更新m值：

其中：d_(i)为肤色样本中的每个像素点到m_n的加权欧式距离，Cb_(i)、Cr_(i)为肤色样本中每个像素点的Cb、Cr值，w和k是各自方差作为权重；

将公式(12)得到的d_(i)按从小到大排序，然后取距离较小的像素点，所取个数占肤色样本中总像素个数的比例为ρ，ρ为1/2：

此时d_1/2＝d(N/2)，式中N为肤色样本总的像素个数，继而求N/2个像素点的Cb、Cr值的和，分别为S(Cb)、S(Cr)：

则更新后的m值为：

m'＝[S(Cb)/(N/2) S(Cr)/(N/2)] (15)

步骤2.4，用m'替代m，代入公式(6)计算出肤色概率，即可获得肤色似然区域。

2.根据权利要求1所述的快速边缘保留的人脸美化方法，其特征在于，所述步骤3具体如下进行：

步骤3.1，对步骤2得到的皮肤似然区域高斯模糊生成蒙版图像；

步骤3.2，将步骤3.1得到的蒙版图像作为权重，融合原图像和步骤1得到的平滑人脸图像，融合策略为：

F'＝(1-g_sk)F+g_skF_blur (16)

F是原始人脸图像，F_blur是平滑后的人脸图像，F'是融合后的图像，g_sk为权重。

Images