CN114202483B - 一种基于改进的加性lee滤波磨皮方法 - Google Patents

Abstract

本发明涉及一种基于改进的加性lee滤波磨皮方法，首先获取人脸原图像，并截取为N*M的大小得到待处理图像；然后设定滑动窗口，根据σ值滑动窗口内待处理图像中所有坐标点的像素值局部方差计算参数k；再利用公式对坐标(i,j)处的像素值进行加性去噪，遍历待处理图像中的所有坐标点得到每个坐标点加性去噪后的像素值，所有坐标点经过加性去噪后对应的像素值作为该坐标点磨皮后的像素值，即得滤波后的图像并输出。本发明方法在光滑皮肤的同时，对皮肤的处理效果是过度均匀、明暗对比保留、纹理保留、质感真实的。

Description

一种基于改进的加性lee滤波磨皮方法

技术领域

本发明涉及美颜算法，具体涉及一种基于改进的加性lee滤波磨皮方法。

背景技术

人像磨皮算法的主要理论基础有两点，皮肤斑点区域的颜色减淡和皮肤斑点区域的滤波。基于这两点，人像磨皮算法可分为以下几种：通用磨皮算法、通道磨皮算法、细节叠加磨皮算法等。

通用磨皮算法是最基础的磨皮算法，其风格属于光滑型。通道磨皮算法起源于PhotoShop中的磨皮操作，是基于人像蓝色通道计算的一种磨皮算法，其原理是对皮肤的暗斑区域进行调亮，使得暗斑颜色简单，从而达到暗斑小时的近似磨皮的效果，其风格属于自然光滑型。细节叠加磨皮是使用双重尺度的保边滤波依次叠加细节信息的磨皮方法，该方法在大半径平滑图像之上叠加不同的细节信息，以达到磨皮的需求。

通用磨皮是最基础的磨皮算法，虽然效果上光滑，但是细节丰富程度弱，原图细节损失大，图片失真严重，另外通道磨皮能淡化皮肤痘印瑕疵为皮肤增白但光滑度一般。细节叠加磨皮是一种使用双重尺度保边滤波依次叠加细节信息的磨皮方法，虽然基于双边滤波器的磨皮算法效果很好，但是当皮肤的皱纹、痘印等瑕疵比较严重时，需要增大滤波器的参数，而当强度参数过大时，算法速度会受到较大影响。

发明内容

针对现有技术存在的上述问题，本发明要解决的技术问题是：如何提供一种运算简单快速，同时对皮肤光滑和质感保留效果好的磨皮方法。

为解决上述技术问题，本发明采用如下技术方案：一种基于改进的加性lee滤波磨皮方法，包括如下步骤：

S1：获取人脸原图像，并截取为N*M的大小得到待处理图像，用x_ij表示待处理图像坐标(i,j)处的像素值；

S2：设定一个大小为(2*n+1)*(2*m+1)的滑动窗口，计算滑动窗口内待处理图像中所有坐标点的像素值的局部平均值及局部方差；

S3：根据人脸原图像进行肤质分类等级确定σ值，每一类肤质等级对应一个σ值，再根据σ值和S2得到的滑动窗口内部的待处理图像中所有坐标点的像素值的局部方差，采用如下公式计算出k值：

其中，σ表示加性lee滤波的参数，k表示对原始图像磨皮的程度，v_ij表示滑动窗口内部的待处理图像的局部方差；

S4：根据如下公式对坐标(i,j)处的像素值进行加性去噪，并使用加性去噪后像素值作为坐标(i,j)处的像素值；

其中，表示坐标(i,j)处加性去噪后的像素值；

S5：重复S2-S4，并遍历待处理图像中的所有坐标点，得到每个坐标点加性去噪后的像素值，所有坐标点经过加性去噪后对应的像素值作为该坐标点磨皮后的像素值，即得滤波后的图像并输出。

作为改进，所述S2中计算滑动窗口内待处理图像中所有坐标像素值的局部方差的方法为：

其中，x_kl表示滑动窗口内坐标(k,l)处的像素值，m_ij表示滑动窗口内待处理图像中所有坐标点的像素值的局部平均值，v_ij表示滑动窗口内待处理图像中所有坐标像素值的局部方差。

作为改进，所述S3中根据人脸原图像进行肤质分类的方法为：

S31：在人脸原图像中定义多个特征点，将所有特征点依次连接形成的多边形，得到的掩模为完整的人脸区域，定义为M_points，人体全身的皮肤区域掩模为M_human，人脸皮肤区域的掩模图为M_face：

M_face＝M_points∩M_human (3-2)；

S32：人脸皮肤区域的掩模图上按肤色、油光、皱纹、毛孔进行四个维度的分类，具体如下：

肤色等级分为四级、三级、二级、一级四个分类，给每个肤色等级依次赋值1，2，3，0；

油光等级分类为四级油光、三级油光、二级油光和一级油光，给每个油光等级依次赋值1，2，3，0；

皱纹等级分为四级、三级、二级、一级，给每个皱纹等级依次赋值1，2，3，0；

毛孔等级分为四级、三级、二级、一级，给每个毛孔等级依次赋值1，2，3，0；

S33：在人脸原图像中，选取人脸的额头、左脸颊、右脸颊、下巴四个部位作为感兴趣区域，设置每个区域划分为肤色、油光、皱纹和毛孔的权重，然后采用如下公式计算四个部位的等级赋值，σ的值等于该等级赋值：

其中，γ＝1,2,3,4分别表示肤色在额头、左脸颊、右脸颊和下巴四个区域的权重，/>γ＝1,2,3,4分别表示油光在额头、左脸颊、右脸颊和下巴四个区域的权重，/>γ＝1,2,3,4分别表示皱纹在额头、左脸颊、右脸颊和下巴四个区域的权重，/>γ＝1,2,3,4分别表示毛孔在额头、左脸颊、右脸颊和下巴四个区域的权重。

相对于现有技术，本发明至少具有如下优点：

1.现有的滤波对每个像素点的计算复杂度大于改进的加性lee滤波，当我们存在大量图像需要磨皮和皮肤的皱纹、痘印等瑕疵比较严重时，需要增大滤波器的参数，而当强度参数过大时，算法速度会受到较大影响。

2.本发明方法通过肤质分类分出等级计算出磨皮修改程度参数k，不同肤质等级会影响最终的磨皮程度，使得我们的磨皮效果纹理质感真实。

3.本发明方法在光滑皮肤的同时，对皮肤的处理效果是过度均匀、明暗对比保留、纹理保留、因此质感真实。

附图说明

图1为本发明方法的流程图。

图2为人脸多边形外框和感兴趣区域示意图。

图3为肤色分级示意图。

图4为油光分级示意图。

图5为皱纹分级示意图。

图6为毛孔分级示意图。

图7人脸原图和磨皮效果对比，图7a是原图，图7b是磨皮算子处理后的图。

具体实施方式

下面对本发明作进一步详细说明。

参见图1，一种基于改进的加性lee滤波磨皮方法，包括如下步骤：

S1：获取人脸原图像，并截取为N*M的大小得到待处理图像，用x_ij表示待处理图像坐标(i,j)处的像素值。

S2：设定一个大小为(2*n+1)*(2*m+1)的滑动窗口，计算滑动窗口内待处理图像中所有坐标点的像素值的局部方差；可以采用任何现有方法计算滑动窗口内部待处理图像中所有坐标像素值的的局部平均值及局部方差，本发明优选选择如下方法进行。优选采用如下方法：

所述S2中计算滑动窗口内待处理图像中所有坐标像素值的局部方差的方法为：

其中，x_kl表示滑动窗口内坐标(k,l)处的像素值，待处理图像中正在进行去噪的像素的坐标为(i,j)，使用的周围像素之一的坐标是(k,l)，m_ijm_ij表示滑动窗口内待处理图像中所有坐标点的像素值的局部平均值，v_ij表示滑动窗口内待处理图像中所有坐标像素值的局部方差。

S3：根据人脸原图像进行肤质分类等级确定σ值，每一类肤质等级对应一个σ值，再根据σ值和S2得到的滑动窗口内部的待处理图像中所有坐标点的像素值的局部方差，采用如下公式计算出k值：

其中，σ表示加性lee滤波的参数，k表示对原始图像磨皮的程度，v_ij表示滑动窗口内部的待处理图像的局部方差；例如分类是一级时，σ的值为0，根据k值计算公式可得k＝1，说明此时肤质情况较好不用进行磨皮修改)；所述加性lee滤波器为现有技术。

σ表示加性lee滤波的参数，可用于控制滤波的程度，当分类是四级时，σ的值为3；当分类是三级时，σ的值为2；当分类是二级时，σ的值为1；当分类是一级时，σ的值为0。

S4：根据如下公式对坐标(i,j)处的像素值进行加性去噪，并使用加性去噪后像素值作为坐标(i,j)处的像素值；

其中，表示坐标(i,j)处加性去噪后的像素值。

S5：重复S2-S4，并遍历待处理图像中的所有坐标点，得到每个坐标点加性去噪后的像素值，所有坐标点经过加性去噪后对应的像素值作为该坐标点磨皮后的像素值，即得滤波后的图像并输出。

具体的，所述S3中根据人脸原图像进行肤质分类的方法为：

S31：在人脸原图像中定义多个特征点，将所有特征点依次连接形成的多边形，得到的掩模为完整的人脸区域，定义为M_points，人体全身的皮肤区域掩模为M_human，人脸皮肤区域的掩模图为M_face，

M_face＝M_points∩M_human (3-2)；

使用OpenCV提供的基于TensorFlow的深度神经网络人脸检测算法和AdrianBulat提出的人脸对齐算法，得到对齐的81个特征点。以人脸最外边框的点依次连接形成多边形，得到的掩模为完整的人脸区域，定义为M_points，如图2的外框多边形所示。

人脸由于头发、眼镜、饰品、灯光阴影等因素的影响，会导致肤质的分类不准确，因此在关键点定位分割的基础上，需要与全身皮肤分割的结果求交集，得到最终的人脸皮肤区域。

S32：人脸皮肤区域的掩模图上按肤色、油光、皱纹、毛孔进行四个维度的分类，具体如下

人体皮肤的肤质是多种多样的，可按肤色、油光、皱纹、毛孔四个维度分为多个类型。在美颜的任务中，首先要进行皮肤肤质类型的判断，然后确定处理不同瑕疵的算法的参数。

肤色：目前人体肤色相关的研究主要集中于医疗诊断、人脸比对、表情识别等领域，本发明提出的将肤色进行等级细分是为了更好的确定美颜算法的参数，与标准的肤色分级标准有所区别。人像摄影中，由于光照、拍摄设备、拍摄参数等区别，同一个人的肤色也会呈现不同的结果。因此本发明是基于图像反映的明暗和颜色对肤色进行分类，而非人体本身。

肤色等级分为四级、三级、二级、一级四个分类，给每个肤色等级依次赋值1，2，3，0。四级肤色偏黑是指由于肤色本身黝黑或者拍摄时灯光阴影原因导致的肤色偏黑，三级肤色偏黄是指由于肤色本身偏黄、环境光照或白平衡设置等原因导致的肤色偏黄，二级肤色偏白是指皮肤本身白皙或拍摄过曝等原因导致的皮肤偏白，一级肤色正常是指无需调整的肤色类型，如图3所示。

油光等级分类为四级油光、三级油光、二级油光和一级油光，给每个油光等级依次赋值1，2，3，0。

人像摄影中，人脸高光区域是指在Lab颜色空间下，L均值最高的区域。根据高光区域的L值，可判断该照片的曝光程度，通常分为欠曝、正常和过曝。在后期修调的过程中，对于欠曝和过曝的照片，需要分别进行提亮和压高光的操作。

由于油性皮肤分泌油脂，在成像过程中油脂反光，造成人脸高光区域反光的现象，因此高光区域常常伴随着油光区域出现。通过对油光等级的分类，确定去油光算法的参数。

四级油光是指油脂分泌多，人像反光程度高；一级油光是指皮肤少量油脂分泌，人像无反光现象，如图4所示。

皱纹等级分为四级、三级、二级、一级，给每个皱纹等级依次赋值1，2，3，0。

人由于处于不同年龄阶段，皱纹会呈现不同的等级分类。国内外提出很多基于计算机视觉的皱纹定量测定方法，其受图像拍摄时光照、阴影、分辨率等影响较大，检测效果不稳定。磨皮算法重点处理的就是皮肤中的皱纹，因此皱纹的分级正确性直接决定了磨皮算法的效果。四级表征了皱纹最多、纹理最深、程度最终的等级，一级表征了皱纹很少、纹理很淡、程度最低的等级，如图5所示。

毛孔等级分为四级、三级、二级、一级，给每个毛孔等级依次赋值1，2，3，0。

粗糙的皮肤，也是磨皮算法重点处理的内容。皮肤毛孔的多少、大小，反应了皮肤是否光滑、细腻。不同的人的皮肤状况差异很大，将皮肤按粗糙程度分为四级、三级、二级、一级。四级表征了粗糙、毛孔明显的等级，一级表征了光滑、细腻的等级，如图6所示。

S33：在人脸原图像中，选取人脸的额头、左脸颊、右脸颊、下巴四个部位作为感兴趣区域，设置每个区域划分为肤色、油光、皱纹和毛孔的权重，然后采用如下公式计算四个部位的等级赋值，σ的值等于该等级赋值：

其中，γ＝1,2,3,4分别表示肤色在额头、左脸颊、右脸颊和下巴四个区域的权重，/>γ＝1,2,3,4分别表示油光在额头、左脸颊、右脸颊和下巴四个区域的权重，/>γ＝1,2,3,4分别表示皱纹在额头、左脸颊、右脸颊和下巴四个区域的权重，/>γ＝1,2,3,4分别表示毛孔在额头、左脸颊、右脸颊和下巴四个区域的权重。

在人像照片中，检测到人脸矩形框和对齐人脸关键点之后，选取感兴趣的区域，根据上述肤质分类的指标，最终确定美颜算法的参数。

在对皮肤进行按指标分类时，人脸不同区域的肤质分类权重是不同的，额头高光区域通常是油光较重、肤色较亮的区域，脸颊通常是油光较重，皱纹较重的区域，下巴通常是油光较轻，皱纹也较轻的区域。为了始终能够选取到不受光照阴影、拍摄角度等因素影响分类正确性的皮肤区域，本发明选取人脸的额头、左脸颊、右脸颊、下巴四个部位作为感兴趣区域，在对四个区域进行指标计算的时候，根据经验设置如下表1的权重矩阵。

表1脸部感兴趣区域肤质指标权重表

人脸的额头、左脸颊、右脸颊、下巴四个部位作为感兴趣区域可以通过如下方式提取：

人脸关键点的表示公式为Loc_i＝(x_i,y_i),i＝1,2,…,81，其中x_i,y_i分别表示点的横纵坐标，具体的区域表示如下表2所示。

表2人脸关键点对应的区域

关键点范围	人脸区域
		Loc1～Loc17	脸颊边缘
Loc18～Loc22	左侧眉毛
		Loc23～Loc27	右侧眉毛
Loc28～Loc36	鼻子
		Loc37～Loc42	左侧眼睛
Loc43～Loc48	右侧眼睛
		Loc49～Loc68	嘴巴
Loc69～Loc81	额头

在人脸的肤质分类任务中，如果将整个区域作为输入，则会受姿态、阴影等的干扰，因此提出划分四个感兴趣区域(Region of Interest,ROI)，示意图如图2所示。设定Recti_lx,Recti_ly,Recti_rx,Recti_ry,i＝1,2,3,4依次为四个ROI矩形区域的左上角所在关键点横轴位置，左上角所在关键点纵轴位置，右下角所在关键点横轴位置，右下角所在关键点纵轴位置，i＝1,2,3,4分别代表额头、左脸颊、右脸颊、下颌。

额头区域的左上角和右下角的关键点位置分别是：(Rect1_lx,Rect1_ly)＝(x₂₁,max(y₇₁,y₇₂,y₈₁))，(Rect1_rx,Rect1_ry)＝(x₂₄,min(y₂₁,y₂₄))。

左脸颊区域的左上角和右下角的关键点位置分别是：(Rect2_lx,Rect2_ly)＝(x₃₇,y₂₉)，(Rect2_rx,Rect2_ry)＝(x₃₂,y₃₂)。

右脸颊区域的左上角和右下角的关键点位置分别是：(Rect3_lx,Rect3_ly)＝(x₃₆,y₂₉)，(Rect3_rx,Rect3_ry)＝(x₄₆,y₃₂)。

下颌区域的左上角和右下角的关键点位置分别是：(Rect4_lx,Rect4_ly)＝(x₈,max(y₅₇,y₅₈,y₅₉))，(Rect4_rx,Rect4_ry)＝(x₁₀,min(y₈,y₉,y₁₀))。

四个区域的示意图如图2的内框矩形所示。

实验与分析

①实验数据

本实验采用了1000张人像照片。第一步对图片进行人脸识别和关键定对齐，根据感兴趣区域公式分割出额头、左右脸颊、下巴，由于部分照片是多人合照，因此总共得到1450张人脸的图片。第二步邀请专业的修图师，根据行业经验对所有分割出的图按肤质指标等级进行标注。第三步随机划分数据集的70％(1015张)作为训练集，20％(290张)作为验证集，10％(145张)作为测试集，使用ResNet152进行训练和测试。第四步作为对比，分别使用传统的方法在相同的测试集上对不同的指标进行计算。

②单指标实验结论

通过上述步骤，先对四个指标分开进行计算，分别得到了如下四个表的实验结论。

表3肤色分类准确率

特征	样本	ResNet	颜色阈值法(％)
				一级肤色	42	95.24	90.48
二级肤色	36	94.44	86.11
				三级肤色	38	92.11	76.32
四级肤色	29	86.21	65.52
				合计	145	92.41	80.69

从表3可以看出，对145张不同肤色的图进行分类时，ResNet方法取得了92.41％的分类准确率，高于传统方法的80.69％。

表4油光分类准确率

特征	样本	ResNet	最大类间方差法
				一级油光	40	75.00	65.00
二级油光	32	106.25	65.63
				三级油光	45	93.33	73.33
四级油光	28	78.57	78.57
				合计	145	88.28	70.34

从表4可以看出，对145张不同油光状况的图进行分类时，ResNet方法取得了88.28％的分类准确率，高于最大类间方差法的70.34％。

表5皱纹分类准确率

从表5可以看出，对145张不同皱纹状况的图进行分类时，ResNet方法取得了89.66％的分类准确率，高于灰度共生矩阵法的73.1％。

表6毛孔分类准确率

特征	样本	ResNet	阈值分割法(％)
				一级毛孔	47	87.23	80.85
二级毛孔	43	90.70	86.05
				三级毛孔	33	93.94	87.88
四级毛孔	22	81.82	77.27
				合计	145	88.97	83.45

从表6可以看出，对145张不同毛孔状况的图进行分类时，RestNet方法取得了88.97％的分类准确率，高于阈值分割和形态学结合法的83.45％。

从上面四个表可以看出，基于深度学习的肤色、油光、皱纹、毛孔四个肤质指标分类，取得了高于传统常规方法的综合准确率。

③多指标实验结论

四个指标单独的分级分类结果表明了算法的有效性，选取一个人脸图像做多指标的展示，图3.13是原图和四个感兴趣区域的皮肤。

对四个区域进行指标分类，得到如下表7的结果。原图的肤色是属于三级，不够白皙，但是也不属于黝黑。油光是属于三级，额头和左脸颊的油光程度明显。皱纹和毛孔都是属于三级，皮肤比较粗糙，不够细腻。

表7人脸感兴趣区域综合指标分类

区域	肤色	油光	皱纹	毛孔
					额头	三级	三级	二级	二级
下巴	三级	二级	二级	三级
					左脸颊	三级	三级	三级	三级
右脸颊	三级	一级	二级	二级
					综合	三级	三级	三级	三级

表7的结论与标准标签的数据是一致的，可以看出基于人脸四个感兴趣区域，将四个皮肤指标细分为四个等级，从而构建皮肤评价模型对皮肤进行分类是科学合理的。在此基础上实现基于改进的加性lee滤波磨皮方法中国自动确定参数，是可行的。

取一张人脸图像作为效果测试，该测试人脸图像皮肤的皱纹和毛孔均是三级，因此设置磨皮参数为2，图7展示了人脸原图和磨皮算子处理之后的效果。图7a是原图，图7b是磨皮算子处理后的图。

从图7可以看出，本发明提出的基于一种基于改进的加性lee滤波磨皮方法，在光滑皮肤的同时，对皮肤的处理效果是过度均匀、明暗对比保留、纹理保留、质感真实的。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种基于改进的加性lee滤波磨皮方法，其特征在于，包括如下步骤：

S1：获取人脸原图像，并截取为N*M的大小得到待处理图像，用x_ij表示待处理图像坐标(i,j)处的像素值；

S2：设定一个大小为(2*n+1)*(2*m+1)的滑动窗口，计算滑动窗口内待处理图像中所有坐标点的像素值的局部平均值及局部方差；

S3：根据人脸原图像进行肤质分类等级确定σ值，每一类肤质等级对应一个σ值，再根据σ值和S2得到的滑动窗口内部的待处理图像中所有坐标点的像素值的局部方差，采用如下公式计算出k值：

其中，σ表示加性lee滤波的参数，k表示对原始图像磨皮的程度，v_ij表示滑动窗口内部的待处理图像的局部方差；

根据人脸原图像进行肤质分类的方法为：

S31：在人脸原图像中定义多个特征点，将所有特征点依次连接形成的多边形，得到的掩模为完整的人脸区域，定义为M_points，人体全身的皮肤区域掩模为M_human，人脸皮肤区域的掩模图为M_face：

M_face＝M_points∩M_human (3-2)；

S32：人脸皮肤区域的掩模图上按肤色、油光、皱纹、毛孔进行四个维度的分类，具体如下：

肤色等级分为四级、三级、二级、一级四个分类，给每个肤色等级依次赋值1，2，3，0；

油光等级分类为四级油光、三级油光、二级油光和一级油光，给每个油光等级依次赋值1，2，3，0；

皱纹等级分为四级、三级、二级、一级，给每个皱纹等级依次赋值1，2，3，0；

毛孔等级分为四级、三级、二级、一级，给每个毛孔等级依次赋值1，2，3，0；

S33：在人脸原图像中，选取人脸的额头、左脸颊、右脸颊、下巴四个部位作为感兴趣区域，设置每个区域划分为肤色、油光、皱纹和毛孔的权重，然后采用如下公式计算四个部位的等级赋值，σ的值等于该等级赋值：

其中，γ＝1,2,3,4分别表示肤色在额头、左脸颊、右脸颊和下巴四个区域的权重，γ＝1,2,3,4分别表示油光在额头、左脸颊、右脸颊和下巴四个区域的权重，/>γ＝1,2,3,4分别表示皱纹在额头、左脸颊、右脸颊和下巴四个区域的权重，/>γ＝1,2,3,4分别表示毛孔在额头、左脸颊、右脸颊和下巴四个区域的权重；

S4：根据如下公式对坐标(i,j)处的像素值进行加性去噪，并使用加性去噪后像素值作为坐标(i,j)处的像素值；

其中，表示坐标(i,j)处加性去噪后的像素值；m_ij表示滑动窗口内待处理图像中所有坐标点的像素值的局部平均值；

S5：重复S2-S4，并遍历待处理图像中的所有坐标点，得到每个坐标点加性去噪后的像素值，所有坐标点经过加性去噪后对应的像素值作为该坐标点磨皮后的像素值，即得滤波后的图像并输出。

2.如权利要求1所述的基于改进的加性lee滤波磨皮方法，其特征在于，所述S2中计算滑动窗口内待处理图像中所有坐标像素值的局部方差的方法为：

其中，x_kl表示滑动窗口内坐标(k,l)处的像素值，m_ij表示滑动窗口内待处理图像中所有坐标点的像素值的局部平均值，v_ij表示滑动窗口内待处理图像中所有坐标像素值的局部方差。