CN104537612A - 一种自动的人脸图像皮肤美化方法 - Google Patents

Abstract

本发明提供一种自动的人脸图像皮肤美化方法，包括步骤：（1）特征提取：对原始人脸图像进行人脸检测和人脸特征提取；（2）图层分解：对原始人脸图像进行图像成分分解，获得亮度图层、光滑度图层和颜色图层；（3）蒙板生成：利用人脸特征对亮度图层、光滑度图层和颜色图层分别生成相应的亮度蒙板、光滑度蒙板和颜色蒙板；（4）美化参数优化：以平均脸为标准模板，计算三个图层对应的美化参数；（5）图层增强：利用美化参数和蒙板，分别对三个图层进行美化处理，获得美化后的亮度图层、光滑度图层和颜色图层；（6）图层融合：对三个美化后图层进行融合，获得最终的人脸美化图像。

Description

一种自动的人脸图像皮肤美化方法

技术领域

本发明属于人脸图像识别及处理领域，特别是涉及一种自动的人脸图像皮肤美化方法。

背景技术

人脸图像皮肤美化的目标是不改变原图人脸重要特征的前提下通过对其皮肤的处理来提升人脸的美感。该技术无论在如摄影、娱乐等日常生活中，还是在如广告设计、电影制作等专业领域中都有着广泛的应用前景。

目前市场上不乏专业的图像编辑工具，不过它们对于普通用户来说不易掌握，即便是专业人员往往需要繁复的操作和耗费大量时间才能实现良好的皮肤美化效果。虽然最近出现了像美图秀秀等针对普通用户的人脸皮肤美化工具，但是要获得良好的皮肤处理效果，依然无法避免较多的用户操作。

根据最新的心理学的研究可知，皮肤的亮度、光滑度和颜色属性对人脸的美丽程度能产生很大的影响。也就是说，要有效地提升人脸图像的美感，就必须进行包括这三种属性的皮肤美化。现有的人脸皮肤美化系统一般只针对某种皮肤属性进行处理，在美化效果上还有很大的提升空间。

此外，在原始人脸图像中，三种皮肤属性对应的图像成分是融合在一起的，目前的皮肤美化方法一般并没有对相应的图像成分进行分解，造成美化过程中不同皮肤属性操作的互相影响，导致最终美化效果可能会出现某种偏差。

发明内容

本发明的目的在于提出一个统一的技术框架实现对人脸图像的亮度、光滑度和颜色三种皮肤属性的自动美化。该方法能在很大程度上简化人脸皮肤美化的人工操作，从而克服现有技术在易用性方面的不足，提高人脸图像美化的效率和适用范围。该方法全面涵盖了人脸皮肤亮度、光滑度和颜色三种属性的处理，能获得比单一皮肤属性美化更好的视觉效果。

为了实现上述发明目的，本发明的技术方案如下：

（1）特征提取：对原始人脸图像进行人脸检测和人脸特征提取，人脸特征主要包括形状特征和边缘特征；

（2）图层分解：对原始人脸图像进行图像成分分解，获得与人脸皮肤亮度、光滑度和颜色对应的图像成分，即亮度图层、光滑度图层和颜色图层；

（3）蒙板生成：利用步骤（1）中提取的人脸特征信息，对步骤（2）获得的亮度图层、光滑度图层和颜色图层分别生成相应的蒙板，即亮度蒙板、光滑度蒙板和颜色蒙板，以此控制人脸皮肤局部区域的不同编辑程度；

（4）美化参数优化：以平均脸为标准模板，计算三个图层对应的美化参数，即亮度美化参数、光滑度美化参数和颜色美化参数；

（5）图层增强：利用步骤（4）计算的美化参数和步骤（3）生成的蒙板，分别对三个图层进行处理，获得美化后的亮度图层、光滑度图层和颜色图层；

（6）图层融合，对步骤（5）的美化后的三个图层进行融合，获得最终的人脸美化图像。

上述技术方案中，所述步骤（1）提取人脸图像的特征的具体步骤如下：

（1-1）在步骤（1）检测的人脸区域内对人脸部件（人脸外轮廓、脖子、眉毛、眼睛、鼻子和嘴巴）进行特征点定位；

（1-2）通过对人脸部件相应特征点的连接，对不同的人脸部件区域进行粗略划分，得到人脸的形状特征；

（1-3）用边缘检测器进行边缘提取，得到人脸的边缘特征。

所述步骤（2）图层分解的具体步骤如下：

（2-1）把原始人脸图像从RGB颜色空间转换到CIELAB颜色空间，在该颜色空间中，图像由一个亮度通道和两个颜色通道组成，其中的颜色通道为颜色图层；

（2-2）用边缘保持平滑滤波器（如双边滤波器）对亮度通道进行平滑处理，平滑结果为图像亮度图层；

（2-3）用亮度通道减去亮度图层，即得到包含图像细节的光滑度图层。

所述步骤（3）蒙板生成的具体步骤如下：

（3-1）根据不同图层的要求，选择不同的人脸特征作为蒙板的初始值，其中亮度蒙板的初始值为人脸外轮廓包含的区域，光滑度蒙板的初始值为人脸除五官和毛发外的皮肤区域，颜色蒙板的初始值为人脸除眼睛和眉毛外的皮肤区域；

（3-2）以亮度图层作为蒙板生成的导向特征 ，以控制蒙板在不同人脸区域边界的过渡特点；

（3-3）通过求解以下的加权最小二乘问题，获得不同的蒙板：

其中，符号 代表M为使泛函F(M)取得最小值时的函数，z代表空间域，代表像素点对图像输出的影响程度，其取值范围是0到1，代表输出的生成蒙板，代表输入的蒙板初始值，符号和分别代表函数M对和对y方向的偏导数，符号和分别代表函数G对和对y方向的偏导数，参数取一个小的且不为零的数，其典型取值为0.0001，用来避免分母为0的情况，参数为正数，用来平衡光滑项与数据项的比例，参数的取值范围为[1.2, 2.0]。

所述步骤（4）美化参数优化的具体步骤如下：

（4-1）根据心理学的研究可知，光滑度与人脸吸引力的感知具有正相关的关系。也就是说，皮肤更光滑的人脸具有更高的吸引力。故此增强皮肤光滑度会提高对人脸吸引力的感知，设光滑度参数为；

（4-2）根据原始人脸图像的种族和性别属性选择对应的平均脸；

（4-3）利用蒙板对原始人脸与平均脸进行区域选择，并用选择区域内原始人脸的像素值减去平均脸对应的像素值求得差值，再利用该差值生成直方图；

（4-4）以直方图在不同区间的频率为权重对每个区间的值进行加权求和，可计算获得亮度美化参数与颜色美化参数。

所述步骤（5）图层增强的具体步骤如下：

（5-1）光滑度图层增强：，其中和分别为人脸图像输入与输出的光滑度图层，为光滑度蒙板，为光滑度美化参数；

（5-2）亮度图层增强：，其中和分别为人脸图像输入与输出的亮度图层，为亮度蒙板，为亮度美化参数；

（5-3）颜色图层增强：，其中和分别为人脸图像输入与输出的颜色图层，为颜色蒙板，为颜色美化参数。

所述步骤（6）图层融合的具体步骤如下：

（6-1）亮度通道合成：，其中为合成后的亮度通道，与分别为美化后输出的亮度图层与光滑度图层；

（6-2）把亮度通道与美化后的颜色图层进行叠加，得到CIELAB颜色空间的美化输出；

（6-3）把CIELAB颜色空间的结果转换为RGB空间，得到最终的美化结果。

本发明的有益效果和优点包括以下几点：

1.本发明在专业领域和日常生活中都有广泛的应用前景，如平面广告设计、照片后期处理、电影制作、社交网络应用和数字娱乐等；

2.本发明能自动地实现人脸皮肤美化，大大简化了用户的操作，提高了人脸皮肤处理工具的效率和易用性；

3.该方法实现了对人脸皮肤亮度、光滑度和颜色三种皮肤属性的美化，能获得比单一属性美化更好的人脸美化视觉效果；

4.该方法利用边缘保持平滑滤波技术对三种皮肤属性进行了相应的图像成分提取（或者说图层分解），能避免美化过程中不同皮肤属性操作的相互影响，提高了人脸美化的稳定性；

5.本发明在图层增强步骤中，提出了一种数据与知识双驱动的美化参数优化方法，实现了依平均脸与心理学先验而进行人脸美化组合参数的自动设定，在提高人脸美化效率的同时也能产生符合人脸美丽感知心理学规律的人脸美化效果。

附图说明

图1是本发明的系统结构框图；

图2是本发明的图层分解流程图；

图3是本发明蒙板生成步骤中亮度蒙板、光滑度蒙板和颜色蒙板对应的初始值和生成蒙板的效果图。

具体实施方式

下面结合附图对本发明做进一步的说明。

本发明的系统结构图如附图1所示，其具体步骤如下：

（1）  特征提取（F）：对原始人脸图像进行人脸检测和人脸特征提取；

（2）    图层分解（D）：对原始人脸图像进行图像成分分解，获得与人脸皮肤亮度、光滑度和颜色对应的图像成分，即亮度图层、光滑度图层和颜色图层；

（3）    蒙板生成（M）：利用步骤（1）中提取的人脸特征信息，对步骤（2）获得的亮度图层、光滑度图层和颜色图层分别生成相应的蒙板，即亮度蒙板、光滑度蒙板和颜色蒙板，以此控制人脸皮肤局部区域的不同编辑程度；

（4）    美化参数优化（K）：以平均脸为标准模板，计算三个图层对应的美化参数，即亮度美化参数、光滑度美化参数和颜色美化参数；

（5）    图层增强（L）：利用步骤（4）计算的美化参数和步骤（3）生成的蒙板，分别对三个图层进行处理，获得美化后的亮度图层、光滑度图层和颜色图层；

（6）    图层融合（C），对步骤（5）的美化后的三个图层进行融合，获得最终的人脸美化图像。

本发明步骤（1）提取人脸图像的特征的具体步骤如下：

（F-1）在步骤（1）检测的人脸区域内对人脸部件（人脸外轮廓、脖子、眉毛、眼睛、鼻子和嘴巴）进行特征点定位；

（F-2）通过对人脸部件相应特征点的连接，对不同的人脸部件区域进行粗略划分，得到人脸的形状特征；

（F-3）用Canny边缘检测器进行边缘提取，得到人脸的边缘特征。

本发明的图层分解流程图如附图2所示，图层分解（D）的具体步骤如下：

（D-1）把原始人脸图像从RGB颜色空间转换到CIELAB颜色空间，在该颜色空间中，图像由一个亮度通道和两个颜色通道组成，其中的颜色通道为颜色图层；

（D-2）用边缘保持平滑滤波器对亮度通道进行平滑处理，平滑结果为图像亮度图层，以双边滤波器为例，有：

，

其中，滤波核为，为图像中像素点的领域像素点，参数()用来控制滤波核中相应的高斯核大小；

（D-3）用亮度通道减去亮度图层，即得到包含图像细节的光滑度图层。

本发明蒙板生成步骤中亮度蒙板、光滑度蒙板和颜色蒙板对应的初始值和生成蒙板的效果如附图3所示，蒙板生成（M）的具体步骤如下：

（M-1）根据不同图层的要求，选择不同的人脸特征作为蒙板的初始值，其中亮度蒙板的初始值为人脸外轮廓包含的区域，光滑度蒙板的初始值为人脸除五官和毛发外的皮肤区域，颜色蒙板的初始值为人脸除眼睛和眉毛外的皮肤区域，分别如附图3a,附图3b和附图3c所示；

（M-2）以提取的人脸亮度图层作为蒙板生成的导向特征，以控制蒙板在不同人脸区域边界的过渡特点；

（M-3）以对应蒙板的初始值为输入限制，通过求解以下的加权最小二乘问题，获得不同的蒙板，其中亮度蒙板、光滑度蒙板和颜色蒙板的输出效果分别为，分别如附图3d,附图3e和附图3f所示；

其中，符号 代表M为使泛函F(M)取得最小值时的函数，z代表空间域，代表像素点对图像输出的影响程度，其取值范围是0到1，代表输出的生成蒙板，代表输入的蒙板初始值，符号和分别代表函数M对和对y方向的偏导数，符号和分别代表函数G对和对y方向的偏导数，参数取一个小的且不为零的数，其典型取值为0.0001，用来避免分母为0的情况，参数为正数，用来平衡光滑项与数据项的比例，参数的取值范围为[1.2, 2.0]，在亮蒙板生成时，取；在光滑度蒙板生成时，取；在颜色蒙板生成时，取。

本发明美化参数优化（K）的具体步骤如下：

（K-1）从心理学的研究中知道，光滑度与人脸吸引力的感知具有正相关的关系。也就是说，皮肤更光滑的人脸具有更高的吸引力。故此，认为增强皮肤光滑度会提高对人脸吸引力的感知，设定光滑度美化参数为；

（K-2）根据原始人脸图像的种族和性别属性选择原始人脸图像对应的平均脸；

（K-3）利用蒙板对原始人脸与平均脸进行区域选择，并用选择区域内原始人脸的像素值减去平均脸对应的像素值求得差值，再利用该差值生成直方图；

（K-4）以直方图在不同区间的频率为权重对每个区间的值进行加权求和，可计算获得亮度美化参数与颜色美化参数。

本发明图层增强（L）的具体步骤如下：

（L-1）光滑度图层增强：，其中和分别为人脸图像输入与输出的光滑度图层，为光滑度蒙板，为光滑度美化参数；

（L-2）亮度图层增强：，其中和分别为人脸图像输入与输出的亮度图层，为亮度蒙板，为亮度美化参数；

（L-3）颜色图层增强：，其中和分别为人脸图像输入与输出的颜色图层，为颜色蒙板，为颜色美化参数。

本发明图层融合（C）的具体步骤如下：

（C-1）亮度通道合成：，其中为合成后的亮度通道，与分别为美化后输出的亮度图层与光滑度图层；

（C-2）把亮度通道与美化后的颜色图层进行叠加，得到CIELAB颜色空间的美化输出；

（C-3）把CIELAB颜色空间的结果转换为RGB空间，得到最终的美化结果。

Claims (7)

1.一种自动的人脸图像皮肤美化方法，其特征在于包括如下步骤：

（1）特征提取：对原始人脸图像进行人脸检测和人脸特征提取，所提取的人脸特征包括形状特征和边缘特征；

（2）图层分解：对原始人脸图像进行图像成分分解，获得对应人脸皮肤亮度的亮度图层、对应皮肤光滑度的光滑度图层和对应颜色的颜色图层；

（3）蒙板生成：利用步骤（1）所提取的人脸特征，对步骤（2）获得的亮度图层、光滑度图层和颜色图层分别生成相应的亮度蒙板、光滑度蒙板和颜色蒙板；

（4）美化参数优化：以平均脸为标准模板，计算步骤（2）所获得三个图层对应的美化参数，即亮度美化参数、光滑度美化参数和颜色美化参数；

（5）图层增强：利用步骤（4）计算的美化参数和步骤（3）生成的蒙板，分别对三个图层进行美化处理，获得美化后的亮度图层、光滑度图层和颜色图层；

（6）图层融合，对步骤（5）的三个美化后图层进行融合，获得最终的人脸美化图像。

2.根据权利要求1所述的自动的人脸图像皮肤美化方法，其特征在于所述步骤（1）提取人脸图像的特征的具体步骤如下：

（1-1）在步骤（1）所检测到的人脸区域内对人脸部件进行特征点定位，所述人脸部件包括人脸外轮廓、脖子、眉毛、眼睛、鼻子和嘴巴；

（1-2）通过对人脸部件相应特征点的连接，对不同的人脸部件区域进行粗略划分，得到人脸的形状特征；

（1-3）用边缘检测器进行边缘提取，得到人脸的边缘特征。

3.根据权利要求1所述的自动的人脸图像皮肤美化方法，其特征在于所述步骤（2）图层分解的具体步骤如下：

（2-1）把原始人脸图像从RGB颜色空间转换到CIELAB颜色空间，使得图像由一个亮度通道和两个颜色通道组成，其中的颜色通道为颜色图层；

（2-2）用边缘保持平滑滤波器对亮度通道进行平滑处理，平滑处理结果为亮度图层；

（2-3）用亮度通道减去亮度图层，得到包含图像细节的光滑度图层。

4.根据权利要求1所述的自动的人脸图像皮肤美化方法，其特征在于所述步骤（3）蒙板生成的具体步骤如下：

（3-1）根据不同图层的要求，选择不同的人脸特征作为蒙板的初始值，其中亮度蒙板的初始值为人脸外轮廓包含的区域，光滑度蒙板的初始值为人脸除五官和毛发外的皮肤区域，颜色蒙板的初始值为人脸除眼睛和眉毛外的皮肤区域；

（3-2）以亮度图层作为蒙板生成的导向特征 ，以控制蒙板在不同人脸区域边界的过渡特点；

（3-3）通过求解以下的加权最小二乘公式，获得不同的蒙板：

其中，符号 代表M为使泛函F(M)取得最小值时的函数， z代表空间域，代表像素点对图像输出的影响程度，其取值范围是0到1，代表输出的生成蒙板，代表输入的蒙板初始值，符号和分别代表函数M对和对y方向的偏导数，符号和分别代表函数G对x和对y方向的偏导数，参数取一个小的且不为零的数，其典型取值为0.0001，用来避免分母为0的情况，参数为正数，用来平衡光滑项与数据项的比例，参数的取值范围为[1.2，2.0]。

5.根据权利要求1所述的自动的人脸图像皮肤美化方法，其特征在于所述步骤（4）美化参数优化的具体步骤如下：

（4-1）设定光滑度美化参数为；

（4-2）根据原始人脸图像的种族和性别属性选择对应的平均脸；

（4-3）利用蒙板对原始人脸与平均脸进行区域选择，并用选择区域内原始人脸的像素值减去平均脸对应的像素值求得差值，再利用该差值生成直方图；

（4-4）以直方图在不同区间的频率为权重对每个区间的值进行加权求和，可计算获得亮度美化参数与颜色美化参数。

6.根据权利要求1所述的自动的人脸图像皮肤美化方法，其特征在于所述步骤（5）图层增强的具体步骤如下：

（5-1）光滑度图层增强：，其中和分别为人脸图像美化前与美化后的光滑度图层，为光滑度蒙板，为光滑度美化参数；

（5-2）亮度图层增强：，其中和分别为人脸图像美化前与美化后的亮度图层，为亮度蒙板，为亮度美化参数；

（5-3）颜色图层增强：，其中和分别为人脸图像美化前与美化后的颜色图层，为颜色蒙板，为颜色美化参数。

7.根据权利要求1所述的自动的人脸图像皮肤美化方法，其特征在于所述步骤（6）图层融合的具体步骤如下：

（6-1）亮度通道合成：，其中为合成后的亮度通道，与分别为美化后的亮度图层与光滑度图层；

（6-2）把亮度通道与美化后的颜色图层进行叠加，得到CIELAB颜色空间的美化输出；

（6-3）把CIELAB颜色空间的结果转换为RGB空间，得到最终的美化结果。