CN108596992A - 一种快速实时的唇彩化妆方法 - Google Patents

Abstract

本发明涉及一种快速实时的唇彩化妆方法，利用对Mask(掩膜)图进行缩小进而高斯滤波后再还原原始的尺寸，在计算效率上缩短更多的时间。经过放大后的Mask(掩膜)图在边缘部分得到更好的羽化效果，这样在进行设定高斯滤波内核的时候就可以将其设定更小，以保证执行的效率，同时经过放大后进行羽化不足的修补，确保了效果的实现。本发明中为了提高执行的效率，使用了最小包围矩形来进行对图像局部的计算，避免了计算过程中对原图像素进行遍历，节省了多余的计算时间。在唇彩颜色的更改方面，本发明直接在RGB三通道中与权重值进行乘法运算，在颜色调整和控制方面，更加的直观明了。通过直接调整RGB通道的值也可以在实际表现中更加贴近人眼观察到的颜色效果。

Description

一种快速实时的唇彩化妆方法

技术领域

本发明涉及一种快速实时的唇彩化妆方法。

背景技术

在数字图像化妆的整体技术中，关于唇彩部分的处理显得尤为重要。一来人脸唇部形态相似而又各不相同，二来唇部存在千变万化的唇纹，在化妆处理的过程中为了达到更加真实的效果，需要对唇纹进行保留和平滑处理的平衡以达到更加自然和真实的化妆效果。

中国专利申请号201210100239.7提出了一种基于不同的唇部形态特征进行唇彩化妆的方法。在该方法中根据唇部的形态特征对嘴唇进行分类的分类方法及由按照该分类法生成的坐标组成的唇部的分类图谱及运用唇部的图像平面及立体的分析唇部的形态，根据平面和立体的分析结果使唇部达到适合的形态平衡，而提出唇部形态的补正信息。

上述方法需要对唇部进行复杂的分类处理以及平衡的计算处理，并且在光线复杂的情况下难以有较好的表现效果。

中国专利申请号201410157583.9提出了一种基于色彩空间的自动唇彩的图像增强方法。该方法中利用五官定位对唇部进行轮廓获取，通过计算色彩空间的分布生成唇部像素的概率图，并根据概率图与滤镜所选择的颜色，对唇部概率图中的每个像素进行自动上唇彩。

该方法利用五官的关键定位点，解决了在各种光线或者较为复杂环境下的唇彩上妆问题。但是由于每次通过颜色分布计算唇部像素的概率图，以及存在多次颜色空间的转换和全局图像的滤波处理(高斯模糊，线性模糊，均值模糊等)，无疑加大了实现过程的计算量。在当前的终端设备中，尤其以移动设备(智能手机，平板电脑)以及嵌入式体验终端，其cpu的计算效率仍存在很大的提升空间，为了达到人脸各个部位的实时化妆美妆效果，速率和计算量的减少和优化成为得以实现的重点。

发明内容

本发明旨在提供一种快速实时的唇彩化妆方法，并且使得化妆后的效果能够保留唇部的原本特征(唇纹结构等)，同时达到拟合更加逼真的唇彩化妆效果。

为解决上述技术问题，本发明所采用的技术方案是：

一种快速实时的唇彩化妆方法，包括以下步骤：

1)对原图进行人脸识别，并获取人脸五官部位关键点，选取关键点中属于唇部轮廓的特征关键点；

2)将原图以整型RGB颜色空间分布加载，作归一化处理，使得图像的像素值在0.0～1.0之间分布；

3)分别得到上下唇轮廓的拟合曲线；

4)根据步骤3)中的曲线获取曲线所有的像素合集，即为上下唇轮廓的像素合集；

5)根据步骤1)中的特征点分别获取上下唇的最小包围矩形，分别遍历上下唇最小包围矩形利用3)中的像素坐标集合判断矩形中包含在曲线内的像素集合，即为上下唇的所有像素集合；

6)根据步骤4)中获取的上下唇像素集合构建与原图1：1关系的灰度Mask图，其中上下唇内的像素值为1.0，其余像素值为0.0；

7)更改Mask(掩膜)图的尺寸大小，对其进行等比例缩小；

8)对Mask图进行高斯滤波模糊处理，使得Mask图的边缘达到羽化的效果；

9)放大经过步骤8)处理的Mask图使之与与原图形成1：1的比例关系；

10)对经过步骤2)进行归一化后的原图进行图像混合处理，处理模式使用正片叠底、柔光、叠加三种方式的其中一种；

11)步骤10)中经过图像混合处理后得到的图像RGB三通道矩阵分别与Mask图作矩阵逐像素乘法，得到经过边缘羽化的上下唇部的矩阵图像；

12)分离步骤11)中得到的RGB通道图像矩阵，分别逐像素与R、G、B三通道的权重值进行相乘，达到改变唇彩的目的；

13)对Mask图进行取反操作后与经过步骤2)归一化后的原图RGB三通道矩阵分别进行逐像素相乘，得到一幅与原图相同但是上下唇内像素为0.0的图像矩阵；

14)将步骤11)得到的矩阵与步骤13)得到的矩阵进行加法运算，并与透明度系数相乘，得到合成处理的结果图像；

15)将步骤14)中的结果进行还原处理，得到最终的效果图像。

本发明利用对Mask(掩膜)图进行缩小进而高斯滤波后再还原原始的尺寸，在计算效率上缩短更多的时间。另外经过放大后的Mask(掩膜)图在边缘部分得到更好的羽化效果，这样在进行设定高斯滤波内核的时候就可以将其设定更小，以保证执行的效率，同时经过放大后进行羽化不足的修补，确保了效果的实现。

本发明中为了提高执行的效率，使用了最小包围矩形来进行对图像局部的计算(上下唇)，避免了计算过程中对原图像素进行遍历，节省了多余的计算时间。

在唇彩颜色的更改方面，本发明直接在RGB三通道中与权重值进行乘法运算，在颜色调整和控制方面，更加的直观明了。通过直接调整RGB通道的值也可以在实际表现中更加贴近人眼观察到的颜色效果。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

结合图1所示，一种快速实时的唇彩化妆方法，主要核心步骤如下：

1)对原图进行人脸识别，并获取人脸五官部位关键点，选取关键点中属于唇部轮廓的特征关键点，又分为上唇和下唇，上唇和下唇特征点数量分别为11、11。

2)将原图作归一化处理(原图以整型RGB颜色空间分布加载)，主要应用线性归一化处理，归一化的目的是使得图像的像素值在0.0～1.0之间分布。应用公式如下：

C＝(A-MinValue)/(MaxValue-MinValue)

其中MinValue取值为0.0，MaxValue取值为255.0

3)利用道格拉斯-普克算法(Douglas–Peucker algorithm)分别得到上下唇轮廓的拟合曲线。

4)根据步骤3)中的曲线获取曲线所有的像素合集，即为上下唇轮廓的像素合集。

5)根据步骤1)中的特征点分别获取上下唇的最小包围矩形，分别遍历上下唇最小包围矩形利用3)中的像素坐标集合判断矩形中包含在曲线内的像素集合，即为上下唇的所有像素集合。

6)根据步骤4)中获取的上下唇像素集合构建与原图1：1关系的灰度(单一通道)Mask(掩膜)图，其中上下唇内的像素值为1.0(即为纯白色)，其余像素值为0.0(即为纯黑色)。

7)更改Mask(掩膜)图的尺寸大小，对其进行等比例缩小到宽高不超过200px大小的矩阵图像。缩小Mask(掩膜)图一方面是为了在下一步的高斯模糊中得到更高的计算效率以提升速度。

8)对Mask(掩膜)图进行高斯滤波模糊处理，主要采用正态分布计算图像中每个像素的变换。使用高斯滤波主要是为了使得Mask(掩膜)图的边缘达到羽化的效果。采用公式为：

其中r是模糊半径，σ是正态分布的标准偏差。

9)放大经过步骤8)处理的Mask(掩膜)图使之与与原图形成1：1的比例关系。经过7)中的缩小以及当前步骤的放大，一方面可以在处理高斯滤波中得到更高的执行效率，一方面经过缩小后放大可以使得Mask(掩膜)图在边缘中得到更好的羽化效果，使之在后期合成的时候得到更加逼真的过渡效果。

10)对经过步骤2)进行归一化后的原图进行图像混合处理，处理模式使用正片叠底、柔光、叠加三种方式的其中一种。对应的公式如下：

正片叠底：C＝A²

叠加：C＝A²*α,A≤1/α

C＝1–(1-A)²*α,A>1/α

柔光：C＝A²*α+A²*(1-2*A),A≤1/α

C＝A*(1-A)*α+√A*(2*A-1),A>1/α其中α＝(255.0/128.0)，A为原图中的单个像素值。注明：由于原图经过归一化处理，所以公式与原始的计算公式有所不同。

11)步骤10)中经过图像混合处理后得到的图像RGB三通道矩阵分别与Mask(掩膜)图作矩阵逐像素乘法。由于Mask(掩膜)图中上下唇内部的像素值为1.0，其余的像素为0.0，经过逐像素相乘后得到经过边缘羽化的上下唇部的矩阵图像(除上下唇外其他像素值均为0.0，即为纯黑色)。

12)分离步骤11)中得到的RGB通道图像矩阵，分别逐像素与R、G、B三通道的权重值进行相乘。该步骤主要在于根据权重值调整RGB三通道的颜色，达到改变唇彩的目的。

13)对Mask(掩膜)图进行取反操作后与经过步骤2)归一化后的原图RGB三通道矩阵分别进行逐像素相乘，得到一幅与原图相同但是上下唇内像素为0.0(即为纯黑色)的图像矩阵。

14)将步骤11)得到的矩阵与步骤13)得到的矩阵进行加法运算，并与透明度系数相乘，得到合成处理的结果图像。公式如下

C＝A*α+B*(1.0-α),α∈{0,1}

其中A为11)中的结果图像矩阵，B为12)中的结果矩阵，α为透明度系数。

15)将步骤14)中的结果进行还原处理(还原成为原始整型像素数据)，得到最终的效果图像。公式为：

C＝A*(MaxValue-MinValue)+MinValue

其中MinValue取值为0.0，MaxValue取值为255.0

本方法中主要加载原图的模式为RGB方式，并且一直使用RGB的颜色空间作为计算的基准。将其进行归一化处理，便于后面的各种矩阵数据的运算操作。

为了提升计算上下唇的效率，如在5)6)和10)中计算仅运算最小的包围矩形，而非对原图进行计算。最小矩阵的定义方式为取相应轮廓(上唇或者下唇)的坐标点集合中最小x值和最小y值作为矩形左上角点的x值和y值，取相应坐标点(上唇或者下唇)的坐标集合中的最大x值和最大y值作为矩形的右下角坐标的x值和y值。由于1)中得到的坐标会与真实坐标存在偏差，另外经过羽化后也需要扩大面积以达到边缘与周围像素的过渡效果，所以最终矩阵的尺寸应该向上和向下分别扩大1/5整个矩形的高度，向左和向右分别扩大1/10整个矩形的宽度(在大部分情况下唇部的宽度会在高度2倍左右)。

10)中的三种图像混合方式的原始公式为：

正片叠底：C＝A*B

叠加：C＝(A*B)/128,A≤128

C＝255–((255–A)*(255-B)/128),A>128柔光：C＝A*B/128+(A/255)²*(255–2*B),B≤128

C＝A*(255-B)/128+√(A/255)*(2*B-255),B>128由于在步骤2)中已经对原图矩阵进行归一化处理，所以根据归一化方程进行对三种混合方式进行推导得出10)中的使用公式。

本方法相对于中国专利申请号201210100239.7提出的基于不同的唇部形态特征进行唇彩化妆的方法在适应性上面更加广泛，本方法主要上下唇获取方式为通过人脸定位和识别方法中返回的唇部关键点作为基础，更好的适应在不同光线下的唇部化妆的实现。另外本方法实现流程更加简单快捷，不需要经过复杂的分类和评估计算，直接作用于特定的图片位置，在速度和效果上达到很好的平衡。

相对于中国专利申请号201410157583.9提出了一种基于色彩空间的自动唇彩的图像增强方法，本方法在实现效率上具有更好的优势。本方法不需要进行颜色空间分布概率图的计算，也不需要对唇部像素概率进行计算和预测，在颜色通道中通过原始的RGB颜色通道即可完成对唇部进行化妆，在计算效率和效果上均得到更好的表现。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种快速实时的唇彩化妆方法，其特征在于包括以下步骤：

1)对原图进行人脸识别，并获取人脸五官部位关键点，选取关键点中属于唇部轮廓的特征关键点；

2)将原图以整型RGB颜色空间分布加载，作归一化处理，使得图像的像素值在0.0～1.0之间分布；

3)分别得到上下唇轮廓的拟合曲线；

4)根据步骤3)中的曲线获取曲线所有的像素合集，即为上下唇轮廓的像素合集；

5)根据步骤1)中的特征点分别获取上下唇的最小包围矩形，分别遍历上下唇最小包围矩形利用3)中的像素坐标集合判断矩形中包含在曲线内的像素集合，即为上下唇的所有像素集合；

6)根据步骤4)中获取的上下唇像素集合构建与原图1：1关系的灰度Mask图，其中上下唇内的像素值为1.0，其余像素值为0.0；

7)更改Mask(掩膜)图的尺寸大小，对其进行等比例缩小；

8)对Mask图进行高斯滤波模糊处理，使得Mask图的边缘达到羽化的效果；

9)放大经过步骤8)处理的Mask图使之与与原图形成1：1的比例关系；

10)对经过步骤2)进行归一化后的原图进行图像混合处理，处理模式使用正片叠底、柔光、叠加三种方式的其中一种；

11)步骤10)中经过图像混合处理后得到的图像RGB三通道矩阵分别与Mask图作矩阵逐像素乘法，得到经过边缘羽化的上下唇部的矩阵图像；

12)分离步骤11)中得到的RGB通道图像矩阵，分别逐像素与R、G、B三通道的权重值进行相乘，达到改变唇彩的目的；

13)对Mask图进行取反操作后与经过步骤2)归一化后的原图RGB三通道矩阵分别进行逐像素相乘，得到一幅与原图相同但是上下唇内像素为0.0的图像矩阵；

14)将步骤11)得到的矩阵与步骤13)得到的矩阵进行加法运算，并与透明度系数相乘，得到合成处理的结果图像；

15)将步骤14)中的结果进行还原处理，得到最终的效果图像。

2.根据权利要求1所述的一种快速实时的唇彩化妆方法，其特征在于：

所述步骤1)中唇部轮廓的特征关键点包括为上唇和下唇。

3.根据权利要求1所述的一种快速实时的唇彩化妆方法，其特征在于：

所述步骤2)应用线性归一化处理，公式如下：

C＝(A-MinValue)/(MaxValue-MinValue)

其中MinValue取值为0.0，MaxValue取值为255.0。

4.根据权利要求1所述的一种快速实时的唇彩化妆方法，其特征在于：

所述步骤3)中利用道格拉斯-普克算法(Douglas–Peucker algorithm)分别得到上下唇轮廓的拟合曲线。

5.根据权利要求1所述的一种快速实时的唇彩化妆方法，其特征在于：

所述步骤8)中的高斯滤波模糊处理，采用正态分布计算图像中每个像素的变换公式为：

其中r是模糊半径，σ是正态分布的标准偏差。

6.根据权利要求1所述的一种快速实时的唇彩化妆方法，其特征在于：

所述步骤10)中处理模式对应的公式如下：

正片叠底：C＝A²

叠加：C＝A²*α,A≤1/α

C＝1–(1-A)²*α,A>1/α

柔光：C＝A²*α+A²*(1-2*A),A≤1/α

C＝A*(1-A)*α+√A*(2*A-1),A>1/α其中α＝(255.0/128.0)，A为原图中的单个像素值。

7.根据权利要求1所述的一种快速实时的唇彩化妆方法，其特征在于：

所述步骤14)中得到合成处理的结果图像，公式如下：

C＝A*α+B*(1.0-α),α∈{0,1}

其中A为11)中的结果图像矩阵，B为12)中的结果矩阵，α为透明度系数。

8.根据权利要求1所述的一种快速实时的唇彩化妆方法，其特征在于：

所述步骤15)中得到最终的效果图像，公式为：

C＝A*(MaxValue-MinValue)+MinValue

其中MinValue取值为0.0，MaxValue取值为255.0。