CN105608722B - 一种基于人脸关键点的自动去眼袋方法及系统 - Google Patents

Abstract

本发明属于图像处理领域，公开一种基于人脸关键点的自动去眼袋方法及系统，包括步骤：获取输入图像；提取所述输入图像的眼袋区域的蒙版图和眼袋区域图像；将所述眼袋区域图像转换到LAB色彩空间，并分离出颜色通道L、通道A和通道B；由所述通道L计算得到亮度调整曲线；由所述亮度调整曲线对通道L进行映射，得到新通道L；将新通道L、通道A和通道B转换为RGB色彩空间图像；对所述眼袋区域的蒙版图进行高斯模糊得到新蒙版图；合成所述眼袋区域图像、RGB色彩空间图像和新蒙版图，获得新眼袋区域图像；新眼袋区域图像替换眼袋区域图像，获得最终图像。本发明使用户能够一键完成眼袋的去除，此方法简单稳定，处理后的图像效果自然。

Description

一种基于人脸关键点的自动去眼袋方法及系统

技术领域

本发明属于图像处理技术领域，特别是涉及一种基于人脸关键点的自动去眼袋方法及系统。

背景技术

近年来，随着科技的进步，智能手机、平板等移动设备已经成为人们必不可少的数字娱乐工具。伴随着智能设备的兴起，美颜自拍的需求也不断增长，其中去眼袋功能受到广大女性用户的追捧。

目前常用的方法是采用手动点击屏幕的方式，利用手指点击屏幕指定需要去除区域并进行提亮操作。这种方式在使用过程中经常会因为误操作需要重新进行眼袋去除操作,使得去眼袋的过程十分复杂，且无法对眼袋区域精确定位，存在孤立噪声的影响，对原图的色彩会造成损失，使美化后的图像显得非常不自然。

发明内容

为了解决上述问题，本发明提出一种基于人脸关键点的自动去眼袋方法及系统，以实现用户能够一键完成眼袋的去除，此方法简单稳定，且处理后的图像效果自然。

为达到上述目的，本发明采用的技术方案是：一种基于人脸关键点的自动去眼袋方法，所述方法包括步骤：

(1)获取输入图像，所述输入图像可采用3通道RGB图像。

(2)提取所述输入图像的眼袋区域的蒙版图和眼袋区域图像。

(3)将所述眼袋区域图像转换到LAB色彩空间，并分离出颜色通道L、通道A和通道B。

(4)由所述通道L计算得到亮度调整曲线。

(5)由所述亮度调整曲线对通道L进行映射，得到新通道L。

(6)将新通道L、通道A和通道B转换为RGB色彩空间图像。

(7)对所述眼袋区域的蒙版图进行高斯模糊得到新蒙版图。

(8)合成所述眼袋区域图像、RGB色彩空间图像和新蒙版图，获得新眼袋区域图像。

(9)新眼袋区域图像替换眼袋区域图像，获得最终图像。

进一步的是，所述步骤(2)包括步骤：

(2.1)对所述输入图像进行人脸关键点检测，得到人脸关键点信息。

(2.2)将现有的标准人脸图的关键点信息与所述人脸关键点信息进行映射，得到映射矩阵。

(2.3)通过映射矩阵，将标准人脸图中的眼袋外接四边形区域映射到输入图像中，得到输入图像中的眼袋区域的蒙板图。

(2.4)提取输入图像中在蒙板图对应区域的数据，作为眼袋区域图像。

进一步的是，所述人脸关键点信息包括左脸部分的左眼外角、左眼下眼线中点、左眼内角、左鼻沟以及右眼外角、右眼下眼线中点、右眼内角和右鼻沟。

进一步的是，所述标准人脸图采用单通道标准人脸图，所述单通道标准人脸图眼袋区域经过事先标定，初始化为白色且像素值为255，其它区域为黑色像素值为0。

进一步的是，所述步骤(4)包括步骤：

(4.1)对所述通道L进行直方图统计，获得统计数据。

(4.2)根据所述统计数据计算四组映射对。

(4.3)根据所述四组映射对，得到亮度调整曲线。

进一步的是，所述统计数据包括亮像素值A′和暗像素值B′；所述四组映射对分别为(L₀,H₀),(L₁,H₁),(L₂,H₂),(L₃,H₃)，其中，L₃＝H₃＝255，L₂＝H₂＝A′，L₁＝B′，H₁＝A′-0.4142×(A′-B′)，L₀＝0，H₀＝H₁–B′×(A′-H₁)/(A′-B′)。

进一步的是，所述步骤(4.3)，包括步骤：

(4.3.1)计算矩阵H：

其中h_i＝H_i+1-L_i,i＝0,1,2；

(4.3.2)计算矩阵M＝[m₁,m₂]^T；

(4.3.3)计算矩阵Y：

Y＝6×[(H₂-H₁)/h₁-(H₁–H₀)/h₀,(H₃–H₂)/h₂-(H₂–H₁)/h₁]^T；

(4.3.4)求解方程H×M＝Y，并令m₀＝m₃＝0，得到m₁,m₂的值；

(4.3.5)计算各区间段拟合曲线的三次多项式系数a_i,b_i,c_i,d_i；

其中，a_i＝H_i；

b_i＝(H_i+1-H_i)/h_i-h_i×m_i/2-h_i×(m_i+1-m_i)/6；

c_i＝m_i/2；

d_i＝(m_i+1-m_i)/(6h_i)；

(4.3.6)根据三次多项式系数a_i,b_i,c_i,d_i，分别在区间[L_i,L_i+1]上计算y值，具体公式为：

y＝a_i+b_i×(x-x_i)+c_i×(x-x_i)²+d_i×(x-x_i)³，i＝0,1,2；

(4.3.7)由x到y的映射即为亮度调整曲线。

进一步的是，所述步骤(7)中，所述高斯模糊即用高斯模板对图像进行卷积，所述卷积采用IIR滤波过程进行优化。

进一步的是，所述步骤(8)中，利用合成公式合成新眼袋区域图像。

另一方面，本发明还提供了一种基于人脸关键点的自动去眼袋系统,包括：

图像输入模块：用于获取输入图像。

提取模块：用于计算并提取所述输入图像的眼袋区域的蒙版图和眼袋区域图像。

LAB色彩空间转换模块：将所述眼袋区域图像转换到LAB色彩空间，并分离出颜色通道L、通道A和通道B。

亮度调整模块：计算并获取亮度调整曲线，并由所述亮度调整曲线对通道L进行映射，得到新通道L。

RGB色彩空间转换模块：将新通道L、通道A和通道B转换为RGB色彩空间图像。

高斯模糊模块：对所述眼袋区域的蒙版图进行高斯模糊得到新蒙版图。

合成模块：合成所述眼袋区域图像、RGB色彩空间图像和新蒙版图，获得新眼袋区域图像。

图像输出模块，新眼袋区域图像替换眼袋区域图像，获得最终图像。

采用本技术方案的有益效果：

本发明所提出的一种基于人脸关键点的自动去眼袋方法，通过关键点，采取点映射的方式得到的眼袋区域精确；通过生成亮度曲线，使亮度调整后的图像更加自然，并且可减少孤立噪声的影响；通过在LAB色彩空间进行调整，减少原图的色彩损失；本发明所提出一种基于人脸关键点的自动去眼袋系统，能够配合本发明所提出的方法实现该方法的应用。

附图说明

图1为本发明的一种基于人脸关键点的自动去眼袋方法的流程图；

图2为本发明中提取所述输入图像的眼袋区域的蒙版图和眼袋区域图像的方法流程图；

图3为本发明中计算亮度调整曲线的方法流程图；

图4为本发明中根据映射对计算亮度调整曲线的方法流程图；

图5为本发明的一种基于人脸关键点的自动去眼袋系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。

在本实施例中，参见图1所示，一种基于人脸关键点的自动去眼袋方法，所述方法包括步骤：

(1)获取输入图像，所述输入图像可采用3通道RGB图像。

(2)提取所述输入图像的眼袋区域的蒙版图和眼袋区域图像。

如图2所示，所述步骤(2)包括步骤：

(2.1)对所述输入图像进行人脸关键点检测，得到人脸关键点信息。

所述人脸关键点信息包括左脸部分的左眼外角、左眼下眼线中点、左眼内角、左鼻沟以及右眼外角、右眼下眼线中点、右眼内角和右鼻沟。

(2.2)将现有的标准人脸图的关键点信息与所述人脸关键点信息进行映射，得到映射矩阵。

(2.3)通过映射矩阵，将标准人脸图中的眼袋外接四边形区域映射到输入图像中，得到输入图像中的眼袋区域的蒙板图。

所述标准人脸图采用单通道标准人脸图，所述单通道标准人脸图眼袋区域经过事先标定，初始化为白色且像素值为255，其它区域为黑色像素值为0。

(2.4)提取输入图像中在蒙板图对应区域的数据，作为眼袋区域图像。

(3)将所述眼袋区域图像转换到LAB色彩空间，并分离出颜色通道L、通道A和通道B。

转换的具体方法如下：

L＝0.2126×r+0.7152×g+0.0722×b。

A＝1.4749×(0.2213×r-0.3390×g+0.1177×b)+0.5×255。

B＝0.6245×(0.1949×r+0.6057×g-0.8006×b)+0.5×255。

其中，r,g,b为眼袋区域图像中像素值，L,A,B分别为通道L、通道A和通道B中的像素值。

(4)由所述通道L计算得到亮度调整曲线，如图3所示，包括步骤：

(4.1)对所述通道L进行直方图统计，获得统计数据。

所述统计数据包括亮像素值A′和暗像素值B′；其中A′为通道L中前30％最亮部分像素的均值，B′为通道L中前30％最暗部分像素的均值。

(4.2)根据所述统计数据计算四组映射对。

所述四组映射对分别为(L₀,H₀),(L₁,H₁),(L₂,H₂),(L₃,H₃)，其中，L₃＝H₃＝255，L₂＝H₂＝A′，L₁＝B′，H₁＝A′-0.4142×(A′-B′)，L₀＝0，H₀＝H₁–B′×(A′-H₁)/(A′-B′)。

(4.3)根据所述四组映射对，得到亮度调整曲线。

如图4所示，包括步骤：

(4.3.1)计算矩阵H：

其中h_i＝H_i+1-L_i,i＝0,1,2；

(4.3.2)计算矩阵M＝[m₁,m₂]^T；

(4.3.3)计算矩阵Y：

Y＝6×[(H₂-H₁)/h₁-(H₁–H₀)/h₀,(H₃–H₂)/h₂-(H₂–H₁)/h₁]^T；

(4.3.4)求解方程H×M＝Y，并令m₀＝m₃＝0，得到m₁,m₂的值；

(4.3.5)计算各区间段拟合曲线的三次多项式系数a_i,b_i,c_i,d_i；

其中，a_i＝H_i；

b_i＝(H_i+1-H_i)/h_i-h_i×m_i/2-h_i×(m_i+1-m_i)/6；

c_i＝m_i/2；

d_i＝(m_i+1-m_i)/(6h_i)；

(4.3.6)根据三次多项式系数a_i,b_i,c_i,d_i，分别在区间[L_i,L_i+1]上计算y值，具体公式为：

y＝a_i+b_i×(x-x_i)+c_i×(x-x_i)²+d_i×(x-x_i)³，i＝0,1,2；

(4.3.7)由x到y的映射即为亮度调整曲线。

(5)由所述亮度调整曲线对通道L进行映射，得到新通道L。

所述亮度调整曲线映射过程是将横坐标上的值映射到纵坐标，用函数表示为y＝f(x)，x,y∈[0,255]；

即Channel_L_new(i)＝f(Channel_L(i))，Channel_L_new(i)和Channel_L(i)分别表示新通道L和通道L中的像素值。

(6)将新通道L、通道A和通道B转换为RGB色彩空间图像。

转换方法如下：

r＝L+((A-0.5×255)×0.682353×3.07989502+(B-0.5×255)×0.607843×0.542907715)。

g＝L-((A-0.5×255)×0.682353×0.92089844+(B-0.5×255)×0.607843×0.045196535)。

b＝L+((A-0.5×255)×0.682353×0.05310059-(B-0.5×255)×0.607843×1.151092529)。

其中L，A，B分别为图像新通道L、通道A和通道B中的像素的值，r、g、b为RGB色彩空间图像中的像素的值。

(7)对所述眼袋区域的蒙版图进行高斯模糊得到新蒙版图。

所述高斯模糊即用高斯模板对图像进行卷积，所述卷积采用IIR滤波过程进行优化。

高斯模板可用下式描述：

卷积过程为R_mask_new(i,j)＝1/∑w(x,y)*∑(w(x,y)*R_mask(i+x,j+y))；x,y∈[-3σ,3σ],也即∑的求和范围。

其中，R_mask_new(i,j)为新蒙版图中i行j列的像素值，R_mask(i+x,j+y)为眼袋区域的蒙版图中i+x行j+y列的像素值，σ取10，为了加快运算速度，卷积过程采用IIR滤波过程进行优化.

(8)合成所述眼袋区域图像、RGB色彩空间图像和新蒙版图，获得新眼袋区域图像。

利用合成公式合成新眼袋区域图像。

合成公式为：(a×alpha+b×(255–alpha))/255。

其中，a为所述RGB色彩空间图像中的像素，b为所述眼袋区域图像中的像素，alpha为新蒙版图中的像素。

(9)新眼袋区域图像替换眼袋区域图像，获得最终图像。

为配合本发明方法的实现，基于相同的发明构思，参见图5所示，本发明还提供了一种基于人脸关键点的自动去眼袋系统,包括：

图像输入模块：用于获取输入图像。

提取模块：用于计算并提取所述输入图像的眼袋区域的蒙版图和眼袋区域图像。

LAB色彩空间转换模块：将所述眼袋区域图像转换到LAB色彩空间，并分离出颜色通道L、通道A和通道B。

亮度调整模块：计算并获取亮度调整曲线，并由所述亮度调整曲线对通道L进行映射，得到新通道L。

RGB色彩空间转换模块：将新通道L、通道A和通道B转换为RGB色彩空间图像。

高斯模糊模块：对所述眼袋区域的蒙版图进行高斯模糊得到新蒙版图。

合成模块：合成所述眼袋区域图像、RGB色彩空间图像和新蒙版图，获得新眼袋区域图像。

图像输出模块，新眼袋区域图像替换眼袋区域图像，获得最终图像。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本实发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于人脸关键点的自动去眼袋方法，其特征在于，所述方法包括步骤：

(1)获取输入图像；

(2)提取所述输入图像的眼袋区域的蒙版图和眼袋区域图像；

(3)将所述眼袋区域图像转换到LAB色彩空间，并分离出颜色通道L、通道A和通道B；

(4)由所述通道L计算得到亮度调整曲线，包括步骤：

(4.1)对所述通道L进行直方图统计，获得统计数据，所述统计数据包括亮像素值A′和暗像素值B′；

(4.2)根据所述统计数据计算四组映射对，所述四组映射对分别为(L₀,H₀),(L₁,H₁),(L₂,H₂),(L₃,H₃)，其中，L₃＝H₃＝255，L₂＝H₂＝A′，L₁＝B′，H₁＝A′-0.4142×(A′-B′)，L₀＝0，H₀＝H₁–B′×(A′-H₁)/(A′-B′)；

(4.3)根据所述四组映射对，得到亮度调整曲线，包括步骤：

计算矩阵H：

其中h_i＝H_i+1-L_i,i＝0,1,2；

计算矩阵M＝[m₁,m₂]^T；

计算矩阵Y：

Y＝6×[(H₂-H₁)/h₁-(H₁–H₀)/h₀,(H₃–H₂)/h₂-(H₂–H₁)/h₁]^T；

求解方程H×M＝Y，并令m₀＝m₃＝0，得到m₁,m₂的值；

计算各区间段拟合曲线的三次多项式系数a_i,b_i,c_i,d_i；

其中，a_i＝H_i；

b_i＝(H_i+1-H_i)/h_i-h_i×m_i/2-h_i×(m_i+1-m_i)/6；

c_i＝m_i/2；

d_i＝(m_i+1-m_i)/(6h_i)；

根据三次多项式系数a_i,b_i,c_i,d_i，分别在区间[L_i,L_i+1]上计算y值，具体公式为：

y＝a_i+b_i×(x-x_i)+c_i×(x-x_i)²+d_i×(x-x_i)³，i＝0,1,2；

由x到y的映射即为亮度调整曲线；

(5)由所述亮度调整曲线对通道L进行映射，得到新通道L；

(6)将新通道L、通道A和通道B转换为RGB色彩空间图像；

(7)对所述眼袋区域的蒙版图进行高斯模糊得到新蒙版图；

(8)合成所述眼袋区域图像、RGB色彩空间图像和新蒙版图，获得新眼袋区域图像；

(9)新眼袋区域图像替换眼袋区域图像，获得最终图像。

2.根据权利要求1所述的一种基于人脸关键点的自动去眼袋方法，所述步骤(2)其特征在于，包括步骤：

对所述输入图像进行人脸关键点检测，得到人脸关键点信息；

将现有的标准人脸图的关键点信息与所述人脸关键点信息进行映射，得到映射矩阵；

通过映射矩阵，将标准人脸图中的眼袋外接四边形区域映射到输入图像中，得到输入图像中的眼袋区域的蒙板图；

提取输入图像中在蒙板图对应区域的数据，作为眼袋区域图像。

3.根据权利要求2所述的一种基于人脸关键点的自动去眼袋方法，其特征在于，所述人脸关键点信息包括左脸部分的左眼外角、左眼下眼线中点、左眼内角、左鼻沟以及右眼外角、右眼下眼线中点、右眼内角和右鼻沟。

4.根据权利要求3所述的一种基于人脸关键点的自动去眼袋方法，其特征在于，所述标准人脸图采用单通道标准人脸图，所述单通道标准人脸图眼袋区域经过事先标定，初始化为白色且像素值为255，其它区域为黑色像素值为0。

5.根据权利要求1所述的一种基于人脸关键点的自动去眼袋方法，所述步骤(7)其特征在于，所述高斯模糊即用高斯模板对图像进行卷积，所述卷积采用IIR滤波过程进行优化。

6.根据权利要求1所述的一种基于人脸关键点的自动去眼袋方法，所述步骤(8)其特征在于，利用合成公式合成新眼袋区域图像。

7.基于权利要求1所述基于人脸关键点的自动去眼袋方法的一种基于人脸关键点的自动去眼袋系统,其特征在于,包括，

图像输入模块：用于获取输入图像；

提取模块：用于计算并提取所述输入图像的眼袋区域的蒙版图和眼袋区域图像；

LAB色彩空间转换模块：将所述眼袋区域图像转换到LAB色彩空间，并分离出颜色通道L、通道A和通道B；

亮度调整模块：计算并获取亮度调整曲线，并由所述亮度调整曲线对通道L进行映射，得到新通道L；

RGB色彩空间转换模块：将新通道L、通道A和通道B转换为RGB色彩空间图像；

高斯模糊模块：对所述眼袋区域的蒙版图进行高斯模糊得到新蒙版图；

合成模块：合成所述眼袋区域图像、RGB色彩空间图像和新蒙版图，获得新眼袋区域图像；

图像输出模块，新眼袋区域图像替换眼袋区域图像，获得最终图像。