[go: up one dir, main page]

CN109816741A - 一种自适应虚拟唇彩的生成方法及系统 - Google Patents

一种自适应虚拟唇彩的生成方法及系统 Download PDF

Info

Publication number
CN109816741A
CN109816741A CN201711176136.8A CN201711176136A CN109816741A CN 109816741 A CN109816741 A CN 109816741A CN 201711176136 A CN201711176136 A CN 201711176136A CN 109816741 A CN109816741 A CN 109816741A
Authority
CN
China
Prior art keywords
lip
color
pixel
region
gloss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711176136.8A
Other languages
English (en)
Other versions
CN109816741B (zh
Inventor
吴倩
胥立丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Spreadtrum Hi Tech Communications Technology Co Ltd
Original Assignee
Beijing Spreadtrum Hi Tech Communications Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Spreadtrum Hi Tech Communications Technology Co Ltd filed Critical Beijing Spreadtrum Hi Tech Communications Technology Co Ltd
Priority to CN201711176136.8A priority Critical patent/CN109816741B/zh
Publication of CN109816741A publication Critical patent/CN109816741A/zh
Application granted granted Critical
Publication of CN109816741B publication Critical patent/CN109816741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种自适应虚拟唇彩的生成方法及系统,所述方法包括:获取人脸图像中的嘴唇关键点,并由所述嘴唇关键点确定嘴唇区域;统计嘴唇区域各像素点的平均颜色,并根据所统计的平均颜色和参考唇彩颜色生成颜色映射曲线;获取嘴唇区域各像素点的亮度和嘴唇区域的平均亮度,并根据嘴唇区域各像素点的亮度和嘴唇区域的平均亮度得出唇彩强度函数,其中,所述唇彩强度函数用以表示嘴唇区域各像素点的亮度和添加唇彩强度之间的关系;根据颜色映射曲线和唇彩强度函数,对嘴唇区域内像素点添加唇彩。本发明能够使得所添加的唇彩颜色过渡自然、纹理清晰,实现完全自动化且高效地添加唇彩,并达到提高人像美感的效果。

Description

一种自适应虚拟唇彩的生成方法及系统
技术领域
本发明涉及图像处理技术领域,尤其涉及一种自适应虚拟唇彩的生成方法及系统。
背景技术
随着社会物质生活水平的日益提高,对美丽容貌追求的天性,使得越来越多的人开始关注于自己的精神面貌,尤其是女性群体。一方面,为了改善面貌、提升气质,各类化妆品已经成为她们必不可少的日用品。另一方面,还可通过虚拟化妆的方法对人脸图像进行美妆处理,可以提高人脸的美感。虚拟化妆有丰富的应用场景,比如用于相机拍照中进行美颜、用于化妆品推销公司用于虚拟试妆等。添加唇彩是化妆中的一项不可缺少的步骤,是虚拟化妆软件的重点。
目前也有一些软件能够提供添加唇彩的功能,但是存在自动化程度不够,添加唇彩时需要人工协助,比如需要人工调整嘴唇区域的范围、或者添加的唇彩不能根据原图像的光照和颜色变化而自适应变化,使添加的唇彩颜色过渡不够自然;或者添加的唇彩完全覆盖原图像嘴唇,没有保留原图像嘴唇的纹理,使添加的唇彩看上去不够真实的问题。
发明内容
本发明提供的自适应虚拟唇彩的生成方法及系统,能够在嘴唇区域内根据各像素点的实际颜色和亮度确定需添加的唇彩颜色和唇彩强度,使得所添加的唇彩颜色过渡自然、纹理清晰,实现完全自动化且高效地添加唇彩,并达到提高人像美感效果。
第一方面,本发明提供一种自适应虚拟唇彩的生成方法,包括:
获取人脸图像中的嘴唇关键点,并由所述嘴唇关键点确定嘴唇区域;
统计嘴唇区域各像素点的平均颜色,并根据所统计的平均颜色和参考唇彩颜色生成颜色映射曲线;
获取嘴唇区域各像素点的亮度和嘴唇区域的平均亮度,并根据嘴唇区域各像素点的亮度和嘴唇区域的平均亮度得出唇彩强度函数,其中,所述唇彩强度函数用以表示嘴唇区域各像素点的亮度和添加唇彩强度之间的关系;
根据颜色映射曲线和唇彩强度函数,对嘴唇区域内像素点添加唇彩。
可选地,所述嘴唇关键点至少包括左右嘴角、外唇线上均匀分布的M个关键点和内唇线上均匀分布的N个关键点;
其中,M≥4,N≥4。
可选地,所述由所述嘴唇关键点确定嘴唇区域包括:
用样条曲线拟合所述左右嘴角和所述外唇线上均匀分布的M个关键点,得出第一封闭区域A1;
用样条曲线拟合所述左右嘴角和所述内唇线上均匀分布的N个关键点,得出第二封闭区域A2;
将所述第一封闭区域A1减去所述第二封闭区域A2所得区域确定为嘴唇区域。
可选地,在所述获取图像中的嘴唇关键点,并由所述嘴唇关键点确定嘴唇区域之后,所述方法还包括:
提取嘴唇关键点的SIFT特征;
由SVM分类器判断嘴唇区域是否被遮挡,如果嘴唇区域被遮挡,则无需添加唇彩;如果嘴唇区域没有被遮挡,则执行下一步。
可选地,所述由SVM分类器判断嘴唇区域是否被遮挡包括:
将以嘴唇关键点的SIFT特征组成的输入特征向量输入经被遮挡和不被遮挡的嘴唇样本训练得到的SVM分类器;
由所述SVM分类器输出嘴唇区域是否被遮挡的判断结果。
可选地,所述统计嘴唇区域各像素点的平均颜色,并根据所统计的平均颜色和参考唇彩颜色生成颜色映射曲线包括:
按照统计嘴唇区域各像素点的平均颜色(RM,GM,BM);其中,(Ri,Gi,Bi)为嘴唇区域内像素点的实际颜色,N为嘴唇区域内像素点的数量;
根据嘴唇区域各像素点的平均颜色(RM,GM,BM)和参考唇彩颜色(RR,GR,BR)确定目标唇彩颜色(RT,GT,BT);
在R通道以(0,0),(RT,RT),(255,255)为控制点,拟合贝赛尔曲线得出R通道的颜色映射曲线Rd=fR(Rs);在G通道以(0,0),(GT,GT),(255,255)为控制点,拟合贝赛尔曲线得出G通道的颜色映射曲线Gd=fG(Gs);在B通道以(0,0),(BT,RT),(255,255)为控制点,拟合贝赛尔曲线得出B通道的颜色映射曲线Bd=fB(Bs)。
可选地,所述根据嘴唇区域各像素点的平均颜色(RM,GM,BM)和参考唇彩颜色(RR,GR,BR)确定目标唇彩颜色(RT,GT,BT)包括:由所述嘴唇区域各像素点的平均颜色(RM,GM,BM)和参考唇彩颜色(RR,GR,BR)按照如下公式计算得出目标唇彩颜色(RT,GT,BT);
其中,YM为嘴唇区域各像素点的平均亮度,并由所述平均颜色(RM,GM,BM)按照YM=0.299×RM+0.587×GM+0.114×BM计算得出;
YR为参考唇彩颜色的亮度,并由所述参考唇彩颜色(RR,GR,BR)按照YR=0.299×RR+0.587×GR+0.114×BR计算得出。
可选地,所述唇彩强度函数α(Yi)是由所述嘴唇区域各像素点的亮度Yi和所述嘴唇区域的平均亮度YM按照如下公式计算得出;
α(Yi)=max(0,1-λ|Yi-YM|)
其中,Yi是由嘴唇区域内像素点的实际颜色(Ri,Gi,Bi)按照Yi=0.299×Ri+0.587×Gi+0.114×Bi计算得出;
YM是由平均颜色(RM,GM,BM)按照YM=0.299×RM+0.587×GM+0.114×BM计算得出;
λ是可调系数。
可选地,所述根据颜色映射曲线和唇彩强度函数,对嘴唇区域内像素点添加唇彩包括:
由颜色映射曲线和唇彩强度函数按照如下公式计算得出嘴唇区域各像素点的最终唇彩颜色;
根据所述嘴唇区域各像素点的最终唇彩颜色对嘴唇区域内像素点添加唇彩;
Rnew=fR(Ri)α(Yi)+Ri(1-α(Yi))
Gnew=fG(Gi)α(Yi)+Gi(1-α(Yi))
Bnew=fB(Bi)α(Yi)+Bi(1-α(Yi))
其中,(Rnew,Gnew,Bnew)为嘴唇区域各像素点的最终唇彩颜色;
(fR(Ri),fR(Ri),fR(Ri))是由所述嘴唇区域各像素点的实际颜色(Ri,Gi,Bi)按照颜色映射曲线Rd=fR(Rs)、Gd=fG(Gs)和Bd=fB(Bs)计算得出的映射颜色;
α(Yi)为所述嘴唇区域各像素点的映射颜色占所述最终唇彩颜色的第一比重;
(1-α(Yi))为所述嘴唇区域各像素点的实际颜色占所述最终唇彩颜色的第二比重;
根据所述嘴唇区域各像素点的最终唇彩颜色对嘴唇区域内像素点添加唇彩。
第二方面,本发明提供一种自适应虚拟唇彩的生成系统,包括:
嘴唇区域确定单元,用于获取人脸图像中的嘴唇关键点,并由所述嘴唇关键点确定嘴唇区域;
颜色映射曲线生成单元,用于统计嘴唇区域各像素点的平均颜色,并根据所统计的平均颜色和参考唇彩颜色生成颜色映射曲线;
唇彩强度函数生成单元,用于获取嘴唇区域各像素点的亮度和嘴唇区域的平均亮度,并根据嘴唇区域各像素点的亮度和嘴唇区域的平均亮度得出唇彩强度函数,其中,所述唇彩强度函数用以表示嘴唇区域各像素点的亮度和添加唇彩强度之间的关系;
唇彩添加单元,用于根据颜色映射曲线和唇彩强度函数,对嘴唇区域内像素点添加唇彩。
可选地,所述颜色映射曲线生成单元包括:
平均颜色计算模块,用于按照统计嘴唇区域各像素点的平均颜色(RM,GM,BM);其中,(Ri,Gi,Bi)为嘴唇区域内像素点的实际颜色,N为嘴唇区域内像素点的数量;
目标唇彩颜色计算模块,用于根据嘴唇区域各像素点的平均颜色(RM,GM,BM)和参考唇彩颜色(RR,GR,BR)确定目标唇彩颜色(RT,GT,BT);
映射曲线生成模块,用于在R通道以(0,0),(RT,RT),(255,255)为控制点,拟合贝赛尔曲线得出R通道的颜色映射曲线Rd=fR(Rs);在G通道以(0,0),(GT,GT),(255,255)为控制点,拟合贝赛尔曲线得出G通道的颜色映射曲线Gd=fG(Gs);在B通道以(0,0),(BT,RT),(255,255)为控制点,拟合贝赛尔曲线得出B通道的颜色映射曲线Bd=fB(Bs)。
可选地,所述唇彩添加单元包括:
最终唇彩颜色计算模块,用于由颜色映射曲线和唇彩强度函数按照如下公式计算得出嘴唇区域各像素点的最终唇彩颜色;
Rnew=fR(Ri)α(Yi)+Ri(1-α(Yi))
Gnew=fG(Gi)α(Yi)+Gi(1-α(Yi))
Bnew=fB(Bi)α(Yi)+Bi(1-α(Yi))
其中,(Rnew,Gnew,Bnew)为嘴唇区域各像素点的最终唇彩颜色;
(fR(Ri),fR(Ri),fR(Ri))是由所述嘴唇区域各像素点的实际颜色(Ri,Gi,Bi)按照颜色映射曲线Rd=fR(Rs)、Gd=fG(Gs)和Bd=fB(Bs)计算得出的映射颜色;
α(Yi)为所述嘴唇区域各像素点的映射颜色占所述最终唇彩颜色的第一比重;
(1-α(Yi))为所述嘴唇区域各像素点的实际颜色占所述最终唇彩颜色的第二比重;
添加模块,用于根据所述嘴唇区域各像素点的最终唇彩颜色对嘴唇区域内像素点添加唇彩。
本发明实施例提供的自适应虚拟唇彩的生成方法及系统,所述方法一方面通过利用平均颜色和参考唇彩颜色构建用于表示嘴唇区域各像素点的实际颜色和目标唇彩颜色关系的颜色映射曲线,进而嘴唇区域各像素点的目标唇彩颜色都可根据该颜色映射曲线计算得出,因此,在嘴唇区域内唇彩颜色会随着原图像的颜色能够自然过渡,使得所添加的唇彩在图像中过渡自然,美妆效果更好;另一方面,所述方法还通过利用嘴唇区域各像素点的亮度和嘴唇区域的平均亮度生成的唇彩强度函数,进而能够根据所述嘴唇区域各像素点的亮度确定该像素点所需添加唇彩的强度,使得在嘴唇区域添加唇彩后能保持嘴唇的纹理,提高了人像的质感。
因此,本发明实施例中所述方法能够在嘴唇区域内根据各像素点的实际颜色和亮度确定需添加的唇彩颜色和唇彩强度,使得所添加的唇彩颜色过渡自然、纹理清晰,实现完全自动化的添加唇彩,高效地在人脸图像上添加虚拟唇彩,并达到提高人像美感。
附图说明
图1为本发明一实施例自适应虚拟唇彩的生成方法的流程图;
图2为本发明另一实施例自适应虚拟唇彩的生成方法的流程图;
图3为本发明一实施例自适应虚拟唇彩的生成系统的结构示意图;
图4为本发明另一实施例自适应虚拟唇彩的生成系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种自适应虚拟唇彩的生成方法,如图1所示,所述方法包括:
S11、获取人脸图像中的嘴唇关键点,并由所述嘴唇关键点确定嘴唇区域;
S12、统计嘴唇区域各像素点的平均颜色,并根据所统计的平均颜色和参考唇彩颜色生成颜色映射曲线;
S13、获取嘴唇区域各像素点的亮度和嘴唇区域的平均亮度,并根据嘴唇区域各像素点的亮度和嘴唇区域的平均亮度得出唇彩强度函数,其中,所述唇彩强度函数用以表示嘴唇区域各像素点的亮度和添加唇彩强度之间的关系;
S14、根据颜色映射曲线和唇彩强度函数,对嘴唇区域内像素点添加唇彩。
本发明实施例提供的自适应虚拟唇彩的生成方法一方面通过利用平均颜色和参考唇彩颜色构建用于表示嘴唇区域各像素点的实际颜色和目标唇彩颜色关系的颜色映射曲线,进而嘴唇区域各像素点的目标唇彩颜色都可根据该颜色映射曲线计算得出,因此,在嘴唇区域内唇彩颜色会随着原图像的颜色能够自然过渡,使得所添加的唇彩在图像中过渡自然,美妆效果更好;另一方面,所述方法还通过利用嘴唇区域各像素点的亮度和嘴唇区域的平均亮度生成的唇彩强度函数,进而能够根据所述嘴唇区域各像素点的亮度确定该像素点所需添加唇彩的强度,使得在嘴唇区域添加唇彩后能保持嘴唇的纹理,提高了人像的质感。
因此,本实施例中所述方法能够在嘴唇区域内根据各像素点的实际颜色和亮度确定需添加的唇彩颜色和唇彩强度,使得所添加的唇彩颜色过渡自然、纹理清晰,实现完全自动化且高效地添加唇彩,并达到提高人像美感的效果。
可选地,如图2所示,所述嘴唇关键点至少包括左右嘴角、外唇线上均匀分布的M个关键点和内唇线上均匀分布的N个关键点;
其中,M≥4,N≥4。
可选地,所述由所述嘴唇关键点确定嘴唇区域包括:
S111、用样条曲线拟合所述左右嘴角和所述外唇线上均匀分布的M个关键点,得出第一封闭区域A1;
S112、用样条曲线拟合所述左右嘴角和所述内唇线上均匀分布的N个关键点,得出第二封闭区域A2;
S113、将所述第一封闭区域A1减去所述第二封闭区域A2所得区域确定为嘴唇区域。
可选地,在所述获取图像中的嘴唇关键点,并由所述嘴唇关键点确定嘴唇区域之后,所述方法还包括:
S03、提取嘴唇关键点的SIFT特征;
S04、由SVM分类器判断嘴唇区域是否被遮挡,如果嘴唇区域被遮挡,则无需添加唇彩;如果嘴唇区域没有被遮挡,则执行下一步。
可选地,所述由SVM分类器判断嘴唇区域是否被遮挡包括:
将以嘴唇关键点的SIFT特征组成的输入特征向量输入经被遮挡和不被遮挡的嘴唇样本训练得到的SVM分类器;
由所述SVM分类器输出嘴唇区域是否被遮挡的判断结果。
具体的,本实施例中所述SIFT特征(Scale-invariant feature transform即尺度不变特征变换)是基于SIFT算法计算得出,其中,SIFT是一种检测局部特征的算法,该算法通过求一幅图中的特征点(interest points,or corner points)及其有关scale和orientation的描述子得到特征并进行图像特征点匹配,进而获得了良好效果;所述SVM(支持向量机:Support Vector Machine)分类器基于统计学习理论框架下的通用机器学习方法,是一种二类分类模型,具有结构简单、泛化能力强的优点。
所述方法一方面利用样条曲线拟合嘴角关键点分别构建出第一封闭区域A1和第二封闭区域A2,并通过第一封闭区域A1和第二封闭区域A2确定嘴唇区域,提高嘴唇检测的精确性;另一方面所述方法还将所确定的嘴唇区域通过SVM分类器判断嘴唇区域是否被遮挡,进而通过利用SIFT特征和SVM分类器避免照片的,确保所确定的嘴唇区域的精准性,实现准确的全自动化的嘴唇区域检测。
可选地,所述统计嘴唇区域各像素点的平均颜色,并根据所统计的平均颜色和参考唇彩颜色生成颜色映射曲线包括:
按照统计嘴唇区域各像素点的平均颜色(RM,GM,BM);其中,(Ri,Gi,Bi)为嘴唇区域内像素点的实际颜色,N为嘴唇区域内像素点的数量;
根据嘴唇区域各像素点的平均颜色(RM,GM,BM)和参考唇彩颜色(RR,GR,BR)确定目标唇彩颜色(RT,GT,BT);
在R通道以(0,0),(RT,RT),(255,255)为控制点,拟合贝赛尔曲线得出R通道的颜色映射曲线Rd=fR(Rs);在G通道以(0,0),(GT,GT),(255,255)为控制点,拟合贝赛尔曲线得出G通道的颜色映射曲线Gd=fG(Gs);在B通道以(0,0),(BT,RT),(255,255)为控制点,拟合贝赛尔曲线得出B通道的颜色映射曲线Bd=fB(Bs)。
具体的,本实施例所述方法主要通过贝塞尔曲线拟合出唇彩颜色,使得所述唇彩颜色随实际图像中嘴唇的颜色变化一致,进而使得添加的唇彩颜色能过渡更自然,并保存嘴唇的纹理。其中,所述颜色映射曲线能够根据由嘴唇区域各像素点的平均颜色(RM,GM,BM)和参考唇彩颜色(RR,GR,BR)所确定的目标唇彩颜色(RT,GT,BT)拟合出与嘴唇颜色变化相一致的唇彩的颜色映射曲线,同时,所述曲线包括三条分别是R,G,B通道的颜色映射曲线,颜色映射曲线的输入是嘴唇区域内各像素点的目标颜色分量,输出是该像素点对应的新的唇彩颜色。同时,本实施例所述方法不仅能够通过贝赛尔曲线拟合出效果较好的颜色映射曲线,使得唇彩颜色过渡自然,嘴唇文理清晰;还能够避免将目标所添加唇彩颜色设置为固定值而导致唇彩颜色突兀、图像美化处理痕迹重。
可选地,所述根据嘴唇区域各像素点的平均颜色(RM,GM,BM)和参考唇彩颜色(RR,GR,BR)确定目标唇彩颜色(RT,GT,BT)包括:由所述嘴唇区域各像素点的平均颜色(RM,GM,BM)和参考唇彩颜色(RR,GR,BR)按照如下公式计算得出目标唇彩颜色(RT,GT,BT);
其中,YM为嘴唇区域各像素点的平均亮度,并由所述平均颜色(RM,GM,BM)按照YM=0.299×RM+0.587×GM+0.114×BM计算得出;
YR为参考唇彩颜色的亮度,并由所述参考唇彩颜色(RR,GR,BR)按照YR=0.299×RR+0.587×GR+0.114×BR计算得出。
具体的,本实施例所述方法还能够调整所述目标唇彩颜色的亮度,将目标唇彩颜色的亮度和实际嘴唇区域的亮度一致,进而确保所添加的唇彩的亮度与实际图像上嘴唇区域的亮度基本保持一致,使得所添加的唇彩颜色更加自然,不会显得突兀。
可选地,所述唇彩强度函数α(Yi)是由所述嘴唇区域各像素点的亮度Yii和所述嘴唇区域的平均亮度YM按照如下公式计算得出;
α(Yi)=max(0,1-λ|Yi-YM|)
其中,Yi是由嘴唇区域内像素点的实际颜色(Ri,Gi,Bi)按照Yi=0.299×Ri+0.587×Gi+0.114×Bi计算得出;
YM是由平均颜色(RM,GM,BM)按照YM=0.299×RM+0.587×GM+0.114×BM计算得出;
λ是可调系数,例如λ预设参考值为0.02。
具体的,本实施例所述方法通过所述嘴唇区域各像素点的亮度Yi和所述嘴唇区域的平均亮度YM得出强度函数,其中,所述强度函数的值与在嘴唇区域内各像素点的亮度和所述嘴唇区域的平均亮度之差的绝对值成反比,当所述嘴唇区域各像素点的亮度与所述平均亮度的差异较小时,强度函数的值较大,当所述嘴唇区域各像素点的亮度与所述平均亮度的差异较大时,强度函数的值越小。并且,所述强度函数的输出结果在(0,1)范围内。
其中,所述强度函数一方面表征了像素点是嘴唇像素点的概率大小,即在嘴唇关键点检测时,会存在微小误差,将未在嘴唇区域内的像素点作为在嘴唇区域内像素点。由于未在嘴唇区域内的像素点亮度与在嘴唇区域内像素点亮度差异较大,因此可通过强度函数实现各像素点的概率分布,进而根据概率分布调整所唇彩添加的比例,例如,当像素点亮度与嘴唇区域的平均亮度越大时,添加唇彩的比例越小,保留该像素点的原本的颜色;当像素点亮度与嘴唇区域的平均亮度越小时,添加唇彩的比例越大,提高该像素点的唇彩美化效果。
另一方面嘴唇区域各像素点添加唇彩颜色的比重是随着所述像素点的亮度变化线性变化,更加有利于保留嘴唇上的纹理。
可选地,所述根据颜色映射曲线和唇彩强度函数,对嘴唇区域内像素点添加唇彩包括:
由颜色映射曲线和唇彩强度函数按照如下公式计算得出嘴唇区域各像素点的最终唇彩颜色;
根据所述嘴唇区域各像素点的最终唇彩颜色对嘴唇区域内像素点添加唇彩;
Rnew=fR(Ri)α(Yi)+Ri(1-α(Yi))
Gnew=fG(Gi)α(Yi)+Gi(1-α(Yi))
Bnew=fB(Bi)α(Yi)+Bi(1-α(Yi))
其中,(Rnew,Gnew,Bnew)为嘴唇区域各像素点的最终唇彩颜色;
(fR(Ri),fR(Ri),fR(Ri))是由所述嘴唇区域各像素点的实际颜色(Ri,Gi,Bi)按照颜色映射曲线Rd=fR(Rs)、Gd=fG(Gs)和Bd=fB(Bs)计算得出的映射颜色;
α(Yi)为所述嘴唇区域各像素点的映射颜色占所述最终唇彩颜色的第一比重;
(1-α(Yi))为所述嘴唇区域各像素点的实际颜色占所述最终唇彩颜色的第二比重;
根据所述嘴唇区域各像素点的最终唇彩颜色对嘴唇区域内像素点添加唇彩。
本实施例所述方法中由第一比重的所述嘴唇区域各像素点的映射颜色和第二比重的所述嘴唇区域各像素点的实际颜色组成所述最终唇彩颜色,一方面能够根据各像素点的概率分布对第一比重和第二比重进行调整,实现所述唇彩自适应的智能化控制,并提高添加唇彩区域的准确性。另一方面能够利用贝赛尔曲线所拟合出的颜色映射曲线作为最终唇彩颜色中的一个因子,使得唇彩颜色过渡自然,嘴唇文理清晰,进而避免将目标所添加唇彩颜色设置为固定值而导致唇彩颜色突兀、图像美化处理痕迹重。
由上述公式可得出,当嘴唇区域各像素点的亮度与平均亮度差异较大时,强度函数的值较小,所添加的唇彩颜色中原颜色的比重更大,保留更多的原颜色,进而对一些将未在嘴唇区域内的像素点进行排除。
例如,嘴唇区域的像素点i实际颜色的RGB值为(Ri,Gi,Bi)=(128,100,100),亮度Yi=0.299×Ri+0.587×Gi+0.114×Bi=108.372,嘴唇区域的平均亮度为120,则α(Yi)=max(0,1-0.02|Yi-YM|)=0.767
假设将(Ri,Gi,Bi)分别代入颜色映射曲线fR(Ri),fG(Gi),fB(Bi),得到映射颜色(160,80,80);则该像素点的新颜色为:
Rnew=fR(Ri)α(Yi)+Ri(1-α(Yi))=160×0.767+128×(1-0.767)=152.544
Gnew=fG(Gi)α(Yi)+Gi(1-α(Yi))=80×0.767+100×(1-0.767)=84.66Bnew=fB(Bi)α(Yi)+Bi(1-α(Yi))=80×0.767+100×(1-0.767)=84.66
可选地,所述获取人脸图像中的嘴唇关键点包括:
S01、对图像进行人脸检测,并生成所述人脸图像;
S02、对所述人脸图像进行嘴唇关键点检测,并生成所述嘴唇关键点。
综上所述,本实施例所述方法第一方面能够通过嘴唇关键点检测确定嘴唇区域,并通过SVM分类器判断嘴唇区域是否被遮挡,实现准确的全自动化的嘴唇区域检测;第二方面能够根据嘴唇区域内的平均颜色和参考唇彩颜色,构建颜色映射曲线,所述嘴唇区域内各像素点的目标唇彩颜色都可根据所述颜色映射曲线得出,使得所述唇彩颜色随着原图像的颜色自然过渡,并使添加的唇彩在图像中过渡自然;第三方面所述方法还能够根据所述嘴唇区域内各像素点的亮度确定添加唇彩的强度,使得添加唇彩后能保持嘴唇的纹理。
本发明实施例还提供一种自适应虚拟唇彩的生成系统,如图3所示,所述系统包括:
嘴唇区域确定单元11,用于获取人脸图像中的嘴唇关键点,并由所述嘴唇关键点确定嘴唇区域;
颜色映射曲线生成单元12,用于统计嘴唇区域各像素点的平均颜色,并根据所统计的平均颜色和参考唇彩颜色生成颜色映射曲线;
唇彩强度函数生成单元13,用于获取嘴唇区域各像素点的亮度和嘴唇区域的平均亮度,并根据嘴唇区域各像素点的亮度和嘴唇区域的平均亮度得出唇彩强度函数,其中,所述唇彩强度函数用以表示嘴唇区域各像素点的亮度和添加唇彩强度之间的关系;
唇彩添加单元14,用于根据颜色映射曲线和唇彩强度函数,对嘴唇区域内像素点添加唇彩。
本发明实施例提供的自适应虚拟唇彩的生成系统能够在嘴唇区域内根据各像素点的实际颜色和亮度确定需添加的唇彩颜色和唇彩强度,使得所添加的唇彩颜色过渡自然、纹理清晰,实现完全自动化且高效地添加唇彩,并达到提高人像美感的效果。
可选地,如图4所示,所述颜色映射曲线生成单元12包括:
平均颜色计算模块121,用于按照统计嘴唇区域各像素点的平均颜色(RM,GM,BM);其中,(Ri,Gi,Bi)为嘴唇区域内像素点的实际颜色,N为嘴唇区域内像素点的数量;
目标唇彩颜色计算模块122,用于根据嘴唇区域各像素点的平均颜色(RM,GM,BM)和参考唇彩颜色(RR,GR,BR)确定目标唇彩颜色(RT,GT,BT);
映射曲线生成模块123,用于在R通道以(0,0),(RT,RT),(255,255)为控制点,拟合贝赛尔曲线得出R通道的颜色映射曲线Rd=fR(Rs);在G通道以(0,0),(GT,GT),(255,255)为控制点,拟合贝赛尔曲线得出G通道的颜色映射曲线Gd=fG(Gs);在B通道以(0,0),(BT,RT),(255,255)为控制点,拟合贝赛尔曲线得出B通道的颜色映射曲线Bd=fB(Bs)。
可选地,所述唇彩添加单元14包括:
最终唇彩颜色计算模块141,用于由颜色映射曲线和唇彩强度函数按照如下公式计算得出嘴唇区域各像素点的最终唇彩颜色;
Rnew=fR(Ri)α(Yi)+Ri(1-α(Yi))
Gnew=fG(Gi)α(Yi)+Gi(1-α(Yi))
Bnew=fB(Bi)α(Yi)+Bi(1-α(Yi))
其中,(Rnew,Gnew,Bnew)为嘴唇区域各像素点的最终唇彩颜色;
(fR(Ri),fR(Ri),fR(Ri))是由所述嘴唇区域各像素点的实际颜色(Ri,Gi,Bi)按照颜色映射曲线Rd=fR(Rs)、Gd=fG(Gs)和Bd=fB(Bs)计算得出的映射颜色;
α(Yi)为所述嘴唇区域各像素点的映射颜色占所述最终唇彩颜色的第一比重;
(1-α(Yi))为所述嘴唇区域各像素点的实际颜色占所述最终唇彩颜色的第二比重;
添加模块142,用于根据所述嘴唇区域各像素点的最终唇彩颜色对嘴唇区域内像素点添加唇彩。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (12)

1.一种自适应虚拟唇彩的生成方法,其特征在于,包括:
获取人脸图像中的嘴唇关键点,并由所述嘴唇关键点确定嘴唇区域;
统计嘴唇区域各像素点的平均颜色,并根据所统计的平均颜色和参考唇彩颜色生成颜色映射曲线;
获取嘴唇区域各像素点的亮度和嘴唇区域的平均亮度,并根据嘴唇区域各像素点的亮度和嘴唇区域的平均亮度得出唇彩强度函数,其中,所述唇彩强度函数用以表示嘴唇区域各像素点的亮度和添加唇彩强度之间的关系;
根据颜色映射曲线和唇彩强度函数,对嘴唇区域内像素点添加唇彩。
2.根据权利要求1所述的方法,其特征在于,所述嘴唇关键点至少包括左右嘴角、外唇线上均匀分布的M个关键点和内唇线上均匀分布的N个关键点;
其中,M≥4,N≥4。
3.根据权利要求2所述的方法,其特征在于,所述由所述嘴唇关键点确定嘴唇区域包括:
用样条曲线拟合所述左右嘴角和所述外唇线上均匀分布的M个关键点,得出第一封闭区域A1;
用样条曲线拟合所述左右嘴角和所述内唇线上均匀分布的N个关键点,得出第二封闭区域A2;
将所述第一封闭区域A1减去所述第二封闭区域A2所得区域确定为嘴唇区域。
4.根据权利要求1-3任一所述的方法,其特征在于,在所述获取图像中的嘴唇关键点,并由所述嘴唇关键点确定嘴唇区域之后,所述方法还包括:
提取嘴唇关键点的SIFT特征;
由SVM分类器判断嘴唇区域是否被遮挡,如果嘴唇区域被遮挡,则无需添加唇彩;如果嘴唇区域没有被遮挡,则执行下一步。
5.根据权利要求4所述的方法,其特征在于,所述由SVM分类器判断嘴唇区域是否被遮挡包括:
将以嘴唇关键点的SIFT特征组成的输入特征向量输入经被遮挡和不被遮挡的嘴唇样本训练得到的SVM分类器;
由所述SVM分类器输出嘴唇区域是否被遮挡的判断结果。
6.根据权利要求1-5任一所述的方法,其特征在于,所述统计嘴唇区域各像素点的平均颜色,并根据所统计的平均颜色和参考唇彩颜色生成颜色映射曲线包括:
按照统计嘴唇区域各像素点的平均颜色(RM,GM,BM);其中,(Ri,Gi,Bi)为嘴唇区域内像素点的实际颜色,N为嘴唇区域内像素点的数量;
根据嘴唇区域各像素点的平均颜色(RM,GM,BM)和参考唇彩颜色(RR,GR,BR)确定目标唇彩颜色(RT,GT,BT);
在R通道以(0,0),(RT,RT),(255,255)为控制点,拟合贝赛尔曲线得出R通道的颜色映射曲线Rd=fR(Rs);在G通道以(0,0),(GT,GT),(255,255)为控制点,拟合贝赛尔曲线得出G通道的颜色映射曲线Gd=fG(Gs);在B通道以(0,0),(BT,RT),(255,255)为控制点,拟合贝赛尔曲线得出B通道的颜色映射曲线Bd=fB(Bs)。
7.根据权利要求6所述的方法,其特征在于,所述根据嘴唇区域各像素点的平均颜色(RM,GM,BM)和参考唇彩颜色(RR,GR,BR)确定目标唇彩颜色(RT,GT,BT)包括:由所述嘴唇区域各像素点的平均颜色(RM,GM,BM)和参考唇彩颜色(RR,GR,BR)按照如下公式计算得出目标唇彩颜色(RT,GT,BT);
其中,YM为嘴唇区域各像素点的平均亮度,并由所述平均颜色(RM,GM,BM)按照YM=0.299×RM+0.587×GM+0.114×BM计算得出;
YR为参考唇彩颜色的亮度,并由所述参考唇彩颜色(RR,GR,BR)按照YR=0.299×RR+0.587×GR+0.114×BR计算得出。
8.根据权利要求1-7任一所述的方法,其特征在于,所述唇彩强度函数α(Yi)是由所述嘴唇区域各像素点的亮度Yi和所述嘴唇区域的平均亮度YM按照如下公式计算得出;
α(Yi)=max(0,1-λ|Yi-YM|)
其中,Yi是由嘴唇区域内像素点的实际颜色(Ri,Gi,Bi)按照Yi=0.299×Ri+0.587×Gi+0.114×Bi计算得出;
YM是由平均颜色(RM,GM,BM)按照YM=0.299×RM+0.587×GM+0.114×BM计算得出;
λ是可调系数。
9.根据权利要求8所述的方法,其特征在于,所述根据颜色映射曲线和唇彩强度函数,对嘴唇区域内像素点添加唇彩包括:
由颜色映射曲线和唇彩强度函数按照如下公式计算得出嘴唇区域各像素点的最终唇彩颜色;
Rnew=fR(Ri)α(Yi)+Ri(1-α(Yi))
Gnew=fG(Gi)α(Yi)+Gi(1-α(Yi))
Bnew=fB(Bi)α(Yi)+Bi(1-α(Yi))
其中,(Rnew,Gnew,Bnew)为嘴唇区域各像素点的最终唇彩颜色;
(fR(Ri),fR(Ri),fR(Ri))是由所述嘴唇区域各像素点的实际颜色(Ri,Gi,Bi)按照颜色映射曲线Rd=fR(Rs)、Gd=fG(Gs)和Bd=fB(Bs)计算得出的映射颜色;
α(Yi)为所述嘴唇区域各像素点的映射颜色占所述最终唇彩颜色的第一比重;
(1-α(Yi))为所述嘴唇区域各像素点的实际颜色占所述最终唇彩颜色的第二比重;
根据所述嘴唇区域各像素点的最终唇彩颜色对嘴唇区域内像素点添加唇彩。
10.一种自适应虚拟唇彩的生成系统,其特征在于,包括:
嘴唇区域确定单元,用于获取人脸图像中的嘴唇关键点,并由所述嘴唇关键点确定嘴唇区域;
颜色映射曲线生成单元,用于统计嘴唇区域各像素点的平均颜色,并根据所统计的平均颜色和参考唇彩颜色生成颜色映射曲线;
唇彩强度函数生成单元,用于获取嘴唇区域各像素点的亮度和嘴唇区域的平均亮度,并根据嘴唇区域各像素点的亮度和嘴唇区域的平均亮度得出唇彩强度函数,其中,所述唇彩强度函数用以表示嘴唇区域各像素点的亮度和添加唇彩强度之间的关系;
唇彩添加单元,用于根据颜色映射曲线和唇彩强度函数,对嘴唇区域内像素点添加唇彩。
11.根据权利要求10所述的系统,其特征在于,所述颜色映射曲线生成单元包括:
平均颜色计算模块,用于按照统计嘴唇区域各像素点的平均颜色(RM,GM,BM);其中,(Ri,Gi,Bi)为嘴唇区域内像素点的实际颜色,N为嘴唇区域内像素点的数量;
目标唇彩颜色计算模块,用于根据嘴唇区域各像素点的平均颜色(RM,GM,BM)和参考唇彩颜色(RR,GR,BR)确定目标唇彩颜色(RT,GT,BT);
映射曲线生成模块,用于在R通道以(0,0),(RT,RT),(255,255)为控制点,拟合贝赛尔曲线得出R通道的颜色映射曲线Rd=fR(Rs);在G通道以(0,0),(GT,GT),(255,255)为控制点,拟合贝赛尔曲线得出G通道的颜色映射曲线Gd=fG(Gs);在B通道以(0,0),(BT,RT),(255,255)为控制点,拟合贝赛尔曲线得出B通道的颜色映射曲线Bd=fB(Bs)。
12.根据权利要求10或11所述的系统,其特征在于,所述唇彩添加单元包括:
最终唇彩颜色计算模块,用于由颜色映射曲线和唇彩强度函数按照如下公式计算得出嘴唇区域各像素点的最终唇彩颜色;
Rnew=fR(Ri)α(Yi)+Ri(1-α(Yi))
Gnew=fG(Gi)α(Yi)+Gi(1-α(Yi))
Bnew=fB(Bi)α(Yi)+Bi(1-α(Yi))
其中,(Rnew,Gnew,Bnew)为嘴唇区域各像素点的最终唇彩颜色;
(fR(Ri),fR(Ri),fR(Ri))是由所述嘴唇区域各像素点的实际颜色(Ri,Gi,Bi)按照颜色映射曲线Rd=fR(Rs)、Gd=fG(Gs)和Bd=fB(Bs)计算得出的映射颜色;
α(Yi)为所述嘴唇区域各像素点的映射颜色占所述最终唇彩颜色的第一比重;
(1-α(Yi))为所述嘴唇区域各像素点的实际颜色占所述最终唇彩颜色的第二比重;
添加模块,用于根据所述嘴唇区域各像素点的最终唇彩颜色对嘴唇区域内像素点添加唇彩。
CN201711176136.8A 2017-11-22 2017-11-22 一种自适应虚拟唇彩的生成方法及系统 Active CN109816741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711176136.8A CN109816741B (zh) 2017-11-22 2017-11-22 一种自适应虚拟唇彩的生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711176136.8A CN109816741B (zh) 2017-11-22 2017-11-22 一种自适应虚拟唇彩的生成方法及系统

Publications (2)

Publication Number Publication Date
CN109816741A true CN109816741A (zh) 2019-05-28
CN109816741B CN109816741B (zh) 2023-04-28

Family

ID=66599944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711176136.8A Active CN109816741B (zh) 2017-11-22 2017-11-22 一种自适应虚拟唇彩的生成方法及系统

Country Status (1)

Country Link
CN (1) CN109816741B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929651A (zh) * 2019-11-25 2020-03-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111932332A (zh) * 2020-06-04 2020-11-13 北京旷视科技有限公司 虚拟试妆方法、装置、电子设备和计算机可读介质
CN113469914A (zh) * 2021-07-08 2021-10-01 网易(杭州)网络有限公司 动物脸部美颜方法、装置、存储介质和电子设备
WO2023273246A1 (zh) * 2021-06-28 2023-01-05 展讯通信(上海)有限公司 人脸图像处理方法及装置、计算机可读存储介质、终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013103A (zh) * 2010-12-03 2011-04-13 上海交通大学 实时动态嘴唇跟踪方法
CN103180873A (zh) * 2010-10-29 2013-06-26 欧姆龙株式会社 图像处理装置、图像处理方法及控制程序
CN103430208A (zh) * 2011-03-10 2013-12-04 欧姆龙株式会社 图像处理装置、图像处理方法以及控制程序
CN103914699A (zh) * 2014-04-17 2014-07-09 厦门美图网科技有限公司 一种基于色彩空间的自动唇彩的图像增强的方法
CN107038680A (zh) * 2017-03-14 2017-08-11 武汉斗鱼网络科技有限公司 自适应光照的美颜方法及系统
CN107093168A (zh) * 2017-03-10 2017-08-25 厦门美图之家科技有限公司 皮肤区域图像的处理方法、装置和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103180873A (zh) * 2010-10-29 2013-06-26 欧姆龙株式会社 图像处理装置、图像处理方法及控制程序
CN102013103A (zh) * 2010-12-03 2011-04-13 上海交通大学 实时动态嘴唇跟踪方法
CN103430208A (zh) * 2011-03-10 2013-12-04 欧姆龙株式会社 图像处理装置、图像处理方法以及控制程序
CN103914699A (zh) * 2014-04-17 2014-07-09 厦门美图网科技有限公司 一种基于色彩空间的自动唇彩的图像增强的方法
CN107093168A (zh) * 2017-03-10 2017-08-25 厦门美图之家科技有限公司 皮肤区域图像的处理方法、装置和系统
CN107038680A (zh) * 2017-03-14 2017-08-11 武汉斗鱼网络科技有限公司 自适应光照的美颜方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929651A (zh) * 2019-11-25 2020-03-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110929651B (zh) * 2019-11-25 2022-12-06 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
US11678734B2 (en) 2019-11-25 2023-06-20 Beijing Dajia Internet Information Technology Co., Ltd. Method for processing images and electronic device
CN111932332A (zh) * 2020-06-04 2020-11-13 北京旷视科技有限公司 虚拟试妆方法、装置、电子设备和计算机可读介质
CN111932332B (zh) * 2020-06-04 2023-04-21 北京旷视科技有限公司 虚拟试妆方法、装置、电子设备和计算机可读介质
WO2023273246A1 (zh) * 2021-06-28 2023-01-05 展讯通信(上海)有限公司 人脸图像处理方法及装置、计算机可读存储介质、终端
CN113469914A (zh) * 2021-07-08 2021-10-01 网易(杭州)网络有限公司 动物脸部美颜方法、装置、存储介质和电子设备
CN113469914B (zh) * 2021-07-08 2024-03-19 网易(杭州)网络有限公司 动物脸部美颜方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN109816741B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
JP7598917B2 (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
KR102485503B1 (ko) 이미지 데이터베이스 분석 기반 상품 추천 장치 및 방법
CN107229905B (zh) 嘴唇渲染颜色的方法、装置及电子设备
CN109816741A (zh) 一种自适应虚拟唇彩的生成方法及系统
KR101140533B1 (ko) 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법
KR101554403B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기억 매체
CN110399849A (zh) 图像处理方法及装置、处理器、电子设备及存储介质
CN109784281A (zh) 基于人脸特征的产品推荐方法、装置及计算机设备
CN103945104B (zh) 信息处理方法及电子设备
CN107798661A (zh) 一种自适应的图像增强方法
CN111161137A (zh) 一种基于神经网络的多风格国画花生成方法
KR100993875B1 (ko) 퍼지 기반의 퍼스널 컬러 진단 시스템 및 그 방법
WO2020064676A1 (en) Method for simulating the rendering of a make-up product on a body area
Lecca et al. Tuning the locality of filtering with a spatially weighted implementation of random spray Retinex
Plutino et al. Scoping review on automatic color equalization algorithm
CN107146264A (zh) 一种提取材质表面几何和光照物理属性的方法
CN113838155A (zh) 材质贴图的生成方法、装置和电子设备
US20220366675A1 (en) Apparatus and method for developing style analysis model based on data augmentation
US12039675B2 (en) High quality AR cosmetics simulation via image filtering techniques
CN110246086A (zh) 彩色图像增强的图像处理方法及其图像处理系统
US11354828B2 (en) Generating contextualized image variants of multiple component images
CN113763498A (zh) 一种面向工业制造的肖像简笔画区域自适应颜色匹配方法及系统
CN109978795A (zh) 一种面部跟踪分屏试妆方法及系统
Lin [Retracted] Research on the Performance of Impressionist Painting Color Visual Communication Based on Wireless Communication and Machine Vision
Kazmi et al. Comparative Image Analysis of Apple and Samsung Devices: A Technical Perspective

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100191, Haidian District, Zhichun Road, Beijing No. 7 to the real building, block B, 18

Applicant after: Beijing Ziguang zhanrui Communication Technology Co.,Ltd.

Address before: 100191, Haidian District, Zhichun Road, Beijing No. 7 to the real building, block B, 18

Applicant before: BEIJING SPREADTRUM HI-TECH COMMUNICATIONS TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant