CN112241933B - 人脸图像处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请实施例提供一种人脸图像处理方法、装置、存储介质及电子设备，通过获取原始人脸图像数据，根据原始人脸图像数据，生成人脸网格图像，根据法线纹理贴图，确定人脸网格图像上每个像素点的偏移向量，根据人脸网格图像上每个像素点的偏移向量对人脸网格图像上的各个像素坐标进行偏移处理，得到变形后的人脸图像数据，对变形后的人脸图像数据进行渲染，得到变形后的人脸图像，在获取变形数据的过程中，针对每个像素点进行偏移向量的计算，并且不涉及复杂的开方等运算，提高了对人脸图像进行处理的精确度和流畅度，提高了用户体验。

Description

人脸图像处理方法、装置、存储介质及电子设备

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种人脸图像处理方法、装置、存储介质及电子设备。

背景技术

随着移动终端的普及和图像处理技术的快速发展，通过人脸图像处理技术识别拍摄的照片或视频中的人脸图像并对其进行处理，以达到如美颜、变形、换脸等效果，已经被广泛应用。普通人通过在移动终端上安装相应的应用程序，就可以实现对拍摄的照片或视频进行处理，使照片或视频呈现出不同的效果，极大地丰富了人们的日常生活。此外，近年来通过将人脸图像处理技术与虚拟现实、增强现实等技术相结合，也带动了相关产业的崛起、转型或发展。

人脸图像变形是对人脸面部关键部位或面部轮廓进行变形一种人脸图像处理技术，现有技术中，为实现所需的变形效果，在对人脸图像进行变形处理时，需要经过图像模板筛选、图像预处理、获取变形数据和图像处理四个步骤，其中，在获取变形数据进行像素偏移量的计算过程，现有技术中以图像模板筛选中确定的关键点为圆心进行圆形或椭圆的衰减偏移，实现对应关键点附近区域的像素点的偏移量的计算。

上述现有技术中，对人脸图像的变形处理过程中容易导致移动终端卡顿，且处理得到的人脸图像精确度不高，因此，采用现有技术进行人脸图像的变形处理时，存在用户体验度不高的问题。

发明内容

本申请实施例提供一种人脸图像处理方法、装置、存储介质及电子设备，用以解决现有技术中进行人脸图像的变形处理过程中用户体验度不高的问题。

第一方面，本申请实施例提供一种人脸图像处理方法，包括：

获取原始人脸图像数据；

根据所述原始人脸图像数据，生成人脸网格图像；

根据法线纹理贴图，确定所述人脸网格图像上每个像素点的偏移向量，所述法线纹理贴图为用二维颜色数据表示的人脸图像的变形趋势和变形力度；

根据所述人脸网格图像上每个像素点的偏移向量对所述人脸网格图像上的各个像素坐标进行偏移处理，得到变形后的人脸图像数据；

对所述变形后的人脸图像数据进行渲染，得到变形后的人脸图像。

可选地，所述根据法线纹理贴图，确定所述人脸网格图像上每个像素点的偏移向量，包括：

建立所述人脸网格图像与所述法线纹理贴图的映射关系；

根据所述映射关系，依次取样所述法线纹理贴图上每个像素点的二维颜色数据；

根据所述二维颜色数据，确定所述人脸网格图像上每个像素点的偏移向量。

可选地，所述建立所述人脸网格图像与所述法线纹理贴图的映射关系，包括：

确定所述人脸网格图像的纹理坐标；

建立所述人脸网格图像的纹理坐标与所述法线纹理贴图的纹理坐标之间的坐标映射关系；

根据所述坐标映射关系，建立所述人脸网格图像的像素点与所述法线纹理贴图的像素点之间的像素映射关系。

可选地，所述根据所述映射关系，依次取样所述法线纹理贴图上每个像素点的二维颜色数据，包括：

根据所述人脸网格图像的纹理坐标与所述法线纹理贴图的纹理坐标之间的坐标映射关系，按照预设取样顺序依次取样所述法线纹理贴图上每个像素点的二维颜色数据。

可选地，所述根据所述二维颜色数据，确定所述人脸网格图像上每个像素点的偏移向量，包括：

将所述二维颜色数据转换为二维坐标系中的坐标数据，所述二维坐标系为x轴，y轴的取值范围均为[-1，1]的平面直角坐标系；

根据所述坐标数据的x轴坐标值和y轴坐标值，确定所述人脸网格图像上每个像素点的偏移向量。

可选地，所述将所述二维颜色数据转换为二维坐标系中的坐标数据，包括：

根据所述二维坐标系的坐标基准值，将所述二维颜色数据转换为所述二维坐标系中的坐标数据。

可选地，所述根据所述人脸网格图像上每个像素点的偏移向量对所述人脸网格图像上的各个像素坐标进行偏移处理，得到变形后的人脸图像数据，包括：

将所述人脸网格图像上每个像素点的偏移向量变换为与终端设备的屏幕分辨率对应的目标偏移向量；

根据所述人脸网格图像上每个像素点的目标偏移向量与所述人脸网格图像上对应像素点的像素坐标，得到所述变形后的人脸图像数据。

可选地，所述对所述变形后的人脸图像数据进行渲染，得到变形后的人脸图像，包括：

通过二维纹理处理函数对所述变形后的人脸图像数据进行渲染，得到变形后的人脸图像。

可选地，所述根据法线纹理贴图，确定所述人脸网格图像上每个像素点的偏移向量之前，所述方法还包括：

确定所需使用的法线纹理贴图。

可选地，所述确定所需使用的法线纹理贴图，包括：

根据用户输入的人脸处理指令，从预先设置的多个法线纹理贴图中选择与所述变形效果对应的法线纹理贴图，所述人脸处理指令用于指示所述用户所需的变形效果；

或者，

确定用户当前使用的应用类型；

根据所述应用类型，确定所需使用的法线纹理贴图。

可选地，所述根据所述原始人脸图像数据，生成人脸网格图像，包括：

根据人脸关键点检测算法，从所述原始人脸图像数据中确定出人脸关键点；

根据所述人脸关键点的分布，确定出辅助位点；

按照三角形稳定原则，以最近的人脸关键点和辅助位点构建三角形网格数据；

渲染所述原始人脸图像数据得到底图，通过所述三角形网格数据对所述底图进行标记，得到所述人脸网格图像。

可选地，所述获取原始人脸图像数据，包括：

获取摄像头实时采集的原始人脸图像数据；

或者，

获取图像应用中存储的原始人脸图像数据。

可选地，所述法线纹理贴图中的二维颜色数据由R通道的颜色值和G通道的颜色值构成。

第二方面，本申请实施例提供一种人脸图像处理装置，包括：

获取模块，用于获取原始人脸图像数据；

处理模块，用于根据所述原始人脸图像数据，生成人脸网格图像；根据法线纹理贴图，确定所述人脸网格图像上每个像素点的偏移向量，所述法线纹理贴图为用二维颜色数据表示的人脸图像的变形趋势和变形力度；根据所述人脸网格图像上每个像素点的偏移向量对所述人脸网格图像上的各个像素坐标进行偏移处理，得到变形后的人脸图像数据；对所述变形后的人脸图像数据进行渲染，得到变形后的人脸图像。

第三方面，本申请实施例提供一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序用于实现如上述所述的人脸图像处理方法。

第四方面，本申请实施例提供一种电子设备，包括：存储器和处理器；所述存储器用于存储计算机程序，所述处理器执行所述计算机程序实现如上述所述的人脸图像处理方法。

本申请实施例提供的人脸图像处理方法、装置、存储介质及电子设备，以原始人脸图像数据为依据，生成人脸网格图像，通过使用法线纹理贴图存储每个像素点的法线，并根据法线纹理贴图确定人脸网格图像上每个像素点的偏移向量，根据人脸网格图像上每个像素点的偏移向量对人脸网格图像上的各个像素坐标进行偏移处理，得到变形后的人脸图像数据，对变形后的人脸图像数据进行渲染，得到变形后的人脸图像，由于法线纹理贴图通过二维颜色数据的方式存储每一个像素点的法线，即每一个像素点的变形趋势和变形力度，并且通过读取法线纹理贴图二维颜色数据就可以计算确定每个像素点的偏移向量，该过程中，针对每个像素点进行偏移向量的计算，并且不涉及复杂的开方等运算，提高了对人脸图像进行处理的精确度和流畅度，有利于提高用户体验。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种应用场景示意图；

图2为本申请实施例提供的人脸图像处理方法实施例一的流程示意图；

图3为本申请实施例提供的一种人脸关键点和辅助位点的分布示意图；

图4为本申请实施例提供的一种人脸网格图像的示意图；

图5为本申请实施例提供的一种法线纹理贴图的示意图；

图6为本申请实施例提供的一种人脸图像处理方法的一种处理过程的示意图；

图7为本申请实施例提供的人脸图像处理方法实施例二的流程示意图；

图8为本申请实施例提供的人脸网格图像与法线纹理贴图的映射关系示意图；

图9为本申请实施例提供的人脸图像处理方法实施例三的流程示意图；

图10为本申请实施例提供的一种确定所需使用的法线纹理贴图的操作示意图；

图11为本申请实施例提供终端设备的操作示意图；

图12为本申请实施例提供一种人脸图像处理的操作界面示意图；

图13为本申请实施例提供的又一种人脸图像处理的操作界面示意图；

图14为本申请实施例提供的人脸图像处理装置实施例的结构示意图；

图15为本申请实施例提供的电子设备实施例的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

本申请提供一种进行人脸图像处理的技术方案，用于根据用户的使用需求，对相应的视频或照片进行处理，从而达到预期的或某种特定的人脸变形效果，以适应不同应用场景或丰富用户的拍摄体验。示例性地，虚拟试妆作为最近兴起的一种线上辅助销售方式，在用户进行虚拟试妆的过程中，通过人脸图像变形技术实现大眼、瘦脸等脸部变形效果，将用户试妆后的脸部效果呈现给用户，用户即使不到现场也可以体验不同化妆产品的效果，从而为用户购物提供了更多的便利性。

本申请实施例以终端设备为例，对本申请的技术方案加以描述，可以理解的是，本申请的技术方案也可用于具有图像处理功能的电子设备，如计算机、服务器或照相机等。

图1为本申请实施例提供的一种应用场景示意图，以实现大眼和瘦脸的人脸图像变形效果为例，如图1所示，在图1中左图为终端设备获取到的原始人脸图像，通过终端设备对原始人脸图像进行处理，可以得到图1中右图所示的变形后的人脸图像。

本申请技术方案的主要思路：现有技术的人脸图像变形方案包括图像模板筛选、图像预处理、获取变形数据和图像处理四个步骤，其中，获取变形数据即计算像素的偏移量，现有技术中在进行像素偏移量的计算过程，以每个关键点为圆心进行圆形或椭圆的衰减偏移，实现对应关键点附近区域的像素点的偏移量的计算，一方面，由于不能精确计算每一个像素点的偏移情况，对人脸图像处理的精确度不高，另一方面，由于以关键点为圆心进行圆形或椭圆的衰减偏移的过程存在开方等复杂运算，导致图形处理器(graphicsprocessing unit，GPU)开销大，导致对人脸图像的变形处理过程中容易移动终端出现延时、卡顿等问题，因此，现有技术进行人脸图像的变形处理时，存在用户体验度不高的问题。

基于现有技术中在以上的技术问题，本申请的技术方案根据预先构建的与特定的变形效果对应的法线纹理贴图，在进行像素的偏移计算时，通过建立法线纹理贴图与待处理人脸图像的映射关系，取样法线纹理贴图中对应像素的颜色值，从而确定待处理人脸图像上每个像素的偏移情况，该处理过程中，针对每个像素进行偏移向量的计算，并且不涉及复杂的开方等运算，不仅提高了对人脸图像进行变形处理的精度，还减少了对GPU的消耗，有利于提高用户体验。

图2为本申请实施例提供的人脸图像处理方法实施例一的流程示意图，本申请实施例的执行主体为终端设备，该终端设备可以为终端设备如手机、平板电脑等，如图2所示，本申请实施例的人脸图像处理方法包括：

S101、获取原始人脸图像数据。

本步骤中，为了得到变形后的人脸图像，首先需要获取与变形处理前的人脸图像对应的原始人脸图像数据，以作为后续步骤中进行图像处理的依据。具体地，终端设备可以从相应的图片或视频中识别出人脸，并获取对应的人脸图像数据，这些图片或视频可以是摄像头实时获取的，也可以是存储在终端设备中的。

示例性地，当终端设备的摄像头对准人脸进行图片拍摄时，获取原始人脸图像数据。

示例性地，当终端设备在录制视频的过程中，抓取其中的一帧图像，获取原始人脸图像数据。

示例性地，终端设备读取图像应用如相册中存储的相应照片或视频，获取原始人脸图像数据。

S102、根据原始人脸图像数据，生成人脸网格图像。

本步骤中，通过对S101中获取的原始人脸图像数据进行处理，得到人脸网格图像，具体地，首先，可以通过人脸关键点检测算法识别出原始人脸图像中的一些表征人脸面部轮廓和关键部位的点，作为人脸关键点，并根据构建人脸网格的需要和人脸关键点的分布情况，确定出辅助位点。图3为本申请实施例提供的一种人脸关键点和辅助位点的分布示意图，如图3所示，在根据人脸关键点检测算法识别出P1-P99共99个人脸关键点之后，再根据该99个人脸关键点的分布，确定出S1-S13共13个辅助位点。

其中，人脸关键点检测算法是一种自动识别人脸具体代表性的区域的算法，通过人脸关键点检测算法可识别出人面部的眼睛、鼻子、嘴、眉毛、面部轮廓等区域的关键点，本申请实施例可以采用任何一种人脸关键点检测算法，如主动形状模型(active shapemodels，ASM)、主动外观模型(active appearance models，AAM)、级联姿势回归(cascadedpose regression，CPR)等获取人脸关键点。

辅助位点，是指起辅助定位作用的点，辅助位点可以是原始人脸图像上的点，也可以不是原始人脸图像上的点，可以通过预设算法根据人脸关键点的分布情况进行确定，其目的在于构建更加稳定的三角形。

三角形稳定原则是指为使构建的三角形更稳定，应尽量保证构建的三角形为锐角三角形，而避免形成钝角三角形。本申请实施例中，在构建三角形网格数据时，应尽量保证以位置最近的人脸关键点和辅助位点作为顶点，同时保证构建的三角形尽可能稳定，有利于提高图像的品质。

之后，再根据三角形稳定原则，以最近的人脸关键点和辅助位点作为顶点构建三角形网格数据，并采用普通的渲染方式渲染S101中获取到的原始人脸图像数据作为底图，将三角形网格数据标记在该底图上，最终得到人脸网格图像。示例性地，图4为本申请实施例提供的一种人脸网格图像的示意图，如图4所示，人脸网格图像中包括一系统三角形，这些三角形的顶点可以全部为辅助位点，如三角形A，由辅助位点S5、S7和S11构成，也可以全部为人脸关键点，如三角形B，由人脸关键点P1、P59和P68构成，也可以由人脸关键点和辅助位点共同构成，如三角形C，由人脸关键点P5和P69以及辅助位点S9构成，此处不作严格限制，只要满足上述三角形稳定原则和最近原则即可。

S103、根据法线纹理贴图，确定人脸网格图像上每个像素点的偏移向量。

本步骤中，为达到最终的人脸变形目的，本申请实施例中采用法线纹理贴图的方式，在获取到人脸网格图像后，终端设备获取相应的法线纹理贴图，并根据法线纹理贴图，确定人脸网格图像上每个像素点的偏移向量，即通过读取法线纹理贴图上的二维颜色数据的方式，确定人脸网格图像上每个像素点的偏移向量，该过程中不涉及复杂的乘除运算或者开方运算等，因此，对GPU的开销小，能给用户带来流畅的使用体验。

其中，偏移向量包括偏移方向和偏移大小，用于确定对应像素点该往哪个方向偏移，以及往该方向偏移的偏移量的大小。

由于本申请实例的技术方案用于对二维人脸图像进行变形处理，因此，在法线纹理贴图中采用二维颜色数据存储法线，每一个二维颜色数据表示表示对应像素点的变形趋势和变形力度，相应地，法线纹理贴图中的二维颜色数据可以是以由RGB中任意两个颜色通道的颜色数据组成的，此处不作限定。

示例性地，图5为本申请实施例提供的一种法线纹理贴图的示意图，如图5所示，在该法线纹理图中的二维颜色数据由R通道的颜色值和G通道的颜色值组成。

S104、根据人脸网格图像上每个像素点的偏移向量对人脸网格图像上的各个像素坐标进行偏移处理，得到变形后的人脸图像数据。

本步骤中，为最终得到变形后的人脸图像，需要先获取用于图像渲染的变形后的人脸图像数据，具体地，根据S103中获取的人脸网格图像上每个像素点的偏移向量对人脸网格图像上的各个像素坐标进行偏移处理，得到变形后的人脸图像数据。

在一种可能的实现方式，获取终端设备的屏幕分辨率，并基于终端设备的屏幕分辨率得到与显示屏的实际情况相匹配的变形后的人脸图像数据，具体地，将人脸网格图像上每个像素点的偏移向量变换为与终端设备的屏幕分辨率对应的目标偏移向量，根据人脸网格图像上每个像素点的目标偏移向量与人脸网格图像上对应像素点的像素坐标，得到变形后的人脸图像数据。

其中，目标偏移向量是指根据终端设备的屏幕分辨率对人脸网格图像上每个像素的偏移向量进行变换处理后得到的向量。

由于变形后的人脸图像最终需要通过终端设备呈现给用户，为此变形后的人脸图像数据必须与终端设备的分辨率相匹配，才能保证最终得到的变形后的人脸图像通过终端设备呈现时不会出现比例失调等问题，而不同用户使用的终端设备的分辨率可能不同，本实现方式中，通过将人脸网格图像上每个像素点的偏移向量变换为与终端设备的屏幕分辨率对应的目标偏移向量，根据人脸网格图像上每个像素点的目标偏移向量与人脸网格图像上对应像素点的像素坐标，最终得到与终端设备匹配的变形后的人脸图像数据，为后续渲染过程提供了可靠的数据支持，提高了人脸图像处理的可靠性，提高了用户体验。

S105、对变形后的人脸图像数据进行渲染，得到变形后的人脸图像。

本步骤中，通过对S104得到的变形后的人脸图像数据进行渲染，得到变形后的人脸图像。可以理解的是，为提高渲染效果，在对变形后的人脸图像数据进行渲染时，可以根据S102中得到的人脸网格数据对变形后的人脸图像数据进行渲染，得到变形后的人脸图像。

下面将以一个具体的示例对本实施例的实现过程加以说明：

图6为本申请实施例提供的一种人脸图像处理方法的一种处理过程的示意图，以实现大眼和瘦脸变形效果为例，如图6所示，通过对根据原始人脸图像数据，确定出(a)图中的人脸关键点和辅助位点，通过以(a)图人脸关键点和辅助位点为顶点，构建三角形网络，得到(b)图中的人脸网格图像，再通过(c)图中的法线纹理贴图(与大眼和瘦脸的变形效果对应)确定(b)图中的人脸网格图像中每个像素点的偏移向量，最后，根据得到的偏移向量对人脸网格图像中的每个像素点进行偏移处理，得到变形后的人脸图像数据，根据已构建的三角形网格数据对变形后的人脸图像数据进行渲染，得到具有大眼和瘦脸效果的人脸图像。

本实施例中，以原始人脸图像数据为依据，生成人脸网格图像，通过使用法线纹理贴图存储每个像素点的法线，并根据法线纹理贴图确定人脸网格图像上每个像素点的偏移向量，根据人脸网格图像上每个像素点的偏移向量对人脸网格图像上的各个像素坐标进行偏移处理，得到变形后的人脸图像数据，对变形后的人脸图像数据进行渲染，得到变形后的人脸图像，由于法线纹理贴图通过二维颜色数据的方式存储每一个像素点的法线，即每一个像素点的变形趋势和变形力度，并且通过读取法线纹理贴图二维颜色数据就可以计算确定每个像素点的偏移向量，该过程中，针对每个像素点进行偏移向量的计算，并且不涉及复杂的开方等运算，提高了对人脸图像进行处理的精确度和流畅度，有利于提高用户体验。

图7为本申请实施例提供的人脸图像处理方法实施例二的流程示意图，在上述实施例一的基础上，本实施例中，根据法线纹理贴图，确定人脸网格图像上每个像素点的偏移向量，包括：

S201、建立人脸网格图像与法线纹理贴图的映射关系。

本步骤中，由于法线纹理贴图与人脸网格图像本身相互独立，为了实现根据法线纹理贴图，确定人脸网格图像上每个像素点的偏移向量，首先需要建立人脸网格图像与法线纹理贴图的映射关系，以使法线纹理贴图与人脸网格图像相互“贴合”。

示例性地，图8为本申请实施例提供的人脸网格图像与法线纹理贴图的映射关系示意图，如图8所示，在建立人脸网格图像与法线纹理贴图的映射关系时可以通过以下过程实现：

(1)定义以左下角顶点的纹理坐标为(0，0)，左上角顶点的纹理坐标为(0，1)，右下角的顶点的纹理坐标为(1，0)，右上角顶点的纹理坐标为(1，1)，根据上述定义的四个角的顶点的纹理坐标依次确定人脸网格图像其他像素点的纹理坐标。

(2)建立人脸网格图像的上述四个顶点的纹理坐标与法线纹理贴图的四个角的纹理坐标的坐标映射关系，进而，确定人脸网格图像的其他顶点的纹理坐与法线纹理贴图的纹理坐标的坐标映射关系。

(3)根据人脸网格图像上各顶点的纹理坐标与法线纹理贴图的纹理坐标的坐标映射关系，确定人脸网格图像的每个像素点与法线纹理贴图的每个像素点之间的像素映射关系。

S202、根据映射关系，依次取样法线纹理贴图上每个像素点的二维颜色数据。

本步骤中，在法线纹理贴图与人脸网格图像“贴合”的前提下，依次取样法线纹理贴图上每个像素点的二维颜色数据。

在一种可能的实现方式中，根据人脸网格图像的纹理坐标与法线纹理贴图的纹理坐标之间的坐标映射关系，按照预设取样顺序依次取样法线纹理贴图上每个像素点的二维颜色数据。

其中，预设取样顺序为以某一个像素点为起始点，依次取遍所有像素点的取样顺序，例如，预设取样顺序可以为从顶点(0，0)开始，从左到右、从下到上的顺序。

示例性，继续参见图8，法线纹理贴图中的Q(u，v)即为与P(0.5，0.69)对应的二维颜色数据，其中，u和v分别为该像素点对应颜色通道的颜色值。

S203、根据二维颜色数据，确定人脸网格图像上每个像素点的偏移向量。

本步骤中，由于法线纹理贴图中二维颜色数据表示的是人脸图像上对应的像素点的变形趋势和变形力度，因此，根据取样得到的法线纹理贴图上某一像素点的二维颜色数据，就可以确定人脸网格图像中对应像素点的偏移向量，通过依次取样法线纹理贴图上每个像素点的二维颜色数据，就可以确定出人脸网格图像上每个像素点的偏移向量。

在一种可能的实现方式中，法线纹理贴图中的二维颜色数据由R通道和G通道的颜色值组成，其中，R通道的颜色值表示人脸图像上对应像素点在x轴上的偏移向量，以G通道的颜色值表示人脸图像上对应像素点在y轴上的偏移向量，将RG(0.5,0.5)作为基准值，当RG为(0.5,0.5)时，对应像素点不做任何像素偏移，当R值小于0.5时，代表人脸网格图像上对应像素点的像素坐标向左偏移，当R值大于0.5时，代表人脸网格图像上对应像素点的像素坐标向右偏移，同理，当G值小于0.5时，代表人脸网格图像上对应像素点的像素坐标向下偏移，当G值大于0.5时，代表人脸网格图像上对应像素点的像素坐标向上偏移。若要实现瘦脸的变形效果，该法线纹理贴图只要设置左脸颊的二维颜色数据的R值大于0.5，同时，设置右脸颊的二维颜色数据的R值大小0.5，而其他位置的二颜色数据均设置为(0.5，0.5)即可；若要实现大眼的变形效果，该法线纹理贴图中只要设置两只眼睛的左眼角的二维颜色数据的R值小于0.5，同时，设置两只眼睛的右眼角的二维颜色数据的R值大于0.5，而其他位置的二颜色数据均设置为(0.5，0.5)即可。

本实现方式中，由于图像中的颜色数据不能定义小于0的值，为使用方便，需要对取样得到的二维颜色数据做进一步的处理，使其可以通过坐标数据更直观地体现偏移方向和偏移量的大小，可选地，根据二维颜色数据，确定人脸网格图像上每个像素点的偏移向量，包括：

将二维颜色数据转换为二维坐标系中的坐标数据，二维坐标系为x轴，y轴的取值范围均为[-1，1]的平面直角坐标系，并根据坐标数据的x轴坐标值和y轴坐标值，确定人脸网格图像上每个像素点的偏移向量。

可选地，根据二维坐标系的坐标基准值，将二维颜色数据转换为二维坐标系中的坐标数据。

具体地，根据公式V_offset＝C_offset×2.0-vec(1.0，1.0)，将二维颜色数据转换为二维坐标系中的坐标数据；

其中，C_offset表示法线纹理贴图上的二维颜色数据，V_offset表示转化后的二维坐标系中的坐标数据，vec(1.0，1.0)表示二维坐标系的坐标基准值。

本实现方式中，通过上述公式可以将二维颜色数据转换为x轴和y轴的取值范围均为-1到1的平面直角坐标系中的坐标数据，例如，当取样得到的C_offset为(0.5，0.5)时，经计算可以确定V_offset为(0，0)，表示x轴和y轴方向上均没有发生偏移；当取样得到的C_offset为(0.4，0.8)时，相应地可以确定V_offset为(-0.2，0.6)，表示x轴方向上应向左偏移0.2个像素，y轴方向上应向上偏移0.6个像素。由此可见，本实现方式中，通过依次获取每个二维颜色数据对应的坐标数据，并通过坐标数据的x轴坐标值和y轴坐标值，就可以方便、直观地确定出人脸网格图像上每个像素点的偏移向量。

本实施例中，通过建立人脸网格图像与法线纹理贴图的映射关系，根据映射关系，依次取样法线纹理贴图上每个像素点的二维颜色数据，根据二维颜色数据，确定人脸网格图像上每个像素点的偏移向量，通过建立映射的方式，使人脸网格图像与法线纹理贴图相贴合，提高了确定的人脸网格图像上每个像素点的偏移向量的准确性，并且通过将二维颜色数据转换为二维坐标系中带有正负的坐标数据，根据该坐标数据确定人脸网格图像上每个像素点的偏移向量，简化了计算过程，减少了对GPU的消耗，有利于提高图像处理的流畅度，提高了用户体验。

可选地，根据人脸网格图像上每个像素点的目标偏移向量与人脸网格图像上对应像素点的像素坐标，得到变形后的人脸图像数据，包括：

根据公式T_Target＝V_pos+V_offset/V_pixSize，得到变形后的人脸图像数据；

其中，V_pos表示对应像素点在人脸网格图像上的坐标数据，V_pixSize表示屏幕分辨率，T_Target表示对应像素点变形后的人脸图像数据，则公式中V_offset/V_pixSize即表示目标偏移向量。

在一种可能的实现方式中，本实施例中，对变形后的人脸图像数据进行渲染，得到变形后的人脸图像，包括：通过二维纹理处理函数对变形后的人脸图像数据进行渲染，得到变形后的人脸图像。

具体地，根据公式C_fragColor＝T_exture2D(T_Camera，T_Target)，对变形后的人脸图像数据进行渲染，得到变形后的人脸图像；

其中，T_exture2D表示二维纹理处理函数，T_Camera表示对应像素点的原始人脸图像数据，C_fragColor表示片元(T_Camera，T_Target)输出的颜色。

图9为本申请实施例提供的人脸图像处理方法实施例三的流程示意图，对于可以提供多种法线纹理贴图的终端设备，如图9所示，在上述实施例一和实施例二的基础上，本实施例的具体实现方案为：

一方面，终端设备获取人脸图像数据并检测人脸关键点和辅助位点，根据人脸关键点和辅助位点构建人脸网格数据，生成人脸网络图像。

另一方面，终端设备确定所需使用的法线纹理贴图。

可以理解的是，本实施例中确定所需使用的法线纹理贴图，可以在根据法线纹理贴图，确定人脸网格图像上每个像素点的偏移向量之前执行。

在一可能的实现方式中，确定用户当前使用的应用类型，根据该应用类型，确定所需使用的法线纹理贴图。

终端设备在上述两个方面的基础上，即根据生成的人脸网络图像和确定所需使用的法线纹理贴图，建立人脸网格图像与法线纹理贴图的映射关系，确定人脸网格图像上每个像素点的偏移向量，以及确定人脸网格图像上每个像素在屏幕上的偏移向量，最后处理得到变形后的人脸网格图像。

本申请实施例的具体实现解释如下：

对于安装有不同的应用程序的终端设备，其中，不同的应用程序可以提供各特色的人脸图像变形功能，图10为本申请实施例提供的一种确定所需使用的法线纹理贴图的操作示意图，如图10所示，当用户通过相关操作选择了一种进行人脸图像处理的应用程序时，例如，美颜相机、美图秀秀或虚拟试妆等其中的一个，终端设备识别用户当前使用的应用类型，并根据识别出的应用类型，确定所需使用的法线纹理贴图，例如，根据用户操作，确定用户选择的应用类型的虚拟试妆时，终端设备确定所需使用的法线纹理贴图为与虚拟试妆相关的法线纹理贴图。

在另一种可能的实现方式中，接收用户输入的人脸处理指令，并根据该人脸处理指令，从预先设置的多个法线纹理贴图中选择与变形效果对应的法线纹理贴图，其中，人脸处理指令用于指示用户所需的变形效果。

示例性地，图11为本申请实施例提供终端设备的操作示意图，当用户通过点击操作进入到具体的应用之后，根据相应的操作指引，如图11中左图所示，终端设备可以根据用户的操作(例如，拍摄照片或视频、从相册中选取照片或视频)获取到源图像，参照图11的右图，这样，终端设备接收用户输入的人脸图像处理指令，并从预先设置的多个法线纹理贴图中选择与变形效果对应的法线纹理贴图，对于不同的应用，获取人脸图像处理指令的方式可能也不相同。

示例性地，图12为本申请实施例提供一种人脸图像处理的操作界面示意图，如图12所示，若用户使用的人脸图像处理应用为虚拟试妆，操作界面上会显示出各种美妆产品的列表，例如，眼线笔、眉笔、腮红、粉底等，当用户选择一款美妆产品时，终端设备即可获取到与该美妆产品对应的人脸处理指令，例如，当用户选择眼线笔时，终端设备接收到与大眼对应的人脸处理指令。

示例性地，图13为本申请实施例提供的又一种人脸图像处理的操作界面示意图，如图13所示，若用户使用的人脸图像处理应用为美图应用，操作界面上会显示出各种变形的名称列表，例如，大眼、瘦眼、扩额、隆鼻等，当用户选择一种变形时，终端设备即可获取到与该变形对应的人脸处理指令，例如，当用户选择大眼时，终端设备接收到与大眼对应的人脸处理指令。

图12和图13仅用于对本实施例的实现方式进行举例说明，但并不仅限于此，此处不再赘述。

本实施例中，在根据法线纹理贴图，确定人脸网格图像上每个像素点的偏移向量之前，通过确定所需使用的法线纹理贴图，并通过该法线纹理贴图获取人脸网格图像上每个像素的偏移向量，最终处理得到变形后的人脸网格图像，从而可以根据场景和用户使用需求，进行不同的人脸图像处理，得到具有不同变形效果的人脸图像，拓展了人脸图像处理方法的应用场景，满足了用户多元化的使用需求，提高了用户体验。

图14为本申请实施例提供的人脸图像处理装置实施例的结构示意图，如图14所示，本实施例中的人脸图像处理装置10包括：

获取模块11和处理模块12。

其中，获取模块11，用于获取原始人脸图像数据；

处理模块12，用于根据原始人脸图像数据，生成人脸网格图像；根据法线纹理贴图，确定人脸网格图像上每个像素点的偏移向量，法线纹理贴图为用二维颜色数据表示的人脸图像的变形趋势和变形力度；根据人脸网格图像上每个像素点的偏移向量对人脸网格图像上的各个像素坐标进行偏移处理，得到变形后的人脸图像数据；对变形后的人脸图像数据进行渲染，得到变形后的人脸图像。

可选地，处理模块12具体用于：

建立人脸网格图像与法线纹理贴图的映射关系；

根据映射关系，依次取样法线纹理贴图上每个像素点的二维颜色数据；

根据二维颜色数据，确定人脸网格图像上每个像素点的偏移向量。

可选地，处理模块12具体用于：

确定人脸网格图像的纹理坐标；

建立人脸网格图像的纹理坐标与法线纹理贴图的纹理坐标之间的坐标映射关系；

根据坐标映射关系，建立人脸网格图像的像素点与法线纹理贴图的像素点之间的像素映射关系。

可选地，处理模块12具体用于：

根据人脸网格图像的纹理坐标与法线纹理贴图的纹理坐标之间的坐标映射关系，按照预设取样顺序依次取样法线纹理贴图上每个像素点的二维颜色数据。

可选地，处理模块12具体用于：

将二维颜色数据转换为二维坐标系中的坐标数据，二维坐标系为x轴，y轴的取值范围均为[-1，1]的平面直角坐标系；

根据坐标数据的x轴坐标值和y轴坐标值，确定人脸网格图像上每个像素点的偏移向量。

可选地，处理模块12具体用于：

根据二维坐标系的坐标基准值，将二维颜色数据转换为二维坐标系中的坐标数据。

可选地，处理模块12具体用于：

将人脸网格图像上每个像素点的偏移向量变换为与终端设备的屏幕分辨率对应的目标偏移向量；

根据人脸网格图像上每个像素点的目标偏移向量与人脸网格图像上对应像素点的像素坐标，得到变形后的人脸图像数据。

可选地，处理模块12具体用于：

通过二维纹理处理函数对所述变形后的人脸图像数据进行渲染，得到变形后的人脸图像。

可选地，处理模块12还用于：

确定所需使用的法线纹理贴图。

可选地，处理模块12具体用于：

根据用户输入的人脸处理指令，从预先设置的多个法线纹理贴图中选择与变形效果对应的法线纹理贴图，人脸处理指令用于指示用户所需的变形效果；

或者，

确定用户当前使用的应用类型，根据应用类型，确定所需使用的法线纹理贴图。

可选地，处理模块12具体用于：

根据人脸关键点检测算法，从原始人脸图像数据中确定出人脸关键点；

根据人脸关键点的分布，确定出辅助位点；

按照三角形稳定原则，以最近的人脸关键点和辅助位点构建三角形网格数据；

渲染原始人脸图像数据得到底图，通过三角形网格数据对底图进行标记，得到人脸网格图像。

可选地，获取模块11具体用于：

获取摄像头实时采集的原始人脸图像数据；

或者，

获取图像应用中存储的原始人脸图像数据。

可选地，法线纹理贴图中的二维颜色数据由R通道的颜色值和G通道的颜色值构成。

本实施例的实现原理和技术效果与方法实施例类似，具体可参照方法实施例，此处不再一一赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外，这些模块全部或部分可以集成在一起，也可以独立实现。这里的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。

图15为本申请实施例提供的电子设备实施例的结构示意图，如图15所示，本实施例中电子设备20可以包括：处理器21、存储器22、通信接口23和系统总线24，存储器22和通信接口23通过系统总线24与处理器21连接并完成相互间的通信，存储器22用于存储计算机执行指令，通信接口23用于和其他设备进行通信，处理器21执行计算机程序时实现如上述任一方法实施例的方案。

在图15中，上述的处理器21可以是通用处理器，包括中央处理器CPU、网络处理器(network processor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

存储器22可能包含随机存取存储器(random access memory，RAM)，也可能包括只读存储器(read-only memory，RAM)，还可能包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

通信接口23用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。

系统总线24可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如上述任一方法实施例的方法。

可选的，本申请实施例还提供一种运行指令的芯片，所述芯片用于执行上述任一方法实施例的方法。

本申请实施例还提供一种程序产品，该程序产品包括计算机程序，计算机程序存储在计算机可读存储介质中，至少一个处理器可以从计算机可读存储介质读取所述计算机程序，至少一个处理器执行所述计算机程序时可实现上述任一方法实施例的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种人脸图像处理方法，其特征在于，包括：

获取原始人脸图像数据；

根据所述原始人脸图像数据，生成人脸网格图像；

根据法线纹理贴图，确定所述人脸网格图像上每个像素点的偏移向量，所述法线纹理贴图为用二维颜色数据表示的人脸图像的变形趋势和变形力度；

根据所述人脸网格图像上每个像素点的偏移向量对所述人脸网格图像上的各个像素坐标进行偏移处理，得到变形后的人脸图像数据；

对所述变形后的人脸图像数据进行渲染，得到变形后的人脸图像；

所述根据法线纹理贴图，确定所述人脸网格图像上每个像素点的偏移向量，包括：

建立所述人脸网格图像与所述法线纹理贴图的映射关系；

根据所述映射关系，依次取样所述法线纹理贴图上每个像素点的二维颜色数据；

根据所述二维颜色数据，确定所述人脸网格图像上每个像素点的偏移向量；

所述根据所述人脸网格图像上每个像素点的偏移向量对所述人脸网格图像上的各个像素坐标进行偏移处理，得到变形后的人脸图像数据，包括：

将所述人脸网格图像上每个像素点的偏移向量变换为与终端设备的屏幕分辨率对应的目标偏移向量；

根据所述人脸网格图像上每个像素点的目标偏移向量与所述人脸网格图像上对应像素点的像素坐标，得到所述变形后的人脸图像数据。

2.根据权利要求1所述的方法，其特征在于，所述建立所述人脸网格图像与所述法线纹理贴图的映射关系，包括：

确定所述人脸网格图像的纹理坐标；

建立所述人脸网格图像的纹理坐标与所述法线纹理贴图的纹理坐标之间的坐标映射关系；

根据所述坐标映射关系，建立所述人脸网格图像的像素点与所述法线纹理贴图的像素点之间的像素映射关系。

3.根据权利要求2所述的方法，其特征在于，所述根据所述映射关系，依次取样所述法线纹理贴图上每个像素点的二维颜色数据，包括：

根据所述人脸网格图像的纹理坐标与所述法线纹理贴图的纹理坐标之间的坐标映射关系，按照预设取样顺序依次取样所述法线纹理贴图上每个像素点的二维颜色数据。

4.根据权利要求1所述的方法，其特征在于，所述根据所述二维颜色数据，确定所述人脸网格图像上每个像素点的偏移向量，包括：

将所述二维颜色数据转换为二维坐标系中的坐标数据，所述二维坐标系为x轴，y轴的取值范围均为[-1，1]的平面直角坐标系；

根据所述坐标数据的x轴坐标值和y轴坐标值，确定所述人脸网格图像上每个像素点的偏移向量。

5.根据权利要求4所述的方法，其特征在于，所述将所述二维颜色数据转换为二维坐标系中的坐标数据，包括：

根据所述二维坐标系的坐标基准值，将所述二维颜色数据转换为所述二维坐标系中的坐标数据。

6.根据权利要求1所述的方法，其特征在于，所述对所述变形后的人脸图像数据进行渲染，得到变形后的人脸图像，包括：

通过二维纹理处理函数对所述变形后的人脸图像数据进行渲染，得到变形后的人脸图像。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述根据法线纹理贴图，确定所述人脸网格图像上每个像素点的偏移向量之前，所述方法还包括：

确定所需使用的法线纹理贴图。

8.根据权利要求7所述的方法，其特征在于，所述确定所需使用的法线纹理贴图，包括：

根据用户输入的人脸处理指令，从预先设置的多个法线纹理贴图中选择与变形效果对应的法线纹理贴图，所述人脸处理指令用于指示所述用户所需的变形效果；

或者，

确定用户当前使用的应用类型，根据所述应用类型，确定所需使用的法线纹理贴图。

9.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述原始人脸图像数据，生成人脸网格图像，包括：

根据人脸关键点检测算法，从所述原始人脸图像数据中确定出人脸关键点；

根据所述人脸关键点的分布，确定出辅助位点；

按照三角形稳定原则，以最近的人脸关键点和辅助位点构建三角形网格数据；

渲染所述原始人脸图像数据得到底图，通过所述三角形网格数据对所述底图进行标记，得到所述人脸网格图像。

10.根据权利要求1-5任一项所述的方法，其特征在于，所述获取原始人脸图像数据，包括：

获取摄像头实时采集的原始人脸图像数据；

或者，

获取图像应用中存储的原始人脸图像数据。

11.根据权利要求1-5任一项所述的方法，其特征在于，所述法线纹理贴图中的二维颜色数据由R通道的颜色值和G通道的颜色值构成。

12.一种人脸图像处理装置，其特征在于，包括：

获取模块，用于获取原始人脸图像数据；

处理模块，用于根据所述原始人脸图像数据，生成人脸网格图像；根据法线纹理贴图，确定所述人脸网格图像上每个像素点的偏移向量，所述法线纹理贴图为用二维颜色数据表示的人脸图像的变形趋势和变形力度；根据所述人脸网格图像上每个像素点的偏移向量对所述人脸网格图像上的各个像素坐标进行偏移处理，得到变形后的人脸图像数据；对所述变形后的人脸图像数据进行渲染，得到变形后的人脸图像；

所述处理模块，还用于建立所述人脸网格图像与所述法线纹理贴图的映射关系；根据所述映射关系，依次取样所述法线纹理贴图上每个像素点的二维颜色数据；根据所述二维颜色数据，确定所述人脸网格图像上每个像素点的偏移向量；

所述处理模块，还用于将所述人脸网格图像上每个像素点的偏移向量变换为与终端设备的屏幕分辨率对应的目标偏移向量；根据所述人脸网格图像上每个像素点的目标偏移向量与所述人脸网格图像上对应像素点的像素坐标，得到所述变形后的人脸图像数据。

13.一种存储介质，其特征在于，所述存储介质用于存储计算机程序，所述计算机程序用于实现权利要求1至11任一项所述的人脸图像处理方法。

14.一种电子设备，其特征在于，包括：存储器和处理器；所述存储器用于存储计算机程序，所述处理器执行所述计算机程序实现权利要求1至11任一项所述的人脸图像处理方法。