CN110543826A - 用于可穿戴产品虚拟佩戴的图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种用于可穿戴产品虚拟佩戴的图像处理方法及装置，该方法包括：提取模特和用户的面部特征点；通过用户的面部特征点计算出旋转向量，并根据旋转向量得到用户面部的偏转角度；利用偏转角度将模特的面部替换为用户的面部。上述技术方案，通过用户的面部特征点计算出旋转向量进而得到用户面部的偏转角度，利用偏转角度将模特的面部替换为用户的面部。能够使人脸定位更加准确，佩戴效果更加真实、理想。

Description

用于可穿戴产品虚拟佩戴的图像处理方法及装置

技术领域

本发明涉及一种用于可穿戴产品虚拟佩戴的图像处理方法及图像处理装置。

背景技术

珠宝虚拟试戴技术可以把虚拟的3D珠宝叠加到真人影像上，通过人脸识别，实时追踪，实现首饰和人体影像的合成，人体动作和3D产品同步交互，呈现逼真的珠宝试戴效果。大部分珠宝虚拟试戴使用增强现实技术模拟珠宝在人体上的穿戴效果。早期的珠宝虚拟试戴使用2D图像追踪技术，需要使用标记物或手动定标来计算。近些年来微软和Intel开发的3D图像传感器，提升了速度和精度，但仍存在人脸定位不准确，佩戴效果不真实，操作起来较为繁琐等问题。

目前的技术普遍缺少脸部对应的角度分析,在模特和用户人脸偏转角度过大时，试戴效果效果不理想。而且现在的技术普遍采用GAN的训练方案,这其中数据收集需要高额的费用,可能还涉及版权问题等。

发明内容

针对相关技术中的上述问题，本发明提出一种用于可穿戴产品虚拟佩戴的图像处理方法及图像处理装置。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种用于可穿戴产品虚拟佩戴的图像处理方法，包括：

提取模特和用户的面部特征点；

通过用户的面部特征点计算出旋转向量，并根据旋转向量得到用户面部的偏转角度；

利用偏转角度将模特的面部替换为用户的面部。

根据本申请的实施例，提取模特和用户的面部特征点包括：通过人脸检测器提取模特的面部特征点和用户的面部特征点。

根据本申请的实施例，在提取模特和用户的面部特征点之后还包括：当模特和用户的肤色差异超过预定值时，则对颜色信息进行相应的调整。

根据本申请的实施例，利用偏转角度将模特的面部替换为用户的面部包括：对用户的面部进行普氏变换和仿射变换使得用户的面部与模特的面部对齐。

根据本申请的实施例，进行普氏变换包括：利用最小化公式来最小化所有形状到平均形状的距离和，其中，最小化公式为：

其中，X表示形状，是由点集组成的矢量。

根据本申请的实施例，进行仿射变换包括：找到第一形状和第一变换；第一变换利用第一形状将每个数据对齐，其中，通过变换形状间的最小二乘距离来判断是否达到对齐。

根据本发明的另一方面，提供了一种用于可穿戴产品虚拟佩戴的图像处理装置，包括：

特征提取模块，用于提取模特和用户的面部特征点；

计算模块，用于通过用户的面部特征点计算出旋转向量，并根据旋转向量得到用户面部的偏转角度；

替换模块，利用偏转角度将模特的面部替换为用户的面部。

根据本申请的实施例，特征提取模块包括：人脸检测器，用于提取模特的面部特征点和用户的面部特征点。

根据本申请的实施例，计算模块用于对用户的面部进行普氏变换和仿射变换使得用户的面部与模特的面部对齐。

根据本申请的实施例，计算模块利用最小化公式来最小化所有形状到平均形状的距离和，其中，最小化公式为：

其中，X表示形状，是由点集组成的矢量；

计算模块还用于找到第一形状和第一变换，其中，第一变换利用第一形状将每个数据对齐，并且通过变换形状间的最小二乘距离来判断是否达到对齐。

本发明的上述技术方案，通过用户的面部特征点计算出旋转向量进而得到用户面部的偏转角度，利用偏转角度将模特的面部替换为用户的面部。能够使人脸定位更加准确，佩戴效果更加真实、理想。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的用于可穿戴产品虚拟佩戴的图像处理方法的流程图；

图2是根据本发明实施例的对用户上传的图片进行分析的流程图；

图3是根据本发明实施例的Procrustes分析的示意图；

图4是根据本发明实施例的进行3D合成的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

由于珠宝行业的特殊性，贵重的珠宝在佩戴的时候可能会出现安全问题和不便携等弊端，珠宝虚拟试戴的出现对于珠宝电商和实体门店业务都有广泛的影响。在电商业务中，珠宝虚拟试戴技术可以在不接触实际珠宝产品的情况下实现珠宝试戴效果的呈现。在实体门店中，对于提升进店客户的驻足率、成交率和美誉度也有着很好的帮助。通过该项技术，使用者可简单地上传自己的照片，满足在不同场景中体验各式各样珠宝佩戴的需求。

基于上述目的，本发明提供了一种用于可穿戴产品虚拟佩戴的图像处理方法。如图1所示，该方法包括以下步骤：

S10，提取模特和用户的面部特征点；

S20，通过用户的面部特征点计算出旋转向量，并根据旋转向量得到用户面部的偏转角度；

S30，利用偏转角度将模特的面部替换为用户的面部。

本发明的上述技术方案，通过用户的面部特征点计算出旋转向量进而得到用户面部的偏转角度，利用偏转角度将模特的面部替换为用户的面部。能够使人脸定位更加准确，佩戴效果更加真实、理想。

在一个实施例中，在步骤S10处，提取模特和用户的面部特征点包括：通过人脸检测器提取模特的面部特征点和用户的面部特征点。在一个实施例中，在步骤S10之后还可以包括以下步骤：当模特和用户的肤色差异超过预定值时，则对颜色信息进行相应的调整。

在一个实施例中，在步骤S30处，可以对用户的面部进行普氏变换和仿射变换使得用户的面部与模特的面部对齐。

其中，进行普氏变换包括：利用最小化公式来最小化所有形状到平均形状的距离和，其中，最小化公式为：

其中，X表示形状，是由点集组成的矢量。

进行仿射变换包括：找到第一形状和第一变换；第一变换利用第一形状将每个数据对齐，其中，通过变换形状间的最小二乘距离来判断是否达到对齐。

为了更好的理解本发明的图像处理方法的技术方案，以下通过虚拟佩戴方法的具体实施例来进行说明。

在人脸替换过程中,本发明的虚拟佩戴方法首先根据选定的人脸,提取模特和用户的面部特征点信息。然后,利用仿射变换和人脸对齐算法对图像特定区域(参考关键点)进行区域提取和掩模覆盖。由于可能出现的目标人物和用户皮肤色差过大等因素，这个时候就需要对颜色信息进行相应的调整。最后利用泊松融合技术将对应的人脸部分进行无缝融合。

若一张静态图中出现了多张人脸,这时需要用户手动点击以选定需要交换的目标人脸。若一张静态图片中,模特和用户的脸朝向不同,说明这种场景不适合换脸效果的体验。因为在此项技术中，需要比较人脸偏航角的朝向。对于偏转角度不同的人脸往往换脸效果很差,影响用户的体验。

在人脸偏转角度相近的情况下，本技术操作具体流程如下：首先定位六个关键点(例如，左、右眼角、鼻尖、左、右嘴角、下颌)的3D(三维)模型，然后调用已有的开源人脸检测器Dlib提取对应的人脸关键点,再通过数学矩阵以及向量空间方程求解出对应的旋转向量,最后将旋转向量转换为欧拉角进行分析即可完成替换。

然后进行2D(二维)预估过程。在2D预估计过程中，系统将对用户上传的图片进行分析，具体分析过程如图2，2D人脸参数预估计。当估计参数完成后，系统将其送入3D合成模块，从而对人脸进行更逼真的替换。

2D参数中的预估计将对人脸进行特征点提取，然后对场景图片进行掩膜提取，并根据掩膜提取的面部特征与目标场景进行色差调整，最终通过普氏变换+仿射变换进行初步估计，为3D人脸替换打下基础。

普氏变换的基本思想是最小化所有形状到平均形状的距离和，即最小化公式:

其中，X表示形状，是由点集组成的一个矢量。例如X＝(x0,x1,x2,x3....,xn-1,y0,y1,y2....yn-1)，或者可以是交错排列：X＝(x0,y0,x1,y1,....xn-1,yn-1)，其中的0,1,2...n-1为下标。

为了建立人脸形状的变形模型，我们必须首先处理原始标记数据，去除属于全局刚性运动的成分。当用2维进行几何建模时，刚性运动通常表现为类似的变换。这种变换包括尺度，面内旋转和平移。

如图3所示，示出了一套在类似变换下的运动类型，从点集中移除全局刚性运动的过程成为Procrustes分析。

从数学上说，Procrustes分析的目的是同时找到一个权威的形状和相似变换，该变换用这个权威形状将每个数据实例对齐。这里的对齐是通过变换形状间的最小二乘距离来衡量的。完成这个目的是个迭代的过程，是通过shape_model类来实现。

之后进行3D合成过程。如图4所示，3D算法流程在2D算法的基础上进行人脸三角面分析，从而得到较为精准的3D模型。再在精细3D模型上进行泊松融合。

根据本发明的实施例，还提供了一种用于可穿戴产品虚拟佩戴的图像处理装置。图像处理装置可用于执行程序以实施上述的图像处理方法。该图像处理装置可以包括：

特征提取模块，用于提取模特和用户的面部特征点；

计算模块，用于通过用户的面部特征点计算出旋转向量，并根据旋转向量得到用户面部的偏转角度；

替换模块，利用偏转角度将模特的面部替换为用户的面部。

在一个实施例中，特征提取模块包括：人脸检测器，用于提取模特的面部特征点和用户的面部特征点。

在一个实施例中，计算模块用于对用户的面部进行普氏变换和仿射变换使得用户的面部与模特的面部对齐。

在一个实施例中，计算模块利用最小化公式来最小化所有形状到平均形状的距离和，其中，最小化公式为：

其中，X表示形状，是由点集组成的矢量；

计算模块还用于找到第一形状和第一变换，其中，第一变换利用第一形状将每个数据对齐，并且通过变换形状间的最小二乘距离来判断是否达到对齐。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于可穿戴产品虚拟佩戴的图像处理方法，其特征在于，包括：

提取模特和用户的面部特征点；

通过所述用户的面部特征点计算出旋转向量，并根据所述旋转向量得到用户面部的偏转角度；

利用所述偏转角度将所述模特的面部替换为所述用户的面部。

2.根据权利要求1所述的图像处理方法，其特征在于，提取模特和用户的面部特征点包括：

通过人脸检测器提取所述模特的面部特征点和所述用户的面部特征点。

3.根据权利要求1所述的图像处理方法，其特征在于，在提取模特和用户的面部特征点之后还包括：

当所述模特和所述用户的肤色差异超过预定值时，则对颜色信息进行相应的调整。

4.根据权利要求1所述的图像处理方法，其特征在于，利用所述偏转角度将所述模特的面部替换为所述用户的面部包括：

对所述用户的面部进行普氏变换和仿射变换使得所述用户的面部与所述模特的面部对齐。

5.根据权利要求4所述的图像处理方法，其特征在于，进行所述普氏变换包括：

利用最小化公式来最小化所有形状到平均形状的距离和，其中，所述最小化公式为：

其中，X表示形状，是由点集组成的矢量。

6.根据权利要求4所述的图像处理方法，其特征在于，进行所述仿射变换包括：

找到第一形状和第一变换；

所述第一变换利用所述第一形状将每个数据对齐，其中，通过变换形状间的最小二乘距离来判断是否达到所述对齐。

7.一种用于可穿戴产品虚拟佩戴的图像处理装置，其特征在于，包括：

特征提取模块，用于提取模特和用户的面部特征点；

计算模块，用于通过所述用户的面部特征点计算出旋转向量，并根据所述旋转向量得到用户面部的偏转角度；

替换模块，利用所述偏转角度将所述模特的面部替换为所述用户的面部。

8.根据权利要求1所述的图像处理装置，其特征在于，所述特征提取模块包括：

人脸检测器，用于提取所述模特的面部特征点和所述用户的面部特征点。

9.根据权利要求1所述的图像处理装置，其特征在于，所述计算模块用于对所述用户的面部进行普氏变换和仿射变换使得所述用户的面部与所述模特的面部对齐。

10.根据权利要求9所述的图像处理装置，其特征在于，计算模块利用最小化公式来最小化所有形状到平均形状的距离和，其中，所述最小化公式为：

其中，X表示形状，是由点集组成的矢量；

所述计算模块还用于找到第一形状和第一变换，其中，所述第一变换利用所述第一形状将每个数据对齐，并且通过变换形状间的最小二乘距离来判断是否达到所述对齐。