CN106874850A - 一种基于三维人脸点云特征点定位方法 - Google Patents

Abstract

本发明展示了一个三维人脸点云特征点定位方法。首先，对双边滤波去噪的预处理后的人脸点云数据通过HK(平均曲率和高斯曲率)这一曲面形状描述方法，划分出人脸特征点候选区域，然后对特征点所形成的旋转图像(Spin Image)进行比较，从而实现任意姿态下的鼻尖点和左右内眼角点的定位。此外，原始的旋转图像算法计算量太大，运算时间过长而无法获得实际应用，本文在原算法的基础上，只对筛选出来的少量重要特征点进行区域曲面重构，避免了大量无意义的点运算，提高了旋转图像算法的实时性能。在对GavabDB数据库的实验结果表明，该方法最高获得了95.37％的识别率，同时对姿态、表情变化具有一定的鲁棒性。以上步骤即为整个定位过程。

Description

一种基于三维人脸点云特征点定位方法

技术领域

本发明属于图像处理技术领域，特别涉及一种人脸点云特征点定位方法，可用于三维人脸识别。

背景技术

点云数据是对真实物体表面进行扫描采样获得的离散数据，曲率是曲面重要的局部几何属性，所以，曲率能够用于三维人脸点云特征点的分析与识别。近年来，国内外学者在三维点云曲率方面已经提出了多种方法。李谦总结了国内外有关点云数据的研究现状，重点研究了基于曲率特征信息的点云数据处理方法。蒋建国通过局部曲面曲率的计算，并结合灰度特征信息，定位了鼻尖点、鞍点和左右瞳孔点。Gangul y运用主曲率、高斯曲率、最大和最小曲率等在曲面形状描述的优越性，将曲率用于三维人脸识别。在特征点定位方面，王蜜宫通过改进局部形状图的(Local Shape Map)的统计模型，实现鼻尖点和内眼角点的精确定位。王晋疆运用一种3D局部曲面形状的描述子——点特征(Po int Si gnature)，实现点云数据的特征点提取。缪永伟基于三维模型表面顶点局部邻域旋转图像的分析，提出一种三维形状表面局部相似性的度量方法。通过对已公开算法的分析比较，本文提出了一种基于Sp in Image的人脸点云特征定位的方法。该方法实现了任意表情和姿态下的三维人脸点云鼻尖点和左右内眼角点的定位。

发明内容

旋转图像的表示方法，是把三维物体表面上基准有向点与其他有向点的几何位置关系转化为一幅二维图像，便于表征物体的特征。旋转图像法通过支撑距离和支撑角度来控制全局覆盖点的数量来描述一定区域内的曲面形状，而且减少了杂乱和自遮挡对图像的影响，已被证明是三维表面识别的一个精确方法，但要计算所有点的旋转图像，运算量大、消耗时间长。受此启发，本文利用旋转图像来实现特征点的精确定位，为了减少计算代价，在计算旋转图像之前，先通过HK(平均曲率和高斯曲率)曲面形状描述方法对点云的局部形状进行分类，得到特征点候选区域。据先验知识，在候选区域中手工标注三个特征点(鼻尖点和左右内眼角点)，然后把这三个特征点形成的旋转图像作为本文的特征点模板。最后，通过其他点云候选特征点的旋转图像和特征点模板进行相似性比较，从而实现人脸点云的鼻尖点和左右内眼角点定位。

本发明的目的通过如下技术方案实现：

S1：由于人脸点云数据在采集的过程中不可避免的包含较多的噪声点，从而会影响到人脸点云特征点定位效果，因此采用双边滤波的噪声滤波的预处理方法，进行点云数据的预处理，计算公式为：

V′←V+d·n

其中V为点云中的任意一个顶点，d可以称作双边滤波权重因子，n为当前顶点V的法向方向。

S2:通过HK(平均曲率和高斯曲率)这一曲面形状描述方法，对预处理后的点云数据划分出人脸特征点候选区域。HK的计算公式为：

I_x，I_y是沿着x和y方向的一阶偏导，I_xy，I_xx和I_yy是对应的二阶偏导。通过平均曲率和高斯曲率的正负号来进行点类型的分类。

S3:对特征点候选区点生成旋转图像(Spin Image)。旋转图像是一种三维物体表面的全局配准技术，取三维人脸点云模型上任一点，计算该点的法向量得到切平面，然后将其余所有点向该点的切平面投影，形成的二维直方图则为该点的旋转图像。旋转图像生成的过程决定了其具有三维曲面全面的几何表征性，计算公式为：

S_O:R³→R²

S4:用线性相关系数R来表示事先手工标记模板的鼻尖点和左右内眼角点的旋转图像和特征点形成的旋转图像相似程度，从而实现任意姿态下的鼻尖点和左右内眼角点的定位。由于线性相关系数是利用像素数量进行计算的，旋转图像重叠的数量将影响相关系数，R的取值范围(-1，1)，其中，当R的值越大，越接近1，这两个旋转图像越相似，越接近-1，说明这两个旋转图像不相似，本文取R的阈值为0.9。计算公式为：

其中，P和Q是两个旋转图像，N为两个旋转图像重叠像素的数量，p和q为旋转图像每个像素的数值。

附图说明

图1表示人脸不同点处的旋转图像示例，从上到下依次是：额头点，鼻尖点，脸颊点和下巴点。

图2表示对人脸点云通过HK生成的特征点候选区(图中黑色部分)。其中A、B分别为左右眼角处椭圆凹形点区域，C是鼻尖处椭圆形凸形点区域。(a)和(b)是根据HK对人脸点云分类的效果图，(c)是根据先验知识标记的特征点模板。

图3表示不同人脸点云形成旋转图像的比较。左右两个人脸点云上两个点是左内眼角点和鼻尖点，左人脸点云最下方的点为左脸颊一点，右人脸点云最下方的点为人中一点。

图4表示旋转图像的相似度比较。A、B为不同人脸点云的鼻尖点所生成的旋转图像，C为人中一点所生成的旋转图像，然后比较A、B和A、C旋转图像的相似性，其中A、B的相似度为R＝0.914，A、C的相似度为R＝0.167。

图5展示了不同姿态和表情的部分定位结果。

图6旋转图像的参数。

具体实施方式

实验环境

Inte l(R)Core(TM)i5CPU主频2.67GHz，内存为8.0GB。

Win8操作系统。

本文实验所用的数据库是A.B.Moreno建立的GavabDB 3D人脸数据库。该数据库包含549个三维面部表面图像，共有61个人(45位男性和16位女性)，每个人有9张不同的图像，他们中的大多数年龄在18到40岁之间。此外，人脸姿态和面部表情都是有规则的变化，其中包括2张无表情正脸和4张无表情转动图像，以及3张有突出变化表情的正面人脸图像。每个图像数据内容包括点的三维坐标和连接关系，本文提取每个图像数据中的三维坐标来当作实验的点云库。仿真软件MATLAB 2015a。

本文选择了两组点云数据进行原旋转图像算法和本文提出的只对候选区进行旋转图像计算的运行时间的比较。在几乎相同准确率的条件下，原算法花费时间较长，至少需要一个小时，而本文的方法大大缩短了运行时间。

实验内容

本发明实验所用的数据库是A.B.Moreno建立的GavabDB 3D人脸数据库。该数据库包含549个三维面部表面图像，共有61个人(45位男性和16位女性)，每个人有9张不同的图像，他们中的大多数年龄在18到40岁之间。此外，人脸姿态和面部表情都是有规则的变化，其中包括2张无表情正脸和4张无表情转动图像，以及3张有突出变化表情的正面人脸图像。每个图像数据内容包括点的三维坐标和连接关系，本文提取每个图像数据中的三维坐标来当作实验的点云库。由于人脸点云数据在采集的过程中不可避免的包含较多的噪声点，从而会影响到人脸点云特征点定位效果，因此本文寻求一种鲁棒的预处理方法，对数据进行预处理之后再进行特征点的定位。

本发明的具体步骤为：

S1：首先对数据库的人脸点云数据采用双边滤波的噪声滤波方法，因为双边滤波的原理是某

邻点在点云去噪过程中所占的权重大小不是由单个因素左右的，而是由它到中心点的空

间距离大小和它与中心点深度上的相似度共同决定的，所谓空间中的邻点与中心点深度

上的相似度，即指邻点与中心点的空间距离向量投影到中心点法向上的距离大小，这种

算法不需要详细的拓扑信息，而且计算简单，运算速度快。定义如下：

V′←V+d·n

其中V为点云中的任意一个顶点，d称作双边滤波权重因子，n为当前顶点V的法向方向。双边滤波过程的关键是求出滤波权重因子，使得点云模型上的顶点沿着法向方向移动，并通过这种方式来光顺光噪点。点云模型的双边滤波权重因子d的定义如下：

其中，N(v)表示顶点V的所有邻域点的集合，||v-pi||为当前邻点到中心点v的距离，<n,v-p_i为当前邻点和中心点在深度上的相似度，也就是当前邻点与中心点之间的距离在中心点法向n上的投影。

S2：然后通过HK(平均曲率和高斯曲率)这一曲面形状描述方法，对预处理后的点云数据划分出人脸特征点候选区。其中两个主曲率的平均值是曲面的平均曲率H，曲面的两个主曲率之积是曲面的高斯曲率K，HK的计算公式如下：

I_x，I_y是沿着x和y方向的一阶偏导，I_xy，I_xx和I_yy是对应的二阶偏导。通过平均曲率和高斯曲率的正负号来进行点类型的分类。下表给出了H和K的9种组合类型。

H	K	曲面类型	几何描述
				>0	>0	峰	点在所有方向局部为凸
>0	＝0	不存在
				>0	<0	阱	点在所有方向局部为凹
＝0	>0	脊	点局部为凸，在一个方向为平
				＝0	＝0	平面	平面
＝0	<0	谷	点局部为凹，在一个方向为平
				<0	>0	鞍形脊	点大部分局部为凸，小部分为凹
<0	＝0	极小曲面	凹凸分布各半
				<0	<0	鞍形谷	点大部分局部为凹，小部分为凸

HK对人脸点云进行分类，得到特征点的候选区域。根据鼻尖点和内眼角点在点云曲面中凹凸性的先验知识，在特征点候选区中标记出鼻尖点和左右内眼角点来作为本文特征点的模板，如图2中的(c)所示。

S3：对特征点候选区的点和特征点的模板生成旋转图像(Sp in Image)。旋转图像是一种三维物体表面的全局配准技术，取三维人脸点云模型上任一点，计算该点的法向量得到切平面，然后将其余所有点向该点的切平面投影，形成的二维直方图则为该点的旋转图像。旋转图像生成的过程决定了其具有三维曲面全面的几何表征性，计算公式为：

S_O:R³→R²

给定一个三维曲面O，p是曲面O上的一有向点，n为p点所对应的法线。P是垂直法线n且过p点的切平面，直线L是经过p点并平行于法线n。而其他点x旋转映射坐标为：p，x两点处法向量n之间的距离α，和点x与切平面的有向距离β，如图6所示，这样，三维数据投影到由(p，n)确定的二维坐标系下的映射函数表达式为S_O，选定有向点p以后，三维曲面上的任意一点x与p的关系通过(α，β)来表达，旋转图像就是该有向点邻域的(α，β)坐标的二维图像。如图1所示，人脸点云不同位置生成不同的旋转图像。

S4：用线性相关系数R来表示事先手工标记模板的鼻尖点和左右内眼角点的旋转图像和特征点形成的旋转图像相似程度，从而实现任意姿态下的鼻尖点和左右内眼角点的定位。我们用线性相关系数R来表示两个旋转图像的相似程度，由于线性相关系数是利用像素数量进行计算的，旋转图像重叠的数量将影响相关系数。如下公式中，R表示为线性相关系数，两个旋转图像P和Q，N为两个旋转图像重叠像素的数量，p和q为旋转图像每个像素的数值。R的取值范围(-1，1)，其中，当R的值越大，越接近1，这两个旋转图像越相似，越接近-1，说明这两个旋转图像不相似，本文取R的阈值为0.9。计算公式为：

表2是本文方法与Ganguly和王蜜宫两种方法精确率的比较结果。Ganguly是根据深度图像中的曲率特征进行特征点的提取，通过平均曲率、最大曲率组合和高斯曲率、平均曲率组合比较识别结果，但仅通过曲率信息进行特征的提取，算法的鲁棒性易受影响。王蜜宫是基于局部几何信息，所以受到较小的表情和姿态变化影响。此外，由于不同人的鼻子的相似性，所以在本文数据库中旋转角度较小的情况下，本文和王蜜宫的方法对鼻尖点几乎都能完全精确定位。当人脸点云旋转接近90°时，由于旋转角度太大，鼻子、内眼角的描述区域的缺失，三种方法的精确率有所下降，从而导致特征点的定位误差，由于王蜜宫是基于点的局部形状信息进行特征点定位，而本文是基于旋转图像的相似度比较来进行特征点提取的，所以Ganguly和王蜜宫两种方法受到了更大的影响。由表2实验结果得知，在该数据库下，本文的方法要优越于另外两种方法。

表2三种算法的比较

数据类型	本文的精确率	王蜜宫的精确率	Ganguly的精确率
				正面变化表情	95.37％	81.25％	69.95％
轻微旋转	90.18％	74.91％	47.54％
				接近90°	85.51％	63.36％	18.03％

以上操作即为整个三维人脸特征点定位的全过程。

Claims (5)

1.一种展示了一个三维人脸点云特征点定位方法，包括以下步骤：

S1：由于人脸点云数据在采集的过程中不可避免的包含较多的噪声点，从而会影响到人脸点云特征点定位效果，因此首先采用双边滤波的预处理方法，进行点云数据的预处理；

S2:通过平均曲率和高斯曲率(HK)这一曲面形状描述方法，对预处理后的点云数据划分出人脸特征点候选区域；

S3:最后对特征点候选区点生成旋转图像(Spin Image)；

S4:用线性相关系数R来表示事先手工标记模板的鼻尖点和左右内眼角点的旋转图像和特征点形成的旋转图像相似程度，从而实现任意姿态下的鼻尖点和左右内眼角点的定位。

2.如权利要求1所述的基于三维人脸点云特征点定位方法，其特征在于，步骤S1中若人脸点云数据采用双边滤波的噪声滤波的方法，则计算公式为：

V′←V+d·n

其中V为点云中的任意一个顶点，d可以称作双边滤波权重因子，n为当前顶点V的法向方向；双边滤波在点云的主要思想：某邻点在点云去噪过程中所占的权重大小不是由单个因素左右的，而是有它到重心点的空间距离大小和它与重心点深度上的相似度，即指邻点与重心点的空间距离向量投影到中心点法向上的距离大小；双边滤波过程的关键是求出滤波权重因子，使得点云模型上的顶点沿着法向方向移动，并通过这种方式来光顺光噪点；点云模型的双边滤波权重因子d的定义如下：

$d=\frac{{\mathrm{\&Sigma;p}}_i\&Element;N\left(v\right)W_c\left(\right||v-p_i|\left|\right)W_s(<n,v-p_i>)<n,v-p_i>}{{\mathrm{\&Sigma;p}}_i\&Element;N\left(v\right)W_c\left(\right||v-p_i|\left|\right)W_s(<n,v-p_i>)}$

其中，p_i表示当前某一邻点，N(v)表示顶点V的所有邻域点的集合，||v-p_i||为当前邻点到中心点v的距离，<n,v-p_i>为当前邻点和中心点在深度上的相似度，也就是当前邻点与中心点之间的距离在中心点法向n上的投影。光顺滤波函数W_c是高斯卷积核函数的形式，该函数表示点与点在三维空间商的相似性：

$W_c\left(x\right)=\exp (-\frac{x^2}{2{{\mathrm{\&sigma;}}_c}^2})$

式中σ_c的值定为中心点与其最远邻近点之间距离的二分之一。特征保持权重函数W_s表示点与点之间的深度上的相似性，如下定义：

$W_s\left(y\right)=\exp (-\frac{y^2}{2{{\mathrm{\&sigma;}}_s}^2})$

其中σ_s的值是中心点与其所有邻域点到的距离投影到中心点法向上的大小的方差。

3.如权利要求1中所述的基于三维人脸点云特征点定位方法，其特征在于，步骤S2中HK的计算公式为：

$H=\frac{(1+I_x^2)I_{yy}-2I_x{I}_y{I}_{xy}+(1+I_y^2)I_{xx}}{2{(1+I_x^2+I_y^2)}^{3/2}}$

$K=\frac{I_{xx}{I}_{yy}-I_{xy}^2}{{(1+I_x^2+I_y^2)}^2}$

I_x，I_y是沿着x和y方向的一阶偏导，I_xy，I_xx和I_yy是对应的二阶偏导，通过平均曲率和高斯曲率的正负号来进行点类型的分类。

4.如权利要求3中所述的基于三维人脸点云特征点定位方法，其特征在于，旋转图像是一种三维物体表面的全局配准技术，取三维人脸点云模型上任一点，计算该点的法向量得到切平面，然后将其余所有点向该点的切平面投影，形成的二维直方图则为该点的旋转图像；旋转图像生成的过程决定了其具有三维曲面全面的几何表征性，且旋转图像对噪声不敏感；给定一个三维曲面O，p是曲面O上的一有向点，n为p点所对应的法线，P是垂直法线n且过p点的切平面，直线L是经过p点并平行于法线n。而其他点x旋转映射坐标为：p，x两点处法向量n之间的距离α，和点x与切平面的有向距离β，三维数据投影到由(p，n)确定的二维坐标系下的映射函数表达式为S_O，选定有向点p以后，三维曲面上的任意一点x与p的关系通过(α，β)来表达，旋转图像就是该有向点邻域的(α，β)坐标的二维图像，旋转图像计算公式为

S_O:R³→R²

$S_O\left(x\right)\&RightArrow;(\mathrm{\&alpha;},\mathrm{\&beta;})=(\sqrt{\left|\right|x-p|{|}^2-{(n\&CenterDot;(x-p\left)\right)}^2},n\&CenterDot;(x-p\left)\right)$

5.如权利要求1中所述的基于三维人脸点云特征点定位方法，其特征在于，我们用线性相关系数R来表示两个旋转图像的相似程度，由于线性相关系数是利用像素数量进行计算的，旋转图像重叠的数量将影响相关系数，R表示为线性相关系数，两个旋转图像P和Q，N为两个旋转图像重叠像素的数量，p_i和q_i为旋转图像的第i个像素的数值，R的取值范围(-1，1)，其中，当R的值越大，越接近1，这两个旋转图像越相似，越接近-1，说明这两个旋转图像不相似，本文取R的阈值为0.9，计算公式为：

$R(P,Q)=\frac{{\mathrm{N\&Sigma;p}}_i{q}_i-{\mathrm{\&Sigma;p}}_i{\mathrm{\&Sigma;q}}_i}{\sqrt{({\mathrm{N\&Sigma;p}}_i^2-{\left({\mathrm{\&Sigma;p}}_i\right)}^2)({\mathrm{N\&Sigma;q}}_i^2-{\left({\mathrm{\&Sigma;q}}_i\right)}^2)}}$