CN102081733A - 多模态信息结合的多姿态三维人脸面部五官标志点定位方法 - Google Patents

Abstract

本发明公开了一种多模态信息结合的多姿态三维人脸面部五官标志点定位方法，用于解决现有的多姿态三维人脸面部五官标志点定位方法对姿态鲁棒性差的技术问题。技术方案是采用多模态信息结合进行三维人脸面部五官标志点定位，借助二维图像中五官结构轮廓清晰和三维人脸模型中五官标志区域凹凸分明的优势，能够不用预先对人脸模型的姿态进行估计和补偿，从而对姿态有着较强的鲁棒性，对正面三维人脸模型的五官标志点平均定位准确率达到98.5％，对姿态变化较小人脸模型，定位准确率由背景技术的88.3％提高到91.6％；对于姿态变化较大的人脸模型，本发明具有显著的优越性，定位准确率由背景技术的57.5％提高到73.5％。

Description

多模态信息结合的多姿态三维人脸面部五官标志点定位方法

技术领域

本发明涉及一种多姿态三维人脸面部五官标志点定位方法，特别是一种多模态信息结合的多姿态三维人脸面部五官标志点定位方法。

背景技术

多姿态人脸五官标志点提取是人脸建模、表情分析及人脸识别中的关键技术，准确高效的面部五官特征提取能够为上述应用奠定良好的基础。

文献“Guangpeng Zhang，Yunhong Wang.A 3D facial feature point localization method based on statistical shape model.in Proceeding of ICASSP2007，pp.249-252.”公开了一种多姿态三维人脸面部五官标志点定位方法。该方法通过检测面部曲面形状变化，并建立五官分布统计模型对人脸五官标志点进行定位。首先，采用曲面形状索引特征对人脸表面区域进行粗分割，分割出五官区域；其次采用面部五官统计形状模型对分割后的区域进行特征点定位，五官区域中满足统计形状模型分割规律且距离区域中心点最近的点即为最终定位的五官特征点，从而实现姿态不变特征点的提取。但是，该方法存在以下问题：首先，该方法中的曲面形状索引受曲面噪声点的影响较大，定位准确率只有88.3％；其次，采用五官统计形状模型对姿态有着较大的依赖性，虽然能够克服部分姿态影响，但是对于姿态变化较大的人脸模型，定位准确率仅仅达到57.5％。

发明内容

为了克服现有的多姿态三维人脸面部五官标志点定位方法对姿态鲁棒性差的不足，本发明提供一种多模态信息结合的多姿态三维人脸面部五官标志点定位方法。该方法采用多模态信息结合进行三维人脸面部五官标志点定位，借助二维图像中五官结构轮廓清晰和三维人脸模型中五官标志区域凹凸分明的优势，能够不用预先对人脸模型的姿态进行估计和补偿，从而对姿态有着较强的鲁棒性。

本发明解决其技术问题所采用的技术方案：一种多模态信息结合的多姿态三维人脸面部五官标志点定位方法，其特点是包括下述步骤：

(a)对人脸二维纹理图像进行特征点检测，将每幅人脸二维纹理图像对由前视位置绕相机光轴方向变化产生的图像形变失真进行精确仿真，倾斜转换度由定向的t子采样，仿真图像依照

进行φ旋转，在x方向采用标准偏差

的高斯函数对图像进行卷积操作，c＝0.8；式中，φ是相机经度角，θ是相机纬度角；

对形变变量通过相机经度角φ和相机纬度角θ调节；

采用相似度不变匹配方法对所有仿真图像进行比较，提取出的特征点中抽取最具有代表性的五官特征描述点；

(b)将人脸二维纹理图像中检测出的五官特征点数据U＝{u_i∈R²：i＝1，2，…，N}，R²表示二维数据空间，根据相应关系映射到三维人脸模型中；二维图像中非人脸区域内检测出的特征点在三维人脸数据中对应点的特征值为0，即非人脸区域，将非人脸区域点从三维人脸数据中剔除；对三维人脸模型数据集P{p_i，i＝1，2，...，N}中的每一个顶点p_i，计算由最大曲率

和最小曲率

表示的三维人脸五官区域凹凸变化的结构描述信息脊线l_ridge和谷线l_valley：

$l_{\mathrm{ridge}}=\{p_i,\mathrm{if}(k_{1_{\mathrm{pi}}}>k_{\mathrm{thresh}1})|p_i\∈P\}---\left(1\right)$

$l_{\mathrm{valley}}=\{p_i,\mathrm{if}(k_{2_{\mathrm{pi}}}>k_{\mathrm{thresh}2})|p_i\∈P\}---\left(2\right)$

作为人脸五官的局部突变点集；式中，k_thresh1、k_thresh2分别为局部区域的门限曲率，由遗传算法计算得出，得到人脸五官区域位置的脊线l_ridge和谷线l_valley；

(c)Step1：分别对不同姿态三维人脸数据集M_f和M_nf的突变点集合P_F|mark| ^f和P_G|mark ^nf中的每一个标志点p_i，F|mark ^f，p_j，F|markn ^f，建立形状编码，并比较M_f和M_nf特征点对间的约束关系

Step2：对R建立的点对约束，计算P_F|mark ^f和P_F|mark ^nf各点的匹配误差D(p_i，F|mark ^f，p_j，F|mark ^nf)，统计出偏差阈值τ；

Step3：去除P_F|mark ^f和P_F|mark ^nf中误差值大于偏差阈值τ的点，建立新的集合P_F|mark ^f′和P_F|mark ^nf′，转Step2，若相邻两次阈值差小于给定误差值，迭代结束；

Step4：P_F|mark ^f′和P_F|mark ^nf′即是相应人脸数据模型中的五官标志点。

本发明的有益效果是：由于采用多模态信息结合进行三维人脸面部五官标志点定位，借助二维图像中五官结构轮廓清晰和三维人脸模型中五官标志区域凹凸分明的优势，能够不用预先对人脸模型的姿态进行估计和补偿，从而对姿态有着较强的鲁棒性，对正面三维人脸模型的五官标志点平均定位准确率达到98.5％，对姿态变化较小人脸模型，定位准确率由背景技术的88.3％提高到91.6％；对于姿态变化较大的人脸模型，本发明具有显著的优越性，定位准确率由背景技术的57.5％提高到73.5％，远远高于背景技术的定位准确率。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明多模态信息结合的多姿态三维人脸面部五官标志点定位方法，首先对二维人脸纹理图像采用仿射不变的Affine-SIFT方法进行特征点检测；然后，利用映射关系将二维空间中检测出的特征点投影到三维空间，对三维人脸模型数据集中的每一个顶点，计算由最大、最小曲率表示的三维人脸五官区域凹凸变化的结构描述信息脊线和谷线，作为人脸五官的局部突变点集；最后，建立不同姿态人脸特征点对间的约束关系，用最小二乘法进行匹配优化，对匹配结果进行统计分析，得出某一偏差值，使绝大多数点均在该偏差值以内，以此偏差值作为阈值滤除偏差大的点，建立新的集合，认为被滤出的点是非五官标志点，直到相邻两次阈值之差小于给定的误差值，将此时集合中的点确定为人脸五官标志点。由于本发明采用多模态信息结合的思路进行三维人脸面部五官标志点定位，借助二维图像中五官结构轮廓清晰和三维人脸模型中五官标志区域较易凹凸分明的优势，能够不用预先对人脸模型的姿态进行估计和补偿，从而对姿态有着较强的鲁棒性，实现了对多姿态三维人脸面部五官标志点的定位。

1、基于二维纹理图像的特征点检测。

人脸可以在三维空间中进行6自由度的运动，同时实际应用中不同相机获取到的人脸图像由于相机光轴方向的变化而产生图像失真，从而使得人脸特征点的检测面临着更大的困难。ASIFT(Affine Scale Invariant Feature Transform)在保留SIFT方法优良性能，如对旋转、尺度缩放、平移、亮度变化保持不变性，对视角变化、噪声也保持一定程度的稳定性的基础上，对仿射变化具有更强的不敏感性。ASIFT方法首先对由相机光轴方向变化产生的图像失真进行精确仿真，然后，采用与SIFT相同的步骤进行特征点检测。ASIFT能够对三个参数进行仿真，即尺度、相机经度角和相机纬度角，同时对旋转和平移参数进行归一化，因此对仿射变换具有不变性。

ASIFT方法具体实现步骤如下：

Step1：将每幅图对由前视位置绕相机光轴方向可能引起的仿射形变进行仿真，该形变由两个参数决定：相机经度角φ和纬度角θ。图像经由依照倾斜转换度相关参数

进行φ旋转。对于数字图像而言，倾斜转换度由一个定向的t子采样来完成，该过程需要首先在x方向上使用一个有着标准偏差

的高斯函数来对图像进行卷积操作，选取c＝0.8。

Step2：这些旋转和倾斜转换度变量通过一系列有限的纬度和经度角来调节，这些参数的采样步骤保证仿真图像与其他由相机经度角φ和纬度角θ产生的视图相似性较强。

Step3：所有仿真图像用相似度不变匹配方法SIFT来进行比较。

ASIFT对仿射变换具有不变性，同时由于其保留了SIFT本身对尺度、旋转、平移的不变特性，因此ASIFT能够较为鲁棒地检测同一个体的不同姿态人脸图像对间相匹配的特征点对。但是由ASIFT提取的大多数特征点在人脸五官描述方面并没有实际意义，对于人脸识别所需要的最为重要的五官描述标志点，绝大多数特征点为冗余特征。为了有效地进行人脸分析，必须从提取出的特征点中抽取最具有代表性的五官特征描述点。

2、五官局部突变描述。

人脸库中的二维图像数据U＝{u_i∈R²：i＝1，2，…，N}与三维网格数据V＝{v_j＝(x_j，y_j，z_j)∈R³：j＝1，2，…，M}存在映射关系，记为Ψ：u_i→v_j，

R²，R³分别表示二维、三维数据空间。将二维图像的特征点向三维空间进行映射，二维图像中非人脸区域内检测出的特征点在三维人脸数据中对应点的特征值为0，即非人脸区域，由此可以将非面部区域点从三维人脸数据中自动剔除。

以P{p_i，i＝1，2，...，N}表示三维人脸数据集合，对该数据集中的每一个顶点p_i，其最大和最小曲率分别表示为

和

能够描述曲面结构的重要信息，而由最大最小曲率计算出的三维曲面上的脊线和谷线能够较好地描述人脸五官区域的凹凸变化，分别以l_ridge和l_valley表示，其计算原则为：

$l_{\mathrm{ridge}}=\{p_i,\mathrm{if}(k_{1_{\mathrm{pi}}}>k_{\mathrm{thresh}1})|p_i\∈P\}---\left(1\right)$

$l_{\mathrm{valley}}=\{p_i,\mathrm{if}(k_{2_{\mathrm{pi}}}>k_{\mathrm{thresh}2})|p_i\∈P\}---\left(2\right)$

其中k_thresh1、k_thresh2分别为局部区域的门限曲率，其值可以由遗传算法计算得出。由以上谷线和脊线的计算原则，能分别得到人脸五官区域位置的谷线和脊线。假设映射到三维空间的面部区域特征点集由

表示，在该集合中按照式(1)和(2)计算满足脊线和谷线的点，并保留相应的脊线和谷线。令特征点集P_F内的脊线和谷线分别标记为P_F|ridge，P_F|valley，并将两集合合并为P_F|mark，表示人脸五官的局部突变点集。

3、迭代约束的五官标志点定位。

为了从五官局部突变点集合P_F|mark中确定最终的标志点，需要建立不同姿态人脸数据集中五官标志点间的约束关系，并采用迭代优化的方式进行修正，达到最优匹配。算法思想为：建立不同姿态人脸特征点对间的约束关系，然后用最小二乘法进行匹配优化，对匹配结果进行统计分析，得出某一偏差值τ，使绝大多数点均在该偏差值以内，以此偏差值作为阈值滤除偏差大的点，建立新的集合P_F|mark′，认为被滤出的点是非五官标志点，直到相邻两次阈值之差小于给定的误差值，将此时集合P_F|mark′中的点确定为人脸五官标志点。

算法过程如下：

Step1：假设不同姿态三维人脸数据集M_f，分别对M_f和M_nf的突变点集合P_F|mark ^f和P_F|mark ^nf中的每一个标志点p_i，F|mark ^f，p_j，F|mark ^nf，建立形状编码，并比较M_f和M_nf特征点对间的约束关系

Step2：对R建立的点对约束，计算P_F|mark ^f和P_F|mark ^nf各点的匹配误差D(p_i，F|mark ^f，p_j，F|mark ^nf)，统计得出偏差阈值τ；

Step3：去除P_F|mark ^f和P_F|mark ^nf中误差值大于阈值τ的点，建立新的集合P_F|mark ^f′和P_F|mark ^nf′，转Step2，若相邻两次阈值差小于给定误差值，迭代结束；

Step4：记此时的P_F|mark ^f′和P_F|mark ^nf′即为相应人脸数据模型中的五官标志点。

Claims (1)

1.一种多模态信息结合的多姿态三维人脸面部五官标志点定位方法，其特征在于包括下述步骤：

(a)对人脸二维纹理图像进行特征点检测，将每幅人脸二维纹理图像对由前视位置绕相机光轴方向变化产生的图像形变失真进行精确仿真，倾斜转换度由定向的t子采样，仿真图像依照

进行φ旋转，在x方向采用标准偏差的高斯函数对图像进行卷积操作，c＝0.8；式中，φ是相机经度角，θ是相机纬度角；

对形变变量通过相机经度角φ和相机纬度角θ调节；

采用相似度不变匹配方法对所有仿真图像进行比较，提取出的特征点中抽取最具有代表性的五官特征描述点；

(b)将人脸二维纹理图像中检测出的五官特征点数据U＝{u_i∈R²：i＝1，2，…，N}，R²表示二维数据空间，根据相应关系映射到三维人脸模型中；二维图像中非人脸区域内检测出的特征点在三维人脸数据中对应点的特征值为0，即非人脸区域，将非人脸区域点从三维人脸数据中剔除；对三维人脸模型数据集P{p_i，i＝1，2，...，N}中的每一个顶点p_i，计算由最大曲率

和最小曲率

表示的三维人脸五官区域凹凸变化的结构描述信息脊线l_ridge和谷线l_valley：

$l_{\mathrm{ridge}}=\{p_i,\mathrm{if}(k_{1_{\mathrm{pi}}}>k_{\mathrm{thresh}1})|p_i\∈P\}---\left(1\right)$

$l_{\mathrm{valley}}=\{p_i,\mathrm{if}(k_{2_{\mathrm{pi}}}>k_{\mathrm{thresh}2})|p_i\∈P\}---\left(2\right)$

作为人脸五官的局部突变点集；式中，k_thresh1、k_thresh2分别为局部区域的门限曲率，由遗传算法计算得出，得到人脸五官区域位置的脊线l_ridge和谷线l_valley；

(c)Step1：分别对不同姿态三维人脸数据集M_f和M_nf的突变点集合P_F|mark ^f和P_F|mark ^nf中的每一个标志点p_iF|mark ^f，p_j，F|mark ^nf，建立形状编码，并比较M_f和M_nf特征点对间的约束关系

Step2：对R建立的点对约束，计算P_F|mark ^f和P_F|mark ^nf各点的匹配误差D(p_i，F|mark ^f，p_j，F|mark ^nf)，统计出偏差阈值τ；

Step3：去除P_F|mark ^f和P_F|mark ^nf中误差值大于偏差阈值τ的点，建立新的集合P_F|mark ^f′和P_F|markn ^f’，转Step2，若相邻两次阈值差小于给定误差值，迭代结束；

Step4：P_F|mark ^f′和P_F|markn ^f′即是相应人脸数据模型中的五官标志点。