CN103310204B - 基于增量主成分分析的特征与模型互匹配人脸跟踪方法 - Google Patents

Abstract

本发明公开了一种基于在线增量主成分分析的特征与模型互匹配人脸跟踪方法，该方法包括以下步骤：对多幅人脸图像进行离线建模，得到模型匹配(CLM)模型A；对待跟踪人脸视频中的每一帧进行关键点检测，所有关键点的集合及其鲁棒描述子组合为关键点模型B；基于所述关键点模型B对所述待跟踪人脸视频中的每一帧进行关键点匹配，获得每一帧人脸图像中初始的人脸姿态参数组；利用模型A对待跟踪人脸视频进行CLM人脸跟踪；基于初始人脸姿态参数组和初次跟踪结果进行再跟踪；更新模型A并重复上述步骤，得到最终的人脸跟踪结果。本发明解决了在进行CLM人脸跟踪时，由于目标图像中相邻帧间变化大时出现的跟踪丢失的问题，从而提高了跟踪的精准度。

Description

基于增量主成分分析的特征与模型互匹配人脸跟踪方法

技术领域

本发明涉及计算机图形图像技术领域，尤其是一种高鲁棒性的基于在线增量主成分分析的特征与模型互匹配人脸跟踪方法。

背景技术

近年来，计算机视觉技术取得了长足的发展，图像识别与跟踪已经成为计算机领域一个热门的研究方向。鲁棒的实时人脸跟踪是智能视频监控和基于视觉的人机交互以及机器人导航等领域的一个核心。该技术应用于视频会议、公安刑侦、访问控制、金融支付、医学应用等众多领域。人脸是一个非刚性的识别对象，在运动中，其大小、形状的变化都会影响跟踪的效果，所以实时的人脸跟踪是对计算机视觉领域的一个挑战。

目前人脸跟踪技术主要可以分为三类：基于特征匹配的跟踪、基于区域匹配的跟踪和基于模型匹配的跟踪。

对于基于特征匹配的跟踪：该方法进行序列图像运动目标的跟踪，其包括特征提取和特征匹配两个过程。在特征提取过程中需要选择适当的跟踪特征，并且在序列图像的下一帧中提取这些特征；在特征匹配过程中，将提取到的当前帧的特征同上一帧，或者是用来确定目标物体的特征模板进行比较，根据比较结果确定是否是对应物体，从而完成跟踪过程。但是特征点会由于遮挡或光线变化而不可见，这将导致跟踪失败，这是基于特征匹配跟踪的缺点。

对于基于区域匹配的跟踪：该方法是把图像中目标物体的连通区域的共有特征信息作为跟踪检测值的一种方法。在连续的图像中可以采用多种区域信息。基于区域匹配的跟踪不能根据目标的整体形状来对跟踪结果进行调整，因此在长时间连续跟踪时，容易因误差累积而发生目标丢失的情况。

对于基于模型匹配的跟踪：该方法是通过建立模型的方法来表示需要跟踪的目标物体，然后在序列图像中跟踪这个模型来达到跟踪的目的。目前主要有两种类型的可变形模型，一种是自由式的可变形模型，只要满足一些简单的正则化约束条件(如连续性，平滑性等)，就可以用来跟踪任意形状的目标物体，这类方法通常也被称为活动轮廓模型；另一种是参数形式的变形模型，它使用一个参数公式，或者是一个原形与一个变形公式来共同描述目标物体的形状。

由上可见，目前主流的人脸跟踪技术，还是不能在保证鲁棒性的前提下去精准地跟踪到人脸。

发明内容

为了解决现有技术的问题，本发明的目的是提供一种高鲁棒性的人脸跟踪技术。

为了达成所述目的，本发明提出了一种高鲁棒性的在线增量主成分分析的特征与模型互匹配人脸跟踪方法，该方法结合了基于特征匹配(关键点匹配)和基于约束局部模型匹配(CLM)的跟踪，同时加入了在线增量主成分学习，让CLM模型A和关键点点模型B相互匹配，并实时更新，使得检测的精准度和鲁棒性地到了很好地保证，且可以解决较大视角的人脸跟踪问题。

所述高鲁棒性的在线增量主成分分析的特征与模型互匹配人脸跟踪方法包括以下步骤：

步骤S1，对于多幅人脸图像进行离线建模，得到包括形状模型s和纹理模型w^T的模型匹配(CLM)模型A；

步骤S2，输入一待跟踪人脸视频，对于所述待跟踪人脸视频中的每一帧人脸图像进行关键点检测，将所得到的所有关键点的集合和这些关键点的鲁棒描述子组合起来作为关键点模型B；

步骤S3，基于所述步骤S2得到的关键点模型B，对于所述待跟踪人脸视频中的每一帧人脸图像进行关键点匹配，获得每一帧人脸图像中初始的人脸姿态参数组(R，T)，其中，R表示角度参数和T表示位移参数；

步骤S4，利用所述模型A对所述待跟踪人脸视频进行CLM人脸跟踪，得到所述待跟踪人脸视频每一帧人脸图像中特征点的位置；

步骤S5，基于所述步骤S3得到的每一帧人脸图像中人脸的姿态参数组和所述步骤S4跟踪得到的每一帧人脸图像中特征点的位置，对所述待跟踪人脸视频中的每一帧人脸图像进行人脸的再跟踪；

步骤S6，使用增量PCA方法对所述模型A进行更新，并利用更新后的模型A重复所述步骤S1-S5，得到最终的人脸跟踪结果。

本发明的有益效果是：本发明结合了基于特征匹配(关键点匹配)和基于模型匹配(CLM)的人脸跟踪，同时加入在线增量学习，让CLM模型A和关键点模型B相互匹配，并实时更新，使得检测的精准度和鲁棒性得到了很好地保证，本发明方法可以解决较大视角的人脸跟踪问题。

附图说明

图1是根据本发明一实施例的基于在线增量主成分学习的特征与模型互匹配人脸跟踪方法流程图；

图2是根据本发明方法对正脸进行跟踪的结果示意图；

图3是根据本发明方法对存在小角度转动的脸部的跟踪结果示意图；

图4是根据本发明方法对存在较大角度转动的脸部的跟踪结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明基于在线增量主成分分析的特征与模型互匹配人脸跟踪方法流程图，如图1所示，所述方法包括以下步骤：

步骤S1，对于多幅人脸图像进行离线建模，得到模型匹配(CLM，Constrained Local Model)模型A；

所述CLM模型A包括形状模型s和纹理模型w^T，因此该步骤中，得到CLM模型A的步骤进一步包括以下步骤：

步骤S11，根据事先确定的共同的人脸轮廓对所述多幅人脸图像分别进行标定得到多个标定特征点，并根据所述多个标定特征点的坐标值建立得到一人脸形状模型s；

在一个CLM模型A中，形状定义为一个由一系列顶点位置组成的网格，因此可以用一系列的顶点的坐标来定义一个人脸形状向量s_m：

s_m＝(x₁，y₁，x₂，y₂，...，x_n，y_n)^T (1)

其中，x_i，y_i分别为相应人脸图像中第i个顶点的坐标值，n为实际采用的顶点的个数，可以设为66，88等。

所述顶点的坐标是依照所述事先确定的共同的人脸轮廓人为进行标定的，所述顶点又称为标定特征点，具体来说，所述步骤S11进一步包括以下步骤：

步骤S111，事先采集N张人脸图像，其中，N是一个大于n的正整数，每张人脸图像上都依照所述共同的人脸轮廓进行人为标定，从而得到多个标定特征点，所述共同的人脸轮廓包括眼睛、鼻子、嘴和脸部外部的轮廓，进而根据公式(1)可以得到N个人脸形状向量s_m，其中，m表示N张人脸图像中的第m张人脸图像。

步骤S112，在得到人脸形状向量s_m的基础上，所述人脸形状模型s可以用一个平均人脸形状s₀加上u个正交的人脸形状向量si的线性组合来表示，即：

$s=s_0+{\mathrm{\Σ}}_{i=1}^u{p}_i{s}_i---\left(2\right)$

其中，p_i是形状参数，s₀为平均人脸形状，s_i为相对于平均的人脸形状的变化，p_i、s₀和s_i均由对采集到的N个人脸形状向量s_m进行主成分分析(Principal Component Analysis-PCA)得到：s₀为N个人脸形状向量s_m的均值，m＝1…N；p_i是所述主成分分析后得到的u个特征向量s_i所对应的权值。需要注意的是，在进行主成分分析前，需要对所述N个人脸形状向量sm分别进行普鲁斯特分析(procrustes analysis)，以减小偏转、尺度、平移等误差，所述普鲁斯特分析为现有技术中常用的分析方法，在此不做赘述。

步骤12，基于所述步骤S11得到的每一个标定特征点，学习得到能够体现所述每一个标定特征点对应的具有一定大小区域的纹理特征的纹理模型w^T。

所述纹理模型的建立可以采取多种方式进行，在本发明一实施例中，采用支持向量机(Support Vector Machine-SVM)来建立所述纹理模型，具体过程包括：

步骤S121，以所述步骤S11得到的每一人脸图像的每一个标定特征点为中心，截取一个大小为r×r的区域作为正样本，在相应图像中的任意其他位置处截取多个r×r大小的区域作为负样本，这样对于N幅人脸图像就会得到具有同一含义的标定特征点(比如在不同的人脸图像中，指代左眼角的标定特征点认为是具有同一含义的标定特征点)的N个正样本和多个负样本；

步骤S122，基于每个标定特征点所对应的样本组，利用支持向量机(SVM)得到每个标定特征点对应的纹理模型w^T。

该步骤中，首先将每个标定特征点所对应的样本组中的每个样本(包括正样本和负样本)写成数学形式：

$x^{\left(i\right)}={[x_1^{\left(i\right)},x_2^{\left(i\right)},...,x_{r\×r}^{\left(i\right)}]}^T---\left(3\right)$

其中，(i)表示相应样本的序号，为相应样本中某一位置处的像素值。

然后，利用SVM得到每个标定特征点对应的纹理模型w^T。

对于SVM而言，其学习过程可以表示为：

y⁽ⁱ⁾＝w^T·x⁽ⁱ⁾+θ (4)

其中，y⁽ⁱ⁾为SVM的输出，w^T是学习得到的纹理模型：w^T＝[w₁ w₂...w_r×r]，θ为SVM的偏移量，对于每个标定特征点所对应的正样本，y⁽ⁱ⁾＝1；负样本，y⁽ⁱ⁾＝0。

接下来进行关键点模型B的构建与离线的关键点匹配，该部分包括步骤S2-S3，其主要是为了获得稳定有效的关键点，通过仿真人脸表面的各种形变，尽可能地学习对这些形变鲁棒的关键点，从而获得稳定的关键点匹配。

步骤S2，输入一待跟踪人脸视频，对于所述待跟踪人脸视频中的每一帧人脸图像进行关键点检测，将所得到的所有关键点的集合和这些关键点的鲁棒描述子组合起来作为关键点模型B；

关键点的检测通常使用的方法是根据图像中的关键点进行识别检测。相比直、曲线片段和点状，利用关键点来识别图像信息的优点是能够在出现拥挤(遮挡)、大的尺度和方向变化的情况下依然可以做出较好的匹配。

由于人脸所存在的特性，关键点的学习存在着许多问题：1，不同的角度、表情、光照变化会产生人脸形状的几何和光学上的扭曲形变；2，人脸上的纹理比背景的少，区别存在难度(关键点相对少)；3，关键点在三维上的位置估计不够精确。但是，采用不变特征点作为关键点可以有效解决上述问题，具体为：将利用已有的3D人脸模型检测出的3D关键点集和利用多视角图像检测出的2D关键点集进行模拟形变，从而找出稳定的2D关键点。

所述关键点检测的步骤包含关键点的学习和其鲁棒描述子的学习，其中鲁棒描述子的学习是为了保证关键点的稳定性。

所述关键点的学习进一步包括以下步骤：

步骤S21，对于所述人脸图像序列中的每一帧图像，使用现有技术中常用的关键点计算方法，比如Fast算法，初步计算得到多个关键点；

步骤S22，从所述步骤S21得到的多个关键点中选出具有不变性的关键点，并将所述待跟踪人脸视频中的所有图像的不变性关键点组合起来得到关键点集合及这些关键点的描述子(f_i，x_i，y_i)，其中，f_i表示第i个关键点的特征值，(x_i，y_i)表示该关键点的坐标；

所述不变性关键点为经过姿态旋转、表情变化和/或光照变化后仍为关键点的关键点，该步骤中使用参数集(Pose，Shape，Light)的变化，来模拟人脸的姿态旋转、表情变化和光照变化，其中，Pose指的是小范围的姿态旋转引起的局部遮挡，Shape指的是非刚性的人脸表情变化，Light指的是光照引起的复杂变化，如阴影等；令W(k₀；Pose，Shape，Light)表示图像I₀上的某一关键点k₀在上述三种变换下得到的点k所对应的位置，如果该关键点k₀在上述变换后仍然被检查为关键点，并且满足下式，就认为关键点k₀对于上述变换具有不变性：

F_k0-F_k＜t (5)

其中，F_k0为关键点k₀的特征值，F_k为点k的特征值，t为允许的定位误差上限。

目前得到的关键点集合中的关键点描述子并不具有鲁棒性，接下来需要通过学习的方法取得关键点的鲁棒描述子。在本发明一实施例中，所述关键点鲁棒描述子的学习采用增量学习的方法。由上文可知，关键点作为检测图像的主要识别因子，应该具有不变性(比如对于方向、尺度、旋转等的不变性)。但是在很多情况下，关键点的局部外观表现可能会在方向和尺度上发生变化，有时甚至存在仿射变形，因此为了更准确地对关键点进行匹配，需要对关键点进行有效的区分描述，提取出其局部方向、尺度和旋转的框架估计，形成描述子，比如sift就是一种可以采用的描述子，利用该描述子能够对关键点进行重新采样。

所述关键点的鲁棒描述子的学习包括以下步骤：

步骤S23，按照所述步骤S21和S22的描述，对于所述待跟踪人脸视频中的每一帧图像进行关键点检测，得到n个不变性关键点，这n个不变性关键点构成初始关键点集合A；

步骤S24，对所述图像中的人脸进行某一种参数变换，仿真得到变换后的图像，其中，所述参数为shape、pose或light；

步骤S25，按照所述步骤S21和S22的描述，对变换后的图像进行关键点检测得到多个不变性关键点，这些不变性关键点构成关键点集合B；

步骤S26，对关键点集合B里的每个点p，与关键点集合A进行描述子匹配操作：

在关键点集合A中，找到与点p位置最近的点q，比较点p和点q反投影到正面三维模型表面上的三维点p’和q’，判断p’和q’是不是同一个三维点，如果p’和q’是同一个三维点且p的描述子和q的描述子最为接近，则表示这个描述子是有效的，则把p的描述子加入到q的描述子中，如此q就多了一个描述子；如果p’和q’是同一个三维点且点p的描述子和集合A中非q的另一个点x的描述子最为接近，则点q及其描述子无效；如果p’和q’是同一个三维点且点p的描述子和集合A中每个点的描述子都不一样，则说明它的描述子被错误的分类为背景了，所以将p和p的描述子加入到集合A中；如果p’和q’不是同一个三维点且p的描述子和集合A中某个点s的某个描述子很接近，这表明点s容易引起误匹配，所以将点s及其描述子从集合A中去掉；如果p’和q’不是同一个三维点且p的描述子和集合A中每个关键点的描述子都不一样，则将点p及其描述子加入到集合A中；

步骤S27，对于经过其他不同参数变换后的图像重复所述步骤24到26，最终得到所述待跟踪人脸视频中每一帧图像的完备的关键点鲁棒描述子。

得到了所有关键点集合及其鲁棒描述子后就得到了关键点模型B。

步骤S3，基于所述步骤S2得到的关键点模型B，对于所述待跟踪人脸视频中的每一帧人脸图像进行关键点匹配，获得每一帧人脸图像中初始的人脸姿态参数组，其中，所述姿态参数组包括角度参数R和位移参数T：(R，T)；

所述关键点匹配的过程是比较差异性的过程，通常匹配的对象是前后图像帧变化比较小的图像序列。

具体地，所述步骤S3进一步包括以下步骤：

步骤S31，根据所述步骤S2得到所述人脸视频的某一帧人脸图像的上一人脸图像帧的关键点，并在该帧人脸图像中寻找上一人脸图像帧的某一关键点在当前帧中的相应位置附近的关键点；

步骤S32，将当前帧中所述关键点的描述子和所述关键点模型B中的描述子进行匹配，将当前帧中利用已有的3D人脸模型检测出的能够与所述关键点模型B中的描述子匹配上的3D关键点组成集合V，将当前帧中与所述关键点模型B中的描述子匹配上的2D关键点组成集合u，将所述集合V通过选择姿态参数组(R，T)，以及摄像头的内参数K(该参数可以通过标定的方法事先确定)，得到所述集合V经过平面投影后的2D关键点集合u′，比较u′和u，求取使得||u-u′||最小的该帧图像中初始的人脸相对于正脸的姿态参数组(R，T)：

${(R,T)}^{*}=\arg {\min }_{(R,T)}\underset{i}{\overset{N_k}{\mathrm{\Σ}}}{{\left|\right|K\left[R\right|T]V^i-u^i||}_2}^2---\left(6\right)$

其中，K为摄像机参数，R为角度矩阵，T为位移向量，[R|T]为由R和T组成的增广矩阵，Vi^为能够匹配所述关键点模型B中的描述子的3D关键点集合，uⁱ为能够匹配所述关键点模型B中的描述子的2D关键点集合，i为关键点的序号，N_k为集合V和集合u_t的关键点个数的最大值。

接下来进行CLM人脸跟踪，该部分主要通过步骤S4来实现。

步骤S4，利用所述模型A对所述待跟踪人脸视频进行CLM人脸跟踪，得到所述待跟踪人脸视频每一帧人脸图像中特征点的位置，并进而基于所述步骤S3得到的初始的人脸姿态参数组，得到所述待跟踪人脸视频每一帧人脸图像校正后的人脸姿态参数组；

该步骤通过拟合操作来实现人脸特征点的跟踪，所述拟合其实就是对一模型进行参数调整，得到一实例模型，并使所述实例模型与新的输入图片相匹配的过程，这是一个能量最小化问题。

所述步骤S4进一步包括以下步骤：

步骤S41，对所述待跟踪人脸视频中的某一当前帧人脸图像进行脸部检测，得到初始的n个特征点，并相应地得到每个特征点的响应图像R(x，y)；

该步骤中，首先利用现有技术中常用的Viola-Jones方法对该帧人脸图像进行脸部检测，得到一个小范围的脸部区域；然后在该脸部区域内，初始化一个脸部轮廓模型，该模型可以是上文提到的s₀。这样，根据所述初始化的脸部轮廓模型就得到该帧人脸图像的初始的n个特征点。

其中，每个特征点的响应图像R(x，y)为w^T·x⁽ⁱ⁾矩阵化后的结果，其中，w^T是根据SVM求得的该特征点的纹理模型：w^T＝[w₁ w₂...w_r×r]，x⁽ⁱ⁾为该特征点的第i个大小为r*r的样本，可见，所述响应图像R(x，y)的大小为r*r，其实，所述响应图像相当于用纹理模型w^T在样本中进行滤波所得到的结果。

步骤S42，利用所述响应图像R(x，y)，通过拟合得到所述待跟踪人脸视频每一帧人脸图像中与所述当前帧人脸图像具有同一含义的特征点的位置；

所述拟合进一步包括以下步骤：

步骤S421，对以所述步骤S41中得到的所有特征点中的每一个特征点为中心的大小为r×r的区域进行范围为a×a的搜索，对于每一个特征点，得到一以其为中心、直径为(r+a)的正方形区域；

，而学习时样本的范围是，其也即拟合过程中响应图像的大小步骤S422，在已知当前帧的特征点的情况下，通过函数拟合的方式找到当前帧的下一帧或上一帧图像的所述正方形区域中与所述当前帧人脸图像具有同一含义的特征点的坐标位置。

对于所述拟合，需要找到能够使在下一帧或上一帧图像中拟合得到的每个特征点的正样本与相应响应图像R(x，y)的均方差降到最低的函数参数最优解。为了使这个最优解能达到全局化而非局部性的目的，在本发明一实施例中，采用二次函数进行拟合，此时就需要找到能够使得(8)式所表示的目标函数中的均方差值最小的(7)式中的函数参数a′，b′，c′，在本发明一实施例中，可通过二次规划的方法来求得函数参数a′，b′，c′的最优解。

r(x，y)＝a′(x-x₀)²+b′(y-y₀)²+c′ (7)

$\mathrm{\ϵ}=\underset{x,y}{\mathrm{\Σ}}{[R(x,y)-r(x,y)]}^2---\left(8\right)$

其中，r(x，y)为拟合得到的某一特征点的正样本，由于某一特征点的正样本以该特征点为中心，因此得到了正样本自然也就得到了该特征点的坐标位置。

在实际的拟合过程中，有可能会出现拟合得到的某一满足上述目标函数的特征点实际上并不是人脸特征点的情况，为了避免这种误判情况的发生，本发明在上述拟合过程中引入对于特征点的位置限制，即拟合得到的特征点的位置(x_i，y_i)应满足公式(9)，其中，i代表第i个特征点：

$f(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{r}_i(x_i,y_i)-\mathrm{\β}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\frac{p_j^2}{e_j}---\left(9\right)$

其中，f(x，y)表示拟合得到的特征点的坐标函数，n为特征点的个数，k为所述步骤S1中提及的对N个人脸形状向量s_m进行主成分分析PCA后得到的特征向量的个数，p_j表示相应特征向量的权值，e_j表示相应特征向量对应的特征值，β是人为设定的权重。

为了节省计算量，(9)式可简化为如下表达式：

$f\left(x\right)=x^T\mathrm{Hx}-2F^{T}x-\mathrm{\β}{x}^T{s}_{\mathrm{nr}}{s}_{\mathrm{nr}}^{T}x---\left(10\right)$

其中，x＝[x_i，y_i]^T为拟合后的结果，即特征点被跟踪到的新坐标向量，H＝diag(H₁，H₂，...H_i...，H_n)，H_i＝diag(a′_i，b′_i)，a′_i、b′_i分别为(7)式中的参数；F＝[F₁，F₂，...，F_n]^T，其中，i为特征点的序数，n为特征点的个数；F_i＝[a_ix_0i，b_iy_0i]^T，(x₀，y₀)为相应特征点的响应图像R(x，y)具有最大值的坐标点； $s_{\mathrm{nr}}={[s_1/\sqrt{e_1},s_2/\sqrt{e_2},...,s_k/\sqrt{e_k}]}^T,$ s₁，...，s_k为经过PCA后得到的前k个特征向量，e₁…e_k表示相应特征向量对应的特征值。

(10)式是一个关于x的二次方程，因而可以求得一个唯一的x，使得(10)式取得最大值。

步骤S43，基于所述步骤S3得到的初始的人脸姿态参数组，根据拟合得到的特征点的位置得到校正后的人脸姿态参数组。

该步骤属于现有技术，在此不作赘述。

接下来，需要将所述步骤S2中描述的关键点检测、所述步骤S3中描述的人脸姿态参数组获取与所述步骤S4中描述的CLM人脸跟踪进行融合，相互进行学习来对人脸进行跟踪，以提高人脸跟踪的鲁棒性。

步骤S5，基于所述步骤S3得到的每一帧人脸图像中人脸的姿态参数组和所述步骤S4跟踪得到的每一帧人脸图像中特征点的位置，对所述待跟踪人脸视频中的每一帧人脸图像进行人脸的再跟踪；

根据上文的描述，可以初步计算出所述待跟踪人脸视频每一帧人脸图像中人脸的姿态参数组(R，T)，该参数组可以作为CLM人脸跟踪时的初始参数，利用关键点模型B对于CLM人脸跟踪进行初始化主要是因为R代表了人脸的角度，利用R可以在CLM实例化时选择正确角度的CLM模型及调整初始化的人脸形状。CLM模型包含有多个角度的模型，比如可以包含3类：正面模型、左侧面模型和右侧面模型。对于待跟踪的人脸，通过R确定人脸的角度，在CLM模型实例化的时候就可以利用和这个角度匹配的那类模型来进行实例化。

所述步骤S5进一步包括以下步骤：

步骤S51，根据所述步骤S2和步骤S3得到所述待跟踪人脸视频某一帧人脸图像中的关键点和初始的人脸姿态参数组；

步骤S52，基于该帧人脸图像中初始的人脸姿态参数组(R，T)，根据所述步骤S4的描述，在前向或后向上(前向比如可以为当前帧图像的下一帧图像方向，后向比如可以为当前帧图像的上一帧图像方向)对所述待跟踪人脸视频中的人脸图像进行CLM人脸跟踪，得到每一帧人脸图像中关键点的位置，进而根据所述初始的人脸姿态参数组(R，T)得到校正后的人脸姿态参数组，并利用所述校正后的人脸姿态参数组对所述关键点模型B进行更新；

对所述关键点模型B进行更新的步骤进一步包括以下步骤：

步骤S521，对于当前帧图像，根据其人脸姿态参数组(R，T)判断人脸的姿态；

步骤S522，根据当前帧图像中的关键点描述子F_i-(f_i，x_i，y_i)和关键点模型B的匹配情况来更新所述关键点模型B，具体为：

如果当前帧图像的大多数(比如80％)关键点都和所述关键点模型B中的关键点匹配，则将当前帧中没有匹配上的那些关键点补充到所述关键点模型B中，最开始的所述关键点模型B是基于正脸图进行的，经过不断的补充后会包含侧面的关键点；否则不进行所述关键点模型B的补充更新，因为此时当前帧图像的关键点可能包含了很多误检出来的关键点。

当然，并非每帧图像进行CLM人脸跟踪后，都要进行关键点模型B的更新，在实际情况中，可以每隔几帧进行一次。

步骤S53，利用更新后的关键点模型B按照所述步骤S3和步骤S4的描述对所述待跟踪人脸视频中的每一帧人脸图像进行人脸的再跟踪。

在所述步骤S52进行CLM人脸跟踪时，可以每隔数帧就根据所述步骤S51的描述对于人脸姿态参数组进行初始化，这样做可以对CLM人脸跟踪起到校正作用，因为如果一直使用前一帧的检测结果来进行初始化可能会造成错误的累积，导致跟踪丢失。

为了进一步增强效果，本发明还采用了在线学习的方式，即步骤S6，以在跟踪过程中利用已有的检测结果随时进行学习训练，使得建模与跟踪融为一体，能够在线更新所述模型A，相比传统的机器学习过程，即学习与应用相分离的模式，有所突破。如此，再结合上一步骤所介绍的融合跟踪方法，能够使得整个人脸跟踪系统的跟踪效果更加鲁棒，即使对于较大角度的转动也能够得到较理想的跟踪效果。

步骤S6，使用增量PCA(Incremental PCA)方法对所述模型A进行更新，并利用更新后的模型A重复所述步骤S1-S5，得到最终的人脸跟踪结果。

由上文中的介绍可知，所述模型A分为形状与纹理模型两部分，接下来以形状模型为例对该步骤进行说明，简洁起见，下文中仍使用模型A来表述。

对于所述模型A，由(2)式可知，其为平均人脸形状s₀与一系列标准正交基s_i线性组合的结果。将这一系列标准正交基s_i组成集合A′，且集合A′＝{s₁，s₂，…s_u}，而平均人脸形状s₀则为集合A′中元素的算术平均值。另设一集合B′，里面放置在线学习时所累积的根据人脸姿态参数组(R，T)所得到的人脸特征点的坐标向量，其包含集合A′中的s_i(i∈{1，2，…，u})，也就是说，集合A′中的s_i是离线建模时所获得，而集合B′中的部分元素s_u+1，…，s_u+m是在更新所述关键点模型B时实时加入集合B′的，其算术平均值设为s′₀，m为集合B′中向量的个数，n为所述人脸特征点的个数。另外，所述集合B′中所加入的向量个数可根据使用需要来设定，这样既保证了在线更新的准确性，同时也不必每一帧都进行增量学习，从而突出了时效性。

那么对模型A进行更新的步骤进一步包括以下步骤：

步骤S61，计算表达式A′-s₀的奇异值分解SVD，得到U∑VT，其中A′-s₀指集合A′中的每一列向量均与s₀相减所得的矩阵；

步骤S62，构造一增广矩阵其中，s′₀为集合B′的算术平均值，m为集合B′中向量的个数，n为所述人脸特征点的个数，并根据所述增广矩阵计算得到与R：orth(·)表示矩阵正交化操作，可用QR分解得出， $R=\left[\begin{array}{cc}\mathrm{\Σ}& U^T\hat{B}\\ 0& {\tilde{B}}^T(\hat{B}-U{U}^T\hat{B})\end{array}\right];$

步骤S63，计算R的奇异值分解SVD，得到

步骤S64，计算得到 $U^{\′}=\left[\begin{array}{cc}U& \tilde{B}\end{array}\right]\tilde{U},$ 则U′为一组新的正交基，也可以理解为是更新过后的集合A′，进而得到更新后的模型A；

图2-图4为根据本发明方法对不同的人脸进行跟踪的结果示意图。其中，图2是对正脸进行跟踪的结果示意图；图3是对存在小角度转动的脸部的跟踪结果示意图；图4是对存在较大角度转动的脸部的跟踪结果示意图，以上各图中的图a均是没有进行在线增量学习的跟踪结果，图b为进行了在线增量学习的跟踪结果，可以看出，采用了在线增量学习的人脸跟踪效果要优于没有进行在线增量学习的人脸跟踪效果。

为了突出在线增量学习对于模型A的影响，也即考虑到离当前帧越近的图像越能影响跟踪效果，因此，还可以选择性地在进行在线增量学习的时候加入遗忘因子f：

$R=\left[\begin{array}{cc}\mathrm{f\Σ}& U^T\hat{B}\\ 0& {\tilde{B}}^T(\hat{B}-U{U}^T\hat{B})\end{array}\right],$

其中，所述遗忘因子f为一经验值，其取值范围为0～1。

综上，本发明结合了人脸检测和CLM算法，并加入了基于在线增量学习的主成分分析，从而大大提升了系统的整体鲁棒性，并且同时保证了系统的实时性。具体地，本发明利用关键点检测对于人脸角度进行了估算，以此作为CLM建模时模型角度的选择依据，同时，一方面利用CLM检测结果来不断校正关键点样本库，另一方面利用检测结果在线实时更新CLM模型，使得模型不再仅仅是学习时静态的获得，而是动态地与当前状态紧密相连，从而解决了在进行CLM人脸跟踪时，由于目标图像中相邻帧间变化大时出现的跟踪丢失的问题，提高了跟踪的精准度。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种基于在线增量主成分分析的特征与模型互匹配人脸跟踪方法，其特征在于，该方法包括以下步骤：

步骤S1，对于多幅人脸图像进行离线建模，得到包括形状模型s和纹理模型w^T的模型匹配CLM模型A；

步骤S2，输入一待跟踪人脸视频，对于所述待跟踪人脸视频中的每一帧人脸图像进行关键点检测，将所得到的所有关键点的集合和这些关键点的鲁棒描述子组合起来作为关键点模型B；

步骤S3，基于所述步骤S2得到的关键点模型B，对于所述待跟踪人脸视频中的每一帧人脸图像进行关键点匹配，获得每一帧人脸图像中初始的人脸姿态参数组(R，T)，其中，R表示角度参数和T表示位移参数；

步骤S4，利用所述模型A对所述待跟踪人脸视频进行CLM人脸跟踪，得到所述待跟踪人脸视频每一帧人脸图像中特征点的位置；

步骤S5，基于所述步骤S3得到的每一帧人脸图像中人脸的姿态参数组和所述步骤S4跟踪得到的每一帧人脸图像中特征点的位置，对所述待跟踪人脸视频中的每一帧人脸图像进行人脸的再跟踪；

步骤S6，使用增量PCA方法对所述模型A进行更新，并利用更新后的模型A重复所述步骤S1-S5，得到最终的人脸跟踪结果；

所述步骤S5进一步包括以下步骤：

步骤S51，根据所述步骤S2和步骤S3得到所述待跟踪人脸视频某一帧人脸图像中的关键点和初始的人脸姿态参数组；

步骤S52，基于该帧人脸图像中初始的人脸姿态参数组(R，T)，根据所述步骤S4的描述，在前向或后向上对所述待跟踪人脸视频中的人脸图像进行CLM人脸跟踪，得到每一帧人脸图像中关键点的位置，进而根据所述初始的人脸姿态参数组(R，T)得到校正后的人脸姿态参数组，并利用所述校正后的人脸姿态参数组对所述关键点模型B进行更新；

步骤S53，利用更新后的关键点模型B按照所述步骤S3和S4的描述对所述待跟踪人脸视频中的每一帧人脸图像进行人脸的再跟踪；

所述步骤S52中，对所述关键点模型B进行更新的步骤进一步包括以下步骤：

步骤S521，对于当前帧图像，根据其人脸姿态参数组(R，T)判断人脸的姿态；

步骤S522，根据当前帧图像中的关键点描述子和关键点模型B的匹配情况来更新所述关键点模型B：

如果当前帧图像的大多数关键点都和所述关键点模型B中的关键点匹配，则将当前帧中没有匹配上的那些关键点补充到所述关键点模型B中；否则不进行所述关键点模型B的补充更新。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括以下步骤：

步骤S11，根据事先确定的共同的人脸轮廓对所述多幅人脸图像分别进行标定得到多个标定特征点，并根据所述多个标定特征点的坐标值建立得到一人脸形状模型s；

步骤S12，基于所述步骤S11得到的每一个标定特征点，学习得到能够体现所述每一个标定特征点对应的具有一定大小区域的纹理特征的纹理模型w^T。

3.根据权利要求2所述的方法，其特征在于，所述步骤S11进一步包括：

步骤S111，采集N张人脸图像，对于每张人脸图像都依照所述共同的人脸轮廓进行人为标定，得到多个标定特征点，进而得到N个人脸形状向量s_m：

s_m＝(x₁，y₁，x₂，y₂，…，x_n，y_n)^T，

其中，m表示N张人脸图像中的第m张人脸图像，x_i，y_i分别为相应人脸图像中第i个标定特征点的坐标值，n为所述标定特征点的个数；

步骤S112，用一个平均人脸形状s₀和u个正交的人脸形状向量s_i进行线性组合得到所述人脸形状模型s：

$s=s_0+{\mathrm{\Σ}}_{i=1}^u{p}_i{s}_i,$

其中，平均人脸形状s₀为N个人脸形状向量s_m的均值，p_i是形状参数，其值为对所述N个人脸形状向量s_m进行主成分分析后得到的u个特征向量s_i所对应的权值。

4.根据权利要求3所述的方法，其特征在于，在所述步骤S112中进行主成分分析前，对所述N个人脸形状向量s_m分别进行普鲁斯特分析，以减小运动误差。

5.根据权利要求2所述的方法，其特征在于，所述步骤S12进一步包括以下步骤：

步骤S121，以所述步骤S11得到的每一人脸图像的每一个标定特征点为中心，取一个大小为r×r的区域作为正样本，在相应图像中的任意其他位置处截取多个同样大小的区域作为负样本；

步骤S122，基于每个标定特征点所对应的样本组，利用支持向量机得到每个标定特征点对应的纹理模型w^T。

6.根据权利要求5所述的方法，其特征在于，所述步骤S122中：

首先，将每个标定特征点所对应的样本组中的每个样本写成以下形式：

$x^{\left(i\right)}={\[x_1^{\left(i\right)},x_2^{\left(i\right)},...,x_{r\×r}^{\left(i\right)}\]}^T,$

其中，(i)表示样本的序号，为相应样本中某一位置处的像素值；

然后，利用SVM得到每个标定特征点对应的纹理模型w^T：

y⁽ⁱ⁾＝w^T·x⁽ⁱ⁾+θ，

其中，y⁽ⁱ⁾为SVM的输出，w^T是学习得到的纹理模型：w^T＝[w₁ w₂ … w_r×r]，θ为SVM的偏移量，对于每个标定特征点所对应的正样本，y⁽ⁱ⁾＝1；负样本，y⁽ⁱ⁾＝0。

7.根据权利要求1所述的方法，其特征在于，所述步骤S2中的关键点检测包含关键点的学习和其鲁棒描述子的学习，所述关键点的学习进一步包括以下步骤：

步骤S21，对于所述待跟踪人脸视频中的每一帧图像，初步计算得到多个关键点；

步骤S22，从所述步骤S21初步得到的多个关键点中选出具有不变性的关键点，并将所述待跟踪人脸视频中所有图像的不变性关键点组合起来得到关键点集合及这些关键点的描述子(f_i，x_i，y_i)，其中，f_i表示第i个关键点的特征值，(x_i，y_i)表示该关键点的坐标；

所述关键点的鲁棒描述子的学习进一步包括以下步骤：

步骤S23，将所述步骤S22得到的n个不变性关键点组成第一关键点集合；

步骤S24，对所述待跟踪人脸视频中每一帧图像中的人脸进行姿态旋转、表情变化、光照变化中的一种参数变换，仿真得到变换后的图像；

步骤S25，将根据所述步骤S21和S22检测得到的变换后的图像的多个不变性关键点组成第二关键点集合；

步骤S26，对第二关键点集合里的每个点p，第一关键点集合进行描述子匹配操作；

步骤S27，对于经过其他参数变换后的图像重复所述步骤S24到S26，最终得到所述待跟踪人脸视频中每一帧图像的完备关键点鲁棒描述子。

8.根据权利要求7所述的方法，其特征在于，所述步骤S26具体为：

在第一关键点集合中，找到与点p位置最近的点q，判断点p和点q反投影到正面三维模型表面上的三维点p’和q’是否为同一个三维点，若p’和q’是同一个三维点且p的描述子和q的描述子最为接近，则把p的描述子加入到q的描述子中；若p’和q’是同一个三维点且点p的描述子和第一关键点集合中非q的另一个点x的描述子最为接近，则点q及其描述子无效；如果p’和q’是同一个三维点且点p的描述子和第一关键点集合中每个点的描述子都不一样，则将p和p的描述子加入到第一关键点集合中；如果p’和q’不是同一个三维点且p的描述子和第一关键点集合中某个点s的某个描述子很接近，则将点s及其描述子从第一关键点集合中去掉；如果p’和q’不是同一个三维点且p的描述子和第一关键点集合中每个关键点的描述子都不一样，则将点p及其描述子加入到第一关键点集合中。

9.根据权利要求1所述的方法，其特征在于，所述步骤S3进一步包括以下步骤：

步骤S31，根据所述步骤S2得到所述人脸视频的某一帧人脸图像的上一人脸图像帧的关键点，并在该帧人脸图像中寻找上一人脸图像帧的某一关键点在当前帧中的相应位置附近的关键点；

步骤S32，将当前帧中所述关键点的描述子和所述关键点模型B中的描述子进行匹配，将当前帧中与所述关键点模型B中的描述子匹配上的3D关键点组成集合V，将当前帧中与所述关键点模型B中的描述子匹配上的2D关键点组成集合u，将所述集合V经过平面投影后得到的2D关键点组成集合u′，比较u′和u，得到使得||u-u′||最小的当前帧图像中初始的人脸相对于正脸的姿态参数组(R，T)：

$(R,T)*=\arg {\min }_{(R,T)}\underset{i}{\overset{N_k}{\Σ}}\left|\right|K\[R|T\]V^i-u^i|{{|}_2}^2,$

其中，K为摄像机参数，R为角度矩阵，T为位移向量，[R|T]为由R和T组成的增广矩阵，i为关键点的序号，N_k为集合V和集合u的关键点个数的最大值。

10.根据权利要求1所述的方法，其特征在于，所述步骤S4进一步包括以下步骤：

步骤S41，对所述待跟踪人脸视频中的某一当前帧人脸图像进行脸部检测，得到初始的n个特征点，并相应地得到每个特征点的大小为r*r的响应图像R(x，y)，其中，每个特征点的响应图像R(x，y)为w^T·x⁽ⁱ⁾矩阵化后的结果，w^T是根据支持向量机求得的该特征点的纹理模型：w^T＝[w₁ w₂ … w_r×r]，x⁽ⁱ⁾为该特征点的第i个大小为r*r的样本；

步骤S42，利用所述响应图像R(x，y)，通过拟合得到所述待跟踪人脸视频每一帧人脸图像中与所述当前帧人脸图像具有同一含义的特征点的位置；

步骤S43，基于所述步骤S3得到的初始的人脸姿态参数组，根据拟合得到的特征点的位置得到校正后的人脸姿态参数组。

11.根据权利要求10所述的方法，其特征在于，所述步骤S42进一步包括以下步骤：

步骤S421，对以所述步骤S41中得到的所有特征点中的每一个特征点为中心的大小为r×r的区域进行范围为a×a的搜索，对于每一个特征点，得到一以其为中心、直径为(r+a)的正方形区域；

步骤S422，通过函数拟合的方式找到当前帧的下一帧或上一帧图像的所述正方形区域中与所述当前帧人脸图像具有同一含义的特征点的坐标位置。

12.根据权利要求1所述的方法，其特征在于，所述对模型A进行更新的步骤进一步包括以下步骤：

步骤S61，计算表达式A′-s₀的奇异值分解，得到U∑V^T，其中，A′为由所述模型A中纹理模型w^T的一系列标准正交基s_i组成的集合，s₀表示所述模型A中的平均人脸形状；

步骤S62，构造一增广矩阵其中，B′为放置有根据人脸姿态参数组(R，T)所得到的人脸特征点的坐标向量的集合，s₀′为集合B′的算术平均值，m为集合B′中向量的个数，n为所述人脸特征点的个数，并根据所述增广矩阵计算得到与R： orth(·)表示矩阵正交化操作；

步骤S63，计算R的奇异值分解，得到

步骤S64，计算得到一组新的正交基并利用得到的新的正交基对模型A进行更新。

13.根据权利要求12所述的方法，其特征在于，R的表达式由下式来代替：

$R=\left[\begin{array}{cc}\mathrm{f\Σ}& U^T\hat{B}\\ 0& {\tilde{B}}^T(\hat{B}-{\mathrm{UU}}^T\hat{B})\end{array}\right],$

其中，f为遗忘因子，其为取值范围为0～1的一经验值。