CN106355138A - 基于深度学习和关键点特征提取的人脸识别方法 - Google Patents

Abstract

本发明公开了一种新的基于深度学习的视频人脸检测及识别方法，其步骤是：在视频中检测人脸图像，通过对人眼区域的检测，排除非人脸区域对检测结果的干扰，把人脸图像准确的从背景中提取出来；选择人脸区域中受视觉干扰条件影响较小的区域，在这些区域内的关键点上提取局部特征；通过卷积神经网络提取选定的区域的高层人脸特征，与局部特征一起作为表达人脸的特征，在对该特征进行经过降维和归一化处理；对人脸对中两张人脸图像的特征进行相似性度量，逐一进行评估，选择相似性分值最高的一组，最后得到识别结果。本发明的应用，非限定条件下的良好识别效果，适用于姿态、表情、光照、遮挡等的复杂干扰环境。

Description

基于深度学习和关键点特征提取的人脸识别方法

技术领域

本发明属于计算机视觉研究领域，涉及视频图像处理和机器学习方法，特别是涉及基于深度学习和关键点特征提取的人脸识别方法。

背景技术

随着监控摄像头的广泛应用，人脸识别系统的市场需求也在逐渐扩大。然而，在这些应用中被监控人群大多处于非约束状态，当前的人脸识别产品和人脸识别系统都需要对检测到的人脸具有一定的限定或要求。这些限定条件已成为人脸识别技术推广和应用的主要障碍。存在这些限定条件是因为：在非可控条件下，复杂干扰因素将导致人脸识别精度急剧下降，不能满足应用需求。在非可控条件下，不仅可能存在强光变化、大范围的姿态变化、夸张的表情变化、有意或无意的遮挡、图像分辨率偏低等严重的干扰因素，而且这些因素可能随机组合地出现在视频人脸图像中。这些复杂干扰将导致同一个人的人脸面像呈现巨大差异。这导致在非可控条件下准确地识别人脸非常困难。因此，非限定人脸识别依然是一个非常困难的问题；其识别精度也远不能满足实际应用需求。

然而，在非限定人脸识别中，大多数当前工作都着重于减少单张人脸图像包含的干扰，而忽略了“视觉干扰条件差异”这种现象。例如，一些研究者采用图像预处理技术消除图像包含的干扰，如光照规范化技术、图像降噪技术、姿态评估技术等。另外一些研究者通过提取鲁棒的人脸特征表达减少复杂干扰的影响。当一张人脸图像包含强烈干扰时，当前的预处理技术和特征提取技术都无法有效地消除或抑制它们。相应地，当一对人脸图像视觉干扰条件不同时，当前人脸验证技术很难准确地识别它们。

对于一对人脸图像，当它们视觉干扰条件不同时，选择具有相似干扰条件的局部区域图像对验证该对人脸，可以有效地减少局部强烈干扰的影响。并且，许多研究已表明，仅利用单个人脸部件判别也能得到令人满意的识别率。基于上述发现，如果预定义多个人脸区域，对于输入的待识别人脸图像对，通过评估它们是否存在视觉干扰条件差异，可以选择更可靠的人脸区域图像对。这将有效地减少局部强烈干扰对人脸验证过程的影响。

近年来，国内外学者开始把深度学习方法应用在图像识别问题上，并取得了优异的效果。深度学习算法的一个重要的特性就是对训练样本集规模要求比较大，在视频人脸的识别过程，通过一个系统机构可以轻松的生成数万、数十万的样本数据，因此将视频人脸识别与深度学习算法相结合，可以有效的解决深度学习算法样本集规模不足的问题。同时，由于深度卷积神经网络能够提取对光照、表情、姿势等因素鲁棒且互补的特征，通过它来构建图像的本质特征，可以大大的提高非限定条件下视频人脸识别系统结果的准确性。

发明内容

针对上述现有技术，本发明目的在于提供基于深度学习和关键点特征提取的人脸识别方法，解决现有技术其深度学习算法样本集规模不足，在非限定条件下视频人脸识别系统抗干扰能力弱、识别精度低且鲁棒性差等技术问题。

为达到上述目的，本发明采用的技术方案如下：

基于深度学习和关键点特征提取的人脸识别方法，包括以下步骤，

步骤1、获取视频图像，提取视频图像中的类哈尔特征；

步骤2、根据类哈尔特征，构建级联的强分类器，再利用强分类器检测出视频图像中的人眼区域图像；

步骤3、对人眼区域图像对称设置至少7个关键点，再对其进行区域划分，获得局部图像块；

步骤4、获取人脸数据库中设置有相同关键点的预处理局部图像块，将其匹配局部图像块获得对应关键点的图像块对，再利用深度卷积神经网络提取出图像块对的特征向量；

步骤5、计算特征向量的分类器决策分，判断出分类器决策分最高的图像块对，其中属于人脸数据库中的预处理局部图像块所在人脸图像作为识别的输出结果。

上述方法中，所述的步骤2，包括如下步骤，

步骤2.1、归一化权重，对应类哈尔特征，计算简单分类器的错误率，选择错误率最低的简单分类器作为弱分类器，并更新权重；

步骤2.2、根据自适应增强算法，对弱分类器进行步骤2.1循环迭代，得出强分类器，并将所有强分类器级联；

步骤2.3、利用级联的强分类器检测出视频图像中人眼区域图像。

上述方法中，所述的步骤3，其中，对人眼区域图像设置23个关键点。

上述方法中，所述的步骤4，包括如下步骤，

步骤4.1、获取人脸数据库中设置有相同关键点的预处理局部图像块，将其匹配局部图像块获得对应关键点的图像块对，计算关键点的梯度并提取图像块对关键点的联合规范化局部特征；

步骤4.2、预设梯度差异阈值条件，剔除不满足梯度差异阈值条件的梯度所属关键点所在图像块对；

步骤4.3、利用深度卷积神经网络提取出剩余的图像块对的高维度特征向量；

步骤4.4、将高维度特征向量连接对应关键点的联合规范化局部特征，获得特征向量。

上述方法中，所述的步骤5，包括如下步骤，

步骤5.1、计算特征向量的余弦距离向量；

步骤5.2、根据余弦距离向量，训练并求出分类器决策函数；

步骤5.3、利用分类器决策函数评估图像块对的相似性，判断出分类器决策分最高的图像块对，其中属于人脸数据库中的预处理局部图像块所在人脸图像作为识别的输出结果。

与现有技术相比，本发明的有益效果：

(1)本发明能够很好地实现对视频中的人脸图像检测，同时能够减弱非人脸图像对检测结果的干扰；

(2)本发明用了及与深度学习的特征提取算法，能够得到抗姿态、表情、光照、遮挡等复杂干扰的、更具区分性的、互补的、低维的人脸特征，该特征能够在很大程度上降低人脸识别的错误率；

(3)本发明能根据视觉条件差异，自适应的选择分类器决策分值，极大地降低非限定条件下人脸识别的错误率。

附图说明

图1本发明提供的的视频人脸检测流程图；

图2本发明提供的人脸区域划分及关键点位置示意图；

图3本发明的卷积神经网络结构示意图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

下面结合附图对本发明做进一步说明：

实施例1

过程1，基于Adaboost自适应增强算法的人脸检测

(1.1)由Adaboost算法训练产生弱分类器的优化组合的具体实现如下，人脸检测流程图参照图1：

给定n个训练样本：(x₁,y₁),(x₂,y₂),……(x_n,y_n)其中y_i＝0,1,分别表示人脸区域和非人脸区域，x_i表示24×24的子窗口。

初始化样本权值为：

其中m和l分别是负样本和正样本的个数。

将Haar-Like类哈尔特征转换为弱分类器，弱分类器的定义公式如下：

其中：h_j(x)表示简单分类器的值；θ_j为阈值；p_j表示不等号的方向，只能取±1；f_j(x)表示从大小归一化到24×24的图像块上，提取到的Haar-Like特征值。

选择T个最优的弱分类器，每个分类器选择方法如下：

1.归一化权重：

2.每一个特征j训练一个分类器，并计算该分类器的错误率：

3.选择错误率最低的分类器h_t作为一个弱分类器

4.更新权重：

当样本x_i被正确分类时，e_i＝0，否则e_i＝1,重复上述4步，直到e_i＝0。

最终把选好的T个弱分类器组合成强分类器：

其中，级联训练好的若干强分类器，形成级联分类器，用于人脸检测。

(1.2)用训练好的级联分类器对视频中的人脸进行检测，选定若干可能为人脸的区域。本发明为了提高人脸检测的准确性，对上述可能的人脸区域，用Haar-Like特征和Adaboost算法，对人眼区域进行检测。若检测到的人脸内部有眼睛区域，则表示该人脸区域是真人脸区域，否则表示该人脸区域是假人脸区域，丢弃该检测结果。

过程2，基于异常检测的人脸区域选择方法

把人脸图像分成10个区域R_i,i＝1,…,10，定义人脸图像上的23个关键点，区域划分及关键点位置参见图2。

(2.1)将人脸数据库中的每个人的标准人脸图像I_a,j,j＝1,…,n分成10个区域，记为R_ai,i＝1,…,10，其中n为数据库中的人数。定位出每个区域内相应的23个关键点，提取每个区域内这些关键点的局部特征。即对数据库中的每个人脸图像，均得到10个区域中的关键点局部特征向量H_a,i，其中i表示每个区域内关键点数目。

(2.2)将检测到的视频人脸图像分成10个区域，记为R_bi,i＝1,…,10。定位出每个区域内相应的23个关键点，提取每个区域内这些的关键点的局部特征H_b,i，其中i表示每个区域内关键点数目。

(2.3)视频人脸图像和每个数据库中的人脸图像组成人脸对，可得n个人脸对(I_a,i,I_b)。对给定人脸区域R_i上的一对(I_a,i,I_b)，分别得到I_a,i和I_b在P个关键 点上的局部特征H_a,i和H_b,i,i＝1,…,p。

联合规范化局部特征提取流程如下：

记以关键点P为中心的局部邻域为N，其包括左上、右上、左下、右下四个块，分别记为B1、B2、B3、B4，每个块包含四个更小的单元块。记N_0.5为将图像缩小一倍之后P点的局部邻域，其与N具有相似的块和单元块。

计算M(x,y)、θ(x,y)，(x,y)∈N，其中M(x,y)、θ(x,y)分别表示点(x,y)上的梯度幅值和梯度方向，θ(x,y)∈[0,π]；

之后针对N内每个单元，以幅值M(x,y)为权重执行梯度方向直方图投影，产生16个8位的直方图H_i,i＝1,…,16，每个块内的四个单元执行L2规范化；

在N的B1、B2、B3、B4上，分别以幅值M(x,y)为权重执行梯度方向直方图投影，产生4个8位直方图，记作H_i,i＝17,…,20，它们一起执行L2规范化；

计算M(x,y)、θ(x,y)，(x,y)∈N_0.5，在N_0.5上执行相同的操作，产生4个8位直方图记作H_i,i＝21,…,24，它们一起执行L2规范化；

在N_0.5上以幅值M(x,y)为权重执行梯度方向直方图投影，产生1个8位的直方图，执行L2规范化，记作H₂₅；联合规范化的H_i,i＝1,…,25，形成P点上200维的局部特征H。

(2.4)对所有图像对(I_a,i,I_b)，执行翻转操作得到r_j和表示他们的可靠性估计，其中j＝1,…,10。

每个区域R_i,i＝1,…,10上的可靠性r为：

其中，p`为满足e_k<1的关键点个数，e_k,k＝1,...,p表示(I_a,i,I_b)在p个关键点的异常差异检测结果，定义如下：e_k＝e_μe_ν

其中，

k_μ和k_ν为控制参数；d_c和d_χ是余弦距离和χ²距离，表示关键点P的梯度差异。

(2.5)对于所有图像对，用如下区域选择方法选择每对图像对中受视觉干扰条件较小的区域(梯度差异阈值条件)：

1.如果则

2.如果r₁＝1，输出R₁的全脸图像对(I_a,i,1,I_b,1)；

3.如果r₁<1，但存在r_j＝1，则输出满足r_j＝1的图像对；

4.如果所有r_j<1，则输出r_j最大的5区域个图像对。

过程3，基于深度卷积神经网络的高层人脸特征表达

(3.1)对于每对图像对(I_a,i,I_b)，已选择出受视觉干扰条件较小的区域。把每个图像对中选出的区域缩放至31×39大小，分别输入到卷积神经网络中，输出层得到160维的特征向量，卷积神经网络结构示意参见图3。根据不同的图像对，选出不同数目的160维向量。把这些向量记为F_a＝{F_a1,F_a2,…,F_am}和F_b＝{F_b1,F_b2,…,F_bm}，m为图像对中选择的区域个数，把这m个特征作为描述该图像对的高层人脸特征。

(3.2)再从人脸图像对中选出的若干区域上，把该区域包含的所有关键点的局部特征表示为和作为n个局部特征向量，n位该区域内关键点数目。对每个人脸图像对(I_a,i,I_b)均进行此操作。

(3.3)用PCA算法对F和中的各个特征向量进行降维，保留他们90％的信息。并用min-max技术分别对F和中的各个特征向量进行规范化，使他们的特征值保持在[0,1]范围内。

过程4，基于距离度量学习评估人脸相似性

(4.1)对每个图像对，用如下公式分别计算F和中的各个特征向量的余弦距离：

得到多个多距离向量，规范化之后记作X_i。

(4.2)计算X_i的分类器决策分s，定义如下

其中φ^b(x)、φ^c(x)和φ^g(x)分别表示三种不同视觉一致性条件下的分类器决策函数。τ₁和τ₂界定如何根据e选择合适的分类器，e表示VCM评估结果。本发明中，他们从训练φ^b(x)、φ^c(x)和φ^g(x)的训练集上获取。

根据上述过程，利用选定的人脸对区域R_j，分别计算X_j，可得该图像对的分类器决策分s_j＝ψ_j(X_j,e_j)。

(4.3)把视频图像中的人脸与人脸数据库中的人脸逐一进行相似性评估，选择其中s_j＝ψ_j(X_j,e_j)最高的一对，把数据集中相应的第i幅人脸图像I_a,i所对应的身份作为识别的结果输出。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (5)

1.基于深度学习和关键点特征提取的人脸识别方法，其特征在于，包括以下步骤，

步骤1、获取视频图像，提取视频图像中的类哈尔特征；

步骤2、根据类哈尔特征，构建级联的强分类器，再利用强分类器检测出视频图像中的人眼区域图像；

步骤3、对人眼区域图像对称设置至少7个关键点，再对其进行区域划分，获得局部图像块；

步骤4、获取人脸数据库中设置有相同关键点的预处理局部图像块，将其匹配局部图像块获得对应关键点的图像块对，再利用深度卷积神经网络提取出图像块对的特征向量；

步骤5、计算特征向量的分类器决策分，判断出分类器决策分最高的图像块对，其中属于人脸数据库中的预处理局部图像块所在人脸图像作为识别的输出结果。

2.根据权利要求1所述的基于深度学习和关键点特征提取的人脸识别方法，其特征在于，所述的步骤2，包括如下步骤，

步骤2.1、归一化权重，对应类哈尔特征，计算简单分类器的错误率，选择错误率最低的简单分类器作为弱分类器，并更新权重；

步骤2.2、根据自适应增强算法，对弱分类器进行步骤2.1循环迭代，得出强分类器，并将所有强分类器级联；

步骤2.3、利用级联的强分类器检测出视频图像中人眼区域图像。

3.根据权利要求1所述的基于深度学习和关键点特征提取的人脸识别方法，其特征在于，所述的步骤3，其中，对人眼区域图像设置23个关键点。

4.根据权利要求3所述的基于深度学习和关键点特征提取的人脸识别方法，其特征在于，所述的步骤4，包括如下步骤，

步骤4.1、获取人脸数据库中设置有相同关键点的预处理局部图像块，将其匹配局部图像块获得对应关键点的图像块对，计算关键点的梯度并提取图像块对关键点的联合规范化局部特征；

步骤4.2、预设梯度差异阈值条件，剔除不满足梯度差异阈值条件的梯度所属关键点所在图像块对；

步骤4.3、利用深度卷积神经网络提取出剩余的图像块对的高维度特征向量；

步骤4.4、将高维度特征向量连接对应关键点的联合规范化局部特征，获得特征向量。

5.根据权利要求1所述的基于深度学习和关键点特征提取的人脸识别方法，其特征在于，所述的步骤5，包括如下步骤，

步骤5.1、计算特征向量的余弦距离向量；

步骤5.2、根据余弦距离向量，训练并求出分类器决策函数；

步骤5.3、利用分类器决策函数评估图像块对的相似性，判断出分类器决策分最高的图像块对，其中属于人脸数据库中的预处理局部图像块所在人脸图像作为识别的输出结果。