CN102332086A - 一种基于双阈值局部二进制模式的人脸识别方法 - Google Patents

Abstract

一种基于双阈值局部二进制的人脸识别方法，该方法包括：(1)对人脸图像进行局部二进制特征运算；(2)从局部二进制模式得到直方图；(3)利用特征匹配实现人脸识别；(4)在对人脸图像做特征提取运算之前进行图像空间变换。本发明本发明方法的优点在于：基于特征匹配的方法，计算速度快；识别精度高；可降低对姿态、光照、表情和环境变化的敏感程度；克服了单一阈值设定给人脸识别技术造成了一定的局限。

Description

一种基于双阈值局部二进制模式的人脸识别方法

技术领域

本发明属于人脸识别技术领域，具体涉及一种基于双阈值局部二进制的人脸识别方法。

背景技术

人脸识别具有巨大的理论意义和应用价值.人脸识别的研究对于图象处理、模式识别、计算机视觉、计算机图形学等领域的发展具有巨大的推动作用，同时在生物特征认证、视频监控、安全等各个领域也有着广泛的应用。人脸识别的相关文献和方法数量巨大，而且，一个人脸识别系统往往包含几种不同的方法和技术，这是沿用心理学的研究成果：即人的视觉系统通过整体特征和局部特征进行人脸识别。

国内外众多的大学和研究机构，如美国的MIT[1]、CMU[2，3]、UIUC[4，5]、Maryland大学[6-8]、英国的剑桥大学[9-12]、日本的Toshiba公司[13-14]和国内的清华大学和中科院自动化所都对人脸识别进行了广泛而深入的研究

文献中已有的人脸识别算法可以分为以下几类：(1)基于几何特征的人脸识别方法。此方法所采用的几何特征是以人脸器官的形状和几何关系为基础的特征矢量，其分量通常包括人脸指定两点间的距离、曲率、角度等。缺点是从图像中抽取稳定的特征比较困难，而且对表情变化和姿态变化的鲁棒性较差。(2)基于模板匹配的人脸识别方法：此方法模板的获得用传统的边缘获取方法很难获得。(3)弹性图匹配的方法。这是一种基于动态链接结构(DLA)的方法。(4)隐马尔科夫模型(HMM)，是用于描述信号统计特性的一组统计模型。HMM使用马尔科夫连接模拟信号统计特性的变化，而这种变化又是间接地通过观察序列老描述的。(5)基于神经网络的方法。(6)特征脸方法：基于特征脸的人脸识别算法就是通过对大量样本进行主成分分析(PCA)得到表征人脸子空间的一组正交基(即特征脸)，所提取的特征就是人脸图像在这个子空间中的投影向量(即物理上人脸图像在人脸子空间的位置)，然后采用分类器分类。例如，对于一幅图像可以看作一个由像素值组成的矩阵，也可以扩展开，看成一个矢量，如一幅N*N象素的图像可以视为长度为N2的矢量，这样就认为这幅图像是位于N2维空间中的一个点，这种图像的矢量表示就是原始的图像空间，但是这个空间仅是可以表示或者检测图像的许多个空间中的一个。不管子空间的具体形式如何，这种方法用于图像识别的基本思想都是一样的，首先选择一个合适的子空间，图像将被投影到这个子空间上，然后利用对图像的这种投影间的某种度量来确定图像间的相似度，最常见的就是各种距离度量。测量人脸识别的主要性能指标有两个，误识率(False AcceptRate，FAR)和拒识率(False Reject Rate，FRR)，前者是指将其他人误作指定人员的概后者是指将指定人员误作其它人员的概率。

近年来，基于局部二进值模式(Local Binary Pattern，LBP)的人脸识别方法受到人们的关注，该方法来源于纹理分析领域。LBP本质上提取图像边缘、角点等局部变换特征，这些对于区分不同人脸是重要的。它首先计算图像中每个像素与其局部邻域点在亮度上的序关系，然后对二值序关系进行编码形成局部二值模式，最后采用多区域直方图作为图像的特征描述。我们对LBP进行深入地分析与研究，并且针对LBP变化单一的缺点，提出了一种基于双阈值局部二值模式(Double-Threshold LBP，DTLBP)的人脸识别方法。首先计算图像中每个像素点与其局部邻域点的灰度差，通过选择不同的阈值编码形成DTLBP，然后采用多区域直方图向量进行人脸特征描述，最后模糊化多阈值匹配结果进行人脸识别。在人脸数据库上的实验结果显示，DTLBP方法对表情、背景、距离等变化都具有较好的鲁棒性。

传统的人脸识别技术一般都是设定一个阈值，即事先为识别仪器设定一个阈值，当识别仪器对人脸进行识别时，识别度达到或超过此阈值时，识别仪器识别成功，相反当识别度低于事先设定的阈值时，识别不成功，在一定程度上防止了伪造和窃取，但由于设定的阈值偏高或偏低都有可能给识别带来偏差，如当阈值偏高时，原来录入的人脸与即时识别的人脸虽为同一张人脸，由于天气、人体健康程度、发型、着妆等因素，很有可能识别不能通过或需要通过较长时间才能识别成功，当阈值偏低时，一些近似的人脸或通过人为处理使之与识别仪器录入人脸近似的人脸便会轻易的识别成功，因此，单一的阈值设定给人脸识别技术造成了一定的局限。

发明内容

本发明所解决的技术问题在于：提供一种基于双阈值局部二进制的人脸识别方法，以解决背景技术中的问题。

一种基于双阈值局部二进制的人脸识别方法，该方法包括：

(1)对人脸图像进行局部二进制特征运算；

(2)从局部二进制模式得到直方图；

(3)利用特征匹配实现人脸识别；

(4)在对人脸图像做特征提取运算之前进行图像空间变换。

在本发明中，所采用的人脸变换有Gabor变换，Gassian变换和Harr变换，方案中还包括了对输入图像进行噪声抑制，空间分辨率标准化，空间分块等多个预处理模块。

一种基于双阈值局部二进制的人脸识别方法，实现本方案需要以下步骤：

1、将所有待识别人脸录入识别仪器，并同时录入相关信息，然后为人脸识别仪器科学性的设定两个阈值，一个稍高，一个稍低，当待识别人脸在人脸识别仪器前进行人脸识别时，其识别度高于稍高的阈值时，此时识别成功，被识别人可以直接通过；识别度低于稍底阈值时，识别不能成功，被识别人不能通过，并由人脸识别仪器向管理中心发出警报；而识别度处于稍高和稍低阈值之间时，此时被识别人被识别仪器要求手动输入事先录入的相关信息，当所有要求的信息输入正确时，识别成功，相反识别不成功；在人脸识别中，由于头部的倾斜、偏转及光照变化等因素的影响，会给后续的分析与识别等问题带来很大影响，因此必须对人脸进行位置、大小和光照的归一化，由于人眼瞳孔间距比较稳定，通常以此作为几何归一化的标准；

2、旋转：人脸图像的倾斜校正以两眼连线为基准，对图像进行旋转，使左右眼在旋转后的图像中保持在同一水平位置，这保证了人脸方向的一致性，体现了人脸在图像平面的旋转的不变性，尺度：对经过裁剪后的人脸图像，进行图像缩放变换，得到统一大小的校准图像，对于校准后图像，假设w和h为人脸图像的宽度和高度，设定w＝h，双眼间距为w/2，双眼与图像左右边界的距离为w/4，眼睛与图像上边界和下边界的距离分别为h/4和3h/4。若规定校准图像的大小为80×80，根据人眼位置参数，求出两眼在校准图像中坐标，则缩放倍数为f＝(原始图像两眼间距离)/(校准图像两眼间距离)，保证了人脸大小的一致性，体现了人脸在图像平面内的尺度不变性；在人脸识别的实际应用中，光照往往是不均匀的，人脸所在环境的光照情况往往是千变万化的，偏光、侧光导致的高光和过亮、过暗以及阴影等都会使人脸检测和人脸识别率大幅度下降，在程序中使用了AMFG workshop at ICCV 2007的方法，对光照的处理主要采取了gamma校正，滤波和对比度均衡化方法，LBP算子在人脸识别中获得了广泛了应用，用其分类，不需要学习训练，是一种特征匹配的方法，更符合实时性的要求，在程序中使用了以下几种LBP算子，LBP算子最初用于度量局部图像的对比度，该算子最初定义的基本形式作用于像素的8-邻域中，具体来说，以邻域中心像素的灰度值为阈值，将邻域中的8个像素进行门限化处理，然后乘以相应的权值，把结果相加后就得到了对应像素的LBP码值；

本发明实现中，应用到了LBP_P，R和

两种扩展形式，首先，定义全色纹理图像中局部邻域内的纹理T为P(P＞1)个像素对应灰度值的联合分布：

T＝t(g_c，g₀，g₁，……，g_P-1)                        (1)

其中g_c对应着局部邻域内中心像素的灰度值，g_p(p＝0，1，……，P-1)对应着邻域周围位于半径为R(R＞0)的圆环上的P个像素的灰度值，而这P个像素组成了一个圆对称邻域集；

如果g_c的坐标为(0，0)，那么g_p的坐标值则为：

(-Rsin(2πp/P)，Rcos(2πp/P))                       (2)

邻域集中的像素如果没有位于图像像素的中心位置，则通过线性插值估计其灰度值；

作为推导过程中的第一步，并未损失任何信息，只是用圆对称邻域集内的像素g_p(p＝0，1，……，P-1)的灰度值减去中心像素g_c的灰度值，得到

T＝t(g_c，g₀-g_c，g₁-g_c……，g_P-1-g_c)                (3)

接着，假定差分值g_p-g_c与g_c之间是相互独立的，那么可将式(3)分解为

T≈t(g_c)t(g₀-g_c，g₁-g_c……，g_P-1-g_c)                (4)

实际上，上述独立并非严格意义上的独立，因此，分解后的分布是原先联合分布的一种近似。然而，我们可以接受这种导致部分信息损失的近似，因为它允许我们获得算子的灰度变化不变性。也就是说，式(4)中的t(g_c)分布描述了图像的全局亮度，它与局部纹理无关，也就对纹理分析无法提供有用信息。所以，在式(1)所定义的联合灰度分布中，大部分纹理属性就转换为如下分布：

T≈t(g₀-g_c，g₁-g_c……，g_P-1-g_c)                      (5)

Ojala等人发现，某些特定的局部二进制模式在观测图像中的出现频率远远高于其他模式，同时，这些局部二进制模式往往具有一致的循环结构：模式中只包含了少量的空间转换(相邻位置0/1的相互变换)。因此，它们又被命名为“一致(Uniform)”模式。为了正式定义一致模式，有文献引入反映模式中空间转换次数的一致性度量U。同时，指定具有U值不大于2的局部二进制模式为一致模式。并且，提出了如下具有灰度和旋转不变性的纹理算子，以代替

用于纹理分析：

$\mathrm{LB}{P}_{P,R}^{\mathrm{riu}2}=\left\{\begin{array}{cc}{\mathrm{\Σ}}_{p=0}^{P-1}\mathrm{sign}(g_p-g_c),& \mathrm{if\; U}\left({\mathrm{LBP}}_{P,R}\right)\≤2\\ P+1,& \mathrm{otherwise}\end{array}\right.---\left(6\right)$

其中

$U\left({\mathrm{LBP}}_{P,R}\right)=|\mathrm{sign}(g_{P-1}-g_c)-\mathrm{sign}(g_0-g_c)|+\underset{p=1}{\overset{P-1}{\mathrm{\Σ}}}|\mathrm{sign}(g_p-g_c)-\mathrm{sign}(g_{p-1}-g_c)|---\left(7\right)$

上标riu2说明具有旋转不变性的一致模式对应的U值不大于2。根据定义，P个像素组成的圆对称邻域中能够精确地获得P+1个一致模式。公式(9)实际上根据模式中位置“1”的数量分配给每个一致模式唯一的标识(0～P)，而对其他“非一致(nonuniform)”模式则聚为一类，并分配标识(P+1)。使用时，从LBP_P，R到的映射共有P+2个不同的输出值，该映射可用一个2^P个元素组成的查找表实现。

使用LBP直方图向量作为人脸特征的描述，即首先对图像进行LBP特征提取变换，然后使用LBP直方图向量作为人脸特征的描述，后来出现诸多改进方法，即首先对人脸图像进行分块，分别对每块进行LBP纹理分析、直方图统计，最后将各个块的直方图向量连接成整个图像的直方图向量。

有益效果：

本发明方法的优点在于：基于特征匹配的方法，计算速度快；识别精度高；可降低对姿态、光照、表情和环境变化的敏感程度；克服了单一阈值设定给人脸识别技术造成了一定的局限。

附图说明

图1是人脸几何归一化示意图；

图2是局部二进制模式的计算示意图；

图3是人脸识别特征向量的构造过程；

图4是不同PR情况下的对称邻域集；

图5是人脸识别系统的流程图；

图6是本发明识别方法的流程图；

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例，进一步阐述本发明。

具体实施方式主要包括以下几个模块，几何归一化模块，光照预处理模块，LBP算子处理模块和识别模块。

在人脸识别中，由于头部的倾斜、偏转及光照变化等因素的影响，会给后续的分析与识别等问题带来很大影响，因此必须对人脸进行位置、大小和光照的归一化。由于人眼瞳孔间距比较稳定，通常以此作为几何归一化的标准。

旋转：人脸图像的倾斜校正以两眼连线为基准，对图像进行旋转，使左右眼在旋转后的图像中保持在同一水平位置。这保证了人脸方向的一致性，体现了人脸在图像平面的旋转的不变性。尺度：对经过裁剪后的人脸图像，进行图像缩放变换，得到统一大小的校准图像。对于校准后图像，假设w和h为人脸图像的宽度和高度，设定w＝h，双眼间距为w/2，双眼与图像左右边界的距离为w/4，眼睛与图像上边界和下边界的距离分别为h/4和3h/4。若规定校准图像的大小为80×80，根据人眼位置参数，求出两眼在校准图像中坐标，则缩放倍数为f＝(原始图像两眼间距离)/(校准图像两眼间距离)，保证了人脸大小的一致性，体现了人脸在图像平面内的尺度不变性。

在人脸识别的实际应用中，光照往往是不均匀的。人脸所在环境的光照情况往往是千变万化的，偏光、侧光导致的高光和过亮、过暗以及阴影等都会使人脸检测和人脸识别率大幅度下降。在程序中使用了AMFG workshop atICCV 2007的方法，对光照的处理主要采取了gamma校正，滤波和对比度均衡化方法。

LBP算子在人脸识别中获得了广泛了应用，用其分类，不需要学习训练，是一种特征匹配的方法，更符合实时性的要求。在程序中使用了以下几种LBP算子。LBP算子最初用于度量局部图像的对比度。该算子最初定义的基本形式作用于像素的8-邻域中。具体来说，以邻域中心像素的灰度值为阈值，将邻域中的8个像素进行门限化处理，然后乘以相应的权值，把结果相加后就得到了对应像素的LBP码值，如图2所示。本发明实现中，应用到了LBP_P，R和

两种扩展形式。首先，定义全色纹理图像中局部邻域内的纹理T为P(P＞1)个像素对应灰度值的联合分布：

T＝t(g_c，g₀，g₁，……，g_P-1)

(1)

其中g_c对应着局部邻域内中心像素的灰度值，g_p(p＝0，1，……，P-1)对应着邻域周围位于半径为R(R＞0)的圆环上的P个像素的灰度值，而这P个像素组成了一个圆对称邻域集。

如果g_c的坐标为(0，0)，那么g_p的坐标值则为：

(-Rsin(2πp/P)，Rcos(2πp/P))

(2)

图4显示了各种(P，R)下的圆对称邻域集。邻域集中的像素如果没有位于图像像素的中心位置，则通过线性插值估计其灰度值。

作为推导过程中的第一步，并未损失任何信息，只是用圆对称邻域集内的像素g_p(p＝0，1，……，P-1)的灰度值减去中心像素g_c的灰度值，得到

T＝t(g_c，g₀-g_c，g₁-g_c……，g_P-1-g_c)

(3)

接着，假定差分值g_p-g_c与g_c之间是相互独立的，那么可将式(3)分解为

T≈t(g_c)t(g₀-g_c，g₁-g_c……，g_P-1-g_c)

(4)

实际上，上述独立并非严格意义上的独立，因此，分解后的分布是原先联合分布的一种近似。然而，我们可以接受这种导致部分信息损失的近似，因为它允许我们获得算子的灰度变化不变性。也就是说，式(4)中的t(g_c)分布描述了图像的全局亮度，它与局部纹理无关，也就对纹理分析无法提供有用信息。所以，在式(1)所定义的联合灰度分布中，大部分纹理属性就转换为如下分布：

T≈t(g₀-g_c，g₁-g_c……，g_P-1-g_c)

(5)

Ojala等人发现，某些特定的局部二进制模式在观测图像中的出现频率远远高于其他模式，同时，这些局部二进制模式往往具有一致的循环结构：模式中只包含了少量的空间转换(相邻位置0/1的相互变换)。因此，它们又被命名为“一致(Uniform)”模式。为了正式定义一致模式，有文献引入反映模式中空间转换次数的一致性度量U。同时，指定具有U值不大于2的局部二进制模式为一致模式。并且，提出了如下具有灰度和旋转不变性的纹理算子，以代替用于纹理分析：

$\mathrm{LB}{P}_{P,R}^{\mathrm{riu}2}=\left\{\begin{array}{cc}{\mathrm{\Σ}}_{p=0}^{P-1}\mathrm{sign}(g_p-g_c),& \mathrm{if\; U}\left({\mathrm{LBP}}_{P,R}\right)\≤2\\ P+1,& \mathrm{otherwise}\end{array}\right.---\left(6\right)$

其中

$U\left({\mathrm{LBP}}_{P,R}\right)=|\mathrm{sign}(g_{P-1}-g_c)-\mathrm{sign}(g_0-g_c)|+\underset{p=1}{\overset{P-1}{\mathrm{\Σ}}}|\mathrm{sign}(g_p-g_c)-\mathrm{sign}(g_{p-1}-g_c)|---\left(7\right)$

上标riu2说明具有旋转不变性的一致模式对应的U值不大于2。根据定义，P个像素组成的圆对称邻域中能够精确地获得P+1个一致模式。公式(9)实际上根据模式中位置“1”的数量分配给每个一致模式唯一的标识(0～P)，而对其他“非一致(nonuniform)”模式则聚为一类，并分配标识(P+1)。使用时，从LBP_P，R到

的映射共有P+2个不同的输出值，该映射可用一个2^P个元素组成的查找表实现。

使用LBP直方图向量作为人脸特征的描述，即首先对图像进行LBP特征提取变换，然后使用LBP直方图向量作为人脸特征的描述，后来出现诸多改进方法，即首先对人脸图像进行分块，分别对每块进行LBP纹理分析、直方图统计，最后将各个块的直方图向量连接成整个图像的直方图向量，具体的过程如图3所示。

以某企业考勤机为例，整个流程包括待识别人脸录入、相关信息录入、双阈值设定、识别、判定、手动输入、成功或报警。首先，将某企业所有(员工)待识别人脸1录入(考勤机)识别仪器2，并同时录入相关信息3，相关信息3包括工号、身份证号、手机号等等；然后为(考勤机)人脸识别仪器2科学性的设定两个阈值，一个70％，一个80％，当(员工)待识别人脸1在(考勤机)人脸识别仪器2前进行人脸识别时，其识别度达到或大于80％时，此时识别成功，(员工)被识别人1可以直接通过；识别度低于70％时，识别不能成功，(员工)被识别人1不能通过，并由(考勤机)人脸识别仪器2向管理中心4发出警报；而识别度处于70％与80％之间时，此时(员工)被识别人1被(考勤机)识别仪器2要求手动输入事先录入的相关信息3，当所有要求的信息输入正确时，识别成功，相反识别不成功。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于双阈值局部二进制的人脸识别方法，其特征在于，该方法包括：

(1)对人脸图像进行局部二进制特征运算；

(2)从局部二进制模式得到直方图；

(3)利用特征匹配实现人脸识别；

(4)在对人脸图像做特征提取运算之前进行图像空间变换。

2.根据权利要求1所述的一种基于双阈值局部二进制的人脸识别方法，其特征在于，所述的人脸变换有Gabor变换，Gassian变换和Harr变换。

Images