CN104616030B - 一种基于极限学习机算法的识别方法 - Google Patents

Abstract

本发明公开了一种基于极限学习机算法的识别方法，其提高网络的泛化性能，使解析求得的输出权值更加利于分类，从而大大提高了识别率。该方法包括训练阶段，对于给定训练集N＝{(x_i,t_i)|x_i∈Rⁿ,t_i∈R^m,i＝1,…,N},激活函数g(x)＝log(1+e^x)，隐单元个数L，其包括步骤：(1)随机生成输入单元与隐单元之间的权值w_j，隐单元的偏置b_j，其中j＝1,…,L；(2)计算隐单元的输出矩阵；(3)分别计算H中同一类别分量的类内距S_w和不同类别分量的类间距S_b对输出权值β求导中的S₁,S₂；(4)通过公式(20)计算隐单元到输出单元的输出权值β。

Description

一种基于极限学习机算法的识别方法

技术领域

本发明属于模式识别和神经网络的技术领域，具体地涉及一种基于极限学习机算法的识别方法。

背景技术

人工神经网络(Artificial Neural Network，ANN)拥有强大的自学习、自组织、自适应能力，一直以来都是机器学习领域中比较普遍且实用的方法。其中，单隐层的前馈神经网络(Single-hidden Layer Feedforward Neural networks,SLFN)因为结构简单并且具有一致的逼近能力，成为了ANN模型中研究的热点。传统的SLFN普遍采用梯度下降算法来训练，其收敛速度慢，网络中所有的参数都要经过多次迭代求得，通常花费时间要几小时几天甚至更长，有时甚至还会陷入局部最优解。为了解决以上问题，G.B.Huang等人于2004年提出了一种新型的SLFN算法，被称为极限学习机(Extreme Learning Machine，ELM)。该算法不依赖于输入权值和隐单元偏置的选择，可以进行随机赋值，然后通过合适的激活函数得到隐含层的输出矩阵，网络的输出权值可由解析直接求得。整个算法中所有参数的确定无需迭代，无需微调，因此与传统的训练方法如BP算法相比，其学习速度更快，泛化性能更好。

在神经网络当中，激活函数的性能表现一直处于核心地位，如果激活函数选择不当，那么无论怎么改进网络结构和学习方法都难以达到很好的学习精度，甚至根本不可能完成学习任务。Hornik和Leshno已经证明：对于含有可加节点的SLFN，如果激活函数为连续的，有界的并且非常数的非多项式，则一定可以逼近任意连续的目标函数。因此如果能选择合适的激活函数对于优化网络性能具有重要作用。

同时，传统的ELM算法通过优化网络实际输出与理论输出误差解析求得输出权值，所以它能很好地表示输入信号。当将ELM算法应用于分类任务时，训练样本类别信息是可利用的，如何将样本的类别信息加入到网络的学习模型当中，使学到的网络在保证表示效果的同时对同类样本具有更好的聚集性，对不同类样本具有更好的可分性，这对于分类识别问题尤为必要。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于极限学习机算法的识别方法，其提高网络的泛化性能，使解析求得的输出权值更加利于分类，从而大大提高了识别率。

本发明的技术解决方案是：这种基于极限学习机算法的识别方法，该方法包括训练阶段，对于给定训练集N＝{(x_i,t_i)|x_i∈Rⁿ,t_i∈R^m,i＝1,…,N},激活函数g(x)＝log(1+e^x)，隐单元个数L，其包括以下步骤：

(1)随机生成输入单元与隐单元之间的权值w_j，隐单元的偏置b_j，其中j＝1,…,L；

(2)通过公式(3)计算隐单元的输出矩阵H，

(3)通过公式(15)、(16)分别计算H中同一类别分量的类内距S_w和不同类别分量的类间距S_b对输出权值β求导中的S₁,S₂，

(4)通过公式(20)计算隐单元到输出单元的输出权值β

本发明首先提出了一种更加接近生物学的激活模型且具有一定稀疏能力的Softplus激活函数来替代传统最常用的Sigmoid函数，提高网络的泛化性能；其次，为了更好的利用训练样本的标签信息，使解析求得的输出权值更加利于分类，本发明又提出了基于改进Fisher判别约束的ELM算法；从而在一定程度上进一步提高识别率。

附图说明

图1是极限学习机算法ELM的网络结构示意图。

图2是Sigmoid函数图像的示意图。

图3是ReLU和Softplus函数图像的示意图。

具体实施方式

这种基于极限学习机算法的识别方法，该方法包括训练阶段，对于给定训练集N＝{(x_i,t_i)|x_i∈Rⁿ,t_i∈R^m,i＝1,…,N},激活函数g(x)＝log(1+e^x)，隐单元个数L，其包括以下步骤：

(1)随机生成输入单元与隐单元之间的权值w_j，隐单元的偏置b_j，其中j＝1,…,L；

(2)通过公式(3)计算隐单元的输出矩阵H，

(3)通过公式(15)、(16)分别计算H中同一类别分量的类内距S_w和不同类别分量的类间距S_b对输出权值β求导中的S₁,S₂，

(4)通过公式(20)计算隐单元到输出单元的输出权值β

本发明首先提出了一种更加接近生物学的激活模型且具有一定稀疏能力的Softplus激活函数来替代传统最常用的Sigmoid函数，提高网络的泛化性能；其次，为了更好的利用训练样本的标签信息，使解析求得的输出权值更加利于分类，本发明又提出了基于改进Fisher判别约束的ELM算法；从而在一定程度上进一步提高识别率。

优选地，该方法包括测试阶段，对于给定测试集

和训练好的网络，其包括以下步骤：

(I)与训练时网络所有的参数一致，通过公式(21)记录每个测试样本由网络输出的类别向量：

(I)通过公式(22)计算识别率：将网络输出的类别信息o_i与样本对应的实际标签t_i进行对比求得识别率：

优选地，当是数字库(MNIST)时，输入单元节点为784，隐含单元节点为1000，输出单元结点分别为10，随机输入权值和隐单元偏置w,b∈(-1,1)，激活函数为Sigmoid时C＝0.1，激活函数为ReLU和Softplus时C＝0.01，a＝0.2，b＝0.3。

优选地，当是人脸库(ORL、AR、Extended Yale B)时，输入单元节点都为784，隐含单元节点都为600，输出单元结点分别为40、120、38，随机输入权值和隐单元偏置w,b∈(-1,1)，激活函数为Sigmoid时C＝0.1，激活函数为ReLU和Softplus时C＝0.01，a＝0.2，b＝0.8。

以下更详细地说明本发明：

1极限学习机算法(ELM)

ELM是一种新型的单层前馈神经网络算法，最早由Huang于2004年提出。该算法不依赖于输入权值和隐单元偏置的选择，可以进行随机赋值，然后通过合适的激活函数得到隐含层的输出矩阵，网络的输出权值可由解析直接求得。与传统神经网络相比，ELM的训练速度非常快，并且泛化性能更强。ELM包括三层：输入层、隐含层和输出层。网络结构如图1所示。

对于N个不同样本(x_i,t_i),其中x_i＝[x_i1,x_i2,…,x_in]^T表示第i个样本，t_i＝[x_i1,x_i2,…,x_im]^T表示第i个样本的实际标签，输入单元的个数n表示每个样本的维数，输出单元的个数m表示样本总的类别数目,给定L个可加型的隐含单元和激活函数g(x)，则存在一组参数w_j,b_j和β_j，使得该网络可以以零误差逼近这N个不同样本点，即

其中w_j＝[w_j1,w_j2,…,w_jn]^T，表示第j个隐单元与输入单元之间的权值，b_j表示第j个隐单元的偏置，β_j＝[β_j1,β_j2,…,β_jm]^T，表示第j个隐含单元到输出单元之间的权值。

对于上面N个等式可以写成下面的矩阵形式：

Hβ＝T (2)

其中

H是该神经网络隐含层的输出矩阵，H的第j列是第j个隐单元关于输入样本x₁,x₂,…,x_N的输出。

然而，通常情况下隐单元的个数远小于训练样本的个数，即L＜＜N,此时H就不是方阵不可逆，因此对等式(2)的求解通常转化为求下式的最小二乘问题：

上面等式最小范数的唯一最小二乘解为：

其中H⁺表示矩阵H的伪逆矩阵，H⁺＝(H^TH)^-1H^T。

为了防止过拟合，让算法具有鲁棒性并且泛化性能更好，正则化的ELM算法被提出，它将原来的算法加入一个关于β的正则项，原来的目标函数改为：

由此可以求得

其中I表示单位矩阵，C表示任意常系数。

2改进激活函数的ELM算法

激活函数在ELM网络当中的性能表现则处于核心地位，如果激励函数选择不当，那么无论怎么改进网络结构和学习方法都难以达到很好的学习精度，甚至根本不可能完成学习任务。反之，如果选择更好的激活函数则可以很明显的提高网络性能。

Sigmoid函数是一个良好的阈值函数，是连续光滑严格单调的S型函数。它在处理神经网络问题上有很大的优势，因此常被用来作为ANN中的激活函数。其函数定义为：

函数图像如图2所示。同样在ELM网络中，对可加型隐单元的激活函数通常也会选择它。而Hornik提出只要激活函数是连续的，有界的并且非常数，那么在紧凑集上含有可加节点的SLFN都可以逼近任意连续函数，即激活函数并不唯一。

近年来，在深度学习领域，一种新型的修正线性函数已经被广泛的运用于受限波尔兹曼机(RBM)和卷积神经网络(CNN)当中，逐渐代替Sigmoid激活函数成为主流。由该函数产生的单元被称为修正线性单元(Rectified Linear units，ReLU)，函数定义如下：

g(x)＝max(0,x) (10)

该函数的图像如图3所示。它的特点是如果计算出的值小于0，就让它等于0，否则保持原来的值不变。相比传统的Sigmoid逻辑函数，ReLU更接近生物学的激活模型，而且形式简单，由于没有用到幂运算和除法运算，因此ReLU运算速度更快，泛化性更好。同时，此激活函数具有一定的稀疏能力，它可以不通过任何预训练直接将网络内部规范化。

根据ReLU函数的性质，它的稀疏能力是通过一种简单粗暴地强制某些数据为0的方法所实现，且对于SLFN可以将大约50％的隐单元置0。然而，迫使太多的稀疏可能伤害其预测能力，减小了网络模型的平均性能。因此，本发明进一步提出了ReLU的近似平滑的Softplus函数，其函数定义为：

g(x)＝log(1+e^x) (11)

该函数的图像如图3所示。Softplus函数是非线性的，其不但避免了ReLU函数的缺点，同时还继承了ReLU的优点，具有一定的稀疏功能，它可以将ELM网络内部那些对性能影响不大的隐单元区分开，从而使整个网络模型的平均性能更好。

3基于改进Fisher判别的ELM算法

本发明利用ELM算法的主要目的是进行识别分类，而训练样本的类别信息是可利用的，那么如何更好的利用这些信息从而使训练得到的网络更加利于分类则显得尤为重要。由此我们考虑在原始ELM算法的基础上加入一个含有类别信息的约束，使解析求得的输出权值能够保证对同类样本具有更好的聚集性，对异类样本具有更好的可分性。因此，本发明提出了基于改进Fisher判别的ELM算法，以利于提高了网络模型的识别性能。

定义：

其中S_w表示类内距，S_b表示类间距，N表示训练样本总数，n表示样本类别总数，n_i表示第i类样本的个数，m_i表示第i类样本的均值，h(x_j)ⁱ表示属于i类的第j个样本的隐含层输出向量。

为了使得同类样本聚集性更近，异类样本距离更远，我们要保证类内距尽可能的小同时，类间距尽可能的大，因此加入改进Fisher判别的约束之后的ELM算法，原来的目标函数(7)变为：

其中H,β,T同公式(3)(4)所示，C表示任意常系数。其中a，b表示常系数，用来标明类内距和类间距约束作用所占的比例大小。

首先定义

于是由S_w,S_b分别对β求偏导数得：

最后用公式(14)对β求偏导数等于0，即：

由此得出：

其中I表示单位矩阵，S₁,S₂如公式(15)(16)中所示。

为了验证本发明算法的性能，特别是较原始ELM算法的改进效果，在公共的手写数字库和人脸库上进行了实验，通过比较识别率来说明本发明算法的优越性。

实验数据和设置

实验将在以下四个数据库上进行测试：

·MNIST手写数字库：该库中包含从0到9共10个手写数字，每个数字6000张训练和1000张测试，共60000个训练样本和10000个测试样本。样本大小为28×28。本发明实验将分别用60000和10000个样本做训练，用10000个样本做测试。

·ORL人脸库：该库中共有40个人400张人脸图像，包含了他们的不同姿态和面部饰物的变化，每人10张图像。该库人脸图像已进行过简单的对齐处理，大小为64×64。实验时，将其下采样为28×28维大小，并分别选择6和8张为训练样本，则剩余的4和2张为测试样本。

·AR人脸库：该库中共有120个人1680张人脸图像，包含了他们不同姿态、表情、以及关照下的变化，每人14张图像。该库人脸图像大小为40×50。实验时，将其下采样为28×28维大小，并分别选择8和10张为训练样本，则剩余的6和4张为测试样本。

·Extended Yale B人脸库：该库中共有38个人，包含了他们不同姿态、以及严格关照下的变化，由于该库部分人脸受到关照的影响比较严重，因此实验选择了其中每人40张共1520张人脸图像做测试。该库人脸图像大小为168×192。该库人脸图像已进行过简单的对齐处理。实验时，将其下采样为28×28维大小，并分别选择25和30张为训练样本，则剩余的15和10张为测试样本。

实验中ELM网络参数设置为：输入单元节点都为784，数字库和人脸库(ORL、AR、Extended Yale B)隐含单元节点分别为1000、600、600、600，输出单元结点分别为10、40、120、38。随机输入权值和隐单元偏置w,b∈(-1,1)，算法中激活函数为Sigmoid时参数C＝0.1，选择ReLU和Softplus激活函数时C＝0.01，基于改进Fisher判别时类内类间距约束系数，对数字库和人脸库分别选择a＝0.2，b＝0.3和a＝0.2，b＝0.8。

识别结果及分析

由于ELM算法模型中初始的输入权值和隐单元偏置是随机赋值的，因此会对实验效果具有一定的影响。为了更好的说明原始ELM算法及改进后的效果，在每个数据库上进行10次实验，识别率取其平均值，并记录下这10组数据的标准差以说明算法的稳定性，结果如表1所示。

表1

上述结果表明，无论是在手写数字库还是人脸库上，当选择用一种更加接近生物学激活模型且具有稀疏性能的新型修正线性函数ReLU来替代传统标准的Sigmoid激活函数时，整个ELM算法的识别性能有了明显的提高。然而由于ReLU强制的稀疏能力可能会伤害其预测能力，减小网络模型的平均性能。因此本发明进一步引入它近似平滑的Softplus函数，从实验结果来看引入Softplus激活函数的ELM算法平均识别性能有了进一步提高，且使得算法的稳定性更好。

在此基础上，本发明又提出基于改进Fisher判别约束的ELM算法，使得其识别率再一次明显提升。由于加入了改进的Fisher判别约束之后，可以使训练的网络更加利于分类。而且，在每个数据库上都分别做了两组实验，由上述结果表明，当减少训练样本时，改进后的算法依然保持原有的优势。特别是本发明改进的算法在带有姿态、表情、光照等其他因素的不同人脸库上也都能有一个很好的识别率。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (3)

1.一种基于极限学习机算法的人脸识别方法，其特征在于，该方法包括训练阶段，对于给定训练集N＝{(x_i,t_i)|x_i∈Rⁿ,t_i∈R^m,i＝1…N},N＝28，人脸图像采样为28×28维大小，激活函数g(x)＝log(1+e^x)，隐单元个数L，其包括以下步骤：

(1)随机生成输入单元与隐单元之间的权值w_j，隐单元的偏置b_j，其中j＝1…L；

(2)通过公式(3)计算隐单元的输出矩阵H，

通过公式(15)、(16)分别计算H中同一类别分量的类内距S_w和不同类别分量的类间距S_b对输出权值β求导中的S₁,S₂，

(3)通过公式(20)计算隐单元到输出单元的输出权值β

2.根据权利要求1所述的基于极限学习机算法的人脸识别方法，其特征在于，该方法包括测试阶段，对于给定测试集和训练好的网络，其包括以下步骤：

(I)与训练时网络所有的参数一致，通过公式(21)记录每个测试样本由网络输出的类别向量：

(II)通过公式(22)计算识别率：将网络输出的类别信息o_i与样本对应的实际标签t_i进行对比求得识别率：

3.根据权利要求1所述的基于极限学习机算法的人脸识别方法，其特征在于，当是人脸库ORL、AR、Extended Yale B时，输入单元节点都为28×28，隐含单元节点都为600，输出单元结点分别为40、120、38，随机输入权值和隐单元偏置w,b∈(-1,1)，激活函数为Sigmoid时C＝0.1，激活函数为ReLU和Softplus时C＝0.01，a＝0.2，b＝0.8。