CN105335763A - 一种基于改进型极速学习机的织物疵点分类方法 - Google Patents

Abstract

本发明涉及一种基于改进型极速学习机的织物疵点分类方法，包括以下步骤：将训练样本的疵点图像进行预处理；构造自适应小波进行分解检测出织物瑕疵，并通过多特征融合的方法进行特征提取，获得疵点特征；对疵点特征进行分类，分类时，引入在线ELM算法，并对隐层节点进行灵敏度分析法的在线ELM剪枝处理。本发明解决了ELM在处理大块数据时整体处理方式的不足，减小算法性能对隐层节点的依赖性，采用基于灵敏度分析对隐层节点进行剪枝处理。

Description

一种基于改进型极速学习机的织物疵点分类方法

技术领域

本发明涉及织物疵点分类技术领域，特别是涉及一种基于改进型极速学习机的织物疵点分类方法。

背景技术

ELM算法是在单隐层前馈神经网络的基础上提出来的。单隐层前向祌经网络是一类特殊的前向神经网络，只包含一个隐层的前向神经网络。著名万有逼近定理表明，单隐层前向神经网络可以以任意精度逼近给定连续函数。基于此理论保证,单隐层前向神经网络无论在理论分析方面，还是工程应用方面都得到广泛研究。

与传统神经网络相比，ELM存在很多的优点：ELM算法学习速度快且泛化能力好，ELM算法是以提高单隐层前向型祌经网络(SLFN)训练速度及泛化能力为出发点而提出；传统的学习是基于梯度下降原理设计的，面临学习速度缓慢，易陷入局部极小等问题，而ELM基于最小二乘法的，通过一次矩阵运算来确定网络的参数，因而学习的速度快，目前已成功应用于大量回归与分类问题。

人工神经网络算法学习过程中，通常采用批处理学习和在线学习两种模式。ELM采用的是批处理学习模式，即所有的训练数据都处理完才添加到网络中学习，并相应的调整一次权向量，这种学习方式处理大规模数据集和实时数据集时，并没有体现出其实时性，学习时间长且效果不理想。在线学习机OS-ELM采用的即是在线学习模式，数据到达时序列增加到网络中学习，并丢弃已学习的数据，不对其进行重复学习，处理大规模数据集和实时数据集时有很好的效果。

另外网络的结构也是制约ELM实时性的主要因素。单隐层前向神经网络学习中，隐单元数量与网络泛化能力有直接关系，过多或过少隐单元数都会使训练误差较大且泛化能力较差。因此，如何确定合适的隐单元数量以达到较理想的期望结果成为研究ELM算法的核心问题。

发明内容

本发明所要解决的技术问题是提供一种基于改进型极速学习机的织物疵点分类方法，能够对多种平纹织物疵点图像进行疵点检测。

本发明解决其技术问题所采用的技术方案是：提供一种基于改进型极速学习机的织物疵点分类方法，包括以下步骤：

(1)将训练样本的疵点图像进行预处理；

(2)构造自适应小波进行分解检测出织物瑕疵，并通过多特征融合的方法进行特征提取，获得疵点特征；

(3)对疵点特征进行分类，分类时，引入在线ELM算法，并对隐层节点进行灵敏度分析法的在线ELM剪枝处理。

所述步骤(3)中对引入的在线ELM算法进行正则化处理。

所述步骤(3)中引入的在线ELM算法是根据隐层节点输出及其对应的输出层权值定义训练残差相对于隐含层节点的灵敏度，据此对隐含层节点排序，并计算网络规模适应度，保留指定数目的灵敏度高的隐层节点；被删除节点的输入层权值和阈值采用叠加的方法平均分配给其他保留节点。

所述步骤(1)的预处理包括同态滤波处理和直方图均衡化处理。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明采用在线ELM算法，解决ELM在处理大块数据时整体处理方式的不足；为了提高算法的泛化能力，减小算法性能对隐层节点的依赖性，采用基于灵敏度分析对隐层节点进行剪枝处理；为了保证算法可以同时具有很好的结构风险和经验风险，对改进的算法进行正则化处理，实现对织物疵点的实时精确检测。

附图说明

图1是SAOS-ELM预测结果图；

图2是RSAOS-ELM预测结果图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

为了验证本发明的有效性，本实施例对竹节、断经、油污、断纬、缺纬、缺经、吊经、纬缩8种平纹织物疵点图像进行疵点检测。每种疵点有图片50张，20张作为训练，30张作为测试样本，并与ELM、OS-ELM、SAOS-ELM进行比较，对算法性能进行验证。

本实施例的具体步骤如下：

(1)图像预处理。将训练样本的疵点图像进行同态滤波、直方图均衡化等处理；

(2)织物疵点检测和提取。构造自适应小波进行分解检测出织物瑕疵，并通过多特征融合的方法进行特征提取，获得疵点特征。

(3)分类器设计，对疵点特征进行分类，分类时，引入在线ELM算法，并对隐层节点进行灵敏度分析法的在线ELM剪枝处理。

其中，引入的在线ELM算法是根据隐层节点输出及其对应的输出层权值定义训练残差相对于隐含层节点的灵敏度，据此对隐含层节点排序，并计算网络规模适应度，保留指定数目的灵敏度高的隐层节点；被删除节点的输入层权值和阈值采用叠加的方法平均分配给其他保留节点。

具体如下：

灵敏度网络规模适应度定义：

令k_ij＝g_j(x_i)＝g(ω_jx_i+b_j)i＝1,2,3,...,N，对比(1)式可知，

其中：ω:表示输入层权值；x：表示输入的样本集，b表示隐层偏置；β_j表示：第j个隐含节点对应的输出层权值向量。

y_i＝k_1iβ₁+k_2iβ₂+...+k_Liβ_L(1)

假设删除节点j＝1，此时的网络为：t_i'＝k_2iβ₂+k_3iβ₃+...+k_LiβL(2)

其中：k_ij为第j个隐含节点对于第i个样本输出；β_j表示：第j个隐含节点对应的输出层权值向量。

由式(1)和(2)可得残差：

||t_i-t'_i||＝||k_1iβ₁||＝|k_1i|||β₁||(3)

由式(3)可见，对于第i个样本，去掉第1个隐含层节点引起的网络输出误差为节点输出的绝对值与相应输出层权值向量模的乘积。因此，定义学习残差相对于第i个隐含层节点的灵敏度为：

$S_j=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}\left|k_{ji}\right|\left|\right|{\mathrm{\β}}_j\left|\right|---\left(4\right)$

其中：N为训练样本的个数，k_ij为第j个隐含节点对于第i个样本的输出，β_j为第j个隐含节点对应的输出层权值向量。S_j越大说明第j个节点对于学习残差越重要，所以由灵敏度可对隐含层的节点进行排序：

S₁'≥S'₂≥S₃'≥...≥S'_L(5)

因为隐含层节点删除越多,学习残差越大,删除的隐含层节点越重要，学习残差越大，所以网络规模适应度(MSA)可由灵敏度定义为：

$M_k=\frac{\underset{j=1}{\overset{k}{\Σ}}{S}_j^{\′}}{\underset{j=1}{\overset{L}{\Σ}}{S}_j^{\′}},1\≤k\≤L---\left(6\right)$

M_K越大，网络规模越大，学习残差越小，因此与学习样本相匹配的网络规模可由网络规模适应度定义为：

M＝min{k|M_k≥γ,1≤k≤L}(7)

其中，γ(0≤γ≤1)为网络规模适应度阈值，M为网络保留隐含层节点数量，L为网络隐层节点个数，L-M为网络中冗余节点个数。关于γ的选择，问题的依赖性比较强，但是由于ELM算的性能对隐含层节点的个数不是非常敏感，所以γ的选择不需要非常精确，可以由增减试凑的方式给予确定。为了防止样本信息因节点被删除而消失，被保留节点的输入权值需要进一步更新。

灵敏度权值的更新：

根据灵敏度S_j将L个隐层节点进行排序如下：

$S_{j1}^1\≥S_{j2}^2\≥...\≥S_{jM}^M\≥S_{jM+1}^{M+1}\≥...\≥S_{jL}^L---\left(8\right)$

其中：下标为排序前的隐节点的序号，上标为排序后的隐节点的次序号。根据(6)和(7)式选择位次靠前的M个隐层节点的保留，后L-M个删除，令R＝{j₁,j₂,...,j_M}为保留节点集，D＝{j_M+1,j_M+2,...,j_L}＝{d₁,d₂,...,d_L-M}为删除节点集。为了保存被删除节点的样本信息，同时消除过拟合信息，采用权值横向平均传播的方法更新保留节点的输入层权值，更新公式为

${\mathrm{\ω}}_{j_l,i}^{new}={\mathrm{\ω}}_{j_l,i}^{old}+\frac{1}{L-M}\underset{k=1}{\overset{L-M}{\Σ}}{\mathrm{\ω}}_{d_{k,i}}---\left(9\right)$

其中：1≤i≤n,1≤l≤M，和分别为更新前后第i个输入节点和j_l个保留节点的连接权值，为第i个输入节点与第d_k个被删除节点的连接权值。冗余节点删除后，利用矛盾线性方程组的最小范数最小二乘解求得网络输出层权值为：

β'＝(H')⁺T(10)

其中：H'为节点删除后神经网络的隐含层输出矩阵，β'为新的网络输出层权值。根据上述分析得出基于灵敏度分析的OS-ELM算法：

(1)构建一个规模较大的SLFN，隐含层节点个数记为L<N，记隐含层输出矩阵为H，输出层权值矩阵为β，设置网络规模适应度阈值γ，转到(2)。

(2)根据H和β，由(4)式计算计算学习残差相对于第j个隐含层节点的灵敏度S_j(1≤j≤L)，并对隐含层节点进行排序：

$S_{j1}^1\&GreaterEqual;S_{j2}^2\&GreaterEqual;...\&GreaterEqual;S_{jM}^M\&GreaterEqual;S_{jM+1}^{M+1}\&GreaterEqual;...\&GreaterEqual;S_{jL}^L$

其中：下标为排序前的隐节点的序号，上标为排序后的隐节点的次序号。转到(3)。

(3)根据学习残差灵敏度S_j，由式(6)计算网络规模适应度M_k(1≤k≤L)，转(4)。

(4)根据M_k和γ，由式(7)和(8)选择被删除节点,转至(5)。

(5)根据(9)对保留隐含节点输入权值进行更新。

(6)对剪枝后的网络计算隐含层输出矩阵H'，并且根据(10)计算网络输出层权值β'由(7)-(8)可知，被删除节点的重要性相对较小，因此在满足训练精度条件下，SA-ELM算法能够得到结构更加紧凑的神经网络。

为了保证算法可以同时具有很好的结构风险和经验风险，对引入的在线ELM算法进行正则化处理。

从统计角度分析，实际风险包括经验风险和结构风险。一个具有好的泛化能力的网络应该对这两种风险进行权衡，并取得最佳的折中。因此，为提高SAOS_ELM的稳定性，需要在权向量计算过程中引入正则化因子，故基于R-ELM算法提出RSAOS_ELM算法。RSAOS-ELM算法基本思想与RELM类似，可作如下说明：

RELM的数学模型可以表示为：

$\arg \underset{\mathrm{\&beta;}}{\min E}\left(W\right)=\underset{\mathrm{\&beta;}}{\arg \min }\left(\frac{1}{2}\right|\left|\mathrm{\&beta;}\right|{|}^2+\frac{1}{2}\mathrm{\&gamma;}\left|\right|\mathrm{\&epsiv;}\left|{|}^2\right),$

$st.\underset{i=1}{\overset{\tilde{N}}{\&Sigma;}}{\mathrm{\&beta;}}_{i}g(a_i\&CenterDot;x_j+b_i)-t_j={\mathrm{\&epsiv;}}_j,j=1,2,\mathrm{..},N---\left(11\right)$

其中，||ε||²表示误差的平方和，为经验风险；||β||²表示结构风险，其中β表示网络输出权值。γ表示两种风险的比例参数，可通过交叉验证的方式确定γ来获得两种风险的最佳折中点。为了增强算法的鲁棒性和抗干扰性能，需要对不同样本的误差进行加权，||ε||²被扩展为||Dε||²，D表示误差权值的对角阵，记为：

D＝diag(v₁,v₂,v₃,...,v_N)

由此，(11)式可写成：

$\arg \underset{\mathrm{\&beta;}}{\min E}\left(W\right)=\underset{\mathrm{\&beta;}}{\arg \min }\left(\frac{1}{2}\right|\left|\mathrm{\&beta;}\right|{|}^2+\frac{1}{2}\mathrm{\&gamma;}\left|\right|D\mathrm{\&epsiv;}\left|{|}^2\right),$

$st.\underset{i=1}{\overset{\tilde{N}}{\&Sigma;}}{\mathrm{\&beta;}}_{i}g(a_i\&CenterDot;x_j+b_i)-t_j={\mathrm{\&epsiv;}}_j,j=1,2,\mathrm{..},N---\left(12\right)$

对(12)式分析知是条件极值问题，可由拉格朗日方程转化为无条件极值进行求解：

$\begin{array}{c}L\left(\mathrm{\&beta;},\mathrm{\&epsiv;},\mathrm{\&alpha;}\right)=\frac{\mathrm{\&gamma;}}{2}\left|\right|D\mathrm{\&epsiv;}|{|}^2+\frac{1}{2}|\left|\mathrm{\&beta;}\right|{|}^2-\underset{j=1}{\overset{N}{\&Sigma;}}{\mathrm{\&alpha;}}_j\left(g\left(a_i{x}_j+b_i\right)-t_i-{\mathrm{\&epsiv;}}_i\right)\\ =\frac{\mathrm{\&gamma;}}{2}\left|\right|D\mathrm{\&epsiv;}|{|}^2+\frac{1}{2}|\left|\mathrm{\&beta;}\right|{|}^2-\mathrm{\&alpha;}\left(H\mathrm{\&beta;}-T-\mathrm{\&epsiv;}\right)\end{array}---\left(13\right)$

其中， $\begin{array}{cc}\mathrm{\&alpha;}=\&lsqb;{\&part;}_1,{\&part;}_2,...,{\&part;}_N\&rsqb;& {\&part;}_j\&Element;R^m(j=1,2,...,N)\end{array}$ 代表拉格朗日乘子。

求拉格朗日梯度并令其为0：

$\left\{\begin{array}{c}\frac{\&part;L}{\&part;\mathrm{\&beta;}}=0\\ \frac{\&part;L}{\&part;\mathrm{\&epsiv;}}=0\\ \frac{\&part;L}{\&part;\mathrm{\&alpha;}}=0\end{array}\right.---\left(14\right)$

得出：

$\left\{\begin{array}{cc}{\mathrm{\&beta;}}^T=\mathrm{\&alpha;}H& \left(a\right)\\ {\mathrm{\&gamma;\&epsiv;}}^T{D}^2+\mathrm{\&alpha;}=0& \left(b\right)\\ H\mathrm{\&beta;}-T-\mathrm{\&epsiv;}=0& \left(c\right)\end{array}\right.---\left(15\right)$

把方程(c)代入(b)中得：

α＝-γ(Hβ-T)^TD²(16)

把(16)代入到(a)中得：

$\mathrm{\&beta;}={(\frac{1}{\mathrm{\&gamma;}}+H^T{D}^{2}H)}^{+}{H}^T{D}^{2}T---\left(17\right)$

从式(4)可以发现：表达式只含有一个矩阵的逆操作，所以计算β的速度非常的快。

在分类器设计上，为了保证结果的准确性，分类的结果均采用50次实验的平均值，实验结果如表1-4。

表1ELM方法测试集分类正确率

表2OS_ELM方法测试集分类正确率

表3SAOS_ELM方法测试集分类正确率

表4RSAOS_ELM方法测试集分类正确率

(4)回归分析预测。为验证本发明算法的鲁棒性，即为了说明正则化后的效果，采用含噪声的织物疵点数据集，做回归分析预测，结果如图1和图2所示。

实验表明：

在学习时间方面：SAOS-ELM算法学习间最短，主要是因为隐层节点得到了约简，学习的速度得到了提高，同时也可以得出，因为约简隐层节点，泛化能力也会得到提高。

分类的准确率上：SAOS-ELM和RSAOS-ELM最好，验证了本文算法的合理性。

在网络结构方面：SAOS-ELM的算法设计的分类器，剪枝了隐层的节点数，泛化能力得到提高，同时能够在较短的分类时间内得到相对较好的分类结果。因为SAOS-ELM算法和RSAOS-ELM算法采用产生并选取网络结构的方法，所得网络结构相对紧凑，可以在隐层节点数较少的情况下达到较好的分类结果，泛化能力得到提高。

在鲁棒性方面：由图1和图2可以看出，在分析含有噪声干扰织物数据集时，RSAOS-ELM算法回归预测的准确率要高于SAOS-ELM。这说明正则化后的算法具有一定的抗干扰性，算法的稳定性得到保证。

Claims (4)

1.一种基于改进型极速学习机的织物疵点分类方法，其特征在于，包括以下步骤：

(1)将训练样本的疵点图像进行预处理；

(2)构造自适应小波进行分解检测出织物瑕疵，并通过多特征融合的方法进行特征提取，获得疵点特征；

(3)对疵点特征进行分类，分类时，引入在线ELM算法，并对隐层节点进行灵敏度分析法的在线ELM剪枝处理。

2.根据权利要求1所述的基于改进型极速学习机的织物疵点分类方法，其特征在于，所述步骤(3)中对引入的在线ELM算法进行正则化处理。

3.根据权利要求1所述的基于改进型极速学习机的织物疵点分类方法，其特征在于，所述步骤(3)中引入的在线ELM算法是根据隐层节点输出及其对应的输出层权值定义训练残差相对于隐含层节点的灵敏度，据此对隐含层节点排序，并计算网络规模适应度，保留指定数目的灵敏度高的隐层节点；被删除节点的输入层权值和阈值采用叠加的方法平均分配给其他保留节点。

4.根据权利要求1所述的基于改进型极速学习机的织物疵点分类方法，其特征在于，所述步骤(1)的预处理包括同态滤波处理和直方图均衡化处理。