CN108921201B - 基于特征组合与cnn的大坝缺陷识别与分类方法 - Google Patents

Abstract

本发明公开了一种基于特征组合与CNN的大坝缺陷识别与分类方法，包括以下步骤：1)分别提取图像的LBP特征和GABOR特征图，然后基于特征向量余弦特征组合两种特征得到LG组合特征；2)将LG组合特征作为深度学习模型CNN的输入，通过逐层训练神经网络，提取更高层次的特征，根据此特征训练出CNN分类器；3)将测试样本提取LG特征后输入到训练好的CNN分类器中，分类识别出最后的缺陷类别。

Description

基于特征组合与CNN的大坝缺陷识别与分类方法

技术领域

本发明涉及一种基于特征组合与CNN的大坝缺陷识别与分类方法，具体是一种对缺陷图像实现识别分类的方法，属于分布式数据融合领域。

背景技术

世界坝工有着悠久的历史，我国更是一个水利大国，目前已拥有水库大坝9.8万余座，是世界上水库大坝最多的国家。但随着时间的推移和坝龄的增长，受温度、环境压力等各种因素的影响，大坝的运行形态会发生变化，出现变形、裂缝、渗漏、钙化物析出等一系列大坝表观缺陷。

图像特征提取称为图像特征选择与描述，是基于数据降维的思想，提取出代表图像主要信息的特征元素来实现图像数据的压缩。传统图像特征提取方法，从视觉上来判别，但在采集数据时需要耗费大量的时间和精力，因而并不适用。随着数字图像处理技术的快速发展，对于图像的特征提取已经能够实现自动化，能从颜色、形状、纹理等方面方便、快速地捕捉到图像中的信息，为大坝缺陷识别提供依据。图像特征提取方法按照提取的特征可以分为以下三类：基于颜色特征提取、基于纹理特征提取、基于形状特征提取。

图像识别分类方法主要包括两大类：传统图像识别技术和基于深度学习的图像识别技术。传统的图像识别需要经过图像预处理、特征提取和分类，人工提取的特征经分类器得到分类结果，常用有KNN、SVM、LDA、人工神经网络等。传统的图像识别算法实现简单，但由于图像本身质量的差别，进行一系列预处理也有较大差异，而对于机器学习需要事先确定好用于识别分类的图像特征，样本数量设置等，会出现识别准确率不高或者过拟合情况。随着神经网络的发展，卷积神经网络在图像识别领域的应用越来越广泛，与标准的神经网络不同，CNN可以有效地捕获图像的网络状拓扑，通过卷积自动提取图像特征，经网络逐层分析获得较好的识别效果，解决了传统的深度神经网络节点数目庞大难以训练的问题。

发明内容

发明目的：针对传统图像分类识别算法对于特征不明显或歧义性大的图像识别率低，且所使用的深度学习网络较为复杂，不能有效地挖掘大坝采集图像中所蕴含的丰富信息的问题，本发明提供了基于特征组合与CNN的大坝缺陷识别与分类方法，提高对缺陷图像识别分类的效率，到更加准确的分类识别效果。

技术方案：一种基于特征组合与CNN的大坝缺陷识别与分类方法，包括两个方面：LG组合特征提取和基于特征组合的CNN模型训练；

1)LG组合特征提取：首先分别提取训练样本图像的LBP特征和GABOR特征图，然后基于特征向量余弦特征组合两种特征得到LG组合特征；

2)基于特征组合的CNN模型训练：将LG组合特征作为深度学习模型CNN的输入，通过逐层训练神经网络，提取更高层次的特征，根据此特征训练出LG-CNN分类器；

3)最后将测试样本提取LG特征后输入到训练好的LG-CNN分类器中，分类识别出最后的缺陷类别。

(1)LG组合特征提取采用的如下：

LBP特征能描述图像的全局特征，反映出缺陷图像中亮光点、暗点、光照均匀区域以及不同方向边缘等微小特征的分布情况，且具有灰度不变性和旋转不变性。而Gabor小波主要依靠GABOR核在频率域上对信号进行加窗，描述信号的局部频率信息，可以提取多尺度多方向的空间频率特征，一些局部图像纹理信息的特征被放大，更有利于进行特征识别。因而综合考虑缺陷图像的全局特征和局部特征，将LBP特征和GABOR特征的组合特征向量作为特征输入进行缺陷的分类识别。具体流程图和步骤如下：

①对监测图像数据集进行预处理。

②LBP特征提取：

其中，R为LBP算子覆盖区域半径，P为采样点数目，g_c为图像中心灰度值，g_i为中心点周围的灰度值，如果g_i＞g_c，s(g_i-g_c)＝1，否则s(g_i-g_c)＝0。取8×8采样窗口，步长设置为4，依次计算64×64个采样窗口内LBP统计特征，得到64×64×59维的LBP直方图特征，连接各个区域的LBP直方图即可构成一个LBP特征向量：

③GABOR特征提取：

G_ψf(x,y,μ,υ)＝f(x,y)*ψ_μ,υ(z) (2)

其中，定义*为卷积操作，f(x,y)为图像，将输入图片分成64×64大小的块，每个块使用5种尺度υ∈{0,…,4}和8个方向μ∈{0,…,7}的Gabor滤波器ψ_μ,υ(z)，

其中，定义频率，定义方向，z＝(x,y)，其中(x,y)表示为像素点，δ＝2π，k_max＝π/2，υ∈{0,…,4}，μ∈{0,…,7}。

那么滤波后得到40幅GABOR图像，连接图像对应像素点的Gabor特征可得到64×64×40维的Gabor特征向量

④PCA降维：经LBP特征提取和Gabor小波变换后的特征向量维数为64×64维，对于缺陷识别应用来说维数过高，不易训练。因此，选用主成分分析法进行降维处理，在最大程度保留原始数据特征方向的基础上将其投影到较低维空间，最终选取主成分方差占比为97.4％的特征作为提取的LG组合特征，用来作为卷积神经网络的输入。

⑤LG组合特征：对LBP特征和Gabor特征的组合采用求取两向量余弦值计算两向量相似度的方法，首先分别计算两幅图像的LBP特征和Gabor特征，然后求取两幅图像中每个对应像素点上的LBP特征向量的余弦值和Gabor特征向量余弦值，将两种特征的余弦特征值按像素点位置对应相加，即可得到LG组合特征。

(2)基于特征组合的CNN模型训练

利用一定数量的已标记图像样本建立网络训练样本集，初始化网络参数和权重，然后提取样本集特征作为网络输入进行样本训练。训练过程中通过不断地迭代更新权重来获得分类效果最好的训练网络权重。网络训练结束，采集到的原图像即可通过训练好的分类器判别出不同类型的大坝缺陷图像。LG-CNN结构如图3所示，具体步骤如下：

①将原始监测图片集分为测试样本和训练样本。

②首先对训练样本进行LG-CNN网络训练，然后对测试样本进行测试样本特征识别，参数的设置和训练过程如下：

A参数设置

以下为几个影响CNN网络的关键参数：学习速率α(Learningrate)、权值衰减(Weightdecay)、动量(Momentum)、丢失率(Dropoutratio)；

BCNN训练过程和权重更新

由于网络初始权重W是随机分配的，在训练期间，预测值和实际分类通常是不一致的。为了计算两者之间的偏差量，定义Softmax损失函数，公式如下：

L用来表示与之间的独立关系，其中，L为损失函数，代表预测与实际数据的差距程度。

1{y⁽ⁱ⁾＝j}是逻辑表达式，返回值为0或1，也就是说，假如第i个输入的预测类相对j类是正确的，返回1，否则返回0值。θ是正则项(权重衰变)参数，用来惩罚大的权重，防止出现过度拟合的情况。

为了缩小偏差量，获得期望的结果，更新权重是必要的。也是CNN训练最重要的步骤。选用的基于反向传播的SGD算法，标准的梯度下降算法是在整个训练集的基础上更新W，而SGD可以在单个或多个训练样本上执行，它能最简单有效的实现最小化偏差，同时为了加快训练速度，在SGD算法中引入动量算法(MOBP)，具体更新过程如下：

步骤1:计算出相对于权重W的损失函数梯度值。

步骤2:超参数引入动量ε和学习速率α来更新速度υ。在物理学中动量被定义为质量与速度的乘积，在这里考虑的是单元质量。

W_j←W_j+υ (6)

步骤3:权重W按公式(5)迭代更新，直到形成收敛，也即W_j不再变化为止。公式(6)中的上标(i)表示第i个训练样本，i的范围取决于mini-batchsize(最小批尺寸)，即整个数据集中使用的训练样本数量，整个卷积神经网络通过重复步骤1和步骤2进行缩小偏差量的权重调整工作，最终得到收敛的优化网络权重W。

步骤4:缺陷分类识别输出：经过步骤2，LG-CNN分类器训练完成，设置在卷积神经网络的最后一层Softmax层会将多个神经元的输出映射到(0，1)的区间内，根据公式(7)得到第i个训练样本属于m个训练样本，第j类属于n类中的概率表达，也即每个输入的独立分类概率。其中函数输入为上层输出的特征向量输出为一个5维的权重向量，代表测试图像隶属于正常、裂缝、渗水点、渗水面、钙化物析出这五类缺陷的概率值，总权重值和为1。

根据测试结果概率向量，取概率值最大对应缺陷分类为测试分类识别结果。

③LG-CNN分类器：CNN网络权重更新完成，也即分类器已经训练好，此时可以输入测试图像进行分类识别。用图像大小为3264×1836，训练样本大小选取256×256，这是因为选择较小尺寸图像来训练网络可以扫描大于设计尺寸的任何图像，同时对于样本数量的扩充也有帮助作用。但是如果训练样本图像尺寸过于小就会造成样本标注困难，一些非缺陷的细节特征也被关注到，造成模型准确度下降，因而应选取合适的样本图像大小。

④识别结果：对于缺陷的定位检测，通过滑动窗口的方法，在测试图像的不同位置得到滑窗固定大小的LBP和GABOR组合特征，输入训练好的LG-CNN分类器中，进行高层次特征提取和匹配，最终得到所有的预测值，然后通过筛选，丢弃预测值低的窗口并进行滑窗合并等操作，最终得到输出结果。

附图说明

图1为本发明实施例的基于特征组合与CNN的大坝缺陷识别与分类方法(LG-CNN)的总体框架图；

图2为GABOR特征提取图；

图3为LG-CNN整体结构设计图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

图1为本发明提供的基于特征组合与CNN的大坝缺陷识别与分类方法(LG-CNN)的总体框架图，其工作过程如下所描述：

①对监测图像数据集进行预处理。

②LBP特征提取：

其中，R为LBP算子覆盖区域半径，P为采样点数目，g_c为图像中心灰度值，g_i为中心点周围的灰度值，如果g_i＞g_c，s(g_i-g_c)＝1，否则s(g_i-g_c)＝0。取8×8采样窗口，步长设置为4，依次计算64×64个采样窗口内LBP统计特征，得到64×64×59维的LBP直方图特征，连接各个区域的LBP直方图即可构成一个LBP特征向量：

③GABOR特征提取：

G_ψf(x,y,μ,υ)＝f(x,y)*ψ_μ,υ(z) (2)

其中，定义*为卷积操作，f(x,y)为图像，将输入图片分成64×64大小的块，每个块使用5种尺度υ∈{0,…,4}和8个方向μ∈{0,…,7}的Gabor滤波器ψ_μ,υ(z)，

其中，定义频率，定义方向，z＝(x,y)，其中(x,y)表示为像素点，δ＝2π，k_max＝π/2，υ∈{0,…,4}，μ∈{0,…,7}。

那么滤波后得到40幅GABOR图像，连接图像对应像素点的Gabor特征可得到64×64×40维的Gabor特征向量

④PCA降维：经LBP特征提取和Gabor小波变换后的特征向量维数为64×64维，对于缺陷识别应用来说维数过高，不易训练。因此，选用主成分分析法进行降维处理，在最大程度保留原始数据特征方向的基础上将其投影到较低维空间，最终选取主成分方差占比为97.4％的特征作为提取的LG组合特征，用来作为卷积神经网络的输入。

⑤LG组合特征：对LBP特征和Gabor特征的组合采用求取两向量余弦值计算两向量相似度的方法，首先分别计算两幅图像的LBP特征和Gabor特征，然后求取两幅图像中每个对应像素点上的LBP特征向量的余弦值和Gabor特征向量余弦值，将两种特征的余弦特征值按像素点位置对应相加，即可得到LG组合特征。

⑥将原始监测图片集分为测试样本和训练样本。

⑦首先对训练样本进行LG-CNN网络训练，然后对测试样本进行测试样本特征识别，LG-CNN整体结构如图3所示，表1列出了每层网络的操作和具体维度。其中高度和宽度表示的是像素数。

表1 LG-CNN每层的操作与维度

首先利用一定数量的已标记图像样本建立网络训练样本集，初始化网络参数和权重，然后提取样本集特征作为网络输入进行样本训练。训练过程中通过不断地迭代更新权重来获得分类效果最好的训练网络权重。网络训练结束，采集到的原图像即可通过训练好的分类器判别出不同类型的大坝缺陷图像。LG-CNN结构如图3所示，下面具体分析参数设置和训练过程。参数的设置和训练过程如下：

A参数设置

以下为几个影响CNN网络的关键参数：学习速率α(Learningrate)、权值衰减(Weightdecay)、动量(Momentum)、丢失率(Dropoutratio)；表2列出了LG-CNN网络的一些参数设置：

表2 LG-CNN模型训练参数设置

B训练过程和权重更新

由于网络初始权重W是随机分配的，在训练期间，预测值和实际分类通常是不一致的。为了计算两者之间的偏差量，定义Softmax损失函数，公式如下：

L用来表示与之间的独立关系，其中，L为损失函数，代表预测与实际数据的差距程度。

1{y⁽ⁱ⁾＝j}是逻辑表达式，返回值为0或1，也就是说，假如第i个输入的预测类相对j类是正确的，返回1，否则返回0值。θ是正则项(权重衰变)参数，用来惩罚大的权重，防止出现过度拟合的情况。

为了缩小偏差量，获得期望的结果，更新权重是必要的。也是CNN训练最重要的步骤。选用的基于反向传播的SGD算法，标准的梯度下降算法是在整个训练集的基础上更新W，而SGD可以在单个或多个训练样本上执行，它能最简单有效的实现最小化偏差，同时为了加快训练速度，在SGD算法中引入动量算法(MOBP)，具体更新过程如下：

步骤1:计算出相对于权重W的损失函数梯度值。

步骤2:超参数引入动量ε和学习速率α来更新速度υ。在物理学中动量被定义为质量与速度的乘积，在这里考虑的是单元质量。

W_j←W_j+υ (6)

步骤3:权重W按公式(5)迭代更新，直到形成收敛，也即W_j不再变化为止。公式(6)中的上标(i)表示第i个训练样本，i的范围取决于mini-batchsize(最小批尺寸)，即整个数据集中使用的训练样本数量，整个卷积神经网络通过重复上述过程进行缩小偏差量的权重调整工作，最终得到收敛的优化网络权重W。

步骤4:缺陷分类识别输出：经过步骤2，LG-CNN分类器训练完成，设置在卷积神经网络的最后一层Softmax层会将多个神经元的输出映射到(0，1)的区间内，根据公式(7)得到第i个训练样本属于m个训练样本，第j类属于n类中的概率表达，也即每个输入的独立分类概率。其中函数输入为上层输出的特征向量输出为一个5维的权重向量，代表测试图像隶属于正常、裂缝、渗水点、渗水面、钙化物析出这五类缺陷的概率值，总权重值和为1。

根据测试结果的概率向量，取概率值最大的对应缺陷分类为测试分类识别结果。

⑧LG-CNN分类器：CNN网络权重更新完成，也即分类器已经训练好，此时可以输入测试图像进行分类识别。用图像大小为3264×1836，训练样本大小选取256×256，这是因为选择较小尺寸图像来训练网络可以扫描大于设计尺寸的任何图像，同时对于样本数量的扩充也有帮助作用。但是如果训练样本图像尺寸过于小就会造成样本标注困难，一些非缺陷的细节特征也被关注到，造成模型准确度下降，因而应选取合适的样本图像大小。

⑨识别结果：对于缺陷的定位检测，通过滑动窗口的方法，在测试图像的不同位置得到滑窗固定大小的LBP和GABOR组合特征，输入训练好的LG-CNN分类器中，进行高层次特征提取和匹配，最终得到所有的预测值，然后通过筛选，丢弃预测值低的窗口并进行滑窗合并等操作，最终得到输出结果。

如下算法1和算法2描述了LG-CNN缺陷分类识别算法的过程，输入图像数据样本集，然后分别提取LBP特征和GABOR特征，经PCA降维后组合两种特征向量得到LG组合特征，并将其作为CNN模型的输入，通过前向传播和权值更新训练LG-CNN分类器，得到结果向量和分类误差。

算法3：LG-CNNalgorithm

算法4：SGDMalgorithm

根据以上实施例可知，针对传统图像分类识别算法对于特征不明显或歧义性大的图像识别率低，且所使用的深度学习网络较为复杂，不能有效地挖掘大坝采集图像中所蕴含的丰富信息，本发明的方法，提升对缺陷图像分类识别的效果，提高准确性。在此发明中，分别提取训练样本图像的LBP特征和GABOR特征图，然后基于特征向量余弦特征组合两种特征得到LG组合特征；将LG组合特征作为深度学习模型CNN的输入，通过逐层训练神经网络，提取更高层次的特征，根据此特征训练出LG-CNN分类器，最后将测试样本提取LG特征后输入到训练好的LG-CNN分类器中，识别出的最后缺陷类别具有最优结果。

Claims (5)

1.一种基于特征组合与CNN的大坝缺陷识别与分类方法，用于对海量所采集到的大坝图像进行分析，实现对其的识别和分类；其特征在于，包括两个方面：LG组合特征提取和基于特征组合的CNN模型训练；

1)LG组合特征提取：首先分别提取训练样本图像的LBP特征和GABOR特征图，然后基于特征向量余弦特征组合两种特征得到LG组合特征；

2)基于特征组合的CNN模型训练：将LG组合特征作为深度学习模型CNN的输入，通过逐层训练神经网络，提取更高层次的特征，根据此特征训练出LG-CNN分类器；

3)最后将测试样本提取LG特征后输入到训练好的LG-CNN分类器中，分类识别出最后的缺陷类别；

基于特征组合的CNN模型训练，包含以下步骤：

2.1)网络参数设置

以下为几个影响CNN网络的关键参数：学习速率α、权值衰减、动量、丢失率；

2.2)CNN训练过程和权重更新

由于网络初始权重W是随机分配的，在训练期间，预测值和实际分类通常是不一致的；为了计算两者之间的偏差量，定义Softmax损失函数，公式如下：

L用来表示与之间的独立关系，其中，L为损失函数，代表预测与实际数据的差距程度；

1{y⁽ⁱ⁾＝j}是逻辑表达式，返回值为0或1，也就是说，假如第i个输入的预测类相对j类是正确的，返回1，否则返回0值；θ是正则项即权重衰变参数，用来惩罚大的权重，防止出现过度拟合的情况；

权重W更新过程如下：

步骤1:计算出相对于权重W的损失函数梯度值；

步骤2:超参数引入动量ε和学习速率α来更新速度υ；在物理学中动量被定义为质量与速度的乘积，在这里考虑的是单元质量；

W_j←W_j+υ (6)

步骤3:权重W按公式(5)迭代更新，直到形成收敛，也即W_j不再变化为止；公式(6)中的上标(i)表示第i个训练样本，i的范围取决于最小批尺寸，即整个数据集中使用的训练样本数量；整个卷积神经网络通过重复上述权重迭代更新过程进行缩小偏差量的权重调整工作，最终得到收敛的优化网络权重W；保存权重以及之前训练好的网络参数可以得到训练好的LG-CNN分类器，用于第三步中测试图像集的分类识别；

步骤4:缺陷分类识别输出：经过步骤2，LG-CNN分类器训练完成，设置在卷积神经网络的最后一层Softmax层会将多个神经元的输出映射到(0，1)的区间内，根据公式(7)得到第i个训练样本属于m个训练样本，第j类属于n类中的概率表达，也即每个输入的独立分类概率；其中函数输入为上层输出的特征向量输出为一个5维的权重向量，代表测试图像隶属于正常、裂缝、渗水点、渗水面、钙化物析出这五类缺陷的概率值，总权重值和为1；

根据测试结果的概率向量，取概率值最大的对应缺陷分类为测试分类识别结果。

2.如权利要求1所述的基于特征组合与CNN的大坝缺陷识别与分类方法，其特征在于，所述LBP特征提取：

其中，R为LBP算子覆盖区域半径，P为采样点数目，g_c为图像中心灰度值，g_i为中心点周围的灰度值，如果g_i＞g_c，s(g_i-g_c)＝1，否则s(g_i-g_c)＝0；取8×8采样窗口，步长设置为4，依次计算64×64个采样窗口内LBP统计特征，得到64×64×59维的LBP直方图特征，连接各个区域的LBP直方图即可构成一个LBP特征向量：

3.如权利要求1所述的基于特征组合与CNN的大坝缺陷识别与分类方法，其特征在于，所述GABOR特征提取：

G_ψf(x,y,μ,υ)＝f(x,y)*ψ_μ,υ(z) (2)

其中，定义*为卷积操作，f(x,y)为图像，将输入图片分成64×64大小的块，每个块使用5种尺度υ∈{0,…,4}和8个方向μ∈{0,…,7}的Gabor滤波器ψ_μ,υ(z)，

其中，定义频率，定义方向，z＝(x,y)，其中(x,y)表示为像素点，δ＝2π，k_max＝π/2，υ∈{0,…,4}，μ∈{0,…,7}；

那么滤波后得到40幅GABOR图像，连接图像对应像素点的Gabor特征可得到64×64×40维的Gabor特征向量

4.如权利要求1所述的基于特征组合与CNN的大坝缺陷识别与分类方法，其特征在于，经LBP特征提取和Gabor小波变换后的特征向量维数为64×64维，对于缺陷识别应用来说维数过高，不易训练；因此，选用主成分分析法进行降维处理，在最大程度保留原始数据特征方向的基础上将其投影到较低维空间，最终选取主成分方差占比为97.4％的特征作为提取的LG组合特征，用来作为卷积神经网络的输入；

对LBP特征和Gabor特征组合采用求取两向量余弦值计算两向量相似度的方法，首先分别计算两幅图像的LBP特征和Gabor特征，然后求取两幅图像中每个对应像素点上的LBP特征向量的余弦值和Gabor特征向量余弦值，将两种特征的余弦特征值按像素点位置对应相加，即可得到LG组合特征。

5.如权利要求1所述的基于特征组合与CNN的大坝缺陷识别与分类方法，其特征在于，CNN网络权重更新完成，也即分类器已经训练好，此时输入测试图像进行分类识别；测试用图像大小为3264×1836，训练样本大小选取256×256；

对于缺陷的定位检测，通过滑动窗口的方法，在测试图像的不同位置得到滑窗固定大小的LBP和GABOR组合特征，输入训练好的LG-CNN分类器中，进行高层次特征提取和匹配，最终得到所有的预测值，然后通过筛选，丢弃预测值低的窗口并进行滑窗合并等操作，最终得到输出结果。