CN111810124B - 一种基于特征重标定残差卷积神经网络模型的抽油机井故障诊断方法 - Google Patents

Abstract

本发明公布了一种基于特征重标定残差卷积神经网络的抽油机井故障诊断方法。其特征在于包括以下步骤：步骤S1：采集载荷和位移数据，将每个运动周期内的载荷和位移绘制成示功图；步骤S2：根据抽油机井的生产运行特性确定油井的工况，标注示功图对应工况，制作数据集；步骤S3：构建残差卷积神经网络模型。步骤S4：构建SE子模块。步骤S5：将SE子模块嵌入残差卷积神经网路模型中。步骤S6：使用数据集训练、测试模型，完成对抽油机井示功图的自动分类识别。该发明与多种机器学习模型和经典深度学习模型相比在测试集上的分类准确率、精度、召回率和f1得分最高，损失率低，训练时间短，能够很好的满足立式抽油机实际故障分析的应用要求。

Description

一种基于特征重标定残差卷积神经网络模型的抽油机井故障 诊断方法

技术领域

本发明涉及一种抽油机井故障诊断方法，属于油气勘探与开发领域，系统提出一种基于特征重标定残差卷积神经网络模型的抽油机故障诊断方法。

背景技术

机械设备的故障诊断一直是工业生产中的难点和重点，抽油机井的故障诊断也不例外。在过去的几十年当中，通过科研人员的努力，抽油机故障诊断技术有了很大提高，取得了一些阶段性的成果。而近几年人工智能技术的发展，为故障诊断技术的研究带来了新的活力。

目前应用广泛的抽油机井故障诊断技术中，比较常用的方法主要有：故障专家系统，模拟人类专家分析抽油机工况的计算机系统，此方法将计算机和人工智能相结合，根据多个专家提供的工况分析经验，对抽油机工况进行推理判断，但是专家系统只针对写入到程序中的特定抽油机示功图反映的工况，对于不同类型抽油机需要重新设计实现程序，无法推广应用；机器学习方法，在示功图分类识别问题上取得了不错的准确率，但仍然无法满足实际生产的需求，需要扩充数据集，提高分类识别准确率、缩短模型训练时间方法；深度学习方法，深度学习模型不断的更新改进，计算机硬件特别是GPU的发展，大大提高了图像分类识别的准确率，但是适用于抽油机故障诊断的应用较少，无法充分发挥它们的优势。

例如文献1：Derek H J,Jennings J W,Morgan S M.Sucker rod pumping unitdiagnostics using an expert system[C]//Permian Basin Oil and Gas RecoveryConference.Society of Petroleum Engineers,1988.中模拟人类专家分析抽油机工况，将计算机和人工智能相结合，根据多个专家提供的工况分析经验，对抽油机工况进行推理判断，与正常示功图对比进而对油井工况进行分析。

例如文献2：张宁.基于智能型的BP神经网络的示功图故障诊断研究[D]. 兰州理工大学,2017.中结合形状不变矩和傅里叶描述子进行示功图特征参数提取，采用迭代学习控制优化BP神经网络的权值，使用1680张示功图作为训练集，420张示功图测试集，该模型在测试集上的分类准确率为89.24％。

例如文献3：贾京龙,余涛,吴子杰,等.基于卷积神经网络的变压器故障诊断方法[J].电测与仪表,2017,54(13):62-67.中以卷积池化过后的特征为权值,对反卷积核进行叠加，将信号重构回原信号空间，并对卷积核和反卷积进行优化。将编码特征作为输入，给网络加上全连接网络和分类器，用少量带标签样本进行微调,形成具有复杂特征提取能力的深度卷积自编码网络，使用450组变压器油中气体含量数据作为训练集，119组变压器油中气体含量数据测试集，该模型在测试集上的分类准确率为92％。

专利CN111042802A公开了一种抽油机故障诊断方法，采集抽油机减速箱轴承和抽油机驱动电机的振动信号，根据提取振动信号中的故障信号,选取故障信号所对应的幅值作为特征参数,将特征参数进行归一化处理得到特征向量，将特征向量输入神经网络进行故障识别,得到抽油机故障诊断结果。

发明内容

本发明目的：在已有抽油机井故障诊断技术的基础上，提出了基于特征重标定残差卷积神经网络模型的抽油机井故障诊断的方法，以示功图为输入，应用特征重标定残差卷积神经网络模型分类识别示功图。该发明的优点在于提高了示功图自动分类识别的准确率，缩短了训练模型的时间，消除了人工操作带来的不便和麻烦，将深度学习方法应用到抽油机井故障诊断，能够很好的满足抽油机实际故障分析的应用要求。

基于特征重标定残差卷积神经网络模型的抽油机井故障诊断的方法，包括以下步骤：

步骤S1：使用载荷和位移传感器分别采集抽油机光杆下端悬点处的载荷和位移数据，将每个运动周期内的载荷和位移绘制成示功图作为输入；

步骤S2：对S1中的输入进行预处理，根据抽油机井的生产运行特性确定油井的工况，归类形状相似的示功图并对每类示功图标注对应工况，随机选取一部分示功图作为训练集，另一部分示功图作为验证集和测试集；

步骤S3：将测试集的示功图输入特征重标定残差卷积神经网络模型，所述残差卷积神经网络模型由1×1卷积层、3×3卷积层、中间层(批归一化层、激活层、平均池化层)和在输入输出之间引入1条恒等映射(identitymapping)的直连通道组成；所述特征重标定残差卷积神经网络模型共14层，其中，包含1个卷积层，5个SE-残差模块(残差模块嵌入Sequeeze-and-Excitation子结构)；卷积层中均加入L2正则化并使用LeakyReLu作为激活函数；其中，模型输入为示功图，输出为示功图的种类(即工况类型)。

步骤S4：构建SE-残差模块的子结构完成对特征的重标定，加强有效特征图的权重，减小无效特征图的权重。

步骤S41：Sequeeze操作，使用平均池化将特征压缩。Sequeeze操作表达式为：F_sq为Sequeeze函数即平均池化， U_C是高宽为H×W的特征图。通过Sequeeze函数将H×W×C的输入转化为1×1×C 的输出。

步骤S42：使用全连接层将特征的维度降至之前的1/16，经过激活操作和全连接层后还原特征维度，与只有一个全连接层相比，能够加入更多的非线性，很好的增强通道间的关系、减小参数数目。

步骤S43：Excitation操作，使用Sigmod函数为每个特征通道计算权重，权重表示每个特征通道的重要性。Excitation操作表达式为： s＝F_ex(z,W)＝σ(W₂δ(W₁z))。F_ex为Excitation函数，z是Sequeeze操作表达式中的Z_c，W₁z是第一个全连接的计算操作，W1的维度为C/16×C，本文取 16是将通道数降为原16分之1，经ReLu激活操作和第二个全连接层与W2相乘，W2的维度是C×C/16，得到输出维度是C×1×1，最后通过sigmod函数后得 s。

步骤S44：Scale操作，使用乘法的方式加权到各个通道特征，完成对原始特征的重标定。Scale操作的表达式为：F_scale(U_C,S_C)＝S_C·U_C。F_scale为Scale 函数表示U_C与S_C相乘，U_C为二维矩阵，S_C为权重。

步骤S5：将SE子模块嵌入残差卷积神经网路模型的分支上，对分支特征重标定，在浅层输入与深层输出相加前对分支进行操作，如果对主支上的特征重标定，经过(0,1)间的Scale操作，深层网络反向传播优化时会出现梯度弥散现象，导致模型无法收敛。

步骤S6：使用S2得到的数据集训练、测试步骤S5得到的模型，完成对抽油机井示功图的自动分类识别。

附图说明：

附图1为本发明的处理流程示意图；

附图2为标注示功图；

附图3为残差模块结构图；

附图4为SE-残差模块结构图；

附图5为特征重标定残差卷积神经网络模型结构图；

附图6为特征重标定残差卷积神经网络模型的特征图与模块结构图；

附图7为特征重标定残差卷积神经网络模型测试集准确率和损失率图；

附图8为特征重标定残差卷积神经网络模型测试集精度、召回率、f1得分图；

附图9为多种模型对比实验结果图。

具体实施方式：

下面结合附图及实际数据，对本发明作进一步描述：基于特征重标定残差卷积神经网络的抽油机井故障诊断方法，具体实施方案包括如下步骤，步骤如图1 所示：

(1)绘制示功图。使用载荷和位移传感器分别采集抽油机光杆下端悬点处的载荷和位移数据，按照油田四化仪器仪表小数位设定表将载荷单位换算为千牛，将位移数据换算为米，将每个运动周期内的载荷作为纵轴，位移作为横轴绘制成示功图。

(2)制作数据集。将形状相似的示功图归为一类，根据实际抽油机井的生产运行状态判断示功图代表抽油机井的工况类型，如图2对示功图进行标注。随机选取90％的示功图作为训练集，10％的示功图作为验证集和测试集。

(3)设计实现残差卷积神经网络模型。本发明设计的残差模块组成结构如图3依次为批归一化层、激活层、卷积层、批归一化层、激活层、卷积层、平均池化层并在输入和输出之间引入一条恒等映射的直连通道。其中卷积层中卷积核大小分别为1×1和3×3，步长均为1，激活函数均为LeakyReLu。

本发明的残差网络模型如图4、图5包括1个卷积层5个SE-残差模块(残差模块嵌入Sequeeze-and-Excitation子结构)包含两个卷积层卷积核大小分别为 1×1和3×3，卷积核的数目依次为32、64、64、128、128；卷积层设置卷积的步长均为1，加入L2正则化，LeakyReLu作为激活函数；池化的过滤器大小为2×2，池化的步长设置为2；全连接层的神经元数目依次为1024、512、4，激活函数依次为LeakyReLu、LeakyReLu、softmax。模型输入为示功图，输出为示功图的种类(即故障类型)。

在卷积层之间加入批归一化层，起到加快训练速度、收敛速度，提高模型训练精度，一定程度上减小梯度弥散问题的作用。批归一化的主要步骤：

输入公式为：x:β＝{x₁,...,x_m}

输出公式为：{y_i＝BN_γ,β(x_i)}

计算批处理数据均值公式为：

计算批处理数据方差公式为：

规范化公式为：

尺度变化和偏移处理公式为：

返回学习的参数γ和β

模型使用LeakyReLu函数作为残差模块的激活函数，相较于使用较多的 ReLu函数，LeakyReLu函数能够修正数据分布，当输入为负值时也能更新网络参数。LeakyReLu函数公式为：a_i是(1,+∞)区间内的固定参数。

模型使用Adam作为优化函数，与SGD、Momentum、AdaGrad、RMSProp 优化器相比，Adam优化函数实现简单、计算高效，超参数无需调整或者仅需微调，更新步长能被限制在大致范围内，能自动调整学习率，很适合大规模数据和参数的场景。Adam优化函数的参数说明：

α为步长；

β₁为一阶矩衰减系数，初始化为0.9；

β₂为二阶矩衰减系数，初始化为0.999；

f(θ)为目标函数，θ为待优化参数；

t为更新步数，初始化为0；

g_t为f(θ)对θ求导所得的梯度；

m_t为g_t的一阶矩，即g_t的期望；

v_t为g_t的二阶矩，即的期望；

为m_t的偏置矫正，因为m_t初始化为0，会导致m_t向0偏置；

同理，为v_t的偏置矫正。

Adam优化函数的主要更新步骤：

更新步数公式为：t＝t+1

计算f(θ)对参数θ的梯度公式为：g_t＝▽θf_t(θ_t-1)

计算梯度的一阶矩公式为：m_t＝β₁·m_t-1+(1-β₁)·g_t

计算梯度的二阶矩公式为：

对一阶矩进行校正公式为：

对二阶矩进行校正公式为：

更新参数公式为：

(4)设计实现SE子模块。特征重标定残差卷积神经网络模型主要由SE- 残差模块构成，搭建完残差模块后将SE子结构嵌入其中，图6中c为特征通道数目，h为特征图高，w为特征图宽。

SE子结构中，如图6首先是Sequeeze操作，使用平均池化将特征压缩；随后使用全连接层将特征的维度降至之前的1/16，经过激活操作和全连接层后还原特征维度，与只有一个全连接层相比，能够加入更多的非线性，很好的增强通道间的关系、减小参数数目；然后是Excitation操作，使用Sigmod函数为每个特征通道计算权重，权重表示每个特征通道的重要性；最后是Scale操作，使用乘法的方式加权到各个通道特征，完成对原始特征的重标定。

Sequeeze操作表达式为

F_sq为Sequeeze函数即平均池化，U_C是高宽为H×W的特征图。通过Sequeeze 函数将H×W×C的输入转化为1×1×C的输出。

Excitation操作表达式为s＝F_ex(z,W)＝σ(W₂δ(W₁z))

F_ex为Excitation函数，公式(2)中的z是公式(1)中的Z_c，W₁z是第一个全连接的计算操作，W1的维度为C/16×C，本文取16是将通道数降为原16分之1，经ReLu激活操作和第二个全连接层与W2相乘，W2的维度是C×C/16，得到输出维度是C×1×1，最后通过sigmod函数后得s。

Scale操作的表达式为F_scale(U_C,S_C)＝S_C·U_C

F_scale为Scale函数表示U_C与S_C相乘，U_C为二维矩阵，S_C为权重。

(5)将SE子模块嵌入残差卷积神经网络中。模型对分支中的特征重标定如图6即在x与F(x)相加前对分支的F(x)进行操作，如果对主支上的特征重标定，经过(0,1)间的Scale操作后，深层网络反向传播优化时会出现梯度弥散的现象，导致模型无法收敛。

(6)进行基于特种重标定残差卷积神经网络模型的示功图自动分类识别实验，实验结果如图7、图8。

基于特征重标定残差卷积神经网络模型的抽油机井故障诊断方法。将残差思想引入模型，改变了前向和后向信息传递的方式，模型训练时，如果浅层输入代表的特征已经十分成熟，即浅层输入增加或减小都会让模型损失值变大，此时深层输出会趋向于0，浅层输入则从这条恒等映射路径继续传递信息，这有利于深度网络的训练，在一定程度上解决了梯度弥散问题，随着模型深度的加深模型的性能也就更强。

SE子结构嵌入残差模块中对特征重标定，其核心思想在于模型通过损失值学习特征权重，使得有效特征图的权重不断增大，无效或效果小特征图的权重不断减小，训练出的模型效果更好。SE子结构构造简单，容易嵌入到深度学习模型中。

本发明模型测试集的准确率为98.5％，模型测试集的损失率为5.5％，模型测试集的精度为99％，模型测试集的召回率为98％，模型测试集的f1得分为0.98，模型训练时间约为40分钟，如图9与多种机器学习与深度学习模型相比本发明模型在测试集上的准确率、精度、召回率和f1得分最高，损失率低，训练时间短，能够很好的满足抽油机井实际故障分析的应用要求。

Claims (2)

1.一种基于特征重标定残差卷积神经网络的抽油机井故障诊断方法，其特征在于包括以下步骤：

步骤 S1：使用载荷和位移传感器分别采集抽油机光杆下端悬点处的载荷和位移数据，将每个运动周期内的所述载荷和所述位移数据绘制成示功图作为输入；

步骤 S2：对S1中的输入进行预处理，根据抽油机井的生产运行特性确定油井的工况，归类形状相似的示功图并对每类示功图标注对应工况，随机选取一部分示功图作为训练集，另一部分示功图作为验证集和测试集；

步骤 S3：将测试集的示功图输入特征重标定残差卷积神经网络模型，所述残差卷积神经网络模型由1×1卷积层、3×3卷积层、中间层和在输入输出之间引入1条恒等映射的直连通道组成；所述特征重标定残差卷积神经网络模型共14层，其中，包含1个卷积层，5个SE-残差模块；卷积层中均加入L2正则化并使用LeakyReLu作为激活函数；其中，模型输入为示功图，输出为示功图的种类；

步骤 S4：构建SE-残差模块的子结构完成对特征的重标定，加强有效特征图的权重，减小无效特征图的权重；

步骤 S5：将SEE-残差模块子模块嵌入残差卷积神经网路模型的分支上，对分支特征重标定，在浅层输入与深层输出相加前对分支进行操作，如果对主支上的特征重标定，经过（0,1）间的Scale操作，深层网络反向传播优化时会出现梯度弥散现象，导致模型无法收敛；

步骤 S6：使用S2得到的数据集训练、测试步骤S5得到的模型，完成对抽油机井示功图的自动分类识别。

2.如权利要求1所述的一种基于特征重标定残差卷积神经网络的抽油机井故障诊断方法，其特征在于，所述步骤S4具体包括：

步骤S41：Sequeeze操作，使用平均池化将特征压缩；Sequeeze操作表达式为：；/>为Sequeeze函数即平均池化，/>是高宽为H×W的特征图；通过Sequeeze函数将H×W×C的输入转化为1×1×C的输出；

步骤S42：使用全连接层将特征的维度降至之前的1/16，经过激活操作和全连接层后还原特征维度，与只有一个全连接层相比，能够加入更多的非线性，很好的增强通道间的关系、减小参数数目；

步骤S43：Excitation操作，使用Sigmod函数为每个特征通道计算权重，权重表示每个特征通道的重要性；Excitation操作表达式为：；/>为Excitation函数，z是Sequeeze操作表达式中的/>，/>是第一个全连接的计算操作，W1的维度为C/16×C，本文取16是将通道数降为原16分之1，经ReLu激活操作和第二个全连接层与W2相乘，W2的维度是C×C/16，得到输出维度是C×1×1，最后通过sigmod函数后得s；

步骤S44：Scale操作，使用乘法的方式加权到各个通道特征，完成对原始特征的重标定；Scale操作的表达式为：；/>为Scale函数表示/>与/>相乘，/>为二维矩阵，/>为权重。