CN112765894B - 一种基于k-lstm的铝电解槽状态预测方法 - Google Patents

Abstract

本发明公开了一种基于K‑LSTM的铝电解槽状态预测方法，包括以下步骤：步骤1：对数据进行归一化处理；步骤2：根据设定的滑动窗口大小m，构建训练集和测试集；步骤3：构建改进的LSTM模型，对模型的参数进行初始化；步骤4：用训练集对预测模型训练，采用梯度下降的方法更新参数，迭代数次后直到达到精度要求；步骤5：将测试集喂给训练好的模型中，利用历史数据预测t+1时刻的预测值。本发明基于改进后的K‑LSTM算法，针对LSTML遗忘门单元中存在的样本不平衡问题，通过设置权重的方法来消除样本不平衡性，能够有效地对铝电解槽状态做出预测。

Description

一种基于K-LSTM的铝电解槽状态预测方法

技术领域

本发明涉及铝电解工业技术领域，具体是一种基于K-LSTM的铝电解槽状态预测方法。

背景技术

铝电解槽的生产数据是一种时间序列而且具有数据维度高的特点。现有针对时间序列数据的预测算法有多种模型，比如人工神经网络、自回归移动平均、小波神经网络等。时间序列预测的研究始于一个回归方程，它在数据分析中预测了一年中太阳黑子的数量。自回归移动平均模型(ARMA)和自回归综合移动平均模型(ARIMA)表明，基于回归方法的时间序列预测模型正变得越来越流行。

因此，这些模型也成为时间序列预测中最简单，也是最重要的模型。但由于实际数据的复杂性、不规则性、随机性和非线性，很难通过复杂模型实现高精度预测。采用机器学习方法，可以建立基于大量历史数据的非线性预测模型。事实上，通过反复的训练迭代和学习近似，机器学习模型可以比传统的基于统计的模型获得更准确的预测。典型的方法有支持向量回归或基于核的分类，人工神经多阶(ANN)与强非线性函数逼近和基于树的集成学习方法，如梯度增强回归或决策树(GBRT,GBDT)。但是，由于上述方法缺乏对输入变量之间序列依赖关系的有效处理，因此在时间序列预测任务中效果有限。

伴随不断地深入研究深度学习算法，发现深度学习算法可以适用于预测时间序列数据的问题，该算法先逐步分析输入的数据信息，然后对有效特征进行提取，将隐含关系从数据序列中提取出来。为了让RNN网络能够在更有效的处理时间序列数据，在RNN的神经网络架构中引入时间序列概念。RNN的一种改进算法是长短期记忆神经网络，改进了在RNN网络结构中存在的梯度爆炸、梯度消失、长时间序列数据的记忆等问题，对于长时间的序列信息能够有效地处理。LSTM模型应用在了很多领域例如语音识别、股票价格预测、降雨量预测、交通流预测、图像文字识别等，并且都取得了不错的应用效果。

因为铝电解是一个大时滞的工业过程体系，状态改变不频繁，使得在使用已有数据训练神经网络时，会遇到样本不平衡的问题。LSTM第一个门控就是遗忘门，所谓遗忘门就是用来决定从记忆细胞中是否丢失某些信息，这个过程就是遗忘门要干什么事，通过一个sigmoid函数来处理。但是在遗忘门工作的过程中，如果输入的数据状态变化不频繁，就会导致遗忘门长时间处于1的状态，即沿用上一次的状态即可，不需要更新状态，也就导致了遗忘门存在一个样本不平衡的问题。即对于ft的模型，就存在样本不平衡问题。

样本不平衡问题主要存在于有监督机器学习任务中，主要表现在当遇到样本不平衡的数据时，对于分类预测的任务上，模型会更倾向于关注类别数多的类，这就会导致具有少数类的样本预测效果不好，绝大多数常见的机器学习对于存在的不平衡数据集，都不能有效地工作。一般有两种方法来解决样本不平衡问题，分别是欠采样和过采样。

(1)欠采样：欠采样就是让多数类别的总量减少，通常在数据量足够支撑的时候选择这种方法。通过少量类别含有样本数量的保留，然后减少多数类别含有的样本数量，使样本达到一个均衡，然后再进一步建模。

(2)过采样：当数据量不足以支撑方法(1)时，就要选择过采样的方法，它是采取增加少量类别的数据集来使数据集平衡，而不是去除多数类别的数量，通过使用重复、自举或者合成少数类过采样方法来增加少量类别。

但过采样和欠采样两种方法比较都没有绝对的优势，这两种方法的应用取决于要应用的数据集。

发明内容

本发明的目的在于提供一种基于K-LSTM的铝电解槽状态预测方法，以支持上述背景技术中所提到的通信基础设施建设，起到降本增效的目的。

为实现上述目的，本发明是对于遗忘门中的样本不平衡问题，采用结合上述背景技术中的两种方法，判断条件然后分别设置一个权重，降低ft模型中长期处于同一个状态时的权重，以此来平衡样本问题。

并由此提供了一种基于K-LSTM的铝电解槽状态预测方法，具体包括以下步骤：

步骤1：对数据进行归一化处理；

步骤2：根据设定的滑动窗口大小m，构建训练集和测试集；

步骤3：构建改进的LSTM模型，对模型的参数进行初始化；

步骤4：用训练集对预测模型训练，采用梯度下降的方法更新参数，迭代数次后直到达到精度要求；

步骤5：将测试集喂给训练好的模型中，利用历史数据预测t+1时刻的预测值。

所述改进的LSTM模型是基于LSTM算法改进的K-LSTM算法来构建的。

K-LSTM算法实现如下：

LSTM的三个门结构包括输入门、输出门和遗忘门；计算过程如下：

(1)遗忘门：用来负责判断前面的记忆信息要丢弃的信息，通过将t-1时刻的输出值h_t-1与当前t时刻的输入值x_t线性组合，通过sigmoid函数把数值压缩到[0,1]范围中，当取值越接近1时，就表示当前细胞状态中f_t要保留的信息越多，当取值越接近0时，表示f_t中选择遗弃的信息越多，遗忘门的计算过程如下：

f_t＝sigmoid(W_f·[h_t-1,x_t]+b_f)                 (1)

(2)输入门：用来处理当前t时刻的输入值x_t和上一时刻的输出h_t-1来当做总得输入信息，也是通过sigmoid函数实现；然后利用x_t和h_t-1通过tanh层获得一个新的候选细胞信息

是计算当前时刻的输入信息与之前时刻的记忆信息的总量，计算过程如下：

i_t＝sigmoid(W_i·[h_t-1,x_t]+b_i)                  (2)

然后是更新旧的细胞信息C_t-1，更新为新的细胞信息C_t；更新的方法是通过忘记门所选择遗忘的旧细胞的信息和通过输入门控制添加当前时刻新增的信息，两者共同决定了最后更新的细胞信息C_t，计算过程如下：

(3)输出门：用来决定输出到下一个时刻时所传递的信息h_t；输出的信息同样需要通过一个sigmoid函数得到判断条件，然后细胞状态再经过一个tanh函数得到一个范围在[-1,1]之间的值；该值是一个向量，然后该向量和之前得到的判断条件相乘得到当前时刻的输出。计算过程如下：

o_t＝sigmoid(W_o[h_t-1,x_t]+b_o)                  (5)

h_t＝o_t*tanh(C_t)                       (6)

学习网络时，损失函数对各参数求偏导，然后更新参数，依次迭代直到损失函数收敛，在原来的LSTM门控单元的基础上，采取干预损失函数对ft的偏导来避免样本不平衡问题；根据槽状态是否改变，若槽状态改变，选择给其一个较大的权重，若槽状态没改变则给一个较小的权重；

f＝f*k+tf.stop_gradient(f-f*k)              (7)

利用tf.stop_gradient()函数，根据tf.stop_gradient()函数的特性，在前向过程中，tf.stop_gradient()不起作用，因此+(f*k)和-(f*k)抵消掉了，只剩下f前向传递；而在反向过程中，因为tf.stop_gradient()的作用，使得f-f*k的梯度变为了0，从而只剩下f*k在反向传递。

所述改进的K-LSTM算法，其步骤为：

步骤(1)：计算K-LSTM的前向传播中的输入、输出、隐含层的各个神经元的输出值；

步骤(2)：通过交叉熵函数计算输出误差，误差通过反向传播算法反向传播给各层神经单元；

步骤(3)：遗忘门反向传播过程中，根据判断条件，选择权值更改原传播函数；

步骤(4)：根据梯度下降算法和传播的误差，更新每层神经元的参数；

步骤(5)：根据设置的迭代次数，重复步骤(2)、步骤(3)和步骤(4)，直到收敛，模型训练完成。

与现有技术相比，本发明方法的有益效果是：本发明基于改进后的K-LSTM算法，针对LSTML遗忘门单元中存在的样本不平衡问题，通过设置权重的方法来消除样本不平衡性，能够有效地对铝电解槽状态做出预测。

附图说明

图1为改进后的K-LSTM算法流程图。

图2为基于K-LSTM的槽状态预测流程图。

图3为生产数据存储示意图。

图4为K-LSTM预测结果图。

图5为LSTM预测结果图。

图6为EA-LSTM预测结果图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

K-LSTM算法实现如下：

LSTM的三个门结构包括输入门、输出门和遗忘门；计算过程如下：

(1)遗忘门：用来负责判断前面的记忆信息要丢弃的信息，通过将t-1时刻的输出值h_t-1与当前t时刻的输入值x_t线性组合，通过sigmoid函数把数值压缩到[0,1]范围中，当取值越接近1时，就表示当前细胞状态中f_t要保留的信息越多，当取值越接近0时，表示f_t中选择遗弃的信息越多，遗忘门的计算过程如下：

f_t＝sigmoid(W_f·[h_t-1,x_t]+b_f)                 (1)

(2)输入门：用来处理当前t时刻的输入值x_t和上一时刻的输出h_t-1来当做总得输入信息，也是通过sigmoid函数实现；然后利用x_t和h_t-1通过tanh层获得一个新的候选细胞信息

是计算当前时刻的输入信息与之前时刻的记忆信息的总量，计算过程如下：

i_t＝sigmoid(W_i·[h_t-1,x_t]+b_i)                  (2)

然后是更新旧的细胞信息C_t-1，更新为新的细胞信息C_t；更新的方法是通过忘记门所选择遗忘的旧细胞的信息和通过输入门控制添加当前时刻新增的信息，两者共同决定了最后更新的细胞信息C_t，计算过程如下：

(3)输出门：用来决定输出到下一个时刻时所传递的信息h_t；输出的信息同样需要通过一个sigmoid函数得到判断条件，然后细胞状态再经过一个tanh函数得到一个范围在[-1,1]之间的值；该值是一个向量，然后该向量和之前得到的判断条件相乘得到当前时刻的输出。计算过程如下：

o_t＝sigmoid(W_o[h_t-1,x_t]+b_o)                  (5)

h_t＝o_t*tanh(C_t)                       (6)

学习网络时，损失函数对各参数求偏导，然后更新参数，依次迭代直到损失函数收敛，在原来的LSTM门控单元的基础上，采取干预损失函数对ft的偏导来避免样本不平衡问题；根据槽状态是否改变，若槽状态改变，选择给其一个较大的权重，若槽状态没改变则给一个较小的权重；

f＝f*k+tf.stop_gradient(f-f*k)              (7)

利用tf.stop_gradient()函数，根据tf.stop_gradient()函数的特性，在前向过程中，tf.stop_gradient()不起作用，因此+(f*k)和-(f*k)抵消掉了，只剩下f前向传递；而在反向过程中，因为tf.stop_gradient()的作用，使得f-f*k的梯度变为了0，从而只剩下f*k在反向传递。

改进后的算法流程图如图1所示，改进的K-LSTM算法，其步骤为：

步骤(1)：计算K-LSTM的前向传播中的输入、输出、隐含层的各个神经元的输出值；

步骤(2)：通过交叉熵函数计算输出误差，误差通过反向传播算法反向传播给各层神经单元；

步骤(3)：遗忘门反向传播过程中，根据判断条件，选择权值更改原传播函数；

步骤(4)：根据梯度下降算法和传播的误差，更新每层神经元的参数；

步骤(5)：根据设置的迭代次数，重复步骤(2)、步骤(3)和步骤(4)，直到收敛，模型训练完成。

改进的K-LSTM算法如表1所示：

表1改进的K-LSTM算法

本实施例中，采用TensorFlow的Keras框架构建LSTM槽状态预测模型，使用Python语言编写所有程序，并在CPU2.50GHz，内存8GB，Windows7操作系统的计算机上进行了预测实验，数据采用带有聚类属性的数据。

利用改进的K-LSTM算法，设定滑动窗口m，根据滑动窗口构建训练集和测试集，训练模型，选择交叉熵作为损失函数，用来反应预测数据和真实数据之间的偏差，最后用训练好的模型对铝电解槽状态进行预测。

为了进一步验证算法的有效性，该改进算法与传统的LSTM和基于注意力机制的LSTM算法分别做了准确性的比较。

如图2所示，利用改进的K-LSTM对铝电解槽状态进行预测的流程如下：

步骤1：对数据进行归一化处理；

步骤2：根据设定的滑动窗口大小m，构建训练集和测试集；

步骤3：构建改进的LSTM模型，对模型的参数进行初始化；

步骤4：用训练集对预测模型训练，采用梯度下降的方法更新参数，迭代数次后直到达到精度要求；

步骤5：将测试集喂给训练好的模型中，利用历史数据预测t+1时刻的预测值。

本实施例中，上述数据来源于真实铝电解槽生产数据(如图3所示)，数据是每天采集一次,其中每个电解槽每天包含Fe含量、铝水平、分子比、Si含量、氧化铝浓度、电解质水平、电解温度等13个特征；在分析和挖掘这些数据中隐藏的信息之前，需要先对这些存在很多问题的数据进行预处理；因为本实施例所使用的数据存在空缺值，所以先对数据进行空缺值及噪声处理，然后再根据其数据维度高的特点，对数据进行归一化的处理。

基于K-LSTM的铝电解槽状态预测结果如图4所示。为了更清楚了观察效果，仅展示前200条数据；在图4中，横坐标为时间序列，纵坐标为槽状态，一共有两个状态0和1；两个虚线为真实的槽状态和模型预测的槽状态，其中交叉熵LOSS为0.0418，准确率达到了99.6％。

图5为传统的LSTM模型的预测结果图，可以看到该模型对于槽状态的预测中，预测值和真实值总体上拟合效果在槽状态不发生变化时还不错，但是在槽状态突变时，不能及时做出准确的预测，而是在槽状态改变一段时间后，才能预测成功。

图6为基于注意力机制的EA-LSTM构建的模型预测情况虽然准确率比传统的LSTM模型好，但也存在槽状态发生变化时，会预测不准槽状态的变化，通常会延续前一时刻的槽状态。

为了验证算法的有效性，本发明将提出的K-LSTM算法分别与传统的LSTM算法和基于注意力机制的EA-LSTM算法作对比分析，在这里采用相同的迭代次数、滑动窗口大小和神经元个数。

根据表2可以知道，不论是传统的LSTM构建的模型还是EA-LATM模型在误差和精确度上都不如改进的K-LSTM模型，改进的K-LSTM在一定程度上提高了槽状态预测的精度。

表2模型对比分析

通过对比可以看到本发明改进的K-LSTM在这个问题上有了较大改进，能够更快的对于槽状态的变化做出预测。方便操作人员更快的发现槽状态异常，及时作出决策，制止槽状态的进一步变坏。

本实施例进行了实验验证了算法的可行性和有效性，同时也与传统的LSTM模型和基于注意力机制的EA-LSTM模型作了对比实验，最终也证明了改进的K-LSTM的预测效果明显优于另外两个模型，提高了槽状态预测的准确性。

上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。

Claims (2)

1.一种基于K-LSTM的铝电解槽状态预测方法，其特征在于，具体包括以下步骤：

步骤1：对数据进行归一化处理；

步骤2：根据设定的滑动窗口大小m，构建训练集和测试集；

步骤3：构建改进的LSTM模型，对模型的参数进行初始化；

步骤4：用训练集对预测模型训练，采用梯度下降的方法更新参数，迭代数次后直到达到精度要求；

步骤5：将测试集喂给训练好的模型中，利用历史数据预测t+1时刻的预测值；

所述改进的LSTM模型是基于LSTM算法改进的K-LSTM算法来构建的；

所述K-LSTM算法实现如下：

LSTM的三个门结构包括输入门、输出门和遗忘门；计算过程如下：

(1)遗忘门：用来负责判断前面的记忆信息要丢弃的信息，通过将t-1时刻的输出值h_t-1与当前t时刻的输入值x_t线性组合，通过sigmoid函数把数值压缩到[0,1]范围中，当取值越接近1时，就表示当前细胞状态中f_t要保留的信息越多，当取值越接近0时，表示f_t中选择遗弃的信息越多，遗忘门的计算过程如下：

f_t＝sigmoid(W_f·[h_t-1,x_t]+b_f) (1)

(2)输入门：用来处理当前t时刻的输入值x_t和上一时刻的输出h_t-1来当做总得输入信息，也是通过sigmoid函数实现；然后利用x_t和h_t-1通过tanh层获得一个新的候选细胞信息C～_t，是计算当前时刻的输入信息与之前时刻的记忆信息的总量，计算过程如下：

i_t＝sigmoid(W_i·[h_t-1,x_t]+b_i) (2)

然后是更新旧的细胞信息C_t-1，更新为新的细胞信息C_t；更新的方法是通过忘记门所选择遗忘的旧细胞的信息和通过输入门控制添加当前时刻新增的信息，两者共同决定了最后更新的细胞信息C_t，计算过程如下：

(3)输出门：用来决定输出到下一个时刻时所传递的信息h_t；输出的信息同样需要通过一个sigmoid函数得到判断条件，然后细胞状态再经过一个tanh函数得到一个范围在[-1,1]之间的值；该值是一个向量，然后该向量和之前得到的判断条件相乘得到当前时刻的输出，计算过程如下：

o_t＝sigmoid(W_o[h_t-1,x_t]+b_o) (5)

h_t＝o_t*tanh(C_t) (6)

学习网络时，损失函数对各参数求偏导，然后更新参数，依次迭代直到损失函数收敛，在原来的LSTM门控单元的基础上，采取干预损失函数对ft的偏导来避免样本不平衡问题；根据槽状态是否改变，若槽状态改变，选择给其一个较大的权重，若槽状态没改变则给一个较小的权重；

f＝f*k+tf.stop_gradient(f-f*k) (7)

利用tf.stop_gradient()函数，根据tf.stop_gradient()函数的特性，在前向过程中，tf.stop_gradient()不起作用，因此+(f*k)和-(f*k)抵消掉了，只剩下f前向传递；而在反向过程中，因为tf.stop_gradient()的作用，使得f-f*k的梯度变为了0，从而只剩下f*k在反向传递。

2.根据权利要求1所述的一种基于K-LSTM的铝电解槽状态预测方法，其特征在于，所述改进的K-LSTM算法，其步骤为：

步骤(1)：计算K-LSTM的前向传播中的输入、输出、隐含层的各个神经元的输出值；

步骤(2)：通过交叉熵函数计算输出误差，误差通过反向传播算法反向传播给各层神经单元；

步骤(3)：遗忘门反向传播过程中，根据判断条件，选择权值更改原传播函数；

步骤(4)：根据梯度下降算法和传播的误差，更新每层神经元的参数；

步骤(5)：根据设置的迭代次数，重复步骤(2)、步骤(3)和步骤(4)，直到收敛，模型训练完成。

Images