CN117577225A - 用于沉降罐的水质评价方法及装置 - Google Patents
用于沉降罐的水质评价方法及装置 Download PDFInfo
- Publication number
- CN117577225A CN117577225A CN202210943244.8A CN202210943244A CN117577225A CN 117577225 A CN117577225 A CN 117577225A CN 202210943244 A CN202210943244 A CN 202210943244A CN 117577225 A CN117577225 A CN 117577225A
- Authority
- CN
- China
- Prior art keywords
- water quality
- matrix
- model
- training
- settling tank
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 187
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims abstract description 125
- 238000012549 training Methods 0.000 claims abstract description 109
- 238000003745 diagnosis Methods 0.000 claims abstract description 62
- 238000012360 testing method Methods 0.000 claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 238000013136 deep learning model Methods 0.000 claims abstract description 5
- 238000012544 monitoring process Methods 0.000 claims description 31
- 230000002159 abnormal effect Effects 0.000 claims description 28
- 238000012706 support-vector machine Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 25
- 238000004062 sedimentation Methods 0.000 claims description 19
- 239000010865 sewage Substances 0.000 claims description 19
- 238000010801 machine learning Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 239000003208 petroleum Substances 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 239000002569 water oil cream Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001123248 Arma Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/70—Machine learning, data mining or chemometrics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/20—Identification of molecular entities, parts thereof or of chemical compositions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Crystallography & Structural Chemistry (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
- Genetics & Genomics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种用于沉降罐的水质评价方法及装置，该方法包括：根据水质特征数据获得特征矩阵；根据特征矩阵构建输入矩阵，将特征矩阵划分为第一训练集与第一测试集，构建预测模型，并根据第一训练集训练预测模型；将第一测试集输入训练好的预测模型中，获得预测的水质特征数据；根据预测的水质特征数据，与历史特征矩阵结合构成诊断模型输入矩阵，将诊断模型输入矩阵划分为第二训练集与第二测试集，采用基于残差神经网络的深度学习模型，并根据第二训练集训练诊断模型；将第二测试集输入训练好的诊断模型，获得对水质数据的诊断结果。该用于沉降罐的水质评价方法及装置提高了沉降罐的运行管理水平，达到对沉降罐的超前控制，事先消减生产问题。
Description
技术领域
本发明涉及石油化工技术领域，特别是涉及到一种用于沉降罐的水质评价方法及装置。
背景技术
随着石油行业自动化程度的不断提高和计算机技术的进步，集输站场设备的智能化改进成为各个油田关注的重点。站场数据中包含着大量的信息，深入发掘大数据内部的有用信息成为智能化改进的一个研究热点。伴随着数据采集技术的与处理速度的不断进步，使得模型的不断迭代与优化成为可能。
沉降罐是集输站场的重要设备，沉降分离是油田污水的主要处理手段。集输站场污水处理流程常串联多个罐以达到期望的分离效率，在沉降过程中还需添加药剂以协助油水乳状液破乳分离。对各级沉降罐进出口水质的把控成为确定加药量与沉降时间的重要因素，准确估计沉降罐出口水质，预判可能出现的水质风险并提前进行调控操作有利于提高站场运行效率与经济效益。
目前站场对沉降罐出入口水质的把控多依赖现场员工经验，通过定期的水质化验判断罐内情况，缺乏理论化支撑。在社会领域，众多学者尝试采用数据挖掘手段对水质进行预测。国内对于水质预测的主要方法包括时间序列预测法、回归分析预测法、灰色系统预测法、人工神经网络预测法等，相比较其他方法，人工神经外科预测法凭借其可以摒弃客观因素影响，只由样本水质特点进行分析学习的优点在水质预测领域得到广泛应用。
在申请号：CN202010982913.3的中国专利申请中，涉及到一种基于深度学习的短期水质水量预测方法，包括以下步骤：步骤A：对原始水质水量数据进行预处理，将处理后的数据划分为训练集和测试集；步骤B：将训练集输入LSTM网络中进行训练，使用adam算法更新权重，得到预测模型；步骤C：基于原始水质水量数据使用预测模型预测测试集中的预测值；步骤D：将预测误差输入ARMA模型中得到误差序列的误差修正模型；步骤E：将待预测数据分别输入预测模型和误差修正模型，将结算结果几何相加得到预测值；该发明还提供水质水量预测系统。该发明通过LSTM神经网络和SRMA模型分别对待预测时刻的水质水量和预测误差进行计算，具备更强的通用性和稳定性。这种方法只从算法角度对水质进行预测，缺乏进一步对预测结果的挖掘。
在申请号：CN202011060312.3的中国专利申请中，涉及到一种基于机器学习的水质数据推演获取方法及系统，此方法分为模型生成阶段和模型推演阶段。在模型生成阶段，将所研究水域的各监测站位所采集的各类特征的历史数据进行分析处理，得到目标水质因子的独立相关特征集及其对应的历史数据集，基于此数据集，通过机器学习方法获得目标水质因子的最优推演模型；在模型推演阶段，采集独立相关特征集所涵盖的各特征因子某时段的数据，将此数据输入最优推演模型，推算出该时段目标水质因子的数据。该申请是一种无需经过化学试剂和传感器检测等传统数据采集方式的新型的水质数据获取方法，可减少因传统水质数据采集方式所造成的环境污染和危险隐患，具有成本低、安全环保和高技术附加值等优点。
在申请号：CN201910639180.0的中国专利申请中，涉及到一种基于机器学习的污水处理的水质预测方法及系统，所述方法包括确定污水的测量参数和污水处理的行业标准，并初始化污水的测量参数，并将测量参数的特征权重向量初始化为1；获取污水测量参数的适应度，将适应度最大的个体作为最优的个体；将最优的个体复制n-1个，并在每个复制的个体上的特征权重上加一个随机值；获取当前个体的适应度，选择适应度最大的个体作为最优的个体；若达到最大迭代次数，则输出最优的特征权重向量；将得到最优特征向量输入线性支持向量机；将实时污水测量参数输入完成训练的线性支持向量机即可得到预测结果；该发明可以有效地对污水质量进行预测，为实际的污水处理提供辅助。
以上现有技术与本发明相比，在完成水质预测后还需要人工进行水质状况的判断，不能实现对水质的有效评价，为此我们发明了一种新的用于沉降罐的水质评价方法及装置。
发明内容
本发明的目的是提供一种用于沉降罐的可以提高沉降罐运行管理水平的水质评价方法及装置。
本发明的目的可通过如下技术措施来实现：用于沉降罐的水质评价方法，该用于沉降罐的水质评价方法包括：
步骤1，根据水质特征数据构造水质特征矩阵；
步骤2，根据水质特征矩阵构建预测模型输入矩阵，将水质特征矩阵划分为第一训练集与第一测试集，建立基于支持向量机的预测模型，并由第一训练集对预测模型进行训练；
步骤3，将第一测试集输入训练好的预测模型，获得预测的水质特征数据；
步骤4，将步骤一所述的水质特征矩阵与预测模型所预测的水质特征矩阵结合构成诊断模型输入矩阵，将诊断模型输入矩阵划分为第二训练集与第二测试集，采用基于残差神经网络的深度学习模型，并根据第二训练集训练诊断模型；
步骤5，将第二测试集输入训练好的诊断模型中，获得对水质数据的诊断结果。
本发明的目的还可通过如下技术措施来实现：
在步骤1中，获取预设时间段内所有预设监测点的罐进出口水质特征数据和历史操作记录，根据水质特征数据获得特征矩阵。
在步骤1中，根据水质特征构造的特征矩阵包括：沉降罐进口节点的流量、浊度，沉降罐出口节点的流量、浊度所构成的实时监测矩阵；定期对沉降罐进出口水质化验得到的含油与悬浮物矩阵；沉降罐排污收油操作所构成的包括排污量、收油量、收悬浮量与排污时间、收油时间、收悬浮物时间的操作记录矩阵。
在步骤2中，采用归一化手段转化特征矩阵为输入矩阵，将输入矩阵划分为第一训练集与第一测试集，采用基于支持向量机的机器学习模型，结合基于差分进化算法的超参数寻优模块构建预测模型，并根据第一训练集训练预测模型。
步骤2包括：
S21：将操作记录矩阵转化为数值特征，采用基于互信息的重要性排序算法融合实时监测矩阵、含油与悬浮物矩阵及操作记录矩阵为输入矩阵，采用归一化手段对输入矩阵进行数据预处理；
S22：将输入矩阵以预设时间间隔划分为若干样本，每次训练输入预设批大小个样本；
S23：根据基于支持向量机的机器学习模型，输入上述批大小个样本进行沉降罐出口水质预测，训练预测模型；
S24：采用基于群体的差分进化算法，对基于支持向量机的预测模型参数寻优，获取当前批下的最优预测模型参数；
S25：按照预设训练次数重复执行S23至S24的步骤，直至获得最终预测模型。
在步骤2中，首先将沉降罐进出口数据构成的特征矩阵进行归一化处理，
归一化处理的方法为：
其中，xt为t时刻的原始参数，xmin为序列中参数的最小值，xmax为序列中参数的最大值，xt为归一化后t时刻的参数；
再按照预设比例将预设监测点的监测水质特征数据划分为第一训练集和第一测试集；
将第一训练集输入支持向量机对预测模型进行训练对给定的训练样本Di＝(xi,yi),i＝1,...,l，其中xi为输入矩阵，yi为对应输出值，支持向量机目标函数为：
其约束条件为：
其中，Wx+b＝0为输入矩阵所构成超平面，||W||2反映目标表函数在高维空间平坦的复杂性；超参数C是惩罚项参数，ξi和ξi *为松弛变量；
使用预测模型预测第一测试集中的预测值，然后计算预测误差，公式为：
其中，y'i为预测值，yi为真实值，为样本均值，N为样本总数；
以预测误差为目标函数，调用差分进化算法，执行以上步骤，完成对预测模型的训练。
在步骤4中，诊断模型输入矩阵包括：沉降罐进口水源节点的流量、浊度，沉降罐出口水节点的流量、浊度所构成的实时矩阵；定期对沉降罐进出口水质化验得到的含油与悬浮物矩阵；沉降罐排污收油操作所构成的操作记录矩阵中的至少一种。
在步骤4中，对历史数据中出口节点异常水质参数进行标记，水质状态标记作为诊断模型输出矩阵，采用正则化方法对诊断模型输入矩阵进行处理，划分输入矩阵为第二训练集和第二测试集，采用基于残差神经网络的深度学习模型，由第二训练集训练诊断模型。
步骤4包括：
S41：根据正则化理论对诊断模型输入矩阵进行初步数据处理，使输入矩阵各项参数在同一范围内波动，构成最终输入矩阵，将最终输入矩阵划分为第二训练集和第二测试集；
S42：将第二训练集以预设时间间隔划分为若干样本，每次训练输入预设批大小个样本；
S43：根据基于残差神经网络的机器学习模型，输入上述批大小个样本进行沉降罐出口异常水质参数诊断，输出该批次下的异常诊断结果矩阵；
S44：根据输入矩阵与诊断模型输出矩阵按照预设训练次数重复执行S42至S43的步骤，直至获得最终诊断模型。
在步骤4中，诊断模型的输入矩阵为沉降罐各节点在预设时间段内所监测的数据，诊断模型输出矩阵为该预设时间段内存在的不同于正常工况的水质异常情况标记；异常情况包括：监测历史中出现过的某监测节点浊度突增、浊度突降、流量突增、流量突降及可能对应出口水质异常的其他操作中的一种或几种。
在步骤4中，先对诊断模型的输入矩阵进行正则化处理，正则化方法通过限制模型复杂度，避免模型过拟合，从而提高模型泛化能力；
加入正则化方法后诊断模型的目标函数可写为：
其中，L(·)为损失函数，N为训练样本数量，f(·)为待学习的网络，θ为其参数，lp为范数函数，λ为正则化系数，x为输入矩阵，y为期望的网络输出；
再按照预设比例将诊断模型的输入矩阵划分为第二训练集和第二测试集，并划分样本；
将第二训练集输入残差神经网络模型进行训练，所训练的残差神经网络模型可调整参数包括卷积层层数、卷积核数量、激活函数类型、分类层类型；以准确率ACC与精确率PPV作为模型诊断性能的评价指标，可分别定义为：
式中TP表示将异常样本诊断为异常的样本数，TN表示将正常样本诊断为正常的样本数，FP表示将正常样本诊断为异常的样本数，ALL表示所有参与诊断样本数。
由评价指标评断模型诊断能力，人工调整模型参数，完成对诊断模型的训练。
本发明的目的也可通过如下技术措施来实现：用于沉降罐的水质评价装置，该用于沉降罐的水质评价装置包括：
集成模块，获取预设时间段内所有预设监测点的水质特征数据；
预测训练模块，对采用基于支持向量机的机器学习模型结合差分进化算法的预测模型进行训练；
预测模块，将获取的预设时间段内的水质特征数据输入训练好的预测模型，获得预测的水质特征数据；
诊断训练模块，对基于残差神经网络的诊断模型进行训练；
诊断模块，将获取的水质特征数据输入训练好的诊断模型，获得诊断的水质评价。
本发明中的用于沉降罐的水质评价方法及装置，该方法包括：通过在线浊度仪、流量计获取预设时间段内监测节点的沉降罐进出口数据，结合定期化验分析的水中悬浮物含量、水中含油量数据与操作记录文本，构造实时输入矩阵；建立基于支持向量机的沉降罐出口水质预测模型，对历史监测数据进行训练，预测未来五天内的水质浊度、悬浮物与含油；建立基于残差神经网络的沉降罐水质异常诊断模型，实时分析罐进出口数据，与历史数据进行比较，标记异常数据并报警。建立综合预测与诊断功能的可视化沉降罐水质智能评价程序，实现对沉降罐数据的自动读取，实时分析与操作指导。
本发明的优点在于，通过支持向量机实现沉降罐出口水质的预测后再通过残差神经网络实现沉降罐水质异常诊断，不仅能诊断现运行时刻沉降罐运行状态，还能根据预测模型预测数据实现对未来五天内沉降罐运行状态的诊断，达到对沉降罐的超前控制，事先消减生产问题。
附图说明
图1为本发明的用于沉降罐的水质评价方法及装置的一具体实施例的流程图；
图2为本发明的一具体实施例中水质评价对象沉降罐的监测点示意图；
图3为本发明的一具体实施例中提供的水质评价方法中训练过程的流程图；
图4为本发明的一具体实施例中提供的水质评价装置的结构示意图；
图5为本发明的一具体实施例中提供的服务器的硬件结构示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作和/或它们的组合。
随着石油行业自动化程度的不断提高和计算机技术的进步，集输站场设备的智能化改进成为各个油田关注的重点。沉降罐是集输站场的重要设备，沉降分离是油田污水的主要处理手段。集输站场污水处理流程常串联多个罐以达到期望的分离效率，在沉降过程中还需添加药剂以协助油水乳状液破乳分离。对各级沉降罐进出口水质的把控成为确定加药量与沉降时间的重要因素，准确估计沉降罐出口水质，预判可能出现的水质风险并提前进行调控操作有利于提高站场运行效率与经济效益。
为解决上述问题，本发明实施例通过在线浊度仪、流量计获取预设时间段内监测节点的沉降罐进出口数据，结合定期化验分析的水中悬浮物含量、水中含油量数据，操作记录文本，构造实时输入矩阵；建立基于支持向量机算法的沉降罐出口水质预测模型，对历史监测数据进行训练，预测未来五天内的水质浊度、悬浮物与含油；建立基于残差神经网络的沉降罐异常诊断模型，实时分析罐进出口数据，与历史数据进行比较，标记异常数据并报警。建立综合预测与诊断功能的可视化沉降罐水质智能评价软件，实现对沉降罐数据的自动读取，实时分析与操作指导。
本发明实施例中所述的支持向量机(SVC)建立在统计学习理论和结构风险最小原理的基础上，是小样本预测中最有效的工具之一。支持向量机的主要思想是建立一个超平面作为决策面，使两个支持向量间的距离最大化。其通过引入核函数解决了高维空间的内积运算，以提高预测精度。
本发明实施例中所述的残差神经网络(DRN)是卷积神经网络(CNN)的一种，卷积神经网络是一种具有局部连接，权重共享等特性的深层前馈神经网路，残差神经网络(DRN)通过给非线性的卷积层增加直连边(Shortcut Connection)(也称为残差连接(ResidualConnection))的方式来提高信息的传播效率。
本发明实施例中所述差分进化算法是一种基于群体的搜索算法，包括初始化、变异、交叉、选择四个步骤，差分进化算法搜索速度快，效率高，能够用来优化支持向量机模型参数，提高预测精度。
以下为应用本发明的几个具体实施例。
实施例1
如图1所示，图1为本发明实施例提供的水质评价方法流程图。该用于沉降罐的水质评价方法包括以下步骤：
S101：获取预设时间段内所有预测监测点的罐进出口水质特征数据和历史操作记录，根据所述水质特征数据获得特征矩阵；
在本发明实施例中，以实现桩西联合站污水处理流程4#沉降罐的处理水质评价为例，图2为本发明实施例提供的沉降罐水质监测点示意图。如图2所示，在沉降罐的地下池入口节点、分水器入口节点和出口节点设置三个监测节点，获取三个月内的包含3个监测节点的共6类监测变量的水质特征数据，分别为地下池入口节点流量、地下池入口节点浊度、分水器入口节点流量、分水器入口节点浊度、出口节点流量与出口节点浊度。同时获得每日定时化验得到的三个节点的补充水质特征数据，分别为：地下池入口节点悬浮物含量、地下池入口节点含油量、分水器入口节点悬浮物含量、分水器入口节点含油量、出口节点悬浮物含量、分水器出口节点含油量。此外还包括沉降罐日常排污操作记录文本，通过文本转化将排污操作记录文本处理为数字矩阵。将以上监测变量整理得到初步数据集，以矩阵形式整合成用于当前数据下水质评价的特征矩阵。
S102：将特征矩阵输入一预先训练的预测模型，获得预测的水质特征数据。
在本发明实施例中，上述特征矩阵，在应用预测功能时认为，所含数据不包括沉降罐出口节点参数。通过输入当前时刻下所监测数据如沉降罐入口浊度、流量等，获得预测模型预测得到的未来五天内出口节点的流量、浊度以及悬浮物含量和含油量与可能的排污收油量。
S103：将特征矩阵与预测模型预测的水质特征数据整合获得新的特征矩阵输入一预先训练好的诊断模型，获得对水质的异常诊断结果。
在本发明实施例中，上述特征矩阵不同于S101所述特征矩阵的是，S103所述特征矩阵包含有S102步骤预测模型所预测的未来一段预设时间内沉降罐出口水质水量数据。当包含预测模型预测得到的数据时，诊断模型所输出结果也包含对未来一段预设时间内沉降罐水质是否异常的预测。需要说明的是，诊断模型所能输出的诊断结果，只能包含在诊断模型训练历史中出现过的工况。
S104：通过可视的计算机程序显示出预测的水质数据和诊断的异常结果，完成水质评价。
在本发明实施例中，上述可视的计算机程序整合上述预测模型与诊断模型功能，可以独立的安装在计算机等设备中。在完成预测模型和诊断模型功能后，通过显示设备显示各模型最终执行结果，实现对沉降罐水质的预测与诊断评价。
实施例2
图3为本发明实施例提供的水质评价方法的训练过程的流程图，用于进一步说明训练集训练所述预测模型与训练集训练所述诊断模型的训练过程。
采用基于支持向量机的机器学习模型、结合基于差分进化算法的超参数寻优模型，根据所述特征矩阵构建的输入矩阵，划分训练集与测试集，以训练集训练所述预测模型。
训练集训练所述预测模型的具体过程如下：
在本发明实施例中，根据特征矩阵构建的输入矩阵为根据所述水质特征数据获得特征矩阵，特征矩阵更新后对预测模型进行训练，能够实现对预测模型预测能力的升级。
特别的，预测模型的更新是否必要以及更新频率取决于现场运用情况与模型预测精度，不需要特意指定相应时间。
在本发明实施例中，首先将沉降罐进出口数据构成的特征矩阵进行归一化处理，
所述归一化处理的方法为：
其中，xt为t时刻的原始参数，xmin为序列中参数的最小值，xmax为序列中参数的最大值，xt为归一化后t时刻的参数；
再按照预设比例将预设监测点的监测水质特征数据划分为训练集和测试集，
具体的，可以按照80％和20％的比例，将80％的水质特征数据作为训练集，将20％的水质特征数据将为测试集，用于预测水质。
将训练集输入支持向量机对预测模型进行训练，训练公式为：
对给定的训练样本Di＝(xi,yi),i＝1,...,l，其中xi为输入矩阵，yi为对应输出值，支持向量机目标函数为：
其约束条件为：
其中Wx+b＝0为输入矩阵所构成超平面，||W||2反映目标表函数在高维空间平坦的复杂性；超参数C是惩罚项参数，ξi和ξi *为松弛变量；
使用预测模型预测测试集中的预测值，然后计算预测误差，公式为：
其中，y'i为预测值，yi为真实值，为样本均值，N为样本总数。
以预测误差为目标函数，调用差分进化算法，执行以上步骤，完成对预测模型的训练。
采用基于残差神经网络的诊断模型，根据正则化方法对诊断模型输入矩阵进行初步数据处理，异常标记为输出矩阵，划分训练集与测试集，以训练集训练所述诊断模型。训练集训练所述诊断模型的具体过程如下：
在本发明实施例中，诊断模型的输入矩阵为沉降罐各节点在预设时间段内所监测的数据，诊断模型输出参数为该预设时间段内存在的不同于正常工况的水质异常情况标记。这种异常包括：监测历史中出现过的某监测节点浊度突增、浊度突降、流量突增、流量突降及可能对应出口水质异常的其他操作中的一种或几种。
在本发明实施例中，先对诊断模型的输入矩阵进行正则化处理，正则化方法通过限制模型复杂度，避免模型过拟合，从而提高模型泛化能力。
所述加入正则化方法后诊断模型的目标函数可写为：
其中，L(·)为损失函数，N为训练样本数量，f(·)为待学习的网络，θ为其参数，lp为范数函数，λ为正则化系数，x为输入矩阵，y为期望的网络输出。
再按照预设比例将输入矩阵与期望的输出矩阵划分为训练集和测试集，并划分样本。
具体的，可以按照80％和20％的比例，将80％的水质特征数据作为训练集，将20％的水质特征数据将为测试集，用于诊断水质指标。
将训练集输入残差神经网络模型进行训练，所训练残差神经网络模型可调整参数包括卷积层层数、卷积核数量、激活函数类型、分类层类型。以准确率(ACC)与精确率(PPV)作为模型诊断性能的评价指标，可分别定义为：
式中TP表示将异常样本诊断为异常的样本数，TN表示将正常样本诊断为正常的样本数，FP表示将正常样本诊断为异常的样本数，ALL表示所有参与诊断样本数
由评价指标评断模型诊断能力，人工调整模型参数，完成对诊断模型的训练。
实施例3
图4为本发明实施例提供的水质评价装置的结构示意图。如图4所示，该水质评价装置包括：采集模块401，用于获取预设时间段内所有预设监测点的水质特征数据；预测训练模块401，用于对采用基于支持向量机的机器学习模型结合差分进化算法的预测模型进行训练；预测模块403，用于将所述获取的预设时间段内的水质特征数据输入训练好的预测模型，获得预测的水质特征数据；诊断训练模块404，用于对采用残差神经网络的诊断模型进行训练；诊断模块405，用于将所述获取的水质特征数据输入训练好的诊断模型，获得诊断的水质评价。
实施例4
图5为本发明实施例提供的服务器的结构示意图。如图5所示，本实施例的服务器包括：处理器501和存储器502；其中
存储器502，用于存储计算机执行指令；
处理器501，用于执行存储器存储的计算机执行指令，以实现上述实施例中服务器所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
进一步的，存储器502可以独立于系统，也可以和处理器集成在一起，存储器502可以是特定于某一监测节点的存储器，不影响上述实施例对数据的读取。
当存储器独立布置时，该服务器还包括总线503或无线传输设备，用于连接所述存储器和处理器。
实施例5
作为本发明的一个实施例，提供一种计算机可读存储介质，所述计算机可读存储介质中储存有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的水质评价方法。
实施例6
作为本发明的一个实施例，提供一种计算机程序产品，该计算机程序产品包括存储在计算内的可读取存储介质的计算机程序，该计算机程序包含程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：基于支持向量机和差分进化算法构建水质预测模型；基于历史水质时间序列数据和操作记录文本训练水质预测模型；基于水质预测模型预测水质；基于残差神经网络构建水质诊断模型；基于历史水质的时间序列数据和操作记录文本训练水质诊断模型；基于水质诊断模型诊断水质。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过计算机程序指令相关的硬件来完成，前述的计算机程序可以存储于计算机可读存储介质中，该计算机程序在执行时，执行包括上述方法实施例的步骤；前述的存储介质包括：ROM、RAM、光盘、APP等可以存储程序代码的介质。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域技术人员来说，其依然可以对前述实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (12)
1.用于沉降罐的水质评价方法，其特征在于，该用于沉降罐的水质评价方法包括：
步骤1，根据水质特征数据构造水质特征矩阵；
步骤2，根据水质特征矩阵构建预测模型输入矩阵，将水质特征矩阵划分为第一训练集与第一测试集，建立基于支持向量机的预测模型，并由第一训练集对预测模型进行训练；
步骤3，将第一测试集输入训练好的预测模型，获得预测的水质特征数据；
步骤4，将预测模型所预测的水质特征数据与步骤1所述的水质特征矩阵结合构成诊断模型输入矩阵，将诊断模型输入矩阵划分为第二训练集与第二测试集，基于残差神经网络建立深度学习模型，并根据第二训练集训练诊断模型；
步骤5，将第二测试集输入训练好的诊断模型，获得对水质数据的诊断结果。
2.根据权利要求1所述的用于沉降罐的水质评价方法，其特征在于，在步骤1中，获取预设时间段内所有预设监测点的罐进出口水质特征数据和历史操作记录，根据水质特征数据获得特征矩阵。
3.根据权利要求2所述的用于沉降罐的水质评价方法，其特征在于，在步骤1中，根据水质特征构造的特征矩阵包括：沉降罐进口节点的流量、浊度，沉降罐出口节点的流量、浊度所构成的实时监测矩阵；定期对沉降罐进出口水质化验得到的含油与悬浮物矩阵；沉降罐排污收油操作所构成的包括排污量、收油量、收悬浮物量与排污时间、收油时间、收悬浮物时间的操作记录矩阵。
4.根据权利要求1所述的用于沉降罐的水质评价方法，其特征在于，在步骤2中，选取水质特征矩阵构成预测模型输入矩阵，采用归一化手段对输入矩阵进行预处理，将输入矩阵划分为第一训练集与第一测试集，采用基于支持向量机的机器学习模型，结合基于差分进化算法的超参数寻优模块构建预测模型，并根据第一训练集训练预测模型。
5.根据权利要求4所述的用于沉降罐的水质评价方法，其特征在于，步骤2包括：
S21：将操作记录矩阵转化为数值特征，采用基于互信息的重要性排序算法融合实时监测矩阵、含油与悬浮物矩阵及操作记录矩阵为输入矩阵，采用归一化手段对输入矩阵进行数据预处理；
S22：将输入矩阵以预设时间间隔划分为若干样本，每次训练输入预设批大小个样本；
S23：根据基于支持向量机的机器学习模型，输入上述批大小个样本进行沉降罐出口水质预测，训练预测模型；
S24：采用基于群体的差分进化算法，对基于支持向量机的预测模型参数寻优，获取当前批下的最优预测模型参数；
S25：按照预设训练次数重复执行S23至S24的步骤，直至获得最终预测模型。
6.根据权利要求4所述的用于沉降罐的水质评价方法，其特征在于，在步骤2中，首先将沉降罐进出口数据构成的特征矩阵进行归一化处理，
归一化处理的方法为：
其中，xt为t时刻的原始参数，xmin为序列中参数的最小值，xmax为序列中参数的最大值，xt为归一化后t时刻的参数；
再按照预设比例将预设监测点的监测水质特征数据划分为第一训练集和第一测试集；
将第一训练集输入支持向量机对预测模型进行训练：
对给定的训练样本Di＝(xi,yi),i＝1,...,l；，其中xi为输入矩阵，yi为对应输出值，支持向量机目标函数为：
其约束条件为：
其中Wx+b＝0为输入矩阵所构成超平面，||W||2反映目标表函数在高维空间平坦的复杂性；超参数C是惩罚项参数，ξi和ξi *为松弛变量；
使用预测模型预测第一测试集中的预测值，然后计算预测误差，公式为：
其中，yi′为预测值，yi为真实值，为样本均值，N为样本总数；
以预测误差为目标函数，调用差分进化算法，执行以上步骤，完成对预测模型的训练。
7.根据权利要求1所述的用于沉降罐的水质评价方法，其特征在于，在步骤4中，诊断模型输入矩阵包括：沉降罐进口节点的流量、浊度，沉降罐出口节点的流量，浊度所构成的实时矩阵；定期对沉降罐进出口水质化验得到的含油与悬浮物矩阵；沉降罐排污收油操作所构成的操作记录矩阵中的至少一种；预测模型所预测的沉降罐出口节点流量、浊度、含油与悬浮物矩阵。
8.根据权利要求1所述的用于沉降罐的水质评价方法，其特征在于，在步骤4中，对历史数据中出口节点异常水质参数进行标记，水质状态标记作为为诊断模型输出矩阵；对诊断模型输入矩阵进行正则化处理，划分输入矩阵为第二训练集和第二测试集，采用基于残差神经网络的深度学习模型，由根据第二训练集训练诊断模型。
9.根据权利要求8所述的用于沉降罐的水质评价方法，其特征在于，步骤4包括：
S41：根据正则化理论对诊断模型输入矩阵进行初步数据处理，使输入矩阵各项参数在同一范围内波动，构成最终输入矩阵，将最终输入矩阵划分为第二训练集和第二测试集；
S42：将第二训练集以预设时间间隔划分为若干样本，每次训练输入预设批大小个样本；
S43：根据基于残差神经网络的机器学习模型，输入上述批大小个样本进行沉降罐出口异常水质参数诊断，输出该批次下的异常诊断结果矩阵；
S44：根据输入矩阵与诊断模型输出矩阵按照预设训练次数重复执行S42至S43的步骤，直至获得最终诊断模型。
10.根据权利要求8所述的用于沉降罐的水质评价方法，其特征在于，在步骤4中，诊断模型的输入矩阵为沉降罐各节点在预设时间段内所监测的数据，诊断模型输出矩阵为该预设时间段内存在的不同于正常工况的水质异常情况标记；异常情况包括：监测历史中出现过的某监测节点浊度突增、浊度突降、流量突增、流量突降及可能对应出口水质异常的其他操作中的一种或几种。
11.根据权利要求8所述的用于沉降罐的水质评价方法，其特征在于，在步骤4中，先对诊断模型的输入矩阵进行正则化处理，正则化方法通过限制模型复杂度，避免模型过拟合，从而提高模型泛化能力；
加入正则化方法后诊断模型的目标函数可写为：
其中，L(·)为损失函数，N为训练样本数量，f(·)为待学习的网络，θ为其参数，为范数函数，λ为正则化系数，x为输入矩阵，y为期望的网络输出；
再按照预设比例将诊断模型的输入矩阵划分为第二训练集和第二测试集，并划分样本；
将第二训练集输入残差神经网络模型进行训练，所训练的残差神经网络模型可调整参数包括卷积层层数、卷积核数量、激活函数类型、分类层类型；以准确率ACC与精确率PPV作为模型诊断性能的评价指标，可分别定义为：
式中TP表示将异常样本诊断为异常的样本数，TN表示将正常样本诊断为正常的样本数，FP表示将正常样本诊断为异常的样本数，ALL表示所有参与诊断样本数；
由评价指标评价模型诊断能力，人工调整模型参数，完成对诊断模型的训练。
12.用于沉降罐的水质评价装置，其特征在于，该用于沉降罐的水质评价装置包括：
集成模块，获取预设时间段内所有预设监测点的水质特征数据；
预测训练模块，对采用基于支持向量机结合差分进化算法的预测模型进行训练；
预测模块，将获取的预设时间段内的水质特征数据输入训练好的预测模型，获得预测的水质特征数据；
诊断训练模块，对基于残差神经网络的诊断模型进行训练；
诊断模块，将获取的水质特征数据输入训练好的诊断模型，获得诊断的水质评价。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210943244.8A CN117577225A (zh) | 2022-08-08 | 2022-08-08 | 用于沉降罐的水质评价方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210943244.8A CN117577225A (zh) | 2022-08-08 | 2022-08-08 | 用于沉降罐的水质评价方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117577225A true CN117577225A (zh) | 2024-02-20 |
Family
ID=89888696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210943244.8A Pending CN117577225A (zh) | 2022-08-08 | 2022-08-08 | 用于沉降罐的水质评价方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117577225A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118152884A (zh) * | 2024-03-21 | 2024-06-07 | 北京溥络数智科技有限责任公司 | 化工罐量预测方法、装置和化工罐实时监测系统 |
-
2022
- 2022-08-08 CN CN202210943244.8A patent/CN117577225A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118152884A (zh) * | 2024-03-21 | 2024-06-07 | 北京溥络数智科技有限责任公司 | 化工罐量预测方法、装置和化工罐实时监测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102440372B1 (ko) | 빅데이터 및 인공지능 기반의 하수처리시설의 유입수 환경 정보 관리 방법, 장치 및 컴퓨터-판독가능 기록매체 | |
| CN111899905B (zh) | 一种基于核动力装置的故障诊断方法及系统 | |
| CN113807951B (zh) | 一种基于深度学习的交易数据趋势预测方法和系统 | |
| CN117235595A (zh) | 一种基于LSTM-Attention的污水处理加药量预测方法及系统 | |
| CN104318325A (zh) | 多流域实时智能水质预测方法及系统 | |
| CN114444582A (zh) | 基于卷积神经网络与贝叶斯网络的机械设备故障诊断方法 | |
| CN114219096A (zh) | 一种机器学习算法模型的训练方法、装置及存储介质 | |
| CN114970688A (zh) | 基于LSTMAD算法和Hermite插值法的滑坡监测数据预处理方法 | |
| CN113987294A (zh) | 一种基于遗传优化gru神经网络的cvt在线故障诊断方法 | |
| Yel et al. | Prediction of primary treatment effluent parameters by Fuzzy Inference System (FIS) approach | |
| KR20120001116A (ko) | 하폐수 처리장의 공정진단 시스템 및 방법 | |
| Qiao et al. | A repair algorithm for radial basis function neural network and its application to chemical oxygen demand modeling | |
| CN117577225A (zh) | 用于沉降罐的水质评价方法及装置 | |
| Liang et al. | Self-organization comprehensive real-time state evaluation model for oil pump unit on the basis of operating condition classification and recognition | |
| CN115688581A (zh) | 油气集输站设备参数预警方法、系统、电子设备及介质 | |
| Fuck et al. | Predicting effluent quality parameters for wastewater treatment plant: A machine learning-based methodology | |
| Korovin et al. | Neuronetwork decision support system for oilfield equipment condition online monitoring | |
| Liu et al. | Prediction of dam horizontal displacement based on CNN-LSTM and attention mechanism | |
| CN117312972A (zh) | 一种刮板输送机减速器健康状态识别方法 | |
| Zambrano et al. | Machine learning techniques for monitoring the sludge profile in a secondary settler tank | |
| Bu et al. | An attempt to augment performance of machine learning models in a pilot-scale urban wastewater treatment system | |
| Xu et al. | Prediction of the Wastewater's pH Based on Deep Learning Incorporating Sliding Windows. | |
| CN114842921A (zh) | 基于线性回归和决策树模型的市政污水除磷药剂投加方法 | |
| CN114065624A (zh) | 一种炼化装置管网完整性管理水平智能评估方法 | |
| Yan et al. | A Data Cleaning Framework for Water Quality Based on NLDIW-PSO Based Optimal SVR |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |