CN114707551B - 面向工业互联网设备故障诊断的多模态数据融合方法 - Google Patents
面向工业互联网设备故障诊断的多模态数据融合方法 Download PDFInfo
- Publication number
- CN114707551B CN114707551B CN202210354875.6A CN202210354875A CN114707551B CN 114707551 B CN114707551 B CN 114707551B CN 202210354875 A CN202210354875 A CN 202210354875A CN 114707551 B CN114707551 B CN 114707551B
- Authority
- CN
- China
- Prior art keywords
- matrix
- data
- fault
- sensor
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 26
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 53
- 238000011176 pooling Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000012706 support-vector machine Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims 2
- 101100025318 Danio rerio mvd gene Proteins 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000003672 processing method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 230000007257 malfunction Effects 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009760 electrical discharge machining Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
本发明公开了一种面向工业互联网设备故障诊断的多模态数据融合方法，该方法基于设备故障数据集，通过将两种传感器数据融合到一个公共空间来对设备的故障进行判断，采用不同的信号处理方式对信号稳定性不同的传感器数据进行处理。该方法不仅能提高故障诊断的准确度，还能够增强某一传感器失效后系统的鲁棒性。其创新点在于：1)提出了一种基于多视图鉴别分析(MvDA)的多模态数据融合算法，算法中使用了一种迭代算法以替换原有MvDA中奇异值分解的部分，取得全局最优解从而提高投影精度以及诊断鲁棒性。2)针对平稳信号，采用能快速提取特征的1DCNN算法，对于非平稳信号采用小波变换二维图像进行特征提取。
Description
技术领域
本发明属于工业互联网技术领域，涉及大型设备故障预测方法，特别涉及一种面向工业互联网设备故障诊断的多模态数据融合方法。
背景技术
在实际的工业互联网中，利用传感器数据来对设备的状态进行监测十分常见。例如：利用湿度等传感器可以获得设备当前工作环境的情况，这些类型不一致的传感器通常能从不同角度描述同一设备的运行情况。若是能结合多个角度的传感器来对设备的状况进行诊断，就可以提高设备的诊断准确率，将会对工业设备的维护产生极大的价值。现有的工业物联网设备大多都使用单一传感器来对设备的使用状况进行判断，但在实际工业环境下复杂多变的情况下，单一传感器可能会由于外界某些干扰而失灵。工业实际生产中常常会部署多个传感器来进行设备监测。将多个传感器数据结合起来不仅可以降低因单个传感器失灵而带来诊断失效的风险，还可以综合各个传感器的判断，提高诊断准确率，降低依赖单一传感器对大型设备的故障诊断带来的负面影响。
发明内容
针对现有检测方法中存在的数据利用率低、鲁棒性弱、准确率不高等技术问题，本发明的目的在于，提供一种面向工业互联网设备故障诊断的多模态数据融合方法。
为了实现上述任务，本发明采用如下技术解决方案予以实现：
一种面向工业互联网设备故障诊断的多模态数据融合方法，其特征在于，包括以下步骤：
步骤1，收集大型设备的故障数据，进行数据预处理，将其作为训练样本；
步骤2，对步骤1中整理分类后得到的大型设备故障训练样本，针对数据类型或特性不同的传感器采集到的数据，从不同角度进行多模态数据融合，提取不同传感器数据的特征矩阵和主成分矩阵；
步骤3，对于所有传感器，通过多模态数据融合的方法建立多模态数据融合模型，首先定义求解多模态数据融合模型的映射矩阵，然后使用一种基于Ratio Trace方法的迭代算法求得多模态数据融合模型的全局最优解；
步骤4，利用步骤3中获得的多模态数据融合模型，将传感器特征投影到一个新的空间，使用分类器对数据进行分类和预测。
本发明的面向工业互联网设备故障诊断的多模态数据融合方法，与现有技术相比，具有如下技术效果：
(Ⅰ)基于MvDA建立了多模态数据融合设备故障诊断模型，并使用基于Ratio Trace方法的迭代算法来解决迹差问题，多模态数据融合设备故障诊断模型可以细化传感器数据特征处理，从而更好的诊断故障；
(Ⅱ)采取学习小波图像特征的方式来替换原有非平稳信号直接进行特征学习的方式，提高了融合精度；实验结果表明，本模型不仅对融合后精度有提高，故障诊断模型的鲁棒性对比其他现有故障诊断算法也有所提高。
附图说明
图1为振动信号分割时的采样方式。
图2为风扇端故障小波变换时频图。
图3为采用不同类型的CNN和不同类型的数据所对应的训练时间和准确度。
图4为驱动端外圈故障未添加噪声时频域信号图。
图5为驱动端外圈故障添加噪声时频域信号图。
图6为常用公共空间投影方法对比。
图7为使用PCA与未使用PCA的准确率对比图。
图8为多模态数据融合设备故障检测模型系统模型。
具体实施方式
现有的工业物联网大型设备大多都使用单一传感器来对设备的使用状况进行判断，但在实际工业环境下复杂多变的情况下，单一传感器可能会由于外界某些干扰而失灵，进而会对大型设备的故障检测系统造成影响，甚至会导致其失效。因此，申请人基于多模态数据融合思想，探索面向工业互联网设备故障诊断的多模态数据融合方法。
申请人基于多视图判别分析(MvDA)建立多模态数据融合的设备故障检测模型，通过对不同的传感器数据的特点进行分析，得到各个传感器故障诊断的最优特征，将不同的特征数据通过融合模型使其映射在同一平面内，利用Ratio trace方法的迭代算法得到空间最优解，利用融合后的模型再对设备的故障情况做出诊断。
需要说明的是，在以下的实施例中，所涉及的所有算法，如无特殊说明，全部均采用现有技术中已知的算法。
在以下的实施例中：
SVM算法指的是支持向量机算法。
SDIAE算法指的是基于堆叠判别信息的自动编码器(英文：Stacked DiscriminantInformation-Based Auto-Encoder)。
VAEGAN-DRA算法指的是基于深度后悔分析的变分自编码生成对抗网络(英文：Variational Autoencoding Generative Adversarial Networks With Deep RegretAnalysis)。
SNN算法指的是脉冲神经网络(英文：Spiking Neural Network)。
SIRCNN算法指的是堆叠倒置残差卷积神经网络(英文：Stacked InvertedResidual Convolution Neural Network)。
以下是发明人给出的具体的实施例。
本实施例给出一种面向工业互联网设备故障诊断的多模态数据融合方法，包括以下步骤：
步骤1，收集大型设备的故障数据，进行数据预处理，将其作为训练样本；
步骤1的具体实现包括如下子步骤：
步骤1.1，基于收集到的大型设备故障样本，对故障数据进行分类，并对每一类故障数据进行标记；
具体到本实施例中，实验所采用的是美国西储大学轴承数据集，该数据集已被广泛用作对轴承型号的故障研究。该轴承数据平台主要由电机、扭矩传感器、功率检测计、电子控制阀、待测轴承类型等构成，本实验使用驱动端轴承加速度振动传感器数据和风扇端轴承加速度振动传感器数据，采样频率为12kHz，传动轴承的失效类型根据部件可分为：内圈失效、外圈失效、旋转体失效。此数据集的损伤是用由火花加工造成的单点损伤。由于磨损部位较固定，因此损伤点相比于轴承负荷区不同位置对轴承系统的振动响应有直接作用，故障损伤长度有0.1778、0.3556、0.5334毫米。每一种故障类型都会产生以上三种尺寸的故障，因此每种故障又会有三种不同的损伤情况。轴承一共会产生10种不同情况，包括正常状态与九种故障状态。
步骤1.2，针对振动信号数据，选择一种重采样的方式来对数据集的样本数进行扩充，得到扩充后的数据集后，对每种故障样本的数据进行归一化处理；
具体到本实施例中，每个样本有121556个数据，包含着较多周期数据，设置采集窗口为1024个数据。本实验采用重采样的方式进行数据扩充，后一个样本与前一个样本之间保持256的步长，如图1所示。采用如上所述的窗口大小与步长可以极大地扩充各个不同类型故障的样本数量。每个样本数据含有一种类型故障2-3个周期数据，在得到扩充后的数据集后，由于需要使用到的卷积网络，对每种故障样本的数据需要采用归一化的方法。在得到了扩充后的数据后，对每种故障类型随机选取，每种类型的数据有400个。训练集与测试集的划分比例为7:3。
步骤1.3，针对步骤1.2中得到的扩充数据集，向传感器数据中添加噪声来模拟传感器失效的行为，在本发明中使用的噪声添加方式为加性高斯噪声。
具体到本实施例中，向驱动端传感器数据中添加噪声来模拟传感器失效的行为，在本实验中使用的噪声添加方式为加性高斯噪声，噪声的大小通常由信噪比衡量，信噪比公式如下：
式中：Pnoise为噪声功率；Psignal为信号有用功率；为每个样本的方差，用来近似地用表示信号的功率，对于标准高斯噪声，信号功率为1；
则对每个样本信号所要添加的噪声为：
式中，randn()为生成标准噪声的函数，length()为信号的长度；
需要注意的是，为了方便实验对比，本实施例中所有施加的噪声都在驱动端。风扇端的信号更加不稳定，对结果会造成更大的影响，而驱动端的优良的数据使得诊断成功率非常高，因此噪声施加在驱动端的数据更能说明本实施例所述方法的鲁棒性。
步骤1的优点：通过本步骤扩充了原有数据集的样本数，满足了模型数据量的需求。扩充后的数据集完全取自原始数据集，并没有额外的无关信息引入。归一化后的数据集更适合进行学习和训练。添加高斯噪声可以模拟传感器失效的情况，有助于提高模型的泛化性和鲁棒性。
步骤2，对步骤1中整理分类后得到的大型设备故障训练样本，针对数据类型或特性不同的传感器采集到的数据，从不同角度进行多模态数据融合，提取不同传感器数据的特征矩阵和主成分矩阵；
步骤2的具体实现包括如下子步骤：
步骤2.1，针对步骤1.3中得到的扩充数据集，对于信号特征因噪声而表现出强不稳定性的信号采用小波分析进行降噪处理，转化为小波时频图再进行学习，对于小波时频图的二维图像，采用如下的卷积网络结构进行学习：
k.图像输入，参数设置为：64×64×3图像，‘zerocenter’归一化；
l.卷积层，参数设置为：卷积核数量为8，卷积核大小为5×5，步幅为[1,1]，t填充为“same”；
m.批处理层，参数设置为：批量归一化；
n.激活函数层，参数设置为：采用ReLU激活函数；
o.池化层，参数设置为：池化方式为“最大池化”，池化域大小为2×2，步幅为[2，2]，t填充为“0”；
p.卷积层，参数设置为：卷积核数量为16，卷积核大小为5×5，步幅为[1,1]，t填充为“same”；
q.批处理层，参数设置为：批量归一化；
r.激活函数层，参数设置为：采用ReLU激活函数；
s.池化层，参数设置为：池化方式为“最大池化”，池化域大小为2×2，步幅为[2，2]，t填充为“0”；
t.全连接层，参数设置为：4096全连接层；
通过CNN架构，提取到传感器的特征矩阵为Xijk＝(xijk1,xijk2,...,xijkz)，其中，z为提取的特征数量；
步骤2.2，对于质量较好的一维信号，直接应用卷积神经网络进行学习，卷积神经网络的结构如下：
g.振动输入，参数设置为：1×1024，‘zerocenter’归一化；
h.卷积层，参数设置为：卷积核数量为8，卷积核大小为1×1024，步幅为[1,1]，t填充为“same”；
i.池化层，参数设置为：池化方式为“最大池化”，池化域大小为1×512，步幅为[2，2]，t填充为“0”；
j.卷积层，参数设置为：卷积核数量为16，卷积核大小为1×512，步幅为[1,1]，t填充为“same”；
k.池化层，参数设置为：池化方式为“最大池化”，池化域大小为1×512，步幅为[2，2]，t填充为“0”；
l.全连接层，参数设置为：4096全连接层；
通过CNN架构，提取到传感器的特征矩阵为Xijk＝(xijk1,xijk2,...,xijkz)，其中，z为提取的特征数量；
步骤2.3，使用主成分分析法(principal component analysis，PCA)对各个传感器矩阵进行处理，该方法将数据特征矩阵投影到一组相互正交矩阵上，之后计算投影后数据之间的方差，根据方差评估特征矩阵的重要性，对于传感器特征数据有：
Xijk＝[xijk1 ... xijkz] (式3)
式中：Xijk为某个传感器特征组成的矩阵，接下来求解Xijk的标准化矩阵，记为
式中：M和Y为两个变量；K为样本总数；为M的均值；为Y的均值；
计算的特征向量，所有的特征向量组成一个矩阵XC，构造出主成分矩阵。
具体到本实施例中，驱动端数据在一维卷积神经网络上的一维卷积网络架构下的平均准确率是94.48％，在二维卷积网络架构下的平均准确率是97.14％；而风扇端学习到的平均准确率分别是84.01％和86.67％。风扇端时频信号在卷积网络上的诊断性能并不明显。原因是该数据集中风扇端时频信号在低频段时间的辨识度并不具备优势，而高频段处的信号并不明显，为此选择一种能分析风扇端频率信号的方法，短时傅里叶变换与小波变换获取的信号在特征层面存在着巨大差异，傅里叶变换难以适应的高低频段改变快速与迟钝的问题，而小波变换在处理高低频段变换具有极大的优势。为了解决风扇端信号图像诊断精度不高的问题，使用小波变换处理风扇端数据，使其转换为高频特征突出的小波图像。转换后的小波图像如图2所示，其中从左到右、从上到下分别为正常状态、内圈故障损伤长度0.1778mm、内圈故障损伤长度0.3556mm、内圈故障损伤长度0.5334mm、滚动体故障损伤长度0.1778mm、滚动体故障损伤长度0.3556mm、滚动体故障损伤长度0.5334mm、外圈故障损伤长度0.1778mm、外圈故障损伤长度0.3556mm、外圈故障损伤长度0.5334mm。
因此，针对不同的数据采用不同的处理方法。压缩风扇端故障小波变换时频图的分辨率为64×64，用步骤2.1中所述的二维卷积网络对小波图像进行学习训练。采取步骤2.2所述的一维卷积网络结构，将驱动端数据输入到一维卷积结构中进行特征学习，使用大小为10的全连接层通过Softmax函数对轴承故障进行分类。
如图3所示，步骤2的优点：对风扇端数据，采取转换小波时频图的方式能充分突出在滚动轴承故障产生时的高频段故障特性。驱动端数据的质量较高，采用二维卷积网络并不能带来准确率上的明显提高，因此本实施例中使用一维卷积对驱动端数据进行特征提取。步骤2较好地平衡了训练时间和准确率，提高了方法在真实工业环境中的可用性。
步骤3，对于所有传感器，通过多模态数据融合的方法建立多模态数据融合模型，首先定义求解多模态数据融合模型的映射矩阵，然后使用一种基于Ratio Trace方法的迭代算法求得多模态数据融合模型的全局最优解；
步骤3具体实现包括如下子步骤：
步骤3.1，对于每个样本，定义：
式中：D为设备故障的数据集；dijk为第i种故障中第j个传感器的第k个样本；I为故障的种类；J为传感器的总数；qo为传感器o的特征维数；kij为第j个传感器的第i种故障的样本个数；
需要注意的是，在本实施例中，J＝2；
步骤3.2，对于所有传感器，可以通过多模态数据融合(MvDA)的方式建立多模态数据融合模型，定义求解多模态数据融合模型的映射矩阵为：
式中：分别是不同传感器的最优映射矩阵；Lin为公共空间中的投影的类内散布矩阵；Lout类间散布矩阵；
两个散布矩阵可以由以下表示：
式中：为所有传感器中第i类故障样本的平均矩阵；为第i种故障所有传感器的样本数；为所有样本在公共空间的平均矩阵；K为所有故障样本的数目，有Fijk为dijk样本映射到公共空间上所对应的样本值；
为了方便计算，类间散射矩阵Lout和类内散射矩阵Lin可被写为：
Lout＝STWS (式9)
Lin＝STVS (式10)
式中：ST为所有传感器映射矩阵转置的集合，S为所有传感器映射矩阵的集合，有S＝{S1,S2,...,SJ}；W和V都为关于的块矩阵，其定义如下：
式中：为第j个传感器中第i种故障所有样本的平均矩阵；为的转置；kij为第j个传感器的第i种故障的样本个数；为第i种故障所有传感器的样本数；为第m个传感器中第i种故障所有样本的平均矩阵；为的转置；kim为第m个传感器的第i种故障的样本个数；为第i种故障所有传感器的样本数；
步骤3.3，步骤3.2中式4需要求解J个传感器的线性变换视图，通过将目标函数转换为迹比问题，可以简化问题的求解，式4目标函数的迹比解又可以被写为：
以上目标函数可以被看作一个迹比问题，奇异值分解很难获得多模态数据融合模型的全局最优解，为了解决这个问题，使用一种基于Ratio Trace方法的迭代算法来解决迹比问题；
步骤3.4，首先为了保持全局结构的可解性，加入正交约束STS＝E。其中，E为单位矩阵，并且让则式13又可写为：
已知式14满足由于模型使用了PCA主成分分析法已经对传感器数据进行处理，所以不存在为为0的空间，则可以用以下公式转换
式中：Θ＝[θ1,θ2,θ3,...,θC]，θc>0，c＝1,2,...,C；C为中正奇异值的数量；
令S＝QB，d为S的秩，目标函数可被表示为：
其中，W(u)＝BTWB，
通过奇异值分解考虑到式16中存在，即使有闭式解但仍可能与最优解存在较大误差；
步骤3.5，将式16转化为迹差问题：
其中λn是从上一步的投影矩阵Bn-1计算出的轨迹比值，具体算法步骤为：
a)将B0初始化为任意列正交矩阵；
b)从n＝1，2，...，N开始，通过计算矩阵Bn-1计算θn：
c)将迹差问题构造为：
d)使用特征值分解法求解迹差问题：
式中：为中第r大的特征值；为对应的特征向量；
为了保持正交，重新构造投影矩阵，设d为低维特征的秩，让V(b)＝Bn(Bn)TV(u)Bn(Bn)T，进行奇异值分解，有：
V(b)＝BnΘb(Bn)T (式21)
e)如果有则退出循环；
输出B＝Bn。
具体到本实施例中，在步骤2获得的驱动端和风扇端数据特征矩阵基础上，采取多模态数据融合的方式，综合考虑驱动端和风扇端的数据，将风扇端与驱动端的数据进行PCA降维后投影到公共空间中使用SVM进行分类。
需要说明的是，本实施例测试了不同惩罚因子(Penalty Factor)对支持向量机的影响，当惩罚因子大于0.1时都趋于稳定，因此本实施例中其他性能分析实验的惩罚因子都设置为0.1。
考虑到在真实工业环境中会有更多不确定的因素影响着传感器的数据，为了验证本发明所提方法的鲁棒性，对驱动端数据添加了标准高斯噪声，图4和图5分别展示了添加噪声前后驱动端外圈故障数据的时频域信号图。实验结果显示，多模态数据融合模型可以提高故障诊断的精度。并且比直接将特征拼接进行融合分类的效果要好得多。实验对比算法包括了近年来在轴承故障诊断方面取得良好结果的算法。每种方法运行十次，最终精度取平均值，对比的算法有SDIAE算法，VAEGAN-DRA算法，SVM算法，SNN算法和SIRCNN算法。结果对比如表1所示，表1中多模态数据融合所使用的数据为驱动端加风扇端数据。
表1：算法准确率对比
本实施例还与常用公共空间投影方法进行了对比，所有的公共空间投影方法均使用SVM作为分类器。对比结果如图6所示。
需要说明的是，在每一次特征提取后都使用了PCA来保留超过95％的主成分。这里的使用PCA进行降维的目的是：
(1)将高维度特征向低维度转换，所以需要对其高维度数据进行降维处理以简化数据并消除不必要的冗余信息；
(2)加快平面投影的速度缩短操作时间。
图7展示了在双端数据集中添加PCA降维步骤所带来的影响。并且经过PCA降维后，多传感器融合框架的方法具有较低的时间复杂度，通常在3-4次迭代中达到最佳效果。
步骤4，利用步骤3中获得的多模态数据融合模型，将传感器特征投影到一个新的空间，使用分类器对数据进行分类和预测。系统模型如图8所示。
步骤4具体实现包括如下子步骤：
步骤4.1，多模态数据融合模型将传感器特征投影到一个空间，然后使用SVM(支持向量机)作为分类器；
步骤4.2，为步骤4.1中的SVM分类器选择不同的核函数，其中：
a)线形核一般使用在线性可分的情形下，它参数少速率较快，因此对线性可分的数据来说有着优异的性能；
b)多项式核函数(Polynomial)则能够把低维的输入空隙直接反映到更高维的特征空隙，不过如果多项式核函数参数太多，由于特征数的增多在复杂度运算时也会趋向无穷大；
c)高斯核函数(RFB)是一种局部性表示强的核函数，是一个局部性表示强的核变量，在大样本和小样本中均显示出优异的性能；
d)Sigmoid函数则将支持的向量机近似于一个多层神经网络；
步骤4.3，按照聚类算法实施相同的处理步骤，即可完成故障类型诊断任务。
需要说明的是，以上的实施例是本发明较优的例子，本发明不限于上述实施例，凡在本申请技术方案基础上，对技术特征所作的增加或等同变换，均落入本发明的保护范围。
Claims (4)
1.一种面向工业互联网设备故障诊断的多模态数据融合方法，其特征在于，包括以下步骤：
步骤1，收集大型设备的故障数据，进行数据预处理，将其作为训练样本；
步骤2，对步骤1中整理分类后得到的大型设备故障训练样本，针对数据类型或特性不同的传感器采集到的数据，从不同角度进行多模态数据融合，提取不同传感器数据的特征矩阵和主成分矩阵；
步骤3，对于所有传感器，通过多模态数据融合的方法建立多模态数据融合模型，首先定义求解多模态数据融合模型的映射矩阵，然后使用一种基于Ratio Trace方法的迭代算法求得多模态数据融合模型的全局最优解；具体包括如下子步骤：
步骤3.1，对于每个样本，定义：
式中，为设备故障的数据集，dijk为第i种故障中第j个传感器的第k个样本，I为故障的种类，J为传感器的总数，qo为传感器o的特征维数，kij为第j个传感器的第i种故障的样本个数；
步骤3.2，对于所有传感器，可以通过多模态数据融合MvDA的方式建立多模态数据融合模型，定义求解多模态数据融合模型的映射矩阵为：
式中，分别是不同传感器的最优映射矩阵，Lin为公共空间中的投影的类内散布矩阵，Lout类间散布矩阵；
两个散布矩阵由下式5和式6表示：
式中，为所有传感器中第i类故障样本的平均矩阵；
为第i种故障所有传感器的样本数；
为所有样本在公共空间的平均矩阵；
K为所有故障样本的数目，有
Fijk为dijk样本映射到公共空间上所对应的样本值；
为了方便计算，类间散射矩阵Lout和类内散射矩阵Lin被写为：
Lout＝STWS(式7)
Lin＝STVS(式8)
式中：ST为所有传感器映射矩阵转置的集合，S为所有传感器映射矩阵的集合，有S＝{S1,S2,...,SJ}；
W和V都为关于的块矩阵，其定义如下：
式中，为第j个传感器中第i种故障所有样本的平均矩阵，为的转置，kij为第j个传感器的第i种故障的样本个数；为第i种故障所有传感器的样本数；为第m个传感器中第i种故障所有样本的平均矩阵；为的转置；kim为第m个传感器的第i种故障的样本个数；为第i种故障所有传感器的样本数；
步骤3.3，步骤3.2中式4需要求解J个传感器的线性变换视图，通过将目标函数转换为迹比问题，可以简化问题的求解，式4目标函数的迹比解又可以被写为：
以上目标函数可以被看作一个迹比问题，奇异值分解很难获得多模态数据融合模型的全局最优解，为了解决这个问题，使用一种基于Ratio Trace方法的迭代算法来解决迹比问题；
步骤3.4，首先为了保持全局结构的可解性，加入正交约束STS＝E；其中，E为单位矩阵，并且让则式11又可写为：
已知式12满足由于模型使用了PCA主成分分析法已经对传感器数据进行处理，所以不存在为为0的空间，则可以用以下公式转换
式中：Θ＝[θ1,θ2,θ3,...,θC]，θc>0，c＝1,2,...,C；C为中正奇异值的数量；
令S＝QB，d为S的秩，目标函数可被表示为：
其中，W(u)＝BTWB，
通过奇异值分解考虑到，式14中存在：即使有闭式解但仍可能与最优解存在较大误差；
步骤3.5，将式14转化为迹差问题：
其中λn是从上一步的投影矩阵Bn-1计算出的轨迹比值，具体算法步骤为：
a)将B0初始化为任意列正交矩阵；
b)从n＝1，2，...，N开始，通过计算矩阵Bn-1计算θn：
c)将迹差问题构造为：
d)使用特征值分解法求解迹差问题：
式中，为中第r大的特征值，为对应的特征向量；
为了保持正交，重新构造投影矩阵，设d为低维特征的秩，让V(b)＝Bn(Bn)TV(u)Bn(Bn)T，进行奇异值分解，有：
V(b)＝BnΘb(Bn)T(式19)
e)如果有则退出循环；
输出B＝Bn；
步骤4，利用步骤3中获得的多模态数据融合模型，将传感器特征投影到一个新的空间，使用分类器对数据进行分类和预测。
2.如权利要求1所述的方法，其特征在于，步骤1的具体实现包括如下子步骤：
步骤1.1，基于收集到的大型设备故障样本，对故障数据进行分类，并对每一类故障数据进行标记；
步骤1.2，针对振动信号数据，选择一种重采样的方式来对数据集的样本数进行扩充，得到扩充后的数据集后，对每种故障样本的数据进行归一化处理；
步骤1.3，针对步骤1.2中得到的扩充数据集，向传感器数据中添加噪声来模拟传感器失效的行为，使用的添加噪声方式为加性高斯噪声。
3.如权利要求1所述的方法，其特征在于，步骤2具体实现包括如下子步骤：
步骤2.1，针对步骤1.3中得到的扩充数据集，对于信号特征因噪声而表现出强不稳定性的信号采用小波分析进行降噪处理，转化为小波时频图再进行学习，对于小波时频图的二维图像，采用如下的卷积网络结构进行学习：
a.图像输入，参数设置为：64×64×3图像，‘zerocenter’归一化；
b.卷积层，参数设置为：卷积核数量为8，卷积核大小为5×5，步幅为[1，1]，t填充为“same”；
c.批处理层，参数设置为：批量归一化；
d.激活函数层，参数设置为：采用ReLU激活函数；
e.池化层，参数设置为：池化方式为“最大池化”，池化域大小为2×2，步幅为[2，2]，t填充为“0”；
f.卷积层，参数设置为：卷积核数量为16，卷积核大小为5×5，步幅为[1,1]，t填充为“same”；
g.批处理层，参数设置为：批量归一化；
h.激活函数层，参数设置为：采用ReLU激活函数；
i.池化层，参数设置为：池化方式为“最大池化”，池化域大小为2×2，步幅为[2，2]，t填充为“0”；
j.全连接层，参数设置为：4096全连接层；
通过CNN架构，提取到传感器的特征矩阵为Xijk＝(xijk1,xijk2,...,xijkz)，其中，z为提取的特征数量；
步骤2.2，对于质量较好的一维信号，直接应用卷积神经网络进行学习，卷积神经网络的结构如下：
a.振动信号输入，参数设置为：1×1024，‘zerocenter’归一化；
b.卷积层，参数设置为：卷积核数量为8，卷积核大小为1×1024，步幅为[1，1]，t填充为“same”；
c.池化层，参数设置为：池化方式为“最大池化”，池化域大小为1×512，步幅为[2，2]，t填充为“0”；
d.卷积层，参数设置为：卷积核数量为16，卷积核大小为1×512，步幅为[1，1]，t填充为“same”；
e.池化层，参数设置为：池化方式为“最大池化”，池化域大小为1×512，步幅为[2，2]，t填充为“0”；
f.全连接层，参数设置为：4096全连接层；
通过CNN架构，提取到传感器的特征矩阵为Xijk＝(xijk1,xijk2,...,xijkz)，其中，z为提取的特征数量；
步骤2.3，使用主成分分析法对各个传感器矩阵进行处理，方法将数据特征矩阵投影到一组相互正交矩阵上，之后计算投影后数据之间的方差，根据方差评估特征矩阵的重要性，对于传感器特征数据有：
Xijk＝[xi j k1 ... xi j k z] (式1)
式中：
Xijk为某个传感器特征组成的矩阵，接下来求解Xijk的标准化矩阵，记为
式中，M和Y为两个变量，K为样本总数，为M的均值，为Y的均值；
计算的特征向量，所有的特征向量组成一个矩阵XC，构造出主成分矩阵。
4.如权利要求1所述的方法，其特征在于，步骤4具体实现包括如下子步骤：
步骤4.1，多模态数据融合模型将传感器特征投影到一个空间，然后使用SVM作为分类器；
步骤4.2，为步骤4.1中的SVM分类器选择不同的核函数，其中：
a)线形核一般使用在线性可分的情形下，它参数少速率较快，因此对线性可分的数据来说有着优异的性能；
b)多项式核函数则能够把低维的输入空隙直接反映到更高维的特征空隙，不过如果多项式核函数参数太多，由于特征数的增多在复杂度运算时也会趋向无穷大；
c)高斯核函数是一种局部性表示强的核函数，是一个局部性表示强的核变量，在大样本和小样本中均显示出优异的性能；
d)Sigmoid函数则将支持的向量机近似于一个多层神经网络；
步骤4.3，按照聚类算法实施相同的处理步骤，即可完成故障类型诊断任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210354875.6A CN114707551B (zh) | 2022-04-06 | 2022-04-06 | 面向工业互联网设备故障诊断的多模态数据融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210354875.6A CN114707551B (zh) | 2022-04-06 | 2022-04-06 | 面向工业互联网设备故障诊断的多模态数据融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114707551A CN114707551A (zh) | 2022-07-05 |
| CN114707551B true CN114707551B (zh) | 2024-11-19 |
Family
ID=82172242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210354875.6A Active CN114707551B (zh) | 2022-04-06 | 2022-04-06 | 面向工业互联网设备故障诊断的多模态数据融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114707551B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994657B (zh) * | 2024-01-31 | 2024-07-23 | 海南师范大学 | 一种基于深度学习模型的海陆分割方法 |
| CN117932322B (zh) * | 2024-03-22 | 2024-06-04 | 山东冠县鑫恒祥面业有限公司 | 一种面粉设备故障诊断方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107229702A (zh) * | 2017-05-24 | 2017-10-03 | 天津大学 | 基于低秩约束和多视角特征融合的微视频流行度预测方法 |
| CN111898442A (zh) * | 2020-06-29 | 2020-11-06 | 西北大学 | 一种基于多模态特征融合的人体动作识别方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334740A (zh) * | 2019-06-05 | 2019-10-15 | 武汉大学 | 人工智能推理融合的电力设备故障检测定位方法 |
| CN113887342A (zh) * | 2021-09-16 | 2022-01-04 | 上海工业自动化仪表研究院有限公司 | 基于多源信号和深度学习的设备故障诊断方法 |
| CN114091539A (zh) * | 2021-11-23 | 2022-02-25 | 郑州恩普特科技股份有限公司 | 一种多模态深度学习的滚动轴承故障诊断方法 |
-
2022
- 2022-04-06 CN CN202210354875.6A patent/CN114707551B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107229702A (zh) * | 2017-05-24 | 2017-10-03 | 天津大学 | 基于低秩约束和多视角特征融合的微视频流行度预测方法 |
| CN111898442A (zh) * | 2020-06-29 | 2020-11-06 | 西北大学 | 一种基于多模态特征融合的人体动作识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114707551A (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109582003B (zh) | 基于伪标签半监督核局部费舍尔判别分析轴承故障诊断方法 | |
| CN111353373B (zh) | 一种相关对齐域适应故障诊断方法 | |
| CN114707551B (zh) | 面向工业互联网设备故障诊断的多模态数据融合方法 | |
| KR20090119664A (ko) | 다수의 쓰레숄드 적응적 부스팅을 가진 객체 검출 및 분류를 위한 시스템 및 방법 | |
| Wu et al. | Intelligent fault diagnosis of rolling bearings using a semi-supervised convolutional neural network | |
| CN118657784B (zh) | 一种基于无人机采集光伏组件图像的脱焊检测方法 | |
| CN114503131A (zh) | 检索装置、检索方法、检索程序和学习模型检索系统 | |
| Liu et al. | A multisensory time-frequency features fusion method for rotating machinery fault diagnosis under nonstationary case | |
| CN106530327A (zh) | 一种基于多局部特征学习的快速实时判别型跟踪方法 | |
| CN107478418A (zh) | 一种旋转机械故障特征自动提取方法 | |
| CN112541524A (zh) | 基于注意力机制改进的BP-Adaboost多源信息电机故障诊断方法 | |
| CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
| CN118606855A (zh) | 基于人工智能的土壤污染度检测方法和装置 | |
| CN115114956B (zh) | 一种故障诊断方法及系统 | |
| Liu et al. | An anomaly detection method based on double encoder–decoder generative adversarial networks | |
| Jiang et al. | Recursive prototypical network with coordinate attention: A model for few-shot cross-condition bearing fault diagnosis | |
| CN106682604A (zh) | 一种基于深度学习的模糊图像检测方法 | |
| CN115659223A (zh) | 基于多算法的滚动轴承故障诊断方法、装置、设备及介质 | |
| CN117516939A (zh) | 基于改进EfficientNetV2的轴承跨工况故障检测方法及系统 | |
| Hu et al. | An improved metalearning framework to optimize bearing fault diagnosis under data imbalance | |
| CN116721097A (zh) | 轴承故障诊断方法、装置及电子设备 | |
| Ren et al. | On fault diagnosis using image-based deep learning networks based on vibration signals | |
| CN116486482A (zh) | 一种行人检测识别方法、装置、电子设备及存储介质 | |
| Deng et al. | Bearing fault diagnosis of variable working conditions based on conditional domain adversarial-joint maximum mean discrepancy | |
| CN112884093B (zh) | 基于dscrn模型的旋转机械故障诊断方法、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |