CN114328048A - 一种磁盘故障预测方法及装置 - Google Patents

Abstract

本发明公开了一种磁盘故障预测方法及装置，获取不同型号的磁盘的信息，并基于磁盘的信息构建训练数据集；构建包含特征网络结构和分类网络结构的深度神经网络模型；其中，特征网络结构用于基于磁盘的信息提取出磁盘的特征信息；分类网络结构用于基于磁盘的特征信息判定磁盘是否故障；基于训练数据集对深度神经网络模型进行训练，得到训练完成的磁盘故障预测模型；获取待故障预测的目标磁盘的信息，并将目标磁盘的信息输入至磁盘故障预测模型，得到目标磁盘的故障预测结果。可见，本申请的磁盘故障预测模型可同时对不同型号的磁盘进行故障预测，通用性较好。

Description

一种磁盘故障预测方法及装置

技术领域

本发明涉及存储领域，特别是涉及一种磁盘故障预测方法及装置。

背景技术

随着云计算、区块链等新兴技术的发展，对存储系统的需求越来越大。目前，在存储系统中，磁盘仍然是主流存储设备。现有方案中，通常采用S.M.A.R.T.(Self-MonitoringAnalysis and Reporting Technology，自我监测、分析及报告技术)技术预测存储系统中的磁盘是否故障，其故障预测原理为：为磁盘的各类指标数据一一设定正常阈值区间，当磁盘出现正常阈值区间以外的指标值时，认为磁盘预出现故障。但是，同一存储系统中磁盘型号可能不止一种，不同存储系统的磁盘型号也可能不同，而不同型号的磁盘的各类指标数据的分布并不相同，所以往往需要对不同型号的磁盘的各类指标数据设定不同的正常阈值区间，导致这种磁盘故障预测方式的通用性较差。

因此，如何提供一种解决上述技术问题的方案是本领域的技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种磁盘故障预测方法及装置，磁盘故障预测模型可同时对不同型号的磁盘进行故障预测，通用性较好。

为解决上述技术问题，本发明提供了一种磁盘故障预测方法，包括：

获取不同型号的磁盘的信息，并基于所述磁盘的信息构建训练数据集；

构建包含特征网络结构和分类网络结构的深度神经网络模型；其中，所述特征网络结构用于基于磁盘的信息提取出所述磁盘的特征信息；所述分类网络结构用于基于所述磁盘的特征信息判定所述磁盘是否故障；

基于所述训练数据集对所述深度神经网络模型进行训练，得到训练完成的磁盘故障预测模型；

获取待故障预测的目标磁盘的信息，并将所述目标磁盘的信息输入至所述磁盘故障预测模型，得到所述目标磁盘的故障预测结果。

可选地，获取不同型号的磁盘的信息，并基于所述磁盘的信息构建训练数据集，包括：

获取不同型号的磁盘在不同时间的各类指标数据，并获取所述磁盘的故障信息；

根据所述磁盘的故障信息及预设故障预测提前时间，对所述磁盘的各类指标数据一一打上表示指标数据是否为故障数据的标签；

将所述磁盘的各类指标数据及其对应的标签组合起来，构成所述训练数据集。

可选地，获取不同型号的磁盘的信息，并基于所述磁盘的信息构建训练数据集，还包括：

在获取不同型号的磁盘在不同时间的各类指标数据之后，在将所述磁盘的各类指标数据及其对应的标签组合起来之前，对所述磁盘的各类指标数据中的无效数据进行擦除处理，并对擦除处理后的所述磁盘的各类指标数据进行归一化处理，以将归一化处理后的所述磁盘的各类指标数据及其对应的标签组合起来，构成所述训练数据集。

可选地，构建包含特征网络结构和分类网络结构的深度神经网络模型；基于所述训练数据集对所述深度神经网络模型进行训练，得到训练完成的磁盘故障预测模型，包括：

构建依次由第一全连接层和多个残差层组成的特征网络结构；其中，所述特征网络结构用于基于所述磁盘的各类指标数据提取出与指标数据一一对应的高维隐含特征；

构建由第二全连接层组成的分类网络结构；其中，所述分类网络结构的输出维度为2，分别对应故障和正常；

将构建好的所述特征网络结构和所述分类网络结构组合起来，得到深度神经网络模型；

基于所述训练数据集对所述深度神经网络模型进行训练，得到训练完成的深度神经网络模型；

将所述磁盘的高维隐含特征及其对应的标签组合起来，构成新训练数据集，并基于所述新训练数据集对用于替换所述第二全连接层的XGBoost分类器进行训练，得到训练完成的XGBoost分类器；

将训练完成的所述XGBoost分类器替换训练完成的所述深度神经网络模型中的第二全连接层，并将替换后的深度神经网络模型作为所述磁盘故障预测模型。

可选地，构建依次由第一全连接层和多个残差层组成的特征网络结构，包括：

基于F_out＝X*W+b构建第一全连接层；其中，F_out为所述第一全连接层的输出向量；X为所述第一全连接层的输入向量；W为所述第一全连接层的网络权重；b为所述第一全连接层的偏置；

基于x_a+1＝x_a+F(x_a,W_a)、F(x_a,W_a)＝Relu(x_a*W_a)构建L个残差层；其中，x_a+1为第a层残差层的输出；x_a为第a层残差层的输入；F(x_a,W_a)为第a层的残差学习函数；Relu为激活函数，Relu(x)＝max(0,x)；1≤a≤L且a为整数；

将构建好的所述第一全连接层和L个所述残差层组合起来，得到所述特征网络结构。

可选地，基于所述训练数据集对所述深度神经网络模型进行训练，得到训练完成的深度神经网络模型，包括：

将所述训练数据集内磁盘的各类指标数据输入至所述深度神经网络模型，得到所述磁盘的故障预测结果；

将所述磁盘的故障预测结果和所述磁盘的各类指标数据对应的标签代入预设损失计算函数进行损失计算，得到第一损失；

以将所述第一损失降低至0为优化目标，利用预设反向传播算法对所述神经网络模型的可调参数进行优化调整，直至所述训练数据集全部在所述神经网络模型上训练完成，得到训练完成的深度神经网络模型。

可选地，基于所述新训练数据集对用于替换所述第二全连接层的XGBoost分类器进行训练，得到训练完成的XGBoost分类器，包括：

将所述新训练数据集内磁盘的各高维隐含特征输入至所述XGBoost分类器，得到所述磁盘的故障分类结果；

将所述磁盘的故障分类结果和所述磁盘的各高维隐含特征对应的标签代入预设损失计算函数进行损失计算，得到第二损失；

以将所述第二损失降低至0为优化目标，利用预设反向传播算法对所述XGBoost分类器的可调参数进行优化调整，直至所述新训练数据集全部在所述XGBoost分类器上训练完成，得到训练完成的XGBoost分类器。

可选地，在将所述目标磁盘的信息输入至所述磁盘故障预测模型之前，所述磁盘故障预测方法还包括：

根据预设启发式遗传算法学习出所述磁盘故障预测模型的最优结构参数；

按照所述最优结构参数调整所述磁盘故障预测模型的结构参数，以将所述目标磁盘的信息输入至最优结构的所述磁盘故障预测模型。

可选地，根据预设启发式遗传算法学习出所述磁盘故障预测模型的最优结构参数，包括：

将所述磁盘故障预测模型的结构参数组合成一个参数向量，并随机初始化所述参数向量，且将初始化后的所述参数向量添加至预设向量优先队列；其中，所述向量优先队列为大根堆结构，所述大根堆结构的排序key为每个所述参数向量对应的误报率得分值；

按照初始化后的所述参数向量调整所述磁盘故障预测模型的结构参数，以得到所述磁盘故障预测模型在当前结构参数下的误报率得分值，并返回执行随机初始化所述参数向量的步骤，直至初始化次数到达预设次数阈值；

从所述向量优先队列中随机选择预设第一数量的参数向量对，并将每个所述参数向量对按照param_new＝(param₁+param₂)/2进行交叉运算，以得到所述磁盘故障预测模型在参数向量param_new下的新误报率得分值；其中，param₁和param₂为每个所述参数向量对中的两个参数向量；

将所述新误报率得分值和所述向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量的参数向量保留在所述向量优先队列中；

遍历所述向量优先队列中的所有参数向量，并基于变异概率p＝e^iteration/3将每个所述参数向量param按照param_var＝param+rand*step进行变异，以得到所述磁盘故障预测模型在参数向量param_var下的变异误报率得分值；其中，iteration为迭代次数；step为各参数向量的变异基本单位；rand为每次变异过程中产生的随机数；

将所述变异误报率得分值和所述向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量的参数向量保留在所述向量优先队列中，并返回执行从所述向量优先队列中随机选择预设第一数量的参数向量对的步骤进入下一次迭代，直至迭代次数到达预设迭代次数阈值；

在所有迭代结束后，从最终得到的所述向量优先队列中选择误报率得分值最小的参数向量作为所述最优结构参数。

为解决上述技术问题，本发明还提供了一种磁盘故障预测装置，包括：

存储器，用于存储计算机程序；

处理器，用于在执行所述计算机程序时实现上述任一种磁盘故障预测方法的步骤。

本发明提供了一种磁盘故障预测方法，获取不同型号的磁盘的信息，并基于磁盘的信息构建训练数据集；构建包含特征网络结构和分类网络结构的深度神经网络模型；其中，特征网络结构用于基于磁盘的信息提取出磁盘的特征信息；分类网络结构用于基于磁盘的特征信息判定磁盘是否故障；基于训练数据集对深度神经网络模型进行训练，得到训练完成的磁盘故障预测模型；获取待故障预测的目标磁盘的信息，并将目标磁盘的信息输入至磁盘故障预测模型，得到目标磁盘的故障预测结果。可见，本申请的磁盘故障预测模型可同时对不同型号的磁盘进行故障预测，通用性较好。

本发明还提供了一种磁盘故障预测装置，与上述故障预测方法具有相同的有益效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种磁盘故障预测方法的流程图；

图2为本发明实施例提供的一种特征网络结构的原理图；

图3为本发明实施例提供的一种磁盘故障预测模型的原理图；

图4为本发明实施例提供的一种残差层的原理图；

图5为本发明实施例提供的一种变异概率随迭代次数的变化图。

具体实施方式

本发明的核心是提供一种磁盘故障预测方法及装置，磁盘故障预测模型可同时对不同型号的磁盘进行故障预测，通用性较好。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，图1为本发明实施例提供的一种磁盘故障预测方法的流程图。

该磁盘故障预测方法包括：

步骤S1：获取不同型号的磁盘的信息，并基于磁盘的信息构建训练数据集。

具体地，本申请获取不同型号的磁盘的信息，以基于不同型号的磁盘的信息构建训练数据集DataSet₁(训练用于预测磁盘故障的深度神经网络模型使用)

步骤S2：构建包含特征网络结构和分类网络结构的深度神经网络模型，并基于训练数据集对深度神经网络模型进行训练，得到训练完成的磁盘故障预测模型。

具体地，本申请构建包含特征网络结构和分类网络结构的深度神经网络模型，其中，特征网络结构用于基于磁盘的信息提取出磁盘的特征信息；分类网络结构用于基于磁盘的特征信息判定磁盘是否故障，即将一磁盘的信息输入至深度神经网络模型，深度神经网络模型可输出此磁盘的故障预测结果。

本申请基于训练数据集DataSet₁对深度神经网络模型进行训练，目的是通过训练深度神经网络模型来提高模型预测的精准度，最终得到精准度较高的磁盘故障预测模型。

步骤S3：获取待故障预测的目标磁盘的信息，并将目标磁盘的信息输入至磁盘故障预测模型，得到目标磁盘的故障预测结果。

具体地，在得到精准度较高的磁盘故障预测模型之后，本申请可获取待故障预测的目标磁盘的信息，然后将待故障预测的目标磁盘的信息输入至磁盘故障预测模型，可得到目标磁盘的故障预测结果。

可见，本申请的磁盘故障预测模型可同时对不同型号的磁盘进行故障预测，通用性较好。

在上述实施例的基础上：

作为一种可选的实施例，获取不同型号的磁盘的信息，并基于磁盘的信息构建训练数据集，包括：

获取不同型号的磁盘在不同时间的各类指标数据，并获取磁盘的故障信息；

根据磁盘的故障信息及预设故障预测提前时间，对磁盘的各类指标数据一一打上表示指标数据是否为故障数据的标签；

将磁盘的各类指标数据及其对应的标签组合起来，构成训练数据集。

具体地，本申请的训练数据集的构建过程包括：1)获取不同型号的磁盘在不同时间的各类指标数据(即不同型号的磁盘在不同时间的S.M.A.R.T.数据信息，也可从Backblaze(云存储)开源磁盘数据集中获取指标数据)，并获取不同型号的磁盘的故障信息(可以此得知磁盘的故障发生日)；2)根据任一型号的磁盘的故障信息及预设故障预测提前时间，对此型号的磁盘的各类指标数据一一打上表示指标数据是否为故障数据的标签，比如，故障预测提前时间设置为14天，则将故障发生日及之前的总共14天的磁盘的各类指标数据一一打上表示指标数据为故障数据的标签(如1)，其余时间的磁盘的指标数据一一打上表示指标数据为正常数据的标签(如0)；3)将不同型号的磁盘在不同时间的各类指标数据及其对应的标签组合起来，构成训练数据集DataSet₁。

作为一种可选的实施例，获取不同型号的磁盘的信息，并基于磁盘的信息构建训练数据集，还包括：

在获取不同型号的磁盘在不同时间的各类指标数据之后，在将磁盘的各类指标数据及其对应的标签组合起来之前，对磁盘的各类指标数据中的无效数据进行擦除处理，并对擦除处理后的磁盘的各类指标数据进行归一化处理，以将归一化处理后的磁盘的各类指标数据及其对应的标签组合起来，构成训练数据集。

进一步地，本申请在获取不同型号的磁盘在不同时间的各类指标数据之后，还可对不同型号的磁盘的各类指标数据中的无效数据进行擦除处理，以避免无效数据影响模型训练；然后对擦除处理后的不同型号的磁盘的各类指标数据按照x＝(x_i-x_min)/(x_max-x_min)进行归一化处理，以方便后续的数据处理，其中，x_i为待归一化处理的指标数据；x_max为待归一化处理的指标数据的最大指标值；x_min为待归一化处理的指标数据的最小指标值；x为待归一化处理的指标数据的归一化处理结果；最后将归一化处理后的不同型号的磁盘在不同时间的各类指标数据及其对应的标签组合起来，构成训练数据集DataSet₁。

作为一种可选的实施例，构建包含特征网络结构和分类网络结构的深度神经网络模型；基于训练数据集对深度神经网络模型进行训练，得到训练完成的磁盘故障预测模型，包括：

构建依次由第一全连接层和多个残差层组成的特征网络结构；其中，特征网络结构用于基于磁盘的各类指标数据提取出与指标数据一一对应的高维隐含特征；

构建由第二全连接层组成的分类网络结构；其中，分类网络结构的输出维度为2，分别对应故障和正常；

将构建好的特征网络结构和分类网络结构组合起来，得到深度神经网络模型；

基于训练数据集对深度神经网络模型进行训练，得到训练完成的深度神经网络模型；

将磁盘的高维隐含特征及其对应的标签组合起来，构成新训练数据集，并基于新训练数据集对用于替换第二全连接层的XGBoost分类器进行训练，得到训练完成的XGBoost分类器；

将训练完成的XGBoost分类器替换训练完成的深度神经网络模型中的第二全连接层，并将替换后的深度神经网络模型作为磁盘故障预测模型。

具体地，本申请的磁盘故障预测模型的构建过程包括：1)如图2所示，构建依次由第一FC(Fully Connected，全连接)层和多个RESNET(Residual Network，残差网络)层组成的特征网络结构FeatureNet；其中，特征网络结构用于基于磁盘的各类指标数据x提取出与磁盘的各类指标数据x一一对应的高维隐含特征feature_h，即feature_h＝x·FeatureNet；2)构建由第二FC层组成的分类网络结构ClassifierNet，即分类网络结构的输出out＝feature_h·ClassifierNet；需要说明的是，分类网络结构的输出out部分需要对ClassifierNet的输出做softmax(用于多分类的函数)处理，输出out的维度为2，分别对应故障(1)和正常(0)；3)将构建好的特征网络结构(第一FC层+多个RESNET层)和分类网络结构(第二FC层)组合起来，得到深度神经网络模型；4)基于训练数据集DataSet₁对深度神经网络模型进行训练，得到训练完成的深度神经网络模型；5)不同类型的磁盘在不同时间的各类指标数据有一一对应的标签，不同类型的磁盘在不同时间的各类指标数据有一一对应的高维隐含特征，则不同类型的磁盘在不同时间的各高维隐含特征也一一对应着标签，将不同类型的磁盘在不同时间的各高维隐含特征及其对应的标签组合起来，构成新训练数据集DataSet₂；6)基于新训练数据集DataSet₂对用于替换第二FC层的XGBoost(ExtremeGradient Boosting，极致梯度提升)分类器进行训练，得到训练完成的XGBoost分类器；7)将训练完成的XGBoost分类器替换训练完成的深度神经网络模型中的第二FC层，并将替换后的深度神经网络模型作为磁盘故障预测模型，即最终的磁盘故障预测模型为特征网络结构FeatureNet+XGBoost分类器(如图3所示)，用于磁盘故障预测使用。

作为一种可选的实施例，构建依次由第一全连接层和多个残差层组成的特征网络结构，包括：

基于F_out＝X*W+b构建第一全连接层；其中，F_out为第一全连接层的输出向量；X为第一全连接层的输入向量；W为第一全连接层的网络权重；b为第一全连接层的偏置；

基于x_a+1＝x_a+F(x_a,W_a)、F(x_a,W_a)＝Relu(x_a*W_a)构建L个残差层；其中，x_a+1为第a层残差层的输出；x_a为第a层残差层的输入；F(x_a,W_a)为第a层的残差学习函数；Relu为激活函数，Relu(x)＝max(0,x)；1≤a≤L且a为整数；

将构建好的第一全连接层和L个残差层组合起来，得到特征网络结构。

具体地，本申请的特征网络结构的构建过程包括：1)基于F_out＝X*W+b构建第一全连接层，全连接层的作用是将向量映射到另一空间，增加模型复杂性，提高拟合度；其中，F_out为第一全连接层的输出向量，即第一层残差层的输入向量；X为第一全连接层的输入向量，模型训练时第一全连接层输入的是训练数据集DataSet₁，模型正式使用时第一全连接层输入的是待故障预测的目标磁盘的信息；W为第一全连接层的网络权重；b为第一全连接层的偏置；2)如图4所示，基于x_a+1＝x_a+F(x_a,W_a)、F(x_a,W_a)＝Relu(x_a*W_a)构建L个残差层；其中，x_a+1为第a层残差层的输出，即第a+1层残差层的输入；x_a为第a层残差层的输入；F(x_a,W_a)为第a层的残差学习函数；Relu为激活函数，Relu(x)＝max(0,x)；3)将构建好的第一全连接层和L个残差层组合起来，得到特征网络结构(最后一层残差层Resnet_L的输出为输入的磁盘的各类指标数据的高维隐含特征表示，记为feature_h)。

作为一种可选的实施例，基于训练数据集对深度神经网络模型进行训练，得到训练完成的深度神经网络模型，包括：

将训练数据集内磁盘的各类指标数据输入至深度神经网络模型，得到磁盘的故障预测结果；

将磁盘的故障预测结果和磁盘的各类指标数据对应的标签代入预设损失计算函数进行损失计算，得到第一损失；

以将第一损失降低至0为优化目标，利用预设反向传播算法对神经网络模型的可调参数进行优化调整，直至训练数据集全部在神经网络模型上训练完成，得到训练完成的深度神经网络模型。

具体地，本申请的深度神经网络模型的训练过程包括：1)将训练数据集DataSet₁内磁盘的各类指标数据输入至深度神经网络模型，得到磁盘的故障预测结果；2)将磁盘的故障预测结果和磁盘的各类指标数据对应的标签代入预设损失计算函数(如CrossEntropy(交叉熵)函数)进行损失计算，得到第一损失；3)以将第一损失降低至0为优化目标(即以深度神经网络模型的磁盘故障预测结果与磁盘的实际故障情况尽可能一致为优化目标)，利用预设反向传播算法对神经网络模型的可调参数进行优化调整，直至训练数据集DataSet₁全部在神经网络模型上训练完成，得到训练完成的深度神经网络模型。

作为一种可选的实施例，基于新训练数据集对用于替换第二全连接层的XGBoost分类器进行训练，得到训练完成的XGBoost分类器，包括：

将新训练数据集内磁盘的各高维隐含特征输入至XGBoost分类器，得到磁盘的故障分类结果；

将磁盘的故障分类结果和磁盘的各高维隐含特征对应的标签代入预设损失计算函数进行损失计算，得到第二损失；

以将第二损失降低至0为优化目标，利用预设反向传播算法对XGBoost分类器的可调参数进行优化调整，直至新训练数据集全部在XGBoost分类器上训练完成，得到训练完成的XGBoost分类器。

具体地，本申请的XGBoost分类器的训练过程包括：1)将新训练数据集DataSet₂内磁盘的各高维隐含特征输入至XGBoost分类器，得到磁盘的故障分类结果；2)将磁盘的故障分类结果和磁盘的各高维隐含特征对应的标签代入预设损失计算函数(如CrossEntropy函数)进行损失计算，得到第二损失；3)以将第二损失降低至0为优化目标(即以XGBoost分类器的磁盘故障分类结果与磁盘的实际故障情况尽可能一致为优化目标)，利用预设反向传播算法对XGBoost分类器的可调参数进行优化调整，直至新训练数据集DataSet₂全部在XGBoost分类器上训练完成，得到训练完成的XGBoost分类器。

可见，本申请使用深度神经网络提取磁盘的各类指标数据的高维隐含特征，并使用XGBoost分类器替换掉深度神经网络的全连接分类层，在保留深度神经网络优秀的特征提取能力的同时，使用更优秀的函数逼近工具构造更好的分类器，在保证比较高的预测准确率的同时，大幅度降低了故障误报率。

作为一种可选的实施例，在将目标磁盘的信息输入至磁盘故障预测模型之前，磁盘故障预测方法还包括：

根据预设启发式遗传算法学习出磁盘故障预测模型的最优结构参数；

按照最优结构参数调整磁盘故障预测模型的结构参数，以将目标磁盘的信息输入至最优结构的磁盘故障预测模型。

进一步地，本申请在将目标磁盘的信息输入至磁盘故障预测模型之前，还可根据预设启发式遗传算法学习出磁盘故障预测模型的最优结构参数(如学习第一全连接层的神经元数量m、残差网络的层数L、模型训练的批量大小batch_size、XGboost决策树的数量n及每棵决策树的最大深度k的最优参数值)，并按照最优结构参数调整磁盘故障预测模型的结构参数，以将目标磁盘的信息输入至最优结构的磁盘故障预测模型进行故障预测。

作为一种可选的实施例，根据预设启发式遗传算法学习出磁盘故障预测模型的最优结构参数，包括：

将磁盘故障预测模型的结构参数组合成一个参数向量，并随机初始化参数向量，且将初始化后的参数向量添加至预设向量优先队列；其中，向量优先队列为大根堆结构，大根堆结构的排序key为每个参数向量对应的误报率得分值；

按照初始化后的参数向量调整磁盘故障预测模型的结构参数，以得到磁盘故障预测模型在当前结构参数下的误报率得分值，并返回执行随机初始化参数向量的步骤，直至初始化次数到达预设次数阈值；

从向量优先队列中随机选择预设第一数量的参数向量对，并将每个参数向量对按照param_new＝(param₁+param₂)/2进行交叉运算，以得到磁盘故障预测模型在参数向量param_new下的新误报率得分值；其中，param₁和param₂为每个参数向量对中的两个参数向量；

将新误报率得分值和向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量的参数向量保留在向量优先队列中；

遍历向量优先队列中的所有参数向量，并基于变异概率p＝e^iteration/3将每个参数向量param按照param_var＝param+rand*step进行变异，以得到磁盘故障预测模型在参数向量param_var下的变异误报率得分值；其中，iteration为迭代次数；step为各参数向量的变异基本单位；rand为每次变异过程中产生的随机数；

将变异误报率得分值和向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量的参数向量保留在向量优先队列中，并返回执行从向量优先队列中随机选择预设第一数量的参数向量对的步骤进入下一次迭代，直至迭代次数到达预设迭代次数阈值；

在所有迭代结束后，从最终得到的向量优先队列中选择误报率得分值最小的参数向量作为最优结构参数。

具体地，本申请的磁盘故障预测模型的最优结构参数的学习过程包括：1)将磁盘故障预测模型的结构参数组合成一个参数向量，如第一全连接层的神经元数量m、残差网络的层数L、模型训练的批量大小batch_size、XGboost决策树的数量n及每棵决策树的最大深度k组合成一个5维参数向量[m,L,batch_size,n,k]，记为param，并随机初始化参数向量param，且将初始化后的参数向量param添加至预设向量优先队列queue；其中，向量优先队列queue为大根堆结构(大根堆是一个完全二叉树)，大根堆结构的排序key(节点键值)为每个参数向量对应的误报率得分值；2)按照初始化后的参数向量param调整磁盘故障预测模型的结构参数(m、L、batch_size、n、k)，以得到磁盘故障预测模型在当前结构参数下的误报率得分值，并返回执行随机初始化参数向量param的步骤，直至初始化次数到达预设次数阈值(如10次)；3)从向量优先队列queue中随机选择(2*预设第一数量)个参数向量，并将(2*预设第一数量)个参数向量两两组成一队，得到预设第一数量(如20)的参数向量对，并将每个参数向量对按照param_new＝(param₁+param₂)/2进行交叉运算，以得到磁盘故障预测模型在每个参数向量param_new下的新误报率得分值；其中，param₁和param₂为每个参数向量对中的两个参数向量；4)将第一数量的新误报率得分值和向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量(如20)的参数向量param保留在向量优先队列queue中，即只保留前20个误报率得分值最小的参数向量param，其它参数向量param做自然选择丢弃；5)遍历向量优先队列queue中的所有参数向量param，并基于变异概率p＝e^iteration/3将每个参数向量param按照param_var＝param+rand*step进行变异，以得到磁盘故障预测模型在每个参数向量param_var下的变异误报率得分值；其中，iteration为迭代次数，p为变异概率，二者的关系图如图5所示，迭代次数越多，变异概率越小；step为各参数向量的变异基本单位，如step＝[10,1,16,5,1]，第一全连接层的神经元数量m的变异基本单位为10，其余变量同理；rand为每次变异过程中产生的随机数，可从[-10,10]之间产生；6)将各变异误报率得分值和向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量的参数向量保留在向量优先队列中，即只保留前20个误报率得分值最小的参数向量param，其它参数向量param做自然选择丢弃，并返回执行步骤3)进入下一次迭代，直至迭代次数到达预设迭代次数阈值；7)在所有迭代结束后，从最终得到的向量优先队列中选择误报率得分值最小的参数向量作为最优结构参数。

可见，该策略解决了磁盘故障预测中最优模型参数搜索问题，相比于经典遗传算法，本申请中的启发式遗传算法优化了变异和选择策略，变异概率随迭代次数的增加而降低，且结合了优先队列的启发式搜索方法，可以迅速在各个维度搜索解，并以尽可能快的速度逼近最优解。

综上，本申请通过深度神经网络对磁盘的各类指标数据特征进行大量样本的学习，挖掘每个特征的特点及不同特征组合间隐含的相关性，提取出更加高维的特征，然后根据这些特征使用集成树模型进行故障预测，并使用基于遗传算法的自动学习策略学习最佳网络结构，在保持较高识别准确率的基础上，大幅降低了误报率。本申请的基于深度学习的磁盘故障预测方法适用于云平台、存储服务提供商、政府数据中心等磁盘使用量较大、数据较多的运维场景，可以对庞杂的磁盘数据信息进行故障分析和预测，提前发现有问题的磁盘并做好相应的准备和维护，由此可以提升运维人员的效率，降低运维成本，进而提升产品竞争力。

本申请还提供了一种磁盘故障预测装置，包括：

存储器，用于存储计算机程序；

处理器，用于在执行计算机程序时实现上述任一种磁盘故障预测方法的步骤。

本申请提供的磁盘故障预测装置的介绍请参考上述磁盘故障预测方法的实施例，本申请在此不再赘述。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种磁盘故障预测方法，其特征在于，包括：

获取不同型号的磁盘的信息，并基于所述磁盘的信息构建训练数据集；

构建包含特征网络结构和分类网络结构的深度神经网络模型；其中，所述特征网络结构用于基于磁盘的信息提取出所述磁盘的特征信息；所述分类网络结构用于基于所述磁盘的特征信息判定所述磁盘是否故障；

基于所述训练数据集对所述深度神经网络模型进行训练，得到训练完成的磁盘故障预测模型；

获取待故障预测的目标磁盘的信息，并将所述目标磁盘的信息输入至所述磁盘故障预测模型，得到所述目标磁盘的故障预测结果。

2.如权利要求1所述的磁盘故障预测方法，其特征在于，获取不同型号的磁盘的信息，并基于所述磁盘的信息构建训练数据集，包括：

获取不同型号的磁盘在不同时间的各类指标数据，并获取所述磁盘的故障信息；

根据所述磁盘的故障信息及预设故障预测提前时间，对所述磁盘的各类指标数据一一打上表示指标数据是否为故障数据的标签；

将所述磁盘的各类指标数据及其对应的标签组合起来，构成所述训练数据集。

3.如权利要求2所述的磁盘故障预测方法，其特征在于，获取不同型号的磁盘的信息，并基于所述磁盘的信息构建训练数据集，还包括：

在获取不同型号的磁盘在不同时间的各类指标数据之后，在将所述磁盘的各类指标数据及其对应的标签组合起来之前，对所述磁盘的各类指标数据中的无效数据进行擦除处理，并对擦除处理后的所述磁盘的各类指标数据进行归一化处理，以将归一化处理后的所述磁盘的各类指标数据及其对应的标签组合起来，构成所述训练数据集。

4.如权利要求2所述的磁盘故障预测方法，其特征在于，构建包含特征网络结构和分类网络结构的深度神经网络模型；基于所述训练数据集对所述深度神经网络模型进行训练，得到训练完成的磁盘故障预测模型，包括：

构建依次由第一全连接层和多个残差层组成的特征网络结构；其中，所述特征网络结构用于基于所述磁盘的各类指标数据提取出与指标数据一一对应的高维隐含特征；

构建由第二全连接层组成的分类网络结构；其中，所述分类网络结构的输出维度为2，分别对应故障和正常；

将构建好的所述特征网络结构和所述分类网络结构组合起来，得到深度神经网络模型；

基于所述训练数据集对所述深度神经网络模型进行训练，得到训练完成的深度神经网络模型；

将所述磁盘的高维隐含特征及其对应的标签组合起来，构成新训练数据集，并基于所述新训练数据集对用于替换所述第二全连接层的XGBoost分类器进行训练，得到训练完成的XGBoost分类器；

将训练完成的所述XGBoost分类器替换训练完成的所述深度神经网络模型中的第二全连接层，并将替换后的深度神经网络模型作为所述磁盘故障预测模型。

5.如权利要求4所述的磁盘故障预测方法，其特征在于，构建依次由第一全连接层和多个残差层组成的特征网络结构，包括：

基于F_out＝X*W+b构建第一全连接层；其中，F_out为所述第一全连接层的输出向量；X为所述第一全连接层的输入向量；W为所述第一全连接层的网络权重；b为所述第一全连接层的偏置；

基于x_a+1＝x_a+F(x_a,W_a)、F(x_a,W_a)＝Relu(x_a*W_a)构建L个残差层；其中，x_a+1为第a层残差层的输出；x_a为第a层残差层的输入；F(x_a,W_a)为第a层的残差学习函数；Relu为激活函数，Relu(x)＝max(0,x)；1≤a≤L且a为整数；

将构建好的所述第一全连接层和L个所述残差层组合起来，得到所述特征网络结构。

6.如权利要求4所述的磁盘故障预测方法，其特征在于，基于所述训练数据集对所述深度神经网络模型进行训练，得到训练完成的深度神经网络模型，包括：

将所述训练数据集内磁盘的各类指标数据输入至所述深度神经网络模型，得到所述磁盘的故障预测结果；

将所述磁盘的故障预测结果和所述磁盘的各类指标数据对应的标签代入预设损失计算函数进行损失计算，得到第一损失；

以将所述第一损失降低至0为优化目标，利用预设反向传播算法对所述神经网络模型的可调参数进行优化调整，直至所述训练数据集全部在所述神经网络模型上训练完成，得到训练完成的深度神经网络模型。

7.如权利要求4所述的磁盘故障预测方法，其特征在于，基于所述新训练数据集对用于替换所述第二全连接层的XGBoost分类器进行训练，得到训练完成的XGBoost分类器，包括：

将所述新训练数据集内磁盘的各高维隐含特征输入至所述XGBoost分类器，得到所述磁盘的故障分类结果；

将所述磁盘的故障分类结果和所述磁盘的各高维隐含特征对应的标签代入预设损失计算函数进行损失计算，得到第二损失；

以将所述第二损失降低至0为优化目标，利用预设反向传播算法对所述XGBoost分类器的可调参数进行优化调整，直至所述新训练数据集全部在所述XGBoost分类器上训练完成，得到训练完成的XGBoost分类器。

8.如权利要求1-7任一项所述的磁盘故障预测方法，其特征在于，在将所述目标磁盘的信息输入至所述磁盘故障预测模型之前，所述磁盘故障预测方法还包括：

根据预设启发式遗传算法学习出所述磁盘故障预测模型的最优结构参数；

按照所述最优结构参数调整所述磁盘故障预测模型的结构参数，以将所述目标磁盘的信息输入至最优结构的所述磁盘故障预测模型。

9.如权利要求8所述的磁盘故障预测方法，其特征在于，根据预设启发式遗传算法学习出所述磁盘故障预测模型的最优结构参数，包括：

将所述磁盘故障预测模型的结构参数组合成一个参数向量，并随机初始化所述参数向量，且将初始化后的所述参数向量添加至预设向量优先队列；其中，所述向量优先队列为大根堆结构，所述大根堆结构的排序key为每个所述参数向量对应的误报率得分值；

按照初始化后的所述参数向量调整所述磁盘故障预测模型的结构参数，以得到所述磁盘故障预测模型在当前结构参数下的误报率得分值，并返回执行随机初始化所述参数向量的步骤，直至初始化次数到达预设次数阈值；

从所述向量优先队列中随机选择预设第一数量的参数向量对，并将每个所述参数向量对按照param_new＝(param₁+param₂)/2进行交叉运算，以得到所述磁盘故障预测模型在参数向量param_new下的新误报率得分值；其中，param₁和param₂为每个所述参数向量对中的两个参数向量；

将所述新误报率得分值和所述向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量的参数向量保留在所述向量优先队列中；

遍历所述向量优先队列中的所有参数向量，并基于变异概率p＝e^iteration/3将每个所述参数向量param按照param_var＝param+rand*step进行变异，以得到所述磁盘故障预测模型在参数向量param_var下的变异误报率得分值；其中，iteration为迭代次数；step为各参数向量的变异基本单位；rand为每次变异过程中产生的随机数；

将所述变异误报率得分值和所述向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量的参数向量保留在所述向量优先队列中，并返回执行从所述向量优先队列中随机选择预设第一数量的参数向量对的步骤进入下一次迭代，直至迭代次数到达预设迭代次数阈值；

在所有迭代结束后，从最终得到的所述向量优先队列中选择误报率得分值最小的参数向量作为所述最优结构参数。

10.一种磁盘故障预测装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于在执行所述计算机程序时实现如权利要求1-9任一项所述的磁盘故障预测方法的步骤。

Images