CN115827318A - 数据中心的异常处理方法、装置、电子设备及介质 - Google Patents
数据中心的异常处理方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN115827318A CN115827318A CN202211296534.4A CN202211296534A CN115827318A CN 115827318 A CN115827318 A CN 115827318A CN 202211296534 A CN202211296534 A CN 202211296534A CN 115827318 A CN115827318 A CN 115827318A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- time data
- target device
- microcontroller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明实施例提供了数据中心的异常处理方法、装置、电子设备及介质,所述方法包括:微控制器获取传感器采集的多种维度的实时数据,并对多种维度的实时数据进行处理,得到实时数据集合;微控制器获取目标设备的属性信息和历史使用信息,并根据属性信息和历史使用情况,确定目标设备的个性化数据;微控制器调用预置的轻量化模型,结合个性化数据,对实时数据集合进行分析处理,得到目标设备的分析结果;微控制器将分析结果发送至监测平台,以由监测平台根据分析结果,对目标设备进行异常预警现了利用轻量化模型对数据中心的设备异常进行本地化分析,无需依赖第三方软件,提升了对设备异常的监测效率,且提升了异常分析的准确性。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及数据中心的异常处理方法、装置、电子设备及介质。
背景技术
目前,重要的数据通常存储在数据中心(Data Center),数据中心部署有硬盘等用于数据存储的设备,这些设备的异常可能导致其他的许多产品和服务中断,因此,对这些设备的管理和预先识别潜在风险非常重要。
在现有技术中,这些设备的异常分析通常依赖于第三方软件,但采用第三方软件进行设备异常分析,较为繁琐、耗时长,且不够准确。
发明内容
鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的数据中心的异常处理方法、装置、电子设备及介质,包括:
一种数据中心的异常处理方法,所述数据中心针对目标设备部署有多种类型的传感器及与其连接的微控制器,所述方法包括:
所述微控制器获取所述传感器采集的多种维度的实时数据,并对所述多种维度的实时数据进行处理,得到实时数据集合;
所述微控制器获取所述目标设备的属性信息和历史使用信息,并根据所述属性信息和所述历史使用情况,确定所述目标设备的个性化数据;
所述微控制器调用预置的轻量化模型,结合所述个性化数据,对所述实时数据集合进行分析处理,得到所述目标设备的分析结果;
所述微控制器将所述分析结果发送至监测平台,以由所述监测平台根据所述分析结果,对所述目标设备进行异常预警。
可选地,所述微控制器中轻量化模型采用如下方式训练得到:
获取多个维度的历史数据,并按照时间顺序,对所述多个维度的历史数据进行处理,得到多个历史数据集合;
确定所述多个历史数据集合对应的设备状态,并采用所述多个历史数据集合及其对应的设备状态,对数据模型进行训练。
可选地,还包括:
采用所述实时数据集合,对所述轻量化模型进行优化。
可选地,所述轻量化模型为对预先训练的模型进行压缩并转换为二进制文件后部署于所述微控制器。
可选地,所述对所述多种维度的实时数据进行处理,得到实时数据集合,包括:
对所述多种维度的实时数据进行预处理;
对预处理后的实时数据进行组合,得到实时数据集合。
可选地,还包括:
将所述实时数据集合发送至所述监控平台。
可选地,所述目标设备为硬盘设备,所述传感器包括以下任一种或多种:
温度传感器、湿度传感器、电流传感器、电压传感器。
一种数据中心的异常处理装置,所述数据中心针对目标设备部署有多种类型的传感器及与其连接的微控制器,所述装置包括:
实时数据集合得到模块,用于获取所述传感器采集的多种维度的实时数据,并对所述多种维度的实时数据进行处理,得到实时数据集合;
个性化数据确定模块,用于获取所述目标设备的属性信息和历史使用信息,并根据所述属性信息和所述历史使用情况,确定所述目标设备的个性化数据;
分析结果得到模块,用于调用预置的轻量化模型,结合所述个性化数据,对所述实时数据集合进行分析处理,得到所述目标设备的分析结果;
异常预警模块,用于将所述分析结果发送至监测平台,以由所述监测平台根据所述分析结果,对所述目标设备进行异常预警。
一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上的数据中心的异常处理方法。
一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上的数据中心的异常处理方法。
本发明实施例具有以下优点:
在本发明实施例中,通过在所述数据中心针对目标设备部署多种类型的传感器及与其连接的微控制器,所述微控制器获取所述传感器采集的多种维度的实时数据,并对所述多种维度的实时数据进行处理,得到实时数据集合,获取所述目标设备的属性信息和历史使用信息,并根据所述属性信息和所述历史使用情况,确定所述目标设备的个性化数据,然后调用预置的轻量化模型,结合所述个性化数据,对所述实时数据集合进行分析处理,得到所述目标设备的分析结果,将所述分析结果发送至监测平台,以由所述监测平台根据所述分析结果,对所述目标设备进行异常预警,实现了利用轻量化模型对数据中心的设备异常进行本地化分析,无需依赖第三方软件,提升了对设备异常的监测效率,且提升了异常分析的准确性。
附图说明
为了更清楚地说明本发明的技术方案,下面将对本发明的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明一实施例提供的一种数据中心的异常处理的系统架构图;
图1b是本发明一实施例提供的一种模型训练和部署的示意图;
图2是本发明一实施例提供的一种数据中心的异常处理方法的步骤流程图;
图3是本发明一实施例提供的另一种数据中心的异常处理方法的步骤流程图;
图4是本发明一实施例提供的另一种数据中心的异常处理方法的步骤流程图;
图5是本发明一实施例提供的一种数据中心的异常处理装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在数据中心中,对于硬盘等设备的异常分析依赖于第三方的故障识别驱动器,使用方法对用户不友好,且是一个耗时的过程。
在部分方案中,也可以通过设备自我监控、分析和报告的技术来辅助用户进行一些潜在问题的预警,如SMART技术,其可以在一个Excel表格里面记录了硬盘的相关数据,用户在进行异常分析时需要从表格中进行查找,这样对故障的排查和定位是困难而且耗时的。而且,部分算法并不是分析驱动器健康状态的理想方法,导致用户并不能正确且直观的预测硬盘的故障,更不能提前进行相关的操作去避免硬盘故障造成的问题。
在本发明实施例中,利用微控制器(Microcontroller Unit,MCU)作为多传感器(Sensors)的数据传输核心,利用多传感器收集的数据进行轻量化模型的训练,然后将轻量化模型部署到微控制器,利用输入数据在低功耗的微控制器进行故障的预测和推理,形成以微控制器为核心、多传感器为训练数据采集的输入、轻量化模型进行推理预测的方案,在用户使用、监测和故障预测方面进行更智能的优化,实现对数据中心进行监测和故障预测报警。
在实际应用中,如图1a,数据中心可以包含微控制器、传感器和轻量化模型三个模块,并可以与处理同一局域网中的监控平台进行交互。
在传感器模块中,以数据中心硬盘等设备为核心进行相关传感器的部署,传感器的选型主要根据导致硬盘等设备异常的相关特征数据,例如温湿度传感器、电流电压传感器、各类环境传感器等,然后将这些传感器与微控制器进行连接,确保传感器的数据能够传送到微控制器中。
在微控制器模块中,可以读取接收和储存来自传感器的数据,数据的传输可以通过无线传输或者串口的传输。当数据到达控制器模块中,根据得到的数据,部署的轻量化模型会根据需求进行推理,然后将预测推理结果传输给局域网内的监测平台,让用户可以直观的监测服务器数据中心硬盘的相关部件的情况。在检测到数据异常或者预测到硬盘故障的情况先,会在平台端进行报警,让用户可以提前对相关问题进行硬盘的操作。同时,传感器传输的数据会传输到平台层的设备中进行储存,方便用户可以查看历史纪录,也可以利用收集的数据进行模型的优化。
在轻量化模型模块中,如图1b,可以先对通过传感器收集的数据进行预处理,然后根据预处理的数据进行模型训练,然后将其进行模型转换为轻量化模型的二进制模型文件。具体的,根据采集的多传感器数据组成多维度的特征数据,然后根据时间序列将不同传感器代表的特征数据进行组合,并对每个时间点进行硬盘状态(运行或者停止)进行标记,形成一个二分类模型的数据结构。当数据准备完成之后利用TensorFlow(一个基于数据流编程的符号数学系统)进行模型的训练,得到TensorFlow的模型。
由于微控制器的片上储存资源是有限的,需要利用量化进行模型的压缩,可以使用TensorFlow Lite Micro。模型量化之后,由于微控制器只能识别二进制的模型文件,需要将模型进行二进制格式的转换,转换完毕之后,得到的二进制文件就可以作为模型文件部署到微控制器中。
根据在数据中心硬盘等设备上面部署多传感器进行监测和故障预测,通过多传感器的集成,用户可以清晰和方便的监控硬盘的各种实时数据。同时,可以利用轻量化人工智能模型进行自动或者根据监测进行手动的硬盘操作,这样可以减少硬盘故障造成的存储功能的失灵,减少损失。
在本发明实施例中,由于所有的模块都部署在局域网内,传感器的数据会传输到平台端进行监测,这样用户就会直观的监测影响硬盘故障的相关特征数据,摆脱了以前第三方软件进行诊断耗时大、数据不直观的缺点。而且,通过轻量化人工智能模型还可以根据输入的数据智能的预测硬盘的故障,大大减小了服务器数据中心硬盘的故障率,保证了数据存储服务的持续运行。
具体而言,在微控制器上面部署轻量化模型进行本地化推理,然后预测服务器数据中心硬盘的故障,打破了之前第三方软件进行硬盘诊断的方法,大大提升了用户对硬盘数据的监测效率,相关数据也可以更直观的表达。同时,利用轻量化模型进行智能自动化的故障预测报警,大大提高了数据存储的可靠性和相关服务的持续性。
以下对本发明实施例进行进一步说明:
参照图2,示出了本发明一实施例提供的一种数据中心的异常处理方法的步骤流程图,该数据中心可以部署有目标设备,目标设备可以为硬盘设备,即部署有硬盘的设备,如包含硬盘的服务器、存储器等设备,硬盘可以由一个或者多个铝制或者玻璃材质的碟片组成,其是主要的存储媒介之一,作为一种机械设备,其不可避免会出现故障。
该数据中心针对目标设备还可以部署有多种类型的传感器及与其连接的微控制器,传感器可以用于采集目标设备的相关数据,并可以通过无线传输或串口传输的方式将数据发送至微控制器,微控制器可以用于根据传感器采集的数据进行异常分析,并可以将分析结果发送至监控平台,传感器、微控制器,以及监控平台可以处于同一局域网中。
在本发明一实施例中,可以以数据中心中目标设备为核心进行相关传感器的部署,传感器的选型主要根据导致目标设备异常的相关特征数据,传感器可以包括以下任一种或多种:
温度传感器、湿度传感器、电流传感器、电压传感器。
具体的,可以包括如下步骤:
步骤201,所述微控制器获取所述传感器采集的多种维度的实时数据,并对所述多种维度的实时数据进行处理,得到实时数据集合。
在实际应用中,多种类型的传感器可以采集针对目标设备进行相关数据,进而可以得到多种维度的实时数据,并可以通过无线传输或串口传输的方式,将采集的实时数据发送至微控制器。
在接收到传感器发送的实时数据后,微控制器可以对多种维度的实时数据进行数据,进而可以得到实时数据集合。
在本发明一实施例中,所述对所述多种维度的实时数据进行处理,得到实时数据集合,包括:
对所述多种维度的实时数据进行预处理;对预处理后的实时数据进行组合,得到实时数据集合。
在具体实现中,可以对多种维度的实时数据进行预处理,去除干扰数据,并可以按照时间序列,对预处理后的实时数据进行组合,得到实时数据集合。
步骤202,所述微控制器获取所述目标设备的属性信息和历史使用信息,并根据所述属性信息和所述历史使用情况,确定所述目标设备的个性化数据。
对于不同的目标设备,由于其配置的不同和使用情况的不同,其在正常使用过程中产生的数据是不同的,导致传感器采集的数据也是不同的,如SATA硬盘和SSD硬盘在正常使用过程中产生的数据是不同的,又如新使用的硬盘和使用5年以上硬盘在正常使用过程中产生的数据是不同的。
基于此,可以获取目标设备的属性信息和历史使用信息,属性信息可以包括其硬件配置信息,如硬盘的类型、性能、尺寸、容量等,历史使用信息可以包括其已使用时长、故障维护记录等,进而可以根据目标设备的属性信息和历史使用信息,确定针对目标设备的个性化数据。
步骤203,所述微控制器调用预置的轻量化模型,结合所述个性化数据,对所述实时数据集合进行分析处理,得到所述目标设备的分析结果。
在实际应用中,可以预先设置轻量化模型,轻量化模型是人工智能和物联网设备的交叉融合的衍生物,可以在毫瓦级功率的微控制器上,实现人工智能的方法、工具和技术,它连接了物联网设备、边缘计算和机器学习,主要应用于边缘计算和节能计算领域。基于轻量化人工智能模型的特性,可以与不同类型的传感器和微控制器进行融合,进行一些运行状态的监测和故障的预测。例如,对于数据中心的硬盘,可以利用传感器和轻量化模型和微控制器的结合,可以对服务器数据中心的硬盘状态进行监测,基于输入的各类传感器的数据,然后根据模型的部署和推理预测相关的故障,从而对服务器数据中心硬盘进行故障预测,从而保证服务器数据中心的正常运行。
作为一示例,轻量化模型可以为神经网络模型。
在异常分析的过程中,可以将采集的实时数据集合和个性化数据输入轻量化模型,进而可以由轻量化模型进行分析处理,得到目标设备的分析结果,分析结果可以包括目标设备的设备状态,即是否处于异常状态,还可以包括预测的目标设备在接下来一段时间的设备状态。
在本发明一实施例中,微控制器中轻量化模型采用如下方式训练得到:
获取多个维度的历史数据,并按照时间顺序,对所述多个维度的历史数据进行处理,得到多个历史数据集合;确定所述多个历史数据集合对应的设备状态,并采用所述多个历史数据集合及其对应的设备状态,对数据模型进行训练。
在模型训练的过程中,可以获取不同类型的传感器采集多个维度的历史数据,然后可以按照时间序列,将不同传感器采集的实时数据进行组合,得到多个历史数据集合,每个时间点可以对应一个历史数据集合。
而且,对于每个时间点,可以对设备状态(运行或者停止)进行标记,形成一个二分类模型的数据结构,当数据准备完成之后利用TensorFlow(一个基于数据流编程的符号数学系统)进行模型的训练,得到模型。
在本发明一实施例中,所述轻量化模型为对预先训练的模型进行压缩并转换为二进制文件后部署于所述微控制器。
由于微控制器的片上储存资源是有限的,需要利用量化进行模型的压缩,可以使用TensorFlow Lite Micro。在模型量化之后,由于微控制器只能识别二进制的模型文件,需要将模型进行二进制格式的转换,转换完毕之后,得到的二进制文件就可以作为模型文件部署到微控制器中。
在本发明一实施例中,还可以包括:
采用所述实时数据集合,对所述轻量化模型进行优化。
在实际应用中,可以采用实时数据集合,对轻量化模型进行优化,如对轻量化模型中的部分参数进行调整,实现了对模型的迭代更新。
步骤204,所述微控制器将所述分析结果发送至监测平台,以由所述监测平台根据所述分析结果,对所述目标设备进行异常预警。
在获得分析结果后,微控制器可以将分析结果发送至处于同一局域网中监控平台,监控平台进而可以根据分析结果来确定是否要进行异常预警,在分析结果指示设备状态为异常状态时,可以进行异常预警。
在本发明一实施例中,还可以包括:
将所述实时数据集合发送至所述监控平台。
为了便于用于更加直观、便捷地查看历史数据,可以微控制器将实时数据集合发送至监控平台,监控平台可以存储实时数据。
在本发明实施例中,通过在所述数据中心针对目标设备部署多种类型的传感器及与其连接的微控制器,所述微控制器获取所述传感器采集的多种维度的实时数据,并对所述多种维度的实时数据进行处理,得到实时数据集合,获取所述目标设备的属性信息和历史使用信息,并根据所述属性信息和所述历史使用情况,确定所述目标设备的个性化数据,然后调用预置的轻量化模型,结合所述个性化数据,对所述实时数据集合进行分析处理,得到所述目标设备的分析结果,将所述分析结果发送至监测平台,以由所述监测平台根据所述分析结果,对所述目标设备进行异常预警,实现了利用轻量化模型对数据中心的设备异常进行本地化分析,无需依赖第三方软件,提升了对设备异常的监测效率,且提升了异常分析的准确性。
参照图3,示出了本发明一实施例提供的另一种数据中心的异常处理方法的步骤流程图,该数据中心可以部署有目标设备,目标设备可以为硬盘设备,即部署有硬盘的设备,如包含硬盘的服务器、存储器等设备,硬盘可以由一个或者多个铝制或者玻璃材质的碟片组成,其是主要的存储媒介之一,作为一种机械设备,其不可避免会出现故障。
该数据中心针对目标设备还可以部署有多种类型的传感器及与其连接的微控制器,传感器可以用于采集目标设备的相关数据,并可以通过无线传输或串口传输的方式将数据发送至微控制器,微控制器可以用于根据传感器采集的数据进行异常分析,并可以将分析结果发送至监控平台,传感器、微控制器,以及监控平台可以处于同一局域网中。
在本发明一实施例中,可以以数据中心中目标设备为核心进行相关传感器的部署,传感器的选型主要根据导致目标设备异常的相关特征数据,传感器可以包括以下任一种或多种:
温度传感器、湿度传感器、电流传感器、电压传感器。
具体的,可以包括如下步骤:
步骤301,所述微控制器获取所述传感器采集的多种维度的实时数据。
在实际应用中,多种类型的传感器可以采集针对目标设备进行相关数据,进而可以得到多种维度的实时数据,并可以通过无线传输或串口传输的方式,将采集的实时数据发送至微控制器。
步骤302,所述微控制器对所述多种维度的实时数据进行预处理,并对预处理后的实时数据进行组合,得到实时数据集合。
在具体实现中,可以对多种维度的实时数据进行预处理,去除干扰数据,并可以按照时间序列,对预处理后的实时数据进行组合,得到实时数据集合。
步骤303,所述微控制器获取所述目标设备的属性信息和历史使用信息,并根据所述属性信息和所述历史使用情况,确定所述目标设备的个性化数据。
对于不同的目标设备,由于其配置的不同和使用情况的不同,其在正常使用过程中产生的数据是不同的,导致传感器采集的数据也是不同的,如SATA硬盘和SSD硬盘在正常使用过程中产生的数据是不同的,又如新使用的硬盘和使用5年以上硬盘在正常使用过程中产生的数据是不同的。
基于此,可以获取目标设备的属性信息和历史使用信息,属性信息可以包括其硬件配置信息,如硬盘的类型、性能、尺寸、容量等,历史使用信息可以包括其已使用时长、故障维护记录等,进而可以根据目标设备的属性信息和历史使用信息,确定针对目标设备的个性化数据。
步骤304,所述微控制器调用预置的轻量化模型,结合所述个性化数据,对所述实时数据集合进行分析处理,得到所述目标设备的分析结果。
在实际应用中,可以预先设置轻量化模型,轻量化模型是人工智能和物联网设备的交叉融合的衍生物,可以在毫瓦级功率的微控制器上,实现人工智能的方法、工具和技术,它连接了物联网设备、边缘计算和机器学习,主要应用于边缘计算和节能计算领域。基于轻量化人工智能模型的特性,可以与不同类型的传感器和微控制器进行融合,进行一些运行状态的监测和故障的预测。例如,对于数据中心的硬盘,可以利用传感器和轻量化模型和微控制器的结合,可以对服务器数据中心的硬盘状态进行监测,基于输入的各类传感器的数据,然后根据模型的部署和推理预测相关的故障,从而对服务器数据中心硬盘进行故障预测,从而保证服务器数据中心的正常运行。
作为一示例,轻量化模型可以为神经网络模型。
在异常分析的过程中,可以将采集的实时数据集合和个性化数据输入轻量化模型,进而可以由轻量化模型进行分析处理,得到目标设备的分析结果,分析结果可以包括目标设备的设备状态,即是否处于异常状态,还可以包括预测的目标设备在接下来一段时间的设备状态。
在本发明一实施例中,微控制器中轻量化模型采用如下方式训练得到:
获取多个维度的历史数据,并按照时间顺序,对所述多个维度的历史数据进行处理,得到多个历史数据集合;确定所述多个历史数据集合对应的设备状态,并采用所述多个历史数据集合及其对应的设备状态,对数据模型进行训练。
在模型训练的过程中,可以获取不同类型的传感器采集多个维度的历史数据,然后可以按照时间序列,将不同传感器采集的实时数据进行组合,得到多个历史数据集合,每个时间点可以对应一个历史数据集合。
而且,对于每个时间点,可以对设备状态(运行或者停止)进行标记,形成一个二分类模型的数据结构,当数据准备完成之后利用TensorFlow(一个基于数据流编程的符号数学系统)进行模型的训练,得到模型。
在本发明一实施例中,所述轻量化模型为对预先训练的模型进行压缩并转换为二进制文件后部署于所述微控制器。
由于微控制器的片上储存资源是有限的,需要利用量化进行模型的压缩,可以使用TensorFlow Lite Micro。在模型量化之后,由于微控制器只能识别二进制的模型文件,需要将模型进行二进制格式的转换,转换完毕之后,得到的二进制文件就可以作为模型文件部署到微控制器中。
在本发明一实施例中,还可以包括:
采用所述实时数据集合,对所述轻量化模型进行优化。
在实际应用中,可以采用实时数据集合,对轻量化模型进行优化,如对轻量化模型中的部分参数进行调整,实现了对模型的迭代更新。
步骤305,所述微控制器将所述分析结果发送至监测平台,以由所述监测平台根据所述分析结果,对所述目标设备进行异常预警。
在获得分析结果后,微控制器可以将分析结果发送至处于同一局域网中监控平台,监控平台进而可以根据分析结果来确定是否要进行异常预警,在分析结果指示设备状态为异常状态时,可以进行异常预警。
在本发明一实施例中,还可以包括:
将所述实时数据集合发送至所述监控平台。
为了便于用于更加直观、便捷地查看历史数据,可以微控制器将实时数据集合发送至监控平台,监控平台可以存储实时数据。
参照图4,示出了本发明一实施例提供的另一种数据中心的异常处理方法的步骤流程图,该数据中心可以部署有目标设备,目标设备可以为硬盘设备,即部署有硬盘的设备,如包含硬盘的服务器、存储器等设备,硬盘可以由一个或者多个铝制或者玻璃材质的碟片组成,其是主要的存储媒介之一,作为一种机械设备,其不可避免会出现故障。
该数据中心针对目标设备还可以部署有多种类型的传感器及与其连接的微控制器,传感器可以用于采集目标设备的相关数据,并可以通过无线传输或串口传输的方式将数据发送至微控制器,微控制器可以用于根据传感器采集的数据进行异常分析,并可以将分析结果发送至监控平台,传感器、微控制器,以及监控平台可以处于同一局域网中。
在本发明一实施例中,可以以数据中心中目标设备为核心进行相关传感器的部署,传感器的选型主要根据导致目标设备异常的相关特征数据,传感器可以包括以下任一种或多种:
温度传感器、湿度传感器、电流传感器、电压传感器。
具体的,可以包括如下步骤:
步骤401,所述微控制器获取所述传感器采集的多种维度的实时数据,并对所述多种维度的实时数据进行处理,得到实时数据集合。
在实际应用中,多种类型的传感器可以采集针对目标设备进行相关数据,进而可以得到多种维度的实时数据,并可以通过无线传输或串口传输的方式,将采集的实时数据发送至微控制器。
在接收到传感器发送的实时数据后,微控制器可以对多种维度的实时数据进行数据,进而可以得到实时数据集合。
在本发明一实施例中,所述对所述多种维度的实时数据进行处理,得到实时数据集合,包括:
对所述多种维度的实时数据进行预处理;对预处理后的实时数据进行组合,得到实时数据集合。
在具体实现中,可以对多种维度的实时数据进行预处理,去除干扰数据,并可以按照时间序列,对预处理后的实时数据进行组合,得到实时数据集合。
步骤402,所述微控制器获取所述目标设备的属性信息和历史使用信息,并根据所述属性信息和所述历史使用情况,确定所述目标设备的个性化数据。
对于不同的目标设备,由于其配置的不同和使用情况的不同,其在正常使用过程中产生的数据是不同的,导致传感器采集的数据也是不同的,如SATA硬盘和SSD硬盘在正常使用过程中产生的数据是不同的,又如新使用的硬盘和使用5年以上硬盘在正常使用过程中产生的数据是不同的。
基于此,可以获取目标设备的属性信息和历史使用信息,属性信息可以包括其硬件配置信息,如硬盘的类型、性能、尺寸、容量等,历史使用信息可以包括其已使用时长、故障维护记录等,进而可以根据目标设备的属性信息和历史使用信息,确定针对目标设备的个性化数据。
步骤403,所述微控制器调用预置的轻量化模型,结合所述个性化数据,对所述实时数据集合进行分析处理,得到所述目标设备的分析结果。
在实际应用中,可以预先设置轻量化模型,轻量化模型是人工智能和物联网设备的交叉融合的衍生物,可以在毫瓦级功率的微控制器上,实现人工智能的方法、工具和技术,它连接了物联网设备、边缘计算和机器学习,主要应用于边缘计算和节能计算领域。基于轻量化人工智能模型的特性,可以与不同类型的传感器和微控制器进行融合,进行一些运行状态的监测和故障的预测。例如,对于数据中心的硬盘,可以利用传感器和轻量化模型和微控制器的结合,可以对服务器数据中心的硬盘状态进行监测,基于输入的各类传感器的数据,然后根据模型的部署和推理预测相关的故障,从而对服务器数据中心硬盘进行故障预测,从而保证服务器数据中心的正常运行。
作为一示例,轻量化模型可以为神经网络模型。
在异常分析的过程中,可以将采集的实时数据集合和个性化数据输入轻量化模型,进而可以由轻量化模型进行分析处理,得到目标设备的分析结果,分析结果可以包括目标设备的设备状态,即是否处于异常状态,还可以包括预测的目标设备在接下来一段时间的设备状态。
在本发明一实施例中,微控制器中轻量化模型采用如下方式训练得到:
获取多个维度的历史数据,并按照时间顺序,对所述多个维度的历史数据进行处理,得到多个历史数据集合;确定所述多个历史数据集合对应的设备状态,并采用所述多个历史数据集合及其对应的设备状态,对数据模型进行训练。
在模型训练的过程中,可以获取不同类型的传感器采集多个维度的历史数据,然后可以按照时间序列,将不同传感器采集的实时数据进行组合,得到多个历史数据集合,每个时间点可以对应一个历史数据集合。
而且,对于每个时间点,可以对设备状态(运行或者停止)进行标记,形成一个二分类模型的数据结构,当数据准备完成之后利用TensorFlow(一个基于数据流编程的符号数学系统)进行模型的训练,得到模型。
在本发明一实施例中,所述轻量化模型为对预先训练的模型进行压缩并转换为二进制文件后部署于所述微控制器。
由于微控制器的片上储存资源是有限的,需要利用量化进行模型的压缩,可以使用TensorFlow Lite Micro。在模型量化之后,由于微控制器只能识别二进制的模型文件,需要将模型进行二进制格式的转换,转换完毕之后,得到的二进制文件就可以作为模型文件部署到微控制器中。
在本发明一实施例中,还可以包括:
采用所述实时数据集合,对所述轻量化模型进行优化。
在实际应用中,可以采用实时数据集合,对轻量化模型进行优化,如对轻量化模型中的部分参数进行调整,实现了对模型的迭代更新。
步骤404,所述微控制器将所述分析结果发送至监测平台,以由所述监测平台根据所述分析结果,对所述目标设备进行异常预警。
在获得分析结果后,微控制器可以将分析结果发送至处于同一局域网中监控平台,监控平台进而可以根据分析结果来确定是否要进行异常预警,在分析结果指示设备状态为异常状态时,可以进行异常预警。
步骤405,所述微控制器将所述实时数据集合发送至所述监控平台。
为了便于用于更加直观、便捷地查看历史数据,可以微控制器将实时数据集合发送至监控平台,监控平台可以存储实时数据。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图5,示出了本发明一实施例提供的一种数据中心的异常处理装置的结构示意图,该数据中心可以部署有目标设备,目标设备可以为硬盘设备,即部署有硬盘的设备,如包含硬盘的服务器、存储器等设备,硬盘可以由一个或者多个铝制或者玻璃材质的碟片组成,其是主要的存储媒介之一,作为一种机械设备,其不可避免会出现故障。
该数据中心针对目标设备还可以部署有多种类型的传感器及与其连接的微控制器,传感器可以用于采集目标设备的相关数据,并可以通过无线传输或串口传输的方式将数据发送至微控制器,微控制器可以用于根据传感器采集的数据进行异常分析,并可以将分析结果发送至监控平台,传感器、微控制器,以及监控平台可以处于同一局域网中。
在本发明一实施例中,可以以数据中心中目标设备为核心进行相关传感器的部署,传感器的选型主要根据导致目标设备异常的相关特征数据,传感器可以包括以下任一种或多种:
温度传感器、湿度传感器、电流传感器、电压传感器。
具体的,可以包括如下模块:
实时数据集合得到模块501,用于获取所述传感器采集的多种维度的实时数据,并对所述多种维度的实时数据进行处理,得到实时数据集合;
个性化数据确定模块502,用于获取所述目标设备的属性信息和历史使用信息,并根据所述属性信息和所述历史使用情况,确定所述目标设备的个性化数据;
分析结果得到模块503,用于调用预置的轻量化模型,结合所述个性化数据,对所述实时数据集合进行分析处理,得到所述目标设备的分析结果;
异常预警模块504,用于将所述分析结果发送至监测平台,以由所述监测平台根据所述分析结果,对所述目标设备进行异常预警。
在本发明一实施例中,所述微控制器中轻量化模型采用如下方式训练得到:
获取多个维度的历史数据,并按照时间顺序,对所述多个维度的历史数据进行处理,得到多个历史数据集合;
确定所述多个历史数据集合对应的设备状态,并采用所述多个历史数据集合及其对应的设备状态,对数据模型进行训练。
在本发明一实施例中,还包括:
模型优化模块,用于采用所述实时数据集合,对所述轻量化模型进行优化。
在本发明一实施例中,所述轻量化模型为对预先训练的模型进行压缩并转换为二进制文件后部署于所述微控制器。
在本发明一实施例中,所述实时数据集合得到模块501,包括:
预处理子模块,用于对所述多种维度的实时数据进行预处理;
数据组合子模块,用于对预处理后的实时数据进行组合,得到实时数据集合。
在本发明一实施例中,还包括:
实时数据集合发送模块,用于将所述实时数据集合发送至所述监控平台。
在本发明一实施例中,所述目标设备为硬盘设备,所述传感器包括以下任一种或多种:
温度传感器、湿度传感器、电流传感器、电压传感器。
在本发明实施例中,通过在所述数据中心针对目标设备部署多种类型的传感器及与其连接的微控制器,所述微控制器获取所述传感器采集的多种维度的实时数据,并对所述多种维度的实时数据进行处理,得到实时数据集合,获取所述目标设备的属性信息和历史使用信息,并根据所述属性信息和所述历史使用情况,确定所述目标设备的个性化数据,然后调用预置的轻量化模型,结合所述个性化数据,对所述实时数据集合进行分析处理,得到所述目标设备的分析结果,将所述分析结果发送至监测平台,以由所述监测平台根据所述分析结果,对所述目标设备进行异常预警,实现了利用轻量化模型对数据中心的设备异常进行本地化分析,无需依赖第三方软件,提升了对设备异常的监测效率,且提升了异常分析的准确性。
本发明一实施例还提供了一种电子设备,可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上数据中心的异常处理方法。
本发明一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上数据中心的异常处理方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括上述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的数据中心的异常处理方法、装置、电子设备及介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种数据中心的异常处理方法,其特征在于,所述数据中心针对目标设备部署有多种类型的传感器及与其连接的微控制器,所述方法包括:
所述微控制器获取所述传感器采集的多种维度的实时数据,并对所述多种维度的实时数据进行处理,得到实时数据集合;
所述微控制器获取所述目标设备的属性信息和历史使用信息,并根据所述属性信息和所述历史使用情况,确定所述目标设备的个性化数据;
所述微控制器调用预置的轻量化模型,结合所述个性化数据,对所述实时数据集合进行分析处理,得到所述目标设备的分析结果;
所述微控制器将所述分析结果发送至监测平台,以由所述监测平台根据所述分析结果,对所述目标设备进行异常预警。
2.根据权利要求1所述的方法,其特征在于,所述微控制器中轻量化模型采用如下方式训练得到:
获取多个维度的历史数据,并按照时间顺序,对所述多个维度的历史数据进行处理,得到多个历史数据集合;
确定所述多个历史数据集合对应的设备状态,并采用所述多个历史数据集合及其对应的设备状态,对数据模型进行训练。
3.根据权利要求1或2所述的方法,其特征在于,还包括:
采用所述实时数据集合,对所述轻量化模型进行优化。
4.根据权利要求1所述的方法,其特征在于,所述轻量化模型为对预先训练的模型进行压缩并转换为二进制文件后部署于所述微控制器。
5.根据权利要求1所述的方法,其特征在于,所述对所述多种维度的实时数据进行处理,得到实时数据集合,包括:
对所述多种维度的实时数据进行预处理;
对预处理后的实时数据进行组合,得到实时数据集合。
6.根据权利要求1所述的方法,其特征在于,还包括:
将所述实时数据集合发送至所述监控平台。
7.根据权利要求1所述的方法,其特征在于,所述目标设备为硬盘设备,所述传感器包括以下任一种或多种:
温度传感器、湿度传感器、电流传感器、电压传感器。
8.一种数据中心的异常处理装置,其特征在于,所述数据中心针对目标设备部署有多种类型的传感器及与其连接的微控制器,所述装置包括:
实时数据集合得到模块,用于获取所述传感器采集的多种维度的实时数据,并对所述多种维度的实时数据进行处理,得到实时数据集合;
个性化数据确定模块,用于获取所述目标设备的属性信息和历史使用信息,并根据所述属性信息和所述历史使用情况,确定所述目标设备的个性化数据;
分析结果得到模块,用于调用预置的轻量化模型,结合所述个性化数据,对所述实时数据集合进行分析处理,得到所述目标设备的分析结果;
异常预警模块,用于将所述分析结果发送至监测平台,以由所述监测平台根据所述分析结果,对所述目标设备进行异常预警。
9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据中心的异常处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据中心的异常处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211296534.4A CN115827318A (zh) | 2022-10-21 | 2022-10-21 | 数据中心的异常处理方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211296534.4A CN115827318A (zh) | 2022-10-21 | 2022-10-21 | 数据中心的异常处理方法、装置、电子设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115827318A true CN115827318A (zh) | 2023-03-21 |
Family
ID=85525223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211296534.4A Pending CN115827318A (zh) | 2022-10-21 | 2022-10-21 | 数据中心的异常处理方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115827318A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116560586A (zh) * | 2023-07-06 | 2023-08-08 | 苏州浪潮智能科技有限公司 | 属性值的确定方法及装置、存储介质及电子设备 |
-
2022
- 2022-10-21 CN CN202211296534.4A patent/CN115827318A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116560586A (zh) * | 2023-07-06 | 2023-08-08 | 苏州浪潮智能科技有限公司 | 属性值的确定方法及装置、存储介质及电子设备 |
CN116560586B (zh) * | 2023-07-06 | 2023-09-05 | 苏州浪潮智能科技有限公司 | 属性值的确定方法及装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022500745A (ja) | 異常検出および/または予知保全のためのコンピュータ実装方法、コンピュータプログラム製品およびシステム | |
CN111091278B (zh) | 机械设备异常检测的边缘检测模型构建方法及装置 | |
WO2016176111A1 (en) | Fuel gauge visualization of iot based predictive maintenance system using multi-classification based machine learning | |
WO2024011601A1 (zh) | 用于设备功能下降型故障预警的工业物联网、方法及介质 | |
CN104516808B (zh) | 数据预处理装置及方法 | |
CN114298175A (zh) | 基于边缘计算的电力设备状态监测与故障预警方法及系统 | |
CN116127790B (zh) | 工业机器人预测性维护管理方法及系统 | |
CN110333995A (zh) | 对工业设备运行状态进行监测的方法及装置 | |
CN115514620B (zh) | 一种异常检测的方法和云网络平台 | |
CN117972358A (zh) | 基于ai的配电柜状态识别方法、装置、设备及存储介质 | |
CN117834385A (zh) | 基于物联网系统的故障预警处理方法和物联网系统 | |
CN115827318A (zh) | 数据中心的异常处理方法、装置、电子设备及介质 | |
CN118446671A (zh) | 一种一体化智慧运维控制方法及系统 | |
CN113487086A (zh) | 设备剩余使用寿命预测方法、装置、计算机设备和介质 | |
CN114610561A (zh) | 系统监测方法、装置、电子设备及计算机可读存储介质 | |
JP7168567B2 (ja) | 産業ロボット応用の動作データを収集するための方法および装置 | |
KR102306430B1 (ko) | 클라우드 기반 상황인지 융합처리엔진을 이용한 산업용 공정장비 시스템 관리 방법 | |
CN115622867A (zh) | 一种工控系统安全事件预警分类方法及系统 | |
CN118626990A (zh) | 一种硬盘故障预测方法、装置、设备及存储介质 | |
CN118963327A (zh) | 一种机电一体化自适应故障诊断系统及方法 | |
CN117692665A (zh) | 一种直播监控处理方法、系统、设备及介质 | |
WO2024187401A1 (zh) | 设备状态监测方法、装置、设备、存储介质和程序产品 | |
CN118551260B (zh) | 一种基于深度学习的汽车驱动故障检测方法及系统 | |
WO2025079097A1 (en) | System and method for detecting anomalies in a network | |
CN113419927B (zh) | 一种监测和管理控制服务器的方法、系统、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |