[go: up one dir, main page]

CN117130888A - 基于历史数据和机器学习的服务器自动调优方法及系统 - Google Patents

基于历史数据和机器学习的服务器自动调优方法及系统 Download PDF

Info

Publication number
CN117130888A
CN117130888A CN202311109906.2A CN202311109906A CN117130888A CN 117130888 A CN117130888 A CN 117130888A CN 202311109906 A CN202311109906 A CN 202311109906A CN 117130888 A CN117130888 A CN 117130888A
Authority
CN
China
Prior art keywords
performance
data
container
server
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311109906.2A
Other languages
English (en)
Inventor
张弛
张鹏兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Leifeng Electronic Technology Co ltd
Original Assignee
Xi'an Leifeng Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Leifeng Electronic Technology Co ltd filed Critical Xi'an Leifeng Electronic Technology Co ltd
Priority to CN202311109906.2A priority Critical patent/CN117130888A/zh
Publication of CN117130888A publication Critical patent/CN117130888A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于历史数据和机器学习的服务器自动调优方法及系统，包括：采集服务器各容器的历史性能数据，并构建历史数据集；选取所述历史性能数据中与性能最相关的相关特征，作为性能需求预测模型的输入；对采集的所述历史性能数据进行预处理，并将经过预处理的数据划分为训练集和验证集；应用机器学习算法建立性能需求预测模型，所述性能需求预测模型将学习容器性能需求与输入特征之间的关系；将服务器当前容器的特征数据输入至训练好的性能需求预测模型，预测未来的性能需求；根据预测结果进行资源调整。本发明能够实现服务器资源的动态优化，可以有效地提升服务器环境中容器的性能表现，降低资源浪费，提高整个系统的效率和可用性。

Description

基于历史数据和机器学习的服务器自动调优方法及系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于历史数据和机器学习的服务器自动调优方法及系统。
背景技术
容器是一组进程的集合，这些进程共享了一个操作系统实例，但是独立于服务器系统中的其它进程。容器是新型的操作系统级虚拟化技术，与传统的虚拟机技术相比，其资源管理开销更小、启动速度更快。现有的服务器内，一般是多个容器运行在相同的硬件资源上，此时，在不同负载下，可能会出现性能不平衡或资源竞争的问题，针对该问题，常见的解决手段是通过告警或人为经验判断等方式，但是上述解决手段不但需要耗费较长时间判断，而且浪费人力资源，可靠性也不高。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于历史数据和机器学习的服务器自动调优方法及系统。具体技术方案如下：
在本发明实施的第一方面，首先提供一种基于历史数据和机器学习的服务器自动调优方法，包括：
收集服务器各容器的历史性能数据，所述历史性能数据包括容器的资源使用情况以及容器的负载信息，对所述历史性能数据进行筛选和提取，构建历史数据集；
选取所述历史性能数据中与性能最相关的相关特征，作为性能需求预测模型的输入；
对所述构建的历史数据集进行预处理，并将经过预处理的历史数据集划分为训练集和验证集；
应用机器学习算法建立性能需求预测模型，根据训练集的历史数据和相关特征对所述性能需求预测模型进行训练，所述性能需求预测模型学习容器性能需求与输入特征之间的关系；
使用所述验证集评估所述性能需求预测模型，通过比较预测结果与实际观测值的差异对模型进行优化和调整；
将服务器当前容器的特征数据输入至训练好的性能需求预测模型，预测未来的性能需求；
根据预测结果进行资源调整。
可选的，其中，如果预测结果显示容器的性能需求即将增加，所述服务器进行资源调整，所述资源调整包括分配更多的计算资源、内存或网络带宽中的至少一种。
可选的，其中，所述预处理包括数据清洗、缺失值处理、异常值检测中的至少一种。
可选的，其中，所述机器学习算法是回归模型或时间序列模型或神经网络模型。
可选的，其中，所述资源使用情况包括CPU、内存、网络、磁盘使用情况；所述容器的负载信息包括请求量、处理时间。
可选的，其中，所述资源使用情况和所述容器的负载信息的数据采集方式为定期采样或实时采样。
可选的，其中，所述相关特征是容器的资源使用情况、容器的负载信息中的至少一种。
在本发明实施的第二方面，还提供了一种基于历史数据和机器学习的服务器自动调优系统，包括：
虚拟化处理模块，对服务器进行虚拟化处理，分解为多个并行的容器节点；
日志收集器，根据日志采集配置文件采集容器产生的日志并且存储日志文件；
历史数据获取模块，用于从存储的日志文件中收集服务器各容器的历史性能数据，所述历史性能数据包括容器的资源使用情况以及容器的负载信息，对所述历史性能数据进行筛选和提取，构建历史数据集；
相关特征选择模块，用于通过特征选择算法选取所述历史性能数据中与性能最相关的相关特征，作为性能需求预测模型的输入；
数据预处理模块，用于对所述构建的历史数据集进行预处理，并将经过预处理的历史数据集划分为训练集和验证集；
预测模型构建模块，应用机器学习算法建立性能需求预测模型，根据训练集的历史数据和相关特征对所述性能需求预测模型进行训练，所述性能需求预测模型学习容器性能需求与输入特征之间的关系；
模型评估优化模块，用于使用所述验证集评估所述性能需求预测模型，通过比较预测结果与实际观测值的差异对模型进行优化和调整；
预测结果输出模块，用于将服务器当前各容器的特征数据输入至训练好的性能需求预测模型，预测未来的性能需求，输出预测结果；
资源总控大脑，用于根据所述预测结果进行资源调整，智能地将容器调度到最适合的物理服务器节点上。
在本发明实施的第三方面，还提供了一种电子设备，包括处理器、存储器、通信总线以及通信接口，还可以包括存储在所述存储器中并可在所述处理器上运行的计算机程序，计算机程序执行实现如第一方面所述的基于历史数据和机器学习的服务器自动调优方法。
在本发明实施的第四方面，还提供了一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现上述第一方面所述的基于历史数据和机器学习的服务器自动调优方法。
本发明的优点和积极效果是：
1、本发明根据预测的容器性能需求，可以自动进行资源调整，即时地重新分配计算、内存、网络等资源给予高需求的容器，以此实现资源的动态优化，提高容器的性能表现和整体系统效率；
2、本发明可以智能地将容器调度到最适合的物理服务器节点上，以实现负载均衡，降低资源浪费，可以充分利用服务器资源，提高整个系统的稳定性和可用性；
3、本发明根据实际情况不断迭代优化和改进预测模型，提高了性能预测的准确性和稳定性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中的基于历史数据和机器学习的服务器自动调优方法100的流程示意图；
图2是本发明实施例中的资源分配示意图；
图3是本发明实施例中的基于历史数据和机器学习的服务器自动调优系统200的单元模块示意图；
图4是本发明实施例中的电子设备300结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，是本发明一实施例提供的一种基于历史数据和机器学习的服务器自动调优方法100的流程示意图，所述方法100包括：
S101：收集服务器各容器的历史性能数据，所述历史性能数据包括容器的资源使用情况以及容器的负载信息，对所述历史性能数据进行筛选和提取，构建历史数据集A＝{A1，……，Ai，……，Am}，其中，Ai为第i个历史性能数据，i＝1……m，m为采集数据个数；
此步骤为数据收集过程，收集容器的历史性能数据，所述历史性能数据包括容器的资源使用情况以及容器的负载信息。
可选的，所述资源使用情况包括CPU、内存、网络、磁盘使用情况等；
可选的，所述容器的负载信息包括请求量、处理时间等；
可选的，所述资源使用情况和所述容器的负载信息的数据采集方式采用定期采样或实时采样。
S102：选取所述历史性能数据中与性能最相关的相关特征，作为性能需求预测模型的输入；
此步骤为特征选择过程，从收集到的历史数据中，需要选择相应的特征作为输入给机器学习算法。在容器性能预测中，系统从历史数据中分析和挖掘潜在的关联特征，这些特征可以是容器的资源使用情况、负载信息以及其他与性能相关的指标。根据具体情况，可以采用领域专家知识或特征选择算法来确定最相关的特征作为预测模型的输入。
S103：对所述构建的历史数据集进行预处理，得到预处理后数据A＇＝{A1＇，……，Ai＇，……，A＇m}，其中，Ai＇为第i个预处理后数据，并将经过预处理的历史数据集划分为训练集B＝{B1，……，Bj，……，Bm}和验证集C＝{C1，……，Ck，……，Cm},其中，Bj为第j个训练集数据，Ck为第k个验证集数据，j＝1……m，k＝1……m；
此步骤为数据预处理过程，可选的，对收集到的历史数据进行预处理，包括数据清洗、缺失值处理、异常值检测等。这一步骤旨在保证数据的质量和准确性。
S104：应用机器学习算法建立性能需求预测模型，根据训练集的历史数据和相关特征对所述性能需求预测模型进行训练，所述性能需求预测模型学习容器性能需求与输入特征之间的关系；
此步骤为模型训练过程，在将经过预处理的数据划分为训练集和验证集后，进而在训练集上应用机器学习算法，例如回归模型、时间序列模型或神经网络等，来建立性能需求预测模型，根据历史数据和相关特征对所述性能需求预测模型进行训练，模型将学习容器性能需求与输入特征之间的关系。
S105：使用所述验证集评估所述性能需求预测模型，通过比较预测结果与实际观测值的差异对模型进行优化和调整；
此步骤为模型评估和优化过程，通过使用验证集来评估预测模型的准确性和效果，通过比较预测结果与实际观测值的差异，对模型进行优化和调整。系统可以不断迭代改进预测模型，以提高性能预测的准确性和稳定性。
S106：将服务器当前容器的特征数据输入至训练好的性能需求预测模型，预测未来的性能需求；
在实际应用中，系统根据当前容器的特征数据，利用训练好的性能需求预测模型，预测未来的性能需求。
S107：根据预测结果进行资源调整。
可选的，如果预测结果显示容器的性能需求即将增加，系统可以相应地进行资源调整，例如分配更多的计算资源、内存或网络带宽等，以提前满足容器的需求。
本实施例的方法结合了历史数据分析、机器学习算法、智能调度和资源优化等技术，根据预测的容器性能需求，可以自动进行资源调整，即时地重新分配计算、内存、网络等资源给予高需求的容器，这样可以实现资源的动态优化，提高容器的性能表现和整体系统效率。系统可以智能地将容器调度到最适合的物理服务器节点上，以实现负载均衡。通过合理分配资源和调度容器，可以有效地提升服务器环境中容器的性能表现，降低资源浪费，可以充分利用服务器资源，提高整个系统的稳定性和可用性。
如图2所示，是本发明一实施例提供的资源分配示意图，如图3所示，是本发明一实施例提供的一种基于历史数据和机器学习的服务器自动调优系统200的单元模块示意图，所述系统200包括：
虚拟化处理模块201，对服务器进行虚拟化处理，分解为多个并行的容器节点；
日志收集器202，根据日志采集配置文件采集容器产生的日志并且存储日志文件；
历史数据获取模块203，用于从存储的日志文件中收集服务器各容器的历史性能数据，所述历史性能数据包括容器的资源使用情况以及容器的负载信息，对所述历史性能数据进行筛选和提取，构建历史数据集；
相关特征选择模块204，用于通过特征选择算法选取所述历史性能数据中与性能最相关的相关特征，作为性能需求预测模型的输入；
数据预处理模块205，用于对所述构建的历史数据集进行预处理，并将经过预处理的历史数据集划分为训练集和验证集；
预测模型构建模块206，应用机器学习算法建立性能需求预测模型，根据训练集的历史数据和相关特征对所述性能需求预测模型进行训练，所述性能需求预测模型学习容器性能需求与输入特征之间的关系；
模型评估优化模块207，用于使用所述验证集评估所述性能需求预测模型，通过比较预测结果与实际观测值的差异对模型进行优化和调整；
预测结果输出模块208，用于将服务器当前各容器的特征数据输入至训练好的性能需求预测模型，预测未来的性能需求，输出预测结果；
资源总控大脑209，用于根据所述预测结果进行资源调整，智能地将容器调度到最适合的物理服务器节点上。
本实施例中，资源总控大脑的核心为机器学习算法，其根据日志行为给予容器资源最优调整；日志收集器对服务器中的各容器产生的日志时刻收集，并交给机器学习算法进行判断；机器学习算法也会根据历史数据进行模型训练更新。
详细地，本发明实施例提供的基于历史数据和机器学习的服务器自动调优系统200中所述的各单元模块在使用时采用与前述实施例中所述的基于历史数据和机器学习的服务器自动调优方法100中的所有步骤，并能够产生相同的技术效果，这里不再赘述。
如图4所示，是本发明一实施例提供的电子设备300的结构示意图。所述电子设备300可以包括处理器310、存储器311、通信总线312以及通信接口313，还可以包括存储在所述存储器311中并可在所述处理器310上运行的计算机程序，执行以实现所述的基于历史数据和机器学习的服务器自动调优方法程序。
其中，所述处理器310在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing Unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器310是所述电子设备300的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器311内的程序或者模块(例如执行所述的基于历史数据和机器学习的服务器自动调优方法程序等)，以及调用存储在所述存储器311内的数据，以执行电子设备的各种功能和处理数据。
所述存储器311至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器311在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器311在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器311还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器311不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于历史数据和机器学习的服务器自动调优方法程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线312可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器311以及至少一个处理器310等之间的连接通信。
所述通信接口313用于上述电子设备300与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图4仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图4示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理系统与所述至少一个处理器310逻辑相连，从而通过电源管理系统实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备300还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备300中的所述存储器311存储的多个指令的组合，在所述处理器310中运行时，可以实现一种基于历史数据和机器学习的服务器自动调优方法。具体地，所述处理器310对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，并能够产生相同的技术效果，这里不再赘述。
进一步地，所述电子设备300集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或系统、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现所述的基于历史数据和机器学习的服务器自动调优方法。具体可参考附图对应实施例中相关步骤的描述，并能够产生相同的技术效果，这里不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或系统也可以由一个单元或系统通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (10)

1.基于历史数据和机器学习的服务器自动调优方法，其特征在于，包括：
收集服务器各容器的历史性能数据，所述历史性能数据包括容器的资源使用情况以及容器的负载信息，对所述历史性能数据进行筛选和提取，构建历史数据集；
选取所述历史性能数据中与性能最相关的相关特征，作为性能需求预测模型的输入；
对所述构建的历史数据集进行预处理，并将经过预处理的历史数据集划分为训练集和验证集；
应用机器学习算法建立性能需求预测模型，根据训练集的历史数据和相关特征对所述性能需求预测模型进行训练，所述性能需求预测模型学习容器性能需求与输入特征之间的关系；
使用所述验证集评估所述性能需求预测模型，通过比较预测结果与实际观测值的差异对模型进行优化和调整；
将服务器当前容器的特征数据输入至训练好的性能需求预测模型，预测未来的性能需求；
根据预测结果进行资源调整。
2.如权利要求1所述的方法，其特征在于，其中，如果预测结果显示容器的性能需求即将增加，所述服务器进行资源调整，所述资源调整包括分配更多的计算资源、内存或网络带宽中的至少一种。
3.如权利要求1所述的方法，其特征在于，所述预处理包括数据清洗、缺失值处理、异常值检测中的至少一种。
4.如权利要求1所述的方法，其特征在于，所述机器学习算法是回归模型或时间序列模型或神经网络模型。
5.如权利要求1所述的方法，其特征在于，所述资源使用情况包括CPU、内存、网络、磁盘使用情况；所述容器的负载信息包括请求量、处理时间。
6.如权利要求5所述的方法，其特征在于，所述资源使用情况和所述容器的负载信息的数据采集方式为定期采样或实时采样。
7.如权利要求1所述的方法，其特征在于，所述相关特征是容器的资源使用情况、容器的负载信息中的至少一种。
8.基于历史数据和机器学习的服务器自动调优系统，其特征在于，包括：
虚拟化处理模块，对服务器进行虚拟化处理，分解为多个并行的容器节点；
日志收集器，根据日志采集配置文件采集容器产生的日志并且存储日志文件；
历史数据获取模块，用于从存储的日志文件中收集服务器各容器的历史性能数据，所述历史性能数据包括容器的资源使用情况以及容器的负载信息，对所述历史性能数据进行筛选和提取，构建历史数据集；
相关特征选择模块，用于通过特征选择算法选取所述历史性能数据中与性能最相关的相关特征，作为性能需求预测模型的输入；
数据预处理模块，用于对所述构建的历史数据集进行预处理，并将经过预处理的历史数据集划分为训练集和验证集；
预测模型构建模块，应用机器学习算法建立性能需求预测模型，根据训练集的历史数据和相关特征对所述性能需求预测模型进行训练，所述性能需求预测模型学习容器性能需求与输入特征之间的关系；
模型评估优化模块，用于使用所述验证集评估所述性能需求预测模型，通过比较预测结果与实际观测值的差异对模型进行优化和调整；
预测结果输出模块，用于将服务器当前各容器的特征数据输入至训练好的性能需求预测模型，预测未来的性能需求，输出预测结果；
资源总控大脑，用于根据所述预测结果进行资源调整，智能地将容器调度到最适合的物理服务器节点上。
9.一种电子设备，其特征在于，包括处理器、存储器、通信总线以及通信接口，还可以包括存储在所述存储器中并可在所述处理器上运行的计算机程序，计算机程序执行实现如权利要求1-7任一项所述的基于历史数据和机器学习的服务器自动调优方法。
10.一种计算机可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序在被电子设备的处理器所执行时，可以实现如权利要求1-7任一项所述的基于历史数据和机器学习的服务器自动调优方法。
CN202311109906.2A 2023-08-30 2023-08-30 基于历史数据和机器学习的服务器自动调优方法及系统 Pending CN117130888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311109906.2A CN117130888A (zh) 2023-08-30 2023-08-30 基于历史数据和机器学习的服务器自动调优方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311109906.2A CN117130888A (zh) 2023-08-30 2023-08-30 基于历史数据和机器学习的服务器自动调优方法及系统

Publications (1)

Publication Number Publication Date
CN117130888A true CN117130888A (zh) 2023-11-28

Family

ID=88858004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311109906.2A Pending CN117130888A (zh) 2023-08-30 2023-08-30 基于历史数据和机器学习的服务器自动调优方法及系统

Country Status (1)

Country Link
CN (1) CN117130888A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117972367A (zh) * 2024-04-02 2024-05-03 广东琴智科技研究院有限公司 一种数据存储预测方法、数据存储子系统及智能计算平台
CN119356963A (zh) * 2024-12-25 2025-01-24 苏州吉呗思数据技术有限公司 自适应调整负载的系统测试方法、装置、设备以及产品

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117972367A (zh) * 2024-04-02 2024-05-03 广东琴智科技研究院有限公司 一种数据存储预测方法、数据存储子系统及智能计算平台
CN119356963A (zh) * 2024-12-25 2025-01-24 苏州吉呗思数据技术有限公司 自适应调整负载的系统测试方法、装置、设备以及产品
CN119356963B (zh) * 2024-12-25 2025-03-21 苏州吉呗思数据技术有限公司 自适应调整负载的系统测试方法、装置、设备以及产品

Similar Documents

Publication Publication Date Title
EP3847549B1 (en) Minimizing impact of migrating virtual services
CN110389820B (zh) 一种基于v-TGRU模型进行资源预测的私有云任务调度方法
CN113157379B (zh) 集群节点资源调度方法及装置
CN117130888A (zh) 基于历史数据和机器学习的服务器自动调优方法及系统
CN112685153A (zh) 微服务调度方法、装置以及电子设备
CN115543577B (zh) 基于协变量的Kubernetes资源调度优化方法、存储介质及设备
KR102556093B1 (ko) 전력의 피크 부하를 저감하기 위한 보상 생성 방법 및 그 방법을 수행하는 동작 제어 장치
CN112115322B (zh) 用户分群方法、装置、电子设备及存储介质
CN113515382B (zh) 云资源的分配方法、装置、电子设备及存储介质
CN118502918A (zh) 基于人工智能的工作流智能化管理系统
CN117349026A (zh) 一种用于aigc模型训练的分布式算力调度系统
CN116108276A (zh) 基于人工智能的信息推荐方法、装置及相关设备
CN119739535B (zh) 算力资源调度方法、系统及存储介质
CN119003138A (zh) 一种异构多芯协同管理与自动化运维系统
CN119225933A (zh) 一种进程调度方法、装置、设备、介质及计算机程序产品
CN118819870B (zh) 基于云计算实现资源调度方法及系统
CN119149209B (zh) 一种用于ai模型训练的gpu集群数据共享方法
Tuli et al. Optimizing the performance of fog computing environments using ai and co-simulation
CN118250164A (zh) 服务器集群配置参数调整方法及装置
CN114817408B (zh) 调度资源识别方法、装置、电子设备及存储介质
Du et al. OctopusKing: A TCT-aware task scheduling on spark platform
CN112818186A (zh) 信息跟踪方法、装置、电子设备及存储介质
CN119759592B (zh) 多核异构asic计算主板的动态负载均衡方法及系统
CN119576538B (zh) 一种用于分布式算力调度策略优化的智能调度方法及系统
CN117579626B (zh) 基于分布式实现边缘计算下的优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination