[go: up one dir, main page]

CN114363328B - 一种服务器集群的任务协同方法及系统 - Google Patents

一种服务器集群的任务协同方法及系统 Download PDF

Info

Publication number
CN114363328B
CN114363328B CN202111398173.XA CN202111398173A CN114363328B CN 114363328 B CN114363328 B CN 114363328B CN 202111398173 A CN202111398173 A CN 202111398173A CN 114363328 B CN114363328 B CN 114363328B
Authority
CN
China
Prior art keywords
node
cooperative
task
data
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111398173.XA
Other languages
English (en)
Other versions
CN114363328A (zh
Inventor
卢旸
曹永福
严军荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sunwave Communications Co Ltd
Original Assignee
Sunwave Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sunwave Communications Co Ltd filed Critical Sunwave Communications Co Ltd
Priority to CN202111398173.XA priority Critical patent/CN114363328B/zh
Publication of CN114363328A publication Critical patent/CN114363328A/zh
Application granted granted Critical
Publication of CN114363328B publication Critical patent/CN114363328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1021—Server selection for load balancing based on client or server locations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种服务器集群的任务协同方法及系统，其任务协同方法包括：任务发起节点向控制平面请求发起任务；控制平面根据服务器集群的任务协同节点选择方法选择协同节点；任务发起节点与各协同节点进行数据同步；数据同步完成后，任务发起节点与各协同节点共同执行任务。本发明解决了如何在服务器集群的任务协同中根据服务器节点的空闲情况、服务器节点内同步数据重合情况、服务器节点的稳定性情况为协同任务选择协同服务器节点并以此执行任务协同的技术问题。

Description

一种服务器集群的任务协同方法及系统
技术领域
本发明属于数据传输技术领域，特别是涉及一种服务器集群的任务协同方法及系统。
背景技术
云存储和云计算中计算任务通常需要分散在不同服务器中的大型数据集上的多个节点协作进行处理，称为服务器集群的任务协同。目前的服务器集群的任务协同中通常随机选择节点或选取更新数据量小的节点参与任务。例如公开号为CN112632116U的专利《一种K-CV数据库多节点集群调度的方法、系统、设备及介质》提出将应用终端和调度器通过业务外网连接K-CV数据库集群，将数据库集群之间通过内网进行互联；响应于调度器接收到应用请求，判断请求是否为表查询，响应于请求为表查询，判断请求是否为多表联合查询；响应于请求为多表联合查询，确定请求中待查询的表，并确定每个表版本最高的节点；根据每个表最近一次更新操作的类型确定变化值的类型，并根据变化值的类型计算表更新的数据量；以及从每个表版本最高的节点中选择更新的数据量最小的节点作为计算节点，将其他节点的表同步至计算节点，并基于计算节点执行多表联合查询。
上述技术应用于数据库多节点集群调度，选取更新数据量最小的节点进行调度。但是上述方法仅考虑更新数据量的大小，而不考虑节点空闲情况、节点内的数据分布情况、稳定性情况，无法保证后续服务器集群的任务协同效率。目前没有在服务器集群的任务协同中根据服务器节点的空闲情况、服务器节点内同步数据重合情况、服务器节点的稳定性情况为协同任务选择协同服务器节点并以此执行任务协同的方法。
为此，提出一种服务器集群的任务协同方法及系统。
发明内容
本发明为了解决上述问题，提出一种服务器集群的任务协同方法及系统。
本发明的一种服务器集群的任务协同节点选择方法，其特征在于，包括：
根据任务发起节点周围节点空闲度和/或节点距离和/或节点内保留数据量计算节点协同支撑性值并根据节点协同支撑性值选择满足任务所需计算量的一个或多个节点作为协同节点。
优选地，所述节点空闲度包括节点在预设时间段内的任务执行次数、节点内的空闲计算资源量、节点在预设时间段内的空闲时间比例的任一项或多项组合；所述节点距离包括节点与任务发起节点的直线距离、节点与任务发起节点的传输距离、节点与任务发起节点传输路线的通畅加权距离的任一项或多项组合；所述节点内保留数据量包括节点内保留的数据总量、节点内保留的与本次任务数据相关的数据量、节点内保留的非本次任务数据的数据量、节点内保留的非本次任务数据的数据量比例的任一项或多项组合。
优选地，所述根据任务发起节点周围节点空闲度和/或节点距离和/或节点内保留数据量计算节点协同支撑性值，包括步骤：
根据节点一定时间段内的任务执行次数和/或节点内的空闲计算资源量和/或节点一定时间段内的空闲时间比例计算节点的空闲权重值；
根据节点与任务发起节点的直线距离和/或节点与任务发起节点的传输距离和/或节点与任务发起节点传输路线的通畅加权距离计算节点的传输权重值；
根据节点内保留的数据总量和/或节点内保留的与本次任务数据相关的数据量和/或节点内保留的非本次任务数据的数据量和/或节点内保留的非本次任务数据的数据量比例计算节点的数据权重值；
根据节点的空闲权重值和/或节点的传输权重值和/或节点的数据权重值计算节点协同支撑性值。
本发明的一种服务器集群的任务协同节点选择方法，其特征在于，包括：
根据任务所需同步数据和任务发起节点周围节点存储数据的重合比例计算节点协同数据重合度并根据节点协同数据重合度选择满足任务所需计算量的一个或多个节点作为协同节点。
优选地，所述根据节点协同数据重合度选择满足任务所需计算量的一个或多个节点作为协同节点，包括步骤：
将任务发起节点周围的节点按照协同数据重合度从大到小的顺序排列；
依次获取各节点的剩余计算量并累加得到协同计算量；
当协同计算量大于或等于任务所需计算量时，协同计算量所对应的一个或多个节点作为协同节点。
本发明的一种服务器集群的任务协同节点选择方法，其特征在于，包括：
根据任务发起节点周围节点与任务发起节点的历史协同数据和/或节点的历史故障数据计算节点协同稳定性值并根据节点协同稳定性值选择满足任务所需计算量的一个或多个节点作为协同节点。
优选地，所述根据任务发起节点周围节点与任务发起节点的历史协同数据和/或节点的历史故障数据计算节点协同稳定性值，包括步骤：
根据任务发起节点周围节点与任务发起节点的历史协同次数和/或历史协同时间和/或历史协同频率计算节点的历史协同指示值；
根据任务发起节点周围节点的历史故障次数和/或历史故障率和/或协同任务中断次数和/或协同任务中断时间计算节点的历史故障指示值；
根据节点的历史协同指示值和/或节点的历史故障指示值计算节点协同稳定性值。
本发明的一种服务器集群的任务协同节点选择方法，其特征在于，包括：
根据如上所述的节点协同支撑性值和/或如上所述的节点协同数据重合度和/或如上所述的节点协同稳定性值计算任务发起节点周围节点协同权重值并根据节点协同权重值选择满足任务所需计算量的一个或多个节点作为协同节点。
本发明的一种服务器集群的任务协同方法，其特征在于，包括：
任务发起节点向控制平面请求发起任务；
控制平面根据上述的任一方法选择协同节点；
任务发起节点与各协同节点进行数据同步；
数据同步完成后，任务发起节点与各协同节点共同执行任务。
一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序被处理器执行时使计算机执行上述方法。
一种服务器集群的任务协同系统，其特征在于包括：
控制平面；
任务发起节点；
协同节点；
存储器；
以及
一个或多个程序，其中所述一个或多个程序被存储在存储器中，并且被配置成由所述控制平面和/或任务发起节点和/或协同节点执行，所述程序使计算机执行上述方法。
本发明的方法及系统具有的优点是：
(1)根据任务发起节点周围的节点空闲度和/或节点距离和/或节点内保留数据量计算节点协同支撑性值并以此选择协同节点，可以有效反映任务发起节点周围的节点对本次协同任务的支撑能力。
(2)根据任务所需同步数据和任务发起节点周围节点存储的数据计算节点协同数据重合度并以此选择协同节点，可以有效提高协同任务中数据同步的效率。
(3)根据任务发起节点周围节点与任务发起节点的历史协同数据和/或节点的历史故障数据计算节点协同稳定性值并以此选择协同节点，可以有效反映周围节点在历史多次协同任务下的稳定性，避免不稳定节点对协同任务的干扰。
(4)根据节点协同支撑性值和/或如节点协同数据重合度和/或节点协同稳定性值计算任务发起节点周围节点协同支撑性值并以此选择协同节点，可以有效选择对本次协同任务支撑性强、数据同步效率高、稳定性强的节点作为协同节点，提高协同任务的效率和稳定性。
附图说明
图1是本发明实施例的一种服务器集群的任务协同节点选择方法流程图。
图2是本发明实施例的一种服务器集群的任务协同方法流程图。
图3是一种服务器集群的任务协同系统的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明的一种服务器集群的任务协同节点选择的实施例，其特征在于，包括：
根据任务发起节点周围节点空闲度和/或节点距离和/或节点内保留数据量计算节点协同支撑性值并根据节点协同支撑性值选择满足任务所需计算量的一个或多个节点作为协同节点。
优选地，所述节点空闲度包括节点预设时间段内的任务执行次数、节点内的空闲计算资源量、节点预设时间段内的空闲时间比例的任一项或多项组合。本实施中，不同光互联中心网络对应的节点类型不同，其空闲度也不同，节点空闲度包括节点预设时间段内的任务执行次数、节点内的空闲计算资源量、节点预设时间段内的空闲时间比例的任一项或多项组合。
优选地，所述节点距离包括节点与任务发起节点的直线距离、节点与任务发起节点的传输距离、节点与任务发起节点传输路线的通畅加权距离的任一项或多项组合。本实施中，不同光互联中心网络对应的服务器节点类型不同，其与其他节点的距离指标形式也不同，节点距离包括节点与任务发起节点的直线距离、节点与任务发起节点的传输距离、节点与任务发起节点传输路线的通畅加权距离的任一项或多项组合。所述传输路线的通畅加权距离是根据传输路线的分段长度和每段的通畅系数加权计算传输路线的通常加权距离，路线越通畅，则通畅加权距离越短。
优选地，所述节点内保留数据量包括节点内保留的数据总量、节点内保留的与本次任务数据相关的数据量、节点内保留的非本次任务数据的数据量、节点内保留的非本次任务数据的数据量比例的任一项或多项组合。本实施中，不同光互联中心网络对应的服务器节点类型不同，各服务器节点内由于之前任务残留的数据或由于网络备份留存的数据不同，节点内保留的数据也不同。节点内保留数据量包括节点内保留的数据总量、节点内保留的与本次任务数据相关的数据量、节点内保留的非本次任务数据的数据量、节点内保留的非本次任务数据的数据量比例的任一项或多项组合。
优选地，所述根据任务发起节点周围节点空闲度和/或节点距离和/或节点内保留数据量计算节点协同支撑性值，包括步骤：
根据节点一定时间段内的任务执行次数和/或节点内的空闲计算资源量和/或节点一定时间段内的空闲时间比例计算节点的空闲权重值；
根据节点与任务发起节点的直线距离和/或节点与任务发起节点的传输距离和/或节点与任务发起节点传输路线的通畅加权距离计算节点的传输权重值；
根据节点内保留的数据总量和/或节点内保留的与本次任务数据相关的数据量和/或节点内保留的非本次任务数据的数据量和/或节点内保留的非本次任务数据的数据量比例计算节点的数据权重值；
根据节点的空闲权重值和/或节点的传输权重值和/或节点的数据权重值计算节点协同支撑性值。
本实施例中，所述根据节点一定时间段内的任务执行次数和/或节点内的空闲计算资源量和/或节点一定时间段内的空闲时间比例计算节点的空闲权重值，是：根据节点一定时间段内的任务执行次数与节点的空闲权重值的负相关关系计算节点的空闲权重值、根据节点内的空闲计算资源量与节点的空闲权重值的正相关关系计算节点的空闲权重值、根据节点一定时间段内的空闲时间比例与节点的空闲权重值的正相关关系计算节点的空闲权重值、根据上述任两项或三项的加权和或乘积计算节点的空闲权重值的任一项，用变量u表示。
所述根据节点与任务发起节点的直线距离和/或节点与任务发起节点的传输距离和/或节点与任务发起节点传输路线的通畅加权距离计算节点的传输权重值，是：根据节点与任务发起节点的直线距离与节点的传输权重值的负相关关系计算节点的传输权重值、根据节点与任务发起节点的传输距离与节点的传输权重值的负相关关系计算节点的传输权重值、根据节点与任务发起节点传输路线的通畅加权距离(路线越通畅，则通畅加权距离越短)与节点的传输权重值的正相关关系计算节点的传输权重值、根据上述任两项或三项的加权和或乘积计算节点的传输权重值的任一项，用变量v表示。
所述根据节点内保留的数据总量和/或节点内保留的与本次任务数据相关的数据量和/或节点内保留的非本次任务数据的数据量和/或节点内保留的非本次任务数据的数据量比例计算节点的数据权重值，是：根据节点内保留的数据总量与节点的数据权重值的负相关关系计算节点的数据权重值、根据节点内保留的与本次任务数据相关的数据量或比例与节点的数据权重值的正相关关系计算节点的数据权重值、根据节点内保留的非本次任务数据的数据量与节点的数据权重值的负相关关系计算节点的数据权重值、根据节点内保留的非本次任务数据的数据量比例与节点的数据权重值的负相关关系计算节点的数据权重值、根据上述任两项或三项或四项的加权和或乘积计算节点的数据权重值的任一项，用变量w表示。
所述根据节点的空闲权重值和/或节点的传输权重值和/或节点的数据权重值计算节点协同支撑性值是根据节点协同支撑性值与节点的空闲权重值和/或节点的传输权重值和/或节点的数据权重值的正相关关系计算节点协同支撑性值，节点协同支撑性值用变量a表示。
上述A1～A7表示计算节点协同支撑性值的不同实施方式，其中上述涉及的节点的空闲权重值u、节点的传输权重值v、节点的数据权重值w采用上述实施方式中的公式得到。
表A计算节点协同支撑性值的不同实施方式
所述根据节点协同支撑性值选择满足任务所需计算量的一个或多个节点作为协同节点，包括步骤：
将任务发起节点周围的节点按照协同支撑性值从大到小的顺序排列；
依次获取各节点的剩余计算量并累加得到协同计算量；
当协同计算量大于或等于任务所需计算量时，协同计算量所对应的一个或多个节点作为协同节点。
另一种优选实施方式中，本发明的一种服务器集群的任务协同节点选择方法，其特征在于，包括：
根据任务所需同步数据和任务发起节点周围节点存储数据的重合比例计算节点协同数据重合度并根据节点协同数据重合度选择满足任务所需计算量的一个或多个节点作为协同节点。
本实施例中，节点协同数据重合度是任务所需同步数据与节点内存储数据重合的数据量与任务所需同步数据总数的比值，节点协同数据重合度用变量b表示。
所述根据节点协同数据重合度选择满足任务所需计算量的一个或多个节点作为协同节点，包括步骤：
将任务发起节点周围的节点按照协同数据重合度从大到小的顺序排列；
依次获取各节点的剩余计算量并累加得到协同计算量；
当协同计算量大于或等于任务所需计算量时，协同计算量所对应的一个或多个节点作为协同节点。
另一种优选实施方式中，本发明的一种服务器集群的任务协同节点选择方法，其特征在于，包括：
根据任务发起节点周围节点与任务发起节点的历史协同数据和/或节点的历史故障数据计算节点协同稳定性值并根据节点协同稳定性值选择满足任务所需计算量的一个或多个节点作为协同节点。
优选地，所述根据任务发起节点周围节点与任务发起节点的历史协同数据和/或节点的历史故障数据计算节点协同稳定性值，包括步骤：
根据任务发起节点周围节点与任务发起节点的历史协同次数和/或历史协同时间和/或历史协同频率计算节点的历史协同指示值；
根据任务发起节点周围节点的历史故障次数和/或历史故障率和/或协同任务中断次数和/或协同任务中断时间计算节点的历史故障指示值；
根据节点的历史协同指示值和/或节点的历史故障指示值计算节点协同稳定性值。
本实施例中，所述根据任务发起节点周围节点与任务发起节点的历史协同次数和/或历史协同时间和/或历史协同频率计算节点的历史协同指示值，是：根据任务发起节点周围节点与任务发起节点的历史协同次数与历史协同指示值的正相关关系计算节点的历史协同指示值、根据任务发起节点周围节点与任务发起节点的历史协同时间的平均值或最大值与历史协同指示值的正相关关系计算节点的历史协同指示值、根据任务发起节点周围节点与任务发起节点的历史协同频率的平均值或最大值与历史协同指示值的正相关关系计算节点的历史协同指示值、根据上述任两项或三项的加权和或乘积计算节点的历史协同指示值的任一项，节点的历史协同指示值用变量m表示。
所述根据任务发起节点周围节点的历史故障次数和/或历史故障率和/或协同任务中断次数和/或协同任务中断时间计算节点的历史故障指示值，是根据任务发起节点周围节点的历史故障次数与历史故障指示值的正相关关系计算节点的历史故障指示值、根据节点的历史故障率与历史故障指示值的正相关关系计算节点的历史故障指示值、根据节点协同任务中断次数与历史故障指示值的正相关关系计算节点的历史故障指示值、根据节点协同任务中断时间与历史故障指示值的正相关关系计算节点的历史故障指示值、根据上述任两项或三项或四项的加权和或乘积计算节点的历史故障指示值的任一项，节点的历史故障指示值用变量n表示。
所述根据节点的历史协同指示值和/或节点的历史故障指示值计算节点协同稳定性值是根据节点协同稳定性值与节点的历史协同指示值的正相关关系和/或节点协同稳定性值与节点的历史故障指示值的负相关关系计算节点协同稳定性值，节点协同稳定性值用变量c表示。
表B中B1～B3表示计算节点协同稳定性值c的不同实施方式，其中表A中涉及的节点的历史协同指示值m、节点的历史故障指示值n采用上述实施方式中的计算公式计算。
表B计算节点协同稳定性值的不同实施方式
所述根据节点协同稳定性值选择满足任务所需计算量的一个或多个节点作为协同节点，包括步骤：
将任务发起节点周围的节点按照协同稳定性值从大到小的顺序排列；
依次获取各节点的剩余计算量并累加得到协同计算量；
当协同计算量大于或等于任务所需计算量时，协同计算量所对应的一个或多个节点作为协同节点。
另一种优选实施方式中，本发明的一种服务器集群的任务协同节点选择方法，流程图如图1所示，包括：
根据任务发起节点周围的节点空闲度和/或节点距离和/或节点内保留数据量计算节点协同支撑性值；
根据任务所需同步数据和任务发起节点周围节点存储数据的重合比例计算节点协同数据重合度；
根据任务发起节点周围节点与任务发起节点的历史协同数据和/或节点的历史故障数据计算节点协同稳定性值；
根据节点协同支撑性值和/或节点协同数据重合度和/或节点协同稳定性值计算任务发起节点周围节点协同权重值并根据节点协同权重值选择满足任务所需计算量的一个或多个节点作为协同节点。
本实施例中，根据表A中任一项计算得到节点协同支撑性值a；根据任务所需同步数据与节点内存储数据重合的数据量与任务所需同步数据总数的比值计算得到节点协同数据重合度b；根据表B中任一项计算得到节点协同稳定性值c；
所述根据节点协同支撑性值和/或节点协同数据重合度和/或节点协同稳定性值计算任务发起节点周围节点协同权重值是根据节点协同权重值与节点协同支撑性值和/或节点协同数据重合度和/或节点协同稳定性值的正相关关系计算节点协同权重值，节点协同权重值用变量x表示。
表C中C1～C7表示计算节点协同权重值的不同实施方式，其中表C中涉及的节点协同支撑性值a、节点协同数据重合度b、节点协同稳定性值c采用上述实施方式中的公式得到。
表C计算节点协同权重值的不同实施方式
所述根据节点协同权重值选择满足任务所需计算量的一个或多个节点作为协同节点，包括步骤：
将任务发起节点周围的节点按照协同权重值从大到小的顺序排列；
依次获取各节点的剩余计算量并累加得到协同计算量；
当协同计算量大于或等于任务所需计算量时，协同计算量所对应的一个或多个节点作为协同节点。
本发明实施例的一种服务器集群的任务协同方法，流程图如图2所示，包括：
任务发起节点向控制平面请求发起任务；
控制平面选择协同节点；
任务发起节点与各协同节点进行数据同步；
数据同步完成后，任务发起节点与各协同节点共同执行任务。
本实施例中，服务器集群中某个服务器的计算任务需要多个服务器共同执行，想控制平面发送协同请求，控制平面根据上述任一实施例所述的方法选择协同节点(目标服务器)，任务发起节点(根服务器)与各协同节点(目标服务器)进行数据同步，数据同步完成后，任务发起节点与各协同节点共同执行任务。数据同步可以采用全数据广播的方式或对数据进行编码后再广播的方式。
一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序被处理器执行时使计算机执行上述方法。
本发明实施例的一种服务器集群的任务协同系统，结构示意图如图3所示，其特征在于包括：
控制平面；
任务发起节点；
协同节点；
存储器；
以及
一个或多个程序，其中所述一个或多个程序被存储在存储器中，并且被配置成由所述控制平面和/或任务发起节点和/或协同节点执行，所述程序使计算机执行上述方法。
当然，本技术领域中的普通技术人员应当认识到，以上实施例仅是用来说明本发明的，而并非作为对本发明的限定，只要在本发明的范围内，对以上实施例的变化、变型都将落入本发明的保护范围。

Claims (6)

1.一种服务器集群的任务协同节点选择方法，其特征在于，包括：
根据任务发起节点周围的节点空闲度和/或节点距离和/或节点内保留数据量计算节点协同支撑性值；
根据任务所需同步数据和任务发起节点周围节点存储数据的重合比例计算节点协同数据重合度；
根据任务发起节点周围节点与任务发起节点的历史协同数据和/或节点的历史故障数据计算节点协同稳定性值；
根据节点协同支撑性值和/或节点协同数据重合度和/或节点协同稳定性值与节点协同权重值的正相关关系计算任务发起节点周围预设范围内节点协同权重值并根据节点协同权重值选择满足任务所需计算量的一个或多个节点作为协同节点。
2.根据权利要求1所述的服务器集群的任务协同节点选择方法，其特征在于，所述节点空闲度包括节点在预设时间段内的任务执行次数、节点内的空闲计算资源量、节点在预设时间段内的空闲时间比例的任一项或多项组合；所述节点距离包括节点与任务发起节点的直线距离、节点与任务发起节点的传输距离、节点与任务发起节点传输路线的通畅加权距离的任一项或多项组合；所述节点内保留数据量包括节点内保留的数据总量、节点内保留的与本次任务数据相关的数据量、节点内保留的非本次任务数据的数据量、节点内保留的非本次任务数据的数据量比例的任一项或多项组合。
3.根据权利要求1所述的服务器集群的任务协同节点选择方法，其特征在于，所述根据任务发起节点周围内的节点空闲度和/或节点距离和/或节点内保留数据量计算节点协同支撑性值，包括步骤：
根据节点一定时间段内的任务执行次数和/或节点内的空闲计算资源量和/或节点一定时间段内的空闲时间比例计算节点空闲权重值；
根据节点与任务发起节点的直线距离和/或节点与任务发起节点的传输距离和/或节点与任务发起节点传输路线的通畅加权距离计算节点传输权重值；
根据节点内保留的数据总量和/或节点内保留的与本次任务数据相关的数据量和/或节点内保留的非本次任务数据的数据量和/或节点内保留的非本次任务数据的数据量比例计算节点数据权重值；
根据节点的空闲权重值和/或节点的传输权重值和/或节点的数据权重值计算节点协同支撑性值。
4.根据权利要求1所述的服务器集群的任务协同节点选择方法，其特征在于，所述根据任务发起节点周围节点与任务发起节点的历史协同数据和/或节点的历史故障数据计算节点协同稳定性值，包括步骤：
根据任务发起节点周围节点与任务发起节点的历史协同次数和/或历史协同时间和/或历史协同频率计算节点的历史协同指示值；
根据任务发起节点周围节点的历史故障次数和/或历史故障率和/或协同任务中断次数和/或协同任务中断时间计算节点的历史故障指示值；
根据节点的历史协同指示值和/或节点的历史故障指示值计算节点协同稳定性值。
5.一种服务器集群的任务协同方法，其特征在于，包括：
任务发起节点向控制平面请求发起任务；
控制平面根据如权利要求1所述的方法选择协同节点；
任务发起节点与各协同节点进行数据同步；
数据同步完成后，任务发起节点与各协同节点共同执行任务。
6.一种服务器集群的任务协同系统，其特征在于包括：
控制平面；
任务发起节点；
协同节点；
存储器；
以及
一个或多个程序，其中所述一个或多个程序被存储在存储器中，并且被配置成由所述控制平面和/或任务发起节点和/或协同节点执行，所述程序使计算机执行如权利要求1-5任一项所述的方法。
CN202111398173.XA 2021-11-19 2021-11-19 一种服务器集群的任务协同方法及系统 Active CN114363328B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111398173.XA CN114363328B (zh) 2021-11-19 2021-11-19 一种服务器集群的任务协同方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111398173.XA CN114363328B (zh) 2021-11-19 2021-11-19 一种服务器集群的任务协同方法及系统

Publications (2)

Publication Number Publication Date
CN114363328A CN114363328A (zh) 2022-04-15
CN114363328B true CN114363328B (zh) 2024-02-20

Family

ID=81096025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111398173.XA Active CN114363328B (zh) 2021-11-19 2021-11-19 一种服务器集群的任务协同方法及系统

Country Status (1)

Country Link
CN (1) CN114363328B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108667878A (zh) * 2017-03-31 2018-10-16 北京京东尚科信息技术有限公司 服务器负载均衡方法及装置、存储介质、电子设备
CN109039933A (zh) * 2018-08-14 2018-12-18 郑州云海信息技术有限公司 一种集群网络优化方法、装置、设备及介质
CN110851429A (zh) * 2019-11-21 2020-02-28 嘉兴学院 一种基于影响力自适应聚合的边缘计算可信协同服务方法
CN111459670A (zh) * 2020-03-30 2020-07-28 中科边缘智慧信息科技（苏州）有限公司 一种在边缘计算不同层次进行协同处理的方法
CN111711702A (zh) * 2020-08-18 2020-09-25 北京东方通科技股份有限公司 一种基于通信拓扑的分布式协同交互方法及系统
CN112000388A (zh) * 2020-06-05 2020-11-27 国网江苏省电力有限公司信息通信分公司 基于多边缘集群协同的并发任务调度方法及装置
CN112272203A (zh) * 2020-09-18 2021-01-26 苏州浪潮智能科技有限公司 一种集群业务节点选择方法、系统、终端及存储介质
CN112559187A (zh) * 2020-12-22 2021-03-26 杭州电子科技大学 一种移动边缘计算服务器动态分配任务方法及系统
CN112804665A (zh) * 2021-01-13 2021-05-14 浙江传媒学院 基于d2d协同计算网络构建方法
CN113434248A (zh) * 2021-06-17 2021-09-24 中国科学院电子学研究所苏州研究院 一种面向容器云的任务协同调度系统及其方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2373192T3 (es) * 2007-10-19 2012-02-01 Koninklijke Philips Electronics N.V. Selección rápida de nodos cooperativos.
KR101771257B1 (ko) * 2010-12-03 2017-08-25 엘지전자 주식회사 다중 노드 시스템에서 협력 전송 방법 및 장치

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108667878A (zh) * 2017-03-31 2018-10-16 北京京东尚科信息技术有限公司 服务器负载均衡方法及装置、存储介质、电子设备
CN109039933A (zh) * 2018-08-14 2018-12-18 郑州云海信息技术有限公司 一种集群网络优化方法、装置、设备及介质
CN110851429A (zh) * 2019-11-21 2020-02-28 嘉兴学院 一种基于影响力自适应聚合的边缘计算可信协同服务方法
CN111459670A (zh) * 2020-03-30 2020-07-28 中科边缘智慧信息科技（苏州）有限公司 一种在边缘计算不同层次进行协同处理的方法
CN112000388A (zh) * 2020-06-05 2020-11-27 国网江苏省电力有限公司信息通信分公司 基于多边缘集群协同的并发任务调度方法及装置
CN111711702A (zh) * 2020-08-18 2020-09-25 北京东方通科技股份有限公司 一种基于通信拓扑的分布式协同交互方法及系统
CN112272203A (zh) * 2020-09-18 2021-01-26 苏州浪潮智能科技有限公司 一种集群业务节点选择方法、系统、终端及存储介质
CN112559187A (zh) * 2020-12-22 2021-03-26 杭州电子科技大学 一种移动边缘计算服务器动态分配任务方法及系统
CN112804665A (zh) * 2021-01-13 2021-05-14 浙江传媒学院 基于d2d协同计算网络构建方法
CN113434248A (zh) * 2021-06-17 2021-09-24 中国科学院电子学研究所苏州研究院 一种面向容器云的任务协同调度系统及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Mobile Wireless Multimedia Sensor Networks Image Compression Task Collaboration Based on Dynamic Alliance";He Li;《 IEEE Access》;全文 *
"移动边缘计算网络中任务调度与资源配置的协同优化研究";李雨晴;《中国博士学位论文全文数据库 信息科技辑》;全文 *

Also Published As

Publication number Publication date
CN114363328A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
US20050055446A1 (en) Incremental run-time session balancing in a multi-node system
CN108021435B (zh) 一种基于截止时间的具有容错能力的云计算任务流调度方法
AU2004266017B2 (en) Hierarchical management of the dynamic allocation of resources in a multi-node system
CN105956481B (zh) 一种数据处理方法及其装置
CN112540841B (zh) 任务调度的方法、装置、处理器与电子设备
CN110109756A (zh) 一种网络靶场构建方法、系统及存储介质
CN104063501B (zh) 基于hdfs的副本平衡方法
CN115562870B (zh) 一种集群的任务节点资源构建方法
CN103457870B (zh) 用于分布式系统的负载均衡及高可用性子系统及方法
CN112799839A (zh) 请求处理方法、装置、计算机可读存储介质及电子设备
CN115297008A (zh) 基于智算网络的协同训练方法、装置、终端及存储介质
CN111245924A (zh) 负载均衡方法及装置、计算机存储介质
CN114726871A (zh) 一种数据同步方法、装置和网络系统
CN107092649A (zh) 一种面向实时流计算的无感知拓扑替换方法
CN114363328B (zh) 一种服务器集群的任务协同方法及系统
CN115408122B (zh) 一种去中心化的分布式并行计算框架及计算方法
CN117041182A (zh) 分布式组件的主服务器节点选择方法、装置、设备及介质
CN101695081A (zh) 一种网络服务的可信任务调度方法
CN110138863B (zh) 基于Multi-Paxos分组的自适应一致性协议优化方法
WO2017162075A1 (zh) 任务调度方法和装置
CN114647701A (zh) 分布式数据库的负载均衡方法、装置、电子设备及介质
CN113886066A (zh) 一种有限资源下大计算任务规划方法及系统
CN111736968A (zh) 配电系统云数据中心计算资源优化配置方法、装置、设备及介质
CN111488333A (zh) 数据处理方法及装置、存储介质和电子设备
CN115277710B (zh) 资源管理方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant