CN105471985A - 负载均衡方法及云平台计算方法、云平台 - Google Patents

Abstract

本发明涉及一种负载均衡方法及云平台计算方法、云平台。该负载均衡方法包括：获取每个细粒度任务完成所需资源以及最晚完成时间，并按照最晚完成时间对全部所述细粒度任务进行排序，以获取序列S；获取每个节点的实时负载度，并按照每个节点的实时负载度大小进行排序，以获取序列S1；从所述序列S1内选取节点分配给所述序列S内的每个细粒度任务，所分配的节点需要实时负载度最小，且满足每个细粒度任务完成所需资源的需求。本发明提供的云平台计算方法、云平台基于上述负载均衡方法实现。本发明可以保证节点的负载基本均衡，提高资源的利用率，节约任务的执行时间跨度，实现负载基本衡的目标。

Description

负载均衡方法及云平台计算方法、云平台

技术领域

本发明涉及云计算技术领域，尤其涉及一种负载均衡方法及云平台计算方法、云平台。

背景技术

云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变，是分布式计算(DistributedComputing)、并行计算(ParallelComputing)、效用计算(UtilityComputing)、网络存储(NetworkStorageTechnologies)、虚拟化(Virtualization)、负载均衡(LoadBalance)、热备份冗余(HighAvailable)等传统计算机和网络技术发展融合的产物。云计算是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。云计算平台向用户提供可用的、便捷的、按需的网络访问。用户进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务)，可以在投入很少的管理工作以及与服务供应端很少交互的情况下，快速获取上述资源。

云计算平台需要面对大量的用户，需要根据这些用户的需求提供不同的服务。云计算平台在任务调度和资源分配的过程中，如果选中不能胜任的节点或者负载过重的节点，则会大大降低云计算平台的执行性能。因此如何为不同的用户分配资源以及实现资源的均衡分配是该云计算平台所需要解决的问题。目前解决云计算平台负载均衡方法主要包括静态均衡策略和动态均衡策略两种方式。静态均衡策略利用数学函数调度算法选择节点实现分配、执行任务。但是不能动态地调整云计算平台中节点信息，从而使得部分节点的利用率较低。动态负载均衡策略根据平台当前状态或最近状态决定为每个节点分配任务。如果存在节点任务超载，则将超载任务转移给其它节点处理，从而达到动态均衡的目的。但是，超载任务的转移会给平台带来额外的负担。

发明内容

本发明的其中一个目的在于提供一种负载均衡方法及云平台计算方法、云平台，以解决现有技术中部分节点利用率较低或者部分节点超载进行超载任务转移给平台带来额外负担的技术问题。

为实现上述发明目的，第一方面，本发明实施例提供了一种负载均衡方法，包括：

获取每个细粒度任务完成所需资源以及最晚完成时间，并按照最晚完成时间对全部所述细粒度任务进行排序，以获取序列S；

获取每个节点的实时负载度，并按照每个节点的实时负载度大小进行排序，以获取序列S1；

从所述序列S1内选取节点分配给所述序列S内的每个细粒度任务，所分配的节点需要实时负载度最小，且满足每个细粒度任务完成所需资源的需求。

可选地，所述从所述序列S1内选取节点分配给所述序列S内的每个细粒度任务，所分配的节点需要实时负载度最小，且满足每个细粒度任务完成所需资源的需求的步骤之后，包括：

更新每个节点的实时负载度。

可选地，所述获取每个节点的实时负载度的步骤中采用如下公式获取实时负载度：

$L_{N_j}=\underset{i=0}{\overset{n}{\Σ}}{\mathrm{\δ}}_i{E}_i,$

公式中，为实时负载度；δ_i为权重系数，且0≤δ_i≤1；E_i为第i个计算因素；n为计算因素总数。

第二方面，本发明实施例还提供了一种基于负载均衡的云平台计算方法，包括：

当接收到客户端的服务请求时，云平台根据该服务请求获取相对应的服务；

将该服务分解成相互独立的多个子任务，并利用该多个子任务形成并行处理集群；

对所述并行处理集群进行逻辑解析，以获取多个逻辑任务；

将每个逻辑任务分解成多个细粒度任务；

利用负载均衡方法为每个细粒度任务分配资源；

云平台根据每个细粒度任务的完成情况将分析结果返回至客户端。

可选地，所述负载均衡方法包括：

获取每个细粒度任务完成所需资源以及最晚完成时间，并按照最晚完成时间对全部所述细粒度任务进行排序，以获取序列S；

获取每个节点的实时负载度，并按照每个节点的实时负载度大小进行排序，以获取序列S1；

从所述序列S1内选取节点分配给所述序列S内的每个细粒度任务，所分配的节点需要实时负载度最小，且满足每个细粒度任务完成所需资源的需求。

可选地，所述从所述序列S1内选取节点分配给所述序列S内的每个细粒度任务，所分配的节点需要实时负载度最小，且满足每个细粒度任务完成所需资源的需求的步骤之后，包括：

更新每个节点的实时负载度。

可选地，当接收到上报信息时，该云平台对所述上报信息进行元数据描述，以获取统一格式的数据；

将该统一格式的数据进行存储。

可选地，采用可扩展标记语言XML对所述上报信息进行元数据描述。

第三方面，本发明实施例又提供了一种云平台，基于上文所述的云平台计算方法实现，包括：

数据存储模块，与逻辑处理模块连接，用于上报信息的存储与管理；

数据请求分析模块，分别与客户端、逻辑处理模块和负载均衡模块相连，用于执行以下步骤：当接收到客户端的服务请求时，根据该服务请求获取相对应的服务；

将该服务分解成相互独立的多个子任务，并利用该多个子任务形成并行处理集群；

对所述并行处理集群进行逻辑解析，以获取多个逻辑任务；以及，

将数据分析结果返回客户端；

逻辑处理模块，与数据请求分析模块、数据存储模块以及负载均衡模块连接，用于根据多个逻辑任务访问数据存储模块以获取存储数据，并将存储数据返回数据分析数据请求分析模块；

负载均衡模块，用于执行以下步骤：

获取每个细粒度任务完成所需资源以及最晚完成时间，并按照最晚完成时间对全部所述细粒度任务进行排序，以获取序列S；

获取每个节点的实时负载度，并按照每个节点的实时负载度大小进行排序，以获取序列S1；

从所述序列S1内选取节点分配给所述序列S内的每个细粒度任务，所分配的节点需要实时负载度最小，且满足每个细粒度任务完成所需资源的需求。

可选地，本发明实施例提供的云平台还包括：数据上报分析模块，与客户端和数据存储平台连接，用于当接收到上报信息时，对所述上报信息进行元数据描述，以获取统一格式的数据；并将该统一格式的数据进行存储。

本发明通过细粒度任务分解和时间排序，通过对细粒度任务的逐次资源分配，实现了对云平台各个节点负载情况的平衡。而细粒度任务的时间排序，保证了任务能在规定的时间内完成。本发明可以保证了网络中节点的负载基本均衡，提高了资源的利用率，节约了任务的执行时间跨度，从而实现在云计算环境下安全高效地执行任务，又能够实现系统中负载基本均衡的目标。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1是本发明实施例提供的一种负载均衡方法框图；

图2是本发明实施例提供的一种基于负载均衡的云平台计算方法流程示意图；

图3是本发明实施例提供的一种云平台框图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

第一方面，本发明实施例提供了一种负载均衡方法，如图1所示，包括：

获取每个细粒度任务完成所需资源以及最晚完成时间，并按照最晚完成时间对全部细粒度任务进行排序，以获取序列S；

获取每个节点的实时负载度，并按照每个节点的实时负载度大小进行排序，以获取序列S1；

从序列S1内选取节点分配给序列S内的每个细粒度任务，所分配的节点需要实时负载度最小，且满足每个细粒度任务完成所需资源的需求。

本发明实施例中，假设有m个细粒度任务：s₁,s₂,…s_m，计算每个细粒度任务完成所需资源和最晚完成时间，表示为：s₁(r₁,t₁),s₂(r₂,t₂),…s_m(r_m,t_m)，以及计算所有细粒度任务需要的资源总和R。

实际应用中，节点N_j(j为正整数)每隔一定时间检查自身的实际负载度实际负载度采用以下公式(1)计算：

$L_{N_j}=\underset{i=0}{\overset{n}{\Σ}}{\mathrm{\δ}}_i{E}_i---\left(1\right)$

公式(1)中，为实时负载度；δ_i为权重系数，且0≤δ_i≤1；E_i为第i个计算因素；n为计算因素总数。

例如，本发明一实施例中，实时负载度的计算因素包括：CPU利用率E₁、内存性能E₂、磁盘性能E₃、网络性能E₄和平均响应时间E₅。因此实时负载度计算公式为：

$L_{N_j}=\underset{i=0}{\overset{5}{\Σ}}{\mathrm{\δ}}_i{E}_i.$

为节省节点查询实时负载度所用时间，本发明实施例中，在从序列S1内选取节点分配给序列S内的每个细粒度任务，所分配的节点需要实时负载度最小，且满足每个细粒度任务完成所需资源的需求的步骤之后，包括：

更新每个节点的实时负载度。

为保证在规定时间内完成每个细粒度任务，本发明实施例中根据每个细粒度任务的最晚完成时间对所有细粒度任务进行时间次序排序，按照时间次序依次完成每个细粒度任务，从而节约了任务的执行时间跨度。

为提高资源的利用率以及节点的负载均衡，本发明实施例中获取每个节点的实时负载度，根据实时负载度大小对所有节点进行排序。在为每个细粒度任务分配资源的时候，优先将实时负载度较小的节点分配给细粒度任务，可以防止节点的负载不均衡引起的资源利用率低，从而可以保证每个节点的负载均衡。

第二方面，本发明实施例提供了一种基于负载均衡的云平台计算方法，如图2所示，包括：

当接收到客户端的服务请求时，云平台根据该服务请求获取相对应的服务；

将该服务分解成相互独立的多个子任务，并利用该多个子任务形成并行处理集群；

对并行处理集群进行逻辑解析，以获取多个逻辑任务；

将每个逻辑任务分解成多个细粒度任务；

利用负载均衡方法为每个细粒度任务分配资源；

云平台根据每个细粒度任务的完成情况将分析结果返回至客户端。

可选地，负载均衡方法采用上文所述的负载均衡方法实现，在此不再赘述。

不同的云平台之间交互时采用不同格式的数据格式，导致不同结构、不同数据格式的平台之间传递与共离数据时存在一定的障碍。为解决上述问题，实际应用中，本发明还对所接收的上报信息进行统一化管理，包括：

当接收到上报信息时，该云平台对所述上报信息进行元数据描述，以获取统一格式的数据；

将该统一格式的数据进行存储。

实际应用中，本发明实施例中采用可扩展标记语言XML对所述上报信息进行元数据描述。例如，当云存储部分采用分布式文件系统(HadoopDistributedFileSystem，HDFS)构建时，采用XML的资源描述与管理机制，使用XMLSchema文件存储对云平台下元数据分类并进行元数据描述。

第三方面，为体现本发明实施例提供的基于负载均衡的云平台计算方法的优越性，本发明实施例又提供了一种云平台，基于上文所述的云平台计算方法实现，如图3所示，包括：

数据存储模块，与逻辑处理模块连接，用于上报信息的存储与管理；

数据请求分析模块，分别与客户端、逻辑处理模块和负载均衡模块相连，用于执行以下步骤：当接收到客户端的服务请求时，根据该服务请求获取相对应的服务；

将该服务分解成相互独立的多个子任务，并利用该多个子任务形成并行处理集群；

对并行处理集群进行逻辑解析，以获取多个逻辑任务；以及，

将数据分析结果返回客户端；

逻辑处理模块，与数据请求分析模块、数据存储模块以及负载均衡模块连接，用于根据多个逻辑任务访问数据存储模块以获取存储数据，并将存储数据返回数据分析数据请求分析模块；

负载均衡模块，用于执行以下步骤：

获取每个细粒度任务完成所需资源以及最晚完成时间，并按照最晚完成时间对全部细粒度任务进行排序，以获取序列S；

获取每个节点的实时负载度，并按照每个节点的实时负载度大小进行排序，以获取序列S1；

从序列S1内选取节点分配给序列S内的每个细粒度任务，所分配的节点需要实时负载度最小，且满足每个细粒度任务完成所需资源的需求。

实际应用中，本发明实施例提供的云平台还包括：数据上报分析模块，与客户端和数据存储平台连接，用于当接收到上报信息时，对所述上报信息进行元数据描述，以获取统一格式的数据；并将该统一格式的数据进行存储。

本发明实施例中提供的云平台基于上文所述的云平台计算方法实现，因而可以解决同样的技术问题，并取得相同的技术效果，在此不再一一赘述。

综上所述，本发明实施例提供的负载均衡方法及云平台计算方法、云平台，通过细粒度任务分解和时间次序，通过对细粒度任务的逐次资源分配，实现了对云平台各个节点负载情况的平衡。而细粒度任务的时间排序，保证了任务能在规定的时间内完成。本发明提高了资源的利用率，节约了任务的执行时间跨度，并保证了网络中节点的负载基本均衡，达到了既能够在云计算环境下安全高效地执行任务，又能够实现系统中负载基本均衡的目标。

在本发明中，术语“多个”指两个或两个以上，除非另有明确的限定。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种负载均衡方法，其特征在于，包括：

获取每个细粒度任务完成所需资源以及最晚完成时间，并按照最晚完成时间对全部所述细粒度任务进行排序，以获取序列S；

获取每个节点的实时负载度，并按照每个节点的实时负载度大小进行排序，以获取序列S1；

从所述序列S1内选取节点分配给所述序列S内的每个细粒度任务，所分配的节点需要实时负载度最小，且满足每个细粒度任务完成所需资源的需求。

2.根据权利要求1所述的负载均衡方法，其特征在于，所述从所述序列S1内选取节点分配给所述序列S内的每个细粒度任务，所分配的节点需要实时负载度最小，且满足每个细粒度任务完成所需资源的需求的步骤之后，包括：

更新每个节点的实时负载度。

3.根据权利要求1所述的负载均衡方法，其特征在于，所述获取每个节点的实时负载度的步骤中采用如下公式获取实时负载度：

$L_{N_j}=\underset{i=0}{\overset{n}{\Σ}}{\mathrm{\δ}}_i{E}_i,$

公式中，为实时负载度；δ_i为权重系数，且0≤δ_i≤1；E_i为第i个计算因素；n为计算因素总数。

4.一种基于负载均衡的云平台计算方法，其特征在于，包括：

当接收到客户端的服务请求时，云平台根据该服务请求获取相对应的服务；

将该服务分解成相互独立的多个子任务，并利用该多个子任务形成并行处理集群；

对所述并行处理集群进行逻辑解析，以获取多个逻辑任务；

将每个逻辑任务分解成多个细粒度任务；

利用负载均衡方法为每个细粒度任务分配资源；

云平台根据每个细粒度任务的完成情况将分析结果返回至客户端。

5.根据权利要求4所述的云平台计算方法，其特征在于，所述负载均衡方法包括：

获取每个细粒度任务完成所需资源以及最晚完成时间，并按照最晚完成时间对全部所述细粒度任务进行排序，以获取序列S；

获取每个节点的实时负载度，并按照每个节点的实时负载度大小进行排序，以获取序列S1；

从所述序列S1内选取节点分配给所述序列S内的每个细粒度任务，所分配的节点需要实时负载度最小，且满足每个细粒度任务完成所需资源的需求。

6.根据权利要求4所述的云平台计算方法，其特征在于，所述从所述序列S1内选取节点分配给所述序列S内的每个细粒度任务，所分配的节点需要实时负载度最小，且满足每个细粒度任务完成所需资源的需求的步骤之后，包括：

更新每个节点的实时负载度。

7.根据权利要求4所述的云平台计算方法，其特征在于，当接收到上报信息时，该云平台对所述上报信息进行元数据描述，以获取统一格式的数据；

将该统一格式的数据进行存储。

8.根据权利要求7所述的云平台计算方法，其特征在于，采用可扩展标记语言XML对所述上报信息进行元数据描述。

9.一种云平台，基于权利要求4～8任意一项所述的云平台计算方法实现，其特征在于，包括：

数据存储模块，与逻辑处理模块连接，用于上报信息的存储与管理；

数据请求分析模块，分别与客户端、逻辑处理模块和负载均衡模块相连，用于执行以下步骤：当接收到客户端的服务请求时，根据该服务请求获取相对应的服务；

将该服务分解成相互独立的多个子任务，并利用该多个子任务形成并行处理集群；

对所述并行处理集群进行逻辑解析，以获取多个逻辑任务；以及，

将数据分析结果返回客户端；

逻辑处理模块，与数据请求分析模块、数据存储模块以及负载均衡模块连接，用于根据多个逻辑任务访问数据存储模块以获取存储数据，并将存储数据返回数据分析数据请求分析模块；

负载均衡模块，用于执行以下步骤：

获取每个细粒度任务完成所需资源以及最晚完成时间，并按照最晚完成时间对全部所述细粒度任务进行排序，以获取序列S；

获取每个节点的实时负载度，并按照每个节点的实时负载度大小进行排序，以获取序列S1；

从所述序列S1内选取节点分配给所述序列S内的每个细粒度任务，所分配的节点需要实时负载度最小，且满足每个细粒度任务完成所需资源的需求。

10.根据权利要求9所述的云平台，其特征在于，还包括：数据上报分析模块，与客户端和数据存储平台连接，用于当接收到上报信息时，对所述上报信息进行元数据描述，以获取统一格式的数据；并将该统一格式的数据进行存储。