[go: up one dir, main page]

CN106878389B - 用于在云系统中进行资源调度的方法和装置 - Google Patents

用于在云系统中进行资源调度的方法和装置 Download PDF

Info

Publication number
CN106878389B
CN106878389B CN201710005566.7A CN201710005566A CN106878389B CN 106878389 B CN106878389 B CN 106878389B CN 201710005566 A CN201710005566 A CN 201710005566A CN 106878389 B CN106878389 B CN 106878389B
Authority
CN
China
Prior art keywords
scheduling
resource
computing
computing resources
resources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710005566.7A
Other languages
English (en)
Other versions
CN106878389A (zh
Inventor
张慕华
孟宪军
应茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710005566.7A priority Critical patent/CN106878389B/zh
Publication of CN106878389A publication Critical patent/CN106878389A/zh
Priority to US15/862,529 priority patent/US10778807B2/en
Application granted granted Critical
Publication of CN106878389B publication Critical patent/CN106878389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明的目的是提供一种用于在云系统中进行资源调度的方法和装置。根据本发明的方法包括以下步骤：根据云系统中计算资源的稳定性，确定各个计算资源各自的资源优先级；‑在需要进行资源调度时，确定当前作业任务相对应的调度算法；‑基于所述调度算法和当前可用的各个计算资源的资源优先级，进行资源分配。与现有技术相比，本发明具有以下优点：通过对计算资源的优先级进行细分并支持多种调度算法，从而基于多样化的调度算法和资源优先级来进行资源调度，提高了资源调度的灵活性，提升了资源利用率和系统吞吐量。

Description

用于在云系统中进行资源调度的方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种用于在云系统中进行资源调度的方法和装置。
背景技术
随着信息技术的发展，云计算已经渗透到不同计算领域的各个方面。由于存在数据本地共享和资源错峰运行的需求，不同的计算框架越来越有统一到一个PaaS(Platformas a Service)平台的趋势。
基于现有技术的方案，云系统中的调度器在确定计算资源的优先级时一般仅仅描述资源量的大小，而并未对于不同的机器计算能力和稳定性进行描述，并且，基于现有技术的调度器一般仅支持一种调度算法，并基于该调度算法来进行资源分配。在将不同的计算框架进行混合部署(以下简称“混部”)的情况下，对调度器具有以下要求：
1)不同的机器计算能力和稳定性不同，需要为不同机器资源的计算效率进行分类，比如独占磁盘和共享磁盘(或者单盘)，万兆网卡和千兆网卡等分类类型；
2)需要为不同的作为任务制定不同的调度算法。比如MPI作业使用BestFit分配算法，MR和大多数分批处理作业使用NextFit或者WorstFit分配算法。
3)需要对不同延迟敏感度作业的使用的资源级别进行区分：比如高优先级的MR(MapReduce)作业需要使用优先级较高的资源防止单机上运行避让率过高导致作业不稳定。
而基于现有技术的方案由于支持单一的调度算法和机器资源描述方式，无法满足上述要求。
发明内容
本发明的目的是提供一种用于在云系统中进行资源调度的方法和装置。
根据本发明的一个方面，提供了一种用于在云系统中进行资源调度的方法，其中，所述方法包括以下步骤：
-根据云系统中计算资源的稳定性，确定各个计算资源各自的资源优先级；
其中，所述方法包括以下步骤：
-在需要进行资源调度时，确定当前作业任务相对应的调度算法；
-基于所述调度算法和当前可用的各个计算资源的资源优先级，进行资源分配。
根据本发明的一个方面，提供了一种用于在云系统中进行资源调度的调度装置，其中，所述调度装置包括：
用于根据云系统中计算资源的稳定性，确定各个计算资源各自的资源优先级的装置；
其中，所述调度装置包括：
用于在需要进行资源调度时，确定当前作业任务相对应的调度算法的装置；
用于基于所述调度算法和当前可用的各个计算资源的资源优先级，进行资源分配的装置。
与现有技术相比，本发明具有以下优点：通过对计算资源的优先级进行细分并支持多种调度算法，从而基于多样化的调度算法和资源优先级来进行资源调度，提高了资源调度的灵活性，提升了资源利用率和系统吞吐量；并且，在不同的计算框架进行混合部署的情况下，可分别在不同的计算框架中基于特定的调度算法来进行资源调度，以满足多种调度需求；并且，通过与远程调度装置的交互来进行资源调度，方便用户使用特殊的调度算法来进行资源调度，进一步提升了资源调度的灵活性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示意出了根据本发明的一种用于在云系统中进行资源调度的方法流程图；
图2示意出了根据本发明的一种用于在云系统中进行资源调度的调度装置的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
图1示意出了根据本发明的一种用于在云系统中进行资源调度的方法流程图。根据本发明的方法包括步骤S1、步骤S2和步骤S3。
其中，根据本发明的方法通过包含于计算机设备中的调度装置来实现。所述计算机设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述计算机设备包括网络设备。其中，所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
优选地，所述调度装置用于对云系统中的计算资源进行调度。
其中，所述用户设备及网络设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
需要说明的是，所述用户设备、网络设备以及网络仅为举例，其他现有的或今后可能出现的用户设备、网络设备以及网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。
参照图1，在步骤S1中，调度装置根据云系统中计算资源的稳定性，确定各个计算资源各自的资源优先级。
其中，所述计算资源包括各种可在云系统中进行作业的机器或设备。
优选地，根据本发明的方法先通过执行步骤S4(图未示)来确定云系统所采用的资源优先级。
在步骤S4中，调度装置根据计算资源的稳定性，将计算资源分为稳定和不稳定两个等级，并对于该两个等级继续进行分类，以得到分别对应于稳定和不稳定的多个资源优先级。
其中，计算资源的稳定性用于指示计算资源的运行效率，计算资源的运行效率越高其资源优先级越高。
在步骤S1中，调度装置根据云系统所采用的资源优先级，并基于用于指示计算资源的稳定性的相关数据，来确定各个计算资源各自的资源优先级。其中，调度装置可获取各种可反映计算资源的稳定性的数据，诸如设备硬件规格或统计得到的计算速度等等，本领域技术人员可基于实际需求选择合适的数据。
根据本发明的第一示例，调度装置包含于云系统的调度器中。调度装置基于用于指示计算稳定性的相关数据，将资源分成稳定“STABLE”和不稳定“UNSTABLE”两个等级，并对STABLE和UNSTABL两个等级继续按照稳定性的程度分别细分为三个等级，从而得调度装置所采用的6个资源优先级：对应于“STABLE”的STABLE_P0、STABLE_P1、STABLE_P2，以及对应于“UNSTABLE”的UNSTABLE_P0、UNSTABLE_P1、UNSTABLE_P2，其中优先级顺序按P2、P1、P0依次递增，则该6个资源优先级按照由高到低的排序为：STABLE_P0>STABLE_P1>STABLE_P2>UNSTABLE_P0>UNSTABLE_P1>UNSTABLE_P2。调度装置基于该6个资源优先级确定各个计算资源各自的资源优先级。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据云系统中计算资源的稳定性，确定各个计算资源各自的资源优先级的实现方式，均应包含在本发明的范围内。
优选地，调度装置还可基于计算资源所执行的作业任务的优先级来确定计算资源的资源优先级，使得作业优先级越高对应的计算资源的资源优先级越高。
继续参照图1进行说明，在步骤S2中，在需要进行资源调度时，调度装置确定当前作业任务相对应的调度算法。
其中，所述调度算法包括各种用于基于特定的调度需求来对计算资源进行调度的算法。
具体地，调度装置基于预定的多种调度算法和作业任务类型的对应关系，确定当前作业任务相对应的调度算法。
优选地，调度装置基于与当前作业任务对应的调度需求，确定该作业任务相对应的调度算法。
例如，MPI作业需要BestFit分配算法以尽量腾出较大的空间来放下一个计算资源的请求；而对于MR(Map Reduce)作业来说，则采用NextFit或者WorstFit分配算法打散均匀调度，以取得较好的资源利用率。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何在需要进行资源调度时，确定当前作业任务相对应的调度算法的实现方式，均应包含在本发明的范围内。
接着，在步骤S3中，调度装置基于所述调度算法和当前可用的各个计算资源的资源优先级，进行资源分配。
优选地，调度装置在进行资源分配时，将作为任务分配到资源优先级较高的优质计算资源中执行。
优选地，如果当前可用的优质计算资源数量较少，调度装置可将作业任务优先分配给资源优先级较第的计算资源中执行，以取得更高的系统吞吐量。
继续对前述第一示例进行说明，当前可用的计算资源为Stable_P0和Unstable_P0两种资源优先级的计算资源，则调度装置确定Stable_P0的计算资源为相对优质资源，并将作为任务分配至Stable_P0的计算资源中执行。如果优质资源的数量小于预定阈值，则调度装置优先将作为任务分配至Unstable_P0的计算资源中执行，以取得更高的资源量和吞吐量。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何基于所述调度算法和当前可用的各个计算资源的资源优先级，进行资源分配的实现方式，均应包含在本发明的范围内。
优选地，调度装置将属于不稳定等级的计算资源中待执行的一项或多项作业任务预先备份至其他属于稳定等级的计算资源中执行。
其中，所述预先备的操作用于同时在某一号分片任务上运行两个实例来防止慢节点拖慢整个作业的进度。
继续对前述第一示例进行说明，为了防止运行在Unstable_P0资源的task运行缓慢而导致整个作业任务不能结束，调度装置将Unstable_P0中待执行作业任务中的一部分预先备份至Stable_P0、Stable_P1或Stable_P2的计算资源上中执行。
根据本发明的方法，通过对计算资源的优先级进行细分并支持多种调度算法，从而基于多样化的调度算法和资源优先级来进行资源调度，提高了资源调度的灵活性，提升了资源利用率和系统吞吐量。
根据本发明的一个优选实施方案，不同的计算框架混合部署于所述云计算系统，所述方法包括步骤S5(图未示)和步骤S6(图未示)。
在步骤S5中，调度装置分别确定对应于各个计算框架的资源调度规则。
其中，所述资源调度规则用于指示多种作业任务各自所采用的调度算法。
在步骤S6中，调度装置在需要进行资源调度时，分别在不同的计算框架中基于其各自的资源调度对规则和当前可用的各个计算资源的资源优先级进行资源分配。
优选地，调度装置可基于在不同的计算框架中基于重要性或时延敏感程度等因素来确定资源优先级的分类方式，从而在不同的计算框架中采用对应于该计算框架的资源优先级分类来进行调度。
根据本优选实施方案的方法，在不同的计算框架进行混合部署的情况下，可分别在不同的计算框架中基于特定的调度算法来进行资源调度，以满足多种调度需求。
根据本发明的一个优选实施方案，所述方法包括步骤S7(图未示)和步骤S8(图未示)。
在步骤S7中，调度装置将可用计算资源的资源相关信息和作业信息发送至远程调度装置。
其中，所述资源相关信息包括各与可用计算资源相关的信息，例如，可用计算资源的资源优先级、可用计算资源的数量、或计算资源的硬件信息等等。
在步骤S8中，调度装置接收所述远程调度装置反馈的调度结果信息，以基于该调度结果信息进行相应的资源分配。
优选地，调度装置基于用户的设置来执行步骤S7和步骤S8的操作，所述远程调度装置包含于用于所在的设备。
例如，对于云系统的用户user_1，该用户设置使用自身特殊的调度算法。对于一般的用户的作业任务，调度装置采用自身内置的调度算法来进行。而在需要执行与该用户对应的作业任务时，调度装置在步骤S7中将当前可用的计算资源的资源相关信息和作业信息通过远程RPC调度接口发送至该用户user_1所在的设备，并在步骤S8中接收其反馈的调度结果信息，以基于该调度结果信息进行相应的资源分配。
根据本优选实施方案的方法，通过与远程调度装置的交互来进行资源调度，方便用户使用特殊的调度算法来进行资源调度，进一步提升了资源调度的灵活性。
图2示意出了根据本发明的一种用于在云系统中进行资源调度的调度装置的结构示意图。
根据本发明的调度装置包括：用于根据云系统中计算资源的稳定性，确定各个计算资源各自的资源优先级的装置(以下简称“级别确定装置1”)；用于在需要进行资源调度时，确定当前作业任务相对应的调度算法的装置(以下简称“算法确定装置2”)；用于基于所述调度算法和当前可用的各个计算资源的资源优先级，进行资源分配的装置(以下简称“调度执行装置3”)。
级别确定装置1根据云系统中计算资源的稳定性，确定各个计算资源各自的资源优先级。
其中，所述计算资源包括各种可在云系统中进行作业的机器或设备。
优选地，根据本发明的调度装置包括用于根据计算资源的稳定性，将计算资源分为稳定和不稳定两个等级，并对于该两个等级继续进行分类，以得到分别对应于稳定和不稳定的多个资源优先级的装置(图未示，以下简称“分类装置”)。
分类装置根据计算资源的稳定性，将计算资源分为稳定和不稳定两个等级，并对于该两个等级继续进行分类，以得到分别对应于稳定和不稳定的多个资源优先级。
其中，计算资源的稳定性用于指示计算资源的运行效率，计算资源的运行效率越高其资源优先级越高。
级别确定装置1根据云系统所采用的资源优先级，并基于用于指示计算资源的稳定性的相关数据，来确定各个计算资源各自的资源优先级。其中，调度装置可获取各种可反映计算资源的稳定性的数据，诸如设备硬件规格或统计得到的计算速度等等，本领域技术人员可基于实际需求选择合适的数据。
根据本发明的第一示例，调度装置包含于云系统的调度器中。分类装置基于用于指示计算稳定性的相关数据，将资源分成稳定“STABLE”和不稳定“UNSTABLE”两个等级，并对STABLE和UNSTABL两个等级继续按照稳定性的程度分别细分为三个等级，从而得调度装置所采用的6个资源优先级：对应于“STABLE”的STABLE_P0、STABLE_P1、STABLE_P2，以及对应于“UNSTABLE”的UNSTABLE_P0、UNSTABLE_P1、UNSTABLE_P2，其中优先级顺序按P2、P1、P0依次递增，则该6个资源优先级按照由高到低的排序为：STABLE_P0>STABLE_P1>STABLE_P2>UNSTABLE_P0>UNSTABLE_P1>UNSTABLE_P2。级别确定装置1基于该6个资源优先级确定各个计算资源各自的资源优先级。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据云系统中计算资源的稳定性，确定各个计算资源各自的资源优先级的实现方式，均应包含在本发明的范围内。
优选地，级别确定装置1还可基于计算资源所执行的作业任务的优先级来确定计算资源的资源优先级，使得作业优先级越高对应的计算资源的资源优先级越高。
继续参照图2进行说明，在需要进行资源调度时，算法确定装置2确定当前作业任务相对应的调度算法。
其中，所述调度算法包括各种用于基于特定的调度需求来对计算资源进行调度的算法。
具体地，算法确定装置2基于预定的多种调度算法和作业任务类型的对应关系，确定当前作业任务相对应的调度算法。
优选地，算法确定装置2基于与当前作业任务对应的调度需求，确定该作业任务相对应的调度算法。
例如，MPI作业需要BestFit分配算法以尽量腾出较大的空间来放下一个计算资源的请求；而对于MR(Map Reduce)作业来说，则采用NextFit或者WorstFit分配算法打散均匀调度，以取得较好的资源利用率。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何在需要进行资源调度时，确定当前作业任务相对应的调度算法的实现方式，均应包含在本发明的范围内。
接着，调度执行装置3基于所述调度算法和当前可用的各个计算资源的资源优先级，进行资源分配。
优选地，调度执行装置3在进行资源分配时，将作为任务分配到资源优先级较高的优质计算资源中执行。
优选地，如果当前可用的优质计算资源数量较少，调度执行装置3可将作业任务优先分配给资源优先级较第的计算资源中执行，以取得更高的系统吞吐量。
继续对前述第一示例进行说明，当前可用的计算资源为Stable_P0和Unstable_P0两种资源优先级的计算资源，则调度执行装置3确定Stable_P0的计算资源为相对优质资源，并将作为任务分配至Stable_P0的计算资源中执行。如果优质资源的数量小于预定阈值，则调度执行装置3优先将作为任务分配至Unstable_P0的计算资源中执行，以取得更高的资源量和吞吐量。
需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何基于所述调度算法和当前可用的各个计算资源的资源优先级，进行资源分配的实现方式，均应包含在本发明的范围内。
优选地，所述调度装置包括用于的装置(图未示，以下简称“备份装置”)。
备份装置将属于不稳定等级的计算资源中待执行的一项或多项作业任务预先备份至其他属于稳定等级的计算资源中执行。
其中，所述预先备的操作用于同时在某一号分片任务上运行两个实例来防止慢节点拖慢整个作业的进度。
继续对前述第一示例进行说明，为了防止运行在Unstable_P0资源的task运行缓慢而导致整个作业任务不能结束，备份装置将Unstable_P0中待执行作业任务中的一部分预先备份至Stable_P0、Stable_P1或Stable_P2的计算资源上中执行。
根据本发明的方案，通过对计算资源的优先级进行细分并支持多种调度算法，从而基于多样化的调度算法和资源优先级来进行资源调度，提高了资源调度的灵活性，提升了资源利用率和系统吞吐量。
根据本发明的一个优选实施方案，不同的计算框架混合部署于所述云计算系统，所述调度装置包括用于分别确定对应于各个计算框架的资源调度规则的装置(图未示，以下简称“规则确定装置”)，和用于在需要进行资源调度时，分别在不同的计算框架中基于其各自的资源调度对规则和当前可用的各个计算资源的资源优先级进行资源分配的装置(图未示，以下简称“混合调度装置”)。
规则确定装置分别确定对应于各个计算框架的资源调度规则。
其中，所述资源调度规则用于指示多种作业任务各自所采用的调度算法。
在需要进行资源调度时，混合调度装置分别在不同的计算框架中基于其各自的资源调度对规则和当前可用的各个计算资源的资源优先级进行资源分配。
优选地，调度装置可基于在不同的计算框架中基于重要性或时延敏感程度等因素来确定资源优先级的分类方式，从而在不同的计算框架中采用对应于该计算框架的资源优先级分类来进行调度。
根据本优选实施方案的方案，在不同的计算框架进行混合部署的情况下，可分别在不同的计算框架中基于特定的调度算法来进行资源调度，以满足多种调度需求。
根据本发明的一个优选实施方案，所述调度装置包括用于将可用计算资源的资源相关信息和作业信息发送至远程调度装置的装置(图未示，以下简称“发送装置”)，和用于接收所述远程调度装置反馈的调度结果信息的装置(图未示，以下简称“接收装置”)。
发送装置将可用计算资源的资源相关信息和作业信息发送至远程调度装置。
其中，所述资源相关信息包括各与可用计算资源相关的信息，例如，可用计算资源的资源优先级、可用计算资源的数量、或计算资源的硬件信息等等。
接收装置接收所述远程调度装置反馈的调度结果信息，以基于该调度结果信息进行相应的资源分配。
优选地，调度装置基于用户的设置来执行所述发送装置和所述接收装置的操作，所述远程调度装置包含于用于所在的设备。
例如，对于云系统的用户user_1，该用户设置使用自身特殊的调度算法。对于一般的用户的作业任务，调度装置采用自身内置的调度算法来进行。而在需要执行与该用户对应的作业任务时，发送装置将当前可用的计算资源的资源相关信息和作业信息通过远程RPC调度接口发送至该用户user_1所在的设备，并接收装置接收其反馈的调度结果信息，以基于该调度结果信息进行相应的资源分配。
根据本优选实施方案的方案，通过与远程调度装置的交互来进行资源调度，方便用户使用特殊的调度算法来进行资源调度，进一步提升了资源调度的灵活性。
本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个功能或步骤的电路。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种用于在云系统中进行资源调度的方法，其特征在于，所述方法包括以下步骤：
-根据云系统中计算资源的稳定性，以及不同的计算框架中计算资源的重要性或时延敏感程度确定各个计算资源各自的资源优先级，所述稳定性包括设备硬件规格、统计的计算速度中的至少一项；所述不同的计算框架混合部署于所述云系统；
其中，所述方法包括以下步骤：
-在需要进行资源调度时，基于与当前作业任务对应的调度需求，从预定的多种调度算法和作业任务类型的对应关系中，确定当前作业任务相对应的调度算法；
-基于所述调度算法和当前可用的各个计算资源的资源优先级，进行资源分配。
2.根据权利要求1所述的方法，其中，所述方法包括以下步骤：
-根据计算资源的稳定性，将计算资源分为稳定和不稳定两个等级，并对于该两个等级继续进行分类，以得到分别对应于稳定和不稳定的多个资源优先级。
3.根据权利要求2所述的方法，其中，所述方法包括以下步骤：
-将属于不稳定等级的计算资源中待执行的一项或多项作业任务预先备份至其他属于稳定等级的计算资源中执行。
4.根据权利要求1所述的方法，其中，所述方法包括以下步骤：
-分别确定对应于各个计算框架的资源调度规则，其中，所述资源调度规则用于指示多种作业任务各自所采用的调度算法；
-在需要进行资源调度时，分别在不同的计算框架中基于其各自的资源调度规则和当前可用的各个计算资源的资源优先级进行资源分配。
5.根据权利要求1所述的方法，其中，所述方法包括以下步骤：
-将可用计算资源的资源相关信息和作业信息发送至远程调度装置；
-接收所述远程调度装置反馈的调度结果信息，以基于该调度结果信息进行相应的资源分配。
6.一种用于在云系统中进行资源调度的调度装置，其特征在于，所述调度装置包括：
用于根据云系统中计算资源的稳定性，以及不同的计算框架中计算资源的重要性或时延敏感程度确定各个计算资源各自的资源优先级的装置，所述稳定性包括设备硬件规格、统计的计算速度中的至少一项；所述不同的计算框架混合部署于所述云系统；
其中，所述调度装置包括：
用于在需要进行资源调度时，基于与当前作业任务对应的调度需求，从预定的多种调度算法和作业任务类型的对应关系中，确定当前作业任务相对应的调度算法的装置；
用于基于所述调度算法和当前可用的各个计算资源的资源优先级，进行资源分配的装置。
7.根据权利要求6所述的调度装置，其中，所述调度装置包括：
用于根据计算资源的稳定性，将计算资源分为稳定和不稳定两个等级，并对该两个等级继续进行分类，以得到分别对应于稳定和不稳定的多个资源优先级的装置。
8.根据权利要求7所述的调度装置，其中，所述调度装置包括：
-将属于不稳定等级的计算资源中待执行的一项或多项作业任务预先备份至其他属于稳定等级的计算资源中执行。
9.根据权利要求6所述的调度装置，其中，所述调度装置包括：
用于分别确定对应于各个计算框架的资源调度规则，其中，所述资源调度规则用于指示多种作业任务各自所采用的调度算法；
用于在需要进行资源调度时，分别在不同的计算框架中基于其各自的资源调度规则和当前可用的各个计算资源的资源优先级进行资源分配的装置。
10.根据权利要求6所述的调度装置，其中，所述调度装置包括：
-用于将可用计算资源的资源相关信息和作业信息发送至远程调度装置；
-用于接收所述远程调度装置反馈的调度结果信息，以基于该调度结果信息进行相应的资源分配的装置。
CN201710005566.7A 2017-01-04 2017-01-04 用于在云系统中进行资源调度的方法和装置 Active CN106878389B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710005566.7A CN106878389B (zh) 2017-01-04 2017-01-04 用于在云系统中进行资源调度的方法和装置
US15/862,529 US10778807B2 (en) 2017-01-04 2018-01-04 Scheduling cluster resources to a job based on its type, particular scheduling algorithm,and resource availability in a particular resource stability sub-levels

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710005566.7A CN106878389B (zh) 2017-01-04 2017-01-04 用于在云系统中进行资源调度的方法和装置

Publications (2)

Publication Number Publication Date
CN106878389A CN106878389A (zh) 2017-06-20
CN106878389B true CN106878389B (zh) 2020-02-07

Family

ID=59165545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710005566.7A Active CN106878389B (zh) 2017-01-04 2017-01-04 用于在云系统中进行资源调度的方法和装置

Country Status (2)

Country Link
US (1) US10778807B2 (zh)
CN (1) CN106878389B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562528B (zh) * 2017-09-11 2021-06-29 金蝶软件（中国）有限公司 支持多种计算框架的单元化按需计算方法及相关装置
US10956211B2 (en) * 2019-02-25 2021-03-23 GM Global Technology Operations LLC Method and apparatus of allocating automotive computing tasks to networked devices with heterogeneous capabilities
CN110908795B (zh) * 2019-11-04 2022-08-19 深圳先进技术研究院 云计算集群混部作业调度方法、装置、服务器及存储装置
CN111813564B (zh) * 2020-09-11 2020-12-18 北京达佳互联信息技术有限公司 集群资源管理方法、装置及容器集群管理系统
CN112698931B (zh) * 2021-01-12 2022-11-11 北京理工大学 一种云工作流分布式调度系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1993674A (zh) * 2004-03-31 2007-07-04 科威尔公司 多芯架构中的资源管理
CN101271405A (zh) * 2008-05-13 2008-09-24 武汉理工大学 基于QoS约束的双向分级网格资源调度方法
CN103701894A (zh) * 2013-12-25 2014-04-02 浙江省公众信息产业有限公司 动态资源调度方法与系统
CN104657217A (zh) * 2015-02-04 2015-05-27 南京理工大学紫金学院 一种基于非均匀粒度分类的云环境任务调度方法
CN104657205A (zh) * 2014-12-26 2015-05-27 中通服公众信息产业股份有限公司 一种基于虚拟化的视频内容分析方法及系统
CN104765643A (zh) * 2015-03-25 2015-07-08 华迪计算机集团有限公司 实现云计算资源混合调度的方法和系统
CN104869154A (zh) * 2015-04-27 2015-08-26 江务学 统筹资源可信度与用户满意度的分布式资源调度方法
CN105190552A (zh) * 2013-03-14 2015-12-23 高通股份有限公司 执行多个管理程序的系统和方法
CN106027643A (zh) * 2016-05-18 2016-10-12 无锡华云数据技术服务有限公司 一种基于Kubernetes容器集群管理系统的资源调度方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8140791B1 (en) * 2009-02-24 2012-03-20 Symantec Corporation Techniques for backing up distributed data
US9785472B2 (en) * 2010-06-11 2017-10-10 Hewlett Packard Enterprise Development Lp Computing cluster performance simulation using a genetic algorithm solution
US8897802B2 (en) * 2011-07-21 2014-11-25 At&T Mobility Ii Llc Selection of a radio access technology resource based on radio access technology resource historical information
CN103092683B (zh) * 2011-11-07 2017-12-26 Sap欧洲公司 用于数据分析的基于启发式的调度
US20150236977A1 (en) * 2012-11-09 2015-08-20 Hitachi, Ltd. Management computer, computer system, and instance management method
US9678796B2 (en) * 2015-07-24 2017-06-13 Xerox Corporation Methods and systems for determining computational resource requirement

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1993674A (zh) * 2004-03-31 2007-07-04 科威尔公司 多芯架构中的资源管理
CN101271405A (zh) * 2008-05-13 2008-09-24 武汉理工大学 基于QoS约束的双向分级网格资源调度方法
CN105190552A (zh) * 2013-03-14 2015-12-23 高通股份有限公司 执行多个管理程序的系统和方法
CN103701894A (zh) * 2013-12-25 2014-04-02 浙江省公众信息产业有限公司 动态资源调度方法与系统
CN104657205A (zh) * 2014-12-26 2015-05-27 中通服公众信息产业股份有限公司 一种基于虚拟化的视频内容分析方法及系统
CN104657217A (zh) * 2015-02-04 2015-05-27 南京理工大学紫金学院 一种基于非均匀粒度分类的云环境任务调度方法
CN104765643A (zh) * 2015-03-25 2015-07-08 华迪计算机集团有限公司 实现云计算资源混合调度的方法和系统
CN104869154A (zh) * 2015-04-27 2015-08-26 江务学 统筹资源可信度与用户满意度的分布式资源调度方法
CN106027643A (zh) * 2016-05-18 2016-10-12 无锡华云数据技术服务有限公司 一种基于Kubernetes容器集群管理系统的资源调度方法

Also Published As

Publication number Publication date
US20180191861A1 (en) 2018-07-05
CN106878389A (zh) 2017-06-20
US10778807B2 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
CN106878389B (zh) 用于在云系统中进行资源调度的方法和装置
US9571561B2 (en) System and method for dynamically expanding virtual cluster and recording medium on which program for executing the method is recorded
CN110995614B (zh) 一种算力资源分配的方法及装置
CN107239336B (zh) 一种实现任务调度的方法及装置
CN109936604B (zh) 一种资源调度方法、装置和系统
CN107038069B (zh) Hadoop平台下动态标签匹配DLMS调度方法
CN104050045B (zh) 基于磁盘io的虚拟资源分配方法及装置
US9727355B2 (en) Virtual Hadoop manager
CN107222531B (zh) 一种容器云资源调度方法
CN109564528B (zh) 分布式计算中计算资源分配的系统和方法
Sun et al. Rose: Cluster resource scheduling via speculative over-subscription
US10733022B2 (en) Method of managing dedicated processing resources, server system and computer program product
CN109670932B (zh) 信贷数据核算方法、装置、系统和计算机存储介质
CN112860387A (zh) 分布式任务调度方法、装置、计算机设备及存储介质
CN111628887A (zh) 物联网切片资源分配系统、方法、电子设备及存储介质
CN108958942A (zh) 一种分布式系统分配任务方法、调度器和计算机设备
CN112256436B (zh) 资源分配方法、装置、设备及计算机存储介质
CN107203256B (zh) 一种网络功能虚拟化场景下的节能分配方法与装置
CN113626173B (zh) 调度方法、装置及存储介质
US9213575B2 (en) Methods and systems for energy management in a virtualized data center
CN110175078B (zh) 业务处理方法及装置
CN113703930A (zh) 任务调度方法、装置及系统、计算机可读存储介质
CN115378885B (zh) 超融合架构下的虚拟机业务网络带宽管理方法及装置
CN111580937B (zh) 一种面向飞腾多核/众核混合集群的虚拟机自动调度方法
CN113254143A (zh) 虚拟化网络功能网元编排调度方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant