CN103559092B - 异构并行计算结点的峰值功耗控制方法 - Google Patents

Abstract

本发明公开了一种异构并行计算结点的峰值功耗控制方法，目的是动态控制异构并行结点的峰值功耗，尽可能地减少功耗控制对结点执行性能的影响。技术方案是先构建由结点功耗描述文件、结点功耗预算设置子系统、协处理器负载监控子系统、处理器功耗设置子系统组成的异构并行计算结点峰值功耗控制系统；将结点的相关功耗参数记录在结点功耗描述文件中；结点功耗预算设置子系统设置结点功耗预算，协处理器负载监控子系统查询协处理器的实时运行负载W_co，处理器功耗设置子系统设置处理器的功耗阈值。采用本发明可确保计算结点的峰值功耗不会超过用户设定的功耗预算，对计算结点性能影响小，提高了结点的能耗效率。

Description

异构并行计算结点的峰值功耗控制方法

技术领域

本发明涉及计算机领域结点峰值功耗控制方法，具体涉及一种协处理器（Co-processor）异构并行计算（Heterogeneous Parallel Computing）结点的峰值功耗控制方法。

背景技术

大规模并行计算系统功耗巨大，导致供电开销、散热、可靠性、环境污染等一系列问题。这些计算系统由数以万计的计算结点组成，结点功耗控制是实现系统功耗控制的基础。因此，需要对计算结点的功耗加以控制，即将计算结点的运行功耗控制在某一阈值之内。

计算结点内异构并行体系结构是当前高性能计算领域的重要方向，2013年6月发布的全球计算系统性能排行榜（Top500）前10名中即有4个系统采用协处理器加速的结点内异构并行体系结构。

在协处理器异构并行体系结构中，如图1所示，计算结点包含处理器和协处理器两类执行设备，处理器与协处理器的峰值功耗约占整个结点峰值功耗的90%，是峰值功耗控制的主要目标设备。

当前，异构并行计算结点的典型配置是协处理器计算性能比处理器计算性能高1个量级（10倍左右），协处理器能效也比处理器高5倍左右。因此，异构并行计算结点中，协处理器的性能和能效都比处理器高，是异构并行计算任务的执行主体，功耗控制系统应该优先保障协处理器的功耗需求。

目前的功耗控制方法按设备功耗阈值的确定方式进行划分，分为静态阈值和动态阈值两种：静态阈值方法静态确定目标设备的功耗阈值，动态阈值方法则在结点运行过程中动态调节目标设备的功耗阈值。异构并行计算结点中，以处理器为功耗控制的目标设备，如果采用静态阈值方法，则当协处理器运行负载较轻、结点实时功耗低于预算，而处理器处于繁忙状态且是整个结点的性能瓶颈时，静态设置的处理器功耗阈值会导致处理器无法工作在最高性能状态，进而导致不必要的结点性能损失。目前的动态阈值方法都基于设备自身的运行行为来动态调节其功耗阈值。在异构并行计算结点中，处理器和协处理器都是重要的功耗设备，只基于处理器自身的运行行为无法判断协处理器的实时功耗，从而无法准确判断处理器的可用功耗额，也就无法准确调节处理器的功耗阈值。因此，目前的动态阈值方法不适用于异构并行计算结点的功耗控制。

发明内容

本发明要解决的技术问题是如何动态控制异构并行结点的峰值功耗，在确保结点运行功耗不超过结点功耗预算的前提下，尽可能地减少功耗控制对结点执行性能的影响。

本发明异构并行计算结点的峰值功耗控制方法的基本思想是：协处理器的性能和能效都比处理器高。当结点功耗预算无法同时满足处理器和协处理器的功耗需求时，首先保障协处理器的功耗需求，剩余功耗再分配给处理器。即当协处理器负载超过阈值、导致结点功耗需要被控制时，相应地设置处理器功耗阈值，限制处理器的运行功耗；而当协处理器负载低于阈值、结点功耗小于预算时，对处理器功耗不加限制，减少峰值功耗控制对处理器执行性能的影响。

本发明的技术方案为：根据用户设定的结点功耗预算，确定触发结点功耗控制所对应的协处理器负载阈值。实时查询协处理器的运行负载。如果协处理器负载超过阈值，则基于协处理器的当前负载计算协处理器的功耗需求，进而确定处理器的可用功耗配额，并以此配额作为处理器的功耗阈值；如果协处理器运行负载低于阈值，则取消对处理器功耗的控制。

具体技术方案包括如下步骤：

第一步，构建异构并行计算结点峰值功耗控制系统，该系统由结点功耗描述文件、结点功耗预算设置子系统、协处理器负载监控子系统、处理器功耗设置子系统组成。

结点功耗描述文件保存结点的相关功耗参数，共包含6项，分别为处理器最大功耗值（P_MAX_CPU）、协处理器最大功耗值（P_MAX_CO）、协处理器空闲功耗值(P_IDLE_CO)、结点内除处理器和协处理器之外其它所有设备的功耗最大值（P_MAX_OTHER）、结点空闲功耗值（P_IDLE_NODE）、结点最大功耗值（P_MAX_NODE）。

结点功耗预算设置子系统接收用户输入的结点功耗预算值P_budget，读取保存在结点功耗描述文件中的相关功耗参数，计算触发功耗控制所对应的协处理器负载阈值W_co-th，并将P_budget和W_co-th传递给协处理器负载监控子系统。

协处理器负载监控子系统从协处理器利用率查询接口读取协处理器的实时利用率，从结点功耗描述文件读取结点的功耗参数，从结点功耗预算子系统获得P_budget和W_co-th，计算处理器的功耗阈值P_cpu-th，并将P_cpu-th传递给处理器功耗设置子系统。现有的安装在计算结点上的协处理器驱动程序均有实时统计协处理器利用率，并提供协处理器利用率查询接口的功能（如NVidia协处理器的nvidia-smi、AMD协处理器的fglrxinfo、Intel协处理器的micsmc）。协处理器负载监控子系统通过访问协处理器驱动程序提供的协处理器利用率查询接口来读取协处理器的实时利用率。

处理器功耗设置子系统从协处理器负载监控子系统获得P_cpu-th，操作处理器功耗控制接口，设置处理器的功耗阈值。现有处理器（如Intel的Sandy Bridge、Ivy Bridge处理器系列，AMD的Athlon、Opteron处理器系列）都内置了处理器功耗控制支持模块，处理器功耗控制支持模块控制处理器功耗不超过阈值，并向软件提供处理器功耗控制接口，软件可以操作该接口来动态设置处理器的功耗阈值。处理器功耗设置子系统基于功耗控制接口来控制处理器的功耗。

第二步，初始化结点功耗描述文件。查阅异构计算结点的功耗描述手册，获得结点的相关功耗参数，并将这些参数记录在结点功耗描述文件中。

第三步，结点功耗预算设置子系统设置结点功耗预算，方法是：

3.1接收用户设置的P_budget。若P_IDLE_NODE≤P_budget≤P_MAX_NODE，转3.2步；如果P_budget小于P_IDLE_NODE，功耗预算无法满足结点的基本运行需求，结点功耗预算设置子系统向用户返回错误信息，要求用户重新输入，转3.1；如果P_budget大于P_MAX_NODE，则结点功耗预算设置子系统自动设置P_budget为P_MAX_NODE，转3.2步；

3.2初始化处理器功耗阈值设置标记TH_cpu为0。TH_cpu为布尔值变量，取值为0或1，0表示未设置处理器功耗阈值，1表示已设置处理器功耗阈值。

3.3计算P_budget对应的W_co-th，即 $W_{\mathrm{co}-\mathrm{th}}=\frac{P_{\mathrm{budget}}-P\_\mathrm{MAX}\_\mathrm{CPU}-P\_\mathrm{MAX}\_\mathrm{OTHER}-P\_\mathrm{IDLE}\_\mathrm{CO}}{P\_\mathrm{MAX}\_\mathrm{CO}-P\_\mathrm{IDLE}\_\mathrm{CO}};$

第四步，协处理器负载监控子系统查询协处理器的实时运行负载W_co，即所有协处理器核的平均利用率，也即其中，μ_t为协处理器核t的利用率，通过协处理器利用率查询接口查询得到，T为结点中协处理器核的个数；

4.1如果W_co大于W_co-th，则基于W_co计算P_cpu-th，即P_cpu-th=P_budget-(P_IDLE_CO+(P_MAX_CO-P_IDLE_CO)×W_co)-P_MAX_OTHER，转第五步；

4.2如果W_co小于或等于W_co-th，则：

4.2.1如果TH_cpu等于1，则将P_cpu-th值设为-1，转第五步；

4.2.2如果TH_cpu等于0，则检测用户是否输入新的P_budget：

4.2.2.1如果用户输入新的P_budget，转第三步；

4.2.2.2如果用户没有输入新的P_budget，转第四步；

第五步，处理器功耗设置子系统设置处理器的功耗阈值：

5.1如果P_cpu-th等于-1，则操作处理器提供的功耗控制接口，停止功耗控制支持模块对处理器功耗的控制，设置TH_cpu为0，转第四步；

5.2如果P_cpu-th不等于-1，则操作处理器提供的功耗控制接口，设置处理器的功耗阈值为P_cpu-th并设置TH_cpu为1，启动处理器功耗控制支持模块对处理器功耗加以控制，转第四步；所述启动处理器功耗控制支持模块对处理器功耗进行控制的方法是：处理器功耗控制支持模块实时检测处理器功耗P_cpu，若发现P_cpu>P_cpu-th，则将处理器功耗降低为P_cpu-th，确保处理器功耗不超过P_cpu-th。

步骤4.2.2.1、步骤4.2.2.2、步骤5.1和步骤5.2显示本发明是个死循环，因为实际情况就是只要计算结点不关机，结点峰值功耗控制系统就不断地控制结点的实时功耗。除非计算结点关机或断电，本发明才强制停止运转。

采用本发明可以达到如下效果：

1.本发明4.1和5.2对处理器峰值功耗加以控制，确保计算结点的峰值功耗不会超过用户设定的功耗预算。

2.本发明4.2和5.1在协处理器负载较低、结点功耗预算满足了除处理器外所有设备的功耗需求后仍足以满足处理器的最大功耗需求时，对处理器功耗不加控制。并且，本发明第四步在控制结点功耗时，优先保障能效更高的协处理器的功耗需求，并基于协处理器的运行负载来动态调节处理器的功耗阈值。因此本发明在保证结点功耗低于预算的同时，对计算结点性能影响小，提高了结点的能耗效率。

附图说明

图1是本发明第一步构建的峰值功耗控制系统结构示意图。

图2是本发明基于协处理器负载确定处理器功耗阈值示意图。

图3是本发明总体流程图。

具体实施方式

图1是本发明构建的峰值功耗控制系统的结构示意图。异构并行计算结点包含处理器和协处理器两类执行设备。处理器内置功耗控制支持模块，并提供功耗控制接口。结点上协处理器驱动程序实时统计协处理器的利用率，并提供利用率查询接口。峰值功耗控制系统安装在异构并行结点中，在处理器上运行。峰值功耗控制系统包含结点功耗预算子系统、协处理器负载监控子系统和处理器功耗设置子系统三个软件模块，还设计了结点功耗描述文件来保存结点的相关功耗参数。结点功耗预算子系统接收用户输入P_budget，从结点功耗描述文件读取结点功耗参数，计算W_co-th，并将W_co-th传递给协处理器负载监控子系统。协处理器负载监控子系统查询协处理器实时利用率，从结点功耗描述文件读取结点功耗参数，计算P_cpu-th，并将P_cpu-th传递给处理器功耗设置子系统。处理器功耗设置子系统从协处理器负载监控子系统获得P_cpu-th，基于处理器功耗控制接口，设置处理器的功耗阈值。

图2是本发明第4.1步中基于W_co来确定P_cpu-th的示意图。横坐标轴为W_co，取值范围为0～1，纵坐标轴为P_cpu-th。当W_co低于W_co-th时，结点功耗预算可以满足结点的用电需求，无需对处理器功耗加以控制，因此，P_cpu-th值对应的横坐标值从W_co-th开始。当W_co超过W_co-th时，为保障协处理器及结点中除处理器和协处理器之外的其它所有设备获得足够的功耗，并确保结点功耗不超过P_budget，P_cpu-th为P_budget减去协处理器功耗(P_IDLE_CO＋(P_MAX_CO－P_IDLE_CO)×W_co)及结点中其它设备功耗P_MAX_OTHER后的剩余部分，即P_cpu-th=P_budget-(P_IDLE_CO+(P_MAX_CO-P_IDLE_CO)×W_co)-P_MAX_OTHER。结合本发明第4.1步中W_co-th的计算公式，可知当W_co为W_co-th时，P_cpu-th为P_MAX_CPU。

图3是本发明总体的流程图，具体包括：

第一步，构建异构并行计算结点峰值功耗控制系统，包括结点功耗预算设置子系统、协处理器负载监控子系统和处理器功耗设置子系统等三个软件模块。

第二步，初始化结点功耗描述文件。

第三步，结点功耗预算设置子系统接收用户输入的P_budget，判定P_budget合法性，初始化TH_cpu为0，并计算触发结点功耗控制所对应的协处理器负载阈值W_co-th。

第四步，协处理器负载监控子系统查询协处理器利用率，计算W_co，并根据W_co与W_co-th的大小关系选择后续操作：

4.1如果W_co大于W_co-th，计算P_cpu-th，转第五步；

4.2如果W_co小于或等于W_co-th，则根据TH_cpu的当前值，进行不同的操作：

4.2.1如果TH_cpu为1，则将P_cpu-th赋值为-1，并转至第五步；

4.2.2如果TH_cpu为0，则检测用户是否输入新的P_budget：

4.2.2.1如果用户输入新的P_budget，转至第三步；

4.2.2.2如果用户没有输入新的P_budget，转至第四步。

第五步，处理器功耗设置子系统设置处理器的功耗阈值：

5.1如果P_cpu-th等于-1，则操作处理器提供的功耗控制接口，停止功耗控制支持模块对处理器功耗的控制，设置TH_cpu为0，转第四步；

5.2如果P_cpu-th不等于-1，则操作处理器提供的功耗控制接口，设置处理器的功耗阈值为P_cpu-th并设置TH_cpu为1，启动处理器功耗控制支持模块对处理器功耗加以控制，转第四步。

Claims (1)

1.一种异构并行计算结点的峰值功耗控制方法，其特征在于包括以下步骤：

第一步，构建异构并行计算结点峰值功耗控制系统，该系统由结点功耗描述文件、结点功耗预算设置子系统、协处理器负载监控子系统、处理器功耗设置子系统组成；结点功耗描述文件保存结点的相关功耗参数，共包含6项，分别为处理器最大功耗值P_MAX_CPU、协处理器最大功耗值P_MAX_CO、协处理器空闲功耗值P_IDLE_CO、结点内除处理器和协处理器之外其它所有设备的功耗最大值P_MAX_OTHER、结点空闲功耗值P_IDLE_NODE、结点最大功耗值P_MAX_NODE；结点功耗预算设置子系统接收用户输入的结点功耗预算值P_budget，读取保存在结点功耗描述文件中的相关功耗参数，计算触发功耗控制所对应的协处理器负载阈值W_co-th，并将P_budget和W_co-th传递给协处理器负载监控子系统；协处理器负载监控子系统通过访问协处理器驱动程序提供的协处理器利用率查询接口来读取协处理器的实时利用率，从结点功耗描述文件读取结点的功耗参数，从结点功耗预算子系统获得P_budget和W_co-th，计算处理器的功耗阈值P_cpu-th，并将P_cpu-th传递给处理器功耗设置子系统；处理器功耗设置子系统从协处理器负载监控子系统获得P_cpu-th，操作处理器功耗控制接口设置处理器的功耗阈值；

第二步，初始化结点功耗描述文件，查阅异构计算结点的功耗描述手册，获得结点的相关功耗参数，并将这些参数记录在结点功耗描述文件中；

第三步，结点功耗预算设置子系统设置结点功耗预算，方法是：

3.1接收用户设置的P_budget，若P_IDLE_NODE≤P_budget≤P_MAX_NODE，转3.2步；如果P_budget小于P_IDLE_NODE，结点功耗预算设置子系统向用户返回错误信息，要求用户重新输入，转3.1；如果P_budget大于P_MAX_NODE，则结点功耗预算设置子系统自动设置P_budget为P_MAX_NODE，转3.2步；

3.2初始化处理器功耗阈值设置标记TH_cpu为0，TH_cpu为布尔值变量，取值为0或1，0表示未设置处理器功耗阈值，1表示已设置处理器功耗阈值；

3.3计算P_budget对应的W_co-th，即 $W_{\mathrm{co}-\mathrm{th}}=\frac{P_{\mathrm{budget}}-P\_\mathrm{MAX}\_\mathrm{CPU}-P\_\mathrm{MAX}\_\mathrm{OTHER}-P\_\mathrm{IDLE}\_\mathrm{CO}}{P\_\mathrm{MAX}\_\mathrm{CO}-P\_\mathrm{IDLE}\_\mathrm{CO}};$

第四步，协处理器负载监控子系统查询协处理器的实时运行负载W_co，即所有协处理器核的平均利用率，其中，μ_t为协处理器核t的利用率，通过协处理器利用率查询接口查询得到，T为结点中协处理器核的个数；

4.1如果W_co大于W_co-th，则基于W_co计算P_cpu-th，P_cpu-th=P_budget-(P_IDLE_CO+(P_MAX_CO-P_IDLE_CO)×W_co)-P_MAX_OTHER，转第五步；

4.2如果W_co小于或等于W_co-th，则：

4.2.1如果TH_cpu等于1，则将P_cpu-th值设为-1，转第五步；

4.2.2如果TH_cpu等于0，则检测用户是否输入新的P_budget：

4.2.2.1如果用户输入新的P_budget，转第三步；

4.2.2.2如果用户没有输入新的P_budget，转第四步；

第五步，处理器功耗设置子系统设置处理器的功耗阈值：

5.1如果P_cpu-th等于-1，则操作处理器提供的功耗控制接口，停止功耗控制支持模块对处理器功耗的控制，设置TH_cpu为0，转第四步；

5.2如果P_cpu-th不等于-1，则操作处理器提供的功耗控制接口，设置处理器的功耗阈值为P_cpu-th并设置TH_cpu为1，启动处理器功耗控制支持模块对处理器功耗加以控制，转第四步；所述启动处理器功耗控制支持模块对处理器功耗进行控制的方法是：处理器功耗控制支持模块实时检测处理器功耗P_cpu，若发现P_cpu>P_cpu-th，则将处理器功耗降低为P_cpu-th，确保处理器功耗不超过P_cpu-th。