CN111140911A - 一种智能楼宇综合供暖设备的调控方法 - Google Patents

Abstract

本发明公开了一种智能楼宇综合供暖设备的调控方法，包括以下步骤：构建供暖设备调控的室内温度的状态集合；根据供暖设备功率的集合，构建供暖设备调控的动作集合；根据能源价格和目标温度，构建供暖设备调控的立即回报函数；根据Q‑Learning算法训练动作值函数，直至得到供暖热备的最优调控策略。本发明采用Q‑Learning方法解决智能楼宇内不同类型供暖设备的调控问题，平衡考虑用户满意度和供热成本，实现了无需建立准确物理模型的前提下进行供暖设备的调控，同时算法简单，易于实现，对处理单元的硬件要求低。

Description

一种智能楼宇综合供暖设备的调控方法

技术领域

本发明涉及综合能源系统领域，尤其涉及一种智能楼宇综合供暖设备的调控方法。

背景技术

近年来，随着化石能源逐渐短缺，环境问题日益恶化，急需建设一种可持续发展、清洁环保、安全高效的现代能源体系。在此背景下，综合能源系统应运而生，其有助于可持续能源规模化开发，有助于传统一次能源利用效率提升，有助于实现社会能源可持续发展。综合能源系统已成为国际上能源领域未来重要的发展方向，也必将成为我国未来能源系统的主要形态。

综合能源系统可以向用户提供冷、热、电等多种能源，目前研究多集中于提高能源在生产、传输、转换过程中的效率，但是提高用户的能源使用效率也同样重要。在一个大型的密闭环境中，往往有多台供暖设备同时运行，并且供热的方式也不尽相同，比如电炉是在用户侧将电能转换为热能，而直供暖是直接购买热能源。对于不同位置的多台不同类型的供暖设备如何分配其功率，维持室温、的同时，降低能源的购买成本对于用户具有巨大意义。

现阶段关于能源购买成本最小的问题，多是建立能源的成本函数然后采用优化算法求出最优解。但是对于室内供暖问题，多台不同类型供暖设备功率的制暖效果往往难以精确地建立数学模型，因此，需要一种更为高效实用的能源配置方法，以解决对智能楼宇内不同类型的供暖设备进行调控的技术问题。

发明内容

本发明公开了一种智能楼宇综合供暖设备调控方法，以解决对智能楼宇内不同类型的供暖设备进行调控的技术问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

一种智能楼宇综合供暖设备的调控方法，包括以下步骤：

构建供暖设备调控的室内温度的状态集合；

根据供暖设备功率的集合，构建供暖设备调控的动作集合；

根据能源价格和目标温度，构建供暖设备调控的立即回报函数；

根据Q-Learning算法训练动作值函数，直至得到供暖热备的最优调控策略。

可选地，所述室内温度的状态集合为：

S＝{T_min,T_min+ΔT,...,T_min+(N-1)*ΔT}；

其中，T_min为室内温度离散后的最小值，ΔT为两个相邻温度状态间的差值，N为室内温度离散后的状态数，T_max为室内温度离散后的最大值，T_max＝T_min+(N-1)*ΔT。

可选地，每个供暖设备功率的集合进一步包括：

或

其中，A_p,i,e表示第i台电炉设备分配电功率的动作集合，

表示第i台电炉分配的电功率的最小值，

表示第i台电炉分配的两个相邻电功率间的差值；A_p,j,h表示第j台直供暖设备分配热功率的动作集合，

表示第j台直供暖设备分配的热功率的最小值，

表示第j台直供暖设备分配的两个相邻热功率间的差值。

可选地，所述构建供暖设备调控的动作集合进一步包括：

A＝A_p,1,e*A_p,i,e*...*A_p,n,e*A_p,1,h*A_p,j,h*...*A_p,m,h，

其中，A_p,1,e表示第1台电炉设备分配电功率的动作集合，A_p,i,e表示第i台电炉设备分配电功率的动作集合，A_p,n,e表示第n台电炉设备分配电功率的动作集合，A_p,1,h表示第1台直供暖设备分配热功率的动作集合，A_p,j,h表示第j台直供暖设备分配热功率的动作集合，A_p,m,h表示第m台直供暖设备分配热功率的动作集合。

可选地，构建供暖设备调控的立即回报函数进一步包括：

其中，T为室内温度，T′为目标温度，

为第i台电炉分配的电功率，

为第j台直供暖设备分配的热功率，q_e为单位电价，q_h为单位热价，λ为多目标平衡系数。

可选地，基于Q-Learning算法计算最优调控策略进一步包括，动作值函数的更新规则可以为：

Q(S_t,A_t)←Q(S_t,A_t)+α[R_t+1+γmax_aQ(S_t+1,a)-Q(S_t,A_t)]；

其中，α为学习率，γ为折现因子，t为当前的迭代次数，A_t为第t次迭代时的动作，S_t为第t次迭代时的状态，S_t+1为第(t+1)次迭代时的状态，a为第(t+1)次迭代时的动作。

可选地，构建供暖设备调控的室内温度的状态集合之前还包括，输入能源价格和调控的目标温度。

可选地，构建供暖设备调控的立即回报函数进一步包括：构建供暖设备调控的立即回报函数进一步包括：|T-T′|为调控温度与目标温度的差值，用于体现用户取暖的舒适度，其中，T为室内温度，T′为目标温度。

可选地，构建供暖设备调控的立即回报函数进一步包括：

为用户取暖的成本，用于体现取暖的经济性，

为第i台电炉分配的电功率，

为第j台直供暖设备分配的热功率，q_e为单位电价，q_h为单位热价，λ为多目标平衡系数。

可选地，学习率越小，收敛的最优值越理想，收敛速度越慢。

本发明公开了一种智能楼宇综合供暖设备的调控方法，构建供暖设备调控的室内温度的状态集合；根据供暖设备功率的集合，构建供暖设备调控的动作集合；根据能源价格和目标温度，构建供暖设备调控的立即回报函数；根据Q-Learning算法训练动作值函数，直至得到供暖热备的最优调控策略。本发明采用Q-Learning方法解决智能楼宇内不同类型供暖设备的调控问题，平衡考虑用户满意度和供热成本，实现了无需建立准确物理模型的前提下进行供暖设备的调控，同时算法简单，易于实现，对处理单元的硬件要求低。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明一种智能楼宇综合供暖设备的调控方法的算法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种智能楼宇综合供暖设备的调控方法，包括以下步骤：

S1：构建供暖设备调控的室内温度的状态集合；

S2：根据供暖设备功率的集合，构建供暖设备调控的动作集合；

S3：根据能源价格和目标温度，构建供暖设备调控的立即回报函数；

S4：根据Q-Learning算法训练动作值函数，直至得到供暖热备的最优调控策略。

本发明实施例的研究内容为智能楼宇内综合供暖设备的最优调控问题，用户采暖的首要目标是使室内温度达到目标温度，室内温度偏离目标温度越大，认为效果越差。

本发明实施例主要是在综合考虑用户取暖舒适度与取暖成本的前提下，进行取暖设备的功率调控，由于功率大小的设置很大程度上取决于当时的室内温度，因此，选取室内温度作为Q-learning算法的状态变量，由于Q-learning算法的状态量需满足离散的要求，现将室内温度离散为N种状态。则S1中的室内温度的状态集合为：

S＝{T_min,T_min+ΔT,...,T_min+(N-1)*ΔT}；

其中，T_min为室内温度离散后的最小值，ΔT为两个相邻温度状态间的差值，N为室内温度离散后的状态数，T_max为室内温度离散后的最大值，T_max＝T_min+(N-1)*ΔT。

用户进行能源配置时，需要决定每一台供暖设备消耗的功率，假设室内有m台电炉设备，有n台直供暖设备，第i台电炉的分配的电功率为

第j台直供暖设备的分配的热功率为

即需要决定

与

的大小，决定依据为动作值函数的大小，其中i∈1,2,...,m，j∈1,2,...,n。由于Q-learning算法的限制，动作集合也同样要进行离散化，将每个供暖设备的功率均离散化为M个状态，则每个供暖设备功率的集合如下：

或

其中，A_p,i,e表示第i台电炉设备分配电功率的动作集合，

表示第i台电炉分配的电功率的最小值，

表示第i台电炉分配的两个相邻电功率间的差值；A_p,j,h表示第j台直供暖设备分配热功率的动作集合，

表示第j台直供暖设备分配的热功率的最小值，

表示第j台直供暖设备分配的两个相邻热功率间的差值。因此，S2中供暖设备总体调控的动作集如下：

A＝A_p,1,e*A_p,i,e*...*A_p,n,e*A_p,1,h*A_p,j,h*...*A_p,m,h，

其中，A_p,1,e表示第1台电炉设备分配电功率的动作集合，A_p,i,e表示第i台电炉设备分配电功率的动作集合，A_p,n,e表示第n台电炉设备分配电功率的动作集合，A_p,1,h表示第1台直供暖设备分配热功率的动作集合，A_p,j,h表示第j台直供暖设备分配热功率的动作集合，A_p,m,h表示第m台供暖设备分配热功率的动作集合。

用户在进行采暖的能源分配时，不仅希望目标温度与实际温度的差值最小，同时希望达到目标温度时所花费的成本最少。S3中构建供暖设备调控的立即回报函数可以为：

其中，T为室内温度，T′为目标温度，

为第i台电炉分配的电功率，

为第j台直供暖设备分配的热功率，q_e为单位电价，q_h为单位热价，λ为多目标平衡系数。

在立即回报函数中，|T-T′|为调控温度与目标温度的差值，体现出用户取暖的舒适度；

为用户取暖的成本，体现出取暖的经济性，负号表示温度调节偏差越大或者采暖成本越高，则回报值越小，立即回报函数的回报值会影响下一次分配的功率大小。

用户需要根据动作值函数Q(S_t,A_t)来决定取暖功率如何分配，动作值函数的更新规则如下：

Q(S_t,A_t)←Q(S_t,A_t)+α[R_t+1+γmax_aQ(S_t+1,a)-Q(S_t,A_t)]；

其中，α为学习率，γ为折现因子，t为当前的迭代次数，A_t为第t次迭代时的动作，S_t为第t次迭代时的状态，S_t+1为第(t+1)次迭代时的状态，a为第(t+1)次迭代时的动作。在本实施例中，学习率越小，收敛的最优值越理想，但是收敛速度变慢；反之学习率越大，收敛速率越快，但是收敛结果与全局最优解偏离越大。

S4中根据Q-Learning算法训练动作值函数，训练动作值函数的伪代码如表1所示：

Q-Learning算法

给每一个动作值函数Q(s,a)赋任意初值

循环一个样本序列直至其收敛：

假设初始化状态为：S₁

循环每一个时间步骤，其中第t次步骤为：

随机选择行动a_r∈A，

a_*＝argmax_a(Q(s,a))，即a_*为目前已知最优行动

产生一个随机数ξ∈(0,1)，

如果ξ＜2^-t/100，其中t表示第t次循环

A_t＝a_r，A_t为第t次循环选择的动作

否则

A_t＝a_*，A_t为第t次循环选择的动作

选择动作A_t，收到立即回报R，并且观察新的环境状态S_t+1，

Q(S_t,A_t)←Q(S_t,A_t)+α[R+γmax_aQ(S_t+1,a)-Q(S,A_t)]，其中a∈A

直到S_t+1为样本序列的最后一个状态，结束循环

结束循环

表1

按照Q-Learning算法来不断学习和训练，最终得到一个趋于真实的动作值函数。以后在已知状态为s的情况下，可以通过动作值函数的大小来选择具体执行哪个动作，最优动作为argmax_aQ(s,a)。

综合能源系统蓬勃发展，多种能源间的优化配置成为研究热点，但针对用户侧在多能源间最佳用能的研究还较少，且多以建立实际的物理模型为主。但是由于实际情况十分复杂，建立精确的物理模型后再用数学方法求解优化问题十分困难。因此，本发明实施例采用Q-Learning方法解决智能楼宇内不同类型供暖设备的调控问题，具有不需要建立精确的物理模型，求解简单等优点。

本发明一种智能楼宇综合供暖设备的调控方法的另一实施例为：

某用户在室内拥有三台取暖设备，其中有一台电炉和两台直供暖设备，若该用户需要将温度维持在20℃-21℃之间，已知电价为0.5元/千瓦时，热价为0.3元/千瓦时。采用本申请中的Q-Learning算法来求解这三台设备上功率的最优分配。

S100：构建供暖设备调控的状态集合；

设置室内温度的状态值，调控结果中最小的温度为18℃，最高为22℃，简单起见，只取5种状态，ΔT＝1℃，状态集合为S＝{18,19,20,21，22}。其中18表示18℃-19℃(不含19℃)这一温度范围，其余状态同理。实际中，用户可以增加状态数目，提高调控精度。

S200：构建供暖设备调控的动作集合；

电炉设备的用电功率选择为30KW，40KW，50KW；第一台直供暖设备的热功率选择为30KW，40KW，50KW；第二台直供暖设备的热功率也选择为30KW，40KW，50KW。

则三台取暖设备的动作集合分别为：

A_p,1_,e＝{30,40,50}，A_p,1_,h＝{30,40,50},A_p,2_,h＝{30,40,50}。实际应用中，用户可以根据自己取暖设备的额定功率来设定动作集合，并且可以增加每一个取暖设备可行的动作数目。

S300：构建供暖设备调控的立即回报函数；

本实施例中λ取0.1。对于具体问题，若用户更看重经济性，λ可以取值较大；若用户更看重取暖的舒适程度，λ可以取值较小。若一次调控结束后室温为T′，则立即回报函数为：R＝-(|T-20|+0.1*(0.5*P_1,e+0.3*P_1,h+0.3*P_2,h))，式中P_1,e∈A_p,_1,e，P_1,h∈A_p,_1,h，P_2,h∈A_p,_2,h。

S400：基于Q-Learning算法计算最优策略。

算法中的学习率可以取0.3，折现因子可以取0.8，需要按照Q-Learning算法来不断学习，最终得到一个趋于真实的动作值函数。以后在已知状态为s的情况下，可以通过动作值函数的大小来选择具体执行哪个动作，最优动作为argmax_aQ(s,a)。学习过程的更新规则为：

Q(S_t,A_t)←Q(S_t,A_t)+0.3*[R+0.8*max_a Q(S_t+1,a)-Q(S_t,A_t)]，

其中，R为按照S300中的计算方法得到的立即回报函数值。

本发明实施例针对现阶段关于智能楼宇供暖设备调控的问题，现有技术中大部分是针对一种能源利用形式的供暖设备进行建模，而没有考虑多种供暖设备的情形，本发明实施例建立了电供热和直供热两种供暖设备混合的情形下的智能楼宇供暖设备调控模型。

现阶段对供暖设备调控的研究多是建立供暖设备的成本函数以及具体的供热效果数学模型，然后采用优化算法求出最优解，但是对于室内供暖问题，多台不同类型供暖设备功率的制暖效果往往难以精确地建立数学模型，此种情况采用采用强化学习方法求解能源配置更为实用。本发明实施例公开了一种基于Q-learning的智能楼宇综合供暖设备的调控方法，平衡考虑用户满意度和供热成本，实现了无需建立准确物理模型的前提下进行供暖设备的调控，同时算法简单，易于实现，对处理单元的硬件要求低。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种智能楼宇综合供暖设备的调控方法，其特征在于，包括以下步骤：

构建供暖设备调控的室内温度的状态集合；

根据供暖设备功率的集合，构建供暖设备调控的动作集合；

根据能源价格和目标温度，构建供暖设备调控的立即回报函数；

根据Q-Learning算法训练动作值函数，直至得到供暖热备的最优调控策略。

2.根据权利要求1所述的智能楼宇综合供暖设备的调控方法，其特征在于，所述室内温度的状态集合为：

S＝{T_min,T_min+ΔT,...,T_min+(N-1)*ΔT}；

其中，T_min为室内温度离散后的最小值，ΔT为两个相邻温度状态间的差值，N为室内温度离散后的状态数，T_max为室内温度离散后的最大值，T_max＝T_min+(N-1)*ΔT。

3.根据权利要求1所述的智能楼宇综合供暖设备的调控方法，其特征在于，每个供暖设备功率的集合进一步包括：

或

其中，A_p,i,e表示第i台电炉设备分配电功率的动作集合，

表示第i台电炉分配的电功率的最小值，ΔP_i ^e表示第i台电炉分配的两个相邻电功率间的差值；A_p,j,h表示第j台直供暖设备分配热功率的动作集合，

表示第j台直供暖设备分配的热功率的最小值，

表示第j台直供暖设备分配的两个相邻热功率间的差值。

4.根据权利要求1所述的智能楼宇综合供暖设备的调控方法，其特征在于，所述构建供暖设备调控的动作集合进一步包括：

A＝A_p,1,e*A_p,i,e*...*A_p,n,e*A_p,1,h*A_p,j,h*...*A_p,m,h，

其中，A_p,1,e表示第1台电炉设备分配电功率的动作集合，A_p,i,e表示第i台电炉设备分配电功率的动作集合，A_p,n,e表示第n台电炉设备分配电功率的动作集合，A_p,1,h表示第1台直供暖设备分配热功率的动作集合，A_p,j,h表示第j台直供暖设备分配热功率的动作集合，A_p,m,h表示第m台直供暖设备分配热功率的动作集合。

5.根据权利要求1所述的智能楼宇综合供暖设备的调控方法，其特征在于，构建供暖设备调控的立即回报函数进一步包括：

其中，T为室内温度，T′为目标温度，P_i ^e为第i台电炉分配的电功率，

为第j台直供暖设备分配的热功率，q_e为单位电价，q_h为单位热价，λ为多目标平衡系数。

6.根据权利要求1所述的智能楼宇综合供暖设备的调控方法，其特征在于，基于Q-Learning算法计算最优调控策略进一步包括，动作值函数的更新规则可以为：

Q(S_t,A_t)←Q(S_t,A_t)+α[R_t+1+γmax_aQ(S_t+1,a)-Q(S_t,A_t)]；

其中，α为学习率，γ为折现因子，t为当前的迭代次数，A_t为第t次迭代时的动作，S_t为第t次迭代时的状态，S_t+1为第(t+1)次迭代时的状态，a为第(t+1)次迭代时的动作。

7.根据权利要求1所述的智能楼宇综合供暖设备的调控方法，其特征在于，构建供暖设备调控的室内温度的状态集合之前还包括，输入能源价格和调控的目标温度。

8.根据权利要求5所述的智能楼宇综合供暖设备的调控方法，其特征在于，构建供暖设备调控的立即回报函数进一步包括：|T-T′|为调控温度与目标温度的差值，用于体现用户取暖的舒适度，其中，T为室内温度，T′为目标温度。

9.根据权利要求5所述的智能楼宇综合供暖设备调控方法，其特征在于，构建供暖设备调控的立即回报函数进一步包括：

为用户取暖的成本，用于体现取暖的经济性，P_i ^e为第i台电炉分配的电功率，

为第j台直供暖设备分配的热功率，q_e为单位电价，q_h为单位热价，λ为多目标平衡系数。

10.根据权利要求6所述的智能楼宇综合供暖设备的调控方法，其特征在于，学习率越小，收敛的最优值越理想，收敛速度越慢。

Images