CN110266350A - 波束分配方法及装置 - Google Patents

Abstract

本申请提供了一种波束分配方法及装置，涉及通信领域，用于对基站发射的波束进行分配。该方法包括：确定系统中各个终端对应的波束集合；其中，波束集合中包括至少一个波束，波束为基站与终端之间满足第一预设条件的波束；利用Q学习算法确定基站的性能满足第二预设条件时各个终端选择的波束；分别将各个终端选择的波束分配给对应的终端进行数据传输。能够将波束选择转换成对应的数据函数，通过计算终端选择不同波束时终端的性能值，计算出基站性能值最大时终端选择的波束，将该波束分配给各个终端进行波束传输，大大提高了基站的传输性能。

Description

波束分配方法及装置

技术领域

本申请涉及通信领域，尤其涉及一种波束分配方法及装置。

背景技术

随着用户对网络资源的需求日益增加，现有的低频段资源已经十分有限，为此人们加强了对毫米波频谱资源的开发利用。毫米波具有频谱资源丰富、波束窄、能量高、方向性强、传输质量高的优点，但同时毫米波衰减较快、通信距离较短，电磁波损耗大，通常需要结合基站侧的大规模多输入多输出(Multiple-Input Multiple-Output，MIMO)技术产生高增益的波束，弥补较大的通信链路损耗。

大规模MIMO技术中基站和用户设备之间的通信通常为视距(line of sight，LOS)通信或者只经过一次反射的非视距(not line of sight，NLOS)通信。这种情况下通常采用LOS波束分配方法。即在终端初始接入阶段根据终端和基站之间的视距选择接入波束(即选择基站与终端之间沿直线传播的波束或者只经过少数折射传播的波束)，然后在后续的数据传输过程中，为了节省开销和提高效率，全部在初始选择的波束中进行数据传输。或者根据终端测量到的各个波束的参考信号接收功率(reference signal receiving power，RSRP)，从中选择参考信号接收功率最大的波束进行传输。但是在实际的应用场景中，若多个终端之间的距离较小，则多个终端的波束之间容易发生干扰，甚至产生数据冲突，从而导致基站性能大幅度降低。

发明内容

本申请实施例提供一种波束分配方法及装置，能够将波束选择转换成对应的数据函数，通过计算终端选择不同波束时终端的性能值，计算出基站性能值最大时终端选择的波束，将该波束分配给各个终端进行波束传输，大大提高了基站的传输性能。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供了一种波束分配方法，该方法包括：确定所述通信系统中各个所述终端对应的波束集合；其中，所述波束集合中包括至少一个波束；根据预设规则计算各个所述终端分别从所述对应的波束集合中选择一个波束进行模拟数据传输之后的基站性能；将所述基站的性能满足预设条件时，各个所述终端选择的波束分配给各个所述终端进行数据传输。

第二方面，本申请提供了一种波束分配装置，该装置包括：处理单元，用于确定所述通信系统中各个所述终端对应的波束集合；其中，所述波束集合中包括至少一个波束；所述处理单元，还用于根据预设规则计算各个所述终端分别从所述对应的波束集合中选择一个波束进行模拟数据传输之后的基站性能；所述处理单元，还用于将所述基站的性能满足预设条件时，各个所述终端选择的波束分配给各个所述终端进行数据传输。

第三方面，本申请提供了一种波束分配装置，该装置包括：处理器和存储器；其中，存储器用于存储一个或多个程序，该一个或多个程序包括计算机执行指令，当该波束分配装置运行时，处理器执行该存储器存储的该计算机执行指令，以使该波束分配装置执行上述第一方面及其任意一种实现方式所述的波束分配方法。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得所述计算机执行上述第一方面及其任意一种实现方式所述的波束分配方法。

第五方面，本申请提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面及其任意一种实现方式所述波束分配方法。

本申请实施例提供的波束分配方法，确定所述通信系统中各个所述终端对应的波束集合；其中，所述波束集合中包括至少一个波束；根据预设规则计算各个所述终端分别从所述对应的波束集合中选择一个波束进行模拟数据传输之后的基站性能；将所述基站的性能满足预设条件时，各个所述终端选择的波束分配给各个所述终端进行数据传输。能够将波束选择转换成对应的数据函数，通过计算终端选择不同波束时终端的性能值，计算出基站性能值最大时终端选择的波束，将该波束分配给各个终端进行波束传输，大大提高了基站的传输性能。

附图说明

图1为本申请实施例提供的一种波束分配系统的系统架构图；

图2为本申请实施例提供的一种波束分配方法的流程图一；

图3为本申请实施例提供的一种波束分配方法的流程图二；

图4为本申请实施例提供的Q学习算法波束分配方案与LOS径波束分配方案、干扰消除算法波束分配方案、增强波束选择算法分配方案的基站吞吐量仿真对比图；

图5为本申请实施例提供的Q学习算法波束分配方案与LOS径波束分配方案、干扰消除算法波束分配方案、增强波束选择算法分配方案进行终端传输速率公平性仿真比对图；

图6为本申请实施例提供的一种波束分配装置的结构示意图一；

图7为本申请实施例提供的一种波束分配装置的结构示意图二；

图8为本申请实施例提供的一种波束分配装置的结构示意图三。

具体实施方式

下面将结合附图对本申请提供的波束分配方法及装置进行详细的描述。

本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。

此外，本申请的描述中所提到的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

以下，对本申请涉及的技术进行解释，以方便读者理解：

LOS径波束：基站与终端之间沿直线传播的波束。

NLOS径波束：从基站与终端之间至少经过一次反射的波束。

MIMO天线系统：在发射端和接收端部署多根天线(天线通常为n*n维的方阵阵列天线)，在发射信号时通过将内容分为多份，通过多个不同的天线发射到接收端。由接收端多接收到的信号进行组合得到发射端发送的信号。通过MIMO技术可以使发射端单一天线发送的信号流量大大降低，因此可以提高信号的传送距离和接收范围，提高信号的传输速度，同时还不占用额外的频谱资源。同时，因为每个发射端和接收端之间的信道不同，MIMO技术还可以大大提高发射端的信道容量。

本申请实施例提供的波束分配方法，应用于如图1所示的波束分配系统100中。

如图1所示，所述波束分配系统100中包括基站101和多个终端102。

其中，所述基站101能够发射多个波束，所述终端102能够搜索到至少一个波束，并选择对应的波束进行数据传输。

所述基站101发射的多个波束中，每个终端102均可检测到一个LOS径波束和NS个NLOS径波束，NS为大于等于0的整数。在完成波束分配之后，终端利用选择的波束进行数据传输。

本申请实施例提供了一种波束分配方法，应用于上述波束分配系统100中。用于完成每个终端的最优波束分配，实现基站的性能的最大化。如图2所示，所述方法包括S201-S203：

S201、确定所述通信系统中各个所述终端对应的波束集合。

其中，所述波束集合中包括至少一个波束。

具体为，在本步骤中，可以通过确定每个波束的RSRP。将RSRP满足预设条件的波束组成所述波束集合。具体过程如下：

终端进行波束检测，获取基站发射的至少一个波束。该至少一个波束中包括一个LOS径波束和NS个NLOS径波束，NS为大于等于0的整数。

对检测到的各个波束进行信道估计，得到每个波束的接收信号能量分布(即各个波束的RSRP)。将RSRP大于预设阈值的波束作为备选波束(该备选波束即为上述波束)，组成波束集合。在本步骤的一种可选的实施方式中，无论所述LOS径波束的RSRP是否大于预设阈值，均将该LOS波束放置在波束集合中。

示例性的，该基站为毫米波大规模MIMO基站。该基站正在同时支持K个终端进行数据传输。假设用户采用单天线接收，而基站侧采用大规模MIMO技术进行波束成形传输。基站侧可以形成多个不同方向的窄波束。这些窄波束的宽度一定并且在各自的波束宽度内不重叠的顺序排列。基站的所有窄波束形成的波束集能够实现对3D空间的全覆盖。该波束集可以表示为：

ε＝{e_q|1≤q≤Q}

其中，Q表示基站可以发射波束的总数量，eq表示第q个波束的索引。

基站侧根据发射波束码本集合在不同的时间片内发送不同的定向波束，每个波束覆盖一块的特定区域，同时每个波束还并携带有参考信号。在现有技术中，终端通过波束扫描法确定RSRP值最大的波束为最佳接入波束并报告给基站，完成波束分配。

在本步骤的一种实现方式中。对每个终端来说，从开机到进行数据传输一共经历两个波束选择过程，第一个过程为终端接入网络的过程。该过程中终端通过单边带调制(single-sideband modulation，SSB)宽波束的选择，选择完成之后结束接入网络的过程。终端接入网络之后当终端需要进行数据传输时，通过信道状态信息参考信号(channelstate information reference signals，CSI-RS)进行用户波束的测量和波束的选择。

以进行数据传输的用户波束分配为例，当用户确定多个用户波束作为波束集合之后，将波束集合上报至上述大规模MIMO基站中。在实际的应用场景中。信道会受移动或者静态物体阻塞的影响。同时终端可以检测到多个波束，该多个波束中包括一个LOS径波束和NS个NLOS径波束，N_S为大于等于0的整数。终端选择上报的波束数量越多，最终选择到的波束的传输质量可能越好。

S202、根据预设规则计算各个所述终端分别从所述对应的波束集合中选择一个波束进行模拟数据传输之后的基站性能。

其中，所述预设规则可以为Q学习算法。

具体为，假定终端检测到终端与基站之间存在一个LOS径波束和NS个NLOS径波束。定义为该UE的LOS径波束，为该UE的第c个NLOS径波束。因而第k个UE的备选波束集可以表示为：

其中，NT＝|CSk|＝NS+1，表示备选波束集元素个数。

假设终端侧不采用波束赋形技术，而采用全向接收，不考虑小区间干扰的情况下该系统中第k个终端的数据传输速率为：

r_k＝B·log₂(1+θ_k)

其中，θk为第k个UE接收到的基站发送信号的信噪比，B为信道带宽。

定义基站针对该第k个终端的性能函数(本实施例中选用基站针对该终端的的下行传输速率表示终端的性能)为：uk＝ln(rk)

则本申请中求解基站的性能最佳的问题就转换为求基站针对所有终端的性能函数最大值的问题。

基站性能函数最大值求解如下：

其中，1≤k≤K。

根据上述公式计算各个终端分别选择一个波束之后的基站性能值。

S203、将所述基站的性能满足预设条件时，各个所述终端选择的波束分配给各个所述终端进行数据传输。

其中，所述预设条件可以为基站的性能最大。

具体为，多次计算各个终端分别选择不同波束进行模拟数据传输之后的基站性能值；从中选出基站性能值满足预设条件时各个终端执行的对应的动作。确定各个动作对应的波束的选择。将该各个波束分配给对应的终端由终端利用该波束进行数据传输。保证基站的性能值达到最大。

在本申请实施例的一种实现方式中，可以利用Q学习算法实现上述步骤S202-S203中的基站性能计算和波束选择过程。将基站的性能最佳的问题分解为系统中K个终端并行的波束分配问题。然后利用深度学习中的Q学习算法对系统中K个终端并行的波束分配问题进行求解。如图3所示，该步骤具体可以分为S301-S307：

S301、确定第l动作。

其中，所述第l动作为所述终端选取任一波束进行数据传输的动作；l为大于等于1的整数。将所述每个终端作为Q学习算法中的一个智能体。智能体每选取一个波束进行数据传输为一个动作。

该系统中共有K个智能体。每个智能体对应一个动作集合。以第k个智能体为例，其动作集合可以表示为：

与终端的波束集合中共有N_T个波束对应，该智能体共有N_T个动作。

定义v_kl(1≤l≤N_T)为该智能体选取其备选波束集CS_k中的第l个波束作为其数据发送波束。

确定基站的状态。

其中，基站的状态定义如下：将上述大规模MIMO系统的整体性能作为环境。将环境设定为单状态环境，在智能体执行各个动作的过程中不涉及状态环境的变化(即假设该大规模MIMO系统是稳定的。不受周围环境或者自身设备性能的影响)。

S302、确定所述各个终端分别执行第l动作后的基站的性能值

其中，k表示所述各个终端中的第k个终端，k为大于等于1的整数，v_kl表示所述第k个终端执行所述第l动作。

具体为，确定各个终端执行第l动作后的回报函数。所述回报函数为：智能体执行各个动作之后对基站的环境造成影响值(即终端选择波束传输之后，基站的整体性能将会变化)。

在本申请中，定义智能体执行动作集合中各个对应的动作后对基站的性能产生的影响为回报函数。所以每个智能体执行完对应的动作之后的回报函数即为终端选取波束传输数据之后的基站的性能和。该回报函数可以用下述公式表示：

其中，为回报函数(也是该终端选取第l个波束后的基站的性能)，k表示系统中的第k个终端，K表示该系统中共存在K个终端，l表示该终端波束集合中的第l个波束，NT表示该波束集合中共有NT个波束。

S303、获取所述各个终端对应的Q值表。

其中，所述Q值表中包括预设的各个第l动作对应的Q值t表示对所述Q值进行更新的次数，每更新一次Q值t的取值增加1，t为大于等于0的整数。

所述Q值表的定义如下：Q值表为工作人员预先编写的一张表，每个终端分别对应一个Q值表，每个Q值表中有NT个Q值，每个Q值对应一个动作。在初始阶段Q值表中各个Q值的大小可由工作人员或专家依据经验设置或直接设置为0。之后各个Q值根据Q学习算法的计算结果不断进行更新。

当智能体执行第l个波束对应的动作之后，得到对应的回报函数将该与该Q值表中第l个动作对应的Q值进行比较，对该Q值进行更新得到

S304、对Q值进行更新。

其中，更新后的Q值为所述述第l动作对应的Q值与所述基站的性能值的最大值。

具体为，确定所述第l动作对应的Q值与所述基站的性能值的大小，并令：

其中，t表示基站执行该Q学习算法的第t个周期(基站每执行一次

S301-S306为一个周期)，t为大于等于1的正整数。

对Q值进行更新的原则为当该动作的回报函数大于本周期内该动作的原有Q值时，我们认为本次终端执行该动作与其他终端的并行动作，得到的基站性能和大于之前周期内终端执行该动作其他终端执行另外动作时得到的基站性能和，对Q值进行更新，此时的基站性能优于之前的基站性能。将原有Q值更新为新得到的回报函数。如此循环执行直到Q值收敛(趋近于一个最大的不发生变化的值)时，即得到基站性能和最大时的波束分配方案。

当该动作的回报函数小于本周期内该动作的原有Q值时，不对Q值进行更新，即忽略掉基站性能小于之前周期的动作。

在传统的计算方法中，的计算公式一般如下式所示：

其中，表示基站因终端选择波束以外的因素引起的基站环境状态变化。由于本申请中基站的环境为单状态环境所以所述上述公式可以简化为：

S305、将替换Q值表中的

也即Q值表中的Q值只有在新得到的回报函数大于当前的Q值时才会进行更新。

S306、根据预设动作选取规则确定第l+1动作，并对上述S1-S4中的l取值加1。

在系统中的K个终端并行执行完一次动作选取之后，为各个终端选取下一步的动作。

其中，所述预设规则包括：在本申请实施例中，采用ε贪婪策略作为动作选取准则。具体为：

生成随机数。确定所述随机数与预设系数的大小。若所述随机数大于所述预设系数，则选择Q值表中最大的Q值对应的动作作为第l+1动作。若所述随机数小于所述预设系数，则随机选取一个动作作为第l+1动作。

该过程具体可以实现为，首先生成一个随机数x_k，x_k∈[0,1]。比较该随机数与预设系数ε的大小关系；其中ε∈(0，1)。

如果x_k＜ε，就从V_k中任选一个作为第l+1动作，如果x_k＞ε，则选取Q值表中当前最大的Q值对应的动作作为第l+1动作。根据该方法，可以在求得基站最优性能的同时极大的减少计算量。

S307、重复执行上述S302-S306，直到Q值收敛，确定各个所述终端执行当前动作时选择的波束，将各个所述终端执行当前动作时选择的波束分配给各个所述终端进行数据传输。

本申请实施例提供的波束分配方法，确定所述通信系统中各个所述终端对应的波束集合；其中，所述波束集合中包括至少一个波束；根据预设规则计算各个所述终端分别从所述对应的波束集合中选择一个波束进行模拟数据传输之后的基站性能；将所述基站的性能满足预设条件时，各个所述终端选择的波束分配给各个所述终端进行数据传输。能够将波束选择转换成对应的数据函数，通过计算终端选择不同波束时终端的性能值，计算出基站性能值最大时终端选择的波束，将该波束分配给各个终端进行波束传输，大大提高了基站的传输性能。同时本申请实施例提供的波束分配方法还可以兼顾各个终端之间的公平性。避免出现基站总体性能较好但是针对部分终端的性能较差。

在本申请实施例的一种实现方式中，可以通过MATLAB对上述得到的分配方案进行仿真，验证通过本申请实施例得到的分配方案相比较与现有技术中的波束分配方法在基站吞吐量以及终端之间的公平性的提升。具体仿真过程如下：

选取毫米波大规模MIMO系统单小区，基站频段为28GHz，带宽100MHz，小区半径为50米，基站位于小区的中心，各个终端在基站的覆盖范围内均匀分布。基站侧采用3D波束赋形模型，可以打出48个波束实现全覆盖，水平方向12个，垂直4个，贪婪系数ε选择为0.1。

将本申请实时例提供的利用Q学习算法进行波束分配的方案与传统的LOS径波束分配方案、干扰波束消除算法进行波束分配的方案、增强波束选择算法进行波束分配的方案进行基站吞吐量的对比，结果如图4所示。

从图4可以看出，随着系统中终端数量的不断增加，本申请实施例提供的利用Q学习算法进行波束分配的方案对基站吞吐量(单位Gbit/s)的提升越来越明显。

传统的LOS径波束分配方案、干扰波束消除算法进行波束分配的方案、增强波束选择算法进行波束分配的方案在终端数量增加到20左右时，由于各个终端进行数据发送时，在波束之间产生极强的干扰。终端的平均传输速率随着终端数量的增加而下降。基站的总吞吐量(下行传输速率)趋于恒定值。

而本申请提供的利用Q学习算法进行波束分配的方案着眼于系统全局。能够为各个终端分配合适的波束进行数据传输。使各个终端之间产生的干扰较少。基站的总吞吐量(或下行传输速率、吞吐量)随着终端数量的增加而不断增加。

可见，本申请提供的技术方案能够极大的避免终端之间的数据传输干扰和波束分配冲突，为基站选择最优的波束分配方案。极大的提高基站的性能。

然后对各个终端之间的公平性进行仿真。定义各个终端的下行速率传输公平参数Raj Jain，具体计算方式如下：

该传输公平参数的取值范围为(0,1]，参数值越接近0各个终端之间的公平性越差，参数值越接近1各个终端之间的公平性越好。

将本申请实时例提供的利用Q学习算法进行波束分配的方案与传统的LOS径波束分配方案、干扰波束消除算法进行波束分配的方案、增强波束选择算法进行波束分配的方案进行终端之间的公平性的比对。结果如图5所示。

从图5中可以看出，传统的LOS径波束分配方案、干扰波束消除算法进行波束分配的方案、增强波束选择算法进行波束分配的方案在终端数量增加时传输公平参数下降较快，也即各个终端之间的传输公平收到的影响较大。而本申请提供的利用Q学习算法进行波束分配的方案的传输公平参数下降明显慢于上述方案。各个终端之间始终能保持较好的传输公平性。

可见，本申请提供的利用Q学习算法进行波束分配的方案着眼于全局最优化，不仅能调整发生冲突的波束，还可以从全局角度调度不同UE的数据发送波束，让每个UE在其备选波束集中选择最合适的波束，从而获得最优的传输效率，具有最好的终端传输速率公平性。

本申请实施例可以根据上述方法示例对功率调整装置进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

如图6所示，本申请实施例提供了一种波束分配装置，应用于上述波束分配系统100中。用于执行前述波束分配方法，所述装置包括：

处理单元601，用于确定所述通信系统中各个所述终端对应的波束集合；其中，所述波束集合中包括至少一个波束。

所述处理单元601，还用于根据预设规则计算各个所述终端分别从所述对应的波束集合中选择一个波束进行模拟数据传输之后的基站性能。

所述处理单元601，还用于将所述基站的性能满足预设条件时，各个所述终端选择的波束分配给各个所述终端进行数据传输。

可选的，所述处理单元601，还用于执行如下步骤：确定第l动作；其中，所述第l动作为所述终端选取任一波束进行数据传输的动作，l为大于等于1的整数；

S1、确定所述各个终端分别执行第l动作后的基站的性能值其中，k表示所述各个终端中的第k个终端，k为大于等于1的整数，v_kl表示所述第k个终端执行所述第l动作。

S2、获取所述各个终端对应的Q值表，其中，所述Q值表中包括预设的各个第l动作对应的Q值其中，t表示对所述Q值进行更新的次数，每更新一次Q值t的取值增加1，t为大于等于0的整数。

S3、确定所述第l动作对应的Q值与所述基站的性能值的大小，并令：

将所述作为所述基站从所述对应的波束集合中选择一个波束进行模拟数据传输之后的基站性能。

可选的，所述处理单元601，还用于执行如下步骤：

S4、将替换Q值表中的

S5、根据预设动作选取规则确定第l+1动作，并对上述S1-S4中的l取值加1。

重复执行上述S1-S5，直到Q值收敛，确定各个所述终端执行当前动作时选择的波束。

将各个所述终端执行当前动作时选择的波束分配给各个所述终端进行数据传输。

可选的，所述处理单元601，还用于：生成随机数。确定所述随机数与预设系数的大小。若所述随机数大于所述预设系数，则选择Q值表中最大的Q值对应的动作作为第l+1动作。若所述随机数小于所述预设系数，则随机选取一个动作作为第l+1动作。

可选的，在图6的基础上，如图7所示，所述装置还包括获取单元701；其中，获取单元701，用于获取基站发送的至少一个波束。所述处理单元601，还用于确定每个波束的参考信号接收功率RSRP。所述处理单元601，还用于将RSRP满足预设条件的波束组成所述波束集合。

图8示出了上述实施例中所涉及的波束分配装置的又一种可能的结构示意图。该波束分配装置包括：处理器802和通信接口803。处理器802用于对波束分配装置的动作进行控制管理，例如，执行上述处理单元601执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信接口803用于支持波束分配装置与其他网络实体的通信，例如，执行上述获取单元701执行的步骤，和/或用于执行本文所描述的技术的其它过程。波束分配装置还可以包括存储器801和总线804，存储器801用于存储波束分配装置的程序代码和数据。

其中，存储器801可以是波束分配装置中的存储器等，该存储器可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。

上述处理器802可以是实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线804可以是扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线804可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例所述的波束分配方法。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得所述计算机执行上述方法实施例所示的方法流程中的波束分配方法。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (12)

1.一种波束分配方法，其特征在于，应用于通信系统中，所述通信系统包括基站和至少一个终端；各个所述终端利用所述基站进行数据传输；所述方法包括：

确定所述通信系统中各个所述终端对应的波束集合；其中，所述波束集合中包括至少一个波束；

根据预设规则计算各个所述终端分别从所述对应的波束集合中选择一个波束进行模拟数据传输之后的基站性能；

将所述基站的性能满足预设条件时，各个所述终端选择的波束分配给各个所述终端进行数据传输。

2.根据权利要求1所述的波束分配方法，其特征在于，所述根据预设规则计算各个所述终端分别从所述对应的波束集合中选择一个波束进行模拟数据传输之后的基站性能；包括：

确定第l动作；其中，所述第l动作为所述终端选取任一波束进行数据传输的动作，l为大于等于1的整数；

S1、确定所述各个终端分别执行第l动作后的基站的性能值其中，k表示所述各个终端中的第k个终端，k为大于等于1的整数，v_kl表示所述第k个终端执行所述第l动作；

S2、获取所述各个终端对应的Q值表，其中，所述Q值表中包括预设的各个第l动作对应的Q值t表示对所述Q值进行更新的次数，每更新一次Q值t的取值增加1，t为大于等于0的整数；

S3、确定所述第l动作对应的Q值与所述基站的性能值的大小，并令：

将所述作为所述基站从所述对应的波束集合中选择一个波束进行模拟数据传输之后的基站性能。

3.根据权利要求2所述的波束分配方法，其特征在于，所述将所述基站的性能满足预设条件时，各个所述终端选择的波束分配给各个所述终端进行数据传输；包括：

S4、将替换Q值表中的

S5、根据预设动作选取规则确定第l+1动作，并对上述S1-S4中的l取值加1；

重复执行上述S1-S5，直到Q值收敛，确定各个所述终端执行当前动作时选择的波束；

将各个所述终端执行当前动作时选择的波束分配给各个所述终端进行数据传输。

4.根据权利要求3所述的波束分配方法，其特征在于，所述根据预设动作选取规则确定第l+1动作，包括：

生成随机数；

确定所述随机数与预设系数的大小；

若所述随机数大于所述预设系数，则选择Q值表中最大的Q值对应的动作作为第l+1动作；

若所述随机数小于所述预设系数，则随机选取一个动作作为第l+1动作。

5.根据权利要求1-4任一项所述的波束分配方法，其特征在于，所述确定系统中各个终端对应的波束集合，包括：

获取基站发送的至少一个波束；

确定每个波束的参考信号接收功率RSRP；

将RSRP满足预设条件的波束组成所述波束集合。

6.一种波束分配装置，其特征在于，所述装置包括：

处理单元，用于确定通信系统中各个终端对应的波束集合；其中，所述波束集合中包括至少一个波束；

所述处理单元，还用于根据预设规则计算各个所述终端分别从所述对应的波束集合中选择一个波束进行模拟数据传输之后的基站性能；

所述处理单元，还用于将所述基站的性能满足预设条件时，各个所述终端选择的波束分配给各个所述终端进行数据传输。

7.根据权利要求6所述的波束分配装置，其特征在于，所述处理单元，还用于：

确定第l动作；其中，所述第l动作为所述终端选取任一波束进行数据传输的动作，l为大于等于1的整数；

S1、确定各个所述终端分别执行第l动作后的基站的性能值其中，k表示所述各个终端中的第k个终端，k为大于等于1的整数，v_kl表示所述第k个终端执行所述第l动作；

S2、获取所述各个终端对应的Q值表，其中，所述Q值表中包括预设的各个第l动作对应的Q值其中，t表示对所述Q值进行更新的次数，每更新一次Q值t的取值增加1，t为大于等于0的整数；

S3、确定所述第l动作对应的Q值与所述基站的性能值的大小，并令：

将所述作为所述基站从所述对应的波束集合中选择一个波束进行模拟数据传输之后的基站性能。

8.根据权利要求7所述的波束分配装置，其特征在于，所述处理单元，还用于：

S4、将替换Q值表中的

S5、根据预设动作选取规则确定第l+1动作，并对上述S1-S4中的l取值加1；

重复执行上述S1-S5，直到Q值收敛，确定各个所述终端执行当前动作时选择的波束；

将各个所述终端执行当前动作时选择的波束分配给各个所述终端进行数据传输。

9.根据权利要求8所述的波束分配装置，其特征在于，所述处理单元，还用于：

生成随机数；

确定所述随机数与预设系数的大小；

若所述随机数大于所述预设系数，则选择Q值表中最大的Q值对应的动作作为第l+1动作；

若所述随机数小于所述预设系数，则随机选取一个动作作为第l+1动作。

10.根据权利要求6-9任一项所述的波束分配装置，其特征在于，所述装置还包括：

获取单元，用于获取基站发送的至少一个波束；

所述处理单元，还用于确定每个波束的参考信号接收功率RSRP；

所述处理单元，还用于将RSRP满足预设条件的波束组成所述波束集合。

11.一种波束分配装置，其特征在于，所述波束分配装置包括：处理器和存储器；其中，存储器用于存储一个或多个程序，该一个或多个程序包括计算机执行指令，当该波束分配装置运行时，处理器执行该存储器存储的该计算机执行指令，以使该波束分配装置执行权利要求1至5中任一项所述的波束分配方法。

12.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在计算机上运行时，使得计算机执行如权利要求1至5中任一项所述的波束分配方法。