[go: up one dir, main page]

CN113543160A - 5g切片资源配置方法、装置、计算设备及计算机存储介质 - Google Patents

5g切片资源配置方法、装置、计算设备及计算机存储介质 Download PDF

Info

Publication number
CN113543160A
CN113543160A CN202010292254.0A CN202010292254A CN113543160A CN 113543160 A CN113543160 A CN 113543160A CN 202010292254 A CN202010292254 A CN 202010292254A CN 113543160 A CN113543160 A CN 113543160A
Authority
CN
China
Prior art keywords
slice
resource configuration
network
key performance
running state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010292254.0A
Other languages
English (en)
Other versions
CN113543160B (zh
Inventor
邢彪
郑屹峰
张卷卷
陈维新
章淑敏
林乐轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Zhejiang Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Zhejiang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Zhejiang Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010292254.0A priority Critical patent/CN113543160B/zh
Publication of CN113543160A publication Critical patent/CN113543160A/zh
Application granted granted Critical
Publication of CN113543160B publication Critical patent/CN113543160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816—Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Game Theory and Decision Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例涉及移动通信技术领域，公开了一种5G切片资源配置方法、装置、计算设备及计算机存储介质，该方法包括：获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量；根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果；根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置。通过上述方式，本发明实施例能够优化5G切片的资源配置策略，提升切片应用的业务感知，达到切片服务成本与性能之间的良好平衡。

Description

5G切片资源配置方法、装置、计算设备及计算机存储介质
技术领域
本发明实施例涉及移动通信技术领域，具体涉及一种5G切片资源配置方法、装置、计算设备及计算机存储介质。
背景技术
网络切片(Network Slice)是端到端的逻辑功能和其所需的物理或虚拟资源集合，包括接入网、传输网、核心网等，网络切片可认为是5G网络中的虚拟化“专网”；网络切片基于网络功能虚拟化(Network Function Virtualization，NFV)的统一基础设施构建，实现低成本高效运营。网络切片技术可以实现通信网络的逻辑隔离，允许在每个网络切片中配置和重用网络元件及功能以满足特定的行业应用需求。
虽然切片资源在服务创建阶段进行了很好的规划，但仅仅这些还不能保证切片服务在整个生命周期中始终得到良好的保障。无线链路状况变化、业务负载地理上不对称和切片用户的动态分布等因素都可能导致切片体验质量(Quality of Experience，QoE)的波动。因此，只有在切片运行过程中对接入网、核心网和传输网等切片子域进行持续的监督和控制，才能有效的保障服务等级协议(Service level Agreement，SLA)需求。
现有5G网络切片的资源配置是在创建切片时依靠专家经验进行规划，规划后则固定不变、无法动态更新，当切片环境发生变化时也无法及时调整资源配置，需要人工进行更改，缺乏灵活性，效率较低，浪费资源、也引入了出错的风险。
发明内容
鉴于上述问题，本发明实施例提供了一种5G切片资源配置方法、装置、计算设备及计算机存储介质，克服了上述问题或者至少部分地解决了上述问题。
根据本发明实施例的一个方面，提供了一种5G切片资源配置方法，所述方法包括：获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量；根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果；根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置。
在一种可选的方式中，所述获取待检测的网络切片实时多维关键绩效指标和当前用户侧运行态体验质量，包括：从所述网络切片管理功能实体中获取所述切片实时多维关键绩效指标数据；从网络数据分析功能实体中获取所述用户侧运行态体验质量；对所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量进行归一化预处理。
在一种可选的方式中，所述对所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量进行归一化预处理，包括：将所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量分别统一映射到[0，1]的范围内；将所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量分别缩放至预设的最小值与最大值之间。
在一种可选的方式中，所述根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片SLA需要的切片资源配置结果之前，包括：获取历史网络切片多维关键绩效指标数据和历史用户侧运行态体验质量并进行归一化处理；将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量输入切片资源配置模型进行训练，获取切片资源配置模型收敛的权重。
在一种可选的方式中，所述将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量输入所述切片资源配置模型进行训练，获取切片资源配置模型收敛的权重，包括：所述切片资源配置模型包括执行器网络和评判器网络，将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量分别输入所述执行器网络和所述评判器网络；固定所述评判器网络，更新所述执行器网络的执行函数找到所述Q函数的最大值；固定所述执行器网络，更新所述评判器网络的Q函数使其与目标函数接近，所述切片资源配置模型收敛。
在一种可选的方式中，所述根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片SLA需要的切片资源配置结果，包括：将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环处理，直至所述切片资源配置模型收敛；获取所述切片资源配置模型收敛后的所述切片资源配置结果。
在一种可选的方式中，所述将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环处理，直至所述切片资源配置模型收敛，包括：将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型；通过所述切片资源配置模型输出切片资源配置更新结果；根据所述切片资源配置结果通过所述网络切片管理功能实体下发切片资源配置更新动作至所述待检测的网络切片以更新资源配置；通过所述网络切片管理功能实体获取所述待检测的网络切片更新资源配置后的实时多维关键绩效指标数据以及切片SLA需求；通过奖励函数获取更新资源配置后的用户侧运行态体验质量；通过奖励函数根据更新资源配置后的所述实时多维关键绩效指标数据、用户侧运行态体验质量对是否符合所述切片SLA需求进行评分，计算对应的奖励并传输至所述切片资源配置模型；将更新资源配置后的所述实时多维关键绩效指标数据和所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环重复，直至所述切片资源配置模型收敛。
根据本发明实施例的另一个方面，提供了一种5G切片资源配置装置，所述装置包括：数据获取单元，用于获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量；配置结果获取单元，用于根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果；资源配置单元，用于根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置。
根据本发明实施例的另一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述5G切片资源配置方法的步骤。
根据本发明实施例的又一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使所述处理器执行上述5G切片资源配置方法的步骤。
本发明实施例通过获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量；根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果；根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置，能够优化5G切片的资源配置策略，提升切片应用的业务感知，达到切片服务成本与性能之间的良好平衡。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的5G切片资源配置方法的流程示意图；
图2示出了本发明实施例提供的5G切片资源配置方法的切片资源配置的结构示意图；
图3示出了本发明实施例提供的5G切片资源配置方法的执行器的结构示意图；
图4示出了本发明实施例提供的5G切片资源配置方法的评判器的结构示意图；
图5示出了本发明实施例提供的另一5G切片资源配置方法的示意图；
图6示出了本发明实施例提供的5G切片资源配置装置的结构示意图；
图7示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
在本发明实施例中，切片管理架构主要由通信业务管理功能实体(CommunicationService Management Function，CSMF)、网络切片管理功能实体(Network SliceManagement Function，NSMF)、网络切片子网管理功能实体(Network Slice SubnetManagement Function，NSSMF)等功能实体组成。
其中，NSMF负责接收CSMF发送的网络切片需求，对网络切片实例的生命周期、性能、故障等进行管理，编排网络切片实例的组成，分解网络切片实例的需求为各网络切片子网实例或网络功能的需求，向各NSSMF发送网络切片子网实例管理请求。
网络数据分析功能实体(Network Data Analytics Function，NWDAF)支持搜集、分析网络数据，并向其他网络功能实体(Network Function，NF)提供分析结果，除此之外，支持分析业务的用户体验，反馈给切片管理系统，给切片更新提供输入。
初始资源配置是运营商从已部署的同类业务和新业务试点阶段评估获取的，因此可能不能完全满足服务等级协议(Service level Agreement，SLA)要求。各子切片并不知道新建切片的QoE满足情况，即用户体验是为满足切片QoE要求、超额满足QoE要求还是恰好满足QoE要求。本发明实施例利用深度强化学习实现切片管理器在整个切片生命周期中不断去调整切片配置，从而保障用户的业务体验。以无线网子切片为例，若检测到用户体验远远超过切片QoE要求，则在初始配置的保证切片无线资源(Guaranteed Slice RadioResource，GSRR)和最大切片无线资源(Maximum Slice Radio Resource，MSRR)范围内减少该切片的无线资源调度，反之，将增加无线资源调度。
切片管理器通常给新建切片配置资源范围比较大，例如给无线接入网(RadioAccess Network，RAN)子域分配资源范围为15％～70％，在新建切片创建阶段，切片管理器为新切片的RAN子域初始配置了保证切片无线资源(Guaranteed Slice Radio Resource，GSRR)和最大切片无线资源(Maximum Slice Radio Resource，MSRR)，与每QoS流的保证流比特率(Guaranteed Flow Bit Rate，GFBR)和最大流比特率(Maximum Flow Bit Rate，MFBR)类似。
GFBR为QoS Flow的保障比特速率。网络侧承诺的最低保障速率，拥塞时超过保证比特速率(Guaranteed Bit Rate，GBR)的流量会被丢弃，不拥塞时超过GBR但小于最大比特速率(Maximum Bit Rate，MBR)的流量可通过。MFBR为QoS Flow的最大比特速率，超过MBR，流量将被丢弃；GSRR表示给新建切片保证的无线资源，即如果新建切片需要GSRR以内的无线资源，一定可以得到保障；而MSRR则对该切片能消耗的无线资源设置上限，以避免过多的无线资源消耗。因此，本发明实施例提出利用深度强化学习得出合理的GFBR、MFBR、GSRR和MSRR来保持整体切片SLA要求，同时避免在运行期间切片QoE受到影响。
服务等级协议(Service level Agreement，SLA)通常包括安全性/私密性、可见性/可管理性、可靠性/可用性，以及具体的业务特征(业务类型、空口需求、定制化网络功能等)和相应的性能指标(时延、吞吐率、丢包率、掉话率等)。
深度强化学习即用深度神经网络去提取数据特征，训练强化学习路径导数策略梯度(Pathwise derivative policy gradient)模型，使得路径导数策略梯度模型能够充分学习复杂外部环境的规律，并在不同的环境下做出正确的动作，并且在长期的交互中，获得较高的累计回报。
路径导数策略梯度是一种特殊的执行器-评判器(Actor-Critic)方法，Actor基于概率选择行为，Critic基于Actor的行为评判行为的得分，Actor根据Critic的评分修改选择行为。在传统Actor-Critic方法中，Critic(评估价值)只是给某个动作一个评估值的大小，评价某个动作好或者不好，但并未告诉actor什么样的动作是好，本发明实施例利用评估的值，采取增加倾向于评估值大的行为(action)的概率。而路径导数策略梯度(Pathwisederivative policy gradient)方法中，Critic会引导Actor选取使得Q值较大的动作。Q值即为Q(s,a)就是在某一时刻的状态s下(s∈S)，采取动作a(a∈A)能够获得收益的期望，环境会根据Actor的动作反馈相应的回报(reward)r，然后根据Q值来选取能够获得最大的收益的动作。
图1示出了本发明实施例提供的5G切片资源配置方法的流程示意图。该5G切片资源配置方法主要应用于服务器。如图1所示，该5G切片资源配置方法包括：
步骤S11：获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量。
具体地，从所述网络切片管理功能实体中获取所述切片实时多维关键绩效指标数据。从网络数据分析功能实体中获取所述用户侧运行态体验质量，时间颗粒度为5min。当然在本发明的其他实施例中，时间颗粒度也可以取其他值，在此不作限定。
切片多维关键绩效指标数据包括传输网(Transmission Network，TN)子切片关键绩效指标(Key Performance Indicator，KPI)、无线接入网(Radio Access Network，RAN)子切片KPI、以及核心网(Core Network，CN)子切片KPI。其中，无线接入网子切片KPI包括：无线接入网传输时延、上/下行用户平均吞吐率、上/下行小区平均吞吐率、上/下行RB利用率、CPU平均占用率、在线用户数、RRC连接建立成功率、QoS流建立成功率、呼叫建立成功率等N个维属性。传输网子切片KPI包括：传输网传输时延、带宽利用率、丢包率、数据传输量、误码率等M个维。核心网子切片KPI包括：核心网传输时延、虚拟化存储资源利用率、虚拟化网络资源利用率、虚拟化计算资源利用率、错误码个数、请求成功率等L个维。L、M、N为正整数。
当前用户侧运行态体验质量(Quality of Experience，QoE)的设计理念是为了更贴近用户的真实感受，收集的是用户的行为数据，主要是用来衡量用户的主观体验。应用服务提供商依赖大量的QoE需求来衡量所感知到的服务质量，这些需求包括但不限于：应用服务提供商的网络服务区域、每个业务的平均意见分(MOS)(即业务体验)、用户业务MOS满足度百分比，如90％的用户超过或达到规定的业务MOS要求。
然后对所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量进行归一化预处理。归一化是指将数据按比例缩放，使之落入一个小的特定区间，从而提升模型的收敛速度、提升模型的精度。具体地，将所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量分别统一映射到[0，1]的范围内，X_std＝(X-X.min)/(X.max-X.min)，其中，X_std为数据X的映射值，X.max为最大值，X.min国最小值。进一步将所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量分别缩放至预设的最小值与最大值之间，X_scaled＝X_std*(max-min)+min，其中，X_scaled为X_std的归一化值，max为最大值，min为最小值。
步骤S12：根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果。
在本发明实施例中，在步骤S12之前，对切片资源配置模型进行训练具体包括：获取历史网络切片多维关键绩效指标数据和历史用户侧运行态体验质量并进行归一化处理；将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量输入切片资源配置模型进行训练，获取切片资源配置模型收敛的权重。在本发明实施例中，从NSMF中获取历史网络切片多维KPI，从NWDAF中获取对应时间点的历史用户侧运行态QoE，时间颗粒度为5min。从NSMF或NWDAF中随机小批量选取来更新，而不是使用最近的，从而解决了样本(sample)之间相互关联的问题，将大大提高稳定性。
所述切片资源配置模型为使用深度学习框架搭建的路径导数策略梯度(Pathwisederivative policy gradient)模型，包括执行器网络(Actor network)和评判器网络(critic network)，具体结构如图2所示。强化学习包含状态(state)、动作(action)、奖赏(reward)三个要素，结合本提案，状态(state)st是t时刻切片多维关键绩效指标(KeyPerformance Indicator，KPI)和用户侧运行态QoE；行为(action)at是t时刻切片资源配置更新动作，属于连续动作空间(continuous actions)类型，路径导数策略梯度模型选择的行为通过NSMF执行后，切片状态由st转换为st+1；r(st,at)函数是切片在状态st执行行为at后，返回的单步奖励值；Rt是从当前状态直到将来某个状态，期间所有行为所获得奖励值的加权总和。
执行器中输入从NSMF中获取当前切片多维KPI数据、从NWDAF中获取用户侧运行态QoE，输出子切片资源配置调整动作，评判器中分别输入执行器中的当前切片多维KPI、用户侧运行态QoE、以及对应的子切片资源配置更新动作，输出评价此次动作选择的Qπ(s，a)值，并反馈给执行器，使得执行器根据Q值逐渐学习选取能够同时满足应用侧SLA需求和切片资源效率最大化的切片资源配置更新动作。切片资源配置更新动作可以八类切片资源配置更新动作中的任一个，无线网子切片上行和下行的保证切片无线资源(GSRR)和最大切片无线资源(MSRR)、传输网子切片上行和下行的保证流比特率(GFBR)和最大流比特率(MFBR)。
执行器网络的结构如图3所示，输入层输入从NSMF中获取的历史网络切片多维KPI数据、从NWDAF中获取的用户侧运行态QoE；隐藏层包含3个全连接层(Dense)，分别设置128、64、32个神经元，激活函数均为“relu”,前两个全连接层后均为丢弃层(dropout)；输出层为全连接层(Dense)，设置8个神经元，激活函数为“tanh”，分别输出八类切片资源配置调整动作。
评判器网络的结构如图4所示，设置两个输入层，输入层1用于接收当前切片实时多维KPI、用户侧运行态QoE，输入层2用于接收对应的八类切片资源配置更新动作；输入层1输入的当前切片实时多维KPI和用户侧运行态QoE经过两个全连接层(Dense)进行处理，分别设置128、64个神经元，激活函数为“relu”；输入层2输入的切片资源配置更新动作经过1个全连接层(Dense)进行处理，设置16个神经元，激活函数为“relu”；然后通过合并层(merge)来合并动作和状态；最后紧接一个全连接层和一个输出层，全连接层设置32个神经元、激活函数为“relu”，输出层设置1个神经元、激活函数为“tanh”。
在进行切片资源配置模型训练时，将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量分别输入所述执行器(actor)网络和所述评判器(critic)网络；固定所述评判器网络，更新所述执行器网络的执行函数找到所述Q函数的最大值；固定所述执行器网络，更新所述评判器网络的Q函数使其与目标函数接近，所述切片资源配置模型收敛。即每个训练循环中，首先固定critic网络的参数，训练actor网络，不断更新actor找到Qπ(s，a)的最大值；然后固定actor网络的参数，训练critic网络，利用以往的经历更新Qπ。使用经验回放(replay buffer)来保存所有阶段的记录(s，a，r，s')到一个回放存储器中。训练的数据是从记忆库中随机提取的，不是使用最近的，从而解决了sample之间相互关联的问题，将大大提高系统的稳定性。记忆库记录着每一个状态下的行动、奖励、和下一个状态的结果(s，a，r，s')。
用随机权重初始化Q函数，使得目标Q函数Qtarget＝Q，初始化执行函数π，使得目标π函数πtarget＝π。在每一个训练循环的每一个时间步骤t下：
1)给定一个初始化状态st(三个子切片KPI)，基于执行函数π给出切片扩缩容动作at；
2)根据切片扩缩容动作at得到回报rt并到达新的状态st+1；
3)将t时刻的记录(st，at，rt，st+1)存入回放缓存中；
4)从回放缓存中抽取出记录(si，ai，ri，si+1)，通常为一个批(batch)的数量；
5)计算目标值y＝ri+Qtarget(si+1，πtarget(si+1))；
6)更新Q函数神经网络的参数使Q(si，ai)与目标值y越接近越好，误差计算公式如下：
error＝(Qπ(si,ai)-y)2＝(Q(si,ai)-(ri+Qtarget(si+1,πtarget(si+1))))2
7)更新π函数神经网络的参数使Q(si，π(si))最大化；
Figure BDA0002450847360000101
8)将更新C次后的Q函数神经网络权重赋给Qtarget＝Q；其中C为正整数。
9)将更新C次后的π函数神经网络权重赋给πtarget＝π。
切片资源配置模型将训练1000个回合(epochs＝1000)，批处理大小设置为32(batch_size＝32)，回放缓存大小设置为50000。选择平均绝对值误差MSE(Mean SquaredError)作为损失函数即目标函数(loss＝'mse')，梯度下降优化算法选择adam优化器用于改善传统梯度下降的学习速度(optimizer＝'adam')。神经网络通过梯度下降，可以找到使目标函数最小的最优权重值，随着训练回合数的增加，训练误差也逐渐下降，切片资源配置模型逐渐收敛。离线训练完成后，将计算得出的神经网络权重导出，作为训练后的切片资源配置模型的初始权重参数。
在本发明实施例中，将训练后的切片资源配置模型的权重参数作为切片资源配置模型的初始权重参数。在步骤S12中，将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环处理，直至所述切片资源配置模型收敛；获取所述切片资源配置模型收敛后的所述切片资源配置结果。具体地，将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型；通过所述切片资源配置模型输出切片资源配置更新结果；根据所述切片资源配置结果通过所述网络切片管理功能实体下发切片资源配置更新动作至所述待检测的网络切片以更新资源配置；通过所述网络切片管理功能实体获取所述待检测的网络切片更新资源配置后的实时多维关键绩效指标数据以及切片SLA需求；通过奖励函数获取更新资源配置后的用户侧运行态体验质量；通过奖励函数根据更新资源配置后的所述实时多维关键绩效指标数据、用户侧运行态体验质量对是否符合所述切片SLA需求进行评分，计算对应的奖励并传输至所述切片资源配置模型；将更新资源配置后的所述实时多维关键绩效指标数据和所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环重复，直至所述切片资源配置模型收敛。
在本发明实施例中，完整的切片资源配置流程如图5所示，包括：
步骤1：从NSMF获取各切片实时KPI，从NWDAF获取用户侧运行态QoE，并经归一化预处理后输入基于路径导数策略梯度的切片资源配置模型。
步骤2：通过切片资源配置模型根据各切片实时KPI以及用户侧运行态QoE输出切片资源配置更新结果。
步骤3：根据输出结果判断需要触发更新操作时，下发切片资源配置更新动作至NSMF。
步骤4：通过NSMF将切片资源配置更新指令下发至对应的子切片管理功能实体。
步骤5：对应的子切片管理功能实体更新资源配置后向NSMF上报各切片实时KPI。
步骤6：NSMF将各子切片实时KPI连同用户的切片SLA需求发送给奖励函数，同时NWDAF将更新资源配置后的用户侧运行态QoE也发送给奖励函数。
步骤7：奖励函数利用矩阵分解(matrix factorization)方法将切片的多维度KPI和用户侧运行态QoE和切片SLA需求映射到潜在向量空间中，然后对两者进行点乘(dotproduct)以实现对该时刻切片的多维度KPI和用户侧运行态QoE是否符合切片SLA需求进行评分，获取并输出该时刻的奖励给切片资源配置模型。然后返回步骤1，如此循环往复直至切片资源配置模型收敛。而在切片资源配置模型中每一个循环与前述的训练循环的步骤相同，执行器中输入从NSMF中获取切片实时多维KPI数据、从NWDAF中获取用户侧运行态QoE,输出子切片资源配置调整动作；评判器中分别输入执行器中的当前切片实时多维KPI、用户侧运行态QoE、以及对应的子切片资源配置更新动作，输出评价此次动作选择的Q(s，a)值，并反馈给执行器，使得执行器根据Q值逐渐学习选取能够同时满足应用侧SLA需求和切片资源效率最大化的切片资源配置更新动作，具体在此不再赘述。如此使得切片管理器在整个切片生命周期中不断去调整切片资源配置，从而优化5G切片的资源配置策略，提升切片应用的业务感知，达到切片服务成本与性能之间的良好平衡。
步骤S13：根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置。
切片资源配置模型将最优动作下发给网络切片管理功能实体(NSMF)，NSMF将资源配置更新动作执行指令下发给相应的子切片，通过相应的子切片更新资源配置。在本发明实施例中，一次只针对八类切片资源配置中的其中一种进行资源配置。
本发明实施例通过获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量；根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果；根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置，能够优化5G切片的资源配置策略，提升切片应用的业务感知，达到切片服务成本与性能之间的良好平衡。
图6示出了本发明实施例的5G切片资源配置装置的结构示意图。如图6所示，该5G切片资源配置装置包括：数据获取单元601、配置结果获取单元602、资源配置单元603以及模型训练单元604。其中：
数据获取单元601用于获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量；配置结果获取单元602用于根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果；资源配置单元603用于根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置。
在一种可选的方式中，数据获取单元601用于：从所述网络切片管理功能实体中获取所述切片实时多维关键绩效指标数据；从网络数据分析功能实体中获取所述用户侧运行态体验质量；对所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量进行归一化预处理。
在一种可选的方式中，数据获取单元601用于：将所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量分别统一映射到[0，1]的范围内；将所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量分别缩放至预设的最小值与最大值之间。
在一种可选的方式中，模型训练单元604用于：获取历史网络切片多维关键绩效指标数据和历史用户侧运行态体验质量并进行归一化处理；将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量输入切片资源配置模型进行训练，获取切片资源配置模型收敛的权重。
在一种可选的方式中，模型训练单元604用于：所述切片资源配置模型包括执行器网络和评判器网络，将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量分别输入所述执行器网络和所述评判器网络；固定所述评判器网络，更新所述执行器网络的执行函数找到所述Q函数的最大值；固定所述执行器网络，更新所述评判器网络的Q函数使其与目标函数接近，所述切片资源配置模型收敛。
在一种可选的方式中，配置结果获取单元602用于：将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环处理，直至所述切片资源配置模型收敛；获取所述切片资源配置模型收敛后的所述切片资源配置结果。
在一种可选的方式中，配置结果获取单元602用于：将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型；通过所述切片资源配置模型输出切片资源配置更新结果；根据所述切片资源配置结果通过所述网络切片管理功能实体下发切片资源配置更新动作至所述待检测的网络切片以更新资源配置；通过所述网络切片管理功能实体获取所述待检测的网络切片更新资源配置后的实时多维关键绩效指标数据以及切片SLA需求；通过奖励函数获取更新资源配置后的用户侧运行态体验质量；通过奖励函数根据更新资源配置后的所述实时多维关键绩效指标数据、用户侧运行态体验质量对是否符合所述切片SLA需求进行评分，计算对应的奖励并传输至所述切片资源配置模型；将更新资源配置后的所述实时多维关键绩效指标数据和所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环重复，直至所述切片资源配置模型收敛。
本发明实施例通过获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量；根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果；根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置，能够优化5G切片的资源配置策略，提升切片应用的业务感知，达到切片服务成本与性能之间的良好平衡。
本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的5G切片资源配置方法。
可执行指令具体可以用于使得处理器执行以下操作：
获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量；
根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果；
根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
从所述网络切片管理功能实体中获取所述切片实时多维关键绩效指标数据；
从网络数据分析功能实体中获取所述用户侧运行态体验质量；
对所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量进行归一化预处理。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
将所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量分别统一映射到[0，1]的范围内；
将所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量分别缩放至预设的最小值与最大值之间。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
获取历史网络切片多维关键绩效指标数据和历史用户侧运行态体验质量并进行归一化处理；
将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量输入切片资源配置模型进行训练，获取切片资源配置模型收敛的权重。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
所述切片资源配置模型包括执行器网络和评判器网络，将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量分别输入所述执行器网络和所述评判器网络；
固定所述评判器网络，更新所述执行器网络的执行函数找到所述Q函数的最大值；
固定所述执行器网络，更新所述评判器网络的Q函数使其与目标函数接近，所述切片资源配置模型收敛。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环处理，直至所述切片资源配置模型收敛；
获取所述切片资源配置模型收敛后的所述切片资源配置结果。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型；
通过所述切片资源配置模型输出切片资源配置更新结果；
根据所述切片资源配置结果通过所述网络切片管理功能实体下发切片资源配置更新动作至所述待检测的网络切片以更新资源配置；
通过所述网络切片管理功能实体获取所述待检测的网络切片更新资源配置后的实时多维关键绩效指标数据以及切片SLA需求；
通过奖励函数获取更新资源配置后的用户侧运行态体验质量；
通过奖励函数根据更新资源配置后的所述实时多维关键绩效指标数据、用户侧运行态体验质量对是否符合所述切片SLA需求进行评分，计算对应的奖励并传输至所述切片资源配置模型；
将更新资源配置后的所述实时多维关键绩效指标数据和所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环重复，直至所述切片资源配置模型收敛。
本发明实施例通过获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量；根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果；根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置，能够优化5G切片的资源配置策略，提升切片应用的业务感知，达到切片服务成本与性能之间的良好平衡。
本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任意方法实施例中的5G切片资源配置方法。
可执行指令具体可以用于使得处理器执行以下操作：
获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量；
根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果；
根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
从所述网络切片管理功能实体中获取所述切片实时多维关键绩效指标数据；
从网络数据分析功能实体中获取所述用户侧运行态体验质量；
对所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量进行归一化预处理。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
将所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量分别统一映射到[0，1]的范围内；
将所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量分别缩放至预设的最小值与最大值之间。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
获取历史网络切片多维关键绩效指标数据和历史用户侧运行态体验质量并进行归一化处理；
将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量输入切片资源配置模型进行训练，获取切片资源配置模型收敛的权重。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
所述切片资源配置模型包括执行器网络和评判器网络，将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量分别输入所述执行器网络和所述评判器网络；
固定所述评判器网络，更新所述执行器网络的执行函数找到所述Q函数的最大值；
固定所述执行器网络，更新所述评判器网络的Q函数使其与目标函数接近，所述切片资源配置模型收敛。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环处理，直至所述切片资源配置模型收敛；
获取所述切片资源配置模型收敛后的所述切片资源配置结果。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型；
通过所述切片资源配置模型输出切片资源配置更新结果；
根据所述切片资源配置结果通过所述网络切片管理功能实体下发切片资源配置更新动作至所述待检测的网络切片以更新资源配置；
通过所述网络切片管理功能实体获取所述待检测的网络切片更新资源配置后的实时多维关键绩效指标数据以及切片SLA需求；
通过奖励函数获取更新资源配置后的用户侧运行态体验质量；
通过奖励函数根据更新资源配置后的所述实时多维关键绩效指标数据、用户侧运行态体验质量对是否符合所述切片SLA需求进行评分，计算对应的奖励并传输至所述切片资源配置模型；
将更新资源配置后的所述实时多维关键绩效指标数据和所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环重复，直至所述切片资源配置模型收敛。
本发明实施例通过获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量；根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果；根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置，能够优化5G切片的资源配置策略，提升切片应用的业务感知，达到切片服务成本与性能之间的良好平衡。
图7示出了本发明实施例提供的计算设备的结构示意图，本发明具体实施例并不对设备的具体实现做限定。
如图7所示，该计算设备可以包括：处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。
其中：处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。通信接口704，用于与其它设备比如客户端或其它服务器等的网元通信。处理器702，用于执行程序710，具体可以执行上述5G切片资源配置方法实施例中的相关步骤。
具体地，程序710可以包括程序代码，该程序代码包括计算机操作指令。
处理器702可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或各个集成电路。设备包括的一个或各个处理器，可以是同一类型的处理器，如一个或各个CPU；也可以是不同类型的处理器，如一个或各个CPU以及一个或各个ASIC。
存储器706，用于存放程序710。存储器706可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序710具体可以用于使得处理器702执行以下操作：
获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量；
根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果；
根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置。
在一种可选的方式中，所述程序710使所述处理器执行以下操作：
从所述网络切片管理功能实体中获取所述切片实时多维关键绩效指标数据；
从网络数据分析功能实体中获取所述用户侧运行态体验质量；
对所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量进行归一化预处理。
在一种可选的方式中，所述程序710使所述处理器执行以下操作：
将所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量分别统一映射到[0，1]的范围内；
将所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量分别缩放至预设的最小值与最大值之间。
在一种可选的方式中，所述程序710使所述处理器执行以下操作：
获取历史网络切片多维关键绩效指标数据和历史用户侧运行态体验质量并进行归一化处理；
将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量输入切片资源配置模型进行训练，获取切片资源配置模型收敛的权重。
在一种可选的方式中，所述程序710使所述处理器执行以下操作：
所述切片资源配置模型包括执行器网络和评判器网络，将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量分别输入所述执行器网络和所述评判器网络；
固定所述评判器网络，更新所述执行器网络的执行函数找到所述Q函数的最大值；
固定所述执行器网络，更新所述评判器网络的Q函数使其与目标函数接近，所述切片资源配置模型收敛。
在一种可选的方式中，所述程序710使所述处理器执行以下操作：
将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环处理，直至所述切片资源配置模型收敛；
获取所述切片资源配置模型收敛后的所述切片资源配置结果。
在一种可选的方式中，所述程序710使所述处理器执行以下操作：
将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型；
通过所述切片资源配置模型输出切片资源配置更新结果；
根据所述切片资源配置结果通过所述网络切片管理功能实体下发切片资源配置更新动作至所述待检测的网络切片以更新资源配置；
通过所述网络切片管理功能实体获取所述待检测的网络切片更新资源配置后的实时多维关键绩效指标数据以及切片SLA需求；
通过奖励函数获取更新资源配置后的用户侧运行态体验质量；
通过奖励函数根据更新资源配置后的所述实时多维关键绩效指标数据、用户侧运行态体验质量对是否符合所述切片SLA需求进行评分，计算对应的奖励并传输至所述切片资源配置模型；
将更新资源配置后的所述实时多维关键绩效指标数据和所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环重复，直至所述切片资源配置模型收敛。
本发明实施例通过获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量；根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果；根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置，能够优化5G切片的资源配置策略，提升切片应用的业务感知，达到切片服务成本与性能之间的良好平衡。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (10)

1.一种5G切片资源配置方法，其特征在于，所述方法包括：
获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量；
根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果；
根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置。
2.根据权利要求1所述的方法，其特征在于，所述获取待检测的网络切片实时多维关键绩效指标和当前用户侧运行态体验质量，包括：
从所述网络切片管理功能实体中获取所述切片实时多维关键绩效指标数据；
从网络数据分析功能实体中获取所述用户侧运行态体验质量；
对所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量进行归一化预处理。
3.根据权利要求2所述的方法，其特征在于，所述对所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量进行归一化预处理，包括：
将所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量分别统一映射到[0，1]的范围内；
将所述切片实时多维关键绩效指标数据和所述用户侧运行态体验质量分别缩放至预设的最小值与最大值之间。
4.根据权利要求1所述的方法，其特征在于，所述根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片SLA需要的切片资源配置结果之前，包括：
获取历史网络切片多维关键绩效指标数据和历史用户侧运行态体验质量并进行归一化处理；
将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量输入切片资源配置模型进行训练，获取切片资源配置模型收敛的权重。
5.根据权利要求4所述的方法，其特征在于，所述将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量输入所述切片资源配置模型进行训练，获取切片资源配置模型收敛的权重，包括：
所述切片资源配置模型包括执行器网络和评判器网络，将所述历史网络切片多维关键绩效指标数据和所述历史用户侧运行态体验质量分别输入所述执行器网络和所述评判器网络；
固定所述评判器网络，更新所述执行器网络的执行函数找到所述Q函数的最大值；
固定所述执行器网络，更新所述评判器网络的Q函数使其与目标函数接近，所述切片资源配置模型收敛。
6.根据权利要求4所述的方法，其特征在于，所述根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片SLA需要的切片资源配置结果，包括：
将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环处理，直至所述切片资源配置模型收敛；
获取所述切片资源配置模型收敛后的所述切片资源配置结果。
7.根据权利要求6所述的方法，其特征在于，所述将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环处理，直至所述切片资源配置模型收敛，包括：
将所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型；
通过所述切片资源配置模型输出切片资源配置更新结果；
根据所述切片资源配置结果通过所述网络切片管理功能实体下发切片资源配置更新动作至所述待检测的网络切片以更新资源配置；
通过所述网络切片管理功能实体获取所述待检测的网络切片更新资源配置后的实时多维关键绩效指标数据以及切片SLA需求；
通过奖励函数获取更新资源配置后的用户侧运行态体验质量；
通过奖励函数根据更新资源配置后的所述实时多维关键绩效指标数据、用户侧运行态体验质量对是否符合所述切片SLA需求进行评分，计算对应的奖励并传输至所述切片资源配置模型；
将更新资源配置后的所述实时多维关键绩效指标数据和所述当前用户侧运行态体验质量输入训练后的所述切片资源配置模型进行循环重复，直至所述切片资源配置模型收敛。
8.一种5G切片资源配置装置，其特征在于，所述装置包括：
数据获取单元，用于获取待检测的网络切片实时多维关键绩效指标数据和当前用户侧运行态体验质量；
配置结果获取单元，用于根据所述实时多维关键绩效指标数据与所述当前用户侧运行态体验质量应用资源配置策略获取符合切片服务等级协议需要的切片资源配置结果；
资源配置单元，用于根据所述切片资源配置结果通过网络切片管理功能实体下发切片资源配置更新动作对所述待检测的网络切片以更新资源配置。
9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行根据权利要求1-7任一项所述5G切片资源配置方法的步骤。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行根据权利要求1-7任一项所述5G切片资源配置方法的步骤。
CN202010292254.0A 2020-04-14 2020-04-14 5g切片资源配置方法、装置、计算设备及计算机存储介质 Active CN113543160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010292254.0A CN113543160B (zh) 2020-04-14 2020-04-14 5g切片资源配置方法、装置、计算设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010292254.0A CN113543160B (zh) 2020-04-14 2020-04-14 5g切片资源配置方法、装置、计算设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113543160A true CN113543160A (zh) 2021-10-22
CN113543160B CN113543160B (zh) 2024-03-12

Family

ID=78088104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010292254.0A Active CN113543160B (zh) 2020-04-14 2020-04-14 5g切片资源配置方法、装置、计算设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113543160B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979721A (zh) * 2022-05-18 2022-08-30 咪咕文化科技有限公司 视频切片方法、装置、设备及存储介质
CN116094930A (zh) * 2022-12-29 2023-05-09 天翼云科技有限公司 一种基于智能化分析的配置对账解决方法及装置
WO2023097452A1 (en) * 2021-11-30 2023-06-08 Nokia Shanghai Bell Co., Ltd. Methods, apparatuses, and computer readable media for radio resource allocation
CN118382108A (zh) * 2024-06-25 2024-07-23 北京邮电大学 一种网络资源管理方法、装置、设备及可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1716866A (zh) * 2004-06-14 2006-01-04 华为技术有限公司 一种实现端到端服务质量可靠性保证的方法
CN1881893A (zh) * 2005-06-16 2006-12-20 华为技术有限公司 一种应用于QoS信令点之间的流控系统及方法
US20070147243A1 (en) * 2004-09-29 2007-06-28 Huawei Technologies Co., Ltd. Method and system for guaranteeing end-to-end quality of service
CN106792739A (zh) * 2016-11-17 2017-05-31 北京邮电大学 网络切片方法、装置和设备
US20180220277A1 (en) * 2017-01-27 2018-08-02 Huawei Technologies Co., Ltd. Method and apparatus for charging operations in a communication network supporting service sessions for direct end users
CN108965024A (zh) * 2018-08-01 2018-12-07 重庆邮电大学 一种5g网络切片基于预测的虚拟网络功能调度方法
CN109392096A (zh) * 2017-08-04 2019-02-26 华为技术有限公司 一种资源配置方法和装置
US20190199602A1 (en) * 2019-03-01 2019-06-27 Intel Corporation Method and apparatus for closed-loop optimization flow in a network functions virtualization environment
WO2019149016A1 (zh) * 2018-02-02 2019-08-08 中兴通讯股份有限公司 网络切片创建方法、系统、网络设备及存储介质
CN110602717A (zh) * 2019-09-18 2019-12-20 四川长虹电器股份有限公司 一种5g网络切片的容灾处理方法
US20190394655A1 (en) * 2018-06-22 2019-12-26 Huawei Technologies Co., Ltd. Data analytics management (dam), configuration specification and procedures, provisioning, and service based architecture (sba)
CN110620678A (zh) * 2018-06-20 2019-12-27 华为技术有限公司 一种资源管理方法及装置
CN110912723A (zh) * 2018-09-17 2020-03-24 华为技术有限公司 通信方法和装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1716866A (zh) * 2004-06-14 2006-01-04 华为技术有限公司 一种实现端到端服务质量可靠性保证的方法
US20070147243A1 (en) * 2004-09-29 2007-06-28 Huawei Technologies Co., Ltd. Method and system for guaranteeing end-to-end quality of service
CN1881893A (zh) * 2005-06-16 2006-12-20 华为技术有限公司 一种应用于QoS信令点之间的流控系统及方法
CN106792739A (zh) * 2016-11-17 2017-05-31 北京邮电大学 网络切片方法、装置和设备
US20180220277A1 (en) * 2017-01-27 2018-08-02 Huawei Technologies Co., Ltd. Method and apparatus for charging operations in a communication network supporting service sessions for direct end users
CN109392096A (zh) * 2017-08-04 2019-02-26 华为技术有限公司 一种资源配置方法和装置
WO2019149016A1 (zh) * 2018-02-02 2019-08-08 中兴通讯股份有限公司 网络切片创建方法、系统、网络设备及存储介质
CN110620678A (zh) * 2018-06-20 2019-12-27 华为技术有限公司 一种资源管理方法及装置
US20190394655A1 (en) * 2018-06-22 2019-12-26 Huawei Technologies Co., Ltd. Data analytics management (dam), configuration specification and procedures, provisioning, and service based architecture (sba)
CN108965024A (zh) * 2018-08-01 2018-12-07 重庆邮电大学 一种5g网络切片基于预测的虚拟网络功能调度方法
CN110912723A (zh) * 2018-09-17 2020-03-24 华为技术有限公司 通信方法和装置
US20190199602A1 (en) * 2019-03-01 2019-06-27 Intel Corporation Method and apparatus for closed-loop optimization flow in a network functions virtualization environment
CN110602717A (zh) * 2019-09-18 2019-12-20 四川长虹电器股份有限公司 一种5g网络切片的容灾处理方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ERICSSON INDIA PRIVATE LIMITED: "S5-194306 "pCR 28.805 Group use cases and requirements"", 3GPP TSG_SA\\WG5_TM, no. 5 *
HUAWEI, CMCC: "R3-190629 "On slice SLA fulfilment"", 3GPP TSG_RAN\\WG3_IU, no. 3 *
孙国林;欧睿杰;刘贵松;: "基于深度强化学习的应急物联网切片资源预留算法", 通信学报, no. 09 *
王倩;石振国;孙万捷;刘赛男;王国涛;: "基于PEPA的云计算资源分配算法性能评价", 计算机应用研究, no. 04 *
陆光辉;毛磊;冯建业;: "5G核心网创新技术研究及应用探索", 中兴通讯技术, no. 03 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023097452A1 (en) * 2021-11-30 2023-06-08 Nokia Shanghai Bell Co., Ltd. Methods, apparatuses, and computer readable media for radio resource allocation
CN114979721A (zh) * 2022-05-18 2022-08-30 咪咕文化科技有限公司 视频切片方法、装置、设备及存储介质
CN114979721B (zh) * 2022-05-18 2024-02-23 咪咕文化科技有限公司 视频切片方法、装置、设备及存储介质
CN116094930A (zh) * 2022-12-29 2023-05-09 天翼云科技有限公司 一种基于智能化分析的配置对账解决方法及装置
CN116094930B (zh) * 2022-12-29 2024-11-26 天翼云科技有限公司 一种基于智能化分析的配置对账解决方法及装置
CN118382108A (zh) * 2024-06-25 2024-07-23 北京邮电大学 一种网络资源管理方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN113543160B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN113543160B (zh) 5g切片资源配置方法、装置、计算设备及计算机存储介质
US20230060623A1 (en) Network improvement with reinforcement learning
Benedetti et al. Reinforcement learning applicability for resource-based auto-scaling in serverless edge applications
CN112219191B (zh) 数据中心中的服务和服务器的自配置
CN112187670B (zh) 一种基于群体智能的网络化软件共享资源分配方法及装置
CN111211984B (zh) 优化cdn网络的方法、装置及电子设备
CN113692021A (zh) 一种基于亲密度的5g网络切片智能资源分配方法
CN115580882A (zh) 动态网络切片资源分配方法及装置、存储介质及电子设备
EP4024212B1 (en) Method for scheduling inference workloads on edge network resources
Mazidi et al. An autonomic decision tree‐based and deadline‐constraint resource provisioning in cloud applications
US11310125B2 (en) AI-enabled adaptive TCA thresholding for SLA assurance
Kafle et al. Intelligent and agile control of edge resources for latency-sensitive IoT services
Kalai Arasan et al. Energy‐efficient task scheduling and resource management in a cloud environment using optimized hybrid technology
CN109815204A (zh) 一种基于拥塞感知的元数据请求分发方法及设备
CN114466023B (zh) 面向大规模边缘计算系统的计算服务动态定价方法及系统
Al Muktadir et al. Prediction and dynamic adjustment of resources for latency-sensitive virtual network functions
KR20230069488A (ko) 클라우드 엣지 플랫폼 적용에 따른 마이그레이션 우선 대상 선정 방법
US11374869B2 (en) Managing bandwidth based on user behavior
Deng et al. Rl-based radio resource slicing strategy for software-defined satellite networks
CN106506229A (zh) 一种sbs云应用自适应资源优化调整系统及方法
CN114385359B (zh) 一种物联网云边端任务时序协同方法
US12019712B2 (en) Enhanced reinforcement learning algorithms using future state prediction scaled reward values
CN114449536A (zh) 一种基于深度强化学习的5g超密集网络多用户接入选择方法
Ren et al. Learning-driven service caching in MEC networks with bursty data traffic and uncertain delays
US20250080425A1 (en) Method and system for simultaneous optimization of resources in a distributed compute network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant