CN114928893B - 一种基于智能反射面的架构及任务卸载方法 - Google Patents

Abstract

本发明提供一种基于智能反射面的架构及任务卸载方法，涉及自动驾驶领域。该基于智能反射面的架构及任务卸载方法，包括以下步骤：S1、建立用于任务卸载的车辆‑智能反射面‑边缘计算服务器的无线通信信道；S2、降低系统的时延；S3、映射平面层将边缘设备进行数字孪生体映射；S4、深度强化学习DRL算法从历史数据中随机选择数据；S5、数字孪生网络DTN通过控制平面层对边缘网络EN进行卸载决策以及智能反射面的反射表明元素的反馈；S6、重复步骤S1‑S6直至达到终止条件。通过引入数字孪生技术，动态地监控车联网中的车辆状态以及智能反射面状态，协同调度车联网计算资源，合理分配卸载决策以及通过智能反射面增强任务卸载信道质量。

Description

一种基于智能反射面的架构及任务卸载方法

技术领域

本发明涉及自动驾驶技术领域，具体为一种基于智能反射面的架构及任务卸载方法。

背景技术

自动驾驶汽车受益于车联网(Internet of Vehicle，IoV)技术的快速发展，它们需要高质量的无线电传输、智能导航系统和实时图像、音频或传感器数据分析能力，然而，受限于IoV有限的通信与计算资源以及高移动性的信道环境，如何有效地实时处理车联网产生的数据以便高效地为用户任务进行卸载决策，提高资源利用率是车联网中研究的关键。

数字孪生(Digital Twin,DT)技术的出现，可以有效解决数据实时处理，资源协同调度的问题，DT是一种高保真的数字表示的物理现实，使用集成的模拟和服务数据，同时监测物理实体的整个生命周期，在自动驾驶场景下，数字孪生能够对行驶过程以及车辆状态进行准确的预测，包括对车辆任务的资源调度预测和对车辆的保养以及检修评估，以确保车辆的安全运行以及车联网系统的高效资源调度。

目前基于数字孪生支持下车联网中的任务卸载方案，大多从资源分配进行研究，通过以提高资源利用率为目标，自适应地为任务分配卸载策略，然而由于车联网中车辆机动性强，使得车辆与边缘服务器间的信道容易受到建筑物等障碍物干扰，这样大大降低了无线信道质量，而目前的工作方案在考虑资源受限的同时并没有考虑障碍物对信道的干扰，也会影响卸载决策的分配问题。

发明内容

针对现有技术的不足，本发明提供了一种基于智能反射面的架构及任务卸载方法，解决了目前方案在考虑资源受限的同时并没有考虑障碍物对信道的干扰的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种基于智能反射面的架构及任务卸载方法，包括以下步骤：

S1、建立用于任务卸载的车辆-智能反射面-边缘计算服务器的无线通信信道；

S2、建立任务卸载以及智能反射面(Intelligent Reflecting Surface,IRS)控制的目标优化函数以降低系统的时延；

S3、映射平面层将边缘设备进行数字孪生体映射，这些映射表示边缘网络EN的运行状态信息，数字孪生网络DTN不仅实时监控网络的状态，还记录网络的历史运行状态，供基于深度强化学习DRL的任务卸载以及智能反射面控制联合优化算法学习，并将数字表示转换为深度强化学习DRL平面层可以处理的张量Tensor形式；

S4、深度强化学习DRL算法从历史数据中随机选择数据，在深度强化学习DRL平面层上训练模型；

S5、数字孪生网络DTN通过控制平面层对边缘网络EN进行卸载决策以及智能反射面的反射表明元素的反馈，边缘网络EN根据反馈的信息进行智能反射面的控制，对车辆的任务卸载进行资源分配；

S6、重复步骤S1-S6直至达到终止条件，终止条件可为车联网生命周期的结束。

优选的，所述S3中运行状态信息包括车辆运行状态信息Vehicle StateInformation，VSI)、智能反射面运行状态信息(IRS State Information，ISI)，所述S3中历史运行状态包括深度强化学习DRL智能体的实时奖励Reward、时延Latency以及能耗EnergyConsumption。

本发明提供了一种基于智能反射面的架构及任务卸载方法。具备以下有益效果：

1、本发明通过引入数字孪生技术，动态地监控车联网中的车辆状态以及智能反射面状态，协同调度车联网计算资源，合理分配卸载决策以及通过智能反射面增强任务卸载信道质量。

2、本发明通过基于(Double Deep Q Network,DDQN)的两阶段算法，同时进行任务卸载以及IRS调控，自适应环境的动态变化，降低系统整体任务卸载时延。

3、本发明通过创新地将深度强化学习和迁移学习相结合，提高模型的复用性，进而提高模型训练效率。

附图说明

图1为本发明的DTVIF结构图；

图2为本发明的步骤示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一个数字孪生驱动的车辆任务卸载和智能反射面配置框架(DigitalTwin-Driven Vehicular Task Offloading and IRS Configuration Framework，DTVIF)来有效地监测、学习和管理IoV，采用移动边缘计算MEC和智能反射面IRS，为车辆提供增强的计算能力，并在车辆与移动边缘计算MEC服务器进行通信时提高传输性能，数字孪生DT用于实现IoV物理操作环境的实时数据采集和数字表示，以更好地支持决策，参考图1，DTVIF包括三个组成部分：核心云网络CCN、边缘网络EN和数字孪生网络DTN，DTN和EN由CCN控制，DT控制器安装在CCN中，CCN提供了云服务器中的DTN管理，DTN由三个平面组成：映射平面、DRL平面和控制平面，三个平面的细节说明如下：

映射平面：EN由车辆、基站BSs、IRSs、MEC服务器等通信设备组成，MEC服务器被放置在BSs中，IRS可安装在建筑物的外墙上，由于车辆的计算能力有限，MEC服务器帮助提供增强的资源来支持车辆，在车联网场景中，车辆可以选择最近的红外线进行通信，IRS可以选择最近的MEC服务器来建立通道。

DRL平面：在该平面上，实时状态被融合并输入到基于深度强化学习DRL算法中，基于DRL的任务卸载以及智能反射面控制联合优化算法部署在DRL平面上，可以分析和学习历史数据和实时数据以便进行任务卸载决策以及任务传输所需的信道质量，在DTVIF中，目的是通过调整反射元件系数和卸载决策来最小化能量消耗和延迟。

当需要汽车无线电、GPS导航、路线规划等个性化服务时，基于DRL的任务卸载以及智能反射面控制联合优化算法可以根据环境做出任务卸载和IRS配置的决策，环境的反馈可以决定任务的执行是否需要一个MEC服务器。

实施例：

如图1-2所示，本发明实施例提供一种基于智能反射面的架构及任务卸载方法，包括以下步骤：

S1、建立用于任务卸载的车辆-智能反射面-边缘计算服务器的无线通信信道；

本实施例的本步骤中，通过如下建立任务卸载的车辆-智能反射面-边缘计算服务器的无线通信信道：

h_k＝h_k,m+G^HΘ^Hh_r,m (1)

h_k为车辆k到边缘服务器的信道增益。其中G^H表示IRS和车辆k之间的信道增益，Θ^H表示IRS的反射系数，而h_r,m表示IRS到边缘服务器的信道增益。

R_k,m(t)车辆k和边缘服务器之间的传输速率，其中W_k,m(t)为t时刻的带宽；波束形成向量，且必须满足：/>

S2、建立任务卸载以及智能反射面控制的目标优化函数以降低系统的时延；

本实施例的本步骤中，由于车辆具有一定的计算能力，因此直接在车辆本地执行任务时，产生的时延为：

车辆k将任务大小为X_k(t)的数据卸载到边缘服务器执行时，其传输时延则为：

其中f_s(t)为MEC服务器CPU的频率，θ(t)为CPU的转速，f_l(t)为本地CPU的频率。

其中C1为一个离散变量，式(5)是一个非凸优化问题，约束C2确保MEC服务器和车辆之间的通道功率p_k不大于最大功率P_max，约束C3确保MEC服务器和车辆k之间的信道带宽W_k,m不大于生命周期内的最大带宽W_max，C4限制了最大的车辆数目V以及生命周期T。

S3、映射平面层将边缘设备进行数字孪生体映射，这些映射表示边缘网络EN的运行状态信息，数字孪生网络DTN不仅实时监控网络的状态，还记录网络的历史运行状态，供基于深度强化学习DRL的任务卸载以及智能反射面控制联合优化算法学习，并将数字表示转换为深度强化学习DRL平面层可以处理的张量Tensor形式；

本实施例的本步骤中，每一时隙t内，通过智能体获取当前车辆的状态：位置P，计算资源C，通信资源W,然后融合成[P,C,W]的Tensor形式，送入到卸载决策ODM模块以供训练，同时，IRS配置ICM模块也需要获取[P,C,W]以及智能反射面状态I进行训练、

S4、深度强化学习DRL算法从历史数据中随机选择数据，在深度强化学习DRL平面层上训练模型；

本实施例的本步骤中，在ODM中，本实施例利用Ψ_Pri提取特征，在Ψ_Pri中，利用卷积神经网络CNN中提取空间相关性，最后利用全连接网络FC层进行特征变换使之符合策略输出维度，然后利用以下公式进行第一阶段的双重深度Q网络DDQN的训练：

其中Ψ_Tar中的网络参数每隔一定时间同步来自Ψ_Pri的参数，r为奖励，即r＝-L(t)，γ_s为折扣因子，利用L₁求解误差，并利用梯度下降法即可更新Ψ_Pri中的参数，而Ψ_Pri的输出即为任务卸载策略，[P,C,W]′为智能体在状态[P,C,W]下采取策略y后的状态，因此Ψ_Tar的作用是让Ψ_Pri的学习更加稳定，在第二阶段中，将第一阶段的网络参数迁移到Φ_Pri结构相同的部分，在Φ_Pri中，利用卷积神经网络CNN分别提取[P,C,W]以及智能反射面状态I的空间相关性，最后分别利用全连接FC神经网络进行特征变换并聚合使之符合反射元素表面输出维度，然后利用以下公式进行第二阶段DDQN的训练：

其中Φ_Tar中的网络参数每隔一定时间同步来自Φ_Pri的参数，r为奖励，即r＝-L(t)，γ_p为折扣因子，利用L₂求解误差，并利用梯度下降法即可更新Φ_Pri中的参数，而Φ_Pri的输出即为反射表明元素的输出[P,C,W]′和I′为智能体在车辆状态[P,C,W]和智能反射面运行状态I下采取使得Ψ_Pri输出值最大的策略后的车辆状态状态以及智能反射面运行状态。

S5、数字孪生网络DTN通过控制平面层对边缘网络EN进行卸载决策以及智能反射面的反射表明元素的反馈，边缘网络EN根据反馈的信息进行智能反射面的控制，对车辆的任务卸载进行资源分配；

本实施例的本步骤中，将得到的卸载决策y以及IRS表明元素系数分别反馈给EN中的车辆以及智能反射面。

S6、重复步骤S1-S6直至达到终止条件，终止条件可为车联网生命周期的结束。

本实施例中，重复步骤S1-S6直至达到最大生命周期T。

S3中运行状态信息包括车辆运行状态信息VSI、智能反射面运行状态信息ISI，S3中历史运行状态包括深度强化学习DRL智能体的实时奖励Reward、时延Latency以及能耗Energy Consumption。

本实施例中，通过数字孪生动态监控车联网运行状态，综合考虑了计算卸载过程中资源受限以及信道质量问题，建立车辆-智能反射面-MEC服务器间的任务卸载信道，内嵌于数字孪生网络中的双重Q学习网络(Double Deep Q Network，DDQN)强化学习算法能够进行计算卸载策略分配以及IRS调控，并自适应移动性的车联网环境，双重Q学习网络(DoubleDeep Q Network，DDQN)中采用了卷积层提取车辆以及智能反射面的空间相似性，训练过程中参数同步以及参数迁移提高了训练的效率以及稳定性。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (2)

1.一种基于智能反射面的架构及任务卸载方法，其特征在于：包括以下步骤：

S1、建立用于任务卸载的车辆-智能反射面-边缘计算服务器的无线通信信道：

h_k＝h_k,m+G^HΘ^Hh_r,m

h_k为车辆k到边缘服务器的信道增益，其中G^H表示IRS和车辆k之间的信道增益，Θ^H表示IRS的反射系数，而h_r,m表示IRS到边缘服务器的信道增益；

S2、建立任务卸载以及智能反射面控制的目标优化函数以降低系统的时延，直接在车辆本地执行任务时，产生的时延为：

车辆k将任务大小为X_k(t)的数据卸载到边缘服务器执行时，其传输时延则为：

其中f_s(t)为MEC服务器CPU的频率，θ(t)为CPU的转速，f_l(t)为本地CPU的频率；

S3、映射平面层将边缘设备进行数字孪生体映射，这些映射表示边缘网络EN的运行状态信息，数字孪生网络DTN不仅实时监控网络的状态，还记录网络的历史运行状态，供基于深度强化学习DRL的任务卸载以及智能反射面控制联合优化算法学习，并将数字表示转换为深度强化学习DRL平面层可以处理的张量Tensor形式；

S4、深度强化学习DRL算法从历史数据中随机选择数据，在深度强化学习DRL平面层上训练模型，在ODM中，利用Ψ_Pri提取特征，在Ψ_Pri中，利用卷积神经网络CNN中提取空间相关性，最后利用全连接网络FC层进行特征变换使之符合策略输出维度，然后利用以下公式进行第一阶段的双重深度Q网络DDQN的训练：

其中Ψ_Tar中的网络参数每隔一定时间同步来自Ψ_Pri的参数，r为奖励，即r＝-L(t)，γ_s为折扣因子，利用L₁求解误差，并利用梯度下降法即可更新Ψ_Pri中的参数，而Ψ_Pri的输出即为任务卸载策略，[P,C,W]′为智能体在状态[P,C,W]下采取策略y后的状态，因此Ψ_Tar的作用是让Ψ_Pri的学习更加稳定，在ICM中，将第一阶段的网络参数迁移到Φ_Pri结构相同的部分，在Φ_Pri中，利用CNN分别提取[P,C,W]以及智能反射面状态I的空间相关性，最后分别利用FC进行特征变换并聚合使之符合反射元素表面输出维度，然后利用以下公式进行第二阶段DDQN的训练：

其中Φ_Tar中的网络参数每隔一定时间同步来自Φ_Pri的参数，r为奖励，即r＝-L(t)，γ_p为折扣因子，利用L₂求解误差，并利用梯度下降法即可更新Φ_Pri中的参数，而Φ_Pri的输出即为反射表明元素的输出[P,C,W]′和I′为智能体在车辆状态[P,C,W]和智能反射面运行状态I下采取使得Ψ_Pri输出值最大的策略后的车辆状态状态以及智能反射面运行状态；

S5、数字孪生网络DTN通过控制平面层对边缘网络EN进行卸载决策以及智能反射面的反射表明元素的反馈，边缘网络EN根据反馈的信息进行智能反射面的控制，对车辆的任务卸载进行资源分配；

S6、重复步骤S1-S6直至达到终止条件，终止条件可为车联网生命周期的结束。

2.根据权利要求1所述的一种基于智能反射面的架构及任务卸载方法，其特征在于：所述S3中运行状态信息包括车辆运行状态信息VSI、智能反射面运行状态信息ISI，所述S3中历史运行状态包括深度强化学习DRL智能体的实时奖励Reward、时延Latency以及能耗Energy Consumption。