[go: up one dir, main page]

CN111918245B - 基于多智能体的车速感知的计算任务卸载和资源分配方法 - Google Patents

基于多智能体的车速感知的计算任务卸载和资源分配方法 Download PDF

Info

Publication number
CN111918245B
CN111918245B CN202010648403.2A CN202010648403A CN111918245B CN 111918245 B CN111918245 B CN 111918245B CN 202010648403 A CN202010648403 A CN 202010648403A CN 111918245 B CN111918245 B CN 111918245B
Authority
CN
China
Prior art keywords
vehicle
task
tasks
vec
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010648403.2A
Other languages
English (en)
Other versions
CN111918245A (zh
Inventor
贺丽君
黄鑫宇
李凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010648403.2A priority Critical patent/CN111918245B/zh
Publication of CN111918245A publication Critical patent/CN111918245A/zh
Application granted granted Critical
Publication of CN111918245B publication Critical patent/CN111918245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/53—Allocation or scheduling criteria for wireless resources based on regulatory allocation policies

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于多智能体的车速感知的计算任务卸载和资源分配方法，包括以下步骤：收集车辆端计算任务，根据车辆端计算任务的类型将车辆端计算任务划分为关键任务、高优先级任务及低优先级任务；分别计算不同计算资源及无线资源分配下，卸载到VEC服务器、本地执行及继续等待对应的时延和能耗，然后在各任务的时延门限约束下，形成以减小车辆端处理任务能量消耗的目标函数；将目标函数转化为马尔科夫决策过程；对多智能体增强学习网络进行训练；将待分配的车辆端和边缘服务器的状态输入到训练后的多智能体增强学习网络中，得任务卸载和资源分配结果，该方法能够有效提高VEC服务器场景下车辆的整体性能。

Description

基于多智能体的车速感知的计算任务卸载和资源分配方法
技术领域
本发明属于无线通信技术领域，涉及一种基于多智能体的车速感知的计算任务卸载和资源分配方法。
背景技术
随着物联网的快速发展，智能车载应用(包括自动驾驶，图像辅助导航和多媒体娱乐)已广泛应用于智能汽车，可以为驾驶员和乘客提供更加舒适、安全的环境。然而这些车载应用需要消耗大量的计算资源并且需要极低的处理时间，具有强大计算和存储能力的云服务器可以用于处理车辆的卸载计算任务，但由于长距离传输可能会导致较高的延时，为了应对云服务器的弊端，车辆边缘计算(VEC)应运而生。
VEC服务器更靠近于车辆终端并拥有强大的计算能力，并密集部署在路边单元(RSU)旁，通过将计算消耗型任务卸载到VEC服务器，可以显著减少车载应用的处理时延和能耗。
VEC的发展也面临很多挑战。例如，VEC网络中车速对计算任务的时延门限的影响，任务处理时延和能耗与任务卸载和资源分配策略的相互影响。因此，车速感知的任务时延门限以及任务处理时延和能耗与任务卸载和资源分配策略的相互影响问题的研究对VEC的整体性能至关重要。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供了一种基于多智能体的车速感知的计算任务卸载和资源分配方法，该方法能够有效提高VEC服务器场景下车辆的整体性能。
为达到上述目的，本发明所述的基于多智能体的车速感知的计算任务卸载和资源分配方法包括以下步骤：
1)收集车辆端计算任务，根据车辆端计算任务的类型将车辆端计算任务划分为关键任务、高优先级任务及低优先级任务，再根据车速确定关键任务、高优先级任务及低优先级任务的时延门限；
2)对于关键任务、高优先级任务及低优先级任务，分别计算不同计算资源及无线资源分配下，卸载到VEC服务器、本地执行及继续等待对应的时延和能耗，然后在各任务的时延门限约束下，形成以减小车辆端处理任务能量消耗的目标函数；
3)将步骤2)得到的目标函数转化为马尔科夫决策过程，初始化马尔科夫决策过程的状态空间、动作空间及奖励；
4)根据多智能体增强学习网络得新的状态、动作和奖励，并将新的状态、动作和奖励存储到经验回放池中；
5)当经验回放池中的数据达到阈值时，对多智能体增强学习网络进行训练，直到多智能体增强学习网络收敛为止；
6)将待分配的车辆端和边缘服务器的状态输入到训练后的多智能体增强学习网络中，得任务卸载和资源分配结果，完成基于多智能体增强学习的车速感知的计算任务卸载和资源分配。
根据车辆端计算任务的带宽和时延要求，将车辆端计算任务划分为关键任务φ1、高优先级任务φ2及低优先级任务φ3，关键任务φ1、高优先级任务φ2及低优先级任务φ3对应的时延门限分别为Thr1、Thr2及Thr3，其中，关键任务φ1的时延门限为10ms，低优先级任务φ3的时延门限为100ms，高优先级任务φ2与当前车辆的行驶速度相关，其中，任务
Figure BDA0002573996410000021
的时延门限
Figure BDA0002573996410000022
为：
Figure BDA0002573996410000031
其中，当
Figure BDA0002573996410000032
时，
Figure BDA0002573996410000033
当
Figure BDA0002573996410000034
时，
Figure BDA0002573996410000035
Figure BDA0002573996410000036
为车辆k的速度，Thr2为道路限速vmax对应的时延门限。
VEC服务器分配给车辆k的上行信道n的传输速率
Figure BDA0002573996410000037
为：
Figure BDA0002573996410000038
其中，σ2为噪声功率，P为传输功率，
Figure BDA0002573996410000039
为上行信道干扰，信道带宽
Figure BDA00025739964100000310
Figure BDA00025739964100000311
为VEC服务器的上行总带宽，
Figure BDA00025739964100000312
为VEC服务器的上行信道个数，
Figure BDA00025739964100000313
为上行信道集合；
设
Figure BDA00025739964100000314
表示车辆k与VEC服务器之间的上行信道n是否分配给车辆k，若分配，则
Figure BDA00025739964100000315
为1，否则，则
Figure BDA00025739964100000316
为0，得车辆k与VEC服务器之间的上行传输速率
Figure BDA00025739964100000317
为：
Figure BDA00025739964100000318
VEC服务器分配给车辆k的下行信道n的传输速率
Figure BDA00025739964100000319
为：
Figure BDA00025739964100000320
其中，σ2为噪声功率，P为传输功率，
Figure BDA00025739964100000321
为下行信道干扰，信道带宽
Figure BDA00025739964100000322
Figure BDA00025739964100000323
为VEC服务器的下行总带宽，
Figure BDA00025739964100000324
为VEC服务器的下行信道个数，
Figure BDA00025739964100000325
为下行信道集合；
设
Figure BDA00025739964100000326
表示车辆k与VEC服务器之间的下行信道n是否分配给车辆k，若分配，则
Figure BDA00025739964100000327
为1，否则，则
Figure BDA00025739964100000328
为0，得车辆k与VEC服务器之间的下行传输速率
Figure BDA00025739964100000329
为：
Figure BDA0002573996410000041
车辆k的任务
Figure BDA0002573996410000042
卸载到VEC服务器执行消耗的总时延
Figure BDA0002573996410000043
为：
Figure BDA0002573996410000044
其中，
Figure BDA0002573996410000045
为向上取整函数，
Figure BDA0002573996410000046
为车辆k的任务
Figure BDA0002573996410000047
的文件大小，
Figure BDA0002573996410000048
为处理车辆k的任务
Figure BDA0002573996410000049
需要的计算密度，
Figure BDA00025739964100000410
为车辆k下载的任务
Figure BDA00025739964100000411
的文件大小相对于原上传任务缩小的比例，
Figure BDA00025739964100000412
为VEC服务器给车辆k的任务
Figure BDA00025739964100000413
分配的计算资源比例，fVEC为本地VEC服务器的CPU频率，
Figure BDA00025739964100000414
为车辆与VEC服务器之间的上行传输速率，
Figure BDA00025739964100000415
为下行传输速率。
根据车辆k分配的CPU频率fk计算车辆k的任务
Figure BDA00025739964100000416
在本地执行的时间消耗
Figure BDA00025739964100000417
为：
Figure BDA00025739964100000418
在时刻t，车辆k的任务
Figure BDA00025739964100000419
能够选择继续等待、卸载到本地VEC服务器以及本地执行，设
Figure BDA00025739964100000420
表示车辆k的任务
Figure BDA00025739964100000421
是否继续等待，当继续等待，则
Figure BDA00025739964100000422
为1，否则，则
Figure BDA00025739964100000423
为0，设继续等待时间为Th，
Figure BDA00025739964100000424
表示车辆k的任务
Figure BDA00025739964100000425
是否卸载到本地VEC服务器，当
Figure BDA00025739964100000426
为1时，则表示车辆k的任务
Figure BDA00025739964100000427
卸载到本地VEC服务器，对于车辆k的任务
Figure BDA00025739964100000428
从产生任务
Figure BDA00025739964100000429
到执行动作完成需要花费的总时延
Figure BDA00025739964100000430
为：
Figure BDA00025739964100000431
其中，
Figure BDA00025739964100000432
为根据车辆k的任务
Figure BDA00025739964100000433
产生的时间。
当车辆k的计算任务
Figure BDA0002573996410000051
卸载到VEC服务器时，卸载任务的能量消耗包括上传计算任务消耗的能量及下载任务消耗的能量，卸载到VEC服务器的能量消耗
Figure BDA0002573996410000052
为：
Figure BDA0002573996410000053
当车辆k的计算任务
Figure BDA0002573996410000054
在本地处理时，根据处理车辆k的任务
Figure BDA0002573996410000055
所需要的能量密度
Figure BDA0002573996410000056
得任务在本地处理的能量消耗
Figure BDA0002573996410000057
为：
Figure BDA0002573996410000058
在时刻t，当车辆执行卸载策略后，本地VEC服务器服务范围内所有车辆消耗的能量E(t)为：
Figure BDA0002573996410000059
在任务时延门限、计算资源和无线资源有限的条件下，形成的减少车辆端处理任务能量消耗的目标函数为：
Figure BDA00025739964100000510
其中，
Figure BDA00025739964100000511
本发明具有以下有益效果：
本发明所述的基于多智能体的车速感知的计算任务卸载和资源分配方法在具体操作时，首先收集车辆端计算任务，根据车辆端计算任务的类型将任务划分为关键任务、高优先级任务和低优先级任务，结合车速得到不同计算任务的时延门限，对于不同的计算任务，分别计算不同计算资源和无线资源分配下，卸载到VEC服务器、本地执行以及继续等待对应的时延和能耗，在任务的时延门限约束下，形成以降低车辆端能耗的目标函数，从而综合考虑车辆端的位置、速度、任务队列、计算资源、无线资源以及VEC服务器端的计算资源和无线资源等因素，在任务处理时延门限内，可以有效地降低车辆端的能耗，然后将该目标函数转化为马尔科夫决策过程，再对多智能体增强学习网络进行训练，最后利用训练后的多智能体增强学习网络进行计算任务卸载和资源的分配，以提高VEC服务器场景下车辆的整体性能。
附图说明
图1为本发明的流程示意图；
图2为五种算法对应的车辆平均任务完成时延(车辆数为7)的分布图；
图3为五种算法对应的车辆平均任务完成时延(车辆数为9)的分布图；
图4为五种算法对应的车辆平均任务完成时延(车辆数为11)的分布图；
图5为五种算法对应的车辆平均任务完成时延(车辆数为13)的分布图；
图6为五种算法对应的车辆平均任务能耗(车辆数为7)的分布图；
图7为五种算法对应的车辆平均任务能耗(车辆数为9)的分布图；
图8为五种算法对应的车辆平均任务能耗(车辆数为11)的分布图；
图9为五种算法对应的车辆平均任务能耗(车辆数为13)的分布图；
图10为五种算法对应的车辆平均任务完成时延(车速范围为30-50Km/h)的分布图；
图11为五种算法对应的车辆平均任务能耗(车速范围为30-50Km/h)的分布图；
图12为五种算法对应的车辆平均任务完成时延(车速范围为50-80Km/h)的分布图；
图13为五种算法对应的车辆平均任务能耗(车速范围为50-80Km/h)的分布图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
假设本地VEC服务器服务范围内的车辆集合设为
Figure BDA0002573996410000071
车辆的个数为K，在时刻t，车辆k需要处理的计算任务为
Figure BDA0002573996410000072
任务产生的时间为
Figure BDA0002573996410000073
任务在VEC服务器处理消耗的时延为
Figure BDA0002573996410000074
任务在本地执行消耗的时延为
Figure BDA0002573996410000075
则对于任务
Figure BDA0002573996410000076
从产生到执行动作完成需要花费的总时延
Figure BDA0002573996410000077
为：
Figure BDA0002573996410000078
其中，
Figure BDA0002573996410000079
表示车辆k的任务
Figure BDA00025739964100000710
是否继续等待，如果继续等待，则
Figure BDA00025739964100000711
为1，否则，则
Figure BDA00025739964100000712
为0，继续等待时间设为Th，
Figure BDA00025739964100000713
表示车辆k的任务
Figure BDA00025739964100000714
是否卸载到本地VEC服务器，
Figure BDA00025739964100000715
为1，则车辆k的任务
Figure BDA00025739964100000716
卸载到本地VEC服务器。
在时刻t，任务在VEC服务器处理消耗的能量为
Figure BDA00025739964100000717
任务在本地执行消耗的能量为
Figure BDA0002573996410000081
当车辆执行卸载策略后，本地VEC服务器服务范围内所有车辆消耗的能量E(t)为：
Figure BDA0002573996410000082
本发明以最小化车辆端的能耗为优化目标，在任务时延门限、计算资源和无线资源有限的条件下，对应的优化问题为：
Figure BDA0002573996410000083
s.t.
Figure BDA0002573996410000084
Figure BDA0002573996410000085
Figure BDA0002573996410000086
Figure BDA0002573996410000087
Figure BDA0002573996410000088
本发明所述的基于多智能体的车速感知的计算任务卸载和资源分配方法包括以下步骤：
1)收集车辆端计算任务，根据车辆端计算任务的类型将车辆端计算任务划分为关键任务、高优先级任务及低优先级任务，再根据车速确定关键任务、高优先级任务及低优先级任务的时延门限；
2)对于关键任务、高优先级任务及低优先级任务，分别计算不同计算资源及无线资源分配下，卸载到VEC服务器、本地执行及继续等待对应的时延和能耗，然后在各任务的时延门限约束下，形成以减小车辆端处理任务能量消耗的目标函数；
3)将步骤2)得到的目标函数转化为马尔科夫决策过程，初始化马尔科夫决策过程的状态空间、动作空间及奖励；
4)根据多智能体增强学习网络得新的状态、动作和奖励，并将新的状态、动作和奖励存储到经验回放池中；
5)当经验回放池中的数据达到阈值时，对多智能体增强学习网络进行训练，直到多智能体增强学习网络收敛为止；
6)将待分配的车辆端和边缘服务器的状态输入到收敛后的多智能体增强学习网络，得任务卸载和资源分配结果，完成基于多智能体增强学习的车速感知的计算任务卸载和资源分配。
下面参考图1进行详细的说明：
步骤11)根据任务的类型将任务划分为关键任务、高优先级任务及低优先级任务，结合车速得到不同计算任务的时延门限，具体过程为；
根据车辆端计算任务的带宽和时延要求，将车辆端计算任务划分为关键任务φ1、高优先级任务φ2及低优先级任务φ3，关键任务φ1、高优先级任务φ2及低优先级任务φ3对应的时延门限分别为Thr1、Thr2及Thr3，其中，关键任务φ1的时延门限为10ms，低优先级任务φ3的时延门限为100ms，高优先级任务φ2与当前车辆的行驶速度相关，得任务
Figure BDA0002573996410000091
的时延门限
Figure BDA0002573996410000092
为：
Figure BDA0002573996410000093
其中，当
Figure BDA0002573996410000094
时，
Figure BDA0002573996410000095
当
Figure BDA0002573996410000096
时，
Figure BDA0002573996410000097
Figure BDA0002573996410000098
为车辆k的速度，Thr2为道路限速vmax对应的时延门限。
步骤12)对于不同的计算任务，当任务卸载到VEC服务器处理时，消耗的时延
Figure BDA0002573996410000099
为：
Figure BDA00025739964100000910
其中，
Figure BDA0002573996410000101
为向上取整函数，
Figure BDA0002573996410000102
为车辆k的任务
Figure BDA0002573996410000103
的文件大小，
Figure BDA0002573996410000104
为处理车辆k的任务
Figure BDA0002573996410000105
需要的计算密度，
Figure BDA0002573996410000106
为车辆k下载的任务
Figure BDA0002573996410000107
的文件大小相对于原上传任务缩小的比例，
Figure BDA0002573996410000108
为VEC服务器给车辆k的任务
Figure BDA0002573996410000109
分配的计算资源比例，fVEC为本地VEC服务器的CPU频率，
Figure BDA00025739964100001010
为车辆与VEC服务器之间的上行传输速率，
Figure BDA00025739964100001011
为下行传输速率；
此时，对应的车辆端能耗
Figure BDA00025739964100001012
为：
Figure BDA00025739964100001013
其中，P为车辆的信号传输功率；
当任务在本地执行时，根据车辆k分配的CPU频率fk，得车辆k的任务
Figure BDA00025739964100001014
在本地执行的时间消耗
Figure BDA00025739964100001015
为：
Figure BDA00025739964100001016
此时，对应的车辆端能耗
Figure BDA00025739964100001017
为：
Figure BDA00025739964100001018
其中，处理车辆k的任务
Figure BDA00025739964100001019
所需要的能量密度
Figure BDA00025739964100001020
以最小化车辆端的能耗为优化目标，在任务时延门限、计算资源和无线资源有限的条件下，对应的优化问题为：
Figure BDA0002573996410000111
s.t.
Figure BDA0002573996410000112
Figure BDA0002573996410000113
Figure BDA0002573996410000114
Figure BDA0002573996410000115
Figure BDA0002573996410000116
计算不同卸载位置和资源分配的时延和能耗，并形成时延约束下降低车辆端能耗的优化目标；
步骤13)初始化马尔科夫决策过程的状态、动作和奖励，在时刻t，将车辆k的状态空间定义为sk(t)，车辆k的状态空间包括其他车辆的状态信息和VEC服务器的状态信息，sk(t)为：
Figure BDA0002573996410000117
其中，vk(t),dk(t),ck(t)分别表示车辆k在时刻t的速度、位置以及需要处理的文件大小，rbVEC(t)表示在时刻VEC服务器的当前剩余计算能力，
Figure BDA0002573996410000118
表示在时刻t车辆k是否选择卸载位置(·)，如果选择，则
Figure BDA0002573996410000119
为1，否则，则
Figure BDA00025739964100001110
为0，
Figure BDA00025739964100001111
表示在时刻t，VEC服务器给车辆k分配的计算资源比例，
Figure BDA00025739964100001112
表示在时刻t，VEC服务器的上行信道资源是否空闲，
Figure BDA00025739964100001113
表示在时刻t，VEC服务器的下行信道资源是否空闲，因此，系统的状态空间定义为：St＝(s1(t),...sk(t)...,sK(t))；
对于车辆k来说，其动作空间为是否继续等待、是否卸载到VEC服务器、VEC分配的计算能力、VEC服务器分配的上下行子信道，即：
Figure BDA0002573996410000121
因此，在时刻t，车辆的动作空间为：At＝{a1(t),...ak(t)...,aK(t)}；
当车辆k采取的动作ak(t)后的状态不满足条件(c1)-(c7)时，奖励函数为：
Figure BDA0002573996410000122
其中，当不满足(·)的条件时，Λ(·)为-1，否则，Λ(·)为0，l1,Γ1,Γ2,Γ3,Γ4为实验参数。
当车辆k采取动作后的状态满足全部条件(c1)-(c4)时，奖励函数定义为：
rk(t)＝l2+exp(Thrk(t)-Dk(t))
其中，l2为实验参数，exp(·)为指数函数，当车辆k采取动作后的状态满足全部条件(c1)-(c5)时，奖励函数为：
r(t)＝l3+Γ5·exp(Ek(t))
其中，l3,Γ5为实验参数。
步骤14)根据多智能体增强学习网络得到新的状态、动作和奖励，并存储在经验回放池；
步骤15)判断经验回放池内的数据是否达到阈值，当经验回放池中的数据达到阈值时，对多智能体增强学习网络进行训练，直到多智能体增强学习网络收敛为止；
对于集中训练的过程，由K个agents组成，多智能体增强学习网络的参数为θ＝{θ1,...,θK}，令
Figure BDA0002573996410000123
表示所有agent的策略集合，则对于agent k的确定性策略μk，其梯度表示为：
Figure BDA0002573996410000131
其中，
Figure BDA0002573996410000132
为经验回放区，由一系列的状态、动作以及奖励组成，即：(S,A,S',R)，
Figure BDA0002573996410000133
为集中式的动作-价值函数，输入为所有agents的动作和一些状态信息，输出为agent k的Q值，对于评价网络
Figure BDA0002573996410000134
根据Loss函数进行更新，即：
Figure BDA0002573996410000135
Figure BDA0002573996410000136
其中，γ为折扣因子，而动作网络通过最小化agent的策略梯度进行更新，即：
Figure BDA0002573996410000137
其中，X为mini-batch的大小，j为样本的索引。
步骤17)将待分配的车辆端和边缘服务器的状态输入到收敛后的多智能体增强学习网络，得任务卸载和资源分配结果，完成基于多智能体增强学习的车速感知的计算任务卸载和资源分配。
仿真实验
仿真平台在Python3.7环境下实现，tensorflow版本为1.15.0，详细的仿真参数设置如表1及表2所示，实验结果中，现存的计算卸载和资源分配算法为AL、AV、RD和EDG算法，本发明对应的算法为JDEE-MADDPG算法。
表1
Figure BDA0002573996410000138
Figure BDA0002573996410000141
表2
参数 设定值 参数 设定值
层数 3 层类型 Fully Connected
隐藏单元数 512 评判网络学习率 0.001
优化器 Adam 动作网络学习率 0.0001
周期 100000 激活函数 Relu
采样池 128 缓存区大小 20000
五种算法的车辆的平均任务完成时延对比，该实验主要评估各算法对应平均任务完成时延在不同车辆数的分布情况。实验结果如图2、图3、图4及图5所示。由图2、图3、图4及图5可以看出，与AL，AV和RD算法相比，本发明提出的JDEE-MADDPG算法始终可以为每个车辆保持较低的任务完成时延，这是因为本发明可以根据任务优先级、任务大小、车速和车辆的通道状态将计算资源和无线资源更准确地分配给车辆，此外，EDG算法的某些车辆的任务完成时延小于本发明提出的JDEE-MADDPG算法，因为本发明提出的算法在不超过任务时延门限的前提下，牺牲了一点任务完成延迟来降低车辆终端的能耗。
五种算法的车辆平均任务能耗对比，实验结果如图6、图7、图8及图9所示，与其他算法相比，本发明始终可以保持较低的能耗水平，这是因为本发明根据任务优先级、任务大小、车辆速度和车辆的信道状态制定最佳的卸载和资源分配策略，并尽可能降低所有车辆的任务能耗。
当车速范围分别为[30,50]Km/h与[50,80]Km/h，五种算法的车辆的平均任务完成时延与平均任务能耗对比，实验结果如图10、图11、图12及图13所示，与AL，AV和RD算法相比，本发明在任务时延和能耗方面表现地更好，这是因为本发明可以利用车辆终端和VEC服务器的状态信息，即车辆位置，车速，任务队列，通道状态和剩余的计算资源来做出最佳卸载和资源分配策略。此外，本发明中某些车辆的任务完成时延高于EDG算法的原因是，本发明提出的JDEE-MADDPG算法在不超过任务时延门限的前提下，为高速车辆分配更多的VEC服务器的无线和计算资源，来降低车辆端的整体能耗，因此导致某些车辆的任务完成时延高于EDG算法。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (1)

1.一种基于多智能体的车速感知的计算任务卸载和资源分配方法，其特征在于，包括以下步骤：
1)收集车辆端计算任务，根据车辆端计算任务的类型将车辆端计算任务划分为关键任务、高优先级任务及低优先级任务，再根据车速确定关键任务、高优先级任务及低优先级任务的时延门限；
2)对于关键任务、高优先级任务及低优先级任务，分别计算不同计算资源及无线资源分配下，卸载到VEC服务器、本地执行及继续等待对应的时延和能耗，然后在各任务的时延门限约束下，形成以减小车辆端处理任务能量消耗的目标函数；
3)将步骤2)得到的目标函数转化为马尔科夫决策过程，初始化马尔科夫决策过程的状态空间、动作空间及奖励；
4)根据多智能体增强学习网络得新的状态、动作和奖励，并将新的状态、动作和奖励存储到经验回放池中；
5)当经验回放池中的数据达到阈值时，对多智能体增强学习网络进行训练，直到多智能体增强学习网络收敛为止；
6)将待分配的车辆端和边缘服务器的状态输入到训练后的多智能体增强学习网络中，得任务卸载和资源分配结果，完成基于多智能体增强学习的车速感知的计算任务卸载和资源分配；
根据车辆端计算任务的带宽和时延要求，将车辆端计算任务划分为关键任务φ1、高优先级任务φ2及低优先级任务φ3，关键任务φ1、高优先级任务φ2及低优先级任务φ3对应的时延门限分别为Thr1、Thr2及Thr3，其中，关键任务φ1的时延门限为10ms，低优先级任务φ3的时延门限为100ms，高优先级任务φ2与当前车辆的行驶速度相关，令
Figure FDA0003210499880000011
表示车辆k在时刻t的任务，则此时，任务
Figure FDA0003210499880000012
的时延门限
Figure FDA0003210499880000013
为：
Figure FDA0003210499880000014
其中，vmax为道路最高限速，α2为正态函数的方差，为了保证当前车速在道路最高限速vmax内的概率超过95％，则α＝vmax/1.96，exp(·)为以e为底的指数函数，当
Figure FDA0003210499880000021
时，
Figure FDA0003210499880000022
当
Figure FDA0003210499880000023
时，
Figure FDA0003210499880000024
Figure FDA0003210499880000025
为车辆k在t时刻的速度，Thr2为道路最高限速vmax对应的时延门限；
VEC服务器分配给车辆k的上行信道n的传输速率
Figure FDA0003210499880000026
为：
Figure FDA0003210499880000027
其中，σ2为噪声功率，P为传输功率，
Figure FDA0003210499880000028
为车辆k与VEC服务器之间上行信道n的信道干扰，
Figure FDA0003210499880000029
为车辆k与VEC服务器之间上行信道n的信道增益，信道带宽
Figure FDA00032104998800000210
等于
Figure FDA00032104998800000211
Figure FDA00032104998800000212
为VEC服务器的上行总带宽，
Figure FDA00032104998800000213
为VEC服务器的上行信道个数，
Figure FDA00032104998800000214
为车辆与VEC之间的上行信道集合，log2(·)为以2为底的对数函数；
设
Figure FDA00032104998800000215
表示车辆k与VEC服务器之间的上行信道n是否分配给车辆k，若分配，则
Figure FDA00032104998800000216
为1，否则，则
Figure FDA00032104998800000217
为0，得车辆k与VEC服务器之间的上行传输速率
Figure FDA00032104998800000218
为：
Figure FDA00032104998800000219
VEC服务器分配给车辆k的下行信道n的传输速率
Figure FDA00032104998800000220
为：
Figure FDA00032104998800000221
其中，σ2为噪声功率，P为传输功率，
Figure FDA00032104998800000222
为车辆k与VEC服务器之间下行信道n的信道干扰，
Figure FDA00032104998800000223
为车辆k与VEC服务器之间下行信道n的信道增益，信道带宽
Figure FDA00032104998800000224
等于
Figure FDA00032104998800000225
Figure FDA00032104998800000226
为VEC服务器的下行总带宽，
Figure FDA00032104998800000227
为VEC服务器的下行信道个数，
Figure FDA00032104998800000228
为车辆与VEC之间的下行信道集合；
设
Figure FDA0003210499880000031
表示车辆k与VEC服务器之间的下行信道n是否分配给车辆k，若分配，则
Figure FDA0003210499880000032
为1，否则，则
Figure FDA0003210499880000033
为0，得车辆k与VEC服务器之间的下行传输速率
Figure FDA00032104998800000330
为：
Figure FDA0003210499880000034
车辆k的任务
Figure FDA0003210499880000035
卸载到VEC服务器执行消耗的总时延
Figure FDA0003210499880000036
为：
Figure FDA0003210499880000037
其中，
Figure FDA0003210499880000038
为向上取整函数，
Figure FDA0003210499880000039
为车辆k的任务
Figure FDA00032104998800000310
的文件大小，
Figure FDA00032104998800000311
为处理车辆k的任务
Figure FDA00032104998800000312
需要的计算密度，
Figure FDA00032104998800000313
为车辆k下载的任务
Figure FDA00032104998800000314
的文件大小相对于原上传任务缩小的比例，
Figure FDA00032104998800000315
为VEC服务器给车辆k的任务
Figure FDA00032104998800000316
分配的计算资源比例，fVEC为本地VEC服务器的CPU频率，
Figure FDA00032104998800000317
为车辆k与VEC服务器之间的上行传输速率，
Figure FDA00032104998800000318
为车辆k与VEC服务器之间的下行传输速率；
根据车辆k自身分配的CPU频率fk，计算车辆k的任务
Figure FDA00032104998800000319
在本地执行的时间消耗
Figure FDA00032104998800000320
为：
Figure FDA00032104998800000321
在时刻t，车辆k的任务
Figure FDA00032104998800000322
能够选择继续等待、卸载到本地VEC服务器以及本地执行，设
Figure FDA00032104998800000323
表示车辆k的任务
Figure FDA00032104998800000324
是否继续等待，当继续等待，则
Figure FDA00032104998800000325
为1，否则，则
Figure FDA00032104998800000326
为0，设继续等待时间为Th，
Figure FDA00032104998800000327
表示车辆k的任务
Figure FDA00032104998800000328
是否卸载到本地VEC服务器，当
Figure FDA00032104998800000329
为1时，则表示车辆k的任务
Figure FDA0003210499880000041
卸载到本地VEC服务器，对于车辆k的任务
Figure FDA0003210499880000042
从产生任务
Figure FDA0003210499880000043
到执行动作完成需要花费的总时延
Figure FDA0003210499880000044
为：
Figure FDA0003210499880000045
其中，
Figure FDA0003210499880000046
为根据车辆k的任务
Figure FDA0003210499880000047
产生的时间；
当车辆k的计算任务
Figure FDA0003210499880000048
卸载到VEC服务器时，卸载任务的能量消耗包括上传计算任务消耗的能量及下载任务消耗的能量，卸载到VEC服务器的能量消耗
Figure FDA0003210499880000049
为：
Figure FDA00032104998800000410
当车辆k的计算任务
Figure FDA00032104998800000411
在本地处理时，根据处理车辆k的任务
Figure FDA00032104998800000412
所需要的能量密度
Figure FDA00032104998800000413
得任务在本地处理的能量消耗
Figure FDA00032104998800000414
为：
Figure FDA00032104998800000415
在时刻t，当车辆执行卸载策略后，本地VEC服务器服务范围内所有车辆消耗的能量E(t)为：
Figure FDA00032104998800000416
在任务时延门限、计算资源和无线资源有限的条件下，形成的减少车辆端处理任务能量消耗的目标函数为：
Figure FDA0003210499880000051
其中，
Figure FDA0003210499880000052
Figure FDA0003210499880000053
为车辆集合，T为车辆行驶仿真的总时间。
CN202010648403.2A 2020-07-07 2020-07-07 基于多智能体的车速感知的计算任务卸载和资源分配方法 Active CN111918245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010648403.2A CN111918245B (zh) 2020-07-07 2020-07-07 基于多智能体的车速感知的计算任务卸载和资源分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010648403.2A CN111918245B (zh) 2020-07-07 2020-07-07 基于多智能体的车速感知的计算任务卸载和资源分配方法

Publications (2)

Publication Number Publication Date
CN111918245A CN111918245A (zh) 2020-11-10
CN111918245B true CN111918245B (zh) 2021-11-19

Family

ID=73227589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010648403.2A Active CN111918245B (zh) 2020-07-07 2020-07-07 基于多智能体的车速感知的计算任务卸载和资源分配方法

Country Status (1)

Country Link
CN (1) CN111918245B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112616131B (zh) * 2020-12-11 2022-05-13 北京邮电大学 一种基于视频内容优先级的车联网资源分配方法
CN112689296B (zh) * 2020-12-14 2022-06-24 山东师范大学 一种异构IoT网络中的边缘计算与缓存方法及系统
CN112685186B (zh) * 2021-01-08 2023-04-28 北京信息科技大学 一种计算任务的卸载方法、装置、电子设备及存储介质
CN112929412B (zh) * 2021-01-22 2022-03-11 山东大学 一种基于mec单车单小区的联合带宽分配与数据流卸载方法、设备及存储介质
CN113452625B (zh) * 2021-06-28 2022-04-15 重庆大学 基于深度强化学习的卸载调度与资源分配方法
CN113542376A (zh) * 2021-07-01 2021-10-22 广东工业大学 一种基于能耗与时延加权的任务卸载方法
CN113726858B (zh) * 2021-08-12 2022-08-16 西安交通大学 一种基于强化学习的自适应ar任务卸载和资源分配方法
CN113918240B (zh) * 2021-10-15 2024-05-28 全球能源互联网研究院有限公司 任务卸载方法及装置
CN113900739B (zh) * 2021-10-27 2024-11-19 大连理工大学 一种多对多边缘计算场景下的计算卸载方法及系统
CN114489964B (zh) * 2021-12-08 2025-03-04 中国科学院信息工程研究所 一种基于联邦学习的车载网络信用优先任务卸载方法
CN114285847A (zh) * 2021-12-17 2022-04-05 中国电信股份有限公司 数据处理、模型训练方法及装置、电子设备、存储介质
CN114637608B (zh) * 2022-05-17 2022-09-16 之江实验室 一种计算任务分配和更新方法、终端及网络设备
CN115022322B (zh) * 2022-06-02 2024-02-02 湖南第一师范学院 一种车联网中基于群智进化的边云协作任务卸载方法
CN115484261B (zh) * 2022-08-25 2025-01-03 南京邮电大学 一种无人机辅助的车辆边缘计算协同任务卸载方法
CN115426683B (zh) * 2022-09-06 2025-07-01 中国科学院计算技术研究所 一种面向任务卸载的车辆集群动态生成方法
CN115658251B (zh) * 2022-09-19 2025-03-07 重庆大学 联邦多智能体Actor-Critic学习智慧物流任务卸载和资源分配系统及介质
CN115237506B (zh) * 2022-09-21 2022-12-09 暨南大学 Cps系统中可靠性驱动的分层任务卸载方法和装置
CN116033388A (zh) * 2022-12-13 2023-04-28 南京邮电大学 一种基于深度强化学习与契约匹配的车辆雾计算方法
CN116405904B (zh) * 2023-04-06 2025-05-30 上海大学 一种基于深度强化学习的tacs网络资源分配方法
CN116541106B (zh) * 2023-07-06 2023-08-29 闽南理工学院 计算任务卸载方法、计算设备及存储介质
CN117528652B (zh) * 2023-11-20 2025-04-29 中国移动紫金(江苏)创新研究院有限公司 业务时延优化方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106134263A (zh) * 2014-01-29 2016-11-16 交互数字专利控股公司 无线通信中的上行链路传输
CN109478057A (zh) * 2016-05-09 2019-03-15 强力物联网投资组合2016有限公司 用于工业物联网的方法和系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012056437A1 (en) * 2010-10-29 2012-05-03 École Polytechnique Fédérale De Lausanne (Epfl) Omnidirectional sensor array system
US10575355B2 (en) * 2014-09-02 2020-02-25 Apple Inc. API for web access directly or through intermediary
US10439890B2 (en) * 2016-10-19 2019-10-08 Tata Consultancy Services Limited Optimal deployment of fog computations in IoT environments
CN108541027B (zh) * 2018-04-24 2022-05-31 南京邮电大学 一种基于边缘云网络的通信计算资源置换方法
US11200186B2 (en) * 2018-06-30 2021-12-14 Intel Corporation Apparatuses, methods, and systems for operations in a configurable spatial accelerator
CN109257432B (zh) * 2018-10-12 2021-01-12 桂林电子科技大学 一种任务切换方法、计算机装置及可读存储介质
CN110035410B (zh) * 2019-03-07 2021-07-13 中南大学 一种软件定义车载边缘网络中联合资源分配和计算卸载的方法
CN110650457B (zh) * 2019-10-14 2020-07-14 河海大学 一种车联网中任务卸载计算成本与时延的联合优化方法
CN110868700B (zh) * 2019-10-16 2023-04-07 深圳大学 车载边缘计算环境下基于可分裂任务的协作计算卸载方法
CN110933157B (zh) * 2019-11-26 2022-03-11 重庆邮电大学 一种面向工业物联网的边缘计算任务卸载方法
CN111142883B (zh) * 2019-12-03 2023-04-28 沈阳航空航天大学 基于sdn架构的车辆计算任务卸载方法
CN111124647B (zh) * 2019-12-25 2022-11-18 大连理工大学 一种车联网中的智能边缘计算方法
CN111262940B (zh) * 2020-01-17 2021-06-22 中南大学 一种车载边缘计算应用缓存方法、装置及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106134263A (zh) * 2014-01-29 2016-11-16 交互数字专利控股公司 无线通信中的上行链路传输
CN109478057A (zh) * 2016-05-09 2019-03-15 强力物联网投资组合2016有限公司 用于工业物联网的方法和系统

Also Published As

Publication number Publication date
CN111918245A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111918245B (zh) 基于多智能体的车速感知的计算任务卸载和资源分配方法
CN111464976B (zh) 一种基于车队的车辆任务卸载决策和总体资源分配方法
CN112911016B (zh) 边端协同计算卸载方法及系统、电子设备和存储介质
CN111711666B (zh) 一种基于强化学习的车联网云计算资源优化方法
CN112601197A (zh) 一种基于非正交多址的车联网络中资源优化方法
CN109002358A (zh) 基于深度强化学习的移动终端软件自适应优化调度方法
CN109257432B (zh) 一种任务切换方法、计算机装置及可读存储介质
CN116321299B (zh) 信息年龄约束下基于mec的车联网任务卸载和资源分配方法
CN114641041B (zh) 一种面向边缘智能的车联网切片方法及装置
CN114374949B (zh) 一种车联网中基于信息新鲜度优化的功率控制机制
CN115065683B (zh) 基于车辆聚类的车辆边缘网络任务分配卸载方法
CN111565380A (zh) 车联网中基于noma-mec混合卸载方法
CN118113484B (zh) 一种资源调度方法、系统、存储介质及车辆
CN112911647A (zh) 一种基于深度强化学习的计算卸载和资源分配方法
CN113641417A (zh) 一种基于分支定界法的车辆安全任务卸载方法
Mao et al. On an intelligent task offloading model to jointly optimize latency and energy for electric connected vehicles
CN115022322A (zh) 一种车联网中基于群智进化的边云协作任务卸载方法
CN116366576A (zh) 算力网络资源调度方法、装置、设备及介质
CN116133049B (zh) 一种基于drl与安全的云边端协同mec任务卸载策略
CN109558240A (zh) 一种移动终端应用下基于支持向量机的任务卸载方法
CN118368643B (zh) 一种面向车联网网络切片的效用最大化资源分配方法
CN115604853A (zh) 边缘计算的车辆依赖任务卸载方法及系统
CN116743584B (zh) 一种基于信息感知及联合计算缓存的动态ran切片方法
CN112835637A (zh) 一种面向车辆用户移动边缘计算的任务卸载方法
CN117793665A (zh) 一种车联网计算任务卸载方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant