CN111158612B - 一种协同移动设备的边缘存储加速方法、装置及设备 - Google Patents
一种协同移动设备的边缘存储加速方法、装置及设备 Download PDFInfo
- Publication number
- CN111158612B CN111158612B CN202010252903.4A CN202010252903A CN111158612B CN 111158612 B CN111158612 B CN 111158612B CN 202010252903 A CN202010252903 A CN 202010252903A CN 111158612 B CN111158612 B CN 111158612B
- Authority
- CN
- China
- Prior art keywords
- mobile device
- data
- storage
- edge
- mobile devices
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
Description
技术领域
本发明一个或多个实施例涉及边缘存储技术领域,尤其涉及一种协同移动设备的边缘存储加速方法、装置及设备。
背景技术
越来越多的移动设备用于收集和处理大量数据,一方面,在军事领域,士兵通过战术手持终端、UAV和UGV(无人地面车辆)等移动设备上传和共享数据。由于可能会造成人身伤亡,需要备份个人数据,以避免数据丢失。另一方面,在民用领域,移动设备可用于存储灾难或紧急情况的数据以执行实时灾情监视。数据存储方式。然而,解决协同存储问题仍然存在一些障碍。第一,与传统存储设备相比,边缘移动设备具有独特的特性。与服务器、计算机和其他传统存储设备的相对稳定的网络结构不同,由移动设备组成的边缘的网络拓扑是高度动态的。对于传统的存储问题,为了确保数据存储的可用性,通常使用分布式的数据备份方法。但是,随着移动设备资源的逐渐消耗,不正确的副本数量选择和不合理的备份数据分配都可能导致数据备份失败。副本数量的选择和备份数据的分配应随边缘移动设备资源的变化而调整。完成协同存储的时间是关键指标。一方面,随着协同存储时间的增长,很可能导致存储故障。另一方面,随着时间成本的增加,消耗了更多的能量。因此,低延迟时间的要求至关重要且值得关注。设计的算法应尽快收敛,以减少移动设备的时间开销和能耗。现有技术无法考虑高度动态的网络拓扑,存储可靠性低,数据备份失败率高,协同存储时间长,延迟高。
发明内容
有鉴于此,本发明一个或多个实施例的目的在于提出一种协同移动设备的边缘存储加速方法、装置及设备,以解决现有技术无法考虑高度动态的网络拓扑,存储可靠性低,数据备份失败率高,协同存储时间长,延迟高的问题。
基于上述目的,本发明一个或多个实施例提供了一种协同移动设备的边缘存储加速方法,包括:
建立移动设备间传输数据的边缘协同存储任务;
基于所述边缘协同存储模型计算得到A2CS加速算法;
基于所述边缘协同存储模型和A2CS加速算法,提出边缘协同存储策略;
以所述边缘协同存储策略指导所述边缘协同存储任务。
可选的,所述建立移动设备间传输数据的边缘协同存储任务,包括:
所述移动设备收集数据;
其中表示所述发送移动设备的发射功率,表示接收移动设备的接收功率,表示数据从所述发送移动设备传输至所述接收移动设备所花费的时间,表示所述接收移动设备接收所述发送移动设备发送的数据所花费的时间,表示发射天线增益,表示接收天线增益,表示波长,表示所述发送移动设备和所述接收移动设备之间的距离,表示与传播无关的系统损耗因子,表示所述发送移动设备的数据传输速率,表示所述接收移动设备的数据接收速率;
可选的,所述A2CS加速算法包括:
停止准则,所述停止准则使所述A2CS加速算法获得可行解并确保所述A2CS加速算法快速收敛,所述停止准则表述为
可选的,所述边缘协同存储策略包括以下步骤:数据收集、请求分发、做出决策、决策反馈、多次交互和数据传输。
基于同一发明构思,本发明一个或多个实施例还提供了一种协同移动设备的边缘存储加速装置,包括:
第一建立模块,被配置为建立移动设备间传输数据的边缘协同存储任务;
计算模块,被配置为基于所述边缘协同存储模型计算得到A2CS加速算法;
策略模块,被配置为基于所述边缘协同存储模型和A2CS加速算法,提出边缘协同存储策略;
执行模块,被配置为以所述边缘协同存储策略指导所述边缘协同存储任务。
基于同一发明构思,本发明一个或多个实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述任意一种所述的方法。
从上面所述可以看出,本发明一个或多个实施例提供的一种协同移动设备的边缘存储加速方法、装置及设备,特别注意了移动设备的独特特性以及多个移动设备的动态网络拓扑,将协同存储问题转化为可解决的优化问题,通过研究加速策略,提出了A2CS加速算法,高效地解决协同存储的优化问题,在A2CS加速算法中,可以从理论上提高收敛速度,同时提出了一种协同存储策略,该策略包括六大步骤,可以表示协同存储的整个过程,A2CS加速算法应用贯穿于该策略的全部步骤,以该策略指导协同存储的整个循环周期。A2CS加速算法与两种现有方法ADMM基准和ADMM-OR(具有过度松弛的ADMM)相比,A2CS加速算法在不同的步长规则下提供了更好的收敛性能,加速百分比至少达到25.33%,最多可以达到64.01%。此外,通过使用现有的平均分配策略(ADS)和现有的距离优先分配策略(DPDS)进行效用性能比较分析,结果表明A2CS加速算法在总效用和能耗方面优于ADS策略和DPDS策略。
附图说明
为了更清楚地说明本发明一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明一个或多个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个或多个实施例中加速方法流程示意图;
图2为本发明一个或多个实施例中加速算法A2CS框架图;
图3为本发明一个或多个实施例中协同存储策略示意图;
图4为本发明一个或多个实施例中加速装置示意图;
图5为本发明一个或多个实施例中电子设备示意图;
图6为本发明一个或多个实施例中数据量大小固定时的能耗和数据丢失的归一化值的实验数据图;
图8(a)为本发明一个或多个实施例中当数据量大小固定时,A2CS算法使用不同的步长规则对收敛次数的影响关系图;
图8(b)为本发明一个或多个实施例中当数据量大小固定时,ADMM算法使用不同的步长规则对收敛次数的影响关系图;
图8(c)为本发明一个或多个实施例中当数据量大小固定时,ADMM-OR算法使用不同的步长规则对收敛次数的影响关系图;
图10(a)为本发明一个或多个实施例中分别使用A2CS加速算法,ADS算法和DPDS算法显示了总效用的关系图以及不同时间范围内A2CS加速算法相对于ADS算法和DPDS算法的优势百分比图;
图10(b)为本发明一个或多个实施例中分别使用A2CS加速算法,ADS算法和DPDS算法显示了能耗的关系图以及不同时间范围内A2CS加速算法相对于ADS算法和DPDS算法的优势百分比图;
图11(a)为本发明一个或多个实施例中使用A2CS加速算法的总效用的关系图以及不同时间范围数据量大小图;
图11(b)为本发明一个或多个实施例中使用A2CS加速算法的能耗的关系图以及不同时间范围数据量大小图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本发明一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本发明一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
本发明一个或多个实施例提供了一种协同移动设备的边缘存储加速方法、装置及设备。
参考图1,本发明一个或多个实施例提供的方法,包括以下步骤:
S101建立移动设备间传输数据的边缘协同存储任务。
本实施例中,边缘协同存储任务建立再边缘协同存储框架的基础上,边缘存储框架中包括多个移动设备,每个移动设备包括:存储单元、数据处理器、调度器和数据接收器/发送器,不同移动设备的当前存储容量是不同的,边缘协同存储任务包括以下步骤:
移动设备收集数据;
为了降低数据丢失的概率,移动设备在考虑能耗的同时将数据的副本发送至相连的移动设备,考虑到存储容量和电池电量,副本的数量和接收数据的移动设备的选择都由边缘中的多个移动设备共同确定,不同移动设备的电池电量不同,如果电池电量低,则发送数据的移动设备不会将副本发送至该电量低的移动设备,而是选择将数据的副本发送至其他与发送数据的移动设备相连的电量充足的移动设备中。
本实施例中,首先将移动设备集合建模为 ,其中是第个所述移动设备,是边缘中的所述移动设备的总数。对于任意一个边缘的移动设备,所述第个所述移动设备被建模为 ,其中表示的存储容量,表示的电池电量,表示收集的数据量大小,表示收集的数据的数据副本数量,表示的数据传输速率,表示的数据接收速率。
表1 符号描述
参考表1,边缘中的动态网络拓扑仍然是协同存储的巨大挑战,为了对网络拓扑进行建模,考虑了移动设备及其之间的关系,包括连接性和距离。因此,边缘中的动态网络拓扑被建模为 ,表示移动设备集合,表示邻接矩阵,表示距离矩阵,所述邻接矩阵包括:
上面定义的邻接矩阵表示理想状态下移动设备之间的连接,这意味着连接足够鲁棒。但是,移动设备之间的通信中断和移动设备的退出可能导致连接丢失。对于每个移动设备,与另一个移动设备的连接丢失是随机的。在本实施例中中,它近似服从0-1分布,可以表示为:
其中表示和之间的距离。根据上面的定义,邻接矩阵和距离矩阵都是对称矩阵。此外,和的维数表示边缘移动设备的数量。随着移动设备集合,邻接矩阵和距离矩阵的变化,网络拓扑也发生变化,从而可以表示边缘中网络拓扑的动态变化。由于完整而正确的数据在协同存储领域中很重要,因此本实施例专注于边缘协同存储的可靠性。此外,协同存储的可靠性与冗余机制,副本丢失的可能性以及数据对象的故障率密切相关,因此,为了提高存储可靠性,本实施例考虑了数据备份。将定义为数据存储的失败率,表示数据存储失败后的恢复概率。协同存储中的存储可靠性模型类似于马尔科夫过程,因此以任意一个移动设备为例,移动设备数据丢失的概率可以表示为:
其中是副本数量,表示次序。假设在不同移动设备之间传输和存储的数据是独立的,而且不同移动设备中不同数据的丢失概率相同,使用数据丢失量来描述存储可靠性。显然,数据丢失越多,存储可靠性就越低。该公式可描述为:
其中是移动设备上的数据量大小。当副本数约为5时,可以满足较高的可靠性要求。当副本数大于5时,提高可靠性毫无意义,而且会增加数据维护成本。但是,固定的副本数可能过多而导致多余的能源成本,或者过少而导致可靠性降低。此外,当以分布式方式存储时,将数据传输到不同移动设备的能量消耗是动态变化的。为了平衡存储可靠性和能耗之间的关系,本实施例考虑了一种灵活的数据备份策略,该策略由副本数选择和数据副本的分配策略组成,本实施例专注于以尽可能低的能耗可靠地存储数据。
对于协同存储,移动设备的续航时间是一种至关重要的因素。更长的续航时间意味着可以收集,传输和存储更多数据。此外,续航时间可以用能耗来描述,当能量消耗减少时,续航时间增加。边缘协同存储的能耗主要由两部分组成:数据存储的能耗和数据传输的能耗。本实施例中,假设数据发送和接收不会相互影响。另外,将所有移动设备分为发送设备和接收设备组成的小组,所述发送移动设备和接收移动设备组成收发移动设备组,所述发送移动设备和接收移动设备之间进行数据存储和数据传输,这些收发移动设备组可以公式为。每个移动设备可以同时分为不同的组。所述数据存储产生数据存储能耗,所述表述为
其中,表示当时从所述发送移动设备传输到接收移动设备的数据量大小,以及当时所述发送移动设备存储的数据量大小,表示上述组中数据存储的能耗。对于所述数据传输产生数据传输能耗,本实施例使用自由空间传播模型来描述多个移动设备中的数据传输。为了便于分析,假定将数据传输到。表示所述发送移动设备的发射功率,表示接收移动设备的接收功率。基于Friis转移公式,将与之间的关系建模为:
其中表示发射天线增益,表示接收天线增益,表示波长,表示所述发送移动设备和所述接收移动设备之间的距离,表示与传播无关的系统损耗因子。在协同存储框架中,每个移动设备的发射功率、波长和系统损耗因子均可以视为常数。此外,数据从所述发送移动设备传输至所述接收移动设备所花费的时间和接收移动设备接收所述发送移动设备发送的数据所花费的时间可以表示为:
其中表示当时从所述发送移动设备传输到接收移动设备的数据量大小,另外,表示所述发送移动设备的数据传输速率,表示所述接收移动设备的数据接收速率。数据传输速率可以设置为常数,因为不存在由于传播引起的信号衰减,而数据接收速率与接收信号强度指示符(RSSI)有关,可以将其描述为:
然而,不能简单地通过线性模型来描述数据接收速率和RSSI之间的关系。参考表2,可以获得RSSI与数据传输速率之间的对应关系,
表2 RSSI与数据传输速率之间的对应关系
S103基于所述边缘协同存储模型计算得到A2CS加速算法。
本实施例中,A2CS加速算法选用的优化函数为优化函数F,优化函数描述了上述步骤中的协同存储的总效用,包括存储的可靠性和续航时间。优化目标是最大程度地减少协同存储中的数据丢失和能耗。为了满足协同存储的高存储可靠性和长续航时间的要求,在上述存储可靠性和续航时间模型的基础上,将协同存储系统的优化功能定义为:
协同存储问题已转化为优化问题,该问题与ADMM的应用领域非常接近。此外,优化函数由两个独立的函数组成,适合ADMM的可分解性。但是,ADMM也存在一些不足,比如现实中的收敛速度很慢,协同存储问题迫切需要快速的收敛速度,因此较慢的收敛速度这是不可接受的,但是现有技术表明,当前大多数研究都不适用于协同存储问题,因此,应考虑并修改加速策略,发明人为了使算法与优化问题更加兼容,需要进行一些调整,提出了对优化函数进行标准化和分解。对于边缘中的每个移动设备,数据存储过程始终相同,因此可以以分布式方式部署A2CS加速算法。为了使优化功能清晰可见,以满足A2CS的基本形式,以一个移动设备为例,收集的数据量大小为,副本数为。令
其中表示与连接的移动设备的数量,。此外,的分量表示在每个与连接的移动设备中传输的数据量,的分量表示在每个与连接的移动设备中存储的数据量。对应于(13)中的和,本实施例中分别有和用于移动设备。特别地,是表示由移动设备收集的数据量,而是一个向量,表示从移动设备发送到其他移动设备的数据。,,和之间的关系可以表示为:
初始值可设置为:
A2CS的局限性之一是子函数必须是凸函数。因此,有必要证明优化函数是凸的并且A2CS是适用的。对于函数,只有一个变量,并且可以根据背景技术的知识给其他参数赋值,这意味着是线性函数。对于函数,变量包括和两个节点之间的距离。一旦距离固定并视为常数,则只有一个变量,上述函数可以简化为线性函数。基于协同存储框架和协同存储模型,每个移动设备都可以从连接的移动设备获取距离信息,这意味着该距离可以设置为常数,并且可以进一步简化为线性函数。因此,子函数的凸性证明如下。
证明:
如(17)和(18)中所定义,和的导数可以分别描述为:
证毕。
根据ADMM理论,本实施例中对于A2CS加速算法设置了合理的停止准则,以获得令人满意的可行解并确保快速收敛。当原始残差和对偶残差较小时,目标次优也必须较小。具体来说,对于移动设备,使用原始残差和对偶残差的值来确定迭代次数,并可以在第次迭代时公式化为:
于是,提出了一个合理的停止准则:
参考图2,综合了本方案中的优化函数、初始值和停止准则,基于加速梯度下降方案NA和ADMM算法,结合了ADMM算法的缩放形式和NA,得到了本实施例中的A2CS加速算法。
S104基于所述边缘协同存储模型和A2CS加速算法,提出边缘协同存储策略。
为了详细、直观地显示协同存储的过程,本实施例在边缘协同存储模型和A2CS加速算法的基础上,提出了边缘协同存储策略,参考图3,在此策略中,添加了一个名为的属性,以区分中边缘每个移动设备的角色,其中。当时,移动设备是将数据传输到其他相连的移动设备的请求节点。当时,移动设备是从其他相连的移动设备接收数据的存储节点。显然,移动设备可以同时是请求节点和存储节点。对于某个移动设备,它收集数据,然后将消息发送到连接的移动设备。之后,它确定副本数量、选择要存储的移动设备以及确定每个选定移动设备的数据量分配。同时,它还可以从其他已连接的移动设备接收请求,并决定是否接收数据。
本实施例中,边缘协同存储策略包括六大步骤:数据收集、请求分发、做出决策、决策反馈、多次交互和数据传输。数据收集步骤参考图3中的(a),用矩形和圆形表示的不同类型的移动设备具有不同的角色。另外,移动设备同时处于不同状态。带阴影的矩形和圆形表示请求节点,而其他表示空闲的存储节点。图片中的实线表示不同移动设备之间的连接。请求节点正在收集数据并准备发送数据存储消息,而存储节点已准备好从请求节点接收数据存储消息。请求分发步骤参考图3中的(b),请求节点将数据存储消息发送到所连接的移动设备并等待反馈。实线箭头表示从请求节点到存储节点的数据存储消息。做出决策步骤参考图3中的(c),空闲的存储节点接收数据存储消息并变得繁忙,由阴影矩形和带虚线的圆表示。考虑到存储容量和电池电量,繁忙的存储节点然后决定如何响应请求消息。决策反馈步骤参考图3中的(d),繁忙存储节点根据(c)中的决策将反馈返回到(a)中的请求节点。决策包含是否存储以及存储量。(d)中的虚线箭头表示决策反馈。多次交互步骤参考图3中的(e),请求节点与存储节点进行多次交互以获得可行的解决方案。双向虚线箭头表示不同移动设备之间的交互。数据传输步骤参考图3中的(f),(a)中的请求节点接收并汇总反馈。根据汇总,请求节点首先计算并确定副本数。然后,他们选择数据副本并将其传输到某些存储节点。在(f)中,数据传输用实心箭头和数据图标表示。协同存储的整个过程从(a)重复到(f),并且移动设备可能同时处于上述状态中的一种以上。
S105以所述边缘协同存储策略指导所述边缘协同存储任务。
边缘协同存储策略涵盖了协同存储的整个过程,以边缘协同存储策略指导上述步骤S101中建立的边缘协同存储任务,以便将其应用于边缘中移动设备分组的任务执行场景。
从上面所述可以看出,本发明一个或多个实施例提供的一种协同移动设备的边缘存储加速方法、装置及设备,特别注意了移动设备的独特特性以及多个移动设备的动态网络拓扑,将协同存储问题转化为可解决的优化问题,通过研究加速策略,提出了A2CS加速算法,高效地解决协同存储的优化问题,在A2CS加速算法中,可以从理论上提高收敛速度,同时提出了一种协同存储策略,该策略包括六大步骤,可以表示协同存储的整个过程,A2CS加速算法应用贯穿于该策略的全部步骤,以该策略指导协同存储的整个循环周期。A2CS加速算法与两种现有方法ADMM基准和ADMM-OR(具有过度松弛的ADMM)相比,A2CS加速算法在不同的步长规则下提供了更好的收敛性能,加速百分比至少达到25.33%,最多可以达到64.01%。此外,通过使用现有的平均分配策略(ADS)和现有的距离优先分配策略(DPDS)进行效用性能比较分析,结果表明A2CS加速算法在总效用和能耗方面优于ADS和DPDS。
需要说明的是,本发明一个或多个实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本发明一个或多个实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
参考图4,基于同一发明构思,本发明一个或多个实施例还提供了一种协同移动设备的边缘存储加速装置,包括:第一建立模块、第二建立模块、计算模块、策略模块和执行模块。
其中,第一建立模块,被配置为建立移动设备间传输数据的边缘协同存储任务;
计算模块,被配置为基于所述边缘协同存储模型计算得到A2CS加速算法;
策略模块,被配置为基于所述边缘协同存储模型和A2CS加速算法,提出边缘协同存储策略;
执行模块,被配置为以所述边缘协同存储策略指导所述边缘协同存储任务。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本发明一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,本发明一个或多个实施例还提供了一种电子设备,该电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上任意一实施例所述的方法。
图5示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图, 该设备可以包括:处理器501、存储器502、输入/输出接口503、通信接口504和总线505。其中处理器501、存储器502、输入/输出接口503和通信接口504通过总线505实现彼此之间在设备内部的通信连接。
处理器501可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器502可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器502可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器5020中,并由处理器501来调用执行。
输入/输出接口503用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口504用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线505包括一通路,在设备的各个组件(例如处理器501、存储器502、输入/输出接口503和通信接口504)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器501、存储器502、输入/输出接口503、通信接口504以及总线505,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
为了验证A2CS加速算法的性能,发明人设计和实施一系列实验,特别地,以无人飞行器(UAV)为例,并在后续中使用DJIUAV的参数。进行实验时使用步长规则。
首先,假设边缘包含20架无人机。边缘的网络拓扑包括不同时刻无人机之间的连通性和距离。为了在协同存储方案中模拟边缘网络拓扑的动态,使用给定范围内的随机数表示无人机之间的连接性和距离。具体来说,首先生成1到19之间的随机数,以表示可以连接到请求UAV以便允许数据传输的UAV数量。这意味着请求无人机最多可以连接1架无人机,最多可以连接19架无人机,这与实际情况是一致的。此外,由于与另一移动设备的连接丢失近似服从0-1分布进行,因此使用随机数来生成0-1布尔变量,以表示连接状态。然后,无人机之间的距离也随机产生在[5,20]的范围内。上下界是从小规模无人机集群中无人机之间的距离典型值得出的。
此外,为了验证协同存储模型的有效性并减少时间成本,对副本数量进行了简单的预实验。参考图6,图中表示固定数据量大小时的能耗和数据丢失的归一化值。随着副本数量的增加,能耗增加,而数据丢失减少,这意味着移动设备的续航时间和边缘存储可靠性增加。因此,副本数的选择应同时考虑能耗和数据丢失,这与上述协同存储模型是一致的。另外,多于8个副本并不能减少数据丢失,反而增加了能耗,这在本文中被视为不可接受的协同存储方法。因此,将副本数设置为1到8,以避免不必要的实验并减少时间成本。
经过多次测试,最终设定参数的值,增广拉格朗日参数设置为,权重系数和是超参数,其设置为,,μ=0.001,θ=0.002,,PT=100mW,GT=2dbi,GR=2dbi,λ=0.125m,L=1,c=[5,30]MB,设置和经过多次测试得到满意的可行解。比较算法之间的性能,主要从三个指标上评价,包括:收敛次数、总体效用和能耗,收敛次数表示算法的收敛速度;总体效用表示使用不同算法的优化函数的值;能耗描述了移动设备的续航时间。
其中是松弛参数。特别是当时,此模式称为过松弛。在过度松弛之后,在接下来的步骤中使用更新变量和对偶变量。当中时,表明收敛性得到改善。因此,在实验中,设置。为了更好的收敛性能,发明人在进行实验时增加了步长规则。步长规则是指评估的不同方法,这意味着在每次迭代中都不固定。此操作的优越之处在于,可以在实践中提高收敛速度,并降低性能对初始值的依赖。当在每次迭代中更改时,很难证明其收敛性,但是如果在有限次数的迭代之后可以变为某个固定值,则上述理论仍然适用。因此,提出了另外两种步长规则,其中可以在协同存储问题所需的精度范围内固定。它们可以分别表示为:
首先,进行了20个实验,并使用上述三种算法以及三种步长规则,基于相同实验设置分别对结果进行平均求值。具体来说,将数据量大小设置为。参考图7(a)、图7(b)和图7(c),直方图指示了副本数与收敛次数之间的关系,而折线图显示了使用具有不同步长规则的A2CS加速算法的总效用与副本数之间的关系。随着副本数量的增加,当,和时,收敛次数也都增加。对于每种步长规则,所提出的A2CS加速算法收敛次数最少,表现出最佳的收敛性能。此外,使用A2CS加速算法的总效用首先减少,然后增加。当副本数等于4时达到最小值,这意味着边缘请求节点的最佳选择是备份4个副本并将它们发送到连接的存储节点。还可以得出结论,步长规则极大地影响了收敛速度,但对总效用影响很小。
参考图8(a)、图8(b)和图8(c),当数据量大小固定时,使用不同步长规则对收敛次数的影响。总体而言,使用步长规则和的结果要比使用固定步长规则的结果更好。尽管也有一些例外,但是使用三种步长规则的那些例外结果之间的差异是适度的,这是可以接受的。此外,发现与其他算法结合使用时,某个步长规则并不总是比其他步长规则具有更好的性能。特别地,为每种算法选择收敛速度最快的结果,并在表4中列出。比较这三种组合的结果。表3中用下划线标出了最佳性能,并计算了加速百分比。
表3 副本数量对不同组合的平均数量收敛的影响
参考图9(a)和图9(b),为了分析数据量大小对收敛性能的影响,进行了另外20个实验并对结果进行平均,根据图7中的结果将副本数设置为4。由于图8中的结果显示了使用的相对较慢的收敛速度,仅使用和来分析结果。直方图指定数据量大小和收敛次数之间的关系。通常,收敛次数随着数据量大小的增加而增加。值得注意的现象是,随着数据量大小的增加,A2CS的性能要比其他算法好得多,这意味着数据量大小对A2CS的性能影响不大,而对ADMM和ADMM-OR的影响却很大。特别是,对于每种算法,选择算法和收敛速度最快的步长规则的组合。所选结果显示在表4中,用下划线标出了最佳性能并计算了加速百分比。随着数据量大小的增加,加速百分比也增加,这意味着所提出的算法A2CS在处理大量数据时表现更好。
表4 数据量大小对不同组合的平均数收敛的影响
数据副本的分配与优化函数的效用密切相关,并在所提出的算法A2CS中进行了分析,因此效用性能分析被定义为A2CS与也进行数据分配的算法之间的比较。与A2CS加速算法比较的算法包括:
ADS(平均分配策略):将数据副本均匀地分布到相连的存储节点;
DPDS(距离优先分配策略):DPDS优先考虑请求节点和连接的存储节点之间的距离。距离越短,优先级越高。
基于上面的加速性能分析,当数据量大小分别在[5,30]MB的范围内随机选择时,将数据副本数设置为4,并进行了20个实验。
参考图10(a),直方图描述了使用不同算法的总效用,参考图10(b),直方图描述了使用不同算法的能耗,相应地,折线图分别表示在不同时间范围内A2CS相对于ADS和DPDS的优势百分比。总体而言,所提出的算法A2CS在总效用和能耗上均比ADS和DPDS表现出更好的性能。结果表明,A2CS的数据副本分发策略可以最大程度地降低总效用和能耗,从而满足移动设备边缘和长续航时间的高存储可靠性的优化目标。
参考图11(a),A2CS加速算法的总效用,参考图11(b),A2CS加速算法的能耗,为了分析步长规则对效用的影响,使用A2CS进行了另外20个实验,其中,和。发现使用的A2CS在大多数实验中的表现与另两个组合几乎相同,并且仅在某些情况下更好。此外,值得注意的是,当副本数设置为4时,的A2CS具有最佳的加速性能。尽管的A2CS可以更好地加速收敛。在一些实验中,效用性能的结果表明步长规则对效用性能的影响很小。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明一个或多个实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本发明一个或多个实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本发明一个或多个实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明一个或多个实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本公开的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明一个或多个实施例。因此,这些描述应被认为是说明性的而不是限制性的。
本发明一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明一个或多个实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (9)
1.一种协同移动设备的边缘存储加速方法,其特征在于,包括:
建立移动设备间传输数据的边缘协同存储任务;
基于所述边缘协同存储模型计算得到A2CS加速算法,所述A2CS加速算法包括:
停止准则,所述停止准则使所述A2CS加速算法获得可行解并确保所述A2CS加速算法快速收敛,所述停止准则表述为
其中和是权重系数,表示由发送移动设备收集的数据量的大小,和之间的关系可以描述为,表示所述发送移动设备收集的数据的数据副本数量,表示数据丢失量,表示数据存储的总能耗,表示发送移动设备的数据丢失概率,表示所述发送移动设备的数据传输速率,表示所述接收移动设备的数据接收速率,表示邻接矩阵的第行、第列中的元素,表示距离矩阵的第行、第列中的元素,表示存储单位数据的能耗,表示所述发送移动设备的发射功率,表示发射天线增益,表示接收天线增益,表示波长,表示所述发送移动设备和所述接收移动设备之间的距离,表示与传播无关的系统损耗因子;
基于所述边缘协同存储模型和A2CS加速算法,提出边缘协同存储策略;
以所述边缘协同存储策略指导所述边缘协同存储任务。
7.根据权利要求1所述的方法,其特征在于,所述边缘协同存储策略包括以下步骤:数据收集、请求分发、做出决策、决策反馈、多次交互和数据传输。
8.一种协同移动设备的边缘存储加速装置,其特征在于,包括:
第一建立模块,被配置为建立移动设备间传输数据的边缘协同存储任务;
计算模块,被配置为基于所述边缘协同存储模型计算得到A2CS加速算法,所述A2CS加速算法包括:
停止准则,所述停止准则使所述A2CS加速算法获得可行解并确保所述A2CS加速算法快速收敛,所述停止准则表述为
其中和是权重系数,表示由发送移动设备收集的数据量的大小,和之间的关系可以描述为,表示所述发送移动设备收集的数据的数据副本数量,表示数据丢失量,表示数据存储的总能耗,表示发送移动设备的数据丢失概率,表示所述发送移动设备的数据传输速率,表示所述接收移动设备的数据接收速率,表示邻接矩阵的第行、第列中的元素,表示距离矩阵的第行、第列中的元素,表示存储单位数据的能耗,表示所述发送移动设备的发射功率,表示发射天线增益,表示接收天线增益,表示波长,表示所述发送移动设备和所述接收移动设备之间的距离,表示与传播无关的系统损耗因子;
策略模块,被配置为基于所述边缘协同存储模型和A2CS加速算法,提出边缘协同存储策略;
执行模块,被配置为以所述边缘协同存储策略指导所述边缘协同存储任务。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010252903.4A CN111158612B (zh) | 2020-04-02 | 2020-04-02 | 一种协同移动设备的边缘存储加速方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010252903.4A CN111158612B (zh) | 2020-04-02 | 2020-04-02 | 一种协同移动设备的边缘存储加速方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111158612A CN111158612A (zh) | 2020-05-15 |
CN111158612B true CN111158612B (zh) | 2020-07-24 |
Family
ID=70567659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010252903.4A Active CN111158612B (zh) | 2020-04-02 | 2020-04-02 | 一种协同移动设备的边缘存储加速方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111158612B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110830520A (zh) * | 2020-01-13 | 2020-02-21 | 中国人民解放军国防科技大学 | 一种物联网的健壮可靠的边缘存储方法及系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005157712A (ja) * | 2003-11-26 | 2005-06-16 | Hitachi Ltd | リモートコピーネットワーク |
US8612681B2 (en) * | 2011-11-22 | 2013-12-17 | Hitachi, Ltd | Storage system, storage apparatus and method of controlling storage system |
CN104573119B (zh) * | 2015-02-05 | 2017-10-27 | 重庆大学 | 云计算中面向节能的Hadoop分布式文件系统存储方法 |
CN107370802A (zh) * | 2017-07-10 | 2017-11-21 | 中国人民解放军国防科学技术大学 | 一种基于交替方向乘子法的协同存储调度方法 |
CN108121511B (zh) * | 2017-12-21 | 2022-05-27 | 北京猫盘技术有限公司 | 一种分布式边缘存储系统中的数据处理方法、装置及设备 |
CN110471621B (zh) * | 2019-07-29 | 2020-12-29 | 东南大学 | 一种面向实时数据处理应用的边缘协同存储方法 |
CN110443298B (zh) * | 2019-07-31 | 2022-02-15 | 华中科技大学 | 一种基于云-边缘协同计算的ddnn及其构建方法和应用 |
CN110430266B (zh) * | 2019-08-06 | 2021-07-13 | 腾讯科技(深圳)有限公司 | 一种边云协同数据传输方法、装置、设备及存储介质 |
-
2020
- 2020-04-02 CN CN202010252903.4A patent/CN111158612B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110830520A (zh) * | 2020-01-13 | 2020-02-21 | 中国人民解放军国防科技大学 | 一种物联网的健壮可靠的边缘存储方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111158612A (zh) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xu et al. | Adaptive computation offloading with edge for 5G-envisioned internet of connected vehicles | |
Abd Elaziz et al. | IoT workflow scheduling using intelligent arithmetic optimization algorithm in fog computing | |
Luo et al. | Stability of cloud-based UAV systems supporting big data acquisition and processing | |
Zhu et al. | BLOT: Bandit learning-based offloading of tasks in fog-enabled networks | |
CN112911648A (zh) | 一种空地结合的移动边缘计算卸载优化方法 | |
CN112911618B (zh) | 一种基于资源退出场景的无人机服务器任务卸载调度方法 | |
CN107172166A (zh) | 面向工业智能化服务的云雾计算系统 | |
CN107911478A (zh) | 基于化学反应优化算法的多用户计算卸载方法及装置 | |
CN114007231A (zh) | 异构无人机数据卸载方法、装置、电子设备及存储介质 | |
Li et al. | Computation offloading strategy for improved particle swarm optimization in mobile edge computing | |
Li et al. | Resource scheduling based on improved spectral clustering algorithm in edge computing | |
Khani et al. | Deep reinforcement learning‐based resource allocation in multi‐access edge computing | |
CN111343602B (zh) | 基于进化算法的联合布局与任务调度优化方法 | |
Qureshi et al. | Asynchronous Federated Learning for Resource Allocation in Software-Defined Internet of UAVs | |
CN111158612B (zh) | 一种协同移动设备的边缘存储加速方法、装置及设备 | |
Shang et al. | A cross-layer optimization framework for distributed computing in IoT networks | |
CN114936708A (zh) | 基于边云协同任务卸载的故障诊断优化方法及电子设备 | |
CN114884957B (zh) | 空天地网络中的计算任务卸载方法、装置和电子设备 | |
CN111541781B (zh) | 一种密集网络中移动设备的分布式协同任务调度方法 | |
Deb et al. | Loop-the-loops: Fragmented learning over networks for constrained IoT devices | |
Zhu et al. | Research on fog resource scheduling based on cloud-fog collaboration technology in the electric internet of things | |
Wang et al. | Deep learning-driven differentiated traffic scheduling in cloud-iot data center networks | |
CN114281527A (zh) | 一种低复杂度的移动边缘计算资源分配方法 | |
CN116805195B (zh) | 一种基于模型分割的无人机群协同推理方法和系统 | |
CN114153528B (zh) | 并行任务悬停时间分配的无人机最优位置的计算卸载方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |