CN118862192A - 镜像文件的存储方法、装置及设备 - Google Patents
镜像文件的存储方法、装置及设备 Download PDFInfo
- Publication number
- CN118862192A CN118862192A CN202410263988.4A CN202410263988A CN118862192A CN 118862192 A CN118862192 A CN 118862192A CN 202410263988 A CN202410263988 A CN 202410263988A CN 118862192 A CN118862192 A CN 118862192A
- Authority
- CN
- China
- Prior art keywords
- cloud node
- image file
- storage
- distributed cloud
- storage resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 499
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000005540 biological transmission Effects 0.000 claims abstract description 33
- 230000004044 response Effects 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 abstract description 15
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000007726 management method Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000011084 recovery Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种镜像文件的存储方法、装置及设备,涉及云技术领域。本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等场景。该方法包括:响应于针对至少一个分布式云节点中的第一分布式云节点的操作命令,获取第一分布式云节点对应的镜像元数据;基于镜像元数据,从多个存储资源中确定第一存储资源,多个存储资源包括第一分布式云节点的本地存储资源和中心云节点的存储资源;基于镜像元数据和第一存储资源,向第一分布式云节点发送第一控制指令。通过在分布式云节点本地设置本地存储资源,使得分布式云节点的镜像文件可以存储在分布式云节点本地,无需全部上传至全局仓库,降低公网传输和共享仓库导致的数据泄露风险。
Description
技术领域
本申请实施例涉及云技术领域,特别涉及一种镜像文件的存储方法、装置及设备。
背景技术
分布式云节点是中心云节点能力的延伸,旨在提供无处不在的云计算服务,满足数据安全、低延时等本地接入需求。为了降低单个云节点的部署成本,分布式云节点的大量能力通过公网链接中心云节点共享使用。相关技术中,所有分布式云节点创建的镜像文件,都由中心云节点的全局仓库统一存储。
然而,镜像文件中可能包含客户自身的业务数据、代码、秘钥等敏感信息,存在数据泄露的风险。
发明内容
本申请实施例提供了一种镜像文件的存储方法、装置及设备。本申请实施例提供的技术方案如下。
根据本申请实施例的一个方面,提供了一种镜像文件的存储方法,所述方法由中心云节点执行,所述中心云节点用于管理至少一个分布式云节点的镜像文件,所述方法包括:
响应于针对所述至少一个分布式云节点中的第一分布式云节点的操作命令,获取所述第一分布式云节点对应的镜像元数据,所述镜像元数据包括存储镜像文件所需的相关信息,所述镜像文件用于存储所述第一分布式云节点的业务数据;
基于所述镜像元数据,从多个存储资源中确定第一存储资源,所述多个存储资源包括所述第一分布式云节点的本地存储资源和所述中心云节点的存储资源;
基于所述镜像元数据和所述第一存储资源,向所述第一分布式云节点发送第一控制指令,所述第一控制指令用于指示所述第一分布式云节点将所述镜像文件存储至所述第一存储资源。
根据本申请实施例的一个方面,提供了一种镜像文件的存储方法,所述方法由第一分布式云节点执行,所述方法包括:
接收中心云节点发送的第一控制指令,所述第一控制指令用于指示所述第一分布式云节点将镜像文件存储至第一存储资源,所述第一控制指令是基于镜像元数据和所述第一存储资源发送的,所述镜像元数据包括存储所述镜像文件所需的相关信息,所述镜像文件用于存储所述第一分布式云节点的业务数据,所述中心云节点用于管理至少一个分布式云节点的镜像文件,所述第一存储位置是所述中心云节点基于所述镜像元数据从多个存储资源中确定的,所述多个存储资源包括所述第一分布式云节点的本地存储资源和所述中心云节点的存储资源;
将所述镜像文件存储至所述第一存储资源。
根据本申请实施例的一个方面,提供了一种镜像文件的存储系统,所述系统包括中心云节点和至少一个分布式云节点;
所述中心云节点,用于响应于针对所述至少一个分布式云节点中的第一分布式云节点的操作命令,获取所述第一分布式云节点对应的镜像元数据,所述镜像元数据包括存储镜像文件所需的相关信息,所述镜像文件用于存储所述第一分布式云节点的业务数据;基于所述镜像元数据,从多个存储资源中确定第一存储资源,所述多个存储资源包括所述第一分布式云节点的本地存储资源和所述中心云节点的存储资源;基于所述镜像元数据和所述第一存储资源,向所述第一分布式云节点发送所述第一控制指令,所述第一控制指令用于指示所述第一分布式云节点将所述镜像文件存储至所述第一存储资源;
所述第一分布式云节点,用于接收所述中心云节点发送的所述第一控制指令,所述第一控制指令用于指示所述第一分布式云节点将镜像文件存储至第一存储资源;将所述镜像文件存储至所述第一存储资源。
根据本申请实施例的一个方面,提供了一种镜像文件的存储装置,所述装置包括:
获取模块,用于响应于针对至少一个分布式云节点中的第一分布式云节点的操作命令,获取所述第一分布式云节点对应的镜像元数据,所述镜像元数据包括存储镜像文件所需的相关信息,所述镜像文件用于存储所述第一分布式云节点的业务数据;
确定模块,用于基于所述镜像元数据,从多个存储资源中确定第一存储资源,所述多个存储资源包括所述第一分布式云节点的本地存储资源和中心云节点的存储资源;
发送模块,用于基于所述镜像元数据和所述第一存储资源,向所述第一分布式云节点发送第一控制指令,所述第一控制指令用于指示所述第一分布式云节点将所述镜像文件存储至所述第一存储资源。
根据本申请实施例的一个方面,提供了一种镜像文件的存储装置,所述装置包括:
接收模块,用于接收中心云节点发送的第一控制指令,所述第一控制指令用于指示第一分布式云节点将镜像文件存储至第一存储资源,所述第一控制指令是基于镜像元数据和所述第一存储资源发送的,所述镜像元数据包括存储所述镜像文件所需的相关信息,所述镜像文件用于存储所述第一分布式云节点的业务数据,所述中心云节点用于管理至少一个分布式云节点的镜像文件,所述第一存储位置是所述中心云节点基于所述镜像元数据从多个存储资源中确定的,所述多个存储资源包括所述第一分布式云节点的本地存储资源和所述中心云节点的存储资源;
存储模块,用于将所述镜像文件存储至所述第一存储资源。
根据本申请实施例的一个方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器用于执行所述计算机程序以实现上述镜像文件的存储方法。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现上述镜像文件的存储方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序由处理器加载并执行以实现上述镜像文件的存储方法。
本申请实施例提供的技术方案可以带来如下有益效果:
通过在分布式云节点本地设置本地存储资源,使得分布式云节点的镜像文件可以存储在分布式云节点本地,无需全部上传至全局仓库,降低公网传输和共享仓库导致的数据泄露风险。
附图说明
图1是本申请一个实施例提供的方案实施环境的示意图;
图2是本申请一个实施例提供的镜像文件的存储方法的流程图;
图3是本申请另一个实施例提供的镜像文件的存储方法的流程图;
图4是本申请一个实施例提供的分布式云节点的示意图;
图5是本申请另一个实施例提供的镜像文件的存储方法的流程图;
图6是本申请一个实施例提供的镜像文件的存储装置的框图;
图7是本申请另一个实施例提供的镜像文件的存储装置的框图;
图8是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
云技术(Cloud Technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
云存储(Cloud Storage)是在云计算概念上延伸和发展出来的一个新的概念,分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能,将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储系统。
目前,存储系统的存储方法为:创建逻辑卷,在创建逻辑卷时,就为每个逻辑卷分配物理存储空间,该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据,也就是将数据存储在文件系统上,文件系统将数据分成许多部分,每一部分是一个对象,对象不仅包含数据而且还包含数据标识(ID,ID entity)等额外的信息,文件系统将每个对象分别写入该逻辑卷的物理存储空间,且文件系统会记录每个对象的存储位置信息,从而当客户端请求访问数据时,文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
存储系统为逻辑卷分配物理存储空间的过程,具体为:按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(RAID,Redundant Array ofIndependent Disk)的组别,预先将物理存储空间划分成分条,一个逻辑卷可以理解为一个分条,从而为逻辑卷分配了物理存储空间。
请参考图1,其示出了本申请一个实施例提供的方案实施环境的示意图。该方案实施环境可以实现成为镜像文件的存储的系统架构。该方案实施环境可以包括:中心云节点100、分布式云节点200和全局仓库300。
中心云节点100,用于响应于针对至少一个分布式云节点200中的第一分布式云节点201的操作命令,获取镜像元数据,镜像元数据包括存储镜像文件所需的相关信息,镜像文件用于存储第一分布式云节点201的业务数据;基于镜像元数据,从多个存储资源中确定第一存储资源,多个存储资源包括第一分布式云节点201的本地存储资源201a和中心云节点的存储资源(全局仓库300);基于镜像元数据和第一存储资源,向第一分布式云节点201发送第一控制指令,第一控制指令用于指示第一分布式云节点201将镜像文件存储至第一存储资源。
在一些实施例中,中心云节点100可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。中心云节点100可以是上述第一分布式云节点的后台服务器,用于为第一分布式云节点的客户端提供后台服务。
在一些实施例中,中心云节点用于管理至少一个分布式云节点的镜像文件。在一些实施例中,中心云节点负责管理至少一个分布式云节点分别对应的镜像文件的生命周期。生命周期是指镜像文件从创建到删除的过程,该过程中可以包括针对镜像文件的新增、删除、查询等。中心云节点对外提供实现上述功能的接口。中心云节点内置数据库保存镜像文件的标识信息、镜像文件的分块、各分块的存储路径等镜像元数据。中心云节点工作时,对外接收用户的操作命令,根据操作命令中的镜像文件的标识信息,从数据库中查询出镜像元数据,最后将镜像元数据和操作命令封装成控制指令,通过VPN(Virtual PrivateNetwork,虚拟专用网络)下发给分布式云节点,由分布式云节点执行。
第一分布式云节点201,用于接收中心云节点100发送的第一控制指令,第一控制指令用于指示第一分布式云节点201将镜像文件存储至第一存储资源;将镜像文件存储至第一存储资源。
在一些实施例中,第一分布式云节点201,负责运行用户业务。日常工作时,根据中心云节点100下发的控制指令,将镜像文件存储至第一存储资源。相关技术中,第一分布式云节点根据中心云节点100下发的控制指令,将镜像文件存储至全局仓库300,或从全局仓库300远程下载。因全局仓库300部署在中心云节点100,镜像文件的上传,下载需要借助VPN公网传输才能完成。一方面,镜像文件与用户业务强关联,镜像文件中可能含有数据、代码、秘钥等敏感信息,公网传输存在信息泄露风险;另一方面,公网带宽资源有限,稳定性差,镜像文件的传输速度较慢,严重影响云服务的使用体验。
在一些实施例中,第一分布式云节点201可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。在一些实施例中,第一分布式云节点201的本地存储资源包括以下至少之一:本地存储池、本地存储网关。在一些实施例中,本地存储池是为第一分布式云节点部署的物理存储资源,本地存储网关是部署在第一分布式云节点上的虚拟存储资源。在一些实施例中,本地存储池可以是在分布式云节点201的服务器集群之外增加的单一服务器或服务器集群。在一些实施例中,本地存储网关可以是运行在分布式云节点201上的虚拟机。
全局仓库300是部署在中心云节点的存储资源。
在一些实施例中,全局仓库300部署在中心云节点100,负责存储所有分布式云节点200、中心云节点100的镜像文件。全局仓库300对外提供镜像文件的上传、下载接口,方便云节点(包括中心云节点100和分布式云节点200)进行镜像文件的读写操作。全局仓库300具有空间无限大,数据高可用等优点,给所有云节点(包括中心云节点100和分布式云节点200)共享使用,边际成本可以忽略不计。但是全局仓库300统一存储所有云节点的镜像文件的方式,数据隔离性不足,无法满足对数据安全要求较高的业务场景。
本申请实施例提供的技术方案,除镜像文件的存储场景外,还可以应用在游戏场景、VR、AR、XR(Extended Reality,扩展现实)、社交等需要镜像文件的存储的场景中。本申请实施例可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
分布式云节点是中心云节点能力的延伸,旨在提供无处不在的云计算服务,满足数据安全、低延时等本地接入需求。任意位置使用、灵活多变的应用场景,决定了分布式云节点小型化、定制化、低成本的特点。为了降低单个云节点的部署成本,分布式云节点的大量能力通过公网链接中心云节点共享使用,云服务器使用镜像文件就是其中一个。目前所有分布式云节点创建的镜像文件,都由中心云节点的全局仓库统一存储。这种统一存储方式,随着分布式云节点的使用,弊端日益显现:一方面,镜像文件中可能包含客户自身的业务数据、代码、秘钥等敏感信息。制作新的镜像文件,需要经过公网传输才能完成,存在流量劫持,信息泄露的风险。全局仓库使用同一个存储资源池,存储全量的镜像文件,各个镜像文件之间隔离性不足,进一步增加了文件泄露的风险。另一方面,分布式云节点内,不管是镜像文件的上传还是下载操作,都需要借助VPN公网传输才能完成。与内网相比,公网传输弊端很多,一是成本限制,公网带宽不高,传输速度慢且不稳定,导致云服务体验下降;二是每次传输都消耗公网流量,随着用户使用频率增高,流量成本居高不下。
请参考图2,其示出了本申请一个实施例提供的镜像文件的存储方法的流程图。该方法由中心云节点执行,中心云节点用于管理至少一个分布式云节点的镜像文件。该方法包括如下步骤210~230中的至少一个步骤。
步骤210,中心云节点响应于针对至少一个分布式云节点中的第一分布式云节点的操作命令,获取第一分布式云节点对应的镜像元数据,镜像元数据包括存储镜像文件所需的相关信息,镜像文件用于存储第一分布式云节点的业务数据。
在一些实施例中,中心云节点负责管理至少一个分布式云节点分别对应的镜像文件。在一些实施例中,中心云节点负责管理镜像文件的生命周期。生命周期就是指一个对象的生老病死,在本申请实施例的场景中,镜像文件的生命周期包括镜像文件的创建至该镜像文件的移除的过程。示例性地,镜像文件的生命周期包括镜像文件的创建、存储、下载、备份、移除等针对镜像文件的操作。
在一些实施例中,第一分布式云节点可以是上述至少一个分布式云节点中的任意一个。在一些实施例中,操作命令中包括第一分布式云节点的标识信息。在一些实施例中,操作命令是基于用户对第一分布式云节点的操作产生的。在一些实施例中,操作命令中还包括镜像文件的操作类型。在一些实施例中,镜像文件的操作类型包括以下至少之一:创建、存储、移除、备份、下载。本申请实施例中以创建为例进行说明。
在一些实施例中,镜像元数据包括以下至少之一:本地仓库信息、数据安全等级、带宽信息、镜像文件的标识信息。
在一些实施例中,本地仓库信息用于表征第一分布式云节点的本地存储资源,其中,本地存储资源包括以下至少之一:本地存储池、本地存储网关,本地存储池是为第一分布式云节点部署的物理存储资源,本地存储网关是部署在第一分布式云节点上的虚拟存储资源。在一些实施例中,本地存储池可以是在分布式云节点的服务器集群之外增加的单一服务器或服务器集群。在一些实施例中,本地存储网关可以是运行在分布式云节点上的虚拟机。
在一些实施例中,数据安全等级用于表征镜像文件的隐私程度。在一些实施例中,数据安全等级可以划分为高级和低级,若镜像文件的数据安全等级为低级,则该镜像文件可以存储在全局仓库,若镜像文件的数据安全等级为低级,则该镜像文件不能存储在全局仓库。在一些实施例中,数据安全等级可以包括多个等级,该多个等级按照镜像文件的隐私程度排序。示例性地,数据安全等级由低到高包括以下等级:A、S、SS、SSS。
在一些实施例中,带宽信息用于表征第一分布式云节点与全局仓库之间的传输带宽,全局仓库是部署在中心云节点的存储资源。在一些实施例中,传输带宽越大,数据的传输速度越快。
在一些实施例中,镜像元数据还包括镜像文件的操作类型。
在一些实施例中,镜像文件用于存储第一分布式云节点的业务数据。在一些实施例中,一个镜像文件中可以存储一个业务产生的数据,也可以存储多个业务产生的数据,本申请对此不做限定。
步骤220,中心云节点基于镜像元数据,从多个存储资源中确定第一存储资源,多个存储资源包括第一分布式云节点的本地存储资源和中心云节点的存储资源。
在一些实施例中,多个存储资源包括:本地存储池、本地存储网关和全局仓库。在一些实施例中,全局仓库的容量可以认为是无限大。
在一些实施例中,本地存储池与中心云节点全局仓库使用相同的系统架构,以物理机形式部署在第一分布式云节点。在一些实施例中,多台物理机共同组成完整的存储池系统。在分布式云场景下,可以通过缩减物理机的数量,降低资源部署的起步门槛,示例性地,通过将物理机数量缩减到3台,降低资源部署起步门槛,支持最低100TB起步。在一些实施例中,上述物理机是指服务器。本地存储池内部集成访问控制、容灾管理、容量管理、副本管理等功能,具有高可用、大容量、易管理等优点,适用于大多数分布式云节点。
在一些实施例中,本地存储网关不需要额外物理设备,以虚拟机的形式,部署在分布式云节点的物理机上,与用户云服务共享物理资源。本地存储网关内部部署有文件服务器,接收镜像文件并存储在自身磁盘上。在一些实施例中,本地存储网关通过裁剪非必要的监测、管理功能,提升资源利用率。示例性地,本地存储网关支持最低0.5T弹性起步,大幅度减少镜像仓库的部署起步规模,适用于对成本要求较为严格的云节点。
在一些实施例中,全局仓库部署在中心云节点,负责存储所有分布式云节点、中心云节点的镜像文件。全局仓库对外提供文件的上传、下载接口,方便云节点进行镜像的读写操作。全局仓库具有空间无限大,数据高可用等优点,给所有云节点共享使用,边际成本可以忽略不计。但是全局仓库统一存储所有云节点的镜像文件的方式,数据隔离性不足,无法满足对数据安全要求较高的业务场景。
步骤230,中心云节点基于镜像元数据和第一存储资源,向第一分布式云节点发送第一控制指令,第一控制指令用于指示第一分布式云节点将镜像文件存储至第一存储资源。
在一些实施例中,第一控制指令包括第一存储资源和镜像元数据。
在一些实施例中,本申请实施例还可以应用于镜像文件的其他操作上。示例性地,中心云节点基于镜像元数据和镜像文件的操作类型,向第一分布式云节点发送第三控制指令,第三控制指令用于指示第一分布式云节点对镜像文件进行操作。示例性地,镜像文件的操作类型为下载,此时第三控制指令包括镜像文件的操作类型和镜像文件的存储资源,分布式云节点接收到第三控制指令后,基于镜像文件的存储资源下载镜像文件。
本申请实施例提供的技术方案,通过在分布式云节点本地设置本地存储资源,使得分布式云节点的镜像文件可以存储在分布式云节点本地,无需全部上传至全局仓库,降低公网传输和共享仓库导致的数据泄露风险。
关于中心云节点如何基于镜像元数据从多个存储资源中确定第一存储资源,本申请也给出了示例性实施例。
在一些实施例中,中心云节点基于本地仓库信息、数据安全等级和带宽信息中的至少一个,从多个存储资源中确定第一存储资源。
在一些实施例中,上述步骤220可以包括如下步骤221~224中的至少一个步骤。
步骤221,从镜像元数据中获取本地仓库信息。
在一些实施例中,本地仓库信息用于指示第一分布式云节点的本地存储资源。在一些实施例中,本地仓库信息用于指示第一分布式云节点的本地存储资源中的剩余可用存储资源。在一些实施例中,本地仓库信息中包括本地存储池的剩余存储资源和本地存储网关的剩余存储资源。
步骤222,在本地存储池具有存储镜像文件的资源的情况下,将本地存储池确定为第一存储资源。
在一些实施例中,在本地存储池的剩余存储资源能够存储镜像文件的情况下,将本地存储池确定为第一存储资源。
步骤223,在本地存储池不具有存储镜像文件的资源,且本地存储网关具有存储镜像文件的资源的情况下,将本地存储网关确定为第一存储资源。
在一些实施例中,在本地存储池的剩余存储资源无法存储镜像文件的情况下,确定本地存储网关的剩余存储资源能否存储镜像文件。在一些实施例中,本地存储网关的剩余存储资源能够存储镜像文件的情况下,将本地存储网关确定为第一存储资源。
步骤224,在本地存储池和本地存储网关均不具有存储镜像文件的资源的情况下,将全局仓库确定为第一存储资源。
在一些实施例中,在本地存储和本地存储网关的剩余存储资源均无法存储镜像文件的情况下,将全局仓库确定为第一存储资源。
在一些实施例中,第一分布式云节点的本地存储资源可以仅包括本地存储池和本地存储网关中的一个。示例性地,第一分布式云节点的本地存储资源仅包括本地存储池,则无需执行上述步骤223。示例性地,第一分布式云节点的本地存储资源仅包括本地存储网关,则无需执行上述步骤222。
在一些实施例中,由于全局仓库存在数据泄露的风险,因此对于隐私要求较高的数据,应尽量避免存储在全局仓库中,因此在将全局仓库确定为第一存储资源之前,还需考虑镜像文件的数据安全等级。
在一些实施例中,上述步骤224包括下述步骤1~3中的至少一个步骤。
步骤1,在本地存储池和本地存储网关均不具有存储镜像文件的资源的情况下,从镜像元数据中获取数据安全等级。
步骤2,在数据安全等级超过第一阈值的情况下,向第一分布式云节点发送第二控制指令,第二控制指令用于指示未能确定镜像文件的存储资源。
步骤3,在数据安全等级未超过第一阈值的情况下,执行将全局仓库确定为第一存储资源的步骤。
在一些实施例中,第一阈值是预先设置的。在一些实施例中,数据安全等级可以包括两个或多个等级。示例性地,数据安全等级可以划分为高级和低级,若镜像文件的数据安全等级为低级,则该镜像文件可以存储在全局仓库,若镜像文件的数据安全等级为低级,则该镜像文件不能存储在全局仓库。示例性地,数据安全等级由低到高包括以下等级:A、S、SS、SSS。第一阈值为S,即在镜像文件的数据安全等级为SS或SSS的情况下,向第一分布式云节点发送第二控制指令;在镜像文件的数据安全等级为A或S的情况下,将全局仓库确定为第一存储资源。
在一些实施例中,由于分布式云节点与全局仓库之间进行通信,需要经过公网VPN,因此在将全局仓库确定为第一存储资源之前,还需考虑分布式云节点与全局仓库之间的传输带宽。
在一些实施例中,上述步骤224包括下述步骤4~6中的至少一个步骤。
步骤4,在本地存储池和本地存储网关均不具有存储镜像文件的资源的情况下,从镜像元数据中获取带宽信息。
步骤5,在传输带宽超过第二阈值的情况下,执行将全局仓库确定为第一存储资源的步骤。
步骤6,在传输带宽未超过第二阈值的情况下,向第一分布式云节点发送第二控制指令,第二控制指令用于指示未能确定镜像文件的存储资源。
在一些实施例中,第二阈值可以是预先设置的固定值,也可以是基于公网的使用情况动态调整的。在一些实施例中,为避免分布式云节点与全局仓库之间进行数据传输所需的时间过长,预先设置一个第二阈值,以避免用户长时间等待镜像文件存储完成,提升用户体验感。在一些实施例中,由于分布式云节点与全局仓库之间需要通过公网进行通信,因此第二阈值可以是基于公网的使用情况来确定的,例如当前公网较为繁忙,第二阈值可以适当调高,当前公网较为空闲,则第二阈值可以适当调高。
通过上述方法,优先将镜像文件存储至分布式云节点的本地存储资源上,在本地存储资源无法存储镜像文件的情况下,再考虑将镜像文件存储至全局仓库。而在将全局仓库确定为镜像文件的存储资源之前,考虑镜像文件的数据安全等级,避免将敏感信息存储至全局仓库,实现敏感镜像文件的本地存储,避免公网传输和共享仓库导致的数据泄露风险,满足多种场景下的数据合规需求,拓展分布式云的应用场景,为分布式云在各行业广泛落地提供必要支持。
在一些实施例中,在镜像文件存储至第一存储资源之后,中心云节点将第一存储资源添加至镜像元数据中。在镜像文件的生命周期中,若需要进行针对镜像文件的操作,则可以基于镜像元数据来确定所需的相关信息,以便于对镜像文件的管理。
在一些实施例中,中心云节点包括以下至少之一:Vstation(全局资源管理)、DB(Data Base,基于数据的)、调度管理模块。
在一些实施例中,V站用于管理分布式云节点的镜像文件的生命周期。
在一些实施例中,DB用于存储至少一个分布式云节点的镜像元数据。
在一些实施例中,调度管理模块用于维护镜像文件的标识信息与存储资源之间的关系,确保多存储资源下镜像文件的高效使用。创建镜像文件时,调度管理模块根据分布式云节点的数据安全等级、本地仓库信息、带宽信息等因素匹配最佳的存储资源。在节点空闲时,同步镜像文件副本到多个存储资源,充分发挥各存储资源的优势;在镜像文件读取时,根据镜像文件的标识信息匹配出最近的存储资源,供分布式云服务下载,提升镜像文件的使用效率。
请参考图3,其示出了本申请一个实施例提供的镜像文件的存储方法的流程图。该方法由第一分布式云节点执行。该方法包括如下步骤310~320中的至少一个步骤。
步骤310,分布式云节点接收中心云节点发送的第一控制指令,第一控制指令用于指示第一分布式云节点将镜像文件存储至第一存储资源,第一控制指令是基于镜像元数据和第一存储资源发送的,镜像元数据包括存储镜像文件所需的相关信息,镜像文件用于存储第一分布式云节点的业务数据,中心云节点用于管理至少一个分布式云节点的镜像文件,第一存储位置是中心云节点基于镜像元数据从多个存储资源中确定的,多个存储资源包括第一分布式云节点的本地存储资源和中心云节点的存储资源。
上述步骤的内容可以参考上述实施例中对步骤230的介绍,本申请在此不再赘述。
步骤320,分布式云节点将镜像文件存储至第一存储资源。
在一些实施例中,镜像元数据包括以下至少之一:本地仓库信息、数据安全等级、带宽信息、镜像文件的标识信息。
在一些实施例中,本地仓库信息用于表征第一分布式云节点的本地存储资源;本地存储资源包括以下至少之一:本地存储池、本地存储网关;本地存储池是为分布式云节点部署的物理存储资源,本地存储网关是部署在分布式云节点上的虚拟存储资源。
在一些实施例中,数据安全等级用于表征镜像文件的隐私程度。
在一些实施例中,带宽信息用于表征分布式云节点与全局仓库之间的传输带宽,全局仓库是部署在中心云节点的存储资源。
在一些实施例中,分布式云节点包括业务层、访问代理层和存储介质层。示例性地,如图4所示,分布式云节点包括业务层410、访问代理层420和存储介质层430。
在一些实施例中,业务层410用于从镜像元数据中获取镜像文件的标识信息,将镜像文件的标识信息发送给访问代理层。
在一些实施例中,访问代理层420用于基于镜像文件的标识信息,确定第一存储资源,将镜像文件存储至第一存储资源。
在一些实施例中,业务层用于运行分布式云节点的业务,访问代理层用于屏蔽不同存储资源的接口差异,存储介质层用于为第一分布式云节点的镜像文件提供存储资源。
在一些实施例中,访问代理层负责提供统一的多仓库访问能力,屏蔽不同类型仓库的接口差异。当云节点想要读写镜像文件时,通过调用访问代理的API(ApplicationProgramming Interface,应用程序编程接口),由访问代理根据API参数确认仓库类型、仓库地址等信息,最终通过不同的读写client(客户端),完成镜像文件读写。
在一些实施例中,分布式云节点还可以在空闲时,将本地存储的非敏感的镜像文件备份至全局仓库,或者将全局仓库存储的订阅镜像文件备份至本地存储资源。
在一些实施例中,该方法还包括如下步骤330~340中的至少一个步骤。
步骤330,检测第一分布式云节点的状态。
步骤340,在第一分布式云节点处于空闲状态的情况下,基于镜像元数据,将镜像文件从第一存储资源备份至第二存储资源,第一存储资源与第二存储资源部署在不同的云节点上。
在一些实施例中,一方面,由于本地存储资源容灾能力有限,容易出现节点故障导致的数据丢失;对于只保存在本地存储资源的非敏感镜像文件,需要同步到全局仓库;另一方面,全局仓库文件访问效率低,对于只保存在全局仓库的订阅镜像,需要主动同步到本地存储资源。为此,本申请实施例提供了将本地存储资源存储的镜像文件备份至全局仓库的示例,和将全局仓库存储的订阅镜像文件备份至本地存储资源的示例。
在一些实施例中,第一存储资源为本地存储池或本地存储网关,上述步骤340可以实现为下述步骤341~343中的至少一个步骤。
步骤341,从镜像元数据中获取数据安全等级。
步骤342,在数据安全等级未超过第一阈值的情况下,将全局仓库确定为第二存储资源。
步骤343,将镜像文件从第一存储资源备份至第二存储资源。
在一些实施例中,第一存储资源为全局仓库,上述步骤340可以实现为下述步骤344~347中的至少一个步骤。
步骤344,在镜像文件为订阅镜像文件的情况下,从镜像元数据中获取本地仓库信息,订阅镜像文件是基于用户的操作指令确定的。
步骤345,在本地存储池具有存储镜像文件的资源的情况下,将本地存储池确定为第二存储资源。
步骤346,在本地存储池不具有存储镜像文件的资源,且本地存储网关具有存储镜像文件的资源的情况下,将本地存储网关确定为第二存储资源。
步骤347,将镜像文件从第一存储资源备份至第二存储资源。
在一些实施例中,订阅镜像文件是基于用户的操作指令确定的。在一些实施例中,用户可以自行选择将哪些镜像文件确定为订阅镜像文件。
在一些实施例中,设置定时器,定时检测分布式云节点的状态。在一些实施例中,该定时器可以设置在中心云节点,也可以设置在分布式云节点上,本申请对此不作限定。在一些实施例中,可以基于分布式云节点的资源占有率来确定分布式云节点是否处于空闲状态。
在一些实施例中,上述步骤330可以实现为下述步骤331~332中的至少一个步骤。
步骤331,获取第一分布式云节点的资源占用率,资源占用率用于表征第一分布式云节点的运行资源的使用情况。
步骤332,在资源占有率未超过第三阈值的情况下,确定第一分布式云节点处于空闲状态。
在一些实施例中,第三阈值可以是基于分布式云节点的能力设置的。在一些实施例中,不同的分布式云节点对应的第三阈值可以是相同的,也可以是不同的,本申请对此不作限定。
在一些实施例中,该方法还包括如下步骤350。
步骤350,第一分布式云节点接收中心云节点发送的第二控制指令,第二控制指令用于指示未能确定镜像文件的存储资源。
在一些实施例中,第二控制指令中还包括未能确定镜像文件的存储资源的原因。示例性地,第二控制指令包括本地存储资源中不具有存储镜像文件的资源,且镜像文件的数据安全等级超过第一阈值。在一些实施例中,第一分布式云节点在接收到第二控制指令之后,显示第一提示信息,第一提示信息用于提示未能确定镜像文件的存储资源。在一些实施例中,用户可以对本地存储资源内存储的镜像文件进行清理。在一些实施例中,本地存储资源也可以定期进行自动清理。示例性地,为避免出现容灾,每隔一段时间,本地存储资源自动清理数据安全等级不超过第一阈值的镜像文件。在一些实施例中,在自动清理数据安全等级不超过第一阈值的镜像文件之前,将该部分镜像文件备份至全局仓库。
本申请实施例提供的技术方案,通过在分布式云节点本地设置本地存储资源,使得分布式云节点的镜像文件可以存储在分布式云节点本地,无需全部上传至全局仓库,降低公网传输和共享仓库导致的数据泄露风险。
另外,在分布式云节点处于空闲状态时,还可以将本地存储资源存储的非敏感镜像文件备份至全局仓库,避免本地存储资源出现容灾问题;将全局仓库存储的订阅镜像文件备份至本地存储资源,提高订阅镜像文件的访问效率。
为提高对本申请实施例的系统认知,请参考图5,其示出了本申请一个实施例提供的镜像文件的存储方法的流程图。该方法可以包括如下步骤1~5中的至少一个步骤。
步骤1,元数据加载:获取镜像元数据。镜像元数据可以包括以下至少之一:数据安全等级、本地仓库信息、带宽信息、镜像操作类型。本申请实施例中,以镜像文件的创建为例进行说明,因此镜像文件的标识信息是新生成的,以供后续流程使用,若是针对镜像文件的其他操作,镜像元数据中包括镜像文件的标识信息。
步骤2,落点选择:负责匹配出最优的存储资源(从多个存储资源中确定第一存储资源)。中心云节点根据镜像元数据,选择合适的存储资源。根据分布式云节点的当前状态,优先选择本地存储池;当本地存储池资源不足时,优先选择本地存储网关;当本地存储网关资源也不足时,才会降级选择全局仓库;但是对于安全等级要求较高的云节点,镜像文件只允许保存在本地,当本地资源不足时,落点选择失败,创建流程结束。
步骤3,文件传输:根据匹配出的第一存储资源,封装成控制指令,下发给第一分布式云节点,由第一分布式云节点向对应的存储资源发起数据传输请求。文件传输时,当目标存储资源为本地存储资源时,数据传输速度较可达150MB/s以上,当目标存储资源为全局仓库时,传输速度低,约13MB/s。
步骤4,元数据更新:当所有镜像文件分块传输完成后,将镜像文件的标识信息以及各个镜像文件分块的存储路径封装成新的镜像元数据,保存到数据库中,方便后续业务使用。到这里镜像文件创建流程基本完成,镜像文件可以在该分布式云节点内部使用。
步骤5,多存储资源同步:在新镜像文件创建完成后,一方面,由于本地仓库容灾能力有限,容易出现节点故障导致的数据丢失;对于只保存在本地存储资源的非敏感镜像,需要同步到全局仓库;另一方面,全局仓库文件访问效率低,对于只保存在全局仓库的订阅镜像,需要主动同步到本地存储资源。系统内置定时器,定时检测节点状态,在节点空闲时会发起对本地镜像文件的备份任务,全局仓库镜像文件的下发任务。同步任务会依次执行步骤1/2/3/4,最终完成镜像文件多存储资源存储。多存储资源存储,融合了全局仓库的可用性,本地存储资源的高效性,有效提升分布式云节点的使用体验。
本申请实施例提供的技术方案,能够带来如下有益效果:
1、完善产品能力:通过引入多种存储模式的本地存储资源,可以在不增加额外物理硬件的条件下,实现敏感镜像文件的本地存储,避免公网传输和共享仓库导致的数据泄露风险,满足多种场景下的数据合规需求,拓展分布式云的应用场景,为分布式云在各行业广泛落地提供必要支持。
2、提升产品体验:能够自动维护镜像文件在各个仓库的备份。通过融合各个仓库的优势:全局仓库保存全量镜像文件,本地存储资源保存隐私镜像文件、常用镜像文件,并在使用镜像文件时自动匹配最优的存储资源,进而提升云服务的使用体验。实测结果表明,标准10G左右大小的镜像文件,完整拉取时间,能从9.1min缩短为1.3min,时间缩短85%。
在一些实施例中,除上述实施例中提到的本地存储资源的构建方法外,还可以通过建立独享的缓存物理服务器来实现多仓库存储,但是该方案会增加硬件成本,且存在单点故障风险,可靠性不足,另外随着集群规模扩大,缓存服务器配置需要同步扩大,灵活性不足。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图6,其示出了本申请一个实施例提供的镜像文件的存储装置的框图。该装置具有实现上述镜像文件的存储方法的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以是上文介绍的中心云节点,也可以设置在中心云节点中。如图6所示,该装置600可以包括:获取模块610、确定模块620和发送模块630。
获取模块610,用于响应于针对至少一个分布式云节点中的第一分布式云节点的操作命令,获取所述第一分布式云节点对应的镜像元数据,所述镜像元数据包括存储镜像文件所需的相关信息,所述镜像文件用于存储所述第一分布式云节点的业务数据。
确定模块620,用于基于所述镜像元数据,从多个存储资源中确定第一存储资源,所述多个存储资源包括所述第一分布式云节点的本地存储资源和中心云节点的存储资源。
发送模块630,用于基于所述镜像元数据和所述第一存储资源,向所述第一分布式云节点发送第一控制指令,所述第一控制指令用于指示所述第一分布式云节点将所述镜像文件存储至所述第一存储资源。
在一些实施例中,所述镜像元数据包括以下至少之一:
本地仓库信息,所述本地仓库信息用于表征所述第一分布式云节点的本地存储资源,其中,所述本地存储资源包括以下至少之一:本地存储池、本地存储网关,所述本地存储池是为所述第一分布式云节点部署的物理存储资源,所述本地存储网关是部署在所述第一分布式云节点上的虚拟存储资源;
数据安全等级,所述数据安全等级用于表征所述镜像文件的隐私程度;
带宽信息,所述带宽信息用于表征所述第一分布式云节点与全局仓库之间的传输带宽,所述全局仓库是部署在所述中心云节点的存储资源;
所述镜像文件的标识信息。
在一些实施例中,所述确定模块620,用于从所述镜像元数据中获取所述本地仓库信息;在所述本地存储池具有存储所述镜像文件的资源的情况下,将所述本地存储池确定为所述第一存储资源;在所述本地存储池不具有存储所述镜像文件的资源,且所述本地存储网关具有存储所述镜像文件的资源的情况下,将所述本地存储网关确定为所述第一存储资源;在所述本地存储池和所述本地存储网关均不具有存储所述镜像文件的资源的情况下,将所述全局仓库确定为所述第一存储资源。
在一些实施例中,所述发送模块630,还用于在所述本地存储池和所述本地存储网关均不具有存储所述镜像文件的资源的情况下,从所述镜像元数据中获取所述数据安全等级;在所述数据安全等级超过第一阈值的情况下,向所述第一分布式云节点发送第二控制指令,所述第二控制指令用于指示未能确定所述镜像文件的存储资源;在所述数据安全等级未超过所述第一阈值的情况下,执行所述将所述全局仓库确定为所述第一存储资源的步骤。
在一些实施例中,所述发送模块630,还用于在所述本地存储池和所述本地存储网关均不具有存储所述镜像文件的资源的情况下,从所述镜像元数据中获取所述带宽信息;在所述传输带宽超过第二阈值的情况下,执行所述将所述全局仓库确定为所述第一存储资源的步骤;在所述传输带宽未超过所述第二阈值的情况下,向所述第一分布式云节点发送第二控制指令,所述第二控制指令用于指示未能确定所述镜像文件的存储资源。
本申请实施例提供的技术方案,通过在分布式云节点本地设置本地存储资源,使得分布式云节点的镜像文件可以存储在分布式云节点本地,无需全部上传至全局仓库,降低公网传输和共享仓库导致的数据泄露风险。
请参考图7,其示出了本申请一个实施例提供的镜像文件的存储装置的框图。该装置具有实现上述镜像文件的存储方法的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以是上文介绍的分布式云节点,也可以设置在分布式云节点中。如图7所示,该装置700可以包括:接收模块710和存储模块720。
接收模块710,用于接收中心云节点发送的第一控制指令,所述第一控制指令用于指示第一分布式云节点将镜像文件存储至第一存储资源,所述第一控制指令是基于镜像元数据和所述第一存储资源发送的,所述镜像元数据包括存储所述镜像文件所需的相关信息,所述镜像文件用于存储所述第一分布式云节点的业务数据,所述中心云节点用于管理至少一个分布式云节点的镜像文件,所述第一存储位置是所述中心云节点基于所述镜像元数据从多个存储资源中确定的,所述多个存储资源包括所述第一分布式云节点的本地存储资源和所述中心云节点的存储资源。
存储模块720,用于将所述镜像文件存储至所述第一存储资源。
在一些实施例中,所述分布式云节点包括业务层、访问代理层和存储介质层;
所述业务层,用于从所述镜像元数据中获取所述镜像文件的标识信息,将所述镜像文件的标识信息发送给所述访问代理层;
所述访问代理层,用于基于所述镜像文件的标识信息,确定所述第一存储资源,将所述镜像文件存储至所述第一存储资源;
其中,所述业务层用于运行所述分布式云节点的业务,所述访问代理层用于屏蔽不同存储资源的接口差异,所述存储介质层用于为所述第一分布式云节点的镜像文件提供存储资源。
在一些实施例中,所述装置700还包括备份模块(图中未示出)。
所述备份模块,用于检测所述第一分布式云节点的状态;在所述第一分布式云节点处于空闲状态的情况下,基于所述镜像元数据,将所述镜像文件从所述第一存储资源备份至第二存储资源,所述第一存储资源与所述第二存储资源部署在不同的云节点上。
在一些实施例中,所述第一存储资源为本地存储池或本地存储网关,所述本地存储池是为所述分布式云节点部署的物理存储资源,所述本地存储网关是部署在所述分布式云节点上的虚拟存储资源;所述备份模块,用于从所述镜像元数据中获取数据安全等级,所述数据安全等级用于表征所述镜像文件的隐私程度;在所述数据安全等级未超过第一阈值的情况下,将全局仓库确定为所述第二存储资源,所述全局仓库是部署在所述中心云节点的存储资源;将所述镜像文件从所述第一存储资源备份至第二存储资源。
在一些实施例中,所述第一存储资源为全局仓库,所述备份模块,用于在所述镜像文件为订阅镜像文件的情况下,从所述镜像元数据中获取本地仓库信息,所述订阅镜像文件是基于用户的操作指令确定的,所述本地仓库信息用于表征所述第一分布式云节点的本地存储资源;所述本地存储资源包括以下至少之一:本地存储池、本地存储网关;在所述本地存储池具有存储所述镜像文件的资源的情况下,将所述本地存储池确定为所述第二存储资源;在所述本地存储池不具有存储所述镜像文件的资源,且所述本地存储网关具有存储所述镜像文件的资源的情况下,将所述本地存储网关确定为所述第二存储资源;将所述镜像文件从所述第一存储资源备份至第二存储资源。
在一些实施例中,所述接收模块710,还用于接收所述中心云节点发送的第二控制指令,所述第二控制指令用于指示未能确定所述镜像文件的存储资源。
本申请实施例提供的技术方案,通过在分布式云节点本地设置本地存储资源,使得分布式云节点的镜像文件可以存储在分布式云节点本地,无需全部上传至全局仓库,降低公网传输和共享仓库导致的数据泄露风险。
请参考图8,其示出了本申请一个实施例提供的计算机设备800的结构框图。该计算机设备800可以是任何具备数据计算、处理和存储功能的电子设备。该计算机设备800可用于实现上述实施例中提供的镜像文件的存储方法。
通常,计算机设备800包括有:处理器801和存储器802。
处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器801可以在集成有GPU(Graphic Processing Unit,图形处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器801还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器802中的非暂态的计算机可读存储介质用于存储计算机程序,所述计算机程序经配置以由一个或者一个以上处理器执行,以实现上述镜像文件的存储方法。
本领域技术人员可以理解,图8中示出的结构并不构成对计算机设备800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示意性实施例中,还提供了一种计算机可读存储介质,所述存储介质中存储有计算机程序,所述计算机程序在被计算机设备的处理器执行时实现上述镜像文件的存储方法。可选地,上述计算机可读存储介质可以是ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory,只读光盘)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行上述镜像文件的存储方法。
需要说明的是,本申请在收集用户的相关数据之前以及在收集用户的相关数据的过程中,都可以显示提示界面、弹窗或输出语音提示信息,该提示界面、弹窗或语音提示信息用于提示用户当前正在搜集其相关数据,使得本申请仅仅在获取到用户对该提示界面或者弹窗发出的确认操作后,才开始执行获取用户相关数据的相关步骤,否则(即未获取到用户对该提示界面或者弹窗发出的确认操作时),结束获取用户相关数据的相关步骤,即不获取用户的相关数据。换句话说,本申请所采集的所有用户数据(包括镜像文件、镜像元数据等),处理严格根据相关国家法律法规的要求,获取个人信息主体的知情同意或单独同意都是在用户同意并授权的情况下进行采集的,并在法律法规及个人信息主体的授权范围内,开展后续数据使用及处理行为且相关用户数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (15)
1.一种镜像文件的存储方法,其特征在于,所述方法由中心云节点执行,所述中心云节点用于管理至少一个分布式云节点的镜像文件,所述方法包括:
响应于针对所述至少一个分布式云节点中的第一分布式云节点的操作命令,获取所述第一分布式云节点对应的镜像元数据,所述镜像元数据包括存储镜像文件所需的相关信息,所述镜像文件用于存储所述第一分布式云节点的业务数据;
基于所述镜像元数据,从多个存储资源中确定第一存储资源,所述多个存储资源包括所述第一分布式云节点的本地存储资源和所述中心云节点的存储资源;
基于所述镜像元数据和所述第一存储资源,向所述第一分布式云节点发送第一控制指令,所述第一控制指令用于指示所述第一分布式云节点将所述镜像文件存储至所述第一存储资源。
2.根据权利要求1所述的方法,其特征在于,所述镜像元数据包括以下至少之一:
本地仓库信息,所述本地仓库信息用于表征所述第一分布式云节点的本地存储资源,其中,所述本地存储资源包括以下至少之一:本地存储池、本地存储网关,所述本地存储池是为所述第一分布式云节点部署的物理存储资源,所述本地存储网关是部署在所述第一分布式云节点上的虚拟存储资源;
数据安全等级,所述数据安全等级用于表征所述镜像文件的隐私程度;
带宽信息,所述带宽信息用于表征所述第一分布式云节点与全局仓库之间的传输带宽,所述全局仓库是部署在所述中心云节点的存储资源;
所述镜像文件的标识信息。
3.根据权利要求2所述的方法,其特征在于,所述基于所述镜像元数据,从多个存储资源中确定第一存储资源,包括:
从所述镜像元数据中获取所述本地仓库信息;
在所述本地存储池具有存储所述镜像文件的资源的情况下,将所述本地存储池确定为所述第一存储资源;
在所述本地存储池不具有存储所述镜像文件的资源,且所述本地存储网关具有存储所述镜像文件的资源的情况下,将所述本地存储网关确定为所述第一存储资源;
在所述本地存储池和所述本地存储网关均不具有存储所述镜像文件的资源的情况下,将所述全局仓库确定为所述第一存储资源。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在所述本地存储池和所述本地存储网关均不具有存储所述镜像文件的资源的情况下,从所述镜像元数据中获取所述数据安全等级;
在所述数据安全等级超过第一阈值的情况下,向所述第一分布式云节点发送第二控制指令,所述第二控制指令用于指示未能确定所述镜像文件的存储资源;
在所述数据安全等级未超过所述第一阈值的情况下,执行所述将所述全局仓库确定为所述第一存储资源的步骤。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在所述本地存储池和所述本地存储网关均不具有存储所述镜像文件的资源的情况下,从所述镜像元数据中获取所述带宽信息;
在所述传输带宽超过第二阈值的情况下,执行所述将所述全局仓库确定为所述第一存储资源的步骤;
在所述传输带宽未超过所述第二阈值的情况下,向所述第一分布式云节点发送第二控制指令,所述第二控制指令用于指示未能确定所述镜像文件的存储资源。
6.一种镜像文件的存储方法,其特征在于,所述方法由第一分布式云节点执行,所述方法包括:
接收中心云节点发送的第一控制指令,所述第一控制指令用于指示所述第一分布式云节点将镜像文件存储至第一存储资源,所述第一控制指令是基于镜像元数据和所述第一存储资源发送的,所述镜像元数据包括存储所述镜像文件所需的相关信息,所述镜像文件用于存储所述第一分布式云节点的业务数据,所述中心云节点用于管理至少一个分布式云节点的镜像文件,所述第一存储位置是所述中心云节点基于所述镜像元数据从多个存储资源中确定的,所述多个存储资源包括所述第一分布式云节点的本地存储资源和所述中心云节点的存储资源;
将所述镜像文件存储至所述第一存储资源。
7.根据权利要求6所述的方法,其特征在于,所述分布式云节点包括业务层、访问代理层和存储介质层;
所述业务层,用于从所述镜像元数据中获取所述镜像文件的标识信息,将所述镜像文件的标识信息发送给所述访问代理层;
所述访问代理层,用于基于所述镜像文件的标识信息,确定所述第一存储资源,将所述镜像文件存储至所述第一存储资源;
其中,所述业务层用于运行所述分布式云节点的业务,所述访问代理层用于屏蔽不同存储资源的接口差异,所述存储介质层用于为所述第一分布式云节点的镜像文件提供存储资源。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
检测所述第一分布式云节点的状态;
在所述第一分布式云节点处于空闲状态的情况下,基于所述镜像元数据,将所述镜像文件从所述第一存储资源备份至第二存储资源,所述第一存储资源与所述第二存储资源部署在不同的云节点上。
9.根据权利要求8所述的方法,其特征在于,所述第一存储资源为本地存储池或本地存储网关,所述本地存储池是为所述分布式云节点部署的物理存储资源,所述本地存储网关是部署在所述分布式云节点上的虚拟存储资源;所述基于所述镜像元数据,将所述镜像文件从所述第一存储资源备份至第二存储资源,包括:
从所述镜像元数据中获取数据安全等级,所述数据安全等级用于表征所述镜像文件的隐私程度;
在所述数据安全等级未超过第一阈值的情况下,将全局仓库确定为所述第二存储资源,所述全局仓库是部署在所述中心云节点的存储资源;
将所述镜像文件从所述第一存储资源备份至所述第二存储资源。
10.根据权利要求8所述的方法,其特征在于,所述第一存储资源为全局仓库,所述基于所述镜像元数据,将所述镜像文件从所述第一存储资源备份至第二存储资源,包括:
在所述镜像文件为订阅镜像文件的情况下,从所述镜像元数据中获取本地仓库信息,所述订阅镜像文件是基于用户的操作指令确定的,所述本地仓库信息用于表征所述第一分布式云节点的本地存储资源;所述本地存储资源包括以下至少之一:本地存储池、本地存储网关;
在所述本地存储池具有存储所述镜像文件的资源的情况下,将所述本地存储池确定为所述第二存储资源;
在所述本地存储池不具有存储所述镜像文件的资源,且所述本地存储网关具有存储所述镜像文件的资源的情况下,将所述本地存储网关确定为所述第二存储资源;
将所述镜像文件从所述第一存储资源备份至所述第二存储资源。
11.根据权利要求6所述的方法,其特征在于,所述方法还包括:
接收所述中心云节点发送的第二控制指令,所述第二控制指令用于指示未能确定所述镜像文件的存储资源。
12.一种镜像文件的存储系统,其特征在于,所述系统包括中心云节点和至少一个分布式云节点;
所述中心云节点,用于响应于针对所述至少一个分布式云节点中的第一分布式云节点的操作命令,获取所述第一分布式云节点对应的镜像元数据,所述镜像元数据包括存储镜像文件所需的相关信息,所述镜像文件用于存储所述第一分布式云节点的业务数据;基于所述镜像元数据,从多个存储资源中确定第一存储资源,所述多个存储资源包括所述第一分布式云节点的本地存储资源和所述中心云节点的存储资源;基于所述镜像元数据和所述第一存储资源,向所述第一分布式云节点发送所述第一控制指令,所述第一控制指令用于指示所述第一分布式云节点将所述镜像文件存储至所述第一存储资源;
所述第一分布式云节点,用于接收所述中心云节点发送的所述第一控制指令,所述第一控制指令用于指示所述第一分布式云节点将镜像文件存储至第一存储资源;将所述镜像文件存储至所述第一存储资源。
13.一种镜像文件的存储装置,其特征在于,所述装置包括:
获取模块,用于响应于针对至少一个分布式云节点中的第一分布式云节点的操作命令,获取所述第一分布式云节点对应的镜像元数据,所述镜像元数据包括存储镜像文件所需的相关信息,所述镜像文件用于存储所述第一分布式云节点的业务数据;
确定模块,用于基于所述镜像元数据,从多个存储资源中确定第一存储资源,所述多个存储资源包括所述第一分布式云节点的本地存储资源和中心云节点的存储资源;
发送模块,用于基于所述镜像元数据和所述第一存储资源,向所述第一分布式云节点发送第一控制指令,所述第一控制指令用于指示所述第一分布式云节点将所述镜像文件存储至所述第一存储资源。
14.一种镜像文件的存储装置,其特征在于,所述装置包括:
接收模块,用于接收中心云节点发送的第一控制指令,所述第一控制指令用于指示第一分布式云节点将镜像文件存储至第一存储资源,所述第一控制指令是基于镜像元数据和所述第一存储资源发送的,所述镜像元数据包括存储所述镜像文件所需的相关信息,所述镜像文件用于存储所述第一分布式云节点的业务数据,所述中心云节点用于管理至少一个分布式云节点的镜像文件,所述第一存储位置是所述中心云节点基于所述镜像元数据从多个存储资源中确定的,所述多个存储资源包括所述第一分布式云节点的本地存储资源和所述中心云节点的存储资源;
存储模块,用于将所述镜像文件存储至所述第一存储资源。
15.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器用于执行所述计算机程序以实现如权利要求1至5任一项所述的方法,或实现如权利要求6至12任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410263988.4A CN118862192A (zh) | 2024-03-07 | 2024-03-07 | 镜像文件的存储方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410263988.4A CN118862192A (zh) | 2024-03-07 | 2024-03-07 | 镜像文件的存储方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118862192A true CN118862192A (zh) | 2024-10-29 |
Family
ID=93156482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410263988.4A Pending CN118862192A (zh) | 2024-03-07 | 2024-03-07 | 镜像文件的存储方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118862192A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140040580A1 (en) * | 2012-07-31 | 2014-02-06 | Commvault Systems, Inc. | Administering a shared, on-line pool of data storage resources for performing data storage operations |
US20140297733A1 (en) * | 2011-12-29 | 2014-10-02 | Huawei Technologies Co., Ltd. | Cloud Computing System and Method for Managing Storage Resources Therein |
WO2021022985A1 (zh) * | 2019-08-06 | 2021-02-11 | 中兴通讯股份有限公司 | 云服务处理方法及装置、云服务器、云服务系统及存储介质 |
CN115687420A (zh) * | 2022-10-26 | 2023-02-03 | 苏州长通互联科技有限公司 | 一种镜像仓库分布式缓存方法和装置 |
CN117061503A (zh) * | 2023-10-11 | 2023-11-14 | 腾讯科技(深圳)有限公司 | 镜像文件管理方法、装置、计算机可读介质及电子设备 |
-
2024
- 2024-03-07 CN CN202410263988.4A patent/CN118862192A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140297733A1 (en) * | 2011-12-29 | 2014-10-02 | Huawei Technologies Co., Ltd. | Cloud Computing System and Method for Managing Storage Resources Therein |
US20140040580A1 (en) * | 2012-07-31 | 2014-02-06 | Commvault Systems, Inc. | Administering a shared, on-line pool of data storage resources for performing data storage operations |
WO2021022985A1 (zh) * | 2019-08-06 | 2021-02-11 | 中兴通讯股份有限公司 | 云服务处理方法及装置、云服务器、云服务系统及存储介质 |
CN115687420A (zh) * | 2022-10-26 | 2023-02-03 | 苏州长通互联科技有限公司 | 一种镜像仓库分布式缓存方法和装置 |
CN117061503A (zh) * | 2023-10-11 | 2023-11-14 | 腾讯科技(深圳)有限公司 | 镜像文件管理方法、装置、计算机可读介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107391629B (zh) | 集群间数据迁移方法、系统、服务器及计算机存储介质 | |
CN113010496B (zh) | 一种数据迁移方法、装置、设备和存储介质 | |
CN105872016B (zh) | 一种桌面云中虚拟机的运行方法 | |
CN111209090B (zh) | 一种云平台中虚拟机的创建方法、组件及服务器 | |
CN111475483B (zh) | 数据库迁移方法、装置及计算设备 | |
CN101808127B (zh) | 数据备份方法、系统和服务器 | |
WO2018054200A1 (zh) | 文件读取方法和装置 | |
CN112099908A (zh) | 虚拟机热迁移方法、装置和计算机设备 | |
CN114816272B (zh) | Kubernetes环境下的磁盘管理系统 | |
CN109032753A (zh) | 一种异构虚拟机硬盘托管方法、系统、存储介质及Nova平台 | |
CN115357198B (zh) | 存储卷的挂载方法及装置、存储介质及电子设备 | |
CN114979114B (zh) | 云应用处理方法和系统 | |
CN117827365A (zh) | 应用容器的端口分配方法、装置、设备、介质及产品 | |
CN113992662A (zh) | 文件传输方法、装置及存储介质 | |
WO2018107361A1 (zh) | 镜像处理方法以及计算设备 | |
WO2024165064A1 (zh) | 一种云手机热启动方法和云手机管理平台 | |
CN118862192A (zh) | 镜像文件的存储方法、装置及设备 | |
CN116483274A (zh) | 一种分布式块存储卷在线迁移方法、装置、设备及介质 | |
CN114328007A (zh) | 一种容器备份还原方法、装置及其介质 | |
CN114722261A (zh) | 一种资源的处理方法、装置、电子设备及存储介质 | |
CN114691033B (zh) | 数据复制方法、数据储存系统控制方法、装置、设备及介质 | |
CN115292051B (zh) | 一种gpu资源pod的热迁移方法、装置及应用 | |
CN111399763B (zh) | 数据存储的方法、装置、系统、设备及存储介质 | |
CN112055057B (zh) | 一种Web系统动态扩展的方法及系统和设备 | |
CN110297598B (zh) | 一种数据同步方法及存储系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |