CN103631666B - 数据冗余容错的适配管理设备、服务设备、系统及方法 - Google Patents
数据冗余容错的适配管理设备、服务设备、系统及方法 Download PDFInfo
- Publication number
- CN103631666B CN103631666B CN201210305197.0A CN201210305197A CN103631666B CN 103631666 B CN103631666 B CN 103631666B CN 201210305197 A CN201210305197 A CN 201210305197A CN 103631666 B CN103631666 B CN 103631666B
- Authority
- CN
- China
- Prior art keywords
- data
- mode
- service module
- tolerant
- redundancy fault
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据冗余容错的存储适配管理设备,包括:管理服务模块,用于配置云存储中的数据冗余容错方式及其适配策略。本发明还公开了一种数据冗余容错的存储适配服务设备,包括:元数据服务模块和数据服务模块。本发明还公开了一种数据冗余容错的存储适配系统及方法,其中的方法包括:配置数据冗余容错方式及其适配策略,元数据服务模块和数据服务模块对自身的数据冗余容错方式进行适配调整。采用本发明,能兼顾多种数据冗余容错方式,对数据冗余容错方式进行灵活地适配调整。
Description
技术领域
本发明涉及云计算应用的云存储技术,尤其涉及一种数据冗余容错的存储适配管理设备、服务设备、系统及方法。
背景技术
全球数据量的猛增,带动着整个存储市场的快速发展,使得云存储技术得到大规模应用。
云存储作为一个以数据存储和管理为核心的云计算系统,通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能。通常云存储系统设备采用通用的服务器,例如X86架构服务器。这里,所谓x86为intel通用计算机系列的标准编号缩写,是特定微处理器执行的一些计算机语言指令集,定义了芯片的基本使用规则。
数据存储服务是云存储服务商向用户提供的重要服务内容,因此数据的可靠性是用户非常关心的一个性能,为了保证云存储中数据的可靠性,需要采用数据冗余技术,即依靠云存储软件提供数据冗余容错的冗余存储方式,现有的云存储软件层次的冗余存储方式包括纠删码(EC,Erasure Code)方式、副本方式等。
针对EC方式而言,所谓EC方式是将原始数据分为N+M块,M块为校验数据,只要任意N块数据可用,即可恢复原始数据。可配置支持9+3,10+2,10+6等多种EC方式,满足不同可靠性和磁盘利用率的需要,例如,9+3指N=9,M=3时的EC方式。EC方式区别于完全副本备份的冗余存储方式,不是直接存储原始数据自身,而是将原始数据分割成多个数据块,通过编码算法先计算出校验数据,然后将原始数据和校验数据分布存储在整个广域网中不同的存储服务器上,提供给用户访问(通过校验数据块对从不同存储服务器上获取的原始数据块进行重组校验)。虽然,节约了存储空间,但是,该编码计算和重组校验会影响到访问效率和数据可靠性。
针对副本方式而言,所谓副本方式是为原始数据简单复制一份或多份数据,并同时存储和提供访问。副本方式是一种完全副本备份的冗余存储方式,通过生成多个原始数据的副本,并将这些原始数据的副本分别存储在广域网中不同的存储服务器上,以达到备份的目的,只要有一个副本保持完整,原始数据就可以正常获取并提供给用户访问,也就是说,只要有一个副本可以访问,数据就不会丢失,数据可靠性高,但是会过多地占用存储空间。
对比以上EC方式和副本方式的不同实现方式可知:EC方式在与副本方式得到相同可靠性的条件下,能节约存储空间,但是,编码和重组校验会较多地开销计算处理能力,导致访问效率低;而副本方式访问效率高,但是存储空间利用率不高。
目前,采用现有技术,只能采用以上任一种、单一的冗余存储方式,各有优劣,没法对存储方式进行灵活地适配调整。
发明内容
有鉴于此,本发明的主要目的在于提供一种数据冗余容错的存储适配管理设备、服务设备、系统及方法,能实现云存储中对存储方式进行灵活地适配调整。
为达到上述目的,本发明的技术方案是这样实现的:
一种数据冗余容错的存储适配管理设备,该设备包括:管理服务模块,用于配置云存储中的数据冗余容错方式及其适配策略,将所述数据冗余容错方式及其适配策略提供给服务侧访问并指示服务侧选择相适配的数据冗余容错方式。
其中,所述管理服务模块,进一步用于根据存储域、和/或应用、和/或用户、和/或数据对象配置所述数据冗余容错方式及其适配策略。
其中,所述管理服务模块,进一步用于在视频点播类服务的应用场景下配置所述数据冗余容错方式及其适配策略时,对热点视频文件,需配置选用副本方式;对非热点视频文件,需配置选用纠删码EC方式。
其中,所述管理服务模块,进一步用于在设备故障维护管理的应用场景下配置所述数据冗余容错方式及其适配策略时,配置一个存储域对应预留多个富余安全数据块,并配置副本方式和EC方式都适用。
其中,所述管理服务模块,进一步用于在剩余物理存储空间不够导致系统告警的应用场景下配置所述数据冗余容错方式及其适配策略时,配置一个存储域对应预留的多个富余安全数据块的数量需要降低,并配置副本方式和EC方式都适用;当检测到以副本方式存储的数据块其对应热度降低时,改为选用EC方式。
一种数据冗余容错的存储适配服务设备,该设备包括:元数据服务模块、数据服务模块;其中,
所述元数据服务模块,用于访问管理侧并读取配置的所述数据冗余容错方式及其适配策略,选择相适配的数据冗余容错方式并对自身的数据冗余容错方式进行适配调整;将已适配调整自身数据冗余容错方式的指示发送给所述数据服务模块;
所述数据服务模块,用于根据接收的所述指示,相应地调整自身的数据冗余容错方式。
其中,所述数据服务模块,进一步用于调整自身的数据冗余容错方式后,返回响应给所述元数据服务模块;
所述元数据服务模块,进一步用于接收到所述响应后,更新对应的元数据。
一种数据冗余容错的存储适配系统,该系统包括:管理侧的管理服务模块,服务侧的元数据服务模块和数据服务模块;其中,
所述管理服务模块,用于配置云存储中的数据冗余容错方式及其适配策略,将所述数据冗余容错方式及其适配策略提供给服务侧访问并指示服务侧选择相适配的数据冗余容错方式;
所述元数据服务模块,用于访问管理侧并读取配置的所述数据冗余容错方式及其适配策略,选择相适配的数据冗余容错方式并对自身的数据冗余容错方式进行适配调整;将已适配调整自身数据冗余容错方式的指示发送给所述数据服务模块;
所述数据服务模块,用于根据接收的所述指示,相应地调整自身的数据冗余容错方式。
其中,所述管理服务模块,进一步用于根据存储域、和/或应用、和/或用户、和/或数据对象配置所述数据冗余容错方式及其适配策略。
其中,所述管理服务模块,进一步用于在视频点播类服务的应用场景下配置所述数据冗余容错方式及其适配策略时,对热点视频文件,需配置选用副本方式;对非热点视频文件,需配置选用EC方式。
其中,所述管理服务模块,进一步用于在设备故障维护管理的应用场景下配置所述数据冗余容错方式及其适配策略时,配置一个存储域对应预留多个富余安全数据块,并配置副本方式和EC方式都适用。
其中,所述管理服务模块,进一步用于在剩余物理存储空间不够导致系统告警的应用场景下配置所述数据冗余容错方式及其适配策略时,配置一个存储域对应预留的多个富余安全数据块的数量需要降低,并配置副本方式和EC方式都适用;当检测到以副本方式存储的数据块其对应热度降低时,改为选用EC方式。
一种数据冗余容错的存储适配方法,该方法包括:管理服务模块配置云存储中的数据冗余容错方式及其适配策略;
元数据服务模块访问管理服务模块并读取配置的所述数据冗余容错方式及其适配策略,选择相适配的数据冗余容错方式并对自身的数据冗余容错方式进行适配调整;
将已适配调整自身数据冗余容错方式的指示发送给数据服务模块;数据服务模块根据接收的所述指示,相应地调整自身的数据冗余容错方式。
其中,所述配置云存储中的数据冗余容错方式及其适配策略具体包括:根据存储域、和/或应用、和/或用户、和/或数据对象配置所述数据冗余容错方式及其适配策略。
其中,该方法还包括:数据服务模块调整自身的数据冗余容错方式后,返回响应给所述元数据服务模块;元数据服务模块接收到所述响应后,更新对应的元数据。
本发明管理服务模块配置云存储中的数据冗余容错方式及其适配策略;元数据服务模块访问管理服务模块并读取配置的所述数据冗余容错方式及其适配策略,选择相适配的数据冗余容错方式并对自身的数据冗余容错方式进行适配调整;将已适配调整自身数据冗余容错方式的指示发送给数据服务模块;数据服务模块根据接收的所述指示,相应地调整自身的数据冗余容错方式。
采用本发明,由于能可选地选择相适配的数据冗余容错方式,实现云存储中对存储方式进行灵活地适配调整,而不是采用单一的、一个固定的数据冗余容错方式,因此,能兼顾各种数据冗余容错方式的优越性。
附图说明
图1为本发明系统的组成结构示意图;
图2为本发明方法的实现流程图。
具体实施方式
本发明的基本思想是:管理服务模块配置云存储中的数据冗余容错方式及其适配策略;元数据服务模块访问管理服务模块并读取配置的所述数据冗余容错方式及其适配策略,选择相适配的数据冗余容错方式并对自身的数据冗余容错方式进行适配调整;将已适配调整自身数据冗余容错方式的指示发送给数据服务模块;数据服务模块根据接收的所述指示,相应地调整自身的数据冗余容错方式。
本发明主要包括以下内容:
本发明的系统包括:云存储中的管理服务模块、云存储中的元数据服务模块和云存储中的数据服务模块。其中,元数据服务模块和数据服务模块位于同侧,并通过以太网与管理服务模块互联。
云存储中的管理服务模块,用于配置云存储中数据冗余容错方式及其适配策略,以实现根据实际存储空间容量、和/或访问效率、和/或网络带宽等参数及其组合选择适合的数据冗余容错方式进行数据存储,从而达到兼顾数据可靠性和数据可用性两方面性能需求的效果。
这里,所述适配策略的配置可以按照存储域、应用、用户、数据对象进行配置。其中,针对存储域而言,存储域指云存储系统逻辑划分,一个存储域包含多个存储服务器节点,一般存储域不共用存储节点。针对应用而言,应用指邮箱、视频、图片、办公等,不同应用包含数据存储要求一般也不相同。针对用户而言,用户指注册登录云存储系统的用户帐号,根据其服务协议具备使用指定权限的云存储的容量、时间段和存储策略。针对数据对象而言,数据对象指数据存放目录或数据文件类型等。
这里,具体来说,1)针对视频点播类的服务应用场景,管理服务模块按该服务应用场景的具体应用来设置数据冗余容错方式的适配策略时,以应用为视频文件是否为热点视频文件为例,如果一个视频文件被多次点播,也可以称为该视频为热点视频文件(是否为热点视频文件,可以用针对该视频每天的访问次数来衡量),对于热点视频文件,则采用副本方式;对于非热点视频文件,则采用EC方式。而且,该视频文件越是热点,设置适配策略时,采用副本方式时,对应的副本数量可以越多。
2)针对云存储设备故障维护管理的应用场景,管理服务模块,按该存储域来设置数据冗余容错方式的适配策略时,设置一个存储域预留多个富余安全数据块。副本方式和EC方式都适用,只不过,针对副本方式,该富余安全数据块指副本拷贝数据库,而针对EC方式,则是指校验数据块。
3)针对剩余物理存储空间不多,系统会告警,而由于某些原因不能及时实施扩容的应用场景,管理服务模块,按该存储域来设置数据冗余容错方式的适配策略时,降低富余安全数据块的数量,其他没有富余安全数据块的数据维持不变,对于热度较低的、原先采用副本方式存储的数据,改为采用存储空间利用率更高的EC方式。
云存储中的元数据服务模块,用于读取管理服务模块中所配置的数据。
这里,该所配置的数据包括数据冗余容错方式,及如何选择不同数据冗余容错方式的适配策略。
云存储中的元数据服务模块,还用于读取所配置的数据后,按所述适配策略对数据冗余容错方式进行扫描,并选择一个适合的数据冗余容错方式。
云存储中的数据服务模块,用于根据所述元数据服务模块的指示,调整自身的数据冗余容错方式,可以与元数据服务模块所选择的数据冗余容错方式一致,并返回响应给元数据服务模块。其中,所返回的响应具体为:已经调整为一致的数据冗余容错方式的响应。
下面结合附图对技术方案的实施作进一步的详细描述。
如图1所示,图1为本发明基于云存储的数据冗余容错的存储适配系统的组成结构示意图,以云存储中任一个存储域为例,该系统包括:数据冗余容错的存储管理设备和服务设备,其中,该管理设备包括管理服务模块;该服务设备包括元数据服务模块和数据服务模块。
管理服务模块用于配置云存储中数据冗余容错方式的适配策略,该适配策略可以按照存储域、应用、用户、数据对象进行设置。管理服务模块还用于云存储拓扑管理,即:管理服务模块可以管理一个或多个存储域。存储域对应了一个存储逻辑空间定义,包含一个或多个云存储服务器。调整数据冗余容错方式以存储域为基本单位执行。管理服务模块还用于其他包括性能监控、故障告警管理、系统日志、统计分析、对象冗余列表等管理。
云存储中任一个存储域在逻辑上分为元数据服务模块和数据服务模块。这里,就元数据和数据的关系而言,元数据可以理解为关于“数据”的数据,即元数据为用于描述其它数据的一种数据。而数据可以理解为物理实体,元数据则是提供了对数据相关的各种属性的记录,比如记录用户数据的物理分布,为用户数据读写提供数据物理分布信息等,元数据,其本身也可以作为被描述的数据对象。
正因为有了“元数据”和“数据”之间的上述关系,因此,在“元数据服务模块”和“数据服务模块”之间,在元数据服务模块根据配置的适配策略选择好一个数据冗余容错方式后,会指示数据服务模块也调整自身的数据冗余容错方式。而且,由于数据存在不同的服务器上,每个服务器要对同一数据采用至少相同的冗余容错方式才行,所以,元数据服务模块调整了自身的数据冗余容错方式后,数据服务模块也会调整自身的数据冗余容错方式,并将响应返回元数据服务模块,同时元数据服务模块修改其对应的元数据。
元数据服务模块用于读取管理服务模块的配置数据,包括数据冗余容错方式及其适配策略,并按适配策略扫描所配置的数据冗余容错方式,选定了数据冗余容错方式后,指示数据服务模块执行数据冗余容错方式的对应适配调整。元数据服务模块还用于记录用户数据的物理分布;为用户数据读写提供数据物理分布信息。
数据服务模块用于根据元数据服务模块的指示,调整自身的数据冗余容错方式并响应。数据服务模块用于分布式地物理存储用户的数据;为用户读写数据提供分布式服务;记录系统日志,包括物理设备告警、系统操作记录等。
如图1所示,图1中的数据冗余容错的存储管理设备包括:管理服务模块。如图1所示,图1中的数据冗余容错的存储服务设备包括:元数据服务模块和数据服务模块,至于,该管理服务模块、该元数据服务模块和该数据服务模块的描述如上述系统中所描述的内容,在次不做赘述。
如图2所示,图2为本发明基于云存储的数据冗余容错的存储适配方法的实现方法流程图,该方法包括以下步骤:
步骤101、管理服务模块设置数据冗余容错方式及其适配策略。
步骤102、元数据服务模块读取上述预设策略,并进行扫描检测。
步骤103、元数据服务模块判断是否需要调整数据冗余容错方式,如果是,则执行步骤104,否则,执行步骤102。
步骤104、数据服务模块接受元数据服务模块的指令,执行数据冗余容错方式的适配,并返回执行结果,元数据服务模块更新对应的元数据。
以下,以三种具体应用场景对冗余容错方式的适配进行描述。
应用场景一、针对视频点播类服务的访问热度进行数据冗余容错方式的适配
在视频点播类的服务中,各个视频文件的访问热度差异较大。所谓热度为评价一个被多次点播的视频文件的访问量的指标,该视频文件就是用户普遍关注的热点网络视频片段。
管理服务模块按该应用设置数据冗余容错方式的适配策略。
例如,一方面,设置视频文件的访问热度,以每天的访问次数衡量,超过设置的访问次数阀值(例如10次),使用的数据冗余容错方式为副本方式;越是热点,采用的副本数量可以越多,例如2副本调整为3副本。对低于该冗余容错规格(指前述将2副本调整为3副本的这个规格)的数据,数据服务模块会接受元数据服务模块的指令,执行数据冗余容错方式的适配调整,并返回执行结果,元数据服务模块更新对应的元数据,因为数据适配调整后,元数据是记录数据改变的描述数据,因此,元数据也需要更新,更新的是针对数据改变的描述。
另一方面,不属于热点的视频文件(评价是否为热点的视频文件或不属于热点的视频文件,可以采用的指标为:例如每天的访问次数小于2次的可称为不属于热点的视频文件,除此之外的,就是热点的视频文件),如比较冷僻的视频文件,使用EC方式,越冷僻视频文件,所采用的校验数据块的比例越低,例如,将EC方式的参数配置由9+3调整为10+2。对高于该冗余容错规格(指前述将EC方式的参数配置由9+3调整为10+2的规格)的数据,数据服务模块会接受元数据服务模块的指令,执行数据冗余容错方式的适配调整,并返回执行结果,元数据服务模块更新对应的元数据。
应用场景二、针对云存储设备故障维护管理的数据冗余容错方式的适配
云存储采用通用的服务器设备,在日常工程维护中,会遇到硬盘损坏、存储节点不可用等异常情况,随着时间推移,设备老化情况也在变化,物理存储环境对数据冗余容错的要求因此也在变化。特别是备份数据往往疏于管理,配置数据冗余容错方式的适配策略,适时自动调整数据冗余容错方式就非常有价值。
管理服务模块按该存储域设置数据冗余容错方式的适配策略。
例如,设置一个存储域预留2个富余安全数据块(指扣减可能损坏的冗余数据块后,还可以抵抗损坏的数据块数量),则根据设备故障统计,一段时间(例如24小时)内,该存储域同时损坏的硬盘数量为2个,则需要为该数据存放4份数据。如果采用副本方式,就提供4个副本;如果采用EC方式,就提供校验块4块以上。对低于该冗余容错规格(指前述采用副本方式,就提供4个副本;如果采用EC方式,就提供校验块4块以上的规格)的数据,云存储数据服务模块会接受元数据服务模块的指令,执行数据冗余容错方式的适配调整,并返回执行结果,元数据服务模块更新对应的元数据。
应用场景三、针对剩余物理存储空间不多的数据冗余容错方式的适配
云存储系统虽然可以根据容量需求量增加,进行弹性在线扩容,但是在某个时刻(指云存储某个工程实施结束后,有一个确定的软硬件配置时刻),其本身还是有一个容量上限。当容量需求量增加,剩余物理存储空间不多,系统会告警,而由于某些原因不能及时在线实时扩容,就可以利用云存储冗余容错方式的适配调整赢得在线实时扩容的时间。
管理服务模块按该存储域设置数据冗余容错方式的适配策略。
例如,设置一个存储域剩余存储空间不足10%时,对于富余安全数据块大于3的数据,富余安全数据块数量降低到2,其他维持不变;对于热度较低的、采用副本方式存储的数据,使用存储空间利用率更高的EC方式。
在管理服务模块,可以查看数据对象的冗余列表,还可以对指定的数据对象,配置数据冗余容错方式的适配策略。例如,数据对象指数据存放目录或数据文件类型等,可以按照文件目录和/或类型指定适配策略。
管理服务模块还可以对重叠的数据冗余容错方式的适配策略进行裁决,可以自动、或提示手动选择数据冗余容错方式的适配策略。例如,按照用户设置的富余安全数据块数量为2,但是该用户某数据对象又设置了富余安全数据块数量为3,则可设置系统自动裁决,按更安全方式、范围更小的策略进行处理,即对所述用户的所述数据对象按照富余安全数据块数量为3处理。再例如,当系统判断需要进行适配策略调整,但涉及数据对象较多(例如,多余100个数据文件),可能影响在线服务性能时,会提醒管理员介入控制,系统和管理员会话包括交互是否需要现在调整或者设置调整时间;是否对目录下所有文件执行调整或者只是调整该文件冗余策略,诸如此类等等。
综上所述,本发明提供了在使用云存储时,灵活调整数据冗余容错方式的系统与方法。采用本发明能兼顾多种数据冗余容错方式,对比EC方式和副本方式的不同实现方式可知:EC方式具备灵活的参数配置(如可配置支持9+3,10+2,10+6等多种EC方式,满足不同可靠性和磁盘利用率的需要),根据不同参数配置支持不同的存储空间利用率和不同的数据可靠性需求。EC方式在提高数据可用性,节约存储空间方面有明显优势,但是在数据可靠性方面、数据读取效率和节约计算处理开销方面还是副本方式有明显优势。而副本方式可以具备较高读取效率,节约计算处理开销,但存储空间利用率不高。而本发明由于能兼顾多种数据冗余容错方式,在云存储系统的性能和存储利用率不均衡时,可以适应应用场景的需要而及时在线适配调整,从而选定一个最佳的数据冗余容错方式。比采用现有技术,单一的数据冗余容错方式没有可选性,具有明显优势。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (14)
1.一种数据冗余容错的存储适配管理设备,其特征在于,该设备包括:管理服务模块,用于配置云存储中的数据冗余容错方式及其适配策略,将所述数据冗余容错方式及其适配策略提供给服务侧访问并指示服务侧选择相适配的数据冗余容错方式,其中,所述数据冗余容错方式至少包括:副本方式和EC方式;
所述管理服务模块还用于对重叠的数据冗余容错方式的适配策略进行裁决,自动或提示手动选择数据冗余容错方式的适配策略;
所述管理服务模块,进一步用于根据存储域、和/或应用、和/或用户、和/或数据对象配置所述数据冗余容错方式及其适配策略。
2.根据权利要求1所述的设备,其特征在于,所述管理服务模块,进一步用于在视频点播类服务的应用场景下配置所述数据冗余容错方式及其适配策略时,对热点视频文件,需配置选用副本方式;对非热点视频文件,需配置选用纠删码EC方式。
3.根据权利要求1所述的设备,其特征在于,所述管理服务模块,进一步用于在设备故障维护管理的应用场景下配置所述数据冗余容错方式及其适配策略时,配置一个存储域对应预留多个富余安全数据块,并配置副本方式和EC方式都适用。
4.根据权利要求1所述的设备,其特征在于,所述管理服务模块,进一步用于在剩余物理存储空间不够导致系统告警的应用场景下配置所述数据冗余容错方式及其适配策略时,配置一个存储域对应预留的多个富余安全数据块的数量需要降低,并配置副本方式和EC方式都适用;当检测到以副本方式存储的数据块其对应热度降低时,改为选用EC方式。
5.一种数据冗余容错的存储适配服务设备,其特征在于,该设备包括:元数据服务模块、数据服务模块;其中,
所述元数据服务模块,用于访问管理侧并读取配置的数据冗余容错方式及其适配策略,选择相适配的数据冗余容错方式并对自身的数据冗余容错方式进行适配调整;将已适配调整自身数据冗余容错方式的指示发送给所述数据服务模块,其中,所述数据冗余容错方式至少包括:副本方式和EC方式;
所述数据服务模块,用于根据接收的所述指示,相应地调整自身的数据冗余容错方式。
6.根据权利要求5所述的设备,其特征在于,所述数据服务模块,进一步用于调整自身的数据冗余容错方式后,返回响应给所述元数据服务模块;
所述元数据服务模块,进一步用于接收到所述响应后,更新对应的元数据。
7.一种数据冗余容错的存储适配系统,其特征在于,该系统包括:管理侧的管理服务模块,服务侧的元数据服务模块和数据服务模块;其中,
所述管理服务模块,用于配置云存储中的数据冗余容错方式及其适配策略,将所述数据冗余容错方式及其适配策略提供给服务侧访问并指示服务侧选择相适配的数据冗余容错方式;所述管理服务模块还用于对重叠的数据冗余容错方式的适配策略进行裁决,自动或提示手动选择数据冗余容错方式的适配策略,其中,所述数据冗余容错方式至少包括:副本方式和EC方式;
所述元数据服务模块,用于访问管理侧并读取配置的所述数据冗余容错方式及其适配策略,选择相适配的数据冗余容错方式并对自身的数据冗余容错方式进行适配调整;将已适配调整自身数据冗余容错方式的指示发送给所述数据服务模块;
所述数据服务模块,用于根据接收的所述指示,相应地调整自身的数据冗余容错方式。
8.根据权利要求7所述的系统,其特征在于,所述管理服务模块,进一步用于根据存储域、和/或应用、和/或用户、和/或数据对象配置所述数据冗余容错方式及其适配策略。
9.根据权利要求7或8所述的系统,其特征在于,所述管理服务模块,进一步用于在视频点播类服务的应用场景下配置所述数据冗余容错方式及其适配策略时,对热点视频文件,需配置选用副本方式;对非热点视频文件,需配置选用EC方式。
10.根据权利要求7或8所述的系统,其特征在于,所述管理服务模块,进一步用于在设备故障维护管理的应用场景下配置所述数据冗余容错方式及其适配策略时,配置一个存储域对应预留多个富余安全数据块,并配置副本方式和EC方式都适用。
11.根据权利要求7或8所述的系统,其特征在于,所述管理服务模块,进一步用于在剩余物理存储空间不够导致系统告警的应用场景下配置所述数据冗余容错方式及其适配策略时,配置一个存储域对应预留的多个富余安全数据块的数量需要降低,并配置副本方式和EC方式都适用;当检测到以副本方式存储的数据块其对应热度降低时,改为选用EC方式。
12.一种数据冗余容错的存储适配方法,其特征在于,该方法包括:管理服务模块配置云存储中的数据冗余容错方式及其适配策略;
元数据服务模块访问管理服务模块并读取配置的所述数据冗余容错方式及其适配策略,选择相适配的数据冗余容错方式并对自身的数据冗余容错方式进行适配调整,其中,所述数据冗余容错方式至少包括:副本方式和EC方式;
将已适配调整自身数据冗余容错方式的指示发送给数据服务模块;数据服务模块根据接收的所述指示,相应地调整自身的数据冗余容错方式。
13.根据权利要求12所述的方法,其特征在于,所述配置云存储中的数据冗余容错方式及其适配策略具体包括:根据存储域、和/或应用、和/或用户、和/或数据对象配置所述数据冗余容错方式及其适配策略。
14.根据权利要求12或13所述的方法,其特征在于,该方法还包括:数据服务模块调整自身的数据冗余容错方式后,返回响应给所述元数据服务模块;元数据服务模块接收到所述响应后,更新对应的元数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210305197.0A CN103631666B (zh) | 2012-08-24 | 2012-08-24 | 数据冗余容错的适配管理设备、服务设备、系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210305197.0A CN103631666B (zh) | 2012-08-24 | 2012-08-24 | 数据冗余容错的适配管理设备、服务设备、系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103631666A CN103631666A (zh) | 2014-03-12 |
CN103631666B true CN103631666B (zh) | 2018-04-20 |
Family
ID=50212755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210305197.0A Active CN103631666B (zh) | 2012-08-24 | 2012-08-24 | 数据冗余容错的适配管理设备、服务设备、系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103631666B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103942116B (zh) * | 2014-04-24 | 2017-02-01 | 深圳市中博科创信息技术有限公司 | 一种对数据进行容错处理的方法及数据处理系统 |
CN104281533B (zh) * | 2014-09-18 | 2018-03-20 | 深圳市中博科创信息技术有限公司 | 一种存储数据的方法及装置 |
CN105095352B (zh) * | 2015-06-19 | 2019-03-05 | 曙光信息产业股份有限公司 | 应用于分布式系统的数据处理方法及装置 |
CN106791863B (zh) * | 2015-11-19 | 2019-07-16 | 浙江大华技术股份有限公司 | 一种svc视频数据的存储方法及装置 |
CN105630418A (zh) * | 2015-12-24 | 2016-06-01 | 曙光信息产业(北京)有限公司 | 一种数据存储方法及装置 |
CN106202396A (zh) * | 2016-07-08 | 2016-12-07 | 乐视控股(北京)有限公司 | 对象存储方法和对象存储系统 |
CN106681656A (zh) * | 2016-11-16 | 2017-05-17 | 南京云创大数据科技股份有限公司 | 一种动态可调的云存储系统容错方法 |
CN108319618B (zh) * | 2017-01-17 | 2022-05-06 | 阿里巴巴集团控股有限公司 | 一种分布式存储系统的数据分布控制方法、系统及装置 |
CN109150792B (zh) | 2017-06-15 | 2022-03-08 | 杭州海康威视数字技术股份有限公司 | 一种提高数据存储安全性方法及装置 |
CN112015583B (zh) | 2017-12-20 | 2022-06-28 | 华为云计算技术有限公司 | 一种数据存储的方法、装置和系统 |
CN110389715B (zh) * | 2018-04-23 | 2021-07-09 | 杭州海康威视系统技术有限公司 | 数据存储方法、存储服务器及云存储系统 |
CN111399755A (zh) * | 2019-09-10 | 2020-07-10 | 杭州海康威视系统技术有限公司 | 数据存储管理的方法和装置 |
CN114637750A (zh) * | 2022-03-24 | 2022-06-17 | 阿里巴巴(中国)有限公司 | 数据存储方法以及分布式系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201726424U (zh) * | 2009-08-18 | 2011-01-26 | 升东网络科技发展(上海)有限公司 | 分布式存储系统 |
CN102622184A (zh) * | 2011-01-27 | 2012-08-01 | 北京东方广视科技股份有限公司 | 数据存储系统和方法 |
CN102088491B (zh) * | 2011-02-01 | 2013-06-26 | 西安建筑科技大学 | 一种面向分散式的云存储安全架构及其数据存取方法 |
CN102270161B (zh) * | 2011-06-09 | 2013-03-20 | 华中科技大学 | 一种基于纠删码的多等级容错数据存储、读取和恢复方法 |
-
2012
- 2012-08-24 CN CN201210305197.0A patent/CN103631666B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN103631666A (zh) | 2014-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103631666B (zh) | 数据冗余容错的适配管理设备、服务设备、系统及方法 | |
US20220222157A1 (en) | Policy-based hierarchical data protection in distributed storage | |
US12210476B2 (en) | Disaggregated compute resources and storage resources in a storage system | |
US10048996B1 (en) | Predicting infrastructure failures in a data center for hosted service mitigation actions | |
US20210334030A1 (en) | Storage device parameter monitoring for load balancing | |
US20190163371A1 (en) | Next generation storage controller in hybrid environments | |
JP4722944B2 (ja) | データベースの分散ロードのためのシステム、方法およびソフトウェア | |
WO2020253111A1 (zh) | 区块链节点的自动扩容方法、装置、运维终端及存储介质 | |
EP3537687B1 (en) | Access method for distributed storage system, related device and related system | |
CN103929500A (zh) | 一种分布式存储系统的数据分片方法 | |
CN105025053A (zh) | 基于云存储技术的分布式文件的上传方法及其系统 | |
WO2011088767A1 (zh) | 内容分发的方法、系统及调度服务器 | |
US11442827B2 (en) | Policy-based hierarchical data protection in distributed storage | |
WO2007028679A1 (en) | Operational risk control apparatus and method for data processing | |
CN107422989B (zh) | 一种Server SAN系统多副本读取方法及存储系统 | |
CN116414661B (zh) | 分布式存储的固态硬盘处理方法和装置 | |
CN115858419B (zh) | 元数据管理方法、装置、设备、服务器及可读存储介质 | |
CN109117292B (zh) | 一种集群存储的方法和装置及集群存储系统 | |
US11593019B2 (en) | Method and system for information storage | |
CN111736754A (zh) | 数据迁移方法和装置 | |
US20170147219A1 (en) | Utilization of solid-state memory devices in a dispersed storage network | |
CN109510730A (zh) | 分布式系统及其监控方法、装置、电子设备及存储介质 | |
CN103685359B (zh) | 数据处理方法及装置 | |
CN117632034A (zh) | 一种分布式数据存储系统及数据存储方法 | |
AT&T |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |