CN109542911B - 一种元数据组织方法、系统、设备及计算机可读存储介质 - Google Patents
一种元数据组织方法、系统、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109542911B CN109542911B CN201811463459.XA CN201811463459A CN109542911B CN 109542911 B CN109542911 B CN 109542911B CN 201811463459 A CN201811463459 A CN 201811463459A CN 109542911 B CN109542911 B CN 109542911B
- Authority
- CN
- China
- Prior art keywords
- metadata
- target
- group
- flash storage
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000008520 organization Effects 0.000 claims abstract description 67
- 238000013075 data extraction Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 description 28
- 238000012545 processing Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种元数据组织方法、系统、设备及计算机可读存储介质,应用于全闪存储中,该方法包括:获取目标元数据组;采用B+树结构组织目标元数据组,得到B+树元数据;将B+树元数据存储在全闪存储的内存中;将目标元数据组直接存储在全闪存储的磁盘中。本申请公开的一种元数据组织方法,全闪存储将B+树元数据存储在全闪存储的内存中,而将目标元数据组直接存储在全闪存储的磁盘中,这样在重新组织元数据时,只需重新组织内存中的B+树结构,与现有技术相比,不需要重新组织磁盘中的B+树结构,可以提高元数据的组织效率。本申请公开的一种元数据组织系统、设备及计算机可读存储介质也解决了相应技术问题。
Description
技术领域
本申请涉及全闪存储技术领域,更具体地说,涉及一种元数据组织方法、系统、设备及计算机可读存储介质。
背景技术
信息时代的发展,对存储设备高负载、低时延的要求越来越高,全闪存储应运而生,以便支持日益胖胀的海量数据业务。全闪存储的容量越大,其需要对应的元数据也越多,而全闪存储的内存容量不可能无限大,为此便需要合理的组织元数据。
现有的一种元数据组织方法是:采用B+树形式保存云数据,并将B+树存储在全闪存储的内存和磁盘中。
然而,现有的一种元数据组织方法中,当需要在磁盘中重新组织元数据时,需要对整个B+树进行组织,效率低下。
综上所述,如何提高元数据组织方法的组织效率是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种元数据组织方法,其能在一定程度上解决如何提高元数据组织方法的组织效率的技术问题。本申请还提供了一种元数据组织系统、设备及计算机可读存储介质。
为了实现上述目的,本申请提供如下技术方案:
一种元数据组织方法,应用于全闪存储中,包括:
获取目标元数据组;
采用B+树结构组织所述目标元数据组,得到B+树元数据;
将所述B+树元数据存储在所述全闪存储的内存中;
将所述目标元数据组直接存储在所述全闪存储的磁盘中。
优选的,所述将所述目标元数据组直接存储在所述全闪存储的磁盘中之后,还包括:
按照预设元数据长度对所述目标元数据组进行数据抽取,得到相应的二级元数据;
存储所述二级元数据至所述全闪存储的内存中。
优选的,所述按照预设元数据长度对所述目标元数据组进行数据抽取,得到相应的二级元数据之后,还包括:
判断是否接收到写请求;
若是,则先基于所述写请求对所述二级元数据进行处理,再基于所述写请求对所述全闪存储的磁盘中的所述目标元数据组进行处理。
优选的,所述按照预设元数据长度对所述目标元数据组进行数据抽取,得到相应的二级元数据之后,还包括:
判断是否接收到读请求;
若是,则直接基于所述读请求对所述二级元数据进行处理。
优选的,所述按照预设元数据长度对所述目标元数据组进行数据抽取,得到相应的二级元数据之后,还包括:
判断所述目标元数据组的数据结构是否发生变化;
若是,则基于所述目标元数据组的数据结构,对所述全闪存储的磁盘中的所述目标元数据组进行迁移,并更新所述二级元数据。
优选的,所述存储所述二级元数据至所述全闪存储的内存中之后,还包括:
建立并保存所述二级元数据与所述全闪存储的内存间的存储映射关系。
优选的,所述将所述目标元数据组直接存储在所述全闪存储的磁盘中之后,还包括:
判断所述全闪存储的磁盘中的所述目标元数据组是否完整;
若否,则对所述B+树元数据进行展开,得到所述目标元数据组,并基于所述目标元数据组更新所述全闪存储的磁盘。
一种元数据组织系统,应用于全闪存储中,包括:
第一获取模块,用于获取目标元数据组;
第一组织模块,用于采用B+树结构组织所述目标元数据组,得到B+树元数据;
第一存储模块,用于将所述B+树元数据存储在所述全闪存储的内存中;
第二存储模块,用于将所述目标元数据组直接存储在所述全闪存储的磁盘中。
一种元数据组织设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上任一所述的元数据组织方法。
一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述的元数据组织方法。
本申请提供的一种元数据组织方法,应用于全闪存储中,获取目标元数据组;采用B+树结构组织目标元数据组,得到B+树元数据;将B+树元数据存储在全闪存储的内存中;将目标元数据组直接存储在全闪存储的磁盘中。本申请提供的一种元数据组织方法,全闪存储将B+树元数据存储在全闪存储的内存中,而将目标元数据组直接存储在全闪存储的磁盘中,这样在重新组织元数据时,只需重新组织内存中的B+树结构,与现有技术相比,不需要重新组织磁盘中的B+树结构,可以提高元数据的组织效率。本申请提供的一种元数据组织系统、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种元数据组织方法的第一流程图;
图2为本申请实施例提供的一种元数据组织方法的第二流程图;
图3为本申请实施例提供的一种元数据组织系统的结构示意图;
图4为本申请实施例提供的一种元数据组织设备的结构示意图;
图5为本申请实施例提供的一种元数据组织设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
信息时代的发展,对存储设备高负载、低时延的要求越来越高,全闪存储应运而生,以便支持日益胖胀的海量数据业务。全闪存储的容量越大,其需要对应的元数据也越多,而全闪存储的内存容量不可能无限大,为此便需要合理的组织元数据。现有的一种元数据组织方法是:采用B+树形式保存云数据,并将B+树存储在全闪存储的内存和磁盘中。然而,现有的一种元数据组织方法中,当需要在磁盘中重新组织元数据时,需要对整个B+树进行组织,效率低下。本申请提供的一种元数据组织方法可以提高元数据的组织效率。
请参阅图1,图1为本申请实施例提供的一种元数据组织方法的第一流程图。
本申请实施例提供的一种元数据组织方法,应用于全闪存储中,可以包括以下步骤:
步骤S101:获取目标元数据组。
实际应用中,全闪存储可以先获取目标元数据组,目标元数据组的具体内容及类型可以根据具体需要确定,目标元数据组中包含的元数据的数量也可以根据实际需要确定。获取的目标元数据组可以是通过全闪存储的传输端口获取的目标元数据组,也可以是在外界的指定下,将全闪存储中预先存有的元数据组选择为目标元数据组而得到的目标元数据组等。
步骤S102:采用B+树结构组织目标元数据组,得到B+树元数据。
实际应用中,在获取目标元数据组后,便可以采用B+树结构组织目标元数据组,得到B+树元数据。这里所涉及的B+树是一种树数据结构,是一个n叉排序树,每个节点通常有多个孩子,一棵B+树包含根节点、内部节点和叶子节点,根节点可能是一个叶子节点,也可能是一个包含两个或两个以上孩子节点的节点。采用B+树结构组织目标元数据组,得到B+树元数据的过程可以参阅现有技术,本申请在此不再赘述,也不做具体限定。
步骤S103:将B+树元数据存储在全闪存储的内存中。
实际应用中,在得到B+树元数据后,便可以将B+树元数据存储在全闪存储的内存中,由于内存的容量不可能无限大,所以将B+树元数据存储在全闪存储的内存中,可以节省全闪存储的内存的容量,使得全闪存储的内容中能够容纳更多的元数据。
步骤S104:将目标元数据组直接存储在全闪存储的磁盘中。
实际应用中,在获取目标元数据组后,便可以直接将目标元数据组直接存储在全闪存储的磁盘中。由于全闪存储的磁盘的可扩展性,直接将目标元数据组存储在全闪存储的磁盘中,虽然会占用更多的磁盘空间,但便于直接对目标元数据组进行处理,比如对目标元数据组的读写操作等。
具体应用场景中,为了便于对目标元数据组的处理,在将目标元数据组直接存储在全闪存储的磁盘中之后,还可以按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据;存储二级元数据至全闪存储的内存中。预设元数据长度可以为8M等。由于对目标元数据组进行数据抽取,得到二级元数据,所以可以对二级元数据进行处理而实现对单一元数据的处理,比如将二级元数据进行迁移实现对单一元数据的迁移等。具体的,当需要对目标元数据组进行写操作时,为了提高效率,在按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据之后,还可以判断是否接收到写请求;若是,则先基于写请求对二级元数据进行处理,再基于写请求对全闪存储的磁盘中的目标元数据组进行处理。具体的,当需要对目标元数据组进行读操作时,为了提高效率,在按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据之后,还可以判断是否接收到读请求;若是,则直接基于读请求对二级元数据进行处理。
具体应用场景中,可能存在目标元数据组的数据结构发生变化的情况,为了同步目标元数据组的数据结构,在按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据之后,还可以判断目标元数据组的数据结构是否发生变化;若是,则基于目标元数据组的数据结构,对全闪存储的磁盘中的目标元数据组进行迁移,并更新二级元数据。也即在目标元数据组的数据结构发生变化,并且全闪存储的内存中存有二级元数据时,需基于目标元数据组的数据结构对全闪存储的磁盘中的目标元数据组进行迁移操作,以同步全闪存储的磁盘中的目标元数据组的数据结构,并且更新全闪存储的内存中的二级元数据,以使全闪存储的内存中的二级元数据与全闪存储的磁盘中的目标元数据组同步。
具体应用场景中,为了便于快速对全闪存储的内存中的二级元数据进行处理,在存储二级元数据至全闪存储的内存中之后,还可以建立并保存二级元数据与全闪存储的内存间的存储映射关系。这样,后续可以直接根据存储映射关系确定出二级元数据在全闪存储的内存中的存储位置,提高对二级元数据的处理效率。
具体应用场景中,在将目标元数据组直接存储在全闪存储的磁盘中之后,还可以判断全闪存储的磁盘中的目标元数据组是否完整;若否,则对B+树元数据进行展开,得到目标元数据组,并基于目标元数据组更新全闪存储的磁盘。也即全闪存储的磁盘中的目标元数据组可能发生丢失,为了避免此种情况,需要判断全闪存储的磁盘中的目标元数据是否完整,具体的,可以时时判断全闪存储的磁盘中的目标元数据是否完整,也可以按照预设时间间隔判断全闪存储的磁盘中的目标元数据是否完整等。
本申请提供的一种元数据组织方法,应用于全闪存储中,获取目标元数据组;采用B+树结构组织目标元数据组,得到B+树元数据;将B+树元数据存储在全闪存储的内存中;将目标元数据组直接存储在全闪存储的磁盘中。本申请提供的一种元数据组织方法,全闪存储将B+树元数据存储在全闪存储的内存中,而将目标元数据组直接存储在全闪存储的磁盘中,这样在重新组织元数据时,只需重新组织内存中的B+树结构,与现有技术相比,不需要重新组织磁盘中的B+树结构,可以提高元数据的组织效率。
请参阅图2,图2为本申请实施例提供的一种元数据组织方法的第二流程图。
实际应用中,本申请实施例提供的一种元数据组织方法可以包括以下步骤:
步骤S201:获取目标元数据组。
步骤S202:采用B+树结构组织目标元数据组,得到B+树元数据。
步骤S203:将B+树元数据存储在全闪存储的内存中。
步骤S204:将目标元数据组直接存储在全闪存储的磁盘中。
步骤S205:按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据。
步骤S206:存储二级元数据至全闪存储的内存中。
步骤S207:建立并保存二级元数据与全闪存储的内存间的存储映射关系。
步骤S208:判断目标元数据组的数据结构是否发生变化,若是,则执行步骤S209,若否,则直接执行步骤S210。
步骤S209:基于目标元数据组的数据结构,对全闪存储的磁盘中的目标元数据组进行迁移,并更新二级元数据。
步骤S210:判断全闪存储的磁盘中的目标元数据组是否完整;若否,则执行步骤S211,若是,则直接执行步骤S212。
步骤S211:对B+树元数据进行展开,得到目标元数据组,并基于目标元数据组更新全闪存储的磁盘。
步骤S212:判断是否接收到写请求;若是,则执行步骤S213,若否,则直接执行步骤S214。
步骤S213:先基于写请求对二级元数据进行处理,再基于写请求对全闪存储的磁盘中的目标元数据组进行处理。
步骤S214:判断是否接收到读请求;若是,则执行步骤S215。
步骤S215:直接基于读请求对二级元数据进行处理。
本申请还提供了一种元数据组织系统,其具有本申请实施例提供的一种元数据组织方法具有的对应效果。请参阅图3,图3为本申请实施例提供的一种元数据组织系统的结构示意图。
本申请实施例提供的一种元数据组织系统,应用于全闪存储中,可以包括:
第一获取模块101,用于获取目标元数据组;
第一组织模块102,用于采用B+树结构组织目标元数据组,得到B+树元数据;
第一存储模块103,用于将B+树元数据存储在全闪存储的内存中;
第二存储模块104,用于将目标元数据组直接存储在全闪存储的磁盘中。
本申请实施例提供的一种元数据组织系统,应用于全闪存储中,还可以包括:
第一抽取模块,用于第二存储模块将目标元数据组直接存储在全闪存储的磁盘中之后,按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据;
第三存储模块,用于存储二级元数据至全闪存储的内存中。
本申请实施例提供的一种元数据组织系统,应用于全闪存储中,还可以包括:
第一判断模块,用于第一抽取模块按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据之后,判断是否接收到写请求;若是,则先基于写请求对二级元数据进行处理,再基于写请求对全闪存储的磁盘中的目标元数据组进行处理。
本申请实施例提供的一种元数据组织系统,应用于全闪存储中,还可以包括:
第二判断模块,用于第一抽取模块按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据之后,判断是否接收到读请求;若是,则直接基于读请求对二级元数据进行处理。
本申请实施例提供的一种元数据组织系统,应用于全闪存储中,还可以包括:
第三判断模块,用于第一抽取模块按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据之后,判断目标元数据组的数据结构是否发生变化;若是,则基于目标元数据组的数据结构,对全闪存储的磁盘中的目标元数据组进行迁移,并更新二级元数据。
本申请实施例提供的一种元数据组织系统,应用于全闪存储中,还可以包括:
第一建立模块,用于第三存储模块存储二级元数据至全闪存储的内存中之后,建立并保存二级元数据与全闪存储的内存间的存储映射关系。
本申请实施例提供的一种元数据组织系统,应用于全闪存储中,还可以包括:
第四判断模块,用于第二存储模块将目标元数据组直接存储在全闪存储的磁盘中之后,判断全闪存储的磁盘中的目标元数据组是否完整;若否,则对B+树元数据进行展开,得到目标元数据组,并基于目标元数据组更新全闪存储的磁盘。
本申请还提供了一种元数据组织设备及计算机可读存储介质,其均具有本申请实施例提供的一种元数据组织方法具有的对应效果。请参阅图4,图4为本申请实施例提供的一种元数据组织设备的结构示意图。
本申请实施例提供的一种元数据组织设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行存储器201中存储的计算机程序时实现如下步骤:
获取目标元数据组;
采用B+树结构组织目标元数据组,得到B+树元数据;
将B+树元数据存储在全闪存储的内存中;
将目标元数据组直接存储在全闪存储的磁盘中。
本申请实施例提供的一种元数据组织设备,包括存储器201和处理器202,存储器201中存储有计算机子程序,处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤:将目标元数据组直接存储在全闪存储的磁盘中之后,按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据;存储二级元数据至全闪存储的内存中。
本申请实施例提供的一种元数据组织设备,包括存储器201和处理器202,存储器201中存储有计算机子程序,处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤:按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据之后,判断是否接收到写请求;若是,则先基于写请求对二级元数据进行处理,再基于写请求对全闪存储的磁盘中的目标元数据组进行处理。
本申请实施例提供的一种元数据组织设备,包括存储器201和处理器202,存储器201中存储有计算机子程序,处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤:按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据之后,判断是否接收到读请求;若是,则直接基于读请求对二级元数据进行处理。
本申请实施例提供的一种元数据组织设备,包括存储器201和处理器202,存储器201中存储有计算机子程序,处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤:按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据之后,判断目标元数据组的数据结构是否发生变化;若是,则基于目标元数据组的数据结构,对全闪存储的磁盘中的目标元数据组进行迁移,并更新二级元数据。
本申请实施例提供的一种元数据组织设备,包括存储器201和处理器202,存储器201中存储有计算机子程序,处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤:存储二级元数据至全闪存储的内存中之后,建立并保存二级元数据与全闪存储的内存间的存储映射关系。
本申请实施例提供的一种元数据组织设备,包括存储器201和处理器202,存储器201中存储有计算机子程序,处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤:将目标元数据组直接存储在全闪存储的磁盘中之后,判断全闪存储的磁盘中的目标元数据组是否完整;若否,则对B+树元数据进行展开,得到目标元数据组,并基于目标元数据组更新全闪存储的磁盘。
请参阅图5,本申请实施例提供的另一种元数据组织设备中还可以包括:与处理器202连接的输入端口203,用于传输外界输入的命令至处理器202;与处理器202连接的显示单元204,用于显示处理器202的处理结果至外界;与处理器202连接的通信模块205,用于实现元数据组织设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等;通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接:无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:
获取目标元数据组;
采用B+树结构组织目标元数据组,得到B+树元数据;
将B+树元数据存储在全闪存储的内存中;
将目标元数据组直接存储在全闪存储的磁盘中。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机子程序,计算机子程序被处理器执行时具体实现如下步骤:将目标元数据组直接存储在全闪存储的磁盘中之后,按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据;存储二级元数据至全闪存储的内存中。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机子程序,计算机子程序被处理器执行时具体实现如下步骤:按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据之后,判断是否接收到写请求;若是,则先基于写请求对二级元数据进行处理,再基于写请求对全闪存储的磁盘中的目标元数据组进行处理。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机子程序,计算机子程序被处理器执行时具体实现如下步骤:按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据之后,判断是否接收到读请求;若是,则直接基于读请求对二级元数据进行处理。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机子程序,计算机子程序被处理器执行时具体实现如下步骤:按照预设元数据长度对目标元数据组进行数据抽取,得到相应的二级元数据之后,判断目标元数据组的数据结构是否发生变化;若是,则基于目标元数据组的数据结构,对全闪存储的磁盘中的目标元数据组进行迁移,并更新二级元数据。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机子程序,计算机子程序被处理器执行时具体实现如下步骤:存储二级元数据至全闪存储的内存中之后,建立并保存二级元数据与全闪存储的内存间的存储映射关系。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机子程序,计算机子程序被处理器执行时具体实现如下步骤:将目标元数据组直接存储在全闪存储的磁盘中之后,判断全闪存储的磁盘中的目标元数据组是否完整;若否,则对B+树元数据进行展开,得到目标元数据组,并基于目标元数据组更新全闪存储的磁盘。
本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的一种元数据组织系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的一种元数据组织方法中对应部分的详细说明,在此不再赘述。另外,本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种元数据组织方法,其特征在于,应用于全闪存储中,包括:
获取目标元数据组;
采用B+树结构组织所述目标元数据组,得到B+树元数据;
将所述B+树元数据存储在所述全闪存储的内存中;
将所述目标元数据组直接存储在所述全闪存储的磁盘中;
其中,所述将所述目标元数据组直接存储在所述全闪存储的磁盘中之后,还包括:
按照预设元数据长度对所述目标元数据组进行数据抽取,得到相应的二级元数据;
存储所述二级元数据至所述全闪存储的内存中;
其中,所述按照预设元数据长度对所述目标元数据组进行数据抽取,得到相应的二级元数据之后,还包括:
判断所述目标元数据组的数据结构是否发生变化;
若是,则基于所述目标元数据组的数据结构,对所述全闪存储的磁盘中的所述目标元数据组进行迁移,并更新所述二级元数据;
其中,所述存储所述二级元数据至所述全闪存储的内存中之后,还包括:
建立并保存所述二级元数据与所述全闪存储的内存间的存储映射关系。
2.根据权利要求1所述的方法,其特征在于,所述按照预设元数据长度对所述目标元数据组进行数据抽取,得到相应的二级元数据之后,还包括:
判断是否接收到写请求;
若是,则先基于所述写请求对所述二级元数据进行处理,再基于所述写请求对所述全闪存储的磁盘中的所述目标元数据组进行处理。
3.根据权利要求1所述的方法,其特征在于,所述按照预设元数据长度对所述目标元数据组进行数据抽取,得到相应的二级元数据之后,还包括:
判断是否接收到读请求;
若是,则直接基于所述读请求对所述二级元数据进行处理。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述将所述目标元数据组直接存储在所述全闪存储的磁盘中之后,还包括:
判断所述全闪存储的磁盘中的所述目标元数据组是否完整;
若否,则对所述B+树元数据进行展开,得到所述目标元数据组,并基于所述目标元数据组更新所述全闪存储的磁盘。
5.一种元数据组织系统,其特征在于,应用于全闪存储中,包括:
第一获取模块,用于获取目标元数据组;
第一组织模块,用于采用B+树结构组织所述目标元数据组,得到B+树元数据;
第一存储模块,用于将所述B+树元数据存储在所述全闪存储的内存中;
第二存储模块,用于将所述目标元数据组直接存储在所述全闪存储的磁盘中;
其中,还包括:
第一抽取模块,用于所述第二存储模块将所述目标元数据组直接存储在所述全闪存储的磁盘中之后,按照预设元数据长度对所述目标元数据组进行数据抽取,得到相应的二级元数据;
第三存储模块,用于存储所述二级元数据至所述全闪存储的内存中;
其中,还包括:
第三判断模块,用于所述第一抽取模块按照预设元数据长度对所述目标元数据组进行数据抽取,得到相应的二级元数据之后,判断所述目标元数据组的数据结构是否发生变化;若是,则基于所述目标元数据组的数据结构,对所述全闪存储的磁盘中的所述目标元数据组进行迁移,并更新所述二级元数据;
其中,还包括:
第一建立模块,用于所述第三存储模块存储所述二级元数据至所述全闪存储的内存中之后,建立并保存所述二级元数据与所述全闪存储的内存间的存储映射关系。
6.一种元数据组织设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至4任一项所述的元数据组织方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的元数据组织方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811463459.XA CN109542911B (zh) | 2018-12-03 | 2018-12-03 | 一种元数据组织方法、系统、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811463459.XA CN109542911B (zh) | 2018-12-03 | 2018-12-03 | 一种元数据组织方法、系统、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109542911A CN109542911A (zh) | 2019-03-29 |
CN109542911B true CN109542911B (zh) | 2021-10-29 |
Family
ID=65852620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811463459.XA Active CN109542911B (zh) | 2018-12-03 | 2018-12-03 | 一种元数据组织方法、系统、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109542911B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110134340B (zh) * | 2019-05-23 | 2020-03-06 | 苏州浪潮智能科技有限公司 | 一种元数据更新的方法、装置、设备以及存储介质 |
CN110502457B (zh) * | 2019-08-23 | 2022-02-18 | 北京浪潮数据技术有限公司 | 一种元数据存储方法及装置 |
CN110532201B (zh) * | 2019-08-23 | 2021-08-31 | 北京浪潮数据技术有限公司 | 一种元数据处理方法及装置 |
CN111881064A (zh) * | 2020-07-24 | 2020-11-03 | 北京浪潮数据技术有限公司 | 一种全闪存储系统中访问请求的处理方法、装置及设备 |
CN113836051B (zh) * | 2021-11-29 | 2022-03-22 | 苏州浪潮智能科技有限公司 | 一种元数据空间回收方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103294786A (zh) * | 2013-05-17 | 2013-09-11 | 华中科技大学 | 一种分布式文件系统的元数据组织管理方法和系统 |
CN103309820A (zh) * | 2013-06-28 | 2013-09-18 | 曙光信息产业(北京)有限公司 | 磁盘阵列缓存的实现方法 |
CN105159616A (zh) * | 2015-09-11 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 一种磁盘空间管理方法及装置 |
CN106202492A (zh) * | 2016-07-19 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种网络文件系统的元数据服务优化方法及系统 |
CN106708825A (zh) * | 2015-07-29 | 2017-05-24 | 腾讯科技(深圳)有限公司 | 一种数据文件处理方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108228649B (zh) * | 2016-12-21 | 2021-08-24 | 伊姆西Ip控股有限责任公司 | 用于数据访问的方法和设备 |
-
2018
- 2018-12-03 CN CN201811463459.XA patent/CN109542911B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103294786A (zh) * | 2013-05-17 | 2013-09-11 | 华中科技大学 | 一种分布式文件系统的元数据组织管理方法和系统 |
CN103309820A (zh) * | 2013-06-28 | 2013-09-18 | 曙光信息产业(北京)有限公司 | 磁盘阵列缓存的实现方法 |
CN106708825A (zh) * | 2015-07-29 | 2017-05-24 | 腾讯科技(深圳)有限公司 | 一种数据文件处理方法及系统 |
CN105159616A (zh) * | 2015-09-11 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 一种磁盘空间管理方法及装置 |
CN106202492A (zh) * | 2016-07-19 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种网络文件系统的元数据服务优化方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109542911A (zh) | 2019-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109542911B (zh) | 一种元数据组织方法、系统、设备及计算机可读存储介质 | |
US9134908B2 (en) | Logical volume space sharing | |
JP6542909B2 (ja) | ファイル操作方法及び装置 | |
CN105095489A (zh) | 一种分布式文件删除方法、装置和系统 | |
CN105159968A (zh) | 一种文件系统的目录管理方法及客户端 | |
CN105900093A (zh) | 一种KeyValue数据库的数据表的更新方法与表数据更新装置 | |
CN113806300B (zh) | 数据存储方法、系统、装置、设备及存储介质 | |
CN105912411A (zh) | 用于使得能够对修改数据进行智能合并的方法、装置和计算机程序产品 | |
CN104484460A (zh) | 一种分布式文件系统元数据热度统计方法 | |
CN113297432B (zh) | 用于分区拆分与合并的方法、处理器可读介质和系统 | |
CN108205559B (zh) | 一种数据管理方法及其设备 | |
CN114297196A (zh) | 元数据存储方法、装置、电子设备及存储介质 | |
CN109542357B (zh) | 一种命令参数组装方法、系统、设备及计算机存储介质 | |
WO2014014876A1 (en) | Multi-dimensional file system | |
CN107480242A (zh) | 一种创建文件系统快照树的方法及系统 | |
CN117724663A (zh) | 一种数据存储方法、系统、设备及计算机可读存储介质 | |
CN114816247B (zh) | 一种逻辑数据获取方法及装置 | |
CN105224607A (zh) | 一种模拟云存储设备的虚拟文件系统设计方法 | |
CN107665210A (zh) | 数据处理方法及装置 | |
CN105653123A (zh) | 一种图标分组方法及终端设备 | |
CN111104403B (zh) | 一种lsm树数据处理方法、系统、设备及计算机介质 | |
CN116126248A (zh) | 重命名处理方法、服务端、客户端及计算机可读存储介质 | |
US20140074785A1 (en) | Open file rebalance | |
CN110378037B (zh) | 基于Ceph的CFD仿真数据存储方法、装置及服务器 | |
CN111857583B (zh) | 一种分布式存储卷更新方法、系统、设备及计算机介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |