CN110018998B - 一种文件管理方法、系统及电子设备和存储介质 - Google Patents
一种文件管理方法、系统及电子设备和存储介质 Download PDFInfo
- Publication number
- CN110018998B CN110018998B CN201910295315.6A CN201910295315A CN110018998B CN 110018998 B CN110018998 B CN 110018998B CN 201910295315 A CN201910295315 A CN 201910295315A CN 110018998 B CN110018998 B CN 110018998B
- Authority
- CN
- China
- Prior art keywords
- address
- file
- access
- mapping relation
- file system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 51
- 238000013507 mapping Methods 0.000 claims abstract description 92
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013523 data management Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 101100226364 Arabidopsis thaliana EXT1 gene Proteins 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种文件管理方法、系统及一种电子设备和计算机可读存储介质,该方法包括:当接收到目标文件的访问请求时,获取所述访问请求中的访问地址和所述目标文件的索引值;其中,所述目标文件为所述普通文件;根据所述索引值搜索索引节点表得到所述目标文件对应的索引节点,并在所述索引节点中确定所述访问地址对应的索引字段;根据所述索引字段确定所述访问地址对应的地址映射关系项,并在所述地址映射关系项中确定所述访问地址对应的数据块的物理地址,以便根据所述物理地址响应所述访问请求,提高了文件系统管理分片文件的性能。
Description
技术领域
本申请涉及存储技术领域,更具体地说,涉及一种文件管理方法、系统及一种电子设备和一种计算机可读存储介质。
背景技术
对于分片数据的存储,现有技术为直接采用通用文件系统,例如EXT4(中文全称:第四代扩展文件系统,英文全称:Fourth extended filesystem)。一个分片相当于存储于通用文件系统中的一个普通文件。
通用文件系统功能强大,不仅包括文件读写功能,还包括了目录、链接等其他功能。然而,存储分片数据仅仅用到了其中的文件读写功能,通用文件系统的功能利用率低,性能较差。
因此,如何提高文件系统管理分片文件的性能是本领域技术人员需要解决的技术问题。
发明内容
本申请的目的在于提供一种文件管理方法、系统及一种电子设备和一种计算机可读存储介质,提高了文件系统管理分片文件的性能。
为实现上述目的,本申请提供了一种文件管理方法,应用于文件系统,所述文件系统为管理通用文件系统中普通文件的文件系统,所述方法包括:
当接收到目标文件的访问请求时,获取所述访问请求中的访问地址和所述目标文件的索引值;其中,所述目标文件为所述普通文件;
根据所述索引值搜索索引节点表得到所述目标文件对应的索引节点,并在所述索引节点中确定所述访问地址对应的索引字段;
根据所述索引字段确定所述访问地址对应的地址映射关系项,并在所述地址映射关系项中确定所述访问地址对应的数据块的物理地址,以便根据所述物理地址响应所述访问请求。
其中,所述根据所述索引字段确定所述访问地址对应的地址映射关系项,包括:
在内存中的红黑树结构中搜索所述索引字段得到所述访问地址对应的地址映射关系项。
其中,若所述红黑树结构中不存在所述访问地址对应的地址映射关系项,则在所述地址映射关系项中确定所述数据块的物理地址之前,还包括:
在所述索引节点对应的地址映射表中搜索所述索引字段得到所述访问地址对应的地址映射关系项,并将所述地址映射关系项加载至所述红黑树结构中。
其中,将所述地址映射关系项加载至所述红黑树结构中之后,还包括:
将所述地址映射关系项加载至全局的LRU表中。
其中,所述文件系统中元数据区域的管理粒度至少为4KB,数据区域的管理粒度至少为1MB。
其中,在所述地址映射关系项中确定所述访问地址对应的数据块的物理地址之前,还包括:
根据所述址映射关系项中的目标字段判断所述访问地址对应的数据块是否存在写入数据;
若是,则执行在所述地址映射关系项中确定所述访问地址对应的数据块的物理地址的步骤。
其中,若所述访问请求为读请求,则还包括:
当所述访问地址对应的数据块不存在写入数据时,直接返回所述数据块为空。
其中,若所述访问请求为写请求,则还包括:
为所述写请求中的待写入数据分配物理地址,并将所述物理地址写入所述地址映射关系项中;
将所述待写入数据写入所述物理地址对应的数据块中。
为实现上述目的,本申请提供了一种文件管理系统,
应用于文件系统,所述文件系统为管理通用文件系统中普通文件的文件系统,所述系统包括:
获取模块,用于当接收到目标文件的访问请求时,获取所述访问请求中的访问地址和所述目标文件的索引值;其中,所述目标文件为所述普通文件;
确定模块,用于根据所述索引值搜索索引节点表得到所述目标文件对应的索引节点,并在所述索引节点中确定所述访问地址对应的索引字段;
响应模块,用于根据所述索引字段确定所述访问地址对应的地址映射关系项,并在所述地址映射关系项中确定所述访问地址对应的数据块的物理地址,以便根据所述物理地址响应所述访问请求。
为实现上述目的,本申请提供了一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述文件管理方法的步骤。
为实现上述目的,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述文件管理方法的步骤。
通过以上方案可知,本申请提供的一种文件管理方法,包括:当接收到目标文件的访问请求时,获取所述访问请求中的访问地址和所述目标文件的索引值;其中,所述目标文件为所述普通文件;根据所述索引值搜索索引节点表得到所述目标文件对应的索引节点,并在所述索引节点中确定所述访问地址对应的索引字段;根据所述索引字段确定所述访问地址对应的地址映射关系项,并在所述地址映射关系项中确定所述访问地址对应的数据块的物理地址,以便根据所述物理地址响应所述访问请求。
本申请提供的文件管理方法应用于文件系统,该文件系统用于管理通用文件系统中的普通文件,即元数据仅包括普通文件的元数据,通过索引节点和地址映射关系项实现通用文件系统中文件的数据管理功能,一个文件分片即为存储于文件系统上的一个普通文件,剔除了通用文件系统中目录、软硬链接、特殊文件等功能,整个文件系统的设计精简,功能利用率高,进而提高了文件系统管理分片文件的性能。本申请还公开了一种文件管理系统及一种电子设备和一种计算机可读存储介质,同样能实现上述技术效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1为本申请实施例提供的一种文件管理方法的流程图;
图2为本申请实施例提供的一种元数据的结构示意图;
图3为本申请实施例提供的一种物理空间的划分示意图;
图4为本申请实施例提供的另一种文件管理方法的流程图;
图5为本申请实施例提供的又一种文件管理方法的流程图;
图6为本申请实施例提供的一种文件管理系统的结构图;
图7为本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例公开了一种文件管理方法,应用于文件系统,所述文件系统为管理通用文件系统中普通文件的文件系统,提高了文件系统管理分片文件的性能。
参见图1,根据一示例性实施例示出的一种文件管理方法的流程图,如图1所示,包括:
S101:当接收到目标文件的访问请求时,获取所述访问请求中的访问地址和所述目标文件的索引值;其中,所述目标文件为所述普通文件;
本实施例的执行主体为文件系统,该文件系统运行于用户空间,可用于分片文件的管理,相比于现有技术中通用文件系统运行于内核层的方案,该文件系统的维护以及性能调优更加方便。本实施例的文件系统向上可以通过C语言API的方式对外提供所有功能接口,例如Glusterfs(英文全称:Gluster File System,一种自由软件,主要应用在集群系统中,具有很好的可扩展性)服务端的宿主程序可以通过这些功能接口实现分片文件的创建、删除、读写等逻辑,向下可以通过Linux的块设备文件直接访问逻辑块设备或磁盘,各分片文件存储于逻辑块设备或磁盘的数据块中。一个分片文件即相当于该文件系统中的普通文件,普通文件为Linux系统中的一种文件类型,指普通意义上的文件,如数据文件、可执行文件等。因此本实施例的文件系统与通用文件系统不同的是,该文件系统只实现文件的创建、删除、读写等逻辑,不实现目录、软硬链接、特殊文件等其它功能。
该文件系统在格式化时,在块设备的头部划分固定长度的区域用于存储分片文件的元数据,元数据仅包括通用文件系统中普通文件的元数据,至少包括用于存储文件系统中所有文件的基本信息的索引节点表和用于存储地址映射关系的地址映射表。
具体的,索引节点表(例如Inode表),其中包括多个索引节点(例如inode),每个索引节点中存储了一个文件的基本信息,如文件大小、修改时间等,地址映射表作为Inode表的补充,存储文件的访问地址与存储该文件的数据块的物理地址的地址映射关系,如图2所示,每个inode记录了一个文件的元数据,可以包括i_chechsum字段(校验字段)、i_mode字段(文件类型和访问权限)、i_flags字段(文件标志)、i_uid字段(文件所有者ID)、i_gid字段(用户组ID)和多个i_extent字段等。由图1可见,数据块(data block)中不存在校验位,因此,本实施例中所有元数据具有自校验能力,但对存储的文件数据不做校验,可以兼顾文件系统的可靠性和性能。
每个inode中i_extent字段指向了一个特殊的1MB的数据块(即图中的extentblock),存储了该文件的地址映射关系。该数据块中包括多个地址映射关系项(即图中的extent item),每个地址映射关系项中可以包括校验位(crc)、指向数据块的物理地址的字段(block)和预留位(reserved),还可以包括表征每个所述数据块中是否存在写入数据的目标字段(即图中的bitmap字段),该目标字段主要用于实现更小粒度的稀疏文件,并提升读写性能,将在后续实施例进行详细介绍。
当然,还可以包括用于存储文件系统的全局信息的超级块、用于记录所有数据块物理空间使用情况的块位图等,在此不进行具体限定。其中,位块图可以根据上述所有地址映射关系项中的目标字段得到。
逻辑块设备或磁盘的物理空间划分为元数据区域和数据区域。如图3所示,前1058MB被用作元数据区域,而剩余的部分则被用作数据区域。上述的超级块(superblock)、索引节点表(Inode table)和位块图(block bitmap)可以存储于元数据区域,图中的两个超级块用于冗余备份。而作为Inode表补充的地址映射表可以通过算法存储于数据区域。
优选的,元数据区域的管理粒度至少为4KB,即各种元数据均按至少4KB进行缓存、读写和自校验,数据区域的管理粒度至少为1MB,即数据块的分配粒度至少为1MB。通用文件系统划分的数据块大小一般为512字节,但本实施例提供的文件系统的数据块大小至少为1MB,即数据区域的管理粒度远大于通用文件系统,使得所需的元数据空间更小,甚至可以让绝大部分的元数据驻留在内存,保证了数据访问的性能。通用文件系统中元数据的管理粒度一般也为512字节,而本实施例提供的文件系统的元数据的管理粒度至少为4KB,远大于通用文件系统,提高了元数据的管理效率。
在本步骤中,访问请求可以为读请求也可以为写请求,至少包括目标文件的索引值和本次访问的访问地址,该索引值可以为一组编号或一个UUID(中文全称:通用唯一识别码,英文全称:Universally Unique Identifier),在此不进行具体限定。若该访问请求为写请求,还应该包括待写入数据。
S102:根据所述索引值搜索索引节点表得到所述目标文件对应的索引节点,并在所述索引节点中确定所述访问地址对应的索引字段;
在具体实施中,当文件系统启动时,将索引节点表加载到内存哈希表中。当接收到访问请求时,在内存哈希表中的索引节点表搜索上一步骤获取的目标文件的索引值,得到该目标文件对应的索引节点,在该索引节点中确定访问地址访问地址对应的地址映射关系项的索引字段,例如图2中的extent0。
S103:根据所述索引字段确定所述访问地址对应的地址映射关系项,并在所述地址映射关系项中确定所述访问地址对应的数据块的物理地址,以便根据所述物理地址响应所述访问请求。
在本步骤中,根据上一步骤确定的索引字段与地址映射关系项的对应关系可以确定访问地址对应的地址映射关系项,例如图2中的extent item。优选的,由于红黑树结构可以加快搜索效率,因此,在首次访问某个地址映射关系项时,可以将其加载至红黑树结构中,后续在该红黑树结构中搜索索引字段,即本步骤可以包括:在内存中的红黑树结构中搜索所述索引字段得到所述访问地址对应的地址映射关系项。若所述红黑树结构中不存在所述访问地址对应的地址映射关系项,则在所述索引节点对应的地址映射表中搜索所述索引字段得到所述访问地址对应的地址映射关系项,并将所述地址映射关系项加载至所述红黑树结构中。
当红黑数结构中搜索不到该索引字段对应的地址映射关系项时,说明为首次访问该访问地址的数据时,在元数据区域中的地址映射表中搜索该索引字段得到该访问地址对应的地址映射关系项,并将其加载到内存红黑树结构中。优选的,还可以将该地址映射关系项加载至全局的LRU(英文全称:Least Recently Used,内存管理的一种页面置换算法)表中。由于如果一个数据在最近一段时间没有被访问到,那么在将来它被访问的可能性也很小。此步骤可以实现当限定的空间已存满数据时,把最久没有被访问到的数据淘汰,提高进程的执行效率,进而提高访问请求的响应效率。当该访问地址对应的数据不是首次访问时,则在内存的红黑树结构中搜索该索引字段,得到访问地址对应的映射关系项。
得到地址映射关系项后,可以确定访问请求对应的数据块的物理地址,并根据该物理地址响应该访问请求。若访问请求为读请求,则返回该物数据块中的数据,若访问请求为写请求,则将写请求中的待写入数据写入该数据块。
本申请实施例提供的文件管理方法应用于文件系统,该文件系统用于管理通用文件系统中的普通文件,即元数据仅包括普通文件的元数据,通过索引节点和地址映射关系项实现通用文件系统中文件的数据管理功能,一个文件分片即为存储于文件系统上的一个普通文件,剔除了通用文件系统中目录、软硬链接、特殊文件等功能,整个文件系统的设计精简,功能利用率高,进而提高了文件系统管理分片文件的性能。
当上述访问请求为读请求时,参见图4,根据一示例性实施例示出的另一种文件管理方法的流程图,如图4所示,包括:
S201:当接收到目标文件的读请求时,获取所述读请求中的读取地址和所述目标文件的索引值;
在本实施例中,将访问请求限定为读请求,该读请求中包括目标文件的索引值和本次请求对应的读取地址。
S202:根据所述索引值搜索索引节点表得到所述目标文件对应的索引节点,并在所述索引节点中得到所述读取地址对应的地址映射关系项的索引字段;
S203:在内存中的红黑树结构中搜索所述索引字段得到所述读取地址对应的地址映射关系项;
S204:根据所述地址映射关系项中的目标字段判断所述数据块是否存在写入数据,若是,则进入S205;若否,则直接返回所述数据块为空;
由于本实施例中的文件系统可以提供稀疏文件特性,可能存在写入数据为空的数据块,因此在确定物理地址之前,可以通过地址映射关系项中的目标字段判断该数据块是否存在写入数据,若是,则返回该写入数据,若否,则直接返回该数据块为空,不需要进行后续确定物理地址的步骤,提高了文件系统的读取性能。
S205:在所述地址映射关系项中确定所述数据块的物理地址,并根据所述物理地址返回所述数据块中的写入数据。
可见,在本实施例中,若访问请求为读请求,在确定物理地址之前,增加判断读取地址对应的数据块是否存在写入数据步骤,若否则直接返回空,简化了数据读取过程,提高了文件系统的读取性能。
当上述访问请求为写请求时,参见图5,根据一示例性实施例示出的又一种文件管理方法的流程图,如图5所示,包括:
S301:当接收到目标文件的写请求时,获取所述写请求中的写入地址和所述目标文件的索引值;
在本实施例中,将访问请求限定为写请求,该读请求中包括目标文件的索引值、本次请求对应的写入地址和待写入数据。
S302:根据所述索引值搜索索引节点表得到所述目标文件对应的索引节点,并在所述索引节点中得到所述写入地址对应的地址映射关系项的索引字段;
S303:在内存中的红黑树结构中搜索所述索引字段得到所述写入地址对应的地址映射关系项;
S304:根据所述地址映射关系项中的目标字段判断所述数据块是否存在写入数据,若是,则进入S305;若否,则进入S306;
S305:在所述地址映射关系项中确定所述数据块的物理地址,并进入S307;
S306:为所述写请求中的待写入数据分配物理地址,并将所述物理地址写入所述地址映射关系项中,并进入S307;
S307:将所述待写入数据写入所述物理地址对应的所述数据块中。
在本实施例中,根据地址映射关系项中的目标字段判断数据块是否存在写入数据,若是,则确定该数据块的物理地址,采用覆盖写的方式将待写入数据写入该数据块,若否,则说明地址映射关系项中的物理地址字段为空,首先为该待写入数据分配物理地址,将其添加至物理地址字段,并将待写入数据写入该物理地址对应的数据块。
下面对本申请实施例提供的一种文件管理系统进行介绍,下文描述的一种文件管理系统与上文描述的一种文件管理方法可以相互参照。
参见图6,根据一示例性实施例示出的一种文件管理系统的结构图,如图6所示,包括:
获取模块601,用于当接收到目标文件的访问请求时,获取所述访问请求中的访问地址和所述目标文件的索引值;其中,所述目标文件为所述普通文件;
确定模块602,用于根据所述索引值搜索索引节点表得到所述目标文件对应的索引节点,并在所述索引节点中确定所述访问地址对应的索引字段;
响应模块603,用于根据所述索引字段确定所述访问地址对应的地址映射关系项,并在所述地址映射关系项中确定所述访问地址对应的数据块的物理地址,以便根据所述物理地址响应所述访问请求。
本申请实施例提供的文件管理系统应用于文件系统,该文件系统用于管理通用文件系统中的普通文件,即元数据仅包括普通文件的元数据,通过索引节点和地址映射关系项实现通用文件系统中文件的数据管理功能,一个文件分片即为存储于文件系统上的一个普通文件,剔除了通用文件系统中目录、软硬链接、特殊文件等功能,整个文件系统的设计精简,功能利用率高,进而提高了文件系统管理分片文件的性能。
在上述实施例的基础上,作为一种优选实施方式,所述响应模块603包括:
第一搜索单元,用于在内存中的红黑树结构中搜索所述索引字段得到所述访问地址对应的地址映射关系项;
响应单元,用于在所述地址映射关系项中确定所述访问地址对应的数据块的物理地址,以便根据所述物理地址响应所述访问请求。
在上述实施例的基础上,作为一种优选实施方式,若所述红黑树结构中不存在所述访问地址对应的地址映射关系项,则所述响应模块603还包括:
第二搜索单元,用于在所述索引节点对应的地址映射表中搜索所述索引字段得到所述访问地址对应的地址映射关系项,并将所述地址映射关系项加载至所述红黑树结构中。
在上述实施例的基础上,作为一种优选实施方式,所述响应模块603还包括:
加载单元,用于将所述地址映射关系项加载至全局的LRU表中。
在上述实施例的基础上,作为一种优选实施方式,所述文件系统中元数据区域的管理粒度至少为4KB,数据区域的管理粒度至少为1MB。
在上述实施例的基础上,作为一种优选实施方式,所述响应模块603还包括:
判断单元,用于根据所述址映射关系项中的目标字段判断所述访问地址对应的数据块是否存在写入数据;若是,则启动所述响应单元的工作流程;
在上述实施例的基础上,作为一种优选实施方式,若所述访问请求为读请求,则所述响应模块603还包括:
返回单元,用于当所述访问地址对应的数据块不存在写入数据时,直接返回所述数据块为空。
在上述实施例的基础上,作为一种优选实施方式,若所述访问请求为写请求,则所述响应模块603还包括:
分配单元,用于为所述写请求中的待写入数据分配物理地址,并将所述物理地址写入所述地址映射关系项中;
写入单元,用于将所述待写入数据写入所述物理地址对应的数据块中。
关于上述实施例中的系统,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请还提供了一种电子设备,参见图7,本申请实施例提供的一种电子设备700的结构图,如图7所示,可以包括处理器11和存储器12。该电子设备700还可以包括多媒体组件13,输入/输出(I/O)接口14,以及通信组件15中的一者或多者。
其中,处理器11用于控制该电子设备700的整体操作,以完成上述的文件管理方法中的全部或部分步骤。存储器12用于存储各种类型的数据以支持在该电子设备700的操作,这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件13可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器12或通过通信组件15发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口14为处理器11和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件15用于该电子设备700与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件15可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的文件管理方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述文件管理方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器12,上述程序指令可由电子设备700的处理器11执行以完成上述的文件管理方法。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (11)
1.一种文件管理方法,其特征在于,应用于文件系统,所述文件系统为管理通用文件系统中普通文件的文件系统,所述文件系统实现所述通用文件系统的数据管理功能、剔除所述通用文件系统的目录、软硬链接、特殊文件的功能;所述方法包括:
当接收到目标文件的访问请求时,获取所述访问请求中的访问地址和所述目标文件的索引值;其中,所述目标文件为所述普通文件;
根据所述索引值搜索索引节点表得到所述目标文件对应的索引节点,并在所述索引节点中确定所述访问地址对应的索引字段;
根据所述索引字段确定所述访问地址对应的地址映射关系项,并在所述地址映射关系项中确定所述访问地址对应的数据块的物理地址,以便根据所述物理地址响应所述访问请求。
2.根据权利要求1所述文件管理方法,其特征在于,所述根据所述索引字段确定所述访问地址对应的地址映射关系项,包括:
在内存中的红黑树结构中搜索所述索引字段得到所述访问地址对应的地址映射关系项。
3.根据权利要求2所述文件管理方法,其特征在于,若所述红黑树结构中不存在所述访问地址对应的地址映射关系项,则在所述地址映射关系项中确定所述数据块的物理地址之前,还包括:
在所述索引节点对应的地址映射表中搜索所述索引字段得到所述访问地址对应的地址映射关系项,并将所述地址映射关系项加载至所述红黑树结构中。
4.根据权利要求3所述文件管理方法,其特征在于,将所述地址映射关系项加载至所述红黑树结构中之后,还包括:
将所述地址映射关系项加载至全局的LRU表中。
5.根据权利要求1所述文件管理方法,其特征在于,所述文件系统中元数据区域的管理粒度至少为4KB,数据区域的管理粒度至少为1MB。
6.根据权利要求1至5中任一项所述文件管理方法,其特征在于,在所述地址映射关系项中确定所述访问地址对应的数据块的物理地址之前,还包括:
根据所述址映射关系项中的目标字段判断所述访问地址对应的数据块是否存在写入数据;
若是,则执行在所述地址映射关系项中确定所述访问地址对应的数据块的物理地址的步骤。
7.根据权利要求6所述文件管理方法,其特征在于,若所述访问请求为读请求,则还包括:
当所述访问地址对应的数据块不存在写入数据时,直接返回所述数据块为空。
8.根据权利要求6所述文件管理方法,其特征在于,若所述访问请求为写请求,则还包括:
为所述写请求中的待写入数据分配物理地址,并将所述物理地址写入所述地址映射关系项中;
将所述待写入数据写入所述物理地址对应的数据块中。
9.一种文件管理系统,其特征在于,应用于文件系统,所述文件系统为管理通用文件系统中普通文件的文件系统,所述文件系统实现所述通用文件系统的数据管理功能、剔除所述通用文件系统的目录、软硬链接、特殊文件的功能;所述系统包括:
获取模块,用于当接收到目标文件的访问请求时,获取所述访问请求中的访问地址和所述目标文件的索引值;其中,所述目标文件为所述普通文件;
确定模块,用于根据所述索引值搜索索引节点表得到所述目标文件对应的索引节点,并在所述索引节点中确定所述访问地址对应的索引字段;
响应模块,用于根据所述索引字段确定所述访问地址对应的地址映射关系项,并在所述地址映射关系项中确定所述访问地址对应的数据块的物理地址,以便根据所述物理地址响应所述访问请求。
10.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至8中任一项所述文件管理方法的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述文件管理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910295315.6A CN110018998B (zh) | 2019-04-12 | 2019-04-12 | 一种文件管理方法、系统及电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910295315.6A CN110018998B (zh) | 2019-04-12 | 2019-04-12 | 一种文件管理方法、系统及电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110018998A CN110018998A (zh) | 2019-07-16 |
CN110018998B true CN110018998B (zh) | 2023-05-12 |
Family
ID=67191280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910295315.6A Active CN110018998B (zh) | 2019-04-12 | 2019-04-12 | 一种文件管理方法、系统及电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110018998B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112559485A (zh) * | 2019-09-26 | 2021-03-26 | 伊姆西Ip控股有限责任公司 | 用于管理存储系统的方法、设备和计算机程序产品 |
CN110795626A (zh) * | 2019-10-28 | 2020-02-14 | 南京弹跳力信息技术有限公司 | 大数据处理方法及系统 |
CN111274051B (zh) * | 2020-01-19 | 2023-08-22 | 中信银行股份有限公司 | 数据的处理方法、装置、电子设备及计算机可读存储介质 |
CN111309376B (zh) * | 2020-02-13 | 2024-04-30 | 无锡华云数据技术服务有限公司 | 一种数据处理方法、装置、设备及存储介质 |
CN111881466B (zh) * | 2020-08-06 | 2023-05-30 | 中电科网络安全科技股份有限公司 | 文件输出方法、装置、电子设备及存储介质 |
CN114185849A (zh) * | 2020-09-15 | 2022-03-15 | 中兴通讯股份有限公司 | 文件操作方法、文件操作系统、电子设备及存储介质 |
CN112380176A (zh) * | 2020-11-17 | 2021-02-19 | 浙江大华技术股份有限公司 | 一种实时监测文件系统异常的方法、装置及存储介质 |
CN112650477A (zh) * | 2020-12-31 | 2021-04-13 | 深圳软牛科技有限公司 | 一种项目数据批量转移方法、装置及电子设备 |
CN113254365A (zh) * | 2021-06-09 | 2021-08-13 | 北京字节跳动网络技术有限公司 | 存储空间的管理方法、装置、设备、介质和程序产品 |
CN113656078A (zh) * | 2021-07-28 | 2021-11-16 | 北京车和家信息技术有限公司 | 设备启动方法、装置、存储介质及电子设备 |
CN115312084A (zh) * | 2022-07-29 | 2022-11-08 | 深圳市锐明技术股份有限公司 | 磁盘存储系统、数据读写方法、恢复方法、设备和介质 |
CN116820787B (zh) * | 2023-08-31 | 2023-12-15 | 湖北芯擎科技有限公司 | 负载均衡方法、装置、电子设备及计算机可读存储介质 |
CN118158469B (zh) * | 2024-03-04 | 2024-11-01 | 广州开得联智能科技有限公司 | 视频处理方法、视频处理装置、电子设备及存储介质 |
CN119336276B (zh) * | 2024-12-19 | 2025-03-21 | 北京大道云行科技有限公司 | 高性能裸盘管理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5557674A (en) * | 1993-07-22 | 1996-09-17 | Kok-Wah Yeow | Absolute static lock of files and directories on magnetic disk storage media in single machine personal microcomputers |
WO1998022890A1 (en) * | 1996-11-22 | 1998-05-28 | Mangosoft Corporation | System for tracking data |
WO2015131403A1 (zh) * | 2014-03-07 | 2015-09-11 | 华为技术有限公司 | 访问文件的方法和相关设备 |
WO2016082196A1 (zh) * | 2014-11-28 | 2016-06-02 | 华为技术有限公司 | 文件访问方法、装置及存储设备 |
US9471595B1 (en) * | 2013-09-30 | 2016-10-18 | Emc Corporation | Recovering file mapping information in file systems |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103019953B (zh) * | 2012-12-28 | 2015-06-03 | 华为技术有限公司 | 一种元数据的构建系统及其方法 |
US20150248443A1 (en) * | 2014-03-02 | 2015-09-03 | Plexistor Ltd. | Hierarchical host-based storage |
EP3190520B1 (en) * | 2014-09-01 | 2019-08-07 | Huawei Technologies Co. Ltd. | File access method and apparatus, and storage system |
CN109376122A (zh) * | 2018-09-25 | 2019-02-22 | 深圳市元征科技股份有限公司 | 一种文件管理方法、系统及区块链节点设备和存储介质 |
-
2019
- 2019-04-12 CN CN201910295315.6A patent/CN110018998B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5557674A (en) * | 1993-07-22 | 1996-09-17 | Kok-Wah Yeow | Absolute static lock of files and directories on magnetic disk storage media in single machine personal microcomputers |
WO1998022890A1 (en) * | 1996-11-22 | 1998-05-28 | Mangosoft Corporation | System for tracking data |
US9471595B1 (en) * | 2013-09-30 | 2016-10-18 | Emc Corporation | Recovering file mapping information in file systems |
WO2015131403A1 (zh) * | 2014-03-07 | 2015-09-11 | 华为技术有限公司 | 访问文件的方法和相关设备 |
WO2016082196A1 (zh) * | 2014-11-28 | 2016-06-02 | 华为技术有限公司 | 文件访问方法、装置及存储设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110018998A (zh) | 2019-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110018998B (zh) | 一种文件管理方法、系统及电子设备和存储介质 | |
KR101977575B1 (ko) | 디렉토리 엔트리 조회 장치, 그 방법 및 디렉토리 엔트리 조회 프로그램이 기록된 기록 매체 | |
US8423733B1 (en) | Single-copy implicit sharing among clones | |
US8583893B2 (en) | Metadata management for virtual volumes | |
US11580162B2 (en) | Key value append | |
CN108090168B (zh) | 一种通用f2fs文件系统解析方法、终端设备及存储介质 | |
CN108121813B (zh) | 数据管理方法、装置、系统、存储介质及电子设备 | |
US9262313B2 (en) | Provisioning in heterogenic volume of multiple tiers | |
WO2017041654A1 (zh) | 用于分布式存储系统的写入数据、获取数据的方法和设备 | |
US10891074B2 (en) | Key-value storage device supporting snapshot function and operating method thereof | |
US9384201B2 (en) | Method of managing data of file system using database management system | |
US9116904B2 (en) | File system operation on multi-tiered volume | |
CN111381779B (zh) | 数据处理方法、装置、设备及存储介质 | |
WO2020093501A1 (zh) | 文件存储方法、删除方法、服务器及存储介质 | |
CN113568582B (zh) | 数据管理方法、装置和存储设备 | |
CN109804359A (zh) | 用于将数据回写到存储设备的系统和方法 | |
CN111400334B (zh) | 数据处理方法、装置、存储介质及电子装置 | |
US10430292B2 (en) | Snapshot deletion in a distributed storage system | |
CN110955665A (zh) | 缓存查询方法、装置和电子设备 | |
US10289345B1 (en) | Contention and metadata write amplification reduction in log structured data storage mapping | |
US10210067B1 (en) | Space accounting in presence of data storage pre-mapper | |
CN115964002A (zh) | 一种电能表终端档案管理方法、装置、设备及介质 | |
CN112115521B (zh) | 数据访问方法及装置 | |
KR20140042431A (ko) | 컴퓨팅 시스템 및 컴퓨팅 시스템의 데이터 관리 방법 | |
US11782629B2 (en) | Data processing method, device, and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |