CN111143293B

CN111143293B - 一种元数据获取方法、装置、设备及计算机可读存储介质

Info

Publication number: CN111143293B
Application number: CN201911332566.3A
Authority: CN
Inventors: 赵培文; 孟祥瑞
Original assignee: Inspur Electronic Information Industry Co Ltd
Current assignee: IEIT Systems Co Ltd
Priority date: 2019-12-22
Filing date: 2019-12-22
Publication date: 2022-06-07
Anticipated expiration: 2039-12-22
Also published as: CN111143293A

Abstract

本发明公开了一种元数据获取方法、装置、设备及计算机可读存储介质；在本方案中，由于omap仅存储目录下的文件的元数据，或者目录下的子目录的元数据，这种元数据分类存储的方式，使得客户端在获取元数据时，可以仅仅获取目录下的文件的元数据或者子目录的元数据，从而减少了元数据获取请求的处理时间，减小磁盘负载情况，提高元数据获取效率。

Description

一种元数据获取方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及信息存储技术领域，更具体地说，涉及一种元数据获取方法、装置、设备及计算机可读存储介质。

背景技术

目前，客户端需要操作某个目录时，如果元数据服务检查目录对应的Cdir(目录分片)的元数据信息不在缓存中，则需要从rados(Reliable,Autonomic Distributed ObjectStore，分布式数据存储系统)中抓取CDir的信息和目录项。但是，由于目录下的所有子目录和文件的元数据信息都存储在同一个omap(object map，存储元数据信息的数据结构)中，当目录信息不在缓存中时，无论是获取该目录下的子目录的元数据信息，还是获取该目录下的文件的元数据信息，都需要从rados中抓取该目录的整个omap数据结构，即需要抓取的omap数据结构包含了该目录下的所有子目录和文件的元数据信息，可以看出，这种获取方式，无形中抓取了一些不需要的元数据信息，当存在大量的抓取操作时，会给osd(ObjectStorage Device，对象存储设备)带来很大的读写负载，导致抓取效率低，客户端请求处理时间超时。

发明内容

本发明的目的在于提供一种元数据获取方法、装置、设备及计算机可读存储介质，以提高元数据获取效率。

为实现上述目的，本发明提供一种元数据获取方法，包括：

接收客户端发送的元数据获取请求；所述元数据获取请求为获取目录下的文件的获取请求，或者获取目录下的子目录的获取请求；

在磁盘中确定与所述元数据获取请求对应的目标omap；其中，omap仅存储目录下的文件的元数据，或者目录下的子目录的元数据；

从所述目标omap获取元数据信息，并发送至所述客户端。

其中，所述接收客户端发送的元数据获取请求之前，还包括：

接收存储目标目录的请求；

将所述目标目录下的文件的元数据以及与所述目标目录下的子目录的元数据，存储至磁盘的不同omap中。

其中，所述将所述目标目录下的文件的元数据以及与所述目标目录下的子目录的元数据，存储至磁盘的不同omap中，包括：

依次遍历所述目标目录下的每个目标内容，根据每个目标内容的目录项确定每个目标内容的索引节点；

利用每个目标内容的索引节点确定每个目标内容的类型，所述类型包括文件和子目录；

将类型为文件的目标内容的元数据，以及类型为子目录的目标内容的元数据存储至磁盘的不同omap中。

其中，所述将类型为文件的目标内容的元数据，以及类型为子目录的目标内容的元数据存储至磁盘的不同omap中，包括：

将类型为文件的目标内容的元数据，以及类型为子目录的目标内容的元数据缓存至不同的数据结构中；

将不同数据结构中的元数据分别存储至磁盘的不同omap中。

为实现上述目的，本发明进一步提供一种元数据获取装置，包括：

第一接收模块，用于接收客户端发送的元数据获取请求；所述元数据获取请求为获取目录下的文件的获取请求，或者获取目录下的子目录的获取请求；

确定模块，用于在磁盘中确定与所述元数据获取请求对应的目标omap；其中，omap仅存储目录下的文件的元数据，或者目录下的子目录的元数据；

发送模块，用于从所述目标omap获取元数据信息，并发送至所述客户端。

其中，本方案还包括：

第二接收模块，用于接收存储目标目录的请求；

存储模块，用于将所述目标目录下的文件的元数据以及与所述目标目录下的子目录的元数据，存储至磁盘的不同omap中。

其中，所述存储模块包括：

第一确定单元，用于依次遍历所述目标目录下的每个目标内容，根据每个目标内容的目录项确定每个目标内容的索引节点；

第二确定单元，用于利用每个目标内容的索引节点确定每个目标内容的类型，所述类型包括文件和子目录；

存储单元，用于将类型为文件的目标内容的元数据，以及类型为子目录的目标内容的元数据存储至磁盘的不同omap中。

其中，所述存储单元具体用于：将类型为文件的目标内容的元数据，以及类型为子目录的目标内容的元数据缓存至不同的数据结构中；将不同数据结构中的元数据分别存储至磁盘的不同omap中。

为实现上述目的，本发明进一步提供一种元数据获取设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述的元数据获取方法的步骤。

为实现上述目的，本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的元数据获取方法的步骤。

通过以上方案可知，本发明实施例提供的一种元数据获取方法，包括：接收客户端发送的元数据获取请求；所述元数据获取请求为获取目录下的文件的获取请求，或者获取目录下的子目录的获取请求；在磁盘中确定与所述元数据获取请求对应的目标omap；其中，omap仅存储目录下的文件的元数据，或者目录下的子目录的元数据；从所述目标omap获取元数据信息，并发送至所述客户端。

可见，由于本申请中的omap仅存储目录下的文件的元数据，或者目录下的子目录的元数据，这种元数据分类存储的方式，使得客户端在获取元数据时，可以仅仅获取文件的元数据或者子目录的元数据，从而减少了元数据获取请求的处理时间，减小磁盘负载情况，提高元数据获取效率；本发明还公开了一种元数据获取装置、设备及计算机可读存储介质，同样能实现上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种元数据获取方法流程示意图；

图2为本发明实施例公开的一种元数据获取装置结构示意图；

图3为本发明实施例公开的一种元数据获取设备结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种元数据获取方法、装置、设备及计算机可读存储介质，以提高元数据获取效率。

参见图1，本发明实施例提供的一种元数据获取方法，包括：

S101、接收客户端发送的元数据获取请求；所述元数据获取请求为获取目录下的文件的获取请求，或者获取目录下的子目录的获取请求；

需要说明的是，本实施例所述的元数据获取方法，是应用在元数据不在缓存中的情况，如果元数据已经存储在缓存中，这时接收到客户端发送的元数据获取请求，便可直接从缓存中查找对应的元数据并返回，根本不需要从磁盘中查找对应的元数据并返回。而在元数据不在缓存中的情况下，由于无论获取目录下的子目录的元数据信息，还是获取目录下的文件的元数据信息，都需要从磁盘中获取该目录下的所有子目录和文件的元数据信息，这种获取方式，无形中抓取了一些不需要的元数据信息，当存在大量的抓取操作时，会给磁盘带来很大的读写负载，导致抓取效率低，客户端请求处理时间超时。

而在本申请中，接收客户端发送的元数据获取请求之前，还包括：接收存储目标目录的请求；将所述目标目录下的文件的元数据以及与所述目标目录下的子目录的元数据，存储至磁盘的不同omap中。

也就是说，在本申请中，客户端在存储目录时，其元数据需要按照文件及子目录的类型的不同，分别存储在磁盘的不同omap中，实现了元数据的分类存储。因此本申请中的客户端在获取元数据时，可以仅仅发送获取目录下的文件的获取请求，也可以仅仅发送获取目录下的子目录的获取请求，当然也可以发送获取目录下的文件及子目录的获取请求，在此并不具体限定。

S102、在磁盘中确定与所述元数据获取请求对应的目标omap；其中，omap仅存储目录下的文件的元数据，或者目录下的子目录的元数据；

S103、从所述目标omap获取元数据信息，并发送至所述客户端。

需要说明的是，接收到客户端发送的元数据获取请求后，可以根据该请求获取的元数据类型，确定存储元数据的目标omap；也即：如果该元数据获取请求为获取目录下的文件的获取请求，则需要将存储该目录下的文件的元数据的omap作为目标omap；如果该元数据获取请求为获取目录下的子目录的获取请求，则需要将存储该目录下的子目录的元数据的omap作为目标omap；当然，如果该元数据获取请求为获取目录下的文件及子目录的获取请求，则需要分别查找存储该目录下的文件的元数据的omap，及存储该目录下的子目录的元数据的omap，将这两个omap均作为目标omap。确定存储对应元数据的目标omap后，便可直接从目标omap中获取对应的元数据，并发送至客户端，从而实现对元数据的获取，

可以看出，本方案将目录下的内容根据文件和目录的不同，对元数据进行分类存储。从而使得客户端在获取元数据时，无论是获取目录下文件的元数据，还是获取目录下子目录的元数据，均可直接获取对应的元数据，而不需要获取该目录的整个元数据，从而减小了元数据获取时间，从而减少了元数据获取请求的处理时间，减小磁盘负载情况，提高元数据获取效率。

基于上述实施例，在本实施例中，将所述目标目录下的文件的元数据以及与目标目录下的子目录的元数据，存储至磁盘的不同omap中，包括：

将不同数据结构中的元数据分别存储至磁盘的不同omap中。

需要说明的是，在本申请中，在将目录提交至磁盘时，需要根据遍历目录下的内容，在本方案中，为了方便说明，将正在执行操作的内容称为目标内容，该目标内容可以是文件或者子目录。其中，该目录下的文件或者子目录均有对应的目录项，该目录项为包含文件名和索引节点号的结构，因此通过目标内容的目录项，便可确定与该目标内容的索引节点，由于索引节点中存储了属性等相关信息，因此可以直接根据目标内容的索引节点判断目标内容的类型是文件还是子目录，并将类型为文件的目标内容的元数据，以及类型为子目录的目标内容的元数据缓存至磁盘的不同omap中。

需要说明的是，由于本申请需要将元数据进行分类后再存储，因此本申请为了避免元数据分类过程过慢，导致元数据写入磁盘的时长的问题，可以先将文件和子目录对应的元数据信息分别存储在不同的数据结构中，实现对元数据的预先分类及暂存，待元数据均分类完成后，便可创建不同的OSD操作数据结构，分别将数据结构中暂存的元数据信息填充至OSD操作数据结构中，执行元数据的存储操作，从而实现将文件和子目录的元数据信息分别存储在rados不同omap中。这样在抓取目录下的内容的时候，可以根据客户端的需求，只抓取文件或目录的元数据信息。

综上可以看出，本申请提出的元数据信息分类存储的方法，在业务使用场景中，可以减少元数据请求的处理时间和osd的读写负载，提高效率；并且，本实施例提出的这种先将类型为文件的目标内容的元数据，以及类型为子目录的目标内容的元数据缓存至不同的数据结构中，然后再将不同数据结构中缓存的元数据分别存储至磁盘的不同omap中的方式，可以减小磁盘写入时间，提高元数据写入效率。

下面对本发明实施例提供的获取装置进行介绍，下文描述的获取装置与上文描述的获取方法可以相互参照。

参见图2，本发明实施例提供的一种元数据获取装置结构示意图；该装置包括：

第一接收模块100，用于接收客户端发送的元数据获取请求；所述元数据获取请求为获取目录下的文件的获取请求，或者获取目录下的子目录的获取请求；

确定模块200，用于在磁盘中确定与所述元数据获取请求对应的目标omap；其中，omap仅存储目录下的文件的元数据，或者目录下的子目录的元数据；

发送模块300，用于从所述目标omap获取元数据信息，并发送至所述客户端。

其中，本方案还包括：

第二接收模块，用于接收存储目标目录的请求；

其中，所述存储模块包括：

参见图3，本发明实施例还公开了一种元数据获取设备结构示意图；该设备包括：

存储器11，用于存储计算机程序；

处理器12，用于执行所述计算机程序时实现如上述方法实施例所述的元数据获取方法的步骤。

在本实施例中，设备可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、掌上电脑、便携计算机等终端设备。

该设备可以包括存储器11、处理器12和总线13。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是设备的内部存储单元，例如该设备的硬盘。存储器11在另一些实施例中也可以是设备的外部存储设备，例如设备上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于设备的应用软件及各类数据，例如执行元数据获取方法的程序代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行元数据获取方法的程序代码等。

该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，设备还可以包括网络接口14，网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该设备与其他电子设备之间建立通信连接。

可选地，该设备还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在设备中处理的信息以及用于显示可视化的用户界面。

图3仅示出了具有组件11-14的设备，本领域技术人员可以理解的是，图3示出的结构并不构成对设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法实施例所述的元数据获取方法的步骤。

其中，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种元数据获取方法，其特征在于，包括：

从所述目标omap获取元数据信息，并发送至所述客户端；

接收存储目标目录的请求；

将所述目标目录下的文件的元数据以及与所述目标目录下的子目录的元数据，存储至磁盘的不同omap中；其中，将类型为文件的目标内容的元数据，以及类型为子目录的目标内容的元数据缓存至不同的数据结构中；将不同数据结构中的元数据分别存储至磁盘的不同omap中。

2.根据权利要求1所述的元数据获取方法，其特征在于，所述将所述目标目录下的文件的元数据以及与所述目标目录下的子目录的元数据，存储至磁盘的不同omap中，包括：

3.一种元数据获取装置，其特征在于，包括：

发送模块，用于从所述目标omap获取元数据信息，并发送至所述客户端；

第二接收模块，用于接收存储目标目录的请求；

存储模块，用于将所述目标目录下的文件的元数据以及与所述目标目录下的子目录的元数据，存储至磁盘的不同omap中；其中，将类型为文件的目标内容的元数据，以及类型为子目录的目标内容的元数据缓存至不同的数据结构中；将不同数据结构中的元数据分别存储至磁盘的不同omap中。

4.根据权利要求3所述的元数据获取装置，其特征在于，所述存储模块包括：

5.一种元数据获取设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1或2所述的元数据获取方法的步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1或2所述的元数据获取方法的步骤。