CN110659250B - 文件处理方法和系统 - Google Patents

Abstract

本公开提供了一种文件处理方法和系统，涉及IT领域。该方法包括：接收客户端发送的新增文件请求；根据新增文件大小选择对应的数据块组以及数据块组中可用于存储的数据块；判断可用于存储的数据块中是否有非空的数据块；若有，则将新增文件存储在非空数据块的空闲存储单元中；若没有，则根据新增文件大小，将多个新增文件合并为大文件，并将大文件存储在空的数据块中。本公开能够优化数据布局，提高磁盘空间利用率。

Description

文件处理方法和系统

技术领域

本公开涉及IT领域，尤其涉及一种文件处理方法和系统。

背景技术

当今互联网，数据呈现爆炸式增长，社交网络、移动通信、网络视频、电子商务等各种应用往往能产生亿级甚至十亿、百亿级的海量小文件。由于在元数据管理、访问性能、存储效率等方面面临巨大的挑战，海量小文件问题成为了业界公认的难题。

发明内容

本公开要解决的一个技术问题是提供一种文件处理方法和系统，能够优化数据布局，提高磁盘空间利用率。

根据本公开一方面，提出一种文件处理方法，包括：接收客户端发送的新增文件请求；根据新增文件大小选择对应的数据块组以及数据块组中可用于存储的数据块；判断可用于存储的数据块中是否有非空的数据块；若有，则将新增文件存储在非空数据块的空闲存储单元中；若没有，则根据新增文件大小，将多个新增文件合并为大文件，并将大文件存储在空的数据块中。

可选地，该方法还包括：接收客户端发送的文件删除请求；查找待删除文件的元数据；根据元数据确定待删除文件所在的数据块组中的数据块；根据待删除文件的索引文件在数据块中找到待删除文件所在的存储单元；删除待删除文件。

可选地，该方法还包括：将待删除文件所在的存储单元状态修改为空闲状态。

可选地，该方法还包括：接收客户端发送的文件修改请求；判断修改后的文件与待修改文件大小是否变化；若未变化，则将待修改文件替换为修改后的文件；若变化，则将修改后的文件作为新增文件进行存储，将待修改文件作为待删除文件进行删除。

可选地，将待修改文件替换为修改后的文件包括：查找待修改文件的元数据；根据元数据确定待修改文件所在的数据块组中的数据块；根据待修改文件的索引文件在数据块中找到待修改文件；将待修改文件替换为修改后的文件。

根据本公开的另一方面，还提出一种文件处理系统，包括：请求接收单元，用于接收客户端发送的新增文件请求；数据块选择单元，用于根据新增文件大小选择对应的数据块组以及数据块组中可用于存储的数据块；非空数据块判断单元，用于判断可用于存储的数据块中是否有非空的数据块；数据存储单元，用于若可用于存储的数据块中有非空的数据块，则将新增文件存储在非空数据块的空闲存储单元中，否则，根据新增文件大小，将多个新增文件合并为大文件，并将大文件存储在空的数据块中。

可选地，请求接收单元还用于接收客户端发送的文件删除请求，系统还包括：元数据查找单元，用于查找待删除文件的元数据；数据块查询单元，用于根据元数据确定待删除文件所在的数据块组中的数据块；存储单元查询单元，用于根据待删除文件的索引文件在数据块中找到待删除文件所在的存储单元；数据删除单元，用于删除待删除文件。

可选地，该系统还包括：状态修改单元，用于将待删除文件所在的存储单元状态修改为空闲状态。

可选地，请求接收单元还用于接收客户端发送的文件修改请求，系统还包括：文件大小判断单元，用于判断修改后的文件与待修改文件大小是否变化；数据修改单元，用于若修改后的文件大小未变化，则将待修改文件替换为修改后的文件，否则，将修改后的文件作为新增文件，并向请求接收单元发送存储请求，响应于数据存储单元存储完成修改后的文件，向请求接收单元发送删除待修改文件的请求。

可选地，数据修改单元用于查找待修改文件的元数据；根据元数据确定待修改文件所在的数据块组中的数据块；根据待修改文件的索引文件在数据块中找到待修改文件；将待修改文件替换为修改后的文件。

根据本公开的另一方面，还提出一种文件处理系统，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的文件处理方法。

根据本公开的另一方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的文件处理方法的步骤。

与相关技术相比，本公开实施例根据新增文件大小选择对应的数据块组以及数据块组中可用于存储的数据块，并优先将新增文件存储在非空数据块的空闲存储单元中，对于数据块为空的情况，先将新增文件根据大小进行合并，并将合并后的大文件存储在同一个数据块中，能够优化数据布局，提高磁盘空间利用率。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开文件处理方法的一个实施例的结构示意图。

图2为本公开新增文件一个实施例的示意图。

图3为本公开文件处理方法的另一个实施例的结构示意图。

图4为本公开删除文件一个实施例的示意图。

图5为本公开文件处理方法的又一个实施例的结构示意图。

图6为本公开文件处理方法的再一个实施例的结构示意图。

图7为本公开修改文件一个实施例的示意图。

图8为本公开文件处理系统的一个实施例的结构示意图。

图9为本公开文件处理系统的另一个实施例的结构示意图。

图10为本公开文件处理系统的再一个实施例的结构示意图。

图11为本公开文件处理系统的又一个实施例的结构示意图。

图12为本公开文件处理系统的又一个实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

图1为本公开文件处理方法的一个实施例的结构示意图。

在步骤110，接收客户端发送的新增文件请求。其中，新增文件可以是小文件，即大小在1MB以内的文件。

在步骤120，根据新增文件大小选择对应的数据块组以及数据块组中可用于存储的数据块。其中，根据文件大小先找到能够存放该文件的数据块组group_x，然后在数据块组group_x找到可写的数据块block_id。如图2所示，虚线上部为新增文件前示意图，从图中可以看出group_x中的block_1，block_2和block_k可以写入数据。

在步骤130，判断可用于存储的数据块中是否有非空的数据块，若有，则执行步骤140，否则，执行步骤150。

在步骤140，将新增文件存储在非空数据块的空闲存储单元中。例如如图2虚线下右侧所示，block_1中有空闲存储单元，同时该block_1还有非空闲存储单元，则将新增文件newfile写入到block_1的空闲存储单元中。

在步骤150，根据新增文件大小，将多个新增文件合并为大文件，并将大文件存储在空的数据块中。其中，可以将多个小文件合并为一个大文件，该大文件的大小应该小于等于可用于存储的数据块中空的数据块的存储量。如图2虚线下左侧所示，将文件File_n1…File_nn合并存储到同一个数据库block_k中。

将文件写入磁盘后，可以该实施例还可以包括步骤160，生成新增文件的元数据和索引文件，以便后续在修改文件或者删除文件时，根据元数据和索引文件找到该新增文件。在步骤170，可以向客户端返回存储成功响应。

在该实施例中，根据新增文件大小选择对应的数据块组以及数据块组中可用于存储的数据块，并优先将新增文件存储在非空数据块的空闲存储单元中，对于数据块为空的情况，先将新增文件根据大小进行合并，并将合并后的大文件存储在同一个数据块中，能够优化数据布局，提高磁盘空间利用率。

图3为本公开文件处理方法的另一个实施例的结构示意图。该实施例主要描述文件删除流程。

在步骤310，接收客户端发送的文件删除请求。

在步骤320，查找待删除文件的元数据。根据元数据可以获取文件位置信息、名称、guid(磁盘分区表)、属主、大小、创建日期、访问日期、访问权限等信息。

在步骤330，根据元数据确定待删除文件所在的数据块组中的数据块。即确定待删除文件所在的group_x和block_id。如图4虚线上部所示，待删除文件File_xx存储在group_x中的block_1中。

在步骤340，根据待删除文件的索引文件在数据块中找到待删除文件所在的存储单元。其中，索引文件中可以包括文件名称、offset和size等信息。如图4所示，待删除文件File_xx在group_x中的block_1中的最后一个存储单元内。

在步骤350，删除待删除文件。

在一个实施例中，还可以包括步骤360，将待删除文件所在的存储单元状态修改为空闲状态。如图4虚线下部所示，删除File_xx后，该File_xx所在的存储单元状态变为null。此时，而可以更新元数据和索引表。

在步骤370，向客户端返回文件删除成功响应。

在该实施例中，由于数据存储时，数据布局更合理，因此，在删除文件时，能够减少因删除单个小文件产生的数据块中的空闲单元，另外，删除文件后，可以立即回收存储空间，减少了磁盘空间浪费问题。

图5为本公开文件处理方法的又一个实施例的结构示意图。该实施例主要描述修改文件流程。

在步骤510，接收客户端发送的文件修改请求。

在步骤520，判断修改后的文件与待修改文件大小是否变化，如果变化，则执行步骤530，否则，执行步骤540。

在步骤530，将修改后的文件作为新增文件进行存储，将待修改文件作为待删除文件进行删除。其中，将修改后的文件作为新增文件进行存储如图1所示，将待修改文件作为待删除文件进行删除如图3所示。

在步骤540，将待修改文件替换为修改后的文件。

其中，上述实施例的具体过程可以如图6所示。

在步骤610，接收客户端发送的文件修改请求。

在步骤620，判断修改后的文件与待修改文件大小是否变化，如果变化，则执行步骤630，否则，执行步骤640。

在步骤630，根据修改后的文件大小选择对应的数据块组以及数据块组中可用于存储的数据块。

在步骤631，判断可用于存储的数据块中是否有非空的数据块，若有，则执行步骤632，否则，执行步骤633。

在步骤632，将修改后的文件存储在非空数据块的空闲存储单元中。

在步骤633，根据修改后的文件大小，将多个文件合并为大文件，并将大文件存储在空的数据块中。

在步骤634，查找待修改文件的元数据。

在步骤635，根据元数据确定待修改文件所在的数据块组中的数据块。

在步骤636，根据待修改文件的索引文件在数据块中找到待修改文件所在的存储单元。

在步骤637，删除待修改文件。

在步骤640，查找待修改文件的元数据。

在步骤641，根据元数据确定待修改文件所在的数据块组中的数据块。如图7虚线上部所示，待修改文件File_xx存储在group_x中的block_1中。

在步骤642，根据待修改文件的索引文件在数据块中找到待修改文件。如图7所示，待修改文件File_xx在group_x中的block_1中的最后一个存储单元内。

在步骤643，将待修改文件替换为修改后的文件。如图7虚线下部所示，将File_xx替换为newfile。

在步骤650，向客户端返回修改成功响应。

在上述实施例中，在修改文件时，若修改后的文件与待修改文件大小变化，则将修改后的文件作为新增文件进行存储，将待修改文件作为待删除文件进行删除。即在修改文件时，若修改后的文件大小发生变化，则将小文件移至其对应的文件组里，存储到相应的数据块里。能够优化数据布局，提高磁盘空间的利用率，并且提高了存储系统的数据访问能力。

图8为本公开文件处理系统的一个实施例的结构示意图。该系统包括请求接收单元810、数据块选择单元820、非空数据块判断单元830、数据存储单元840。

请求接收单元810用于接收客户端发送的新增文件请求。其中，新增文件可以是小文件，即大小在1MB以内的文件。

数据块选择单元820用于根据新增文件大小选择对应的数据块组以及数据块组中可用于存储的数据块。其中，根据文件大小先找到能够存放该文件的数据块组group_x，然后在数据块组group_x找到可写的数据块block_id。如图2所示，虚线上部为新增文件前示意图，从图中可以看出group_x中的block_1，block_2和block_k可以写入数据。

非空数据块判断单元830用于判断可用于存储的数据块中是否有非空的数据块。

数据存储单元840用于若可用于存储的数据块中有非空的数据块，则将新增文件存储在非空数据块的空闲存储单元中，否则，根据新增文件大小，将多个新增文件合并为大文件，并将大文件存储在空的数据块中。其中，可以将多个小文件合并为一个大文件，该大文件的大小应该小于等于可用于存储的数据块中空的数据块的存储量。

在该实施例中，根据新增文件大小选择对应的数据块组以及数据块组中可用于存储的数据块，并优先将新增文件存储在非空数据块的空闲存储单元中，对于数据块为空的情况，先将新增文件根据大小进行合并，并将合并后的大文件存储在同一个数据块中，能够优化数据布局，提高磁盘空间利用率。

图9为本公开文件处理系统的另一个实施例的结构示意图。该系统还包括元数据查找单元910、数据块查询单元920、存储单元查询单元930和数据删除单元940。

其中，请求接收单元810用于接收客户端发送的文件删除请求。

元数据查找单元910用于查找待删除文件的元数据。根据元数据可以获取文件位置信息、名称、guid(磁盘分区表)、属主、大小、创建日期、访问日期、访问权限等信息。

数据块查询单元920用于根据元数据确定待删除文件所在的数据块组中的数据块。即确定待删除文件所在的group_x和block_id。

存储单元查询单元930用于根据待删除文件的索引文件在数据块中找到待删除文件所在的存储单元。其中，索引文件中可以包括文件名称、offset和size等信息。

数据删除单元940用于删除待删除文件。

在该实施例中，该系统还可以包括状态修改单元950用于将待删除文件所在的存储单元状态修改为空闲状态。

在该实施例中，由于数据存储时，数据布局更合理，因此，在删除文件时，能够减少因删除单个小文件产生的数据块中的空闲单元，另外，删除文件后，可以立即回收存储空间，减少了磁盘空间浪费问题。

图10为本公开文件处理系统的再一个实施例的结构示意图。该系统还包括文件大小判断单元1010和数据修改单元1020。

其中，请求接收单元810用于接收客户端发送的文件修改请求。

文件大小判断单元1010用于判断修改后的文件与待修改文件大小是否变化。

数据修改单元1011用于若修改后的文件大小未变化，则将待修改文件替换为修改后的文件，否则，将修改后的文件作为新增文件，并向请求接收单元810发送存储请求，响应于数据存储单元840存储完成修改后的文件，向请求接收单元810发送删除待修改文件的请求。

在具体实施例中，数据修改单元1011用于查找待修改文件的元数据；根据元数据确定待修改文件所在的数据块组中的数据块；根据待修改文件的索引文件在数据块中找到待修改文件；将待修改文件替换为修改后的文件。

在上述实施例中，在修改文件时，若修改后的文件与待修改文件大小变化，则将修改后的文件作为新增文件进行存储，将待修改文件作为待删除文件进行删除。即在修改文件时，若修改后的文件大小发生变化，则将小文件移至其对应的文件组里，存储到相应的数据块里。能够优化数据布局，提高磁盘空间的利用率，并且提高了存储系统的数据访问能力。

图11为本公开文件处理系统的又一个实施例的结构示意图。该系统包括存储器1110和处理器1120，其中：

存储器1110可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储图1、3、5、6所对应实施例中的指令。处理器1120耦接至存储器1110，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器1120用于执行存储器中存储的指令。

在一个实施例中，还可以如图12所示，该系统1200包括存储器1210和处理器1220。处理器1220通过BUS总线1230耦合至存储器1210。该系统1200还可以通过存储接口1240连接至外部存储装置1250以便调用外部数据，还可以通过网络接口1260连接至网络或者另外一台计算机系统(未标出)，此处不再进行详细介绍。

在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够优化数据布局，提高磁盘空间利用率。

在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图1、3、5、6所对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种文件处理方法，包括：

接收客户端发送的新增文件请求；

根据新增文件大小选择对应的数据块组以及所述数据块组中可用于存储的数据块；

判断所述可用于存储的数据块中是否有非空的数据块；

若有，则将新增文件存储在非空数据块的空闲存储单元中；

若没有，则根据新增文件大小，将多个新增文件合并为大文件，并将大文件存储在空的数据块中；以及

接收客户端发送的文件修改请求；

判断修改后的文件与待修改文件大小是否变化；

若未变化，则将所述待修改文件替换为所述修改后的文件；

若变化，则将所述修改后的文件作为新增文件进行存储，将所述待修改文件作为待删除文件进行删除。

2.根据权利要求1所述的文件处理方法，还包括：

接收客户端发送的文件删除请求；

查找待删除文件的元数据；

根据元数据确定所述待删除文件所在的数据块组中的数据块；

根据所述待删除文件的索引文件在所述数据块中找到所述待删除文件所在的存储单元；

删除所述待删除文件。

3.根据权利要求2所述的文件处理方法，还包括：

将所述待删除文件所在的存储单元状态修改为空闲状态。

4.根据权利要求1所述的文件处理方法，其中，将待修改文件替换为所述修改后的文件包括：

查找所述待修改文件的元数据；

根据元数据确定所述待修改文件所在的数据块组中的数据块；

根据所述待修改文件的索引文件在所述数据块中找到所述待修改文件；

将所述待修改文件替换为所述修改后的文件。

5.一种文件处理系统，包括：

请求接收单元，用于接收客户端发送的新增文件请求；

数据块选择单元，用于根据新增文件大小选择对应的数据块组以及所述数据块组中可用于存储的数据块；

非空数据块判断单元，用于判断所述可用于存储的数据块中是否有非空的数据块；

数据存储单元，用于若所述可用于存储的数据块中有非空的数据块，则将新增文件存储在非空数据块的空闲存储单元中，否则，根据新增文件大小，将多个新增文件合并为大文件，并将大文件存储在空的数据块中；

文件大小判断单元，用于判断修改后的文件与待修改文件大小是否变化，其中，所述请求接收单元还用于接收客户端发送的文件修改请求；

数据修改单元，用于若修改后的文件大小未变化，则将待修改文件替换为所述修改后的文件，否则，将所述修改后的文件作为新增文件，并向所述请求接收单元发送存储请求，响应于所述数据存储单元存储完成所述修改后的文件，向所述请求接收单元发送删除所述待修改文件的请求。

6.根据权利要求5所述的文件处理系统，其中，所述请求接收单元还用于接收客户端发送的文件删除请求，所述文件处理系统还包括：

元数据查找单元，用于查找待删除文件的元数据；

数据块查询单元，用于根据元数据确定所述待删除文件所在的数据块组中的数据块；

存储单元查询单元，用于根据所述待删除文件的索引文件在所述数据块中找到所述待删除文件所在的存储单元；

数据删除单元，用于删除所述待删除文件。

7.根据权利要求6所述的文件处理系统，还包括：

状态修改单元，用于将所述待删除文件所在的存储单元状态修改为空闲状态。

8.根据权利要求5所述的文件处理系统，其中，

所述数据修改单元用于查找所述待修改文件的元数据；根据元数据确定所述待修改文件所在的数据块组中的数据块；根据所述待修改文件的索引文件在所述数据块中找到所述待修改文件；将所述待修改文件替换为所述修改后的文件。

9.一种文件处理系统，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至4任一项所述的文件处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至4任一项所述的文件处理方法的步骤。

Images