CN103514112B - 一种数据存储方法及系统 - Google Patents

Abstract

本发明公开了一种数据存储方法及系统，用以提高文件操作的响应速度，所述方法包括以下步骤：将文件系统数据存储到第一缓存中，并创建用于描述该操作的事件，将该事件发送到存储文件系统数据的线程的队列；所述线程从所述队列中获取一个事件并执行该事件，将事件的执行结果存储到第二缓存中；当满足预设条件时，将第二缓存中存储的文件系统数据存储到磁盘中。本发明采用的方法明显的提高了文件操作的响应速度，保证在异常断电时文件系统数据的完整性，最大限度的减少异常断电文件的丢失。

Description

一种数据存储方法及系统

技术领域

本发明涉及数据存储技术领域，特别涉及一种数据存储方法及系统。

背景技术

文件系统的性能瓶颈在于与存储介质的数据交互，频繁的访问存储介质严重影响文件系统性能，为减少访问存储介质的次数，提高文件系统的性能，通常都会开辟一块内存空间，让大部分的数据交互都发生在内存中。

在嵌入式存储设备中，由于内存空间有限，文件系统的一些关键数据无法做到在内存中完成一次性写入存储介质，只能分批次从缓存中写到存储介质上。尚若关键数据还没写完，设备就异常断电了，这种情况下存储介质上的文件系统的关键数据就不是完整的，下次挂载的时候就可能很多文件丢失掉，更严重者文件系统直接瘫痪。

而现有的另一种技术方案是在存储文件系统的关键数据时，不通过缓存直接写到存储介质上。这种方案一方面可以有效避免因关键数据丢失文件系统不可用或大批文件丢失的情况，但是另一方面由于在存储时没有缓存的情况下是相当耗时的，因此又会严重影响文件系统的操作性能。

发明内容

针对上述技术中存在的问题，本发明实施例提供一种数据存储方法及系统，用以提高文件操作的响应速度。

为实现上述技术方案，本发明实施例一方面提供一种数据存储方法，包括以下步骤：

将文件系统数据存储到第一缓存中，并创建用于描述该操作的事件，将该事件发送到存储文件系统数据的线程的队列；

所述线程从所述队列中获取一个事件并执行该事件，将事件的执行结果存储到第二缓存中；

当满足预设条件时，将第二缓存中存储的文件系统数据存储到磁盘中。

优选的，所述预设条件包括：

第二缓存中存储的数据量达到预设的数据量阈值；或者，

第二缓存中存储的事件的执行结果的个数达到预设的个数阈值；或者，

存储文件系统数据的线程的处理时间超过预设的时间阈值。

优选的，所述第一缓存包括内存和/或磁盘。

优选的，所述第二缓存包括内存和/或磁盘。

优选的，在将文件系统数据存储到第一缓存中之前，该方法还包括：

根据用户操作确定当前需要存储的文件系统数据。

本发明实施例另一方面还提供一种数据存储系统，该系统包括：包括第一缓存、第二缓存和磁盘，以及：

第一控制单元，用于将文件系统数据存储到第一缓存中，并创建用于描述该操作的事件，将该事件发送到存储文件系统数据的线程的队列；

第二控制单元，用于控制所述线程从所述队列中获取一个事件并执行该事件，将事件的执行结果存储到第二缓存中；

第三控制单元，用于当满足预设条件时，将第二缓存中存储的文件系统数据存储到磁盘中。

优选的，所述预设条件包括：

第二缓存中存储的数据量达到预设的数据量阈值；或者，

第二缓存中存储的事件的执行结果的个数达到预设的个数阈值；或者，

存储文件系统数据的线程的处理时间超过预设的时间阈值。

优选的，所述第一缓存包括内存和/或磁盘。

优选的，所述第二缓存包括内存和/或磁盘。

优选的，该系统还包括：

预处理单元，用于在所述第一控制单元将文件系统数据存储到第一缓存中之前，根据用户操作确定当前需要存储的文件系统数据，将该文件系统数据发送给所述第一控制单元。

本发明实施例采用的技术方案与现有技术相比，具有以下优点：

本发明实施例通过采用内存缓存、硬盘存储相结合的方式来保证缓存数据的完整性，同时采用事件的模式来保证关键数据区与缓存同步。

在存储介质上设定两块空间分别为第一缓存以及第二缓存作为关键数据的缓存区域，存储关键数据的修改记录，并建立所述修改记录与修改信息的对应关系；将关键数据存储到第一缓存，并记录第一缓存上关键数据的修改状况，获取关键数据并将所述关键数据存储到第一缓存，以及将所述第一缓存的状态修改为已存储；将存储的数据中的关键数据的修改记录保存到事件列队中，根据存储的所述修改记录，获取所述关键数据对应的修改信息，并将所述修改信息存储到第二缓存；判断所述第二缓存存储的所述关键数据的修改信息量与设定值的关系；当达到所述设定值时，将所述第二缓存的所述关键数据块存储到硬盘存储器中。

本发明采用的方法可以避免文件系统在短时间内大量操作关键数据区，如短时间内大量删除文件导致的关键数据频繁改写，从而由于操作耗时太长影响文件系统的性能；由于文件操作直接操作内存在缓存区，无需等待文件系统关键数据写入成功，因此不影响文件操作性能，而且当达到设定值时，一次将第二缓存的关键数据存储到硬盘的存储关键数据区上，因此每次从缓存同步到关键数据区的数据都是完整的，可以保证关键数据的完整性，避免了因异常断电所引起的文件系统崩溃。

附图说明

图1为本发明实施例提供的数据存储方法的流程流程图；

图2为本发明实施例提供的数据存储方法的原理示意图；

图3为本发明实施例提供的数据存储系统的结构示意图。

具体实施方式

本发明实施例提供一种数据存储方法及系统，用以提高文件操作的响应速度。

下面结合具体实施方式及附图对本发明提供的一种方法及系统进行描述。

如图1所示，为本发明实施例一提供的一种数据存储方法流程图，包括以下步骤：

步骤101：将文件系统数据存储到第一缓存中，并创建用于描述该操作的事件，将该事件发送到存储文件系统数据的线程的队列；

步骤102：所述线程从所述队列中获取一个事件并执行该事件，将事件的执行结果存储到第二缓存中；

其中，所述事件的执行结果，即执行该事件所得到的文件系统数据，该文件系统数据原来存储在第一缓存中。

步骤103：当满足预设条件时，将第二缓存中存储的文件系统数据存储到磁盘中。

较佳地，所述预设条件包括：

第二缓存中存储的数据量达到预设的数据量阈值，数据量阈值例如4K，如果内存比较大，且断电时可以容忍的文件丢失数目比较大，可以增加个数，否则减少个数；或者，

第二缓存中存储的事件的执行结果的个数达到预设的个数阈值，个数阈值例如10个如果内存比较大，且断电时可以容忍的文件丢失数目比较大，可以增加个数，否则减少个数；或者，

存储文件系统数据的线程的处理时间超过预设的时间阈值，时间阈值例如1秒钟一次，视具体需求，如果文件系统数据修改频繁可以减少时间，否则加大时间。

较佳地，所述第一缓存包括内存和/或磁盘。

较佳地，所述第二缓存包括内存和/或磁盘。

本发明实施例提供的数据存储方法，较佳地，针对对于系统来说重要的数据（特指文件系统数据，而不是录像数据），并非针对全部数据，上述数据的不完整有可能造成系统瘫痪等风险。

因此，较佳地，在将文件系统数据存储到第一缓存中之前，该方法还包括：

根据用户操作确定当前需要存储的文件系统数据（以下简称关键数据），例如，例如创建一个文件时，需要修改文件系统的索引，下次打开的时候就需要通过这个索引值去找到文件。

也就是说，在存储关键数据的修改记录（所谓修改记录，即用于描述将关键数据存储到第一缓存中这一操作的事件）之前，还包括：获取关键数据，并将所述关键数据存储到第一缓存；将存储的数据中的关键数据的修改记录保存到事件列队中，所述修改记录中至少包括：所述关键数据的地址信息，并建立对应所述地址信息与所述关键数据的修改记录的映射关系；根据所述关键数据的地址信息，获取所述事件列队中对应所述地址的关键数据修改记录信息；将所述关键数据修改记录存储到内存的第二缓存。

较佳地，步骤103具体包括：判断所述第二缓存存储的所述关键数据的修改信息量与设定值的关系，具体包括：实时或周期性的监测所述第二缓存存储的所述关键数据的修改信息的数量；当判断出监测到的所述第二缓存存储的所述关键数据的修改信息的数量达到设定值时，将所述关键数据块存储到硬盘存储器中。

或者，由于监测关键数据以及其修改信息是否已经完全拷贝到第二缓存，可以有多种方式，除上述提到的监测数量之外，还可以监测关键数据发生变化的时间，如果超过了设定时长范围，则确定出对应存储文件的关键数据已完全存储到了第二缓存，因此可以将第二缓存的关键数据一次存储到硬盘的关键数据块区。

或者，步骤103具体包括：实时监测所述第二缓存存储的所述关键数据数量发生变化的时间；当判断出监测出的所述关键数据数量发生变化的时间达到设定值时，将所述关键数据块存储到硬盘存储器中。

参见图2，为本发明实施例提供的数据存储方法的原理示意图。

在根据存储的所述修改记录，获取所述关键数据对应的修改信息（包括文件系统索引等文件系统数据），并将所述修改信息存储到第二缓存同时，还可以获取关键数据，并将所述关键数据存储到第一缓存。也就是说，可以在第一缓存接收数据的同时，还可以将关键数据的修改内容存储到第二缓存，通过至少两个线程来实现。

另外，将所述关键数据修改记录存储到第二缓存之后，还包括：清空第二缓存上存储的关键数据，并将所述第二缓存的状态标记为已清空。

在接收到关键数据之后将第一缓存的状态修改为已使用或者已存储，表示出当前的第一缓存是在使用接收数据的状态；在将关键数据存储到第二缓存之后，也将第二缓存的状态标识修改为已存储。

将所述关键数据修改记录存储到第二缓存之后，还包括：清空第二缓存上存储的关键数据，并将所述第二缓存的状态标记为已清空。

本发明实施例另一方面还提供一种数据存储系统，如图3所示，该系统包括：第一缓存11、第二缓存12和磁盘13，以及：

第一控制单元14，用于将文件系统数据存储到第一缓存11中，并创建用于描述该操作的事件，将该事件发送到存储文件系统数据的线程的队列；

第二控制单元15，用于控制所述线程从所述队列中获取一个事件并执行该事件，将事件的执行结果存储到第二缓存12中；

第三控制单元16，用于当满足预设条件时，将第二缓存12中存储的文件系统数据存储到磁盘13中。

较佳的，所述预设条件包括：

第二缓存12中存储的数据量达到预设的数据量阈值；或者，

第二缓存12中存储的事件的执行结果的个数达到预设的个数阈值；或者，

存储文件系统数据的线程的处理时间超过预设的时间阈值。

较佳的，所述第一缓存11包括内存和/或磁盘。

较佳的，所述第二缓存12包括内存和/或磁盘。

较佳的，该系统还包括：

预处理单元10，用于在所述第一控制单元14将文件系统数据存储到第一缓存11中之前，根据用户操作确定当前需要存储的文件系统数据，将该文件系统数据发送给所述第一控制单元14。

综上所述，本发明实施例具有以下优点：

采用本发明实施例通过采用内存缓存、硬盘存储相结合的方式来保证缓存数据的完整性，同时采用事件的模式来保证关键数据区与缓存同步的方法，有效地避免了因异常断电所引起的文件系统崩溃，并且还不会因为短时间内对大量文件进行操作导致关键数据频繁改写，从而影响文件系统的稳定性。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据存储方法，其特征在于，包括以下步骤：

将文件系统数据存储到第一缓存中，并创建用于描述将文件系统数据存储到第一缓存中这一操作的事件，将该事件发送到存储文件系统数据的线程的队列；

所述线程从所述队列中获取一个事件并执行该事件，将事件的执行结果存储到第二缓存中；

当满足预设条件时，将第二缓存中存储的文件系统数据存储到磁盘中。

2.根据权利要求1所述的方法，其特征在于，所述预设条件包括：

第二缓存中存储的数据量达到预设的数据量阈值；或者，

第二缓存中存储的事件的执行结果的个数达到预设的个数阈值；或者，

存储文件系统数据的线程的处理时间超过预设的时间阈值。

3.根据权利要求1所述的方法，其特征在于，所述第一缓存包括内存和/或磁盘。

4.根据权利要求1所述的方法，其特征在于，所述第二缓存包括内存和/或磁盘。

5.根据权利要求1所述的方法，其特征在于，在将文件系统数据存储到第一缓存中之前，该方法还包括：

根据用户操作确定当前需要存储的文件系统数据。

6.一种数据存储系统，其特征在于，该系统包括第一缓存、第二缓存和磁盘，以及：

第一控制单元，用于将文件系统数据存储到第一缓存中，并创建用于描述将文件系统数据存储到第一缓存中这一操作的事件，将该事件发送到存储文件系统数据的线程的队列；

第二控制单元，用于控制所述线程从所述队列中获取一个事件并执行该事件，将事件的执行结果存储到第二缓存中；

第三控制单元，用于当满足预设条件时，将第二缓存中存储的文件系统数据存储到磁盘中。

7.根据权利要求6所述的系统，其特征在于，所述预设条件包括：

第二缓存中存储的数据量达到预设的数据量阈值；或者，

第二缓存中存储的事件的执行结果的个数达到预设的个数阈值；或者，

存储文件系统数据的线程的处理时间超过预设的时间阈值。

8.根据权利要求6所述的系统，其特征在于，所述第一缓存包括内存和/或磁盘。

9.根据权利要求6所述的系统，其特征在于，所述第二缓存包括内存和/或磁盘。

10.根据权利要求6所述的系统，其特征在于，该系统还包括：

预处理单元，用于在所述第一控制单元将文件系统数据存储到第一缓存中之前，根据用户操作确定当前需要存储的文件系统数据，将该文件系统数据发送给所述第一控制单元。