CN113760176A - 数据存储方法和装置 - Google Patents

Abstract

本发明公开了一种数据存储方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：对预设统计周期内被使用的数据进行监测，获取数据在统计周期内的使用详情信息；在被使用的数据中的任一冷数据的使用详情信息符合冷数据迁移条件时，将该冷数据确定为待迁移冷数据；在被使用的数据中的任一热数据的使用详情信息符合热数据迁移条件、并且当前第二存储空间的存储量大于存储量阈值时，将该热数据确定为待迁移热数据；将待迁移冷数据迁移到第二存储空间，将待迁移热数据迁移到第一存储空间。该实施方式能够根据冷数据和热数据的使用情况以及热数据存储空间的当前存储量动态调整数据的冷热标签进而执行迁移。

Description

数据存储方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据存储方法和装置。

背景技术

在目前的数据存储系统中，一般采用冷热数据隔离存储方案，在存储数据时按照预设规则将数据分为冷数据和热数据(例如将更新时间超过一年的数据确定为冷数据)，分别存放在相应的存储空间，从而实现冷数据的集中存储以及热数据访问效率和计算效率的提升。以上存储方案只能按照预设规则硬性地区分冷热数据，当冷数据的使用频率突然在某一个时间点提升、热数据的使用频率突然降低或者热数据存储量暴增时，会出现冷数据查询效率低、热数据存储空间不足等意外情况，由此无法高效支持和适应业务需求。

发明内容

有鉴于此，本发明实施例提供一种数据存储方法和装置，能够根据冷数据和热数据的使用情况以及热数据存储空间的当前存储量动态调整数据的冷热标签进而执行迁移，从而解决现有技术中因冷热数据之间无法流动导致的冷数据查询效率低、热数据存储空间不足等问题。

为实现上述目的，根据本发明的一个方面，提供了一种数据存储方法。

本发明实施例的数据存储方法包括：对预设统计周期内被使用的数据进行监测，获取所述数据在所述统计周期内的使用详情信息；其中，所述数据包括存储在第一存储空间的冷数据和存储在第二存储空间的热数据，每一数据的使用详情信息包括该数据在所述统计周期的使用次数和使用时间；在所述被使用的数据中的任一冷数据的使用详情信息符合预设的冷数据迁移条件时，将该冷数据确定为待迁移冷数据；在所述被使用的数据中的任一热数据的使用详情信息符合预设的热数据迁移条件、并且当前第二存储空间的存储量大于预设的存储量阈值时，将该热数据确定为待迁移热数据；将待迁移冷数据迁移到第二存储空间，将待迁移热数据迁移到第一存储空间。

可选地，所述对预设统计周期内被使用的数据进行监测，包括：对所述统计周期内的查询请求及其返回结果、和/或更新请求及其返回结果进行监测，确定被查询和/或被更新的数据的唯一标识；其中，数据的唯一标识根据该数据对应的库名、表名和主键形成。

可选地，所述被使用的数据中的任一冷数据的使用详情信息符合预设的冷数据迁移条件，包括：该冷数据的使用次数大于预设的使用次数阈值。

可选地，所述被使用的数据中的任一热数据的使用详情信息符合预设的热数据迁移条件，包括：该热数据的最近使用时间距当前的时长大于预设时长。

可选地，任一数据的使用详情信息进一步包括该数据的迁移权重，所述迁移权重为第一权重和第二权重之和；其中，第一权重为所述任一数据的使用周期与所述被使用的数据的平均使用周期的比值，第二权重为所述任一数据的使用次数与所述被使用的数据的平均使用次数的比值，所述任一数据的使用周期为该数据在所述统计周期的最早使用时间与最晚使用时间之间的时长。

可选地，所述被使用的数据中的任一冷数据的使用详情信息符合预设的冷数据迁移条件，包括：该冷数据的迁移权重大于预设的第一权重阈值；所述被使用的数据中的任一热数据的使用详情信息符合预设的热数据迁移条件，包括：该热数据的迁移权重小于预设的第二权重阈值。

为实现上述目的，根据本发明的另一方面，提供了一种数据存储装置。

本发明实施例的数据存储装置可包括：旁路监测单元，用于对预设统计周期内被使用的数据进行监测；冷热打标单元，用于获取所述数据在所述统计周期内的使用详情信息；其中，所述数据包括存储在第一存储空间的冷数据和存储在第二存储空间的热数据，每一数据的使用详情信息包括该数据在所述统计周期的使用次数和使用时间；仲裁单元，用于：在所述被使用的数据中的任一冷数据的使用详情信息符合预设的冷数据迁移条件时，将该冷数据确定为待迁移冷数据；在所述被使用的数据中的任一热数据的使用详情信息符合预设的热数据迁移条件、并且当前第二存储空间的存储量大于预设的存储量阈值时，将该热数据确定为待迁移热数据；数据迁移单元，用于将待迁移冷数据迁移到第二存储空间，将待迁移热数据迁移到第一存储空间。

可选地，旁路监测单元进一步用于：对所述统计周期内的查询请求及其返回结果、和/或更新请求及其返回结果进行监测，确定被查询和/或被更新的数据的唯一标识；其中，数据的唯一标识根据该数据对应的库名、表名和主键形成；仲裁单元进一步用于：在所述被使用的数据中的任一冷数据的使用次数大于预设的使用次数阈值时，将该冷数据确定为待迁移冷数据；在所述被使用的数据中的任一热数据的最近使用时间距当前的时长大于预设时长、并且当前第二存储空间的存储量大于预设的存储量阈值时，将该热数据确定为待迁移热数据；或者，在所述被使用的数据中的任一冷数据的迁移权重大于预设的第一权重阈值时，将该冷数据确定为待迁移冷数据；在所述被使用的数据中的任一热数据的迁移权重小于预设的第二权重阈值、并且当前第二存储空间的存储量大于所述存储量阈值时，将该热数据确定为待迁移热数据；其中，任一数据的使用详情信息进一步包括该数据的迁移权重，所述迁移权重为第一权重和第二权重之和；第一权重为所述任一数据的使用周期与所述被使用的数据的平均使用周期的比值，第二权重为所述任一数据的使用次数与所述被使用的数据的平均使用次数的比值，所述任一数据的使用周期为该数据在所述统计周期的最早使用时间与最晚使用时间之间的时长。

为实现上述目的，根据本发明的又一方面，提供了一种电子设备。

本发明的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明所提供的数据存储方法。

为实现上述目的，根据本发明的再一方面，提供了一种计算机可读存储介质。

本发明的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明所提供的数据存储方法。

根据本发明的技术方案，上述发明中的实施例具有如下优点或有益效果：通过对统计周期内被使用的数据进行监测，获取数据在统计周期内的使用详情信息，在冷数据的使用详情信息符合预设的冷数据迁移条件时，将该冷数据确定为待迁移冷数据；在热数据的使用详情信息符合预设的热数据迁移条件、并且当前第二存储空间的存储量大于存储量阈值时，将该热数据确定为待迁移热数据，最后将待迁移冷数据迁移到用于存储热数据的第二存储空间，将待迁移热数据迁移到用于存储冷数据的第一存储空间。通过以上设置，能够根据数据在统计周期的使用详情信息动态完成冷热数据迁移，保障热数据存储空间，提升冷数据查询效率。另外，本发明实施例采用两种策略确定待迁移的冷热数据：其一为将使用次数大于使用次数阈值的冷数据确定为待迁移冷数据，在当前第二存储空间的存储量大于存储量阈值的情况下将最近使用时间距当前的时长大于预设时长的热数据确定为待迁移热数据；其二是使用基于数据的使用周期和使用次数计算的迁移权重确定待迁移的冷、热数据，由此实现了冷、热数据的全面精准判别。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是本发明实施例中数据存储方法的主要步骤示意图；

图2是本发明实施例中数据存储方法的系统架构示意图；

图3是本发明实施例中旁路监测单元的执行步骤示意图；

图4是本发明实施例中冷热打标单元的执行步骤示意图；

图5是本发明实施例中仲裁单元的执行步骤示意图；

图6是本发明实施例中数据迁移流程示意图；

图7是本发明实施例中数据存储装置的组成部分示意图；

图8是用来实现本发明实施例中数据存储方法的电子设备结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要指出的是，在不冲突的情况下，本发明的实施例以及实施例中的技术特征可以相互结合。

图1是根据本发明实施例中数据存储方法的主要步骤示意图。

如图1所示，本发明实施例的数据存储方法可具体按照如下步骤执行：

步骤S101：对预设统计周期内被使用的数据进行监测，获取数据在统计周期内的使用详情信息。

在本发明实施例中，被使用的数据可以根据实际需要定义，例如，可以将被查询的数据定义为被使用的数据，也可以将被查询以及被更新的数据定义为被使用的数据。实际应用中，本步骤可以由预先编写的旁路监测单元执行，旁路监测单元可以对统计周期内的查询请求及其返回结果、和/或更新请求及其返回结果进行监测，从而确定被查询和/或被更新的数据的唯一标识。较佳地，数据的唯一标识可以根据该数据对应的库名、表名和主键形成。

特别地，上述被使用的数据可以包括存储在第一存储空间的冷数据和存储在第二存储空间的热数据。以上的冷、热数据可以根据现有技术的时间规则或路由规则进行区分，例如，将更新时间超过1年的数据自动归为冷数据，将需要售后服务的订单数据归为热数据等。第一存储空间可以是适合数据集中存储的HBASE等，第二存储空间可以是对查询需求支持良好的ES、MYSQL、REDIS等(以上HBASE、ES、MYSQL、REDIS均为数据库)。

图2是本发明实施例中数据存储方法的系统架构示意图，图3是本发明实施例中旁路监测单元的执行步骤示意图，如图2、3所示，旁路监测单元用于在应用层无感的前提下，捕获到针对后端的请求数据以及后端的返回结果，以供给冷热打标单元进行数据冷热程度的标识。冷热打标单元用于依据用户配置的规则记录数据在统计周期的使用详情信息。仲裁单元用于依据用户配置的阈值确认数据冷热程度，进而确定待迁移冷数据和待迁移热数据。数据迁移单元用于根据仲裁环节确认的待迁移数据完成数据迁移。

在一个实施例中，旁路监测单元默认只监测针对后端的查询请求，当用户进行配置之后，也可以支持监测更新请求，在获取到查询请求和/或更新请求之后，旁路监测单元记录请求的入参并识别相应的返回结果，依据上述入参和返回结果确定请求针对的数据的唯一标识，并基于多条数据的唯一标识形成数据流水，该数据流水可以用于后续步骤的相关处理。

实际应用中，在获取到旁路监测单元提供的数据流水之后，本发明实施例使用预先编写的冷热打标单元记录每条数据在统计周期内的使用详情信息。一般地，每一数据的使用详情信息可以包括该数据在统计周期的使用次数和使用时间(即每次被使用对应的时刻，即查询请求或更新请求对应的请求时刻)。

较佳地，冷热打标单元基于每一数据的唯一标识进行统计以得到其使用详情信息，在一些实施例中，任一数据的使用详情信息还可以包括该数据的迁移权重，该迁移权重用于从一个角度指示数据的活跃程度。具体地，上述迁移权重为第一权重和第二权重之和；其中，第一权重为上述任一数据的使用周期与被使用的数据的平均使用周期的比值，第二权重为上述任一数据的使用次数与被使用的数据的平均使用次数的比值，上述任一数据的使用周期为该数据在统计周期的最早使用时间与最晚使用时间之间的时长。可以理解，上述迁移权重可以从数据的使用时间跨度(时间周期)和使用频次(使用次数)两个方面来准确判断数据在统计周期的活跃程度。

图4是本发明实施例中冷热打标单元的执行步骤示意图，如图4所示，冷热打标单元使用已配置的统计周期或者默认统计周期进行使用详情信息的统计，统计时采用数据的唯一标识作为聚合维度。

步骤S102：在被使用的数据中的任一冷数据的使用详情信息符合预设的冷数据迁移条件时，将该冷数据确定为待迁移冷数据；在被使用的数据中的任一热数据的使用详情信息符合预设的热数据迁移条件、并且当前第二存储空间的存储量大于预设的存储量阈值时，将该热数据确定为待迁移热数据。

在本发明实施例中，本步骤可以使用预先编写的仲裁单元执行。具体地，在冷热打标单元获取到统计周期内被使用数据的使用详情信息之后，仲裁单元根据使用详情信息以及预设的冷数据迁移条件和热数据迁移条件来确定待迁移冷数据和待迁移热数据。实际应用中，仲裁单元可以根据以下两种逻辑执行待迁移冷数据和待迁移热数据的判别。

在第一种逻辑中，仲裁单元将使用次数大于预设的使用次数阈值的冷数据确定为待迁移冷数据；在当前第二存储空间的存储量大于预设的存储量阈值(例如最大存储量的70％)的情况下，将最近使用时间距当前的时长大于预设时长的热数据确定为待迁移热数据。可以理解，在这种判断逻辑中，直接将冷数据的使用频次作为其活跃程度，将热数据的最近一次的未使用时长(最近使用时间距当前的时长)作为其活跃程度，并与当前第二存储空间的存储量情况结合起来进行判断。

在第二种逻辑中，仲裁单元直接将每一数据的迁移权重作为其活跃程度，即，将迁移权重大于预设的第一权重阈值的冷数据确定为待迁移冷数据，在当前第二存储空间的存储量大于存储量阈值的情况下，将迁移权重小于预设的第二权重阈值的热数据确定为待迁移热数据。

通过以上两种判断逻辑，能够从多个角度实现冷热数据的准确区分。图5是本发明实施例中仲裁单元的执行步骤示意图，仲裁单元的以上判别过程可参见图5。

步骤S103：将待迁移冷数据迁移到第二存储空间，将待迁移热数据迁移到第一存储空间。

在本发明实施例中，可以使用预先编写的数据迁移单元执行本步骤。具体地，数据迁移单元可以将待迁移冷数据和待迁移热数据根据活跃程度从大到小的顺序写入预设消息队列，并利用预设的迁移消息公共处理组件将待迁移冷数据迁移到第二存储空间，将待迁移热数据迁移到第一存储空间。图6是本发明实施例中迁移消息公共处理组件的工作流程示意图，如图6所述，迁移消息公共处理组件接收到消息队列中的消息之后，将相应数据写入目标库并在来源库删除相应数据从而实现数据迁移。

在本发明实施例的技术方案中，通过对统计周期内被使用的数据进行监测，获取数据在统计周期内的使用详情信息，在冷数据的使用详情信息符合预设的冷数据迁移条件时，将该冷数据确定为待迁移冷数据；在热数据的使用详情信息符合预设的热数据迁移条件、并且当前第二存储空间的存储量大于存储量阈值时，将该热数据确定为待迁移热数据，最后将待迁移冷数据迁移到用于存储热数据的第二存储空间，将待迁移热数据迁移到用于存储冷数据的第一存储空间。通过以上设置，能够根据数据在统计周期的使用详情信息动态完成冷热数据迁移，保障热数据存储空间，提升冷数据查询效率。另外，本发明实施例采用两种策略确定待迁移的冷热数据：其一为将使用次数大于使用次数阈值的冷数据确定为待迁移冷数据，在当前第二存储空间的存储量大于存储量阈值的情况下将最近使用时间距当前的时长大于预设时长的热数据确定为待迁移热数据；其二是使用基于数据的使用周期和使用次数计算的迁移权重确定待迁移的冷、热数据，由此实现了冷、热数据的全面精准判别。

需要说明的是，对于前述的各方法实施例，为了便于描述，将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，某些步骤事实上可以采用其它顺序进行或者同时进行。此外，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是实现本发明所必须的。

为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。

请参阅图7所示，本发明实施例提供的数据存储装置700可以包括：旁路监测单元701、冷热打标单元702、仲裁单元703和数据迁移单元704。

其中，旁路监测单元701可用于对预设统计周期内被使用的数据进行监测；冷热打标单元702可用于获取所述数据在所述统计周期内的使用详情信息；其中，所述数据包括存储在第一存储空间的冷数据和存储在第二存储空间的热数据，每一数据的使用详情信息包括该数据在所述统计周期的使用次数和使用时间；仲裁单元703可用于：在所述被使用的数据中的任一冷数据的使用详情信息符合预设的冷数据迁移条件时，将该冷数据确定为待迁移冷数据；在所述被使用的数据中的任一热数据的使用详情信息符合预设的热数据迁移条件、并且当前第二存储空间的存储量大于预设的存储量阈值时，将该热数据确定为待迁移热数据；数据迁移单元704可用于将待迁移冷数据迁移到第二存储空间，将待迁移热数据迁移到第一存储空间。

在本发明实施例中，旁路监测单元701可进一步用于：对所述统计周期内的查询请求及其返回结果、和/或更新请求及其返回结果进行监测，确定被查询和/或被更新的数据的唯一标识；其中，数据的唯一标识根据该数据对应的库名、表名和主键形成。

仲裁单元703可进一步用于：在所述被使用的数据中的任一冷数据的使用次数大于预设的使用次数阈值时，将该冷数据确定为待迁移冷数据；在所述被使用的数据中的任一热数据的最近使用时间距当前的时长大于预设时长、并且当前第二存储空间的存储量大于预设的存储量阈值时，将该热数据确定为待迁移热数据；或者，在所述被使用的数据中的任一冷数据的迁移权重大于预设的第一权重阈值时，将该冷数据确定为待迁移冷数据；在所述被使用的数据中的任一热数据的迁移权重小于预设的第二权重阈值、并且当前第二存储空间的存储量大于所述存储量阈值时，将该热数据确定为待迁移热数据。

其中，任一数据的使用详情信息进一步包括该数据的迁移权重，所述迁移权重为第一权重和第二权重之和；第一权重为所述任一数据的使用周期与所述被使用的数据的平均使用周期的比值，第二权重为所述任一数据的使用次数与所述被使用的数据的平均使用次数的比值，所述任一数据的使用周期为该数据在所述统计周期的最早使用时间与最晚使用时间之间的时长。

在本发明实施例的技术方案中，通过对统计周期内被使用的数据进行监测，获取数据在统计周期内的使用详情信息，在冷数据的使用详情信息符合预设的冷数据迁移条件时，将该冷数据确定为待迁移冷数据；在热数据的使用详情信息符合预设的热数据迁移条件、并且当前第二存储空间的存储量大于存储量阈值时，将该热数据确定为待迁移热数据，最后将待迁移冷数据迁移到用于存储热数据的第二存储空间，将待迁移热数据迁移到用于存储冷数据的第一存储空间。通过以上设置，能够根据数据在统计周期的使用详情信息动态完成冷热数据迁移，保障热数据存储空间，提升冷数据查询效率。另外，本发明实施例采用两种策略确定待迁移的冷热数据：其一为将使用次数大于使用次数阈值的冷数据确定为待迁移冷数据，在当前第二存储空间的存储量大于存储量阈值的情况下将最近使用时间距当前的时长大于预设时长的热数据确定为待迁移热数据；其二是使用基于数据的使用周期和使用次数计算的迁移权重确定待迁移的冷、热数据，由此实现了冷、热数据的全面精准判别。

本发明还提供了一种电子设备。本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明所提供的数据存储方法。

下面参考图8，其示出了适于用来实现本发明实施例的电子设备的计算机系统800的结构示意图。图8示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM803中，还存储有计算机系统800操作所需的各种程序和数据。CPU801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本发明公开的实施例，上文的主要步骤图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在上述实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元801执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。在本发明中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括旁路监测单元、冷热打标单元、仲裁单元和数据迁移单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，旁路监测单元还可以被描述为“向冷热打标单元提供统计周期内被使用的数据的单元”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中的。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该设备执行时，使得该设备执行的步骤包括：对预设统计周期内被使用的数据进行监测，获取所述数据在所述统计周期内的使用详情信息；其中，所述数据包括存储在第一存储空间的冷数据和存储在第二存储空间的热数据，每一数据的使用详情信息包括该数据在所述统计周期的使用次数和使用时间；在所述被使用的数据中的任一冷数据的使用详情信息符合预设的冷数据迁移条件时，将该冷数据确定为待迁移冷数据；在所述被使用的数据中的任一热数据的使用详情信息符合预设的热数据迁移条件、并且当前第二存储空间的存储量大于预设的存储量阈值时，将该热数据确定为待迁移热数据；将待迁移冷数据迁移到第二存储空间，将待迁移热数据迁移到第一存储空间。

在本发明实施例的技术方案中，通过对统计周期内被使用的数据进行监测，获取数据在统计周期内的使用详情信息，在冷数据的使用详情信息符合预设的冷数据迁移条件时，将该冷数据确定为待迁移冷数据；在热数据的使用详情信息符合预设的热数据迁移条件、并且当前第二存储空间的存储量大于存储量阈值时，将该热数据确定为待迁移热数据，最后将待迁移冷数据迁移到用于存储热数据的第二存储空间，将待迁移热数据迁移到用于存储冷数据的第一存储空间。通过以上设置，能够根据数据在统计周期的使用详情信息动态完成冷热数据迁移，保障热数据存储空间，提升冷数据查询效率。另外，本发明实施例采用两种策略确定待迁移的冷热数据：其一为将使用次数大于使用次数阈值的冷数据确定为待迁移冷数据，在当前第二存储空间的存储量大于存储量阈值的情况下将最近使用时间距当前的时长大于预设时长的热数据确定为待迁移热数据；其二是使用基于数据的使用周期和使用次数计算的迁移权重确定待迁移的冷、热数据，由此实现了冷、热数据的全面精准判别。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据存储方法，其特征在于，包括：

对预设统计周期内被使用的数据进行监测，获取所述数据在所述统计周期内的使用详情信息；其中，所述数据包括存储在第一存储空间的冷数据和存储在第二存储空间的热数据，每一数据的使用详情信息包括该数据在所述统计周期的使用次数和使用时间；

在所述被使用的数据中的任一冷数据的使用详情信息符合预设的冷数据迁移条件时，将该冷数据确定为待迁移冷数据；在所述被使用的数据中的任一热数据的使用详情信息符合预设的热数据迁移条件、并且当前第二存储空间的存储量大于预设的存储量阈值时，将该热数据确定为待迁移热数据；

将待迁移冷数据迁移到第二存储空间，将待迁移热数据迁移到第一存储空间。

2.根据权利要求1所述的方法，其特征在于，所述对预设统计周期内被使用的数据进行监测，包括：

对所述统计周期内的查询请求及其返回结果、和/或更新请求及其返回结果进行监测，确定被查询和/或被更新的数据的唯一标识；其中，数据的唯一标识根据该数据对应的库名、表名和主键形成。

3.根据权利要求1所述的方法，其特征在于，所述被使用的数据中的任一冷数据的使用详情信息符合预设的冷数据迁移条件，包括：

该冷数据的使用次数大于预设的使用次数阈值。

4.根据权利要求3所述的方法，其特征在于，所述被使用的数据中的任一热数据的使用详情信息符合预设的热数据迁移条件，包括：

该热数据的最近使用时间距当前的时长大于预设时长。

5.根据权利要求1所述的方法，其特征在于，任一数据的使用详情信息进一步包括该数据的迁移权重，所述迁移权重为第一权重和第二权重之和；其中，

第一权重为所述任一数据的使用周期与所述被使用的数据的平均使用周期的比值，第二权重为所述任一数据的使用次数与所述被使用的数据的平均使用次数的比值，所述任一数据的使用周期为该数据在所述统计周期的最早使用时间与最晚使用时间之间的时长。

6.根据权利要求5所述的方法，其特征在于，

所述被使用的数据中的任一冷数据的使用详情信息符合预设的冷数据迁移条件，包括：该冷数据的迁移权重大于预设的第一权重阈值；

所述被使用的数据中的任一热数据的使用详情信息符合预设的热数据迁移条件，包括：该热数据的迁移权重小于预设的第二权重阈值。

7.一种数据存储装置，其特征在于，包括：

旁路监测单元，用于对预设统计周期内被使用的数据进行监测；

冷热打标单元，用于获取所述数据在所述统计周期内的使用详情信息；其中，所述数据包括存储在第一存储空间的冷数据和存储在第二存储空间的热数据，每一数据的使用详情信息包括该数据在所述统计周期的使用次数和使用时间；

仲裁单元，用于：在所述被使用的数据中的任一冷数据的使用详情信息符合预设的冷数据迁移条件时，将该冷数据确定为待迁移冷数据；在所述被使用的数据中的任一热数据的使用详情信息符合预设的热数据迁移条件、并且当前第二存储空间的存储量大于预设的存储量阈值时，将该热数据确定为待迁移热数据；

数据迁移单元，用于将待迁移冷数据迁移到第二存储空间，将待迁移热数据迁移到第一存储空间。

8.根据权利要求7所述的装置，其特征在于，旁路监测单元进一步用于：对所述统计周期内的查询请求及其返回结果、和/或更新请求及其返回结果进行监测，确定被查询和/或被更新的数据的唯一标识；其中，数据的唯一标识根据该数据对应的库名、表名和主键形成；

仲裁单元进一步用于：在所述被使用的数据中的任一冷数据的使用次数大于预设的使用次数阈值时，将该冷数据确定为待迁移冷数据；在所述被使用的数据中的任一热数据的最近使用时间距当前的时长大于预设时长、并且当前第二存储空间的存储量大于预设的存储量阈值时，将该热数据确定为待迁移热数据；或者，

在所述被使用的数据中的任一冷数据的迁移权重大于预设的第一权重阈值时，将该冷数据确定为待迁移冷数据；在所述被使用的数据中的任一热数据的迁移权重小于预设的第二权重阈值、并且当前第二存储空间的存储量大于所述存储量阈值时，将该热数据确定为待迁移热数据；其中，

任一数据的使用详情信息进一步包括该数据的迁移权重，所述迁移权重为第一权重和第二权重之和；第一权重为所述任一数据的使用周期与所述被使用的数据的平均使用周期的比值，第二权重为所述任一数据的使用次数与所述被使用的数据的平均使用次数的比值，所述任一数据的使用周期为该数据在所述统计周期的最早使用时间与最晚使用时间之间的时长。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。

Images