[go: up one dir, main page]

CN114527935A - 数据存储方法、装置、电子设备、介质及程序产品 - Google Patents

数据存储方法、装置、电子设备、介质及程序产品 Download PDF

Info

Publication number
CN114527935A
CN114527935A CN202210033828.1A CN202210033828A CN114527935A CN 114527935 A CN114527935 A CN 114527935A CN 202210033828 A CN202210033828 A CN 202210033828A CN 114527935 A CN114527935 A CN 114527935A
Authority
CN
China
Prior art keywords
data
storage medium
directory
recycle bin
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210033828.1A
Other languages
English (en)
Inventor
周沁
谢东凯
廖晨歌
叶庆华
周栩孜
鲍利平
梅嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210033828.1A priority Critical patent/CN114527935A/zh
Publication of CN114527935A publication Critical patent/CN114527935A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开实施例公开了一种数据存储方法、装置、电子设备、介质及程序产品，所述方法包括：获取数据的删除时间，其中，所述删除时间是所述数据进入回收站的时间；当所述删除时间满足预设条件时，将所述数据从第一存储介质转移到第二存储介质。

Description

数据存储方法、装置、电子设备、介质及程序产品
技术领域
本公开涉及计算机技术领域，具体涉及一种数据存储方法、装置、电子设备、介质及程序产品。
背景技术
网络附属存储(Network Attached Storage，NAS)的文件回收站功能为用户提供了删除数据找回的能力。然而，文件回收站中的数据虽然大多为冷数据，却与用户使用的热数据在相同的存储介质中进行存储，占据了热数据的存储资源，造成了存储资源的浪费，且在存储介质使用率过高时无法灵活降低使用率，影响了存储资源使用效率。
发明内容
为了解决相关技术中的问题，本公开实施例提供一种数据存储方法、装置、电子设备、介质及程序产品。
第一方面，本公开实施例中提供了一种数据存储方法。
具体地，所述数据存储方法，包括：
获取数据的删除时间，其中，所述删除时间是所述数据进入回收站的时间；
根据所述删除时间确定所述数据是否为冷数据；
当确定所述数据为冷数据时，将所述数据从第一存储介质转移到第二存储介质，所述第二存储介质的存储成本低于所述第一存储介质的存储成本.
结合第一方面，本公开在第一方面的第一种实现方式中，其中：
所述数据在进入回收站前存储在所述第一存储介质中。
结合第一方面，本公开在第一方面的第二种实现方式中，其中，所述数据在进入回收站前对应于第一目录中的目录项，所述方法还包括：
在所述数据进入回收站时，将所述数据的目录项从所述第一目录中删除，在第二目录中为所述数据建立目录项；
按照预设时间段对所述第二目录中的目录项分组，每组中的目录项对应于相应时间段内进入回收站的数据；
所述根据所述删除时间确定所述数据是否为冷数据，包括：当任一组目录项对应的时间段到当前时间的时长大于预设阈值时，确定所述组目录项对应的数据为冷数据。
结合第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，还包括：
在恢复所述数据时，将所述数据的目录项从所述第二目录中删除，在所述第一目录中建立所述数据的目录项，将所述数据从所述第二存储介质转移到所述第一存储介质。
结合第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，其中，所述将所述数据从第二存储介质转移到第一存储介质，包括：
扫描所述第一目录中的所述数据的目录项，如果所述目录项对应的任意文件在所述第二存储介质中，则将所述文件从所述第二存储介质转移到所述第一存储介质。
结合第一方面的第三种实现方式，本公开在第一方面的第五种实现方式中，其中，所述将所述数据从第二存储介质转移到第一存储介质，包括：
从所述第一目录的根目录起扫描所述第一目录中的目录项，如果所述目录项对应的任意文件在所述第二存储介质中，则将所述文件从所述第二存储介质转移到所述第一存储介质。
第二方面，本公开实施例中提供了一种数据存储装置。
具体地，所述数据存储装置，包括：
获取单元，被配置为获取数据的删除时间，其中，所述删除时间是所述数据进入回收站的时间；
确定单元，被配置为根据所述删除时间确定所述数据是否为冷数据；
转移单元，被配置为当确定所述数据为冷数据时，将所述数据从第一存储介质转移到第二存储介质。
结合第二方面，本公开在第二方面的第一种实现方式中，其中：
所述数据在进入回收站前存储在所述第一存储介质中。
结合第二方面，本公开在第二方面的第二种实现方式中，其中，所述数据在进入回收站前对应于第一目录中的目录项，所述转移单元还被配置为：
在所述数据进入回收站时，将所述数据的目录项从所述第一目录中删除，在第二目录中为所述数据建立目录项；
按照预设时间段对所述第二目录中的目录项分组，每组中的目录项对应于相应时间段内进入回收站的数据；
所述根据所述删除时间确定所述数据是否为冷数据，包括：当任一组目录项对应的时间段到当前时间的时长大于预设阈值时，确定所述组目录项对应的数据为冷数据。
结合第二方面的第二种实现方式，本公开在第二方面的第三种实现方式中，所述转移单元还被配置为：
在恢复所述数据时，将所述数据的目录项从所述第二目录中删除，在所述第一目录中建立所述数据的目录项，将所述数据从所述第二存储介质转移到所述第一存储介质。
结合第二方面的第三种实现方式，本公开在第二方面的第四种实现方式中，其中，所述将所述数据从第二存储介质转移到第一存储介质，包括：
扫描所述第一目录中的所述数据的目录项，如果所述目录项对应的任意文件在所述第二存储介质中，则将所述文件从所述第二存储介质转移到所述第一存储介质。
结合第二方面的第三种实现方式，本公开在第二方面的第五种实现方式中，其中，所述将所述数据从第二存储介质转移到第一存储介质，包括：
从所述第一目录的根目录起扫描所述第一目录中的目录项，如果所述目录项对应的任意文件在所述第二存储介质中，则将所述文件从所述第二存储介质转移到所述第一存储介质。
第三方面，本公开实施例提供了一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第一方面至第一方面的第五种实现方式中任一项所述的方法。
第四方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第一方面至第一方面的第五种实现方式中所述的方法。
第五方面，本公开实施例中提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如第一方面至第一方面的第五种实现方式中所述的方法步骤。
根据本公开实施例提供的技术方案，获取数据的删除时间，其中，所述删除时间是所述数据进入回收站的时间，根据所述删除时间确定所述数据是否为冷数据，当确定所述数据为冷数据时，将所述数据从第一存储介质转移到第二存储介质，所述第二存储介质的存储成本低于所述第一存储介质的存储成本。在本技术方案中，对冷数据自动进行转储，从第一存储介质转移到第二存储介质，从而在不影响用户体验的基础上，提高了资源使用效率，使得第一存储介质能够承载更多的数据存储需求。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
图1示出根据本公开实施例的数据存储方法的流程图；
图2示出按预设时间段对第二目录中的目录项分组时的数据存储方法的流程图；
图3示出根据本公开实施例对所述数据进行恢复的方法的流程图；
图4示出根据本公开实施例对第一存储介质中的第一目录进行定时扫描的方法的流程图；
图5示出根据本公开的实施例的数据存储装置的结构框图；
图6示出根据本公开实施例的数据存储方法的具体应用场景的示意图；
图7示出根据本公开的实施例的电子设备的结构框图；
图8示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
在本公开中，对用户信息或用户数据的获取均为经用户授权、确认，或由用户主动选择的操作。
首先，对本公开一个或多个实施例涉及的名词术语进行解释。
NAS文件系统卷：对应云上文件系统的一个实例，每个文件系统卷有一个从根目录开始的目录树。
NAS文件回收站：文件系统卷可以配置文件回收站功能。用户删除的目录和文件将在文件回收站中保留若干天，在此期间用户可以选择将误删除的目录和文件恢复或者彻底删除。
冷数据/热数据：按照数据被使用的频繁程度，数据可以被分为热数据和冷数据。热数据是被频繁使用的数据，冷数据是使用频率很低的数据，例如回收站中超过预定时间未被恢复的数据或用于备份的数据。
上文提及，NAS的文件回收站功能为用户提供了删除数据找回的能力。然而，文件回收站中的数据虽然大多为冷数据，却与用户使用的热数据在相同的存储介质中进行存储，占据了热数据的存储资源，造成了存储资源的浪费，且在存储介质使用率过高时无法灵活降低使用率，影响了存储资源使用效率。
鉴于此，本公开提出了一种数据存储方法，获取数据的删除时间，其中，所述删除时间是所述数据进入回收站的时间，根据所述删除时间确定所述数据是否为冷数据，当确定所述数据为冷数据时，将所述数据从第一存储介质转移到第二存储介质。在本技术方案中，通过对回收站中的冷数据自动进行转储，从第一存储介质转移到第二存储介质，从而在不影响用户体验的基础上，提高了资源使用效率，使得第一存储介质能够承载更多的数据存储需求。
图1示出根据本公开的实施例的数据存储方法的流程图。如图1所示，所述数据存储方法包括以下步骤S101-S103：
在步骤S101中，获取数据的删除时间，其中，所述删除时间是所述数据进入回收站的时间；
在步骤S102中，根据所述删除时间确定所述数据是否为冷数据；
在步骤S103中，当确定所述数据为冷数据时，将所述数据从第一存储介质转移到第二存储介质。
在本公开实施例中，所述数据存储方法可以应用于块存储、对象存储、分布式文件系统POSIX以及网络附属存储NAS等各种存储方案，为了描述的方便，下文以在NAS中进行数据存储为例对于本公开方案进行解释和说明。
NAS通过将存储设备连接到网络上来提供数据和文件服务。部分NAS现已支持回收站功能，回收站功能可以保护和恢复误删除、误替换的数据。具体地，文件系统内每次对数据进行替换、删除操作时，NAS都会在回收站内保存一份对应的数据，换言之，每次对数据进行替换、删除操作时，被替换或删除的数据进入回收站。用户可以通过控制台、OpenAPI等方式查询和恢复数据到原位置或指定位置。目前，回收站中数据的存储介质与数据被删除、替换前在NAS中的存储介质通常相同。例如，数据删除、替换前存储在第一存储介质中，第一存储介质可以是具有较快的存取速度的存储介质，例如磁盘阵列、固态硬盘、闪存等。数据进入回收站之后如果超过预定时间未被恢复则成为冷数据，但仍然存储在第一存储介质中，挤占了用户使用的数据的存储空间。已有技术中，可以通过将回收站生命管理周期功能暴露给用户的方式，使用户自行对回收站中的数据转储等配置。但是，这种方式需要在控制台添加回收站生命周期管理的界面和接口，增加了开发复杂度，还需要用户自行对回收站的文件进行管理，增加了用户的学习负担。用户独立管理自己的回收站文件，集群无法对回收站数据进行统一管理，无法在存储介质使用率过高时降低使用率，提高资源使用效率。
鉴于此，在本公开实施例中，通过图1所示的数据存储方法，为回收站添加自动转储功能，将回收站中的冷数据自动转储到第二存储介质，从而在不影响用户体验的基础上，提高了资源使用效率，使得第一存储介质能够承载更多的数据存储需求。
根据本公开的实施例，第二存储介质例如可以是蓝光存储设备，其存储成本低于第一存储介质。通过将回收站中删除时间满足预设条件的数据自动转储到第二存储介质，可以降低整体数据存储成本。
在本公开实施例中，所述数据为存储在NAS用户文件系统中的文件、文件夹等，所述数据在进入回收站前对应于第一目录中的目录项，所述第一目录对应的数据为NAS用户文件系统中用户正在使用的数据，所述第一目录中的数据均存储在第一存储介质中。当用户需要对与第一目录中的目录项相对应的数据进行删除时，NAS文件系统执行如下操作：在第二目录中为所述数据建立目录项，并将所述数据的目录项从所述第一目录中删除，其中，所述第二目录是回收站中数据的目录。
在本公开实施例中，可以按照预设时间段对所述第二目录中的目录项分组，每组中的目录项对应于相应时间段内进入回收站的数据。所述根据所述删除时间确定所述数据是否为冷数据，包括：当任一组目录项对应的时间段到当前时间的时长大于预设阈值时，将所述组目录项对应的数据确定为冷数据。具体地，可以对回收站中的数据按小时建立目录项分组，例如，在2022年1月3日0:00-0:59时间段内进入回收站的数据位于目录项分组1，2022年1月3日1:00-1:59时间段内进入回收站的数据位于目录项分组2，以此类推，从而每个目录项分组中包含该目录项对应的小时内进入回收站的数据的目录项。根据本公开的实施例，每个目录项分组可以采取一个目录的形式，即每个目录中包含该目录对应的时间段内进入回收站的数据的目录项。根据本公开的实施例，所述任一目录项分组对应的时间段到当前时间的时长可以是所述时间段的起始时间、终止时间或表征时间到当前时间的时长，所述表征时间可以是以指定方式定义或计算得出的该小时时间段的中间时间。当任一组目录项对应的时间段到当前时间的时长大于预设阈值时，认为该组目录项对应的数据为冷数据。通过对目录项进行分组管理的方式，可以对进入回收站的数据进行批量监测和转储，提高管理和转储效率。
在本公开实施例中，所述根据所述删除时间确定所述数据是否为冷数据，包括：当所述数据的删除时间到当前时间的时长大于指定阈值时，确定所述数据为冷数据。相比于上述分组转储的方式，这种方式实现了时间粒度更加精细的转储。
在本公开实施例中，所述预设阈值或指定阈值可以是根据实际应用设置的固定阈值，例如24小时；也可以是对应于存储介质使用率动态变化的阈值，例如在存储介质使用率为90％时，所述阈值可以是1小时，在存储介质使用率为75％时，所述阈值可以是4小时等；还可以是利用机器学习算法基于用户使用习惯、进入回收站的数据类型等因素等计算得到的变量，具体的算法可采用现有预测模型实现，此处不再赘述。
在本公开实施例中，所述将所述数据从第一存储介质转移到第二存储介质可以是，将所述数据从存储成本较高的第一存储介质转移到存储成本较低的第二存储介质，例如，可以将数据层从用于存储热数据的高速存储介质转移到用于存储冷数据的低速存储介质。
根据本公开实施例提供的技术方案，通过对回收站中的冷数据自动进行转储，从具有较高存储成本的第一存储介质转移到具有较低存储成本的第二存储介质，从而在不影响用户体验的基础上，提高了资源使用效率。
图2示出按预设时间段对第二目录中的目录项分组时的数据存储方法的流程图。如图2所示，所述数据存储方法包括：按照预设时间段对所述第二目录中的目录项分组；判断任一目录项分组是否满足转储条件；若目录项分组不满足转储条件，则跳过该目录项分组，获取下一对应的目录项分组，并再次判断所述下一目录项分组是否满足转储条件；若任一目录项分组满足转储条件，则扫描该目录项分组内的目录项，如果扫描命中的对象是子目录，则进一步扫描子目录中的内容，如果扫描命中的对象是文件，则将该文件转储至存储成本较低的第二存储介质。根据本公开的实施例，当任一目录项分组对应的时间段到当前时间的时长大于预设阈值时，认为该目录项分组满足转储条件。
根据本公开实施例提供的技术方案，通过对第二目录中的目录项基于预设时间段进行分组，并按组对数据进行判断和转储处理，实现了数据的批量监测和转储，提高了转储效率。
图3示出根据本公开实施例对所述数据进行恢复的方法的流程图。如图3所示，所述对所述数据进行恢复的方法包括：在所述第一目录中建立所述数据的目录项，并将所述数据的目录项从所述第二目录中删除；扫描所述第一目录中的所述数据的目录项，如果所述目录项对应的任意文件在所述第二存储介质中，则将所述文件从所述第二存储介质转移到所述第一存储介质；如果所述目录项对应的任意文件在所述第一存储介质中，则跳过该文件。
在本公开实施例中，所述对数据进行恢复的操作可以基于接收到用户发送的恢复数据命令进行。
在本公开实施例中，所述扫描所述第一目录中的所述数据的目录项可以是，扫描所述第一目录中的所述数据的目录项，判断命中的子元素为子目录还是文件，若为子目录则对该子目录中的内容继续进行扫描，再次判断命中的子元素为子目录还是文件；若为文件，则判断所述文件在所述第二存储介质中或在所述第一存储介质中。如果文件在第一存储介质中，则跳过该文件，如果该文件在第二存储介质中，则将该文件转移到第一存储介质。
根据本公开实施例提供的技术方案，在对数据进行恢复时，通过首先在第一目录中建立数据的目录项，然后再对所述目录项中的数据进行恢复，实现了数据恢复对用户无感知，提升了用户体验。
根据本公开的实施例，在第一存储介质使用率较低时，可以自动执行将回收站中的数据从第二存储介质转移到第一存储介质的操作。具体地，可以在所述第一存储介质使用率较低时，选取所述第二目录中删除时长最短的数据自动执行将所述数据从第二存储介质转移至第一存储介质的操作，也可以根据文件类型等因素选择用户可能会对其进行恢复操作的数据，自动将所述数据从第二存储介质转移至第一存储介质。第二存储介质转移至第一存储介质的数据在用户进行恢复操作之前，仍然位于回收站中。这样做的好处是当用户从回收站恢复这部分数据时，由于这部分数据已经存储在第一存储介质中，因此可以更快地完成恢复操作。
在上述对数据进行恢复的过程中，如果当某个文件尚未从所述第二存储介质转移到所述第一存储介质时，用户对第一目录中与所述文件对应的目录项执行了重命名或移动操作，导致该目录项未被扫描到，此时采用上述数据恢复的方法将无法将该文件从第二存储介质转移至第一存储介质。
图4示出根据本公开实施例对第一存储介质中的第一目录进行定时扫描的方法的流程图。如图4所示，所述对第一存储介质中的第一目录进行定时扫描的方法包括：从所述第一目录的根目录起，扫描所述第一目录中的目录项；如果所述目录项对应的任意文件在所述第二存储介质中，则将所述文件从所述第二存储介质转移到所述第一存储介质；如果所述目录项对应的任意文件在所述第一存储介质中，则跳过该文件。
在本公开实施例中，所述扫描所述第一目录中的目录项可以是，扫描所述第一目录中的目录项，判断命中的子元素为子目录还是文件，若为子目录则对该子目录中的内容继续进行扫描，再次判断命中的子元素为子目录还是文件；若为文件，则判断所述文件在所述第二存储介质中或在所述第一存储介质中。
根据本公开实施例提供的技术方案，通过从第一目录的根目录起定期扫描第一存储介质中的第一目录，在不影响用户体验的前提下，保证了所有数据的正确恢复，进一步提高了方案的可用性。
图5示出根据本公开的实施例的数据存储装置的结构框图。其中，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
如图5所示，所述数据存储装置500包括：
获取单元510，被配置为获取数据的删除时间，其中，所述删除时间是所述数据进入回收站的时间；
确定单元520，被配置为根据所述删除时间确定所述数据是否为冷数据；
转移单元530，被配置为当确定所述数据为冷数据时，将所述数据从第一存储介质转移到第二存储介质，所述第二存储介质的存储成本低于所述第一存储介质的存储成本。
在本公开实施例中，所述数据在进入回收站前存储在所述第一存储介质中。
在本公开实施例中，所述数据在进入回收站前对应于第一目录中的目录项，所述转移单元还被配置为：在所述数据进入回收站时，将所述数据的目录项从所述第一目录中删除，在第二目录中为所述数据建立目录项；按照预设时间段对所述第二目录中的目录项分组，每组中的目录项对应于相应时间段内进入回收站的数据；所述根据所述删除时间确定所述数据是否为冷数据，包括：当任一组目录项对应的时间段到当前时间的时长大于预设阈值时，确定所述组目录项对应的数据为冷数据。
在本公开实施例中，所述转移单元还被配置为：在恢复所述数据时，将所述数据的目录项从所述第二目录中删除，在所述第一目录中建立所述数据的目录项，将所述数据从所述第二存储介质转移到所述第一存储介质。其中，所述将所述数据从第二存储介质转移到第一存储介质，采用以下方式实现：扫描所述第一目录中的所述数据的目录项，如果所述目录项对应的任意文件在所述第二存储介质中，则将所述文件从所述第二存储介质转移到所述第一存储介质。或者，所述将所述数据从第二存储介质转移到第一存储介质，采用以下方式实现：从所述第一目录的根目录起扫描所述第一目录中的目录项，如果所述目录项对应的任意文件在所述第二存储介质中，则将所述文件从所述第二存储介质转移到所述第一存储介质。
根据本公开实施例提供的技术方案，通过对回收站中的冷数据自动进行转储，从具有较高存储成本的第一存储介质转移到具有较低存储成本的第二存储介质，从而在不影响用户体验的基础上，提高了资源使用效率。
图6示出根据本公开实施例的数据存储方法的具体应用场景的示意图。
如图6所示，所述数据存储方法可应用于NAS存储系统，所述NAS存储系统包括用户文件系统、生命周期管理模块、回收站管理模块和低频存储单元。所述用户文件系统位于第一存储介质，包括用户在用文件和用户回收站，所述用户在用文件包括用户存放于NAS存储系统中，未进行替换、删除的数据，所述用户回收站中包括被用户替换或删除的数据。所述生命周期管理模块基于接收到的来自回收站管理模块的控制信号，对所述用户文件系统中的数据进行生命周期管理操作，例如，所述生命周期管理模块可以在接收到所述回收站管理模块发送的回收站数据转储命令时，将所述用户回收站中对应的数据从所述用户文件系统转移至低频存储单元，所述低频存储单元位于第二存储介质，所述第二存储介质的存储成本低于所述第一存储介质的存储成本；所述生命周期管理模块还可以在接收到所述回收站管理模块发送的回收站数据恢复命令时，将存储于所述低频存储单元中的对应数据转移至所述用户在用文件。所述回收站管理模块用于判断数据是否满足存储和/或恢复条件，并在满足时发送相应的命令至所述生命周期管理模块，以对数据执行转储和/或恢复操作。其中，所述判断数据是否满足存储条件可以是根据数据的删除时间判断数据是否属于冷数据，所述判断数据是否满足恢复条件可以是是否接收到用户发送的恢复数据指令。根据本公开的实施例，当第一存储介质使用率低于预设值时，回收站管理模块可以控制生命周期管理模块将数据从所述低频存储单元恢复至所述第一存储介质。
本公开还公开了一种电子设备，图7示出根据本公开的实施例的电子设备的结构框图。
如图7所示，所述电子设备700包括存储器701和处理器702，其中，存储器701用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器702执行以实现根据本公开的实施例的数据存储方法。
在本公开实施例中，所述数据存储方法包括：获取数据的删除时间，其中，所述删除时间是所述数据进入回收站的时间；根据所述删除时间确定所述数据是否为冷数据；当确定所述数据为冷数据时，将所述数据从第一存储介质转移到第二存储介质。
在本公开实施例中，其中，所述数据在进入回收站前存储在所述第一存储介质中。
在本公开实施例中，其中，所述数据在进入回收站前对应于第一目录中的目录项，所述方法还包括：在所述数据进入回收站时，将所述数据的目录项从所述第一目录中删除，在第二目录中为所述数据建立目录项；按照预设时间段对所述第二目录中的目录项分组，每组中的目录项对应于相应时间段内进入回收站的数据；所述根据所述删除时间确定所述数据是否为冷数据，包括：当任一组目录项对应的时间段到当前时间的时长大于预设阈值时，确定所述组目录项对应的数据为冷数据。
在本公开实施例中，所述方法还包括：在恢复所述数据时，将所述数据的目录项从所述第二目录中删除，在所述第一目录中建立所述数据的目录项，将所述数据从所述第二存储介质转移到所述第一存储介质。
在本公开实施例中，其中，所述将所述数据从第二存储介质转移到第一存储介质，包括：扫描所述第一目录中的所述数据的目录项，如果所述目录项对应的任意文件在所述第二存储介质中，则将所述文件从所述第二存储介质转移到所述第一存储介质。或者，所述将所述数据从第二存储介质转移到第一存储介质，包括：从所述第一目录的根目录起扫描所述第一目录中的目录项，如果所述目录项对应的任意文件在所述第二存储介质中，则将所述文件从所述第二存储介质转移到所述第一存储介质。
根据本公开实施例提供的技术方案，通过对删除时间满足预设条件的数据自动进行转储，从具有较高存储成本的第一存储介质转移到具有较低存储成本的第二存储介质，从而在不影响用户体验的基础上，提高了资源使用效率。
图8示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
如图8所示，计算机系统800包括处理单元801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行上述实施例中的各种处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。处理单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。其中，所述处理单元801可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括计算机指令，该计算机指令被处理器执行时实现本公开的实施例的数据存储方法的步骤。在这样的实施例中，该计算机程序产品可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种数据存储方法，包括：
获取数据的删除时间，其中，所述删除时间是所述数据进入回收站的时间；
根据所述删除时间确定所述数据是否为冷数据；
当确定所述数据为冷数据时，将所述数据从第一存储介质转移到第二存储介质。
2.根据权利要求1所述的方法，其中：
所述数据在进入回收站前存储在所述第一存储介质中；
所述第二存储介质的存储成本低于所述第一存储介质的存储成本。
3.根据权利要求1所述的方法，其中，所述数据在进入回收站前对应于第一目录中的目录项，所述方法还包括：
在所述数据进入回收站时，将所述数据的目录项从所述第一目录中删除，在第二目录中为所述数据建立目录项；
按照预设时间段对所述第二目录中的目录项分组，每组中的目录项对应于相应时间段内进入回收站的数据；
所述根据所述删除时间确定所述数据是否为冷数据，包括：当任一组目录项对应的时间段到当前时间的时长大于预设阈值时，确定所述组目录项对应的数据为冷数据。
4.根据权利要求3所述的方法，还包括：
在恢复所述数据时，将所述数据的目录项从所述第二目录中删除，在所述第一目录中建立所述数据的目录项，将所述数据从所述第二存储介质转移到所述第一存储介质。
5.根据权利要求4所述的方法，其中，所述将所述数据从第二存储介质转移到第一存储介质，包括：
扫描所述第一目录中的所述数据的目录项，如果所述目录项对应的任意文件在所述第二存储介质中，则将所述文件从所述第二存储介质转移到所述第一存储介质。
6.根据权利要求4所述的方法，其中，所述将所述数据从第二存储介质转移到第一存储介质，包括：
从所述第一目录的根目录起，扫描所述第一目录中的目录项，如果所述目录项对应的任意文件在所述第二存储介质中，则将所述文件从所述第二存储介质转移到所述第一存储介质。
7.一种数据存储装置，包括：
获取单元，被配置为获取数据的删除时间，其中，所述删除时间是所述数据进入回收站的时间；
确定单元，被配置为根据所述删除时间确定所述数据是否为冷数据；
转移单元，被配置为当确定所述数据为冷数据时，将所述数据从第一存储介质转移到第二存储介质。
8.根据权利要求7所述的装置，其中：
所述数据在进入回收站前存储在所述第一存储介质中；
所述第二存储介质的存储成本低于所述第一存储介质的存储成本；
所述数据在进入回收站前对应于第一目录中的目录项，所述转移单元还被配置为：
在所述数据进入回收站时，将所述数据的目录项从所述第一目录中删除，在第二目录中为所述数据建立目录项；
按照预设时间段对所述第二目录中的目录项分组，每组中的目录项对应于相应时间段内进入回收站的数据；
所述根据所述删除时间确定所述数据是否为冷数据，包括：当任一组目录项对应的时间段到当前时间的时长大于预设阈值时，确定所述组目录项对应的数据为冷数据。
9.根据权利要求8所述的装置，所述转移单元还被配置为：
在恢复所述数据时，将所述数据的目录项从所述第二目录中删除，在所述第一目录中建立所述数据的目录项，将所述数据从所述第二存储介质转移到所述第一存储介质。
10.根据权利要求9所述的装置，其中，所述将所述数据从第二存储介质转移到第一存储介质，包括：
扫描所述第一目录中的所述数据的目录项，如果所述目录项对应的任意文件在所述第二存储介质中，则将所述文件从所述第二存储介质转移到所述第一存储介质。
11.根据权利要求9所述的装置，其中，所述将所述数据从第二存储介质转移到第一存储介质，包括：
从所述第一目录的根目录起，扫描所述第一目录中的目录项，如果所述目录项对应的任意文件在所述第二存储介质中，则将所述文件从所述第二存储介质转移到所述第一存储介质。
12.一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-6任一项所述的方法步骤。
13.一种可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现权利要求1-6任一项所述的方法步骤。
14.一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现权利要求1-6任一项所述的方法步骤。
CN202210033828.1A 2022-01-12 2022-01-12 数据存储方法、装置、电子设备、介质及程序产品 Pending CN114527935A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210033828.1A CN114527935A (zh) 2022-01-12 2022-01-12 数据存储方法、装置、电子设备、介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210033828.1A CN114527935A (zh) 2022-01-12 2022-01-12 数据存储方法、装置、电子设备、介质及程序产品

Publications (1)

Publication Number Publication Date
CN114527935A true CN114527935A (zh) 2022-05-24

Family

ID=81620493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210033828.1A Pending CN114527935A (zh) 2022-01-12 2022-01-12 数据存储方法、装置、电子设备、介质及程序产品

Country Status (1)

Country Link
CN (1) CN114527935A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766005A (zh) * 2017-11-02 2018-03-06 深圳天珑无线科技有限公司 电子文件处理方法、装置及电子终端
CN109491598A (zh) * 2018-10-19 2019-03-19 浪潮电子信息产业股份有限公司 一种逻辑卷的删除方法和装置
CN110989937A (zh) * 2019-12-06 2020-04-10 浪潮电子信息产业股份有限公司 一种数据存储方法、装置、设备及计算机可读存储介质
CN113806308A (zh) * 2021-09-10 2021-12-17 济南浪潮数据技术有限公司 一种hdfs的垃圾文件清理的方法、装置、设备及可读介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766005A (zh) * 2017-11-02 2018-03-06 深圳天珑无线科技有限公司 电子文件处理方法、装置及电子终端
CN109491598A (zh) * 2018-10-19 2019-03-19 浪潮电子信息产业股份有限公司 一种逻辑卷的删除方法和装置
CN110989937A (zh) * 2019-12-06 2020-04-10 浪潮电子信息产业股份有限公司 一种数据存储方法、装置、设备及计算机可读存储介质
CN113806308A (zh) * 2021-09-10 2021-12-17 济南浪潮数据技术有限公司 一种hdfs的垃圾文件清理的方法、装置、设备及可读介质

Similar Documents

Publication Publication Date Title
US10579364B2 (en) Upgrading bundled applications in a distributed computing system
US11693880B2 (en) Component-based synchronization of digital assets
US8250033B1 (en) Replication of a data set using differential snapshots
US11099937B2 (en) Implementing clone snapshots in a distributed storage system
CN102594849B (zh) 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置
US20190213085A1 (en) Implementing Fault Domain And Latency Requirements In A Virtualized Distributed Storage System
US20090319582A1 (en) Database snapshot management
KR20080106412A (ko) 데이터 스토리지 관리 방법 및 디바이스
US8533158B1 (en) Reclaiming data space by rewriting metadata
US20190187974A1 (en) System and method for downgrading applications
WO2019178890A1 (zh) 文件处理方法及服务器
CN111291006B (zh) 一种数据回收处理方法、装置、设备及可读存储介质
JP2003330782A (ja) 計算機システム
US10795579B2 (en) Methods, apparatuses, system and computer program products for reclaiming storage units
US12117906B2 (en) Device and method for merging backup policies
US10725872B2 (en) Restore points based on milestone versions
US9921918B1 (en) Cloud-based data backup and management
US11449389B2 (en) Techniques for performing incremental data backups
US11392546B1 (en) Method to use previously-occupied inodes and associated data structures to improve file creation performance
CN114527935A (zh) 数据存储方法、装置、电子设备、介质及程序产品
US20120303590A1 (en) Management of deduplicated data during restoration in a network archival and retrieval system
CN115328864A (zh) 被删除文件的管理方法、装置、设备和存储介质
CN115328696A (zh) 一种数据库中的数据备份方法
CN112732479B (zh) 一种分布式系统的数据备份方法及装置
CN117149724B (zh) 一种云环境系统重复数据删除的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination