CN103685359B - 数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种数据处理方法及装置。其中，该方法包括：监测是否符合数据处理的调整条件；在监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作。通过本发明，首先监测是否符合数据处理的调整条件，在监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作，解决了相关技术中不能动态调整数据处理对系统资源及业务影响的问题，实现了可动态调整重删操作对系统资源的占用，优先保障在线业务的性能，对系统在线业务的影响降至最低，提高了空间利用率。同时，还兼顾提高数据读写性能，并且可以动态调整重删策略，自动适配系统使用的需求。

Description

数据处理方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种数据处理方法及装置。

背景技术

全球数据量的猛增带动着整个存储市场的快速发展，使得云存储得到大规模应用。云存储作为一个以数据存储和管理为核心的云计算系统，通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备，通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能，可提供高性价比、可弹性扩展的海量数据存储服务。

重复数据删除（可以简称为重删或删重，Data De-duPlication，简称为DD）是一种数据缩减技术，旨在减少存储系统中使用的存储容量。它通过减少存储系统中重复的数据，从而减少冗余数据。

重复数据删除系统基于内容寻址，能够消除重复的数据，提高空间利用率。重删包含以文件为单位或以数据块为单位进行操作。以数据块为单位的重复数据删除系统将文件按给定的数据划分策略分割成若干个小的数据分块，并基于数据分块的某种特征进行相同检测，只存储不重复的数据分块，从而达到删除冗余数据，节省存储空间的目的。以文件为单位的重复数据删除系统基于文件的某种特征进行相同检测，只存储不重复的数据文件，从而达到删除冗余数据，节省存储空间的目的。实际应用中还常常结合数据压缩技术进一步缩减数据分块所占的存储空间。

目前重复数据删除技术的研究主要集中在挖掘冗余信息和提高效率上，对存储节点的管理和空间分配只采用简单的分配管理策略。相关技术中的数据重删方法只保留一个副本，不存在重删调整控制。对于存储空间分配时存储节点的负载和能耗状态等没有足够的考虑，不能自适应存储节点所处的各种状态，也不利于整个系统的负载均衡和性能提高。

针对相关技术中不能动态调整数据处理对系统资源及业务影响的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中不能动态调整数据处理对系统资源及业务影响的问题，本发明提供了一种数据处理方法及装置，以至少解决上述问题。

根据本发明的一个方面，提供了一种数据处理方法，该方法包括：监测是否符合数据处理的调整条件；在监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作。

上述方法还包括：调整数据处理策略。

调整上述数据处理策略包括：接收用户的上述数据处理策略的调整请求，根据上述调整请求调整上述数据处理策略；或者，根据系统操作调整上述数据处理策略。

监测是否符合数据处理的上述调整条件包括：监测是否符合数据删除条件；或者，监测是否符合数据写入条件。

监测是否符合上述数据写入条件包括：判断重删度是否大于当前数据副本的个数，如果是，则符合上述数据写入条件；和/或，判断上述当前数据副本的每秒输入输出IOPS值是否大于预设数值；如果是，则符合上述数据写入条件。

根据调整后的上述数据处理策略，执行数据处理操作包括：在监测到符合上述数据删除条件的情况下，执行数据删除操作；或者，在监测到符合上述数据写入条件的情况下，执行数据写入操作。

在监测到符合上述数据写入条件的情况下，执行数据写入操作包括：获取预写入数据的标识，比对上述预写入数据的标识与已有数据的标识是否相同；如果相同，则复制上述已有数据；如果不相同，则接收用户输入的上述预写入数据。

根据本发明的另一方面，提供了一种数据处理装置，该装置包括：条件监测模块，用于监测是否符合数据处理的调整条件；数据处理模块，在上述条件监测模块监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作。

上述装置还包括：策略调整模块，用于调整数据处理策略。

上述策略调整模块包括：第一调整单元，用于接收用户的上述数据处理策略的调整请求，根据上述调整请求调整上述数据处理策略；或者，第二调整单元，用于根据系统操作调整上述数据处理策略。

上述条件监测模块包括：第一监测单元，用于监测是否符合数据删除条件；或者，第二监测单元，用于监测是否符合数据写入条件。

上述第二监测单元包括：第一判断子单元，用于判断重删度是否大于当前数据副本的个数，如果是，则符合上述数据写入条件；和/或，第二判断子单元，用于判断上述当前数据副本的每秒输入输出IOPS值是否大于预设数值；如果是，则符合上述数据写入条件。

上述数据处理模块包括：数据删除单元，用于在监测到符合上述数据删除条件的情况下，执行数据删除操作；或者，数据写入单元，用于在监测到符合上述数据写入条件的情况下，执行数据写入操作。

上述数据写入单元包括：比对子单元，用于获取预写入数据的标识，比对上述预写入数据的标识与已有数据的标识是否相同；复制子单元，用于在上述比对子单元的比对结果为相同的情况下，复制上述已有数据；接收子单元，用于在上述比对子单元的比对结果为不相同的情况下，接收用户输入的上述预写入数据。

通过本发明，首先监测是否符合数据处理的调整条件，在监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作，解决了相关技术中不能动态调整数据处理对系统资源及业务影响的问题，实现了可动态调整重删操作对系统资源的占用，优先保障在线业务的性能，对系统在线业务的影响降至最低，提高了空间利用率。同时，还兼顾提高数据读写性能，并且可以动态调整重删策略，自动适配系统使用的需求。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据处理方法的流程图；

图2是根据本发明实施例的数据处理装置的结构框图；

图3是根据本发明实施例的数据处理装置的第一种具体结构框图；

图4是根据本发明实施例的数据处理装置的第二种具体结构框图；

图5是根据本发明实施例的数据处理系统的总体架构示意图；

图6是根据本发明实施例的基于数据处理系统的数据处理流程图；

图7是根据本发明实施例的基于数据处理系统的数据写入流程图；

图8是根据本发明实施例的基于数据处理系统的数据读取流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

相关技术中，在进行数据重删等处理操作时，通常只会留有一份数据副本，不存在重删调整控制。并且对于数据重删策略不进行调整，在这种情况下，如果用户对数据的需求量较大，一份数据副本容易导致数据输出率较低，影响系统性能。当然，还可能会存在其他类似问题，在此不再一一赘述。基于此，本发明实施例提供了一种数据处理方法及装置，下面通过实施例进行具体介绍。

本实施例提供了一种数据处理方法，图1是根据本发明实施例的数据处理方法的流程图，如图1所示，该方法包括以下步骤（步骤S102-步骤S104）：

步骤S102，监测是否符合数据处理的调整条件；

步骤S104，在监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作。

通过上述方法，首先监测是否符合数据处理的调整条件，在监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作，解决了相关技术中不能动态调整数据处理对系统资源及业务影响的问题，实现了可动态调整重删操作对系统资源的占用，优先保障在线业务的性能，对系统在线业务的影响降至最低，提高了空间利用率。同时，还兼顾提高数据读写性能，并且可以动态调整重删策略，自动适配系统使用的需求。

上述方法还包括：调整数据处理策略。调整该策略可以是用户或系统主动变更重删策略，也可以来自系统操作记录满足统计条件的系统行为。因此，本实施例提供了一种优选实施方式，即调整数据处理策略包括：接收用户的数据处理策略的调整请求，根据该调整请求调整上述数据处理策略；或者，根据系统操作调整数据处理策略。上述对数据处理策略进行调整的方法，为后续可以随时根据调整后的数据处理策略进行数据处理提供了基础。

对于数据处理操作，可以是在数据副本的数量较多时，对数据进行删除操作，或者在用户对数据的需求较大时，对数据进行写入操作等。本实施例提供了一种优选实施方式，即监测是否符合数据处理的调整条件包括：监测是否符合数据删除条件；或者，监测是否符合数据写入条件。上述监测可以采取周期或事件触发的方式进行扫描检测。

在监测是否符合数据写入条件时，可以先对重删度进行判断，重删度是预设的数据副本的总数，如果设置的重删度的值大于当前数据副本的个数，说明需要再写入数据。或者，或者当前数据副本的每秒输入输出（Input Output per Second，简称为IOPS）值，如果该IOPS值超过一定值（例如该一定值可以取1000）时，说明该数据的输入输出量较大，此时可以选择再写入数据，增加数据副本的数量，以满足该数据的输入输出需求。因此，本实施例提供了一种优选实施方式，即监测是否符合数据写入条件的具体流程可以是：判断重删度是否大于当前数据副本的个数，如果是，则符合上述数据写入条件；和/或，判断上述当前数据副本的IOPS值是否大于预设数值；如果是，则符合上述数据写入条件。

对应于上述监测到符合数据删除条件或者数据写入条件，本实施例提供了一种优选实施方式，即根据调整后的数据处理策略，执行数据处理操作包括：在监测到符合数据删除条件的情况下，执行数据删除操作；或者，在监测到符合数据写入条件的情况下，执行数据写入操作。

具体地，在监测到符合数据写入条件的情况下，执行数据写入操作包括：获取预写入数据的标识，比对预写入数据的标识与已有数据的标识是否相同；如果相同，则复制上述已有数据；如果不相同，则接收用户输入的上述预写入数据。该标识可以是数据的指纹。

对应于上述数据处理方法，本实施例提供了一种数据处理装置，该装置用于实现上述实施例，图2是根据本发明实施例的数据处理装置的结构框图，如图2所示，该装置包括：条件监测模块10和数据处理模块20，下面进行详细介绍。

条件监测模块10，用于监测是否符合数据处理的调整条件；

数据处理模块20，连接至条件监测模块10，在上述条件监测模块监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作。

通过上述装置，首先条件监测模块10监测是否符合数据处理的调整条件，在监测到符合上述调整条件的情况下，数据处理模块20根据调整后的数据处理策略，执行数据处理操作，解决了相关技术中不能动态调整数据处理对系统资源及业务影响的问题，实现了可动态调整重删操作对系统资源的占用，优先保障在线业务的性能，对系统在线业务的影响降至最低，提高了空间利用率。同时，还兼顾提高数据读写性能，并且可以动态调整重删策略，自动适配系统使用的需求。

图3是根据本发明实施例的数据处理装置的第一种具体结构框图，如图3所示，该装置除了包括上述图2中的各个模块之外，还包括：策略调整模块30，用于调整数据处理策略。数据处理策略的调整步骤可以在监测是否符合调整条件之前执行，也可以在监测是否符合调整条件之后执行，即策略调整模块30可以连接至条件监测模块10，也可以连接至条件监测模块10和数据处理模块20之间，图3以连接至条件监测模块10和数据处理模块20之间为例进行说明。

调整该策略可以是用户或系统主动变更重删策略，也可以来自系统操作记录满足统计条件的系统行为。因此，本实施例提供了一种优选实施方式，即上述策略调整模块30包括：第一调整单元，用于接收用户的上述数据处理策略的调整请求，根据上述调整请求调整上述数据处理策略；或者，第二调整单元，用于根据系统操作调整上述数据处理策略。

图4是根据本发明实施例的数据处理装置的第二种具体结构框图，如图4所示，该装置除了包括上述图3中的各个模块之外，上述条件监测模块10还包括：第一监测单元，用于监测是否符合数据删除条件；或者，第二监测单元12，用于监测是否符合数据写入条件。图4以条件监测模块10包括第二监测单元12为例进行说明。

在监测是否符合数据写入条件时，可以根据重删度进行判断，也可以根据IOPS进行判断，前面已经具体介绍了监测流程，本实施例提供了一种优选实施方式，即上述第二监测单元12包括：第一判断子单元，用于判断重删度是否大于当前数据副本的个数，如果是，则符合上述数据写入条件；和/或，第二判断子单元，用于判断上述当前数据副本的每秒输入输出IOPS值是否大于预设数值；如果是，则符合上述数据写入条件。

对应于上述监测到符合数据删除条件或者数据写入条件，本实施例提供了一种优选实施方式，即上述数据处理模块20包括：数据删除单元，用于在监测到符合上述数据删除条件的情况下，执行数据删除操作；或者，数据写入单元，用于在监测到符合上述数据写入条件的情况下，执行数据写入操作。具体地，上述数据写入单元包括：比对子单元，用于获取预写入数据的标识，比对上述预写入数据的标识与已有数据的标识是否相同；复制子单元，用于在上述比对子单元的比对结果为相同的情况下，复制上述已有数据；接收子单元，用于在上述比对子单元的比对结果为不相同的情况下，接收用户输入的上述预写入数据。

图5是根据本发明实施例的数据处理系统的总体架构示意图，如图5所示，其中涉及了云存储系统及其管理系统，通过以太网络互联。基于云存储的数据重删系统总体架构包括云存储管理服务模块、元数据服务模块和数据服务模块。元数据服务模块和数据服务模块位于云存储的某存储域上。

云存储管理服务模块，其功能与上述实施例中策略调整模块的功能相当，云存储管理服务模块负责的相关功能至少包括：云存储拓扑管理；可以管理一个或多个存储域。存储域对应了一个存储逻辑空间定义，包含一个或多个云存储服务器。存储服务器为云存储提供物理存储空间；配置系统管理参数。云存储的存储域服务于若干应用和用户，云存储中数据重删策略按照存储域、应用、用户、数据对象进行设置；数据重删策略按照存储域、应用、用户、数据对象进行设置。包括设置数据重删后保留副本的数量或副本数量的范围，经过重删操作后预设的副本总数简称重删度；其他管理包括性能监控、故障告警管理、系统日志、统计分析、对象冗余列表等功能。

元数据服务模块，其功能与上述实施例中条件监测模块的功能相当，元数据服务模块负责的相关功能至少包括：记录用户数据的物理分布；为用户数据读写提供数据物理分布信息。包括数据块物理存储位置信息、归属存储服务器等；读取云存储管理服务模块配置数据，包括重删度设置及其调整策略条件，并按策略扫描或指示调整数据重删；产生、保存和比对数据文件或数据块的指纹；指示数据服务模块执行数据重删进行调整。

数据服务模块，其功能与上述实施例中数据处理模块的功能相当，数据服务模块负责的相关功能至少包括：分布式物理存储用户的数据；为用户读写数据提供分布式服务；根据元数据服务模块指示，调整数据重删方式并响应；记录系统日志，包括物理设备告警、系统操作记录或统计数据等。

下面对基于上述数据处理系统的各个模块的数据处理流程进行介绍，图6是根据本发明实施例的基于数据处理系统的数据处理流程图，如图6所示，该流程包括以下步骤（步骤S602-步骤S608）：

步骤S602，云存储管理服务模块设置数据重删策略及其调整策略。调整该策略可以是用户或系统主动变更重删策略，也可以来自系统操作记录满足统计条件的系统行为。

步骤S604，元数据服务模块读取上述预设策略，并周期或事件触发进行扫描检测。

步骤S606，元数据服务模块判断是否需要调整重删方式；如果需要，则执行步骤S608，如果不需要，则可以周期性执行步骤S606。

步骤S608，数据服务模块接受元数据服务模块指令，执行数据重删方式调整，并返回执行结果，元数据服务模块更新对应元数据。

在监测符合数据写入条件时，下面对基于上述数据处理系统的各个模块的数据写入流程进行介绍，图7是根据本发明实施例的基于数据处理系统的数据写入流程图，如图7所示，该流程包括以下步骤（步骤S702-步骤S712）：

步骤S702，云存储管理服务模块设置数据重删策略及其调整策略。

步骤S704，元数据服务模块读取上述预设的策略（即上述数据重删策略及其调整策略），并加载缓存已经存在的文件或数据块的指纹信息。

步骤S706，数据写入时，元数据服务模块判断重删作用的方式。首先对单位数据（文件级重删以文件为单位，数据块级重删则以分块后的数据块为单位）产生缓存指纹，然后与已有指纹比对判断，判断是否存在相同指纹，如果不存在，则是未重复的新数据文件或数据块，执行步骤S708；如果存在，则是已经重复的数据，执行步骤S710。

步骤S708，元数据服务模块指示用户应用向数据服务模块写入用户数据，成功后向元数据服务模块写入对应元数据。

元数据服务模块标识相同指纹的用户数据，不同指纹的数据，采用不同数值标识；相同指纹的数据，该标识相同。对于重复度大于等于2的用户数据，该指纹标识相同，但是访问的物理地址不相同，即实际存储了2个或以上的相同数据文件或数据块。

步骤S710，元数据服务模块根据重删策略，在云存储中已经有一个基础数据副本情况下，判断是否需要写入用户数据。

（1）如果需要写入用户数据，则执行步骤S708。需要写入的情形包括：根据重删策略判断，下面举例说明：

第一种情况，当设置重删度范围为2以上，需要写入第二副本。

第二种情况，当设置重删度范围为1至3，系统增加1个重删度条件为IOPS值大于1000，当系统操作记录满足统计条件IOPS递增1000时，需要写入第二副本。

上述第一种情况和第二种情况仅仅是举例说明，二者不一定同时存在或者同时成立。第二个或以上副本写入，由元数据服务模块指示数据服务模块进行复制，不必像第一个副本经过用户应用传输至数据服务模块写入。

（2）如果不需要写入用户数据，则执行步骤S712。

步骤S712，元数据服务模块写入该用户数据对应元数据，物理地址指向。不需要写入的情形包括：

第一种情况，当设置重删度范围为1，不需要再写入副本。

第二种情况，当设置重删度范围为1至3，不满足系统增加重删度条件时，不需要写入第二副本。

上述第一种情况和第二种情况仅仅是举例说明，二者不一定同时存在或者同时成立。

下面对基于上述数据处理系统的各个模块的数据读取流程进行介绍，图8是根据本发明实施例的基于数据处理系统的数据读取流程图，如图8所示，该流程包括以下步骤（步骤S802-步骤S810）：

步骤S802，云存储管理服务模块设置数据重删策略及其调整策略。

步骤S804，元数据服务模块读取上述预设策略。

步骤S806，用户应用执行读取云存储中数据文件的操作。

步骤S808，元数据服务模块接收用户读取请求后，累计和记录该文件IOPS。

（1）对文件级别重删，元数据服务模块将用户应用读取文件对应的元数据进行分析：如果是该元数据只有一个副本，则直接指示用户应用读取文件的物理存储位置，进行IO访问。如果是该元数据多于一个副本，则由元数据服务模块将负荷最轻的副本或服务器，然后，累计和记录该文件副本、服务器的IOPS。

（2）对数据块级别重删，元数据服务模块将用户应用读取文件数据块对应的元数据进行分析：如果是该元数据只有一个副本，则直接指示用户应用读取文件的物理存储位置，进行IO访问。如果是该元数据多于一个副本，则由元数据服务模块将负荷最轻的副本或服务器。然后，累计和记录该文件数据块副本、服务器的IOPS。

步骤S810，元数据服务模块根据用户读取IOPS最新统计数据，调用前面介绍的调整数据重删策略流程，根据重删策略，优选地，根据预设策略，判断是否要增加副本。该IOPS等统计数据也共享给云存储管理服务模块。

从以上的描述中，可以看出，本发明实施例在云计算云存储环境下，进行数据处理操作，基于内容寻址可以消除重复的数据，提高空间利用率，兼顾提高数据读写性能，并且可以动态调整重删策略，自动适配系统使用的需求。实现了可动态调整重删操作对系统资源的占用，优先保障在线业务的性能，对系统在线业务的影响降至最低的重复数据删除方法，具有可靠性高、稳定性好、去重率更高，性能优的特点。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

监测是否符合数据处理的调整条件；

在监测到符合所述调整条件的情况下，调整数据处理策略，根据调整后的数据处理策略，执行数据处理操作；其中，监测是否符合数据处理的所述调整条件包括：监测是否符合数据写入条件；监测是否符合所述数据写入条件包括：判断重删度是否大于当前数据副本的个数，如果是，则符合所述数据写入条件；和/或，判断所述当前数据副本的每秒输入输出IOPS值是否大于预设数值；如果是，则符合所述数据写入条件。

2.根据权利要求1所述的方法，其特征在于，调整所述数据处理策略包括：

接收用户的所述数据处理策略的调整请求，根据所述调整请求调整所述数据处理策略；或者，

根据系统操作调整所述数据处理策略。

3.根据权利要求1所述的方法，其特征在于，监测是否符合数据处理的所述调整条件包括：

监测是否符合数据删除条件。

4.根据权利要求3所述的方法，其特征在于，根据调整后的所述数据处理策略，执行数据处理操作包括：

在监测到符合所述数据删除条件的情况下，执行数据删除操作；或者，

在监测到符合所述数据写入条件的情况下，执行数据写入操作。

5.根据权利要求4所述的方法，其特征在于，在监测到符合所述数据写入条件的情况下，执行数据写入操作包括：

获取预写入数据的标识，比对所述预写入数据的标识与已有数据的标识是否相同；

如果相同，则复制所述已有数据；

如果不相同，则接收用户输入的所述预写入数据。

6.一种数据处理装置，其特征在于，包括：

条件监测模块，用于监测是否符合数据处理的调整条件；

策略调整模块，在所述条件监测模块监测到符合所述调整条件的情况下，调整数据处理策略；

数据处理模块，用于根据调整后的数据处理策略，执行数据处理操作；其中，所述条件监测模块包括：第二监测单元，用于监测是否符合数据写入条件；所述第二监测单元包括：第一判断子单元，用于判断重删度是否大于当前数据副本的个数，如果是，则符合所述数据写入条件；和/或，第二判断子单元，用于判断所述当前数据副本的每秒输入输出IOPS值是否大于预设数值；如果是，则符合所述数据写入条件。

7.根据权利要求6所述的装置，其特征在于，所述策略调整模块包括：

第一调整单元，用于接收用户的所述数据处理策略的调整请求，根据所述调整请求调整所述数据处理策略；或者，

第二调整单元，用于根据系统操作调整所述数据处理策略。

8.根据权利要求6所述的装置，其特征在于，所述条件监测模块包括：

第一监测单元，用于监测是否符合数据删除条件。

9.根据权利要求8所述的装置，其特征在于，所述数据处理模块包括：

数据删除单元，用于在监测到符合所述数据删除条件的情况下，执行数据删除操作；或者，

数据写入单元，用于在监测到符合所述数据写入条件的情况下，执行数据写入操作。

10.根据权利要求9所述的装置，其特征在于，所述数据写入单元包括：

比对子单元，用于获取预写入数据的标识，比对所述预写入数据的标识与已有数据的标识是否相同；

复制子单元，用于在所述比对子单元的比对结果为相同的情况下，复制所述已有数据；

接收子单元，用于在所述比对子单元的比对结果为不相同的情况下，接收用户输入的所述预写入数据。