CN109726037B - 用于备份数据的方法、设备和计算机程序产品 - Google Patents

Abstract

本公开的实施例涉及用于备份数据的方法、设备和计算机程序产品。该方法包括：响应于从备份服务器接收到待备份的数据流，将该数据流分割为多个数据分段；将该多个数据分段分发到至少一个计算节点；响应于从该至少一个计算节点中的第一计算节点接收到相应数据分段的索引，在全局索引缓存中查找该索引，该索引由该第一计算节点生成以唯一地标识该数据分段，该全局索引缓存存储备份存储设备中数据的索引；响应于该全局索引缓存未命中该索引，在全局索引缓存中添加该索引；以及向该第一计算节点发送指示，以将该数据分段存储到该备份存储设备中。

Description

用于备份数据的方法、设备和计算机程序产品

技术领域

本公开的实施例涉及计算机存储领域，并且更具体地，涉及用于备份数据的方法、设备和计算机程序产品。

背景技术

随着信息化社会的飞速发展，从人们的日常生活到企业的业务运营，都被日益渗透的信息系统所包围，对其依赖性也越来越大。一旦关键数据丢失或损坏，会给个人和企业带来不可估量的损失。

数据备份与恢复是保障信息安全的重要措施。数据重要性的不断凸现要求存储系统上的数据能得到有效而全面的保护。随着高速网络及通信技术、海量存储技术等新技术的出现和发展，基础存储资源相比以往有了天翻地覆的变化。日益增多的各种信息系统的应用，也使有保护价值的数据量呈几何级数上升，这些都为数据备份与恢复软件的开发与相关技术研究提出了更高的要求。然而，传统的数据备份系统难以进行有效地横向扩展。

发明内容

本公开的实施例提供一种用于备份数据的方案。

根据本公开的第一方面，提出了一种用于备份数据的方法。该方法包括：响应于从备份服务器接收到待备份的数据流，将该数据流分割为多个数据分段；将该多个数据分段分发到至少一个计算节点；响应于从该至少一个计算节点中的第一计算节点接收到相应数据分段的索引，在全局索引缓存中查找该索引，该索引由该第一计算节点生成以唯一地标识该数据分段，该全局索引缓存存储备份存储设备中数据的索引；响应于该全局索引缓存未命中该索引，在全局索引缓存中添加该索引；以及向该第一计算节点发送指示，以将该数据分段存储到该备份存储设备中。

根据本公开的第二方面，提出了一种用于备份数据的方法。该方法包括：响应于从管理节点接收到数据分段，计算唯一地标识该数据分段的索引；在本地索引缓存查找该索引，该本地索引缓存存储本地备份存储设备中数据的索引；响应于该本地索引缓存未命中该索引，向该管理节点发送该索引；响应于从该管理节点接收到存储该数据分段的指示，将该数据分段存储于该本地备份存储设备中；以及在该本地索引缓存中添加该索引。

根据本公开的第三方面，提出了一种用于备份数据的设备。该设备包括：至少一个处理单元；至少一个存储器，该至少一个存储器被耦合到该至少一个处理单元并且存储用于由该至少一个处理单元执行的指令，该指令当由该至少一个处理单元执行时，使得该设备执行动作，该动作包括：响应于从备份服务器接收到待备份的数据流，将该数据流分割为多个数据分段；将该多个数据分段分发到至少一个计算节点；响应于从该至少一个计算节点中的第一计算节点接收到相应数据分段的索引，在全局索引缓存中查找该索引，该索引由该第一计算节点生成以唯一地标识该数据分段，该全局索引缓存存储备份存储设备中数据的索引；响应于该全局索引缓存未命中该索引，在全局索引缓存中添加该索引；以及向该第一计算节点发送指示，以将该数据分段存储到该备份存储设备中。

根据本公开的第四方面，提出了一种用于备份数据的设备。该设备包括：至少一个处理单元；至少一个存储器，该至少一个存储器被耦合到该至少一个处理单元并且存储用于由该至少一个处理单元执行的指令，该指令当由该至少一个处理单元执行时，使得该设备执行动作，该动作包括：响应于从管理节点接收到数据分段，计算唯一地标识该数据分段的索引；在本地索引缓存查找该索引，该本地索引缓存存储本地备份存储设备中数据的索引；响应于该本地索引缓存未命中该索引，向该管理节点发送该索引；响应于从该管理节点接收到存储该数据分段的指示，将该数据分段存储于该本地备份存储设备中；以及在该本地索引缓存中添加该索引。

在本公开的第五方面，提供了一种计算机程序产品。该计算机程序产品被存储在非瞬态计算机存储介质中并且包括机器可执行指令，该机器可执行指令在设备中运行时使设备执行根据第一方面和和第二方面所述的方法。

提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。

图1A-图1B示出了横向扩展与纵向扩展的对比示意图；

图2示出了根据本公开的实施例的横向扩展的数据备份架构的示意图；

图3示出了根据本公开的实施例的数据备份系统的示意图；

图4示出了根据本公开的实施例的数据备份的方法的流程图；

图5示出了根据本公开的另一实施例的数据备份的方法的流程图；以及

图6示出了可以用来实施本公开内容的实施例的示例设备的示意性框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

随着备份数据规模增大，用户需要对备份系统进行扩展，以满足不断增大的备份需求，因此备份系统的可扩展性越来越重要。对于备份系统而言，存在两种扩展方式：横向扩展(scale-out)和纵向扩展(scale-up)。图1A-图1B示出了纵向扩展与横向扩展的对比示意图。

图1A示出了纵向扩展的示意图100，如图1A所示，在纵向扩展中，用于所有处理的控制器102并不会增加，其仅仅是在原有存储资源104的基础上扩展了新的存储资源106。在这种扩展方案中，系统的可扩展性将受到单个控制器102的性能的限制。同时在这种架构中，如果缺乏有效的多任务管理工具，当控制器104管理不同的工作负载时，这些工作负载可能会受到影响。此外，对于这种架构，一旦控制器104发生故障，将会影响控制器104所管理的所有业务的运行。而随着科技的发展，用户具有不断增长的各种业务需求，这样将大大提升用户的存储成本。

图1B示出了横向扩展的示意图100’，如图1B所示，在纵向扩展中，不再是简单地添加新的存储资源110，而是同时添加了与存储资源110配合的控制器108，从而构建了新的存储节点。这样的扩展方案将不再受到处理资源的局限，并且通常可以扩展到在一个管理节点下的较大数目的存储节点。此外，在这种扩展方案中，各个节点可以进行独立地管理，比如系统升级、硬件更换和存储资源扩充等。

发明人意识到，相对于纵向扩展，横向扩展更适合用于数据备份系统的扩展。本公开的实施例提出了一种用于横向扩展的数据备份架构，以及基于该架构的数据备份方法。在该方案中，基于ZeeKeeper和Ceph搭建了横向扩展的数据备份系统，并且基于该系统采用了双重去重的机制，基于该机制，去重任务可以均匀地被分发到多个计算节点，从而减轻管理节点的工作负载；同时管理节点处的二次去重能够有效地保证数据不被重复地存储，从而节约备份存储设备中的存储空间。

以下将结合图2描述根据本公开实施例的横向扩展架构。图2示出了根据本公开的实施例的横向扩展的数据备份架构200的示意图。如图2所示，架构200包括备份服务器202以及后端备份系统204，备份服务器202可以用于从用户接收待备份的数据流，并且将待备份的数据流经由网络发送到备份系统204。在一个实施例中，备份服务器202可以与后端备份系统204被布置在同一物理位置。在另一实施例中，备份服务器202可以与备份系统206分离地布置。

在一些实施例中，通常采用网络文件系统(NFS)、通用Internet文件系统(CIFS)、虚拟磁带库(VTL)协议或DD-Boost来将带备份的数据流从备份服务器202发送到备份系统204。例如，在Windows环境中，可以使用CIFS协议实现文件的发送；在Linux或Unix环境中，可以使用NFS协议实现文件的发送；在SAN环境中，可以经由VTL协议来实现。

备份系统204中可以包括多个节点206、208、210、212和214。在一些实施例中，可以利用ZooKeeper来管理备份系统204中的多个节点206、208、210、212和214。ZooKeeper是开放源码的分布式应用程序协调服务，其能够提供如集群管理、统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式协调等功能，在此不对其进行过多详细介绍。

在一些实施例中，多个节点206、208、210、212和214上可以运行有用于在多个节点之间彼此通信和对节点进行管理的服务(例如，图2中所示的ZooKeeper服务)，从而多个节点可以保持彼此之间的互相通信以选举领导者(leader)节点。在一些实施例中，基于ZooKeeper中的Zab协议，ZooKeeper可以保证分布式集群节点中数据的一致性。此外，在一些实施例中，ZooKeeper可以将所有节点的IP地址和端口号记录到领导者节点，并且还可以在客户端上设置监听接口。因此当ZooKeeper中添加或移除节点时，客户端可以获知这一反馈，从而客户端能够知晓集群的状态，并能够实施有效的负载平衡。在一些实施例中，基于ZooKeeper，客户端还可以获得节点的状态、备份工作的状态以及日志信息。

注意，尽管本文多以ZooKeeper为例来描述本公开的实施例，但是这仅仅是示例性的，其他任何适当的服务、模块或者过程均可适用，不论其是目前已知的还是将来开发的。

在一些实施例中，如图2所示，多个节点206、208、210、212和214中每个节点还运行有用于处理去重、压缩等工作的文件和内容服务，以及用于与后端存储交互的备份存储服务。

在一些实施例中，后端备份系统204中的后端存储池216可以使用基于Ceph的存储框架来实施。Ceph(www.ceph.com)是一种开源的分布式存储和文件系统。Ceph能够提供具有高性能、大数据存储以及强兼容性的POSIX(可移植操作系统接口)-兼容的网络的文件系统。此外，Ceph还能够自动实施自动的故障检测、自动的故障恢复以及自动地再平衡。本领域技术人员应当理解，还可以采用其他支持横向扩展的存储框架来实现后端存储池216。

在实施Ceph横向扩展后端存储池216的过程中，需要在多个磁盘上拷贝全部的对象数据以创建一个副本存储池，这对于容量敏感的备份存储可能是不可接受的。在一些实施例中，可以用纠码(Erasure Code)来防止在磁盘中重新拷贝全部数据，从而节省存储空间。

以上描述了根据本本公开实施例的数据备份架构200，基于这样的架构200，用户可以轻松地实现对备份系统的横向扩展，以满足不断增加的数据备份的需求。下问将结合图3-图5描述基于数据备份架构200的数据备份过程，其中，图3示出了根据本公开的实施例的数据备份系统300的示意图，图4示出了根据本公开的实施例的数据备份的方法400的流程图，图5示出了根据本公开的另一实施例的数据备份的方法500的流程图。

如图3所示，数据备份系统300中可以包括2个备份服务器302和304。应当理解，图3中所示的2个备份服务器仅是示意性的，数据备份系统300还可以包括一个或多个备份服务器。备份服务器可以用于从用户接收待备份的数据流308，并且将该数据流308发送到管理节点306。

管理节点306可以是在多个节点之间所选举得到的，管理节点306可以连接到计算节点322和计算节点330，以将计算任务(例如，数据去重任务)，例如基于ZooKeeper，分发到计算节点322和计算节点330上执行。应当理解，图3中所示的2个计算节点仅是示意性的，数据备份系统300可以包括一个或多个节点。计算节点322和计算节点330分别具有各自的本地备份存储328和336。以下将结合图4-图5具体地描述基于图3所示的数据备份系统300的数据备份方法，图4示出了根据本公开的实施例的数据备份的方法400。方法400可由管理节点来执行。

在框402，管理节点从备份服务器接收到待备份的数据流。具体地，如图3所示，管理节点306从管理节点302和管理节点304接收到数据流308。

在框404，管理节点将该数据流分割为多个数据分段。如图3所示，管理节点306可以将数据流308划分为4个数据分段310、312、314和316。其中数据分段310和312来自备份服务器302，数据分段314和316来自备份服务器304。在一些实施例中，管理节点可以基于不同的备份服务器来将数据流分成不同的数据分段。在另一些实施例中，管理节点还可以按照固定的数据分段大小来将数据进行分段。

在框406，管理节点将多个数据分段分发到至少一个计算节点。如图3所示，管理节点306可以通过分段分发模块320将多个数据分段310、312、314和316分发到计算节点322和计算节点330。在一些实施例中，考虑到数据临近性原则，即来自同一个备份服务器中数据通常具有较高的去重可能性，因此管理节点可以预先将备份服务器绑定到相应的计算节点，从而将来自特定备份服务器的数据分发到被绑定的计算节点。

如图3所示，备份服务器302与计算节点322绑定，备份服务器304与计算节点330绑定。因此来自备份服务器302的数据分段310和312将被分发到计算节点322，来自备份服务器304的数据分段314和316将被分发到计算节点330。基于这样的分发机制，数据的临近性可以充分被利用，从而提高在计算节点去重的效率。

在一些实施例中，在将来自备份服务器的数据分段分发到相应的计算节点之前，还可以判定该计算节点状态是否有效。当确定该计算节点在一定时间段内仍未恢复有效的情况下，可以将来自该备份服务器的数据分段根据负载均衡的原则分发的另一个有效的备份服务器。因此，即使在特定计算节点失效的情况下，数据分段也能够得到有效地分配。

在框408，管理节点可以从第一计算节点接收到相应数据分段的索引，该索引由第一计算节点生成以唯一地标识该数据分段。例如，在图3中，管理节点306可以从计算节点322接收数据分段312的索引，管理节点306也可以从计算节点330接收数据分段314的索引。在一些实施例中，索引例如可以是该数据分段的哈希值。

在框410，管理节点在全局索引缓存中查找该索引。例如，如图3所示，管理节点306具有全局索引缓存318，其存储了该数据备份系统300中所有备份存储设备中全部数据的索引。全局索引缓存318可以用于标识数据备份系统300中已经备份的数据的信息，从而使得重复的数据分段不需要再被存储，从而节省备份存储空间。

如果在框410中确定全局索引缓存中存在该索引，则方法400进行到框412，即向第一计算节点发送指示，以丢弃该数据分段。如图3所示，如果在全局索引缓存318中查找到数据分段314的索引，即表示数据分段314已经存储于备份存储设备中，因此管理节点306可以向计算节点330发送指示，以丢弃数据分段314。在一些实施例中，计算节点也可以不向计算节点发送任何指示，计算节点可以基于没有对应的指示而自动丢弃该数据分段。

如果在框410中确定全局索引缓存中不存在该索引，则方法400进行到框414，在此将在全局索引缓存中添加该索引。并且在框406，管理节点向第一计算节点发送指示，以存储该数据分段。如图3所示，如果在全局索引缓存318中未查找到数据分段312的索引，即表示数据分段312未被存储于备份存储设备中，因此管理节点306将数据分段312的索引添加到全局索引缓存318中，以指示数据分段312已经被存储，从而用于下次去重运算。在框416，管理节点向计算节点322发送指示，以存储数据分段314。

以上从管理节点侧描述了根据本公开实施例的数据备份过程，图5示出了根据本公开的实施例的数据备份的方法500，方法500可由计算节点来执行。

在框502，计算节点从管理节点接收到数据分段。例如，如图3所示，计算节点322从管理节点306接收到数据分段310和数据分段312，计算节点330从管理节点306接收到数据分段314和数据分段316。

在框504，计算节点计算唯一地标识该数据分段的索引。在图3中，计算节点322将计算数据分段310和312的索引，计算节点330计算数据分段314和316的索引。在一些实施例中，索引可以为对该数据分段求哈希所得到的值，其能够唯一地标识该数据分段，同时能够实现快速确定该数据分段是否被存储，而无需遍历全部存储设备中的数据。

在框506，计算节点在本地索引缓存中查找该索引。例如，如图3所示，计算节点322和330可以分别具有分段查找和处理模块326和334以及本地索引缓存324和332。分段查找和处理模块326和334可以用于在本地索引缓存324和332中查找索引，本地索引缓存324和332分别存储了与该计算节点相关联的本地备份存储设备328和336中数据的索引。例如，本地索引缓存324可以用于标识本地备份存储设备328中已经备份的数据的信息，从而使得与备份存储设备328中数据重复的数据分段不需要再被存储，从而节省备份存储空间。

如果在框506中确定本地索引缓存命中该索引，则方法500进行到框508，即表示该数据分段已经被存储，因此丢弃该数据分段。在图3中，例如本地索引缓存324中命中数据分段310的索引，即表示数据分段310已经被存储于本地备份存储设备328中，因此可以丢弃数据分段310。类似地，如果本地索引缓存332中命中数据分段316的索引，即表示数据分段316已经被存储于本地备份存储设备336中，因此可以丢弃数据分段316。

如果在框506中确定本地索引缓存未命中该索引，则方法500进行到框510，即表示该数据分段未被存储在本地备份存储设备中，因此需要向管理节点发送该索引以确定是否在其他备份存储设备中已存储该数据分段。例如，数据分段312的索引和数据分段314的索引可以被发送到管理节点306。

在框512，计算节点判断是否接受到存储该数据分段的指示。具体地，计算节点可以监听与管理节点通信的端口以确定是否接受到存储数据分段的指示。在一些实施例中，计算节点还可以判断在预定时间段内是否接收到该指示。

如果在框512中确定计算节点未从管理节点接收到存储该数据分段的指示，则方法500进行到框508，即丢弃该数据分段。具体地，计算节点可以基于在预订时间段内未接受到存储数据分段的指示，或者接受到丢弃该数据分段的指示，而丢弃该数据分段，这标识该数据分段已经由管理节点确定为存储在其他备份存储设备中，因此可以丢弃该数据分段。例如，在图3中，计算节点330可以从管理节点306接收到丢弃数据分段314的指示，计算节点330可以响应于该指示而丢弃数据分段314。

如果在框512中确定计算节点从管理节点接收到存储该数据分段的指示，则方法500进行到框514，即将该数据分段存储到本地备份存储设备中。并且在框516，在本地索引缓存中添加该索引。具体地，在图3中，计算节点332从管理节点306接收到存储数据分段312的指示，随后将数据分段312存储到本地备份存储设备328中，并且在本地索引缓存324中添加数据分段312的索引，从而实现对数据分段312的备份存储。

以上结合图3-图5描述了根据本公开实施例的数据备份的过程。本公开提出了双重去重的机制，即，首先将去重任务分发到各计算节点，随后在管理节点进行二次去重。基于这样的机制，首先备份系统可以将去重计算任务均匀地分发到多个计算节点，避免单个计算节点任务过重而影响到备份的性能；其次，备份系统还可以在管理节点进行二次去重，确保该数据分段不会被重复存储，从而节省备份存储设备中的存储空间；第三，基于这样的横向扩展架构，用户可以轻松地添加计算节点和对应的备份存储设备到备份系统中，以应对用户增长的备份数据的需要。

图6示出了可以用来实施本公开内容的实施例的示例设备600的示意性框图。例如，图3中所描述的备份服务器、管理节点和计算节点都可以由设备600来实施。如图所示，设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的各个过程和处理，例如方法400和/或方法500，可由处理单元601执行。例如，在一些实施例中，方法400和/或方法500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序被加载到RAM 603并由CPU 601执行时，可以执行上文描述的方法400和/或方法500中的一个或多个动作。

本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是--但不限于--电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。

Claims (16)

1.一种用于备份数据的方法，包括：

响应于从备份服务器接收到待备份的数据流，由管理节点将所述数据流分割为多个数据分段；

由所述管理节点将所述多个数据分段分发到至少一个计算节点，所述管理节点不同于每个计算节点；

其中将所述多个数据分段分发到所述至少一个计算节点包括：从所述至少一个计算节点确定所述备份服务器到来自所述至少一个计算节点中的第一计算节点的预先绑定，

其中响应于将所述多个数据分段分发到所述至少一个计算节点，主去重任务由所述第一计算节点执行，并且

其中在由所述第一计算节点执行所述主去重任务期间，唯一地标识来自所述多个数据分段中的相应数据分段的哈希被计算，所述哈希在所述第一计算节点的本地哈希缓存中被查找，并且响应于所述哈希在所述本地哈希缓存中未被命中，所述哈希被发送到所述管理节点；

响应于在所述管理节点处从所述第一计算节点接收到所述相应数据分段的所述哈希，由所述管理节点执行二次去重任务，由所述管理节点执行的所述二次去重任务包括：

在所述管理节点的全局哈希缓存中查找所述哈希，所述全局哈希缓存存储备份存储设备中数据的哈希，其中查找所述哈希包括访问来自所述管理节点的所述全局哈希缓存；以及

响应于在所述管理节点的所述全局哈希缓存中未命中所述哈希，将所述哈希添加到所述全局哈希缓存中，以及向所述第一计算节点发送在所述备份存储设备中存储所述相应数据分段的指示。

2.根据权利要求1所述的方法，还包括：

响应于在所述管理节点处从来自所述至少一个计算节点中的第二计算节点接收到来自所述多个数据分段中的另一数据分段的哈希，并且在所述全局哈希缓存中命中从所述第二计算节点接收到的所述哈希，由所述管理节点向所述第二计算节点发送丢弃所述另一数据分段的指示。

3.根据权利要求1所述的方法，将所述多个数据分段发送到所述至少一个计算节点还包括：

确定所述第一计算节点的有效性；以及

响应于所述第一计算节点有效，将所述多个数据分段发送到所述第一计算节点。

4.根据权利要求1所述的方法，还包括：

响应于从来自所述至少一个计算节点中的第二计算节点接收到第二数据分段的第二哈希，在所述管理节点的所述全局哈希缓存中查找所述第二哈希，所述第二哈希唯一地标识由所述第二计算节点生成的所述第二数据分段；

响应于在所述管理节点的所述全局哈希缓存中未命中所述第二哈希，将所述第二哈希添加到所述全局哈希缓存中，以及向所述第二计算节点发送在所述备份存储设备中存储所述第二数据分段的第二指示。

5.根据权利要求4所述的方法，还包括：

响应于从所述第一计算节点接收到第三数据分段的第三哈希，在所述管理节点的所述全局哈希缓存中查找所述第三哈希，所述第三哈希唯一地标识由所述第一计算节点生成的所述第三数据分段；

响应于在所述管理节点的所述全局哈希缓存中命中所述第三哈希，避免将所述第三哈希添加到所述全局哈希缓存；以及

向所述第一计算节点发送丢弃所述第三数据分段的第三指示。

6.根据权利要求1所述的方法，其中所述备份服务器、所述管理节点、所述第一计算节点、和所述备份存储设备中的每一个被包括在横向扩展数据备份架构中，并且所述方法还包括：

将来自所述至少一个计算节点中的第二计算节点和第二备份存储设备添加到所述横向扩展数据备份架构。

7.根据权利要求6所述的方法，其中响应于将所述多个数据分段分发到至少一个计算节点，由所述第二计算节点执行第二主去重任务，并且

其中在由所述第二计算节点执行所述第二主去重任务期间，唯一地标识来自所述多个数据分段中的第二数据分段的第二哈希被计算，所述第二哈希在所述第二计算节点的第二本地哈希缓存中被查找，并且响应于所述第二哈希在所述第二本地哈希缓存中未被命中，所述第二哈希被发送到所述管理节点。

8.根据权利要求7所述的方法，还包括：

响应于在所述管理节点处从所述第二计算节点接收到所述第二数据分段的所述第二哈希，由所述管理节点执行第二轮二次去重任务，由所述管理节点执行的所述第二轮二次去重任务包括：

在所述管理节点的所述全局哈希缓存中查找所述第二哈希；以及

响应于在所述管理节点的所述全局哈希缓存中未命中所述第二哈希，将所述第二哈希添加到所述全局哈希缓存中，以及向所述第二计算节点发送在所述第二备份存储设备中存储所述第二数据分段的指示。

9.一种用于备份数据的方法，包括：

响应于在来自至少一个计算节点中的第一计算节点处从管理节点接收到来自数据流的数据分段，由所述第一计算节点执行主去重任务，所述数据流在所述管理节点处从备份服务器被接收，所述备份服务器到所述第一计算节点的预先绑定由所述管理节点确定，由所述第一计算节点执行的所述主去重任务包括：

计算唯一地标识所述数据分段的哈希；

在所述第一计算节点的本地哈希缓存中查找所述哈希，所述本地哈希缓存存储本地备份存储设备中数据的哈希；以及

响应于在所述本地哈希缓存中未命中所述哈希，向所述管理节点发送所述哈希，

其中响应于所述数据分段的所述哈希在所述管理节点处从所述第一计算节点被接收，二次去重任务由所述管理节点执行，并且

其中在由所述管理节点执行所述二次去重任务期间，所述哈希在所述管理节点的全局哈希缓存中被查找，所述备份存储设备中数据的哈希被存储在所述全局哈希缓存中，并且响应于所述哈希在所述管理节点的所述全局哈希缓存中未被命中，所述哈希被添加到所述全局哈希缓存中，并且将所述数据分段存储在所述备份存储设备中的指示被发送到所述第一计算节点；

响应于在所述第一计算节点处从所述管理节点接收到存储所述数据分段的所述指示，由所述第一计算节点将所述数据分段存储在所述本地备份存储设备中；以及

将所述哈希添加到所述第一计算节点的所述本地哈希缓存中。

10.根据权利要求9所述的方法，还包括：

响应于在所述第一计算节点处从所述管理节点接收到另一数据分段，由所述第一计算节点计算唯一地标识所述另一数据分段的另一哈希；

由所述第一计算节点在所述本地哈希缓存中查找所述另一哈希；

响应于在所述本地哈希缓存中未命中所述另一哈希，由所述第一计算节点向所述管理节点发送所述另一哈希；以及

响应于在向所述管理节点发送所述另一哈希之后的预定时间段内未在所述第一计算节点处从所述管理节点接收到存储所述另一数据分段的指示，由所述第一计算节点丢弃所述另一数据分段。

11.一种用于备份数据的设备，包括：

至少一个处理单元；

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：

响应于从备份服务器接收到待备份的数据流，将所述数据流分割为多个数据分段；

将所述多个数据分段分发到至少一个计算节点，所述至少一个计算节点不同于用于备份数据的所述设备；

其中将所述多个数据分段分发到所述至少一个计算节点包括：从所述至少一个计算节点确定所述备份服务器到来自所述至少一个计算节点中的第一计算节点的预先绑定，

其中响应于将所述多个数据分段分发到所述至少一个计算节点，主去重任务由所述第一计算节点执行，并且

其中在由所述第一计算节点执行所述主去重任务期间，唯一地标识来自所述多个数据分段中的相应数据分段的哈希被计算，所述哈希在所述第一计算节点的本地哈希缓存中被查找，并且响应于所述哈希在所述本地哈希缓存中未被命中，所述哈希被发送到所述设备；

响应于从所述第一计算节点接收到所述相应数据分段的所述哈希，执行二次去重任务，所述二次去重任务包括：

在全局哈希缓存中查找所述哈希，所述全局哈希缓存存储备份存储设备中数据的哈希；以及

响应于在所述全局哈希缓存中未命中所述哈希，将所述哈希添加到所述全局哈希缓存中，以及向所述第一计算节点发送将所述相应数据分段存储在所述备份存储设备中的指示。

12.根据权利要求11所述的设备，所述动作还包括：

响应于在所述全局哈希缓存中命中所述哈希，向所述第一计算节点发送丢弃所述相应数据分段的指示。

13.根据权利要求11所述的设备，其中将所述相应数据分段分发到所述计算节点还包括：

确定所述第一计算节点的有效性；以及

响应于所述第一计算节点有效，将所述多个数据分段发送到所述第一计算节点。

14.一种用于备份数据的设备，包括：

至少一个处理单元；

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：

响应于从管理节点接收到来自数据流的数据分段，执行主去重任务，所述数据流在所述管理节点处从备份服务器被接收，所述备份服务器到所述设备的预先绑定由所述管理节点确定，所述主去重任务包括：

计算唯一地标识所述数据分段的哈希；

在本地哈希缓存中查找所述哈希，所述本地哈希缓存存储本地备份存储设备中数据的哈希；以及

响应于在所述本地哈希缓存中未命中所述哈希，向所述管理节点发送所述哈希，

其中响应于所述数据分段的所述哈希在所述管理节点处从所述设备被接收，二次去重任务由所述管理节点执行，并且

其中在由所述管理节点执行所述二次去重任务期间，所述哈希在所述管理节点的全局哈希缓存中被查找，所述备份存储设备中数据的哈希被存储在所述全局哈希缓存中，响应于所述哈希在所述管理节点的所述全局哈希缓存中未被命中，所述哈希被添加到所述全局哈希缓存中，并且将所述数据分段存储在所述备份存储设备中的指示被发送到所述设备；

响应于从所述管理节点接收到存储所述数据分段的所述指示，将所述数据分段存储在所述本地备份存储设备中；以及

将所述哈希添加到所述本地哈希缓存中。

15.根据权利要求14所述的设备，其中所述动作还包括：

响应于在预定时间段内未从所述管理节点接收到存储所述数据分段的所述指示，丢弃所述数据分段。

16.一种非瞬态计算机存储介质，所述非瞬态计算机存储介质存储机器可执行指令，所述机器可执行指令在由设备执行时使所述设备执行根据权利要求1-8或者11-13中的任一项所述的方法。