CN107943421A - 一种基于分布式存储系统的分区划分方法及装置 - Google Patents

Abstract

本申请实施例公开了一种基于分布式存储系统的分区划分方法及装置，涉及存储领域，解决了小规模集群中少量存储节点故障或者少量磁盘故障的情况下，保证数据可靠性的问题。具体方案为：集群管理节点获取故障信息，故障信息用于指示故障的存储节点或故障的存储介质；集群管理节点根据故障信息、状态正常的存储节点的负载和EC的冗余模式重新划分状态正常的存储介质，得到第一更新分区信息；集群管理节点向应用节点发送第一更新分区信息。本申请实施例用于数据存储的过程。

Description

一种基于分布式存储系统的分区划分方法及装置

技术领域

本申请实施例涉及存储领域，尤其涉及一种基于分布式存储系统的分区划分方法及装置。

背景技术

在大数据环境下，掌握越多的数据，数据蕴含的价值也就越大。目前，企业用户、数据中心基础设施等主要通过云存储技术来存储海量的数据，例如，分布式存储系统。在存储海量的数据同时，还需要保证海量的数据的可靠性。现有的保证数据可靠性策略主要包括多副本(Multi-Replica)和纠删码(Erasure Coding，EC)。

在小规模集群的分布式存储系统中，可以根据EC的冗余模式预先设置分布式存储系统的分区，每个分区包括N+K个磁盘，每个分区内的每个磁盘属于不同的存储节点，N表示EC的数据分片，K表示EC的校验分片。应用节点对待写入数据进行EC编码后，得到至少一条EC条带，将每个EC条带写入一个分区。在少量存储节点故障或者少量磁盘故障的情况下，可以通过获取部分数据进行简单的异或计算恢复原始数据，从而，保证数据的读取的可靠性。但是，该数据写入方式要求应用节点必须按照系统指定的分区配置进行满条带写入，限制了上层业务的灵活性；而且，在分区不满足当前数据写入的条件下，此次数据写入及后续过程均无法正常执行，出现降级写的情况。

为了避免降级写，可以临时用存储系统中其他分区中状态正常的存储节点来存储本应写入故障存储节点的数据。虽然，这样既能够支持系统写业务不降级，同时也保证数据的写入的可靠性。但是，增加了跨分区的存储节点管理复杂度；如果故障存储节点恢复之后，需要启动数据回迁的操作，额外增加了数据迁移的开销，并且降低了系统的整体性能。

因此，在小规模集群中少量存储节点故障或者少量磁盘故障的情况下，如何保证数据可靠性是一个亟待解决的问题。

发明内容

本申请实施例提供一种基于分布式存储系统的分区划分方法及装置，解决了在小规模集群中少量存储节点故障或者少量磁盘故障的情况下，保证数据可靠性的问题。

为达到上述目的，本申请实施例采用如下技术方案：

本申请实施例的第一方面，提供一种基于分布式存储系统的分区划分方法，包括：分布式存储系统包括集群管理节点、应用节点和S个存储节点，每个存储节点包括X个存储介质，依据纠删码EC的冗余模式S个存储节点包括的S*X个存储介质分为P个分区，P个分区中每个分区包括Y个存储介质，Y个存储介质由Y个存储节点的每个存储节点中的一个存储介质组成，其中，EC的冗余模式为数据分片的个数与校验分片的个数，N表示数据分片的个数，K表示校验分片的个数，Y＝N+K，其基本原理在于：首先，集群管理节点获取故障信息，故障信息用于指示故障的存储节点或故障的存储介质；然后，集群管理节点根据故障信息、状态正常的存储节点的负载和EC的冗余模式重新划分状态正常的存储介质，得到第一更新分区信息；集群管理节点向应用节点发送第一更新分区信息。本申请实施例的基于分布式存储系统的分区划分方法，在存储节点或存储介质故障后，根据故障信息、状态正常的存储节点的负载和EC的冗余模式对状态正常的存储介质进行重新划分，始终保持分区中存储介质的个数与EC的冗余模式的配置相同，保证在数据写入时能够被成功写入，有效地提高数据的可靠性。

结合第一方面，在一种可能的实现方式中，若故障信息为故障的存储节点的节点标识，i个存储节点故障，集群管理节点根据故障信息、状态正常的存储节点的负载和EC的冗余模式重新划分状态正常的存储介质，得到第一更新分区信息，包括：集群管理节点根据EC的冗余模式和S-i个存储节点的负载将S-i个存储节点包括的(S-i)*X个存储介质划分为Q个分区，得到第一更新分区信息，第一更新分区信息包括Q个分区中每个分区的分区标识，以及Q个分区中每个分区包括的存储介质的介质标识。

结合第一方面，在另一种可能的实现方式中，若故障信息为故障的存储介质的介质标识，j个存储介质故障，集群管理节点根据故障信息、状态正常的存储节点的负载和EC的冗余模式重新划分状态正常的存储介质，得到第一更新分区信息，包括：集群管理节点根据EC的冗余模式和S个存储节点的负载将S个存储节点包括的(S*X)-j个存储介质划分为W个分区，得到第一更新分区信息，第一更新分区信息包括W个分区中每个分区的分区标识，以及W个分区中每个分区包括的存储介质的介质标识。

结合上述可能的实现方式，在另一种可能的实现方式中，在集群管理节点向应用节点发送第一更新分区信息之后，方法还包括：集群管理节点获取恢复信息，恢复信息用于指示故障的存储节点的故障解除或故障的存储介质的故障解除；集群管理节点根据恢复信息、EC的冗余模式和状态正常的存储节点的负载重新划分状态正常的存储介质，得到第二更新分区信息；集群管理节点向应用节点发送第二更新分区信息。从而，在存储节点或存储介质的故障解除，恢复正常状态后，重新对分布式存储系统中的存储介质划分分区，使存储介质的充分利用，避免存储空间浪费。

本申请实施例的第二方面，提供一种数据写入方法，包括：分布式存储系统包括集群管理节点、应用节点和S个存储节点，每个存储节点包括X个存储介质，依据纠删码EC的冗余模式S个存储节点包括的S*X个存储介质分为P个分区，P个分区中每个分区包括Y个存储介质，Y个存储介质由Y个存储节点的每个存储节点中的一个存储介质组成，其中，EC的冗余模式为数据分片的个数与校验分片的个数，N表示数据分片的个数，K表示校验分片的个数，Y＝N+K，方法包括：应用节点对待写入数据进行EC编码，得到L条EC条带，每条EC条带包括N个数据分片和K个校验分片，L由待写入数据的数据量确定，L大于等于1；应用节点根据第一更新分区信息将L条EC条带存储到Q个分区中的L个分区，第一更新分区信息包括Q个分区中每个分区的分区标识，以及Q个分区中每个分区包括的存储介质的介质标识，Q个分区由集群管理节点根据EC的冗余模式和S-i个存储节点的负载对S-i个存储节点包括的(S-i)*X个存储介质划分得到的，i表示故障的存储节点的个数；或者，应用节点根据第一更新分区信息将L条EC条带存储到W个分区中的L个分区，第一更新分区信息包括W个分区中每个分区的分区标识，以及W个分区中每个分区包括的存储介质的介质标识，W个分区由集群管理节点根据EC的冗余模式和S个存储节点的负载对S个存储节点包括的(S*X)-j个存储介质划分得到的，j表示故障的存储介质的个数。从而，在存储节点或存储介质故障后，通过对存储介质重新划分分区，始终保持分区中存储介质的个数与EC的冗余模式的配置相同，根据更新后的分区写入数据，保证在数据写入时能够被成功写入，有效地提高数据的可靠性。

结合第二方面，在一种可能的实现方式中，在应用节点对待写入数据进行EC编码，得到L条EC条带之前，方法还包括：应用节点接收集群管理节点发送的第一更新分区信息。

结合上述可能的实现方式，在另一种可能的实现方式中，在应用节点接收集群管理节点发送的第一更新分区信息之后，方法还包括：应用节点接收集群管理节点发送的第二更新分区信息，第二更新分区信息是集群管理节点根据恢复信息、EC的冗余模式和状态正常的存储节点的负载重新划分状态正常的存储介质得到的，恢复信息用于指示故障的存储节点的故障解除或故障的存储介质的故障解除。

本申请实施例的第三方面，提供一种集群管理节点，包括：分布式存储系统包括集群管理节点、应用节点和S个存储节点，每个存储节点包括X个存储介质，依据纠删码EC的冗余模式S个存储节点包括的S*X个存储介质分为P个分区，P个分区中每个分区包括Y个存储介质，Y个存储介质由Y个存储节点的每个存储节点中的一个存储介质组成，其中，EC的冗余模式为数据分片的个数与校验分片的个数，N表示数据分片的个数，K表示校验分片的个数，Y＝N+K，集群管理节点包括：收发单元，用于获取故障信息，故障信息用于指示故障的存储节点或故障的存储介质；处理单元，用于根据故障信息、状态正常的存储节点的负载和EC的冗余模式重新划分状态正常的存储介质，得到第一更新分区信息；收发单元，还用于向应用节点发送第一更新分区信息。

本申请实施例的第四方面，提供一种应用节点，包括：分布式存储系统包括集群管理节点、应用节点和S个存储节点，每个存储节点包括X个存储介质，依据纠删码EC的冗余模式S个存储节点包括的S*X个存储介质分为P个分区，P个分区中每个分区包括Y个存储介质，Y个存储介质由Y个存储节点的每个存储节点中的一个存储介质组成，其中，EC的冗余模式为数据分片的个数与校验分片的个数，N表示数据分片的个数，K表示校验分片的个数，Y＝N+K，应用节点包括：处理单元，用于对待写入数据进行EC编码，得到L条EC条带，每条EC条带包括N个数据分片和K个校验分片，L由待写入数据的数据量确定，L大于等于1；处理单元和收发单元，用于根据第一更新分区信息将L条EC条带存储到Q个分区中的L个分区，第一更新分区信息包括Q个分区中每个分区的分区标识，以及Q个分区中每个分区包括的存储介质的介质标识，Q个分区由集群管理节点根据EC的冗余模式和S-i个存储节点的负载对S-i个存储节点包括的(S-i)*X个存储介质划分得到的，i表示故障的存储节点的个数；或者，应用节点根据第一更新分区信息将L条EC条带存储到W个分区中的L个分区，第一更新分区信息包括W个分区中每个分区的分区标识，以及W个分区中每个分区包括的存储介质的介质标识，W个分区由集群管理节点根据EC的冗余模式和S个存储节点的负载对S个存储节点包括的(S*X)-j个存储介质划分得到的，j表示故障的存储介质的个数。

需要说明的是，在集群管理节点获取故障信息之后，若Y大于S，Q个分区的每个分区包括至少两个存储介质属于同一个存储节点。另外，本申请实施例所述的分布式存储系统是小规模集群系统，S为大于等于3且小于等于20的整数。故障率为10％S。i可以为3。

需要说明的是，上述第三方面和第四方面功能模块可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。例如，通信接口，用于完成收发单元的功能，处理器，用于完成处理单元的功能，存储器，用于处理器处理本申请实施例的基于分布式存储系统的分区划分方法以及数据写入方法的程序指令。处理器、通信接口和存储器通过总线连接并完成相互间的通信。具体的，可以参考第一方面提供的基于分布式存储系统的分区划分方法中集群管理节点的行为的功能，以及第二方面提供的数据写入方法中应用节点的行为的功能。

本申请实施例的第五方面，提供一种集群管理节点，该集群管理节点可以包括：至少一个处理器，存储器、通信接口、通信总线；至少一个处理器与存储器、通信接口通过通信总线连接，存储器用于存储计算机执行指令，当处理器运行时，处理器执行存储器存储的计算机执行指令，以使集群管理节点执行第一方面或第一方面的可能的实现方式中任一的基于分布式存储系统的分区划分方法。

本申请实施例的第六方面，提供一种应用节点，该应用节点可以包括：至少一个处理器，存储器、通信接口、通信总线；至少一个处理器与存储器、通信接口通过通信总线连接，存储器用于存储计算机执行指令，当处理器运行时，处理器执行存储器存储的计算机执行指令，以使应用节点执行第二方面或第二方面的可能的实现方式中任一的数据写入方法。

本申请实施例的第七方面，提供了一种计算机可读存储介质，用于储存为上述集群管理节点所用的计算机软件指令，当计算机软件指令被处理器执行时，使得集群管理节点可以执行上述中任意方面的方法。

本申请实施例的第八方面，提供了一种计算机可读存储介质，用于储存为上述应用节点所用的计算机软件指令，当计算机软件指令被处理器执行时，使得应用节点可以执行上述中任意方面的方法。

本申请实施例的第九方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述任意方面的方法。

另外，第三方面至第九方面中任一种设计方式所带来的技术效果可参见第一方面和第二方面中不同设计方式所带来的技术效果，此处不再赘述。

本申请实施例中，集群管理节点和应用节点的名字对设备本身不构成限定，在实际实现中，这些设备可以以其他名称出现。只要各个设备的功能和本申请实施例类似，属于本申请权利要求及其等同技术的范围之内。

本申请实施例的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

图1为本申请实施例提供的一种分布式存储系统的简化示意图；

图2为现有技术提供的一种分区划分示意图；

图3为现有技术提供的另一种分区划分示意图；

图4为现有技术提供的又一种分区划分示意图；

图5为本申请实施例提供的一种基于分布式存储系统的分区划分方法的流程图；

图6为本申请实施例提供的一种分区划分示意图；

图7为本申请实施例提供的另一种分区划分示意图；

图8为本申请实施例提供的又一种分区划分示意图；

图9为本申请实施例提供的再一种分区划分示意图；

图10为本申请实施例提供的再一种分区划分示意图；

图11为本申请实施例提供的再一种分区划分示意图；

图12为本申请实施例提供的一种数据写入方法的流程图；

图13为本申请实施例提供的一种数据写入过程的示意图；

图14为本申请实施例提供的一种集群管理节点的组成示意图；

图15为本申请实施例提供的一种计算机设备的组成示意图；

图16为本申请实施例提供的另一种集群管理节点的组成示意图；

图17为本申请实施例提供的一种应用节点的组成示意图；

图18为本申请实施例提供的另一种应用节点的组成示意图。

具体实施方式

为了下述各实施例的描述清楚简洁，首先给出相关技术的简要介绍：

分布式存储系统，是一种易于扩展的存储系统，各个存储节点地位均等，不限定系统中存储节点的位置与数量，可以任意扩展，可以将数据分散存储在多台独立的存储节点上，实现负载均衡的效果。相对于传统的网络存储系统采用集中的存储服务器存放所有数据，提高了系统的可靠性、可用性和存取效率。

纠删码对数据进行分片，得到数据分片，然后根据数据分片计算出少量的校验分片，将所有数据分片和校验分片分别存入不同的数据节点上。读取时只需获取少量分片信息并结合简单异或计算即可得到原始数据。这种方式极大的提高了硬盘空间利用率，利用硬件设备加速计算过程，对于性能的损耗也可以控制在一定范围内。

示例的，图1为本申请实施例提供的一种分布式存储系统的简化示意图。如图1所示，该系统架构可以包括：集群管理节点、应用节点和S个存储节点，每个存储节点包括X个存储介质。系统可以根据存储节点的个数和存储介质的个数预先配置EC的冗余模式，即数据分片的个数和校验分片的个数。系统可以根据EC的冗余模式将系统中S个存储节点包括的S*X个存储介质分为P个分区，P个分区中每个分区包括Y个存储介质，Y个存储介质是在S个存储节点中选择不同的Y个存储节点，再从不同的Y个存储节点的每个存储节点中选择一个存储介质，将从Y个存储节点的每个存储节点中选择的存储介质确定为构成一个分区。可以理解的，每个分区中包括的Y个存储介质属于不同的存储节点。每个分区中包括的存储介质也是不同的。其中，EC的冗余模式为数据分片的个数与校验分片的个数，N表示数据分片的个数，K表示校验分片的个数，Y＝N+K。

需要说明的是，本申请实施例所述的基于分布式存储系统的分区划分方法适用于小规模集群的分布式存储系统。例如，S为大于等于3且小于等于20的整数。X为大于等于1的整数。示例的，分布式存储系统包括8个存储节点，每个存储节点包括6个存储介质，即S的取值为8，X的取值为6。或者，分布式存储系统包括6个存储节点，每个存储节点包括6个存储介质，即S的取值为6，X的取值为6。

假设EC的冗余模式为4个数据分片及2个校验分片，即N＝4，K＝2。根据EC的冗余模式为4个数据分片及2个校验分片对包括8个存储节点，每个存储节点包括6个存储介质的分布式存储系统进行分区划分，即从8个存储节点中选择不同的6个存储节点，再从不同的6个存储节点的每个存储节点中选择一个存储介质，将从6个存储节点的每个存储节点中选择的存储介质确定为构成一个分区，可以得到八个分区，每个分区包括6个存储介质。假设对8个存储节点按照1至8进行编码，每个存储节点包括的6个存储介质按照1至6进行编码。存储节点1中的存储介质1可以记为1-1，存储节点1中的存储介质2可以记为1-2，存储节点1中的存储介质3可以记为1-3，存储节点1中的存储介质4可以记为1-4，存储节点1中的存储介质5可以记为1-5，存储节点1中的存储介质6可以记为1-6。同理，存储节点2中的存储介质1可以记为2-1，存储节点2中的存储介质2可以记为2-2。其他存储节点中的存储介质同样可以按照上述编辑方式表示，本申请实施例在此不再赘述。

如图2所示，分区一包括存储介质1-1、存储介质2-1、存储介质3-1、存储介质4-1、存储介质5-1和存储介质6-1。分区二包括存储介质2-2、存储介质3-2、存储介质4-2、存储介质5-2、存储介质6-2和存储介质7-2。分区三包括存储介质3-3、存储介质4-3、存储介质5-3、存储介质6-3、存储介质7-3和存储介质8-3。分区四包括存储介质4-4、存储介质5-4、存储介质6-4、存储介质7-4、存储介质8-4和存储介质1-2。分区五包括存储介质5-5、存储介质6-5、存储介质7-5、存储介质8-5、存储介质1-3和存储介质2-3。分区六包括存储介质6-6、存储介质7-6、存储介质8-6、存储介质1-4、存储介质2-4和存储介质3-4。分区七包括存储介质1-5、存储介质2-5、存储介质3-5、存储介质4-5、存储介质7-1和存储介质8-1。分区八包括存储介质1-6、存储介质2-6、存储介质3-6、存储介质4-6、存储介质5-6和存储介质8-2。

假设EC的冗余模式为4个数据分片及2个校验分片，即N＝4，K＝2。根据EC的冗余模式为4个数据分片及2个校验分片对包括6个存储节点，每个存储节点包括6个存储介质的分布式存储系统进行分区划分，即从6个存储节点的每个存储节点中选择一个存储介质，将从6个存储节点的每个存储节点中选择的存储介质确定为构成一个分区，可以得到六个分区，每个分区包括6个存储介质。假设对6个存储节点按照1至6进行编码，每个存储节点包括的6个存储介质按照1至6进行编码。存储节点中的存储介质的记述方式可以按照上述编辑方式表示，本申请实施例在此不再赘述。

如图3所示，分区一包括存储介质1-1、存储介质2-1、存储介质3-1、存储介质4-1、存储介质5-1和存储介质6-1。分区二包括存储介质1-2、存储介质2-2、存储介质3-2、存储介质4-2、存储介质5-2和存储介质6-2。分区三包括存储介质1-3、存储介质2-3、存储介质3-3、存储介质4-3、存储介质5-3和存储介质6-3。分区四包括存储介质1-4、存储介质2-4、存储介质3-4、存储介质4-4、存储介质5-4和存储介质6-4。分区五包括存储介质1-5、存储介质2-5、存储介质3-5、存储介质4-5、存储介质5-5和存储介质6-5。分区六包括存储介质1-6、存储介质2-6、存储介质3-6、存储介质4-6、存储介质5-6和存储介质6-6。

需要说明的是，上述分区的划分方式只是示例性说明，本申请实施例对此不作限定，实际应用中还可以有其他方式的划分。但是，在划分分区时需要保证同一个分区包括的存储介质属于不同的存储节点。如果分布式存储系统中的存在剩余的存储介质不够组成一个满分区时，可以选择已经分配到其他的分区的存储介质与剩余的存储介质组成分区，即不同的分区可以包括相同的存储介质(同一个存储节点中的同一个存储介质)。需要注意的是，在选择已经分配到其他的分区的存储介质时，需要在除了包括剩余的存储介质的存储节点之外的其他存储节点中选择负载最小的存储介质。

假设EC的冗余模式为4个数据分片及2个校验分片，即N＝4，K＝2。根据EC的冗余模式为4个数据分片及2个校验分片对包括8个存储节点，每个存储节点包括5个存储介质的分布式存储系统进行分区划分，即从8个存储节点中选择不同的6个存储节点，再从不同的6个存储节点的每个存储节点中选择一个存储介质，将从6个存储节点的每个存储节点中选择的存储介质确定为构成一个分区，可以得到七个分区，每个分区包括6个存储介质。假设对8个存储节点按照1至6进行编码，每个存储节点包括的5个存储介质按照1至5进行编码。存储节点中的存储介质的记述方式可以按照上述编辑方式表示，本申请实施例在此不再赘述。

如图4所示，分区一包括存储介质1-1、存储介质2-1、存储介质3-1、存储介质4-1、存储介质5-1和存储介质6-1。分区二包括存储介质2-2、存储介质3-2、存储介质4-2、存储介质5-2、存储介质6-2和存储介质7-2。分区三包括存储介质3-3、存储介质4-3、存储介质5-3、存储介质6-3、存储介质7-3和存储介质8-3。分区四包括存储介质4-4、存储介质5-4、存储介质6-4、存储介质7-4、存储介质8-4和存储介质1-2。分区五包括存储介质5-5、存储介质6-5、存储介质7-5、存储介质8-5、存储介质1-3和存储介质2-3。分区六包括存储介质1-5、存储介质2-5、存储介质3-5、存储介质4-5、存储介质7-1和存储介质8-1。此时，剩余存储介质1-4、存储介质2-4、存储介质3-4和存储介质8-2四个存储介质，组成分区还差两个存储介质，可以从存储节点4、存储节点5、存储节点6和存储节点7中按照负载从小到大选择两个存储介质。假设存储介质6-4和存储介质7-4负载最小，可以将存储介质1-4、存储介质2-4、存储介质3-4，存储介质8-2、存储介质6-4和存储介质7-4组成分区七。

其中，存储介质是指存储数据的载体。比如软盘、光盘、DVD、硬盘、闪存、安全数码卡(Secure Digital Memory Card，SD)卡、多媒体(Mutimedia Card，MMC)卡、记忆棒(Memory Stick)等。目前最流行的存储介质是基于闪存(Nand flash)的磁盘。

存储节点包括上述所述的存储介质，用于存储数据。本申请实施例所述的存储节点也可称为存储服务器。每个存储节点可以是集成于同一个设备上的不同的逻辑节点，也可以是分布与不同位置的设备，本申请实施例对此不作限定，只要是实现分布式存储系统的存储功能都可以。

集群管理节点用于管理元数据、存储节点的地址、存储节点的状态和存储节点的负载。元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据(data aboutdata)，主要是描述数据属性(property)的信息，用来支持指示存储位置、历史数据、资源查找和文件记录等功能。

应用节点存储有应用软件，用于产生数据，将数据写入存储节点或访问存储节点读取数据。应用节点和集群管理节点可以是集成于同一个设备上的不同的逻辑节点，也可以是分布于不同位置的设备，可以通过网络连接，也可以直接连接，本申请实施例对此不作限定，只要是实现应用节点和集群管理节点的功能都可以。

本申请实施例提供一种基于分布式存储系统的分区划分方法，分布式存储系统包括集群管理节点、应用节点和S个存储节点，其基本原理在于：首先，集群管理节点获取故障信息，故障信息用于指示故障的存储节点或故障的存储介质；然后，集群管理节点根据故障信息、状态正常的存储节点的负载和EC的冗余模式重新划分状态正常的存储介质，得到第一更新分区信息；集群管理节点向应用节点发送第一更新分区信息。从而，在存储节点或存储介质故障后，根据故障信息、状态正常的存储节点的负载和EC的冗余模式对状态正常的存储介质进行重新划分，始终保持分区中存储介质的个数与EC的冗余模式的配置相同，保证在数据写入时能够被成功写入，有效地提高数据的可靠性。

下面将结合附图对本申请实施例的实施方式进行详细描述。

图5为本申请实施例提供的一种基于分布式存储系统的分区划分方法的流程图，如图5所示，该方法可以包括：

S501、集群管理节点获取故障信息。

示例的，集群管理节点可以周期性地向分布式存储系统中的存储节点发送状态请求消息，来查询分布式存储系统中的存储节点的状态是否正常。状态请求消息用于请求存储节点返回状态信息。若存储节点处于正常状态，可以向集群管理节点返回正常状态响应消息；若存储节点处于故障状态，存储节点可以向集群管理节点返回故障状态响应消息。另外，若存储节点在预定时段内未收到正常状态响应消息或故障状态响应消息等任何消息，集群管理节点可以确定存储节点响应超时，存储节点处于故障状态。其中，故障状态响应消息可以指存储节点故障也可以指存储节点包括的存储介质故障。

可以选择的，集群管理节点可以无需主动地向分布式存储系统中的存储节点发送状态请求消息，分布式存储系统中的存储节点可以周期性的向集群管理节点发送状态信息，告知集群管理节点自身的状态是否正常。如果在预定时段内，集群管理节点未收到分布式存储系统中的某个存储节点的状态信息，可以确定该存储节点故障。

故障信息用于指示故障的存储节点或故障的存储介质。

S502、集群管理节点根据故障信息、状态正常的存储节点的负载和EC的冗余模式重新划分状态正常的存储介质，得到第一更新分区信息。

可选的，若故障信息为故障的存储节点的节点标识。例如，上述的存储节点1、存储节点1可以是节点标识。假设有i个存储节点故障，i为大于等于1且小于等于3的整数。此时，就无法对包括故障的存储节点的存储介质的分区写入数据，因此，集群管理节点根据EC的冗余模式和S-i个存储节点的负载将S-i个存储节点包括的(S-i)*X个存储介质划分为Q个分区，得到第一更新分区信息。第一更新分区信息包括Q个分区中每个分区的分区标识，以及Q个分区中每个分区包括的存储介质的介质标识。例如，上述的存储介质1-1、存储介质2-3可以是存储介质的介质标识。例如，上述的分区一、分区二可以是分区标识。

在Y小于或等于S的情况下，对于Q个分区中每个分区，集群管理节点先从S-i个存储节点中选择Y个存储节点，再从不同的Y个存储节点的每个存储节点中选择一个存储介质，将从Y个存储节点的每个存储节点中选择的存储介质确定为构成一个分区。

示例的，假设EC的冗余模式为4个数据分片及2个校验分片，即N＝4，K＝2。分布式存储系统包括8个存储节点，每个存储节点包括6个存储介质。假设集群管理节点收到存储节点8故障。集群管理节点根据EC的冗余模式为4个数据分片及2个校验分片对存储节点1至存储节点7包括的6*7＝42个存储介质进行分区划分，即先从7个存储节点中选择不同的6个存储节点，再从不同的6个存储节点的每个存储节点中选择一个存储介质，将从6个存储节点的每个存储节点中选择的存储介质确定为构成一个分区，可以得到七个分区，每个分区包括6个存储介质。

如图6所示，分区一包括存储介质1-1、存储介质2-1、存储介质3-1、存储介质4-1、存储介质5-1和存储介质6-1。分区二包括存储介质2-2、存储介质3-2、存储介质4-2、存储介质5-2、存储介质6-2和存储介质7-2。分区三包括存储介质3-3、存储介质4-3、存储介质5-3、存储介质6-3、存储介质7-3和存储介质1-2。分区四包括存储介质4-4、存储介质5-4、存储介质6-4、存储介质7-4、存储介质1-3和存储介质2-3。分区五包括存储介质5-5、存储介质6-5、存储介质7-5、存储介质1-4、存储介质2-4和存储介质3-4。分区六包括存储介质6-6、存储介质7-6、存储介质1-5、存储介质2-5、存储介质3-5和存储介质4-5。分区七包括存储介质1-6、存储介质2-6、存储介质3-6、存储介质4-6、存储介质5-6和存储介质7-1。

需要说明的是，上述划分方式中，每个分区包括的存储介质不同的。在一种可能的实现方式中，对于分布式存储系统中剩余的存储介质不够组成一个分区时，可以从分布式存储系统中负载最小的存储节点中选择已经划分的存储介质，与剩余的存储介质组成分区，即不同的分区可以包括相同的存储介质。

示例的，假设EC的冗余模式为4个数据分片及2个校验分片，即N＝4，K＝2。分布式存储系统包括8个存储节点，每个存储节点包括5个存储介质。假设集群管理节点收到存储节点8故障。集群管理节点根据EC的冗余模式为4个数据分片及2个校验分片对存储节点1至存储节点7包括的5*7＝35个存储介质进行分区划分，即先从7个存储节点中选择不同的6个存储节点，再从不同的6个存储节点的每个存储节点中选择一个存储介质，将从6个存储节点的每个存储节点中选择的存储介质确定为构成一个分区，可以得到六个分区，每个分区包括6个存储介质。

如图7所示，分区一包括存储介质1-1、存储介质2-1、存储介质3-1、存储介质4-1、存储介质5-1和存储介质6-1。分区二包括存储介质2-2、存储介质3-2、存储介质4-2、存储介质5-2、存储介质6-2和存储介质7-2。分区三包括存储介质3-3、存储介质4-3、存储介质5-3、存储介质6-3、存储介质7-3和存储介质1-2。分区四包括存储介质4-4、存储介质5-4、存储介质6-4、存储介质7-4、存储介质1-3和存储介质2-3。分区五包括存储介质5-5、存储介质6-5、存储介质7-5、存储介质1-4、存储介质2-4和存储介质3-4。此时，剩余存储介质1-5、存储介质2-5、存储介质3-5、存储介质4-5和存储介质7-1五个存储介质，组成分区还差一个存储介质，可以从存储节点5和存储节点6中按照负载从小到大选择一个存储介质。假设存储介质5-3负载最小，可以将存储介质5-3，以及存储介质1-5、存储介质2-5、存储介质3-5、存储介质4-5和存储介质7-1一起组成分区六。

需要说明的是，上述划分方式中，虽然，分布式存储系统中有一个存储节点故障，但是，存储节点的个数还是大于EC的冗余模式的配置。在一种可能的实现方式中，分布式存储系统中状态正常的存储节点的个数可能小于EC的冗余模式的配置，即Y大于S，因此，Q个分区中每个分区包括的存储介质中至少两个存储介质属于同一个存储节点。

示例的，假设EC的冗余模式为4个数据分片及2个校验分片，即N＝4，K＝2。分布式存储系统包括6个存储节点，每个存储节点包括6个存储介质。假设集群管理节点收到存储节点6故障。集群管理节点根据EC的冗余模式为4个数据分片及2个校验分片对存储节点1至存储节点5包括的6*5＝30个存储介质进行分区划分，集群管理节点先从5个存储节点的每个存储节点选择一个存储介质，得到5个存储介质，然后，根据5个存储节点的负载，从小到大将5个存储节点排序，从负载最小的存储节点开始，选择1个存储介质，由5个存储介质和1个存储介质组成新的分区。分区中存在同一个存储节点的两个不同的存储介质。

如图8所示，分区一包括存储介质1-1、存储介质2-1、存储介质3-1、存储介质4-1、存储介质5-1和存储介质1-2。分区二包括存储介质2-2、存储介质3-2、存储介质4-2、存储介质5-2、存储介质1-3和存储介质2-3。分区三包括存储介质3-3、存储介质4-3、存储介质5-3、存储介质1-4、存储介质2-4和存储介质3-4。分区四包括存储介质4-4、存储介质5-4、存储介质1-5、存储介质2-5、存储介质3-5和存储介质4-5。分区五包括存储介质1-6、存储介质2-6、存储介质3-6、存储介质4-6、存储介质5-6和存储介质5-5。

可选的，若故障信息为故障的存储介质的介质标识，介质标识用于指示存储介质在分布式存储系统中的位置。例如，上述的用于表示存储节点1中的存储介质1的存储介质1-1，用于表示存储节点4中的存储介质5的存储介质4-5等可以是介质标识。假设有j个存储介质故障，j为大于等于1的整数。此时，就无法对包括故障的存储介质的分区写入数据，因此，集群管理节点根据EC的冗余模式和状态正常的存储节点的负载将S个存储节点包括的(S*X)-j个存储介质划分为W个分区，得到第一更新分区信息。第一更新分区信息包括W个分区中每个分区的分区标识，以及W个分区中每个分区包括的存储介质的介质标识。例如，上述的分区一、分区二可以是分区标识。

需要说明的是，若存储节点中的存储介质故障，在划分分区时，首先应该从S个存储节点的每个存储节点选择存储介质组成分区，保证每个分区包括的存储介质属于不同的存储节点。对于分布式存储系统中剩余的存储介质不够组成一个分区时，可以从分布式存储系统中负载最小的存储节点中选择已经划分的存储介质，与剩余的存储介质组成分区，即不同的分区可以包括相同的存储介质。W个分区中不同的分区可以包括相同的存储介质(同一个存储节点中的同一个存储介质)。

示例的，以图2所示的分区为例，假设存储节点8的存储介质1故障，即分区七中的存储介质8-1故障，分区七就少了一个存储介质，此时可以将存储介质8-2补入分区七，分区八就少了一个存储介质，假设存储介质6-6负载最小，此时可以复用存储介质6-6，将存储介质6-6补入分区八。如图9所示，分区七包括存储介质1-5、存储介质2-5、存储介质3-5、存储介质4-5、存储介质7-1和存储介质8-2。分区八包括存储介质1-6、存储介质2-6、存储介质3-6、存储介质4-6、存储介质5-6和存储介质6-6。分区一至分区六包括的存储介质与图2所示的分区一至分区六包括的存储介质相同。

示例的，以图3所示的分区为例，假设存储节点6的存储介质1故障，即分区一中的存储介质6-1故障，以及存储节点5的存储介质2故障，即分区一中的存储介质5-2故障。如图10所示，可以将存储介质6-2补入分区一，分区一包括存储介质1-1、存储介质2-1、存储介质3-1、存储介质4-1、存储介质5-1和存储介质6-2。可以将存储介质5-3和存储介质6-3补入分区二，分区二包括存储介质1-2、存储介质2-2、存储介质3-2、存储介质4-2、存储介质5-3和存储介质6-3。可以将存储介质5-4和存储介质6-4补入分区三，分区三包括存储介质1-3、存储介质2-3、存储介质3-3、存储介质4-3、存储介质5-4和存储介质6-4。可以将存储介质5-5和存储介质6-5补入分区四，分区四包括存储介质1-4、存储介质2-4、存储介质3-4、存储介质4-4、存储介质5-5和存储介质6-5。可以将存储介质5-6和存储介质6-6补入分区五，分区五包括存储介质1-5、存储介质2-5、存储介质3-5、存储介质4-5、存储介质5-6和存储介质6-6。此时，剩余存储介质1-6、存储介质2-6、存储介质3-6和存储介质4-6四个存储介质，组成分区还差两个存储介质，可以从存储节点5和存储节点6中按照负载从小到大选择两个个存储介质。假设存储介质5-4和存储介质6-5负载最小，可以将存储介质5-4和存储介质6-5，以及存储介质1-6、存储介质2-6、存储介质3-6和存储介质4-6一起组成分区六。

在另一种可实现方式中，如图11所示，分区一包括存储介质1-1、存储介质2-1、存储介质3-1、存储介质4-1、存储介质5-1和存储介质1-2。分区二包括存储介质1-3、存储介质2-2、存储介质3-2、存储介质4-2、存储介质5-3和存储介质6-3。分区三包括存储介质1-4、存储介质2-3、存储介质3-3、存储介质4-3、存储介质5-4和存储介质6-4。分区四包括存储介质1-5、存储介质2-4、存储介质3-4、存储介质4-4、存储介质5-5和存储介质6-5。分区五包括存储介质1-6、存储介质2-5、存储介质3-5、存储介质4-5、存储介质5-6和存储介质6-6。假设存储介质1-1负载较小，此时可以复用存储介质1-1，将存储介质1-1补入分区六。分区六包括存储介质1-1、存储介质2-6、存储介质3-6、存储介质4-6、存储介质5-6和存储介质6-6。

虽然分布式存储系统中存储故障存储节点或故障存储介质，但是，始终保持分区中存储介质的个数为6，与EC的冗余模式的配置相同，从而，有效地提高了数据的可靠性。需要说明的是，此时可能会存在1个存储介质属于多个分区，在这种情况下，如果包括同一个存储介质的两个分区中一个分区的所有存储介质写满，导致两个分区中另一个分区包括相同存储介质没有容量，无法写入数据，此时，可以确定两个分区中另一个分区属于无效分区。如果包括同一个存储介质的两个分区中一个分区的所有存储介质没有写满，则两个分区中另一个分区包括相同存储介质有空闲容量，可以写入数据直到写满。

S503、集群管理节点向应用节点发送第一更新分区信息。

S504、应用节点接收集群管理节点发送的第一更新分区信息。

应用节点接收集群管理节点发送的第一更新分区信息之后，存储第一更新分区信息。

进一步的，在集群管理节点对分布式存储系统中的存储介质重新划分分区后，应用节点需要写入数据时可以根据新划分的分区进行写入。如图12所示，可以包括以下详细步骤：

S505、应用节点对待写入数据进行EC编码，得到L条EC条带。

每条EC条带包括N个数据分片和K个校验分片。

S506、应用节点根据第一更新分区信息将L条EC条带存储到Q个分区中的L个分区。

第一更新分区信息包括Q个分区中每个分区的分区标识，以及Q个分区中每个分区包括的存储介质的介质标识，Q个分区由集群管理节点根据EC的冗余模式和S-i个存储节点的负载对S-i个存储节点包括的(S-i)*X个存储介质划分得到的，i表示故障的存储节点的个数。

S507、应用节点根据第一更新分区信息将L条EC条带存储到W个分区中的L个分区。

第一更新分区信息包括W个分区中每个分区的分区标识，以及W个分区中每个分区包括的存储介质的介质标识，W个分区由集群管理节点根据EC的冗余模式和S个存储节点的负载对S个存储节点包括的(S*X)-j个存储介质划分得到的，j表示故障的存储介质的个数。

示例的，假设需要对数据流0至11写入到分布式存储系统，分布式存储系统的分区结构为图8所示的更新后的分区。而且，N＝4，K＝2。如图13所示，首先，将数据流0至11按照4个数据为一块分为三块，第一数据块包括三个数据分片，即数据分片0至数据分片3，第二数据块包括三个数据分片，即数据分片4至数据分片7，第三数据块包括三个数据分片，即数据分片8至数据分片11；然后，对于第一数据块，根据数据分片0至数据分片3进行异或得到两个校验分片，即校验分片P0和校验分片Q0，数据分片0至数据分片3、校验分片P0和校验分片Q0组成第一条带。对于第二数据块，根据数据分片4至数据分片7进行异或得到两个校验分片，即校验分片P1和校验分片Q1，数据分片4至数据分片7、校验分片P1和校验分片Q1组成第二条带。对于第三数据块，根据数据分片8至数据分片11进行异或得到两个校验分片，即校验分片P2和校验分片Q2，数据分片8至数据分片11、校验分片P2和校验分片Q2组成第三条带。根据分区的负载，从小到大将三个条带写入到三个分区中，例如，图8所示的分区中。

另外，在集群管理节点向应用节点发送第一更新分区信息之后，如果故障的存储节点的故障解除或故障的存储介质的故障解除，本申请实施例还可以包括以下详细步骤：

S508、集群管理节点获取恢复消息。

恢复消息用于指示故障的存储节点的故障解除或故障的存储介质的故障解除。

S509、集群管理节点根据恢复信息、EC的冗余模式和状态正常的存储节点的负载重新划分状态正常的存储介质，得到第二更新分区信息。

S510、集群管理节点向应用节点发送第二更新分区信息。

S511、应用节点接收集群管理节点发送的第二更新分区信息。

第二更新分区信息是集群管理节点根据恢复信息、EC的冗余模式和状态正常的存储节点的负载重新划分状态正常的存储介质得到的，恢复信息用于指示故障的存储节点的故障解除或故障的存储介质的故障解除。如果应用节点需要再写入数据，可以根据第二更新分区信息对存储节点写入数据。

需要说明的是，分布式存储系统的容量，以及分布式存储系统中每个存储介质的容量用户可以根据需求自行设置，本申请实施例对此不作限定。对于一个分区，如果分区的容量足够多，可以写入多个不同的条带。

另外，在划分分区时，首先保证分区中的存储介质属于不同的存储节点，如果不能保证分区中的存储介质属于不同的存储节点，可以从分布式存储系统的存储节点中按照存储介质的负载从小到大选择需要个数的存储介质组成分区。

上述主要从各个网元之间交互的角度对本申请实施例提供的方案进行了介绍。可以理解的是，各个网元，例如集群管理节点、应用节点为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对集群管理节点、应用节点进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图14示出了上述和实施例中涉及的集群管理节点的一种可能的组成示意图，如图14所示，该集群管理节点可以包括：收发单元141和处理单元142。

其中，收发单元141，用于支持集群管理节点执行图5所示的基于分布式存储系统的分区划分方法中的S501和S503，图12所示的数据写入方法中的S501、S503、S508和S510。

处理单元142，用于支持集群管理节点执行图5所示的基于分布式存储系统的分区划分方法中的S502，图12所示的数据写入方法中的S502和S509。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本申请实施例提供的集群管理节点，用于执行上述基于分布式存储系统的分区划分方法，因此可以达到与上述基于分布式存储系统的分区划分方法相同的效果。

在具体的实现中，图14所述的集群管理节点可以由图15所示的计算机设备实现。

图15为本申请实施例提供的一种计算机设备的组成示意图，如图15所示，计算机设备可以包括至少一个处理器151，存储器152、通信接口153和通信总线154。

下面结合图15对计算机设备的各个构成部件进行具体的介绍：

处理器151是计算机设备的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器151是一个中央处理器(Central Processing Unit，CPU)，也可以是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路，例如：一个或多个微处理器(Digital SignalProcessor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)。

其中，处理器151可以通过运行或执行存储在存储器152内的软件程序，以及调用存储在存储器152内的数据，执行计算机设备的各种功能。

在具体的实现中，作为一种实施例，处理器151可以包括一个或多个CPU，例如图15中所示的CPU0和CPU1。

本申请实施例所述的处理器主要用于获取故障信息，根据故障信息、状态正常的存储节点的负载和EC的冗余模式重新划分状态正常的存储介质，得到第一更新分区信息。

在具体实现中，作为一种实施例，计算机设备可以包括多个处理器，例如图15中所示的处理器151和处理器155。这些处理器中的每一个可以是一个单核处理器(single-CPU)，也可以是一个多核处理器(multi-CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

存储器152可以是只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器152可以是独立存在，通过通信总线154与处理器151相连接。存储器152也可以和处理器151集成在一起。

其中，所述存储器152用于存储执行本申请方案的软件程序，并由处理器151来控制执行。

通信接口153，用于与其他设备或通信网络通信，如以太网，无线接入网(RadioAccess Network，RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。通信接口153可以包括接收单元实现接收功能，以及发送单元实现发送功能。

本申请实施例所述的通信接口主要用于向应用节点发送第一更新分区信息。

通信总线154，可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图15中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

图15中示出的设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

在采用集成的单元的情况下，图16示出了上述实施例中所涉及的集群管理节点的另一种可能的组成示意图。如图16所示，该集群管理节点包括：处理模块161和通信模块162。

处理模块161用于对集群管理节点的动作进行控制管理，例如，处理模块161用于支持集群管理节点执行图5中的S502，图12中的S502和S509、和/或用于本文所描述的技术的其它过程。通信模块162用于支持集群管理节点与其他网络实体的通信，例如与图1中示出的应用节点和存储节点之间的通信。集群管理节点还可以包括存储模块163，用于存储集群管理节点的程序代码和数据。

其中，处理模块161可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块162可以是收发器、收发电路或通信接口等。存储模块163可以是存储器。

当处理模块161为处理器，通信模块162为通信接口，存储模块163为存储器时，本申请实施例所涉及的集群管理节点可以为图15所示的计算机设备。

在采用对应各个功能划分各个功能模块的情况下，图17示出了上述和实施例中涉及的应用节点的一种可能的组成示意图，如图17所示，该应用节点可以包括：处理单元171和收发单元172。

其中，处理单元171，用于支持应用节点执行图12所示的数据写入方法中的S505、S506和S507。

收发单元172，用于支持集群管理节点执行图5所示的基于分布式存储系统的分区划分方法中的S504，图12所示的数据写入方法中的S504、S505、S506、S507和S511。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本申请实施例提供的应用节点，用于执行上述基于分布式存储系统的分区划分方法，因此可以达到与上述基于分布式存储系统的分区划分方法相同的效果。

在采用集成的单元的情况下，图18示出了上述实施例中所涉及的应用节点的另一种可能的组成示意图。如图18所示，该应用节点包括：处理模块181和通信模块182。

处理模块181用于对应用节点的动作进行控制管理，例如，处理模块181用于支持应用节点执行图12中的S505、S506和S507、和/或用于本文所描述的技术的其它过程。通信模块182用于支持应用节点与其他网络实体的通信，例如与图1中示出的集群管理节点之间的通信。应用节点还可以包括存储模块183，用于存储应用节点的程序代码和数据。

其中，处理模块181可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块182可以是收发器、收发电路或通信接口等。存储模块183可以是存储器。

当处理模块181为处理器，通信模块182为通信接口，存储模块183为存储器时，本申请实施例所涉及的应用节点可以为图15所示的计算机设备。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (22)

1.一种基于分布式存储系统的分区划分方法，其特征在于，所述分布式存储系统包括集群管理节点、应用节点和S个存储节点，每个所述存储节点包括X个存储介质，依据纠删码EC的冗余模式所述S个存储节点包括的S*X个存储介质分为P个分区，所述P个分区中每个分区包括Y个存储介质，所述Y个存储介质由Y个存储节点的每个存储节点中的一个存储介质组成，其中，所述EC的冗余模式为数据分片的个数与校验分片的个数，N表示数据分片的个数，K表示校验分片的个数，Y＝N+K，

所述方法包括：

所述集群管理节点获取故障信息，所述故障信息用于指示故障的存储节点或故障的存储介质；

所述集群管理节点根据所述故障信息、状态正常的存储节点的负载和所述EC的冗余模式重新划分状态正常的存储介质，得到第一更新分区信息；

所述集群管理节点向所述应用节点发送所述第一更新分区信息。

2.根据权利要求1所述的方法，其特征在于，若所述故障信息为故障的存储节点的节点标识，i个存储节点故障，所述集群管理节点根据所述故障信息、状态正常的存储节点的负载和所述EC的冗余模式重新划分状态正常的存储介质，得到第一更新分区信息，包括：

所述集群管理节点根据所述EC的冗余模式和S-i个存储节点的负载将所述S-i个存储节点包括的(S-i)*X个存储介质划分为Q个分区，得到所述第一更新分区信息，所述第一更新分区信息包括Q个分区中每个分区的分区标识，以及所述Q个分区中每个分区包括的存储介质的介质标识。

3.根据权利要求1所述的方法，其特征在于，若所述故障信息为故障的存储介质的介质标识，j个存储介质故障，所述集群管理节点根据所述故障信息、状态正常的存储节点的负载和所述EC的冗余模式重新划分状态正常的存储介质，得到第一更新分区信息，包括：

所述集群管理节点根据所述EC的冗余模式和所述S个存储节点的负载将所述S个存储节点包括的(S*X)-j个存储介质划分为W个分区，得到所述第一更新分区信息，所述第一更新分区信息包括W个分区中每个分区的分区标识，以及所述W个分区中每个分区包括的存储介质的介质标识。

4.根据权利要求1-3任一项所述的方法，其特征在于，在所述集群管理节点向所述应用节点发送所述第一更新分区信息之后，所述方法还包括：

所述集群管理节点获取恢复信息，所述恢复信息用于指示所述故障的存储节点的故障解除或故障的存储介质的故障解除；

所述集群管理节点根据所述恢复信息、所述EC的冗余模式和状态正常的存储节点的负载重新划分状态正常的存储介质，得到第二更新分区信息；

所述集群管理节点向所述应用节点发送所述第二更新分区信息。

5.一种数据写入方法，其特征在于，所述分布式存储系统包括集群管理节点、应用节点和S个存储节点，每个所述存储节点包括X个存储介质，依据纠删码EC的冗余模式S个存储节点包括的S*X个存储介质分为P个分区，所述P个分区中每个分区包括Y个存储介质，所述Y个存储介质由Y个存储节点的每个存储节点中的一个存储介质组成，其中，所述EC的冗余模式为数据分片的个数与校验分片的个数，N表示数据分片的个数，K表示校验分片的个数，Y＝N+K，

所述方法包括：

所述应用节点对待写入数据进行EC编码，得到L条EC条带，每条EC条带包括N个数据分片和K个校验分片，所述L由所述待写入数据的数据量确定，L大于等于1；

所述应用节点根据第一更新分区信息将所述L条EC条带存储到Q个分区中的L个分区，所述第一更新分区信息包括所述Q个分区中每个分区的分区标识，以及所述Q个分区中每个分区包括的存储介质的介质标识，所述Q个分区由所述集群管理节点根据所述EC的冗余模式和S-i个存储节点的负载对所述S-i个存储节点包括的(S-i)*X个存储介质划分得到的，i表示故障的存储节点的个数；或者，所述应用节点根据第一更新分区信息将所述L条EC条带存储到W个分区中的L个分区，所述第一更新分区信息包括所述W个分区中每个分区的分区标识，以及所述W个分区中每个分区包括的存储介质的介质标识，所述W个分区由所述集群管理节点根据所述EC的冗余模式和所述S个存储节点的负载对所述S个存储节点包括的(S*X)-j个存储介质划分得到的，j表示故障的存储介质的个数。

6.根据权利要求5所述的方法，其特征在于，在所述应用节点对待写入数据进行EC编码，得到L条EC条带之前，所述方法还包括：

所述应用节点接收所述集群管理节点发送的所述第一更新分区信息。

7.根据权利要求6所述的方法，其特征在于，在所述应用节点接收所述集群管理节点发送的所述第一更新分区信息之后，所述方法还包括：

所述应用节点接收所述集群管理节点发送的第二更新分区信息，所述第二更新分区信息是所述集群管理节点根据所述恢复信息、所述EC的冗余模式和状态正常的存储节点的负载重新划分状态正常的存储介质得到的，所述恢复信息用于指示故障的存储节点的故障解除或故障的存储介质的故障解除。

8.一种集群管理节点，其特征在于，分布式存储系统包括所述集群管理节点、应用节点和S个存储节点，每个所述存储节点包括X个存储介质，依据纠删码EC的冗余模式S个存储节点包括的S*X个存储介质分为P个分区，所述P个分区中每个分区包括Y个存储介质，所述Y个存储介质由Y个存储节点的每个存储节点中的一个存储介质组成，其中，所述EC的冗余模式为数据分片的个数与校验分片的个数，N表示数据分片的个数，K表示校验分片的个数，Y＝N+K，

所述集群管理节点包括：

收发单元，用于获取故障信息，所述故障信息用于指示故障的存储节点或故障的存储介质；

处理单元，用于根据所述故障信息、状态正常的存储节点的负载和所述EC的冗余模式重新划分状态正常的存储介质，得到第一更新分区信息；

所述收发单元，还用于向所述应用节点发送所述第一更新分区信息。

9.根据权利要求8所述的集群管理节点，其特征在于，若所述故障信息为故障的存储节点的节点标识，i个存储节点故障，所述处理单元，具体用于：

根据所述EC的冗余模式和S-i个存储节点的负载将所述S-i个存储节点包括的(S-i)*X个存储介质划分为Q个分区，得到所述第一更新分区信息，所述第一更新分区信息包括Q个分区中每个分区的分区标识，以及所述Q个分区中每个分区包括的存储介质的介质标识。

10.根据权利要求8所述的集群管理节点，其特征在于，若所述故障信息为故障的存储介质的介质标识，j个存储介质故障，所述处理单元，具体用于：

根据所述EC的冗余模式和所述S个存储节点的负载将所述S个存储节点包括的(S*X)-j个存储介质划分为W个分区，得到所述第一更新分区信息，所述第一更新分区信息包括W个分区中每个分区的分区标识，以及所述W个分区中每个分区包括的存储介质的介质标识。

11.根据权利要求8-10任一项所述的集群管理节点，其特征在于，

所述收发单元，还用于获取恢复信息，所述恢复信息用于指示所述故障的存储节点的故障解除或故障的存储介质的故障解除；

所述处理单元，还用于根据所述恢复信息、所述EC的冗余模式和状态正常的存储节点的负载重新划分状态正常的存储介质，得到第二更新分区信息；

所述收发单元，还用于向所述应用节点发送所述第二更新分区信息。

12.一种应用节点，其特征在于，分布式存储系统包括集群管理节点、所述应用节点和S个存储节点，每个所述存储节点包括X个存储介质，依据纠删码EC的冗余模式S个存储节点包括的S*X个存储介质分为P个分区，所述P个分区中每个分区包括Y个存储介质，所述Y个存储介质由Y个存储节点的每个存储节点中的一个存储介质组成，其中，所述EC的冗余模式为数据分片的个数与校验分片的个数，N表示数据分片的个数，K表示校验分片的个数，Y＝N+K，

所述应用节点包括：

处理单元，用于对待写入数据进行EC编码，得到L条EC条带，每条EC条带包括N个数据分片和K个校验分片，所述L由所述待写入数据的数据量确定，L大于等于1；

所述处理单元和收发单元，用于根据第一更新分区信息将所述L条EC条带存储到Q个分区中的L个分区，所述第一更新分区信息包括所述Q个分区中每个分区的分区标识，以及所述Q个分区中每个分区包括的存储介质的介质标识，所述Q个分区由所述集群管理节点根据所述EC的冗余模式和S-i个存储节点的负载对所述S-i个存储节点包括的(S-i)*X个存储介质划分得到的，i表示故障的存储节点的个数；或者，所述应用节点根据第一更新分区信息将所述L条EC条带存储到W个分区中的L个分区，所述第一更新分区信息包括所述W个分区中每个分区的分区标识，以及所述W个分区中每个分区包括的存储介质的介质标识，所述W个分区由所述集群管理节点根据所述EC的冗余模式和所述S个存储节点的负载对所述S个存储节点包括的(S*X)-j个存储介质划分得到的，j表示故障的存储介质的个数。

13.根据权利要求12所述的应用节点，其特征在于，

所述收发单元，还用于接收所述集群管理节点发送的所述第一更新分区信息。

14.根据权利要求13所述的应用节点，其特征在于，

所述收发单元，还用于接收所述集群管理节点发送的第二更新分区信息，所述第二更新分区信息是所述集群管理节点根据所述恢复信息、所述EC的冗余模式和状态正常的存储节点的负载重新划分状态正常的存储介质得到的，所述恢复信息用于指示故障的存储节点的故障解除或故障的存储介质的故障解除。

15.根据权利要求1-7所述的方法、权利要求8-11所述的集群管理节点和权利要求12-14所述的应用节点，其特征在于，在所述集群管理节点获取故障信息之后，若Y大于S，所述Q个分区的每个分区包括至少两个存储介质属于同一个存储节点。

16.根据权利要求1-7所述的方法、权利要求8-11所述的集群管理节点和权利要求12-14所述的应用节点，其特征在于，S为大于等于3且小于等于20的整数。

17.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在集群管理节点上运行时，使得所述集群管理节点执行如权利要求1-4中任意一项所述基于分布式存储系统的分区划分方法。

18.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在应用节点上运行时，使得所述应用节点执行如权利要求5-7中任意一项所述数据写入方法。

19.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在集群管理节点上运行时，使得所述集群管理节点执行如权利要求1-4中任意一项所述的基于分布式存储系统的分区划分方法。

20.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在应用节点上运行时，使得所述应用节点执行如权利要求5-7中任意一项所述的数据写入方法。

21.一种设备，其特征在于，所述设备以芯片的产品形态存在，所述设备的结构中包括处理器和存储器，所述存储器用于与所述处理器耦合，用于保存所述设备的程序指令和数据，所述处理器用于执行所述存储器中存储的程序指令，使得所述设备执行如权利要求1-4任一项所述方法。

22.一种设备，其特征在于，所述设备以芯片的产品形态存在，所述设备的结构中包括处理器和存储器，所述存储器用于与所述处理器耦合，用于保存所述设备的程序指令和数据，所述处理器用于执行所述存储器中存储的程序指令，使得所述设备执行如权利要求5-7任一项所述方法。