CN103389920B - 一种磁盘坏块的自检测方法和装置 - Google Patents

Abstract

本发明公开了一种磁盘坏块的自检测方法，对挂载的每个数据块进行子数据块划分，划分成n个等大小的子数据块，其中n为不小于2的整数；在各子数据块的固定位置设置校验信息，在各子数据块的除所述固定位置的其它位置保存数据，其中所述校验信息是所述数据的奇偶校验信息；读写数据时，根据读取的子数据块的固定位置的校验信息进行数据验证；本发明同时还公开了一种磁盘坏块的自检测装置，通过本发明的方案，能够快速的对磁盘坏块进行检测，并能指示数据的迁移、磁盘的更换。

Description

一种磁盘坏块的自检测方法和装置

技术领域

本发明涉及数据存储技术，尤其涉及一种磁盘坏块的自检测方法和装置

背景技术

硬盘数据存储以块为逻辑单位在硬盘的磁介质上，相应的的扇区不能读写或块上数据产生误码都会导致坏块，使得数据不可用。为了保证数据的可用性，存储系统需要具有对磁盘坏块的检测能力，以避开对坏块的读写，及时迁移重要数据。通常的做法根据数据存储一定的冗余信息，在下次读写操作中通过冗余信息判断是否产生了坏块，典型的方法有ECC以及RAID5/6。

ECC是一种前向纠错编码(FEC，ForwardErrorCorrection)方法，最初用于通信系统的误码检错和纠错，以提高通信系统的可靠性。由于这种编码的可靠性，该方法也应用于磁盘数据的存储，一般已经内建于磁盘系统。

ECC的实现也是通过对数据块进行编码，一般是根据数据块的行和列计算奇偶校验信息，并把这些信息作为冗余数据存储在磁盘中，255字节数据块的ECC校验原理图如表1所示。

其中，CP_i，i＝0，1，2，4是对数据块的列数据进行奇偶校验得出冗余。

而RP_i，i＝0，1，2...15是对数据块的行数据进行奇偶校验得出冗余。

读取数据块时，根据数据块的列冗余和行冗余，对数据块进行列校验和行校验。从表1中可以看出，当数据出现1bit错误时，会导致系列奇偶校验产生错误。通过列奇偶校验冗余可以定位出具体误码的列，而行奇偶校验冗余可以定位具体的行，根据行号和列号可以纠正误比特。

表1

ECC对于数据块有单比特突发错误的情况有恢复能力。但是当出现多位误码，ECC只能检错，无法恢复数据，对于数据安全要求比较高的场合并不适用，因此还需要备份文件。此外，ECC必须进行IO读写数据块时才能检测到错误。而且随着块大小增加，一个块中出现多个位错误的机会也随之增加，ECC已经无法应付这样的情况。此外，ECC一般是由硬件实现，不具备功能扩展和定制的能力。

在空间效率方面，如表1所示，如果数据块为n个字节，则外加的ECC位为log2n+5。如对255byte的数据而言，需要log2*255+6＝22bit的冗余，有效空间利用率为22/(255*8)＝98.9％。

RAID5/6被称为分布式奇偶校验磁盘阵列。校验信息并不单独存放在一个磁盘中，而是以块交叉的方式分布到各个磁盘中，如图1，图2所示。

在RAID5中，把一个数据块序列以及校验块的组合称之为条，如图1中的A1、A2、A3、Ap。如果需要对数据块进行写操作，需根据条的数据块重新计算并重新写入相应的奇偶校验块。

当有一个磁盘掉线，可通过奇偶校验块对一个数据块进行推导恢复，所述奇偶校验块如图1中的Ap、Bp、Cp、Dp，因此RAID5具有一个盘掉线的容错能力，但整体磁盘的读写性能将会有很大的降低，因为重建该数据块需要读取其他所有的数据块和奇偶校验块，直到掉线的磁盘被替换并且相关数据被重建。RAID5的空间效率为1-1/n，其中n为磁盘数。对于4个盘，每个盘1TB的数据，实际上的数据存储空间为3TB，空间效率为75％。如果在旧数据读取的过程中，由数据块计算出奇偶校验块与磁盘中的奇偶校验块不一致，则可判断有坏块出现。因此，为了检测坏块，必须读取在n个磁盘上的块，对每个块进行奇偶校验运算，才能进行判断。因此，判断坏块的速度和磁盘的个数相关有很大的关系。

RAID6扩展了RAID5，其原理基本一致，磁盘的数据分布如图2所示，除了原来的奇偶校验块外，还增加了一个奇偶校验块，如Aq、Bq、Cq、Dq、Eq等，增强了对于坏盘的容错能力，可以在两个磁盘掉线的情况下，可根据冗余信息对数据进行恢复，适合高可用的应用环境。但数据写的性能有所下降，奇偶校验计算占用了更多的处理时间，并且降低了有效数据的空间利用率。

RAID6空间效率为1-2/n，可容忍的磁盘掉线数为2。如有5个磁盘，每个磁盘为1TB物理存储空间，实际可存储3TB的数据，空间效率为60％。

目前的磁盘坏块检测方法，空间利用率低：在互联网行业应用中，由于对数据的可用性有比较高的要求，一般数据会有1份或以上的备份，已足够保证数据可用性，单盘的数据冗余纠错方案功能在已有多份备份的情况下，作用并不明显；

磁盘坏块检测的效率不高：由于数据块和校验块分散在各个磁盘中，一次校验需要操作多个磁盘；

坏块扫描针对性不强：在进行磁盘坏块检测时，需要对整个磁盘进行数据查询校验。

发明内容

有鉴于此，本发明的主要目的在于提供一种磁盘坏块的自检测方法和装置，能够快速的对磁盘坏块进行检测，并能指示数据的迁移、磁盘的更换。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供的一种磁盘坏块的自检测方法，该方法包括：

对挂载的每个数据块进行子数据块划分，划分成n个等大小的子数据块，其中n为不小于2的整数；

在各子数据块的固定位置设置校验信息，在各子数据块的除所述固定位置的其它位置保存数据，其中所述校验信息是所述数据的奇偶校验信息；

读写数据时，根据读取的子数据块的固定位置的校验信息进行数据验证。

上述方案中，所述对挂载的每个数据块进行子数据块划分，划分成n个等大小的子数据块，在各子数据块的固定位置设置校验信息，包括：将挂载的每个数据块划分成n个65K的子数据块，各子数据块包括64K的数据区和1K的校验区，将数据区保存的数据的奇偶校验信息设置在奇偶校验区。

上述方案中，所述读写数据按照所述子数据块的大小进行读写。

上述方案中，所述读写数据时，根据读取的子数据块固定位置的校验信息进行数据验证，包括：进行读写操作时，按照子数据块大小读写数据，将读写数据的相对地址转换为磁盘的物理地址，从起始地址为所述物理地址的数据块中读取子数据块，计算所述子数据块的奇偶校验信息，将计算的奇偶校验信息与所述子数据块中的奇偶校验信息进行比较。

上述方案中，该方法还包括：将挂载的数据块排列成逻辑序列，并将各业务数据分配到不同的数据块上，建立业务与数据块的映射表，在业务发生异常时，根据所述映射表将承载所述业务的各个数据块加入坏块扫描队列，对坏块扫描队列中各个数据块的各子数据块进行数据验证。

上述方案中，所述对坏块扫描队列中各个数据块的各子数据块进行数据验证包括：计算所述各子数据块的奇偶校验信息，将计算的奇偶校验信息与所述子数据块中的奇偶校验信息进行比较。

本发明提供的一种磁盘坏块的自检测装置，包括：子数据块划分模块、坏块扫描模块；其中，

子数据块划分模块，用于对每个数据块进行子数据块划分，划分成n个等大小的子数据块，其中n为不小于2的整数；并在各子数据块的固定位置设置校验信息，在各子数据块的除所述固定位置的其它位置保存数据，所述校验信息为所述数据的奇偶校验信息；

坏块扫描模块，用于在读写数据时，根据读取的子数据块的固定位置的校验信息进行数据验证。

上述方案中，所述子数据块划分模块，用于将挂载的每个数据块划分成n个65K的子数据块，各子数据块包括64K的数据区和1K的校验区，将数据区保存的数据的奇偶校验信息设置在奇偶校验区。

上述方案中，所述坏块扫描模块，用于在读写数据时，按照子数据块大小读写数据，将读写数据的相对地址转换为磁盘的物理地址，从起始地址为所述物理地址的数据块中读取子数据块，计算所述子数据块的奇偶校验信息，将计算的奇偶校验信息与所述子数据块中的奇偶校验信息进行比较。

上述方案中，该装置还包括：业务分配模块、坏块扫描通知模块；其中，

业务分配模块，用于将挂载的数据块排列成逻辑序列，并将各业务数据分配到不同的数据块上，建立业务与数据块的映射表；

坏块扫描通知模块，用于在业务发生异常时，根据所述映射表将承载所述业务的各个数据块加入坏块扫描队列，通知坏块扫描模块；

相应的，所述坏块扫描模块，还用于对坏块扫描队列中各个数据块的各子数据块进行数据验证。

本发明提供了一种磁盘坏块的自检测方法和装置，对挂载的每个数据块进行子数据块划分，划分成n个等大小的子数据块，其中n为不小于2的整数；在各子数据块的固定位置设置校验信息，在各子数据块的除所述固定位置的其它位置保存数据，其中所述校验信息是所述数据的奇偶校验信息；读写数据时，根据读取的子数据块的固定位置的校验信息进行数据验证；如此，能够快速的对磁盘坏块进行检测，并能指示数据的迁移、磁盘的更换。

附图说明

图1为现有技术中RAID5磁盘检测方法的数据结构示意图；

图2为现有技术中RAID6磁盘检测方法的数据结构示意图；

图3为本发明实现磁盘坏块的自检测方法的流程示意图；

图4为本发明实施例中子数据块的数据结构示意图；

图5为本发明实施例步骤102的具体流程示意图；

图6为本发明实施例中将不同业务数据分配到不同的Chunk上的示意图；

图7为本发明实现磁盘坏块的自检测装置的结构示意图；

图8为本发明提供的磁盘坏块的自检测装置与业务系统进行业务数据验证的示意图。

具体实施方式

本发明的基本思想是：对挂载的每个数据块进行子数据块划分，划分成n个等大小的子数据块，其中n为不小于2的整数；在各子数据块的固定位置设置校验信息，在各子数据块的除所述固定位置的其它位置保存数据，其中所述校验信息是所述数据的奇偶校验信息；读写数据时，根据读取的子数据块的固定位置的校验信息进行数据验证。

下面通过附图及具体实施例对本发明做进一步的详细说明。

本发明实现一种磁盘坏块的自检测方法，如图3所示，该方法包括以下几个步骤：

步骤101：对挂载的每个数据块进行子数据块划分，划分成n个等大小的子数据块，其中n为不小于2的整数；在各子数据块的固定位置设置校验信息，在各子数据块的除所述固定位置的其它位置保存数据，其中所述校验信息是所述数据的奇偶校验信息；

具体的，磁盘存储服务器将挂载的每个数据块划分成n个65K的子数据块，各子数据块包括64K的数据区和1K的校验区，将数据区保存的数据的奇偶校验信息设置在奇偶校验区；

所述挂载的每个数据块的起始地址为对应的磁盘的物理地址；

以Chunk服务器(server)为例，Chunkserver下挂载了m个Chunk，每个Chunk的起始地址为磁盘的物理地址，Chunkserver将每个Chunk划分成n个65K的子数据块，各子数据块包括64K的数据区和1K的奇偶校验区，Chunkserver将数据区保存的数据的奇偶校验信息设置在奇偶校验区；各子数据块的数据分布如图4所示，数据区每1K字节为一行，共有1024x8个比特，即一个子数据块包括64个数据行及1个奇偶校验行，奇偶校验行的每一个比特为数据区所有行对应比特的奇偶校验和，如公式(1)所示：

Bit(i)＝Column₁(i)xorColumn₂(i)xor.....Column₆₄(i)i＝1...1024×8(1)

其中，Bit(i)为奇偶校验行的第i比特；Column_j(i)为数据区第j行第i比特的奇偶校验值；

这里，由于固定长度的划分，数据和奇偶校验信息均保存在Chunk的固定物理位置。

步骤102：读写数据时，根据读取的子数据块的固定位置的校验信息进行数据验证；如图5所示，本步骤具体包括：

步骤201：读写数据；

具体的，每次对磁盘进行输入输出(IO)读写操作时，按照子数据块大小读写数据，磁盘存储服务器将读写数据的相对地址转换为磁盘的物理地址，从起始地址为所述物理地址的数据块中读取子数据块；

步骤202：计算所述子数据块的奇偶校验信息；

步骤203：校验奇偶校验信息是否一致，在一致时，执行步骤204，在不一致时，执行步骤205；

具体的，将计算的奇偶校验信息与所述子数据块中的奇偶校验信息进行比较，在一致时，执行步骤204，在不一致时，执行步骤205；

步骤204：奇偶验证通过，正常读写数据；

步骤205：返回读写错误；

进一步的，步骤205还包括：读取备份数据，以保证数据的可用性，磁盘存储服务器记录奇偶验证不通过的子数据块所属数据块的信息，对所述数据块进行重建或忽略。

如步骤101中所述磁盘存储服务器为ChunkServer时，每次对磁盘进行的IO读写操作，都是以65K为单位，ChunkServer将读写数据的相对地址转换为磁盘的物理地址，从起始地址为所述物理地址的Chunk中读取65K的子数据块，计算所述子数据块中数据区的奇偶校验信息，将计算的奇偶校验信息与所述子数据块中奇偶校验区的奇偶校验信息进行比较，在一致时，奇偶验证通过，正常读写数据；在不一致时，返回读写错误，进一步的，读取备份数据，以保证数据的可用性，磁盘存储服务器记录奇偶验证不通过的数据块的信息，对所述数据块进行重建或忽略。

这种方法在磁盘操作方面，由于每次读写以及检测数据块只需对一个磁盘进行一次IO操作，极大减少了检测磁盘中总体的IO操作数，而且计算和实现简单，有效的提高检测效率。在数据存储效率方面，空间利用率达98.4％，比起RAID5、RAID6有着比较大的优势。

上述方法还包括：磁盘存储服务器将挂载的数据块排列成逻辑序列，并将各业务数据分配到不同的数据块上，建立业务与数据块的映射表，在业务发生异常时，根据所述映射表将承载所述业务的各个数据块加入坏块扫描队列，所述磁盘存储服务器对坏块扫描队列中各个数据块的各子数据块进行数据验证；这里，所述对坏块扫描队列中各个数据块的各子数据块进行数据验证包括：计算所述各子数据块的奇偶校验信息，将计算的奇偶校验信息与所述子数据块中的奇偶校验信息进行比较；

以ChunkServer为例，ChunkServer将挂载的Chunk排列成1维的Chunk逻辑序列，ChunkServer将不同业务数据分配到不同的Chunk上去，并建立业务和Chunk的映射表，如图6所示，将业务A、业务B、一直到业务M的数据分配到Chunk0、Chunk1、Chunk2、Chunk3、Chunk4......Chunkn上；当某些业务发生异常时，如数据上传/下载IO错误较多或业务磁盘吞吐量下降时，根据所述映射表将承载所述业务的Chunk加入坏块扫描队列，ChunkServer对坏块扫描队列中Chunk的各子数据块进行数据验证；这样，使坏块的扫描更具有针对性，提高坏块检测的命中率，降低扫描对磁盘寿命的影响。

进一步的，ChunkServer还维护坏块信息列表，所述坏块信息列表中存储坏块信息包括：数据块逻辑序号、对应的Chunk号以及坏块检测时间；ChunkServer通过维护坏块信息列表，一方面可以避免对坏块进行数据写入，也降低新数据写入坏块的机率；另一方面坏块检测时间，可以估算物理磁盘坏块的速度，一般磁盘出现扇区坏时，意味着会出现更多的坏的扇区，因此，当某一个磁盘所对应的坏块超出一定比例或坏块速度超过阀值时，ChunkServer将向运维系统发出警告通知运维进行数据搬迁并及时更换磁盘，从ChunkServer上的坏块列表移除相应的坏块序列，从而更好的保证数据的安全性。

为了实现上述方法，本发明还提供一种磁盘坏块的自检测装置，如图7所示，该装置设置在磁盘存储服务器，包括：子数据块划分模块11、坏块扫描模块12；其中，

子数据块划分模块11，用于对每个数据块进行子数据块划分，划分成n个等大小的子数据块，其中n为不小于2的整数；并在各子数据块的固定位置设置校验信息，在各子数据块的除所述固定位置的其它位置保存数据，所述校验信息为所述数据的奇偶校验信息；

坏块扫描模块12，用于读写数据时，根据读取的子数据块的固定位置的校验信息进行数据验证；

所述子数据块划分模块11，具体用于将挂载的每个数据块划分成n个65K的子数据块，各子数据块包括64K的数据区和1K的校验区，将数据区保存的数据的奇偶校验信息设置在奇偶校验区；

所述坏块扫描模块12，具体用于在读写数据时，按照子数据块大小读写数据，将读写数据的相对地址转换为磁盘的物理地址，从起始地址为所述物理地址的数据块中读取子数据块，计算所述子数据块的奇偶校验信息，将计算的奇偶校验信息与所述子数据块中的奇偶校验信息进行比较，在一致时，奇偶验证通过；在不一致时，返回读写错误；

该装置还包括：备份读取模块13，用于在坏块扫描模块返回读写错误后，读取备份数据，以保证数据的可用性；

该装置还包括：记录模块14，用于记录奇偶验证不通过的子数据块所属数据块的信息，对所述数据块进行重建或忽略；

该装置还包括：业务分配模块15、坏块扫描通知模块16；其中，

业务分配模块15，用于将挂载的数据块排列成逻辑序列，并将各业务数据分配到不同的数据块上，建立业务与数据块的映射表；

坏块扫描通知模块16，用于在业务发生异常时，根据所述映射表将承载所述业务的各个数据块加入坏块扫描队列，通知坏块扫描模块；相应的，所述坏块扫描模块12，还用于对坏块扫描队列中各个数据块的各子数据块进行数据验证；所述数据验证的过程具体参见步骤102，这里不再赘述。

该装置设置在ChunkServer时，如图8所示，所述子数据块划分模块11，具体用于将每个Chunk划分成n个65K的子数据块，各子数据块包括64K的数据区和1K的奇偶校验区，将数据区保存的数据的奇偶校验信息设置在奇偶校验区；

所述坏块扫描模块12，具体用于在每次对磁盘进行以65K为单位的IO读写操作时，将读写数据的相对地址转换为磁盘的物理地址，从起始地址为所述物理地址的Chunk中读取65K的子数据块，计算所述子数据块中数据区的奇偶校验信息，将计算的奇偶校验信息与所述子数据块中奇偶校验区的奇偶校验信息进行比较，在一致时，奇偶验证通过，正常读写数据；在不一致时，返回读写错误；

业务分配模块15，用于将挂载的数据块排列成逻辑序列，并将业务系统的各业务数据分配到不同的数据块上，建立业务与数据块的映射表；

坏块扫描通知模块16，用于在收到业务系统的业务异常反馈时，根据所述映射表将承载所述业务的各个数据块加入坏块扫描队列，通知坏块扫描模块；

相应的，所述坏块扫描模块12，还用于对坏块扫描队列中各个数据块的各子数据块进行数据验证；所述数据验证的过程具体参见步骤102，这里不再赘述。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种磁盘坏块的自检测方法，其特征在于，该方法包括：

对挂载的每个数据块进行子数据块划分，划分成n个等大小的子数据块，其中n为不小于2的整数；

在各子数据块的固定位置设置校验信息，在各子数据块的除所述固定位置的其它位置保存数据，其中所述校验信息是所述数据的奇偶校验信息；

读写数据时，根据读取的子数据块的固定位置的校验信息进行数据验证。

2.根据权利要求1所述的方法，其特征在于，所述对挂载的每个数据块进行子数据块划分，划分成n个等大小的子数据块，在各子数据块的固定位置设置校验信息，包括：将挂载的每个数据块划分成n个65K的子数据块，各子数据块包括64K的数据区和1K的奇偶校验区，将数据区保存的数据的奇偶校验信息设置在奇偶校验区。

3.根据权利要求1所述的方法，其特征在于，所述读写数据按照所述子数据块的大小进行读写。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述读写数据时，根据读取的子数据块固定位置的校验信息进行数据验证，包括：进行读写操作时，按照子数据块大小读写数据，将读写数据的相对地址转换为磁盘的物理地址，从起始地址为所述物理地址的数据块中读取子数据块，计算所述子数据块的奇偶校验信息，将计算的奇偶校验信息与所述子数据块中的奇偶校验信息进行比较。

5.根据权利要求1所述的方法，其特征在于，该方法还包括：将挂载的数据块排列成逻辑序列，并将各业务数据分配到不同的数据块上，建立业务与数据块的映射表，在业务发生异常时，根据所述映射表将承载所述业务的各个数据块加入坏块扫描队列，对坏块扫描队列中各个数据块的各子数据块进行数据验证。

6.根据权利要求5所述的方法，其特征在于，所述对坏块扫描队列中各个数据块的各子数据块进行数据验证包括：计算所述各子数据块的奇偶校验信息，将计算的奇偶校验信息与所述子数据块中的奇偶校验信息进行比较。

7.一种磁盘坏块的自检测装置，其特征在于，包括：子数据块划分模块、坏块扫描模块；其中，

子数据块划分模块，用于对每个数据块进行子数据块划分，划分成n个等大小的子数据块，其中n为不小于2的整数；并在各子数据块的固定位置设置校验信息，在各子数据块的除所述固定位置的其它位置保存数据，所述校验信息为所述数据的奇偶校验信息；

坏块扫描模块，用于在读写数据时，根据读取的子数据块的固定位置的校验信息进行数据验证。

8.根据权利要求7所述的自检测装置，其特征在于，所述子数据块划分模块，用于将挂载的每个数据块划分成n个65K的子数据块，各子数据块包括64K的数据区和1K的奇偶校验区，将数据区保存的数据的奇偶校验信息设置在奇偶校验区。

9.根据权利要求8所述的自检测装置，其特征在于，所述坏块扫描模块，用于在读写数据时，按照子数据块大小读写数据，将读写数据的相对地址转换为磁盘的物理地址，从起始地址为所述物理地址的数据块中读取子数据块，计算所述子数据块的奇偶校验信息，将计算的奇偶校验信息与所述子数据块中的奇偶校验信息进行比较。

10.根据权利要求7所述的自检测装置，其特征在于，该装置还包括：业务分配模块、坏块扫描通知模块；其中，

业务分配模块，用于将挂载的数据块排列成逻辑序列，并将各业务数据分配到不同的数据块上，建立业务与数据块的映射表；

坏块扫描通知模块，用于在业务发生异常时，根据所述映射表将承载所述业务的各个数据块加入坏块扫描队列，通知坏块扫描模块；

相应的，所述坏块扫描模块，还用于对坏块扫描队列中各个数据块的各子数据块进行数据验证。