[go: up one dir, main page]

CN102750195A - 一种集群文件系统数据容错的方法 - Google Patents

一种集群文件系统数据容错的方法 Download PDF

Info

Publication number
CN102750195A
CN102750195A CN2012101849702A CN201210184970A CN102750195A CN 102750195 A CN102750195 A CN 102750195A CN 2012101849702 A CN2012101849702 A CN 2012101849702A CN 201210184970 A CN201210184970 A CN 201210184970A CN 102750195 A CN102750195 A CN 102750195A
Authority
CN
China
Prior art keywords
data
cluster
user
block
file system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101849702A
Other languages
English (en)
Inventor
胡振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IEIT Systems Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN2012101849702A priority Critical patent/CN102750195A/zh
Publication of CN102750195A publication Critical patent/CN102750195A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供一种集群文件系统数据容错的方法，包括：客户端模块（1）；元数据集群（2）；存储服务器集群（3）；数据保护模块（4），其中：客户端模块（1）是访问文件系统的入口，负责用户的数据请求；元数据集群（2）负责存储用户数据的元数据部分；数据存储集群（3）提供数据存储单元，负责存储数据，包括去掉元数据之后的数据；数据保护模块（4）的作用是保护用户数据，防止用户数据丢失，数据保护模块（4），能够对用户写入的数据进行校验，并生成相应的校验块，然后把数据和校验块一起进行存储，当集群文件系统中的存储服务器或者存储服务器上的磁盘坏掉的时候，通过校验块能够进行数据恢复，从而最大程度的保护数据安全。

Description

一种集群文件系统数据容错的方法
技术领域
本发明涉及计算机应用技术领域，通常适用于分布式、并行文件系统中，能够最大化的保证数据不丢失，维护数据一致性。 具体地说是一种集群文件系统数据容错的方法。
背景技术
目前分布式集群文件系统数据容错的方法一般采用副本、复制、或者是借助于阵列上的RAID级别来进行数据保护，基本上分布式文件系统都采用上述几种方法。本发明则是借鉴这些发明基础上，提出一种新的分布式集群文件系统数据容错的方法，能够实现分布式集群文件系统的数据保护。
发明内容
本发明的目的是提供一种集群文件系统数据容错的方法。
本发明的目的是按以下方式实现的，系统包括：客户端模块（1）；元数据集群（2）；存储服务器集群（3）；数据保护模块（4），其中：   
客户端模块（1）是访问文件系统的入口，负责用户的数据请求；
元数据集群（2）负责存储用户数据的元数据部分；
数据存储集群（3）提供数据存储单元，负责存储数据，包括去掉元数据之后的数据；
数据保护模块（4）的作用是保护用户数据，防止用户数据丢失，数据保护模块（4），能够对用户写入的数据进行校验，并生成相应的校验块，然后把数据和校验块一起进行存储，当集群文件系统中的存储服务器或者存储服务器上的磁盘坏掉的时候，通过校验块能够进行数据恢复，从而最大程度的保护数据安全，具体步骤如下：
1）假设客户端模块（1）要写入的数据位dataFile，并且被分成两个条带stripe1,stripe2；
2）条带stripe1被分成的数据块为D0 ,D1,条带stripe2被分成数据块为D2,D3；
3）数据保护模块（4）会进行校验块生成，数据块D0,D1通过计算生成的校验块为P0，数据块D2,D3生成的校验块为P1；
4）各个数据块和校验块同时写入到磁盘中；
5）假设当数据块D0出现故障，那么数据保护模块（4）会自动根据校验块P0和数据块D1重新计算，从而恢复出数据块D0，这样又保证了数据的完整性，保证数据不丢失。
本发明的有益效果是：适用于分布式集群文件系统，该方法能够极大的提高用户数据的安全性，防止用户数据丢失，是一种智能化的数据安全存储方法。该方法主要创新是在于客户端模块（1）把用户数据分成条带存储，每个条带单元分成多个单位更小的数据块，然后通过数据保护模块（4）把多个数据块进行校验，计算生成校验码。生成的校验码和数据块一起写入到不同的存储服务器集群（3）节点上。这样，当单个存储服务器或者磁盘坏掉的时候，数据保护模块（4）会根据校验块和其他正常的数据块进行计算，重新生成数据，从而保证丢失的数据能够重新恢复出来，保证在集群故障的时候不会出现数据丢失。
附图说明
图1是数据正常写入的情况；
图2 是数据块出现故障，重新恢复的情况。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
系统包括：客户端模块（1）；元数据集群（2）；存储服务器集群（3）；数据保护模块（4），其中：   
客户端模块（1）是访问文件系统的入口，负责用户的数据请求；
元数据集群（2）负责存储用户数据的元数据部分；
数据存储集群（3）提供数据存储单元，负责存储数据，包括去掉元数据之后的数据；
数据保护模块（4）的作用是保护用户数据，防止用户数据丢失，数据保护模块（4），能够对用户写入的数据进行校验，并生成相应的校验块，然后把数据和校验块一起进行存储，当集群文件系统中的存储服务器或者存储服务器上的磁盘坏掉的时候，通过校验块能够进行数据恢复，从而最大程度的保护数据安全，具体步骤如下：
1）假设客户端模块（1）要写入的数据位dataFile，并且被分成两个条带stripe1,stripe2；
2）条带stripe1被分成的数据块为D0 ,D1,条带stripe2被分成数据块为D2,D3；
3）数据保护模块（4）会进行校验块生成，数据块D0,D1通过计算生成的校验块为P0，数据块D2,D3生成的校验块为P1；
4）各个数据块和校验块同时写入到磁盘中；
5）假设当数据块D0出现故障，那么数据保护模块（4）会自动根据校验块P0和数据块D1重新计算，从而恢复出数据块D0，这样又保证了数据的完整性，保证数据不丢失。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种集群文件系统数据容错的方法, 其特征在于系统包括：客户端模块（1）；元数据集群（2）；存储服务器集群（3）；数据保护模块（4），其中：   
客户端模块（1）是访问文件系统的入口，负责用户的数据请求；
元数据集群（2）负责存储用户数据的元数据部分；
数据存储集群（3）提供数据存储单元，负责存储数据，包括去掉元数据之后的数据；
数据保护模块（4）的作用是保护用户数据，防止用户数据丢失，数据保护模块（4），能够对用户写入的数据进行校验，并生成相应的校验块，然后把数据和校验块一起进行存储，当集群文件系统中的存储服务器或者存储服务器上的磁盘坏掉的时候，通过校验块能够进行数据恢复，从而最大程度的保护数据安全，具体步骤如下：
1）假设客户端模块（1）要写入的数据位dataFile，并且被分成两个条带stripe1,stripe2；
2）条带stripe1被分成的数据块为D0 ,D1,条带stripe2被分成数据块为D2,D3；
3）数据保护模块（4）会进行校验块生成，数据块D0,D1通过计算生成的校验块为P0，数据块D2,D3生成的校验块为P1；
4）各个数据块和校验块同时写入到磁盘中；
5）假设当数据块D0出现故障，那么数据保护模块（4）会自动根据校验块P0和数据块D1重新计算，从而恢复出数据块D0，这样又保证了数据的完整性，保证数据不丢失。
CN2012101849702A 2012-06-07 2012-06-07 一种集群文件系统数据容错的方法 Pending CN102750195A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012101849702A CN102750195A (zh) 2012-06-07 2012-06-07 一种集群文件系统数据容错的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012101849702A CN102750195A (zh) 2012-06-07 2012-06-07 一种集群文件系统数据容错的方法

Publications (1)

Publication Number Publication Date
CN102750195A true CN102750195A (zh) 2012-10-24

Family

ID=47030412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101849702A Pending CN102750195A (zh) 2012-06-07 2012-06-07 一种集群文件系统数据容错的方法

Country Status (1)

Country Link
CN (1) CN102750195A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152395A (zh) * 2013-02-05 2013-06-12 北京奇虎科技有限公司 一种分布式文件系统的存储方法及装置
CN104168253A (zh) * 2013-05-17 2014-11-26 环达电脑(上海)有限公司 保护网络上传信息的方法及储存控制系统
CN104183874A (zh) * 2013-05-22 2014-12-03 罗伯特·博世有限公司 用于提供蓄电池单元的维护和维修的信息的方法和装置
CN106021462A (zh) * 2016-05-17 2016-10-12 深圳市中博科创信息技术有限公司 集群文件系统文件存储的方法及集群文件系统
WO2017028494A1 (zh) * 2015-08-17 2017-02-23 华为技术有限公司 一种数据恢复的方法、存储的方法相应的装置及系统
WO2018076954A1 (zh) * 2016-10-31 2018-05-03 杭州海康威视数字技术股份有限公司 一种数据存储方法、装置及系统
CN111541753A (zh) * 2020-04-16 2020-08-14 深圳市网心科技有限公司 区块链数据的分布式存储系统、方法、计算机设备及介质
CN112380176A (zh) * 2020-11-17 2021-02-19 浙江大华技术股份有限公司 一种实时监测文件系统异常的方法、装置及存储介质
CN113553216A (zh) * 2021-06-28 2021-10-26 北京百度网讯科技有限公司 数据恢复方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231604A (zh) * 2007-01-22 2008-07-30 国际商业机器公司 用于集群服务器数据的卷级恢复的设备、系统及方法
US7809691B1 (en) * 2005-02-22 2010-10-05 Symantec Operating Corporation System and method of applying incremental changes prior to initialization of a point-in-time copy
CN101980192A (zh) * 2010-10-15 2011-02-23 中兴通讯股份有限公司 一种基于对象的集群文件系统管理方法及集群文件系统
CN102110154A (zh) * 2011-02-21 2011-06-29 中国科学院计算技术研究所 一种集群文件系统中文件冗余存储方法
US20120036106A1 (en) * 2010-08-09 2012-02-09 Symantec Corporation Data Replication Techniques Using Incremental Checkpoints

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809691B1 (en) * 2005-02-22 2010-10-05 Symantec Operating Corporation System and method of applying incremental changes prior to initialization of a point-in-time copy
CN101231604A (zh) * 2007-01-22 2008-07-30 国际商业机器公司 用于集群服务器数据的卷级恢复的设备、系统及方法
US20120036106A1 (en) * 2010-08-09 2012-02-09 Symantec Corporation Data Replication Techniques Using Incremental Checkpoints
CN101980192A (zh) * 2010-10-15 2011-02-23 中兴通讯股份有限公司 一种基于对象的集群文件系统管理方法及集群文件系统
CN102110154A (zh) * 2011-02-21 2011-06-29 中国科学院计算技术研究所 一种集群文件系统中文件冗余存储方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152395A (zh) * 2013-02-05 2013-06-12 北京奇虎科技有限公司 一种分布式文件系统的存储方法及装置
CN103152395B (zh) * 2013-02-05 2015-12-09 北京奇虎科技有限公司 一种分布式文件系统的存储方法及装置
CN104168253A (zh) * 2013-05-17 2014-11-26 环达电脑(上海)有限公司 保护网络上传信息的方法及储存控制系统
CN104183874A (zh) * 2013-05-22 2014-12-03 罗伯特·博世有限公司 用于提供蓄电池单元的维护和维修的信息的方法和装置
WO2017028494A1 (zh) * 2015-08-17 2017-02-23 华为技术有限公司 一种数据恢复的方法、存储的方法相应的装置及系统
US10810091B2 (en) 2015-08-17 2020-10-20 Huawei Technologies Co., Ltd. Data recovery method, data storage method, and corresponding apparatus and system
CN106021462A (zh) * 2016-05-17 2016-10-12 深圳市中博科创信息技术有限公司 集群文件系统文件存储的方法及集群文件系统
WO2018076954A1 (zh) * 2016-10-31 2018-05-03 杭州海康威视数字技术股份有限公司 一种数据存储方法、装置及系统
CN111541753A (zh) * 2020-04-16 2020-08-14 深圳市网心科技有限公司 区块链数据的分布式存储系统、方法、计算机设备及介质
CN111541753B (zh) * 2020-04-16 2024-02-27 深圳市迅雷网络技术有限公司 区块链数据的分布式存储系统、方法、计算机设备及介质
CN112380176A (zh) * 2020-11-17 2021-02-19 浙江大华技术股份有限公司 一种实时监测文件系统异常的方法、装置及存储介质
CN113553216A (zh) * 2021-06-28 2021-10-26 北京百度网讯科技有限公司 数据恢复方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN102750195A (zh) 一种集群文件系统数据容错的方法
EP2899627B1 (en) Method and system for service-aware parity placement in a storage system
US8171379B2 (en) Methods, systems and media for data recovery using global parity for multiple independent RAID levels
US9152500B1 (en) Hash collision recovery in a deduplication vault
CN111670442B (zh) 数据库事务日志的写入和完整性检查
JP2011192257A5 (zh)
EP2899626B1 (en) Method and system for service-aware data placement in a storage system
US20150142752A1 (en) Priority based reliability mechanism for archived data
US8930750B2 (en) Systems and methods for preventing data loss
CN106445741B (zh) 一种基于ceph实现oracle数据库容灾备份方法
US20120166909A1 (en) Method and apparatus for increasing data reliability for raid operations
US9009431B2 (en) Virtual snapshot system and method
WO2014118776A9 (en) Management and recovery of distributed storage of replicas
CN103262054A (zh) 用于自动提交存储器的装置、系统和方法
CN106339276B (zh) 一种基于数据备份状态的数据恢复方法及系统
TW200817992A (en) Amorphous raid
JP2018508073A (ja) データ除去、割り当て、及び再構築
US20190163374A1 (en) Storing data objects using different redundancy schemes
WO2016018383A1 (en) Live migration of data
CN113552998B (zh) 用于管理存储系统中的条带的方法、设备和程序产品
KR20130050588A (ko) 나스 서버의 임베디드 시스템 펌웨어 복원 장치 및 방법
US20110289059A1 (en) Ordering volumes and tracks for data transfer based on usage characteristics
CN102750342B (zh) 一种集群文件系统数据一致性的方法
TWI287190B (en) Stable storage method
CN102354293B (zh) 一种实现文件差异备份的系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121024