CN108536554A - 一种数据文件的备份方法 - Google Patents
一种数据文件的备份方法 Download PDFInfo
- Publication number
- CN108536554A CN108536554A CN201810386036.6A CN201810386036A CN108536554A CN 108536554 A CN108536554 A CN 108536554A CN 201810386036 A CN201810386036 A CN 201810386036A CN 108536554 A CN108536554 A CN 108536554A
- Authority
- CN
- China
- Prior art keywords
- file
- backup
- redundant
- redundancy
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000009977 dual effect Effects 0.000 abstract description 2
- 238000010998 test method Methods 0.000 abstract 1
- 241000700605 Viruses Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据文件的备份方法,包括在接收到数据文件的备份操作指令时,对指定文件进行拆分处理,对于可拆分处理的文件,得到其最小文件头部,另存为一个冗余文件,对不能拆分处理的文件,进行标准备份处理;对可拆分文件进行标准备份处理并对冗余文件进行冗余备份处理。本发明实现了数据文件重要部分即文件头部的双重备份,并提出了一种测试方法,筛选出最小的文件头部进行备份以提高资源利用率,提高了备份方法整体的可靠性。
Description
技术领域
本发明涉及信息技术领域,具体涉及一种数据文件的备份方法。
背景技术
为防止终端遗失或者终端被病毒攻击,导致终端中的文件丢失,用户一般将文件备份在服务器(如云端服务器),以保证当前存储终端或者当前存储路径中的文件丢失时,可在服务器中查询并获取到备份文件。
例如公开号为CN104331343A的专利文献中公开了一种文件备份方法和系统,提到了较为完善的文件备份方案。
但是任何备份都不是万无一失的,任何存储介质都有失效的概率,所以对重要部分要进行冗余备份。对于数据文件来讲,文件头部损坏,就会整个文件失效;而只要文件头不损坏,应用程序会得到数据文件的基本信息,从而顺利打开得到其中部分数据,减少损失。
所以需要一种备份方法,使重要部分也就是文件头部占用更多的备份空间。
但数据文件种类繁多,文件头部长度也不一样,不可能针对每种文件都有精确的判断文件头方法,所以需要一种大致上判断文件头,并进行备份的方法,达到对文件头部的双重保护。
发明内容
本发明为解决背景技术中的问题,实现对数据文件重要部分的双重保护,以现有的备份技术为基础,提出一种数据文件的备份方法,由以下技术方案来实现:
一种数据文件的备份方法,所述文件备份方法包括以下步骤:
步骤1-1:在接收到数据文件的备份操作指令时,对指定的文件进行拆分处理,对于可拆分处理的文件,得到其最小文件头部,另存为一个冗余文件,对不能拆分处理的文件,进行标准备份处理;
步骤1-2:对可拆分文件进行标准备份处理并对冗余文件进行冗余备份处理。通过步骤1-1,1-2可以实现对文件分类,并对可以冗余备份的文件进行进一步备份。
进一步的,所述拆分处理包括以下步骤:
步骤2-1:所述文件总大小为V字节,令n=1(n代表执行步骤2-2的次数,由于使用应用程序打开文件为本步骤中最耗费资源的步骤,故要控制次数),最小文件头部的结尾位置为p,令p=V/2并取整,规定一个最大循环次数T,s为可用字节数变量,令s=V,进入步骤2-2;
步骤2-2:令n=n+1,将文件从0-p字节的内容另存为一个原文件相同类型的文件,使用原文件对应的应用程序打开,打开成功则进入步骤2-3,打开失败则进入步骤2-4;
步骤2-3:令s=p(p可用,存档),p=p-V/2n(进一步缩小文件头部范围),当n>T时进入步骤2-5,否则进入步骤2-2;
步骤2-4:p=p+V/2n(适当扩大文件头部范围),当n>T时进入步骤2-5,否则进入步骤2-2;
步骤2-5:当s=p时,此文件判定为不能拆分处理的文件,否则最小文件头部为0-s字节的内容。
优选的,所述最大循环次数T取5。
通过最大5次循环执行上述步骤,可以将冗余文件过大,冗余备份无意义的文件看作不能拆分的文件,否则筛选出一个体积最小为3.125%原文件体积的冗余文件(这里的体积可以随着T的取值增加而变更小)进行冗余备份操作。
进一步的,所述标准备份处理包括以下步骤:
步骤4-1:确定所述文件的备份路径;
步骤4-2:将所述备份路径添加至所述文件的属性信息中;
步骤4-3:生成所述文件的备份文件,并将所述备份文件添加至所述备份路径对应的存储空间中。
进一步的,所述冗余备份处理包括以下步骤:
步骤5-1:确定所述冗余文件的冗余备份路径;
步骤5-2:将所述冗余备份路径及冗余文件字节数添加到所述冗余文件的属性信息中;
步骤5-3:生成所述冗余文件的冗余备份文件,并将所述冗余备份文件添加至所述冗余备份路径对应的存储空间中。
以上步骤5-1至5-3,实现了对冗余文件的冗余备份。
本发明的有益效果是:对数据文件进行了分类,对可以得到文件头的文件,将其文件头取出进行了额外备份,增加了整个备份方案的可靠性;并在其中应用了最节省系统资源找到的渐进算法,用较少次数找到合适的冗余文件大小。
附图说明
图1为本发明中实施例1中步骤1-1、1-2的流程图
图2为本发明中实施例1中步骤2-1、2-2、2-3、2-4、2-5的流程图
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体图示,进一步阐述本发明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1、图2,一种数据文件的备份方法,包括以下步骤:
步骤1-1:在接收到数据文件的备份操作指令时,对文件进行拆分处理,对于可拆分处理的文件,得到其最小文件头部,另存为一个冗余文件,对不能拆分处理的文件,进行标准备份处理;
步骤1-2:对可拆分文件进行标准备份处理并对冗余文件进行冗余备份处理。通过步骤1-1,1-2可以实现对文件分类,并对可以冗余备份的文件进行进一步备份。
所述拆分处理包括以下步骤:
步骤2-1:所述文件总大小为V字节,令n=1(n代表执行步骤2-2的次数,由于使用应用程序打开文件为本步骤中最耗费资源的步骤,故要控制次数),最小文件头部的结尾位置为p,令p=V/2并取整,规定一个最大循环次数T,s为可用字节数变量,令s=V,进入步骤2-2;
步骤2-2:令n=n+1,将文件从0-p字节的内容另存为一个原类型文件,使用原文件对应的应用程序打开,打开成功则进入步骤2-3,打开失败则进入步骤2-4;
步骤2-3:令s=p(p可用,存档),p=p-V/2n(进一步缩小文件头部范围),当n>T时进入步骤2-5,否则进入步骤2-2;
步骤2-4:p=p+V/2n(适当扩大文件头部范围),当n>T时进入步骤2-5,否则进入步骤2-2;
步骤2-5:当s=p时,此文件判定为不能拆分处理的文件,否则最小文件头部为0-s字节的内容。
所述最大循环次数T取5。
通过最大5次循环执行上述步骤,可以将冗余文件过大,冗余备份无意义的文件看作不能拆分的文件,否则筛选出一个体积最小为3.125%原文件体积的冗余文件(这里的体积可以随着T的取值增加而变更小)进行冗余备份操作。
所述标准备份处理包括以下步骤:
步骤4-1:确定所述文件的备份路径;
步骤4-2:将所述备份路径添加至所述文件的属性信息中;
步骤4-3:生成所述文件的备份文件,并将所述备份文件添加至所述备份路径对应的存储空间中。
以上步骤4-1至4-3为现有技术,对文件进行备份操作。
进一步的,所述冗余备份处理包括以下步骤:
步骤5-1:确定所述冗余文件的冗余备份路径;
步骤5-2:将所述冗余备份路径及冗余文件字节数添加到所述冗余文件的属性信息中;
步骤5-3:生成所述冗余文件的冗余备份文件,并将所述冗余备份文件添加至所述冗余备份路径对应的存储空间中。
以上步骤5-1至5-3,实现了对冗余文件的冗余备份。
实施例1,本实施例提供一个对数据文件A进行备份的方法,其中A的文件大小为1,000,000字节,文件头部长度400,000字节。
收到对A进行备份操作指令时,对文件进行拆分处理,实施步骤2-1至2-5,V=1000000,n=1,p=500000,T=5,s=V=1000000,进入步骤2-2,
进入步骤2-2,n=1+1=2,0-500000字节内容另存为一个原类型文件B,B由于含有完整文件头,所以可以被应用程序打开,进入步骤2-3
进入步骤2-3,s=p=500000,p=500000-250000=250000,n=2<5所以进入步骤2-2循环;
进入步骤2-2,n=3,0-250000字节内容不能涵盖完整文件头,不能被应用程序打开,所以进入步骤2-4;
进入步骤2-4,p=250000+125000=375000,n=3<5故进入步骤2-2循环;
进入步骤2-2,n=4,0-375000字节内容不能涵盖完整文件头,不能被应用程序打开,所以进入步骤2-4;
进入步骤2-4,p=375000+62500=437500,n=4<5故进入步骤2-2循环;
进入步骤2-2,n=5,0-437500能覆盖完整文件头,可以被应用程序打开,所以进入步骤2-3循环;
进入步骤2-3,s=437500,p=437500-31250=406250,进入步骤2-2循环;
进入步骤2-2,n=6,0-406250能覆盖完整文件头部,可以被应用程序打开,进入步骤2-3循环;
进入步骤2-3,s=p=406250,由于n=6>5,所以进入步骤2-5;
进入步骤2-5,由于s不等于p,所以最小文件头部为0-406250字节的内容。
所以文件A为可拆分文件,最小文件头部为A的0-406250字节的内容,另存为冗余文件B。
通过步骤2-1至2-5,可以看到最小文件头部的大小在五次重复执行后,与实际文件头的大小相差很小,节省了系统资源。
执行步骤1-2,对A进行标准备份处理(步骤4-1至4-3),确定A文件的备份路径;在本实施例中,对文件进行备份操作是指将文件复制存储至备份路径对应的存储空间中,该备份路径可与所述文件的当前存储路径位于同一终端,也可位于不同终端,如将本地的文件备份至云端。用户可通过拖动文件的方式或者通过终端显示界面上的控件触发备份操作指令,该备份操作指令中包含文件的备份路径。将所述备份路径添加至A文件的属性信息中内容时,各类信息分别存储,可将备份路径添加于属性信息中相应的字节处。
生成A文件的备份文件C,并将C文件添加至所述备份路径对应的存储空间中。
对B文件进行冗余备份处理,执行步骤5-1至5-3,确定B文件的冗余备份路径;将所述冗余备份路径及B文件字节数406250添加到B文件的属性信息中;生成B文件的冗余备份文件D,并将D文件添加至所述冗余备份路径对应的存储空间中。
至此文件A已经进行了备份且含有文件A最小文件头部的文件B也得到了备份,达成了对最小文件头部的双保险。
在文件A损坏,文件C也损坏的情况下,可以调取文件D覆盖文件A或者C的头部对应的部分,尝试恢复数据。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (5)
1.一种数据文件的备份方法,其特征在于:所述方法包括以下步骤:
步骤1-1:在接收到数据文件的备份操作指令时,对指定的文件进行拆分处理,对于可拆分处理的文件,得到其最小文件头部,另存为一个冗余文件,对不能拆分处理的文件,进行标准备份处理;
步骤1-2:对可拆分文件进行标准备份处理并对其冗余文件进行冗余备份处理。
2.根据权利要求1所述的一种数据文件备份方法,其特征在于:所述拆分处理包括以下步骤:
步骤2-1:所述文件总大小为V字节,令n=1,最小文件头部的结尾位置为p,令p=V/2并取整,规定一个最大循环次数T,s为可用字节数变量,令s=V,进入步骤2-2;
步骤2-2:令n=n+1,将文件从0-p字节的内容另存为一个与原文件类型相同的文件,使用原文件对应的应用程序打开,打开成功则进入步骤2-3,打开失败则进入步骤2-4;
步骤2-3:令s=p,p=p-V/2n,当n>T时进入步骤2-5,否则进入步骤2-2;
步骤2-4:p=p+V/2n,当n>T时进入步骤2-5,否则进入步骤2-2;
步骤2-5:当s=p时,此文件判定为不能拆分处理的文件,否则最小文件头部为0-s字节的内容。
3.根据权利要求2所述的一种数据文件备份方法,其特征在于:所述最大循环次数T取5。
4.根据权利要求1所述的一种数据文件备份方法,其特征在于:所述标准备份处理包括以下步骤:
步骤4-1:确定所述文件的备份路径;
步骤4-2:将所述备份路径添加至所述文件的属性信息中;
步骤4-3:生成所述文件的备份文件,并将所述备份文件添加至所述备份路径对应的存储空间中。
5.根据权利要求1所述的一种数据文件备份方法,其特征在于:所述冗余备份处理包括以下步骤:
步骤5-1:确定所述冗余文件的冗余备份路径;
步骤5-2:将所述冗余备份路径及冗余文件字节数添加到所述冗余文件的属性信息中;
步骤5-3:生成所述冗余文件的冗余备份文件,并将所述冗余备份文件添加至所述冗余备份路径对应的存储空间中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810386036.6A CN108536554A (zh) | 2018-04-26 | 2018-04-26 | 一种数据文件的备份方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810386036.6A CN108536554A (zh) | 2018-04-26 | 2018-04-26 | 一种数据文件的备份方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108536554A true CN108536554A (zh) | 2018-09-14 |
Family
ID=63479318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810386036.6A Pending CN108536554A (zh) | 2018-04-26 | 2018-04-26 | 一种数据文件的备份方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108536554A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101140586A (zh) * | 2007-09-30 | 2008-03-12 | 浙江大学 | 嵌入式系统中NAND Flash存储器上建立文件系统的方法 |
US20090271412A1 (en) * | 2008-04-29 | 2009-10-29 | Maxiscale, Inc. | Peer-to-Peer Redundant File Server System and Methods |
CN102411523A (zh) * | 2011-11-30 | 2012-04-11 | 广东威创视讯科技股份有限公司 | 文件备份存储方法、装置及其文件系统备份方法 |
CN102750324A (zh) * | 2012-05-28 | 2012-10-24 | 华为技术有限公司 | 文件存储系统、装置及文件存取方法 |
CN104331343A (zh) * | 2014-11-06 | 2015-02-04 | 深圳市中兴移动通信有限公司 | 文件备份方法和系统 |
CN107153794A (zh) * | 2016-03-03 | 2017-09-12 | 腾讯科技(深圳)有限公司 | 文件加密方法和装置、文件解密方法和装置 |
CN107220146A (zh) * | 2017-05-24 | 2017-09-29 | 万兴科技股份有限公司 | 一种文件扫描恢复方法及装置 |
CN107832625A (zh) * | 2017-11-21 | 2018-03-23 | 江苏神州信源系统工程有限公司 | 一种文档的处理方法和装置 |
-
2018
- 2018-04-26 CN CN201810386036.6A patent/CN108536554A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101140586A (zh) * | 2007-09-30 | 2008-03-12 | 浙江大学 | 嵌入式系统中NAND Flash存储器上建立文件系统的方法 |
US20090271412A1 (en) * | 2008-04-29 | 2009-10-29 | Maxiscale, Inc. | Peer-to-Peer Redundant File Server System and Methods |
CN102411523A (zh) * | 2011-11-30 | 2012-04-11 | 广东威创视讯科技股份有限公司 | 文件备份存储方法、装置及其文件系统备份方法 |
CN102750324A (zh) * | 2012-05-28 | 2012-10-24 | 华为技术有限公司 | 文件存储系统、装置及文件存取方法 |
CN104331343A (zh) * | 2014-11-06 | 2015-02-04 | 深圳市中兴移动通信有限公司 | 文件备份方法和系统 |
CN107153794A (zh) * | 2016-03-03 | 2017-09-12 | 腾讯科技(深圳)有限公司 | 文件加密方法和装置、文件解密方法和装置 |
CN107220146A (zh) * | 2017-05-24 | 2017-09-29 | 万兴科技股份有限公司 | 一种文件扫描恢复方法及装置 |
CN107832625A (zh) * | 2017-11-21 | 2018-03-23 | 江苏神州信源系统工程有限公司 | 一种文档的处理方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10126973B2 (en) | Systems and methods for retaining and using data block signatures in data protection operations | |
US8108446B1 (en) | Methods and systems for managing deduplicated data using unilateral referencing | |
US9223660B2 (en) | Storage device to backup content based on a deduplication system | |
US8990164B1 (en) | Systems and methods for performing incremental backups | |
US11762813B2 (en) | Quality score compression apparatus and method for improving downstream accuracy | |
US8818952B2 (en) | Storage apparatus and duplicate data detection method | |
CN102436408B (zh) | 基于Map/Dedup的数据存储云化和云备份方法 | |
CN103150260A (zh) | 重复数据删除方法和装置 | |
CN103810247A (zh) | 基于分桶算法的灾备数据比对方法 | |
CN101751478A (zh) | 一种文件备份方法及系统 | |
US9952771B1 (en) | Method and system for choosing an optimal compression algorithm | |
Kumar et al. | Bucket based data deduplication technique for big data storage system | |
CN105022676B (zh) | 一种内存数据库重做日志文件的恢复方法和装置 | |
US10142415B2 (en) | Data migration | |
CN101599080A (zh) | 一种备份数据的组织系统和方法 | |
CN103559224A (zh) | 一种对元数据对象进行散列的方法及装置 | |
CN113821382B (zh) | 一种实时数据库数据处理方法、系统和设备 | |
CN102629223B (zh) | 一种数据修复方法及装置 | |
CN110083487B (zh) | 一种基于数据局部性的引用数据块碎片消除方法及系统 | |
US20160275134A1 (en) | Nosql database data validation | |
CN108536554A (zh) | 一种数据文件的备份方法 | |
US10268543B2 (en) | Online volume repair | |
CN110019039A (zh) | 元数据分离的容器格式 | |
US10725877B2 (en) | System, method and computer program product for performing a data protection operation | |
CN104281412A (zh) | 一种在数据存储前去除重复数据的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180914 |