[go: up one dir, main page]

CN101814043B - 一种使用快照技术进行在线恢复的方法 - Google Patents

一种使用快照技术进行在线恢复的方法 Download PDF

Info

Publication number
CN101814043B
CN101814043B CN201010149537.6A CN201010149537A CN101814043B CN 101814043 B CN101814043 B CN 101814043B CN 201010149537 A CN201010149537 A CN 201010149537A CN 101814043 B CN101814043 B CN 101814043B
Authority
CN
China
Prior art keywords
data
recovery
snapshot
write
online
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010149537.6A
Other languages
English (en)
Other versions
CN101814043A (zh
Inventor
吴庆民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IEIT Systems Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201010149537.6A priority Critical patent/CN101814043B/zh
Publication of CN101814043A publication Critical patent/CN101814043A/zh
Application granted granted Critical
Publication of CN101814043B publication Critical patent/CN101814043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种使用快照技术进行在线恢复的方法，应用程序(1)是通过文件系统对数据进行操作的程序，通常情况下有两种数据读写方式，一种是通过调用应用程序开发接口(2)提供的接口，再一种是通过系统调用方式(B)直接访问虚拟文件系统(3)提供的接口，应用程序开发接口(2)也是通过系统调用方式(B)来完成数据读写的；虚拟文件系统(3)存在的目的就是屏蔽文件系统(4)的具体实现而对上层提供主要接口；快照源卷(5)和快照卷(6)是虚拟块设备。二者结合实现快照功能。当有写请求发送到快照源卷(5)时，它首先判断扇区中的旧数据是否已经复制到了快照卷(6)，否则通过Kcopyd方式(C)将数据复制到快照卷(6)然后再完成写操作。这就是所谓的COW，快照卷(6)也可以以块设备的形式提供对外的读写。

Description

一种使用快照技术进行在线恢复的方法
技术领域
本发明涉及计算机系统及存储领域，具体涉及一种使用快照技术在线恢复的方法的方法。
背景技术
造成存储系统的数据不可用通常有两种主要的情况。一是，由于病毒感染造成数据中存在病毒或数据被异常修改；另一个原因是数据介质损坏。针对后一种原因造成的数据不可用有许多种方法，比如创建RAID，保证在一块磁盘损坏时不至于造成数据的丢失，从而降低数据不可用的机率，或者采用备份的方法将数据备份到其它存储设备，降低数据不可用的风险。而针对第一种情况，大多应用采用基于时间点的增量或差分备份方式，使得数据受到病毒破坏后恢复到最近可用的时间点。
但是，采用增量或差分备分的方式过行数据保护最大的缺点是，将生产机器上的数据恢复到正常状态需要相当长的一段时间，而且必须在业务中断的情况下进行。
发明内容
本发明是为COW(copy on write)快照增加在线恢复的能力。一旦出现病毒感染，便采用快照进行在线恢复方式。
本发明的目的是按以下方式实现的，在线恢复所用的软硬件包括：应用程序(1)，应用程序开发接口(2)，虚拟文件系统(3)，文件系统(4)，快照源卷(5)，快照卷(6)，在线恢复管理程序(7)，管理字符设备(8)，恢复线程(9)，具体步骤如下：
1)在快照的基础上增加快照在线恢复能力。
应用程序(1)是通过文件系统对数据进行操作的程序，通常情况下有两种数据读写方式，一种是通过调用应用程序开发接口(2)提供的接口，再一种是通过系统调用方式(B)直接访问虚拟文件系统(3)提供的接口，应用程序开发接口(2)也是通过系统调用方式(B)来完成数据读写的；
虚拟文件系统(3)存在的目的就是屏蔽文件系统(4)的具体实现而对上层提供主要接口；
快照源卷(5)和快照卷(6)是虚拟块设备。二者结合实现快照功能。当有写请求发送到快照源卷(5)时，它首先判断扇区中的旧数据是否已经复制到了快照卷(6)，否则通过Kcopyd方式(C)将数据复制到快照卷(6)然后再完成写操作。这就是所谓的COW(copy on write)，快照卷(6)也可以以块设备的形式提供对外的读写；
在线恢复管理程序(7)用于协调统一管理快照的在线恢复操作，它与多个模块都有接口，首先，它能够通知应用程序(1)准备恢复和开始恢复，以便应用程序(1)能够保证通过一些策略保证数据是可用的，以及处理底层数据的变更，同时，它通过管理字符设备(8)提供的接口进行数据恢复操作启动以及查看当前恢复的状态；
管理字符设备(8)用于提供给用户级进程管理接口，并具体实现数据恢复、状态查看等操作；
恢复线程(9)用于后台执行在线恢复功能；
2)数据恢复流程，具体如下：
a.用户通过在线恢复管理程序(7)启动数据恢复；
b.在线恢复管理程序(7)通知应用程序(1)准备开始数据恢复，使应用程序(1)有机会做一些保证数据一致性的操作。比如停止当前读写等；
c.在线恢复管理程序(7)通知管理字符设备(8)启动数据恢复；
d.管理字符设备(8)清空虚拟文件系统(3)或文件系统(4)的缓存，使恢复过程中的数据不至于造成不一致；
e.管理字符设备(8)通知快照源卷(5)将读写流程更改为“恢复过程中的读写”过程；
f.管理字符设备(8)启动恢复线程(9)进行真正的数据恢复；
g.这时在线恢复管理程序(7)对(8)的调用返回；
h.在线恢复管理程序(7)通知应用程序(1)正在恢复数据，使应用程序(1)有机会恢复正常业务，包括继续进行读写，事实上，从a-g的操作对应用程序(1)所运行的业务是完全忽略，认为是完全在线的，不至于导致长时间的离线操作；
恢复线程(9)的工作是将快照存在的数据复制到快照源卷中，对快照中所存在的每个块，包括相同大小的扇区的集合，操作如下：
a.将块索引加入正在恢复的列表，以便在线读写时查找；
b.通过Kcopyd方式(C)将数据复制到原来的扇区；
c.恢复完成后，将恢复位图中待恢复块所在的位置置0，恢复位图初始状态为，做过快照的块置1，其它置0；
d.将块索引从正在恢复列表中删除；
3)恢复过程中读写流程
数据恢复过程中，数据读写是采用特殊的读写流程，主要流程如下：
a.接收文件系统的块数据读写请求；
b.将数据读写请求指定的扇区转换为块trunk；
c.查找正在恢复列表，所要请求的数据是否正在被恢复，如果正在恢复则等待，至到恢复完成，否则转为函数ioctl方式(d)；
d.查找恢复位图代表该块的位是否为1
e.如果为1，从快照中进行数据读写，否则从源卷中进行读写，恢复位图某个位为0表示该trunk或者未被备份到快照卷，或者已经完成恢复，二必其1；
f.将读写完成的结果返回上层。
本发明的优异效果是在快照的基础上增加快照恢复的功能，其核心是管理字符设备(8)、启动恢复线程(9)所提供的功能以及快照源卷(5)和快照卷(6)提供的恢复期快照读写。快照源卷(5)和快照卷(6)并不依赖于某种特殊的实现。本发明旨在提供一种可通用的在线恢复方法。
附图说明
附图1在线快照恢复模块图；
附图2数据恢复流程；
附图3恢复过程中读写流程。
具体实施方式
参照附图对本发明的方法作以下详细的说明。
1)在快照的基础上增加快照在线恢复能力。
如附图1所示，应用程序(1)是通过文件系统对数据进行操作的程序。通常情况下有两种数据读写方式，一种是通过调用应用程序开发接口(2)提供的接口，再一种是通过系统调用方式(B)直接访问(3)提供的接口。事实上应用程序开发接口(2)也是通过(B)来完成数据读写的。
虚拟文件系统(3)存在的目的就是屏蔽文件系统(4)的具体实现而对上层提供主要接口。
快照源卷(5)和快照卷(6)是虚拟块设备。二者结合实现快照功能。当有写请求发送到(5)时，它首先判断扇区中的旧数据是否已经复制到了快照卷(6)，否则通过Kcopyd方式(C)将数据复制到快照卷(6)然后再完成写操作。这就是所谓的COW(copy on write)。快照卷(6)也可以以块设备的形式提供对外的读写。
在线恢复管理程序(7)用于协调统一管理快照的在线恢复操作，它与多个模块都有接口。首先，它能够通知(1)准备恢复和开始恢复，以便应用程序(1)能够保证通过一些策略保证数据是可用的，以及处理底层数据的变更(可选的)。同时，它通过管理字符设备(8)提供的接口进行数据恢复操作启动以及查看当前恢复的状态。
管理字符设备(8)用于提供给用户级进程管理接口，并具体实现数据恢复、状态查看等操作。
恢复线程(9)用于后台执行在线恢复功能。
2)数据恢复流程
数据恢复流程可参考图2，具体如下：
a.用户通过在线恢复管理程序(7)启动数据恢复
b.在线恢复管理程序(7)通知应用程序(1)准备开始数据恢复，使应用程序(1)有机会做一些保证数据一致性的操作。比如停止当前读写等。
c.在线恢复管理程序(7)通知(8)启动数据恢复
d.管理字符设备(8)清空虚拟文件系统(3)(有的实现中也可能是文件系统(4))的缓存，使恢复过程中的数据不至于造成不一致。
e.管理字符设备(8)通知快照源卷(5)将读写流程更改为“恢复过程中的读写”过程
f.管理字符设备(8)启动(9)进行真正的数据恢复
g.这时在线恢复管理程序(7)对管理字符设备(8)的调用返回
h.在线恢复管理程序(7)通知应用程序(1)正在恢复数据，使应用程序(1)有机会恢复正常业务，比如继续进行读写。事实上，从a-g的操作对应用程序(1)所运行的业务是完全可以忽略，认为是完全在线的。不至于导致长时间的离线操作。
恢复线程(9)的工作主要是将快照存在的数据复制到快照源卷中。对快照中所存在的每个块(相同大小的扇区的集合)操作如下：
a.将块索引加入正在恢复的列表，以便在线读写时查找
b.通过Kcopyd方式(C)将数据复制到原来的扇区
c.恢复完成后，将恢复位图中待恢复块所在的位置置0。恢复位图初始状态为，做过快照的块置1，其它置0。
d.将块索引从正在恢复列表中删除
3)恢复过程中读写流程
数据恢复过程中，数据读写是采用特殊的读写流程，主要流程如下：
a.接收文件系统的块数据读写请求
b.将数据读写请求指定的扇区转换为块(trunk)
c.查找正在恢复列表，所要请求的数据是否正在被恢复。如果正在恢复则等待，至到恢复完成，否则转为函数ioctl(d)方式；
d.查找恢复位图代表该块的位是否为1；
e.如果为1，从快照中进行数据读写，否则从源卷中进行读写(恢复位图某个位为0表示该trunk或者未被备份到快照卷，或者已经完成恢复，二必其一；
f.将读写完成的结果返回上层。

Claims (1)

1.一种使用快照技术进行在线恢复的方法，其特征在于在线恢复所用的软硬件及步骤包括：应用程序(1)，应用程序开发接口(2)，虚拟文件系统(3)，文件系统(4)，快照源卷(5)，快照卷(6)，在线恢复管理程序(7)，管理字符设备(8)，恢复线程(9)，具体步骤如下：
1)在快照的基础上增加快照在线恢复能力
应用程序(1)是通过文件系统对数据进行操作的程序，通常情况下有两种数据读写方式，一种是通过调用应用程序开发接口(2)提供的接口，再一种是通过系统调用方式(B)直接访问虚拟文件系统(3)提供的接口，应用程序开发接口(2)也是通过系统调用方式(B)来完成数据读写的；
虚拟文件系统(3)存在的目的就是屏蔽文件系统(4)的具体实现而对上层提供主要接口；
快照源卷(5)和快照卷(6)是虚拟块设备，二者结合实现快照功能，当有写请求发送到快照源卷(5)时，它首先判断扇区中的旧数据是否已经复制到了快照卷(6)，否则通过Kcopyd方式(C)将数据复制到快照卷(6)然后再完成写操作，这就是所谓的COW，快照卷(6)也可以以虚拟块设备的形式提供对外的读写；
在线恢复管理程序(7)用于协调统一管理快照的在线恢复操作，它与多个模块都有接口，首先，它能够通知应用程序(1)准备恢复和开始恢复，以便应用程序(1)能够保证通过一些策略保证数据是可用的，以及处理底层数据的变更，同时，它通过管理字符设备(8)提供的接口进行数据恢复操作启动以及查看当前恢复的状态；
管理字符设备(8)用于提供给用户级进程管理接口，并具体实现数据恢复、状态查看的操作；恢复线程(9)用于后台执行在线恢复功能；
2)数据恢复流程，具体如下：
a.用户通过在线恢复管理程序(7)启动数据恢复；
b.在线恢复管理程序(7)通知应用程序(1)准备开始数据恢复，使应用程序(1)有机会做一些保证数据一致性的操作，比如停止当前读写；
c.在线恢复管理程序(7)通知管理字符设备(8)启动数据恢复；
d.管理字符设备(8)清空虚拟文件系统(3)或文件系统(4)的缓存，使恢复过程中的数据不至于造成不一致；
e.管理字符设备(8)通知快照源卷(5)将读写流程更改为“恢复过程中的读写”过程；
f.管理字符设备(8)启动恢复线程(9)进行真正的数据恢复；
g.这时(7)对(8)的调用返回；
h.在线恢复管理程序(7)通知应用程序(1)正在恢复数据，使应用程序(1)有机会恢复正常业务，包括继续进行读写，事实上，从a-g的操作对应用程序(1)所运行的业务是完全忽略，认为是完全在线的，不至于导致长时间的离线操作；
恢复线程(9)的工作是将快照存在的数据复制到快照源卷中，对快照中所存在的每个虚拟块设备，包括相同大小的扇区的集合，操作如下：
a.将虚拟块设备索引加入正在恢复的列表，以便在线读写时查找；
b.通过Kcopyd方式(C)将数据复制到原来的扇区；
c.恢复完成后，将恢复位图中待恢复虚拟块设备所在的位置置0，恢复位图初始状态为，做过快照的虚拟块设备置1，其它置0；
d.将虚拟块设备索引从正在恢复列表中删除；
3)恢复过程中读写流程数据恢复过程中，数据读写是采用特殊的读写流程，主要流程如下：
a.接收文件系统的虚拟块设备数据读写请求；
b.将数据读写请求指定的扇区转换为虚拟块设备trunk；
c.查找正在恢复列表，所要请求的数据是否正在被恢复，如果正在恢复则等待，至到恢复完成，否则转为函数ioctl方式(d)；
d.查找恢复位图代表该虚拟块设备的位是否为1；
e.如果为1，从快照中进行数据读写，否则从源卷中进行读写，恢复位图某个位为0表示该trunk或者未被备份到快照卷，或者已经完成恢复，二必其一；
f.将读写完成的结果返回上层。
CN201010149537.6A 2010-04-19 2010-04-19 一种使用快照技术进行在线恢复的方法 Active CN101814043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010149537.6A CN101814043B (zh) 2010-04-19 2010-04-19 一种使用快照技术进行在线恢复的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010149537.6A CN101814043B (zh) 2010-04-19 2010-04-19 一种使用快照技术进行在线恢复的方法

Publications (2)

Publication Number Publication Date
CN101814043A CN101814043A (zh) 2010-08-25
CN101814043B true CN101814043B (zh) 2014-07-16

Family

ID=42621304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010149537.6A Active CN101814043B (zh) 2010-04-19 2010-04-19 一种使用快照技术进行在线恢复的方法

Country Status (1)

Country Link
CN (1) CN101814043B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10162722B2 (en) * 2010-07-15 2018-12-25 Veritas Technologies Llc Virtual machine aware replication method and system
CN103176846A (zh) * 2011-12-26 2013-06-26 中国银联股份有限公司 一种基于流水线的软硬件共享装置及方法
CN102779080B (zh) * 2012-06-18 2015-05-27 上海爱数软件有限公司 生成快照的方法、利用快照进行数据恢复的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1842789A (zh) * 2004-03-29 2006-10-04 微软公司 用于在数据库恢复期间快照查询的系统和方法
US7246211B1 (en) * 2003-07-22 2007-07-17 Swsoft Holdings, Ltd. System and method for using file system snapshots for online data backup
US7318135B1 (en) * 2003-07-22 2008-01-08 Acronis Inc. System and method for using file system snapshots for online data backup
CN101609419A (zh) * 2009-06-29 2009-12-23 北京航空航天大学 虚拟机持续在线迁移的数据备份方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680996B2 (en) * 2006-09-28 2010-03-16 Paragon Software GmbH Method and system for shrinking a set of data using a differential snapshot, a watch-list structure along with identifying and retaining updated blocks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7246211B1 (en) * 2003-07-22 2007-07-17 Swsoft Holdings, Ltd. System and method for using file system snapshots for online data backup
US7318135B1 (en) * 2003-07-22 2008-01-08 Acronis Inc. System and method for using file system snapshots for online data backup
CN1842789A (zh) * 2004-03-29 2006-10-04 微软公司 用于在数据库恢复期间快照查询的系统和方法
CN101609419A (zh) * 2009-06-29 2009-12-23 北京航空航天大学 虚拟机持续在线迁移的数据备份方法及装置

Also Published As

Publication number Publication date
CN101814043A (zh) 2010-08-25

Similar Documents

Publication Publication Date Title
US10140039B1 (en) I/O alignment for continuous replication in a storage system
US8898112B1 (en) Write signature command
US8600945B1 (en) Continuous data replication
JP5124183B2 (ja) 非同期リモートコピーシステムの制御方法及び非同期リモートコピーシステム
US8732128B2 (en) Shadow copy bookmark generation
US9031913B1 (en) File replication
CN103034566B (zh) 虚拟机还原的方法和装置
CN101295276B (zh) 一种磁盘级数据备份系统和方法
US8281093B1 (en) Systems and methods for creating consolidated backups of snapshot hierarchies
US9098452B2 (en) Selecting files to backup in a block level backup
US8700570B1 (en) Online storage migration of replicated storage arrays
CN115098299B (zh) 一种虚拟机的备份方法、容灾方法、装置及设备
CN102402471A (zh) 基于存储阵列快照功能的数据实时备份方法及系统
CN113626261A (zh) 一种数据备份方法、装置、设备及计算机可读存储介质
CN102012853B (zh) 一种零拷贝快照方法
CN101840362A (zh) 一种改进的写时拷贝快照的实现方法和装置
CN110188068B (zh) 一种保证文件系统数据一致性的卷级备份方法及装置
US9785641B2 (en) Reducing a backup time of a backup of data files
CN101256528B (zh) 支持零备份窗口的磁盘级数据备份系统和方法
WO2007054428A2 (en) Data set version counting in a mixed local storage and remote storage environment
CN117827538A (zh) 一种结合快照技术的云桌面跨城容灾方法
CN101814043B (zh) 一种使用快照技术进行在线恢复的方法
CN107402848A (zh) 一种快照数据一致性的实现方法
CN109582497B (zh) 一种基于动态数据增量快速应急启动方法
CN104850628A (zh) 一种数据库数据的同步方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: SHANDONG LANGCHAO HUICAI INVESTMENT HOLDING CO., L

Free format text: FORMER OWNER: SHANDONG HIGH-END SERVER + STORAGE RESEARCH INSTITUTE

Effective date: 20120921

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 250014 JINAN, SHANDONG PROVINCE TO: 250101 JINAN, SHANDONG PROVINCE

TA01 Transfer of patent application right

Effective date of registration: 20120921

Address after: Xinluo Avenue high tech Zone of Ji'nan City, Shandong province 250101 No. 1768 Qilu Software building B block 3 layer

Applicant after: Shandong wave color Klc Holdings Ltd

Address before: 250014 No. 224 mountain road, Lixia District, Shandong, Ji'nan

Applicant before: Shandong High-End Server & Storage Research Institute

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: LANGCHAO ELECTRONIC INFORMATION INDUSTRY CO., LTD.

Free format text: FORMER OWNER: SHANDONG LANGCHAO HUICAI INVESTMENT HOLDING CO., LTD.

Effective date: 20130724

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20130724

Address after: 250101 Shandong Province, Ji'nan City hi tech Development Zone, Nga Road No. 1036

Applicant after: Langchao Electronic Information Industry Co., Ltd.

Address before: Xinluo Avenue high tech Zone of Ji'nan City, Shandong province 250101 No. 1768 Qilu Software building B block 3 layer

Applicant before: Shandong wave color Klc Holdings Ltd

C14 Grant of patent or utility model
GR01 Patent grant