CN103744625B - 一种虚拟化应用中拷贝磁盘数据的方法 - Google Patents
一种虚拟化应用中拷贝磁盘数据的方法 Download PDFInfo
- Publication number
- CN103744625B CN103744625B CN201410015533.7A CN201410015533A CN103744625B CN 103744625 B CN103744625 B CN 103744625B CN 201410015533 A CN201410015533 A CN 201410015533A CN 103744625 B CN103744625 B CN 103744625B
- Authority
- CN
- China
- Prior art keywords
- data
- copying
- copy
- target
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000014759 maintenance of location Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 1
- 238000010367 cloning Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 abstract 1
- 238000013507 mapping Methods 0.000 abstract 1
- 230000010076 replication Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种虚拟化应用中拷贝磁盘数据的方法,采用将服务器主机中的虚拟机请远程复制和克隆虚拟磁盘负载转移到存储硬件系统中,在此过程中存储系统根据该请求的特征动态执行IO操作,允许多远多目标拷贝操作,大大提高系统性能。该一种虚拟化应用中拷贝磁盘数据的方法和现有技术相比,存储虚拟化应用中多源多目标拷贝;防止因拷贝源操区域和目标区域重叠而引起的拷贝混乱;对于只读的文件,通过断开拷贝目标区域映射,达到拷贝的效果,提升存储系统IO响应速率,提高公司产品市场竞争力。
Description
技术领域
本发明涉及计算机虚拟化应用技术领域,更具体地说是虚拟化应用中拷贝磁盘数据的方法。
背景技术
VMware虚拟化平台基于可投入业务使用的体系结构构建。使用VMware vSphere等软件可转变或“虚拟化”基于x86的计算机的硬件资源(包括CPU、RAM、硬盘和网络控制器),以创建功能齐全、可像“真实”计算机一样运行其自身操作系统和应用程序的虚拟机。每个虚拟机都包含一套完整的系统,因而不会有潜在冲突。VMware虚拟化的工作原理是,直接在计算机硬件或主机操作系统上面插入一个精简的软件层。该软件层包含一个以动态和透明方式分配硬件资源的虚拟机监视器(即“虚拟化管理程序”)。多个操作系统可以同时运行在单台物理机上,彼此之间共享硬件资源。由于是将整台计算机(包括CPU、内存、操作系统和网络设备)封装起来,因此虚拟机可与所有标准的x86操作系统、应用程序和设备驱动程序完全兼容。可以同时在单台计算机上安全运行多个操作系统和应用程序,每个操作系统和应用程序都可以在需要时访问其所需的资源。
ESX是VMware的企业级虚拟化产品,是vmware虚拟化的平台基础,部署于服务器上。它是具有高级资源管理功能高效,灵活的虚拟主机平台,完美匹配企业数据中心,通过提高资源使用率,扩展计算机性能和优化服务器,VMware ESX服务器帮助企业降低计算机基础构架的成本。
从广义的角度讲,vStorage API是一种能让虚拟基础套件和存储硬件更加紧密结合的机制:
为虚拟套件提供解决方案的存储硬件。
VMware或者第三方管理软件。
为运行在虚拟机中的应用程序提供更好的存储服务质量。
VAAI(vStorage API for Array Integration)是范围更大的vStorage API规范的一个子集,主要是利用硬件卸载特性提升性能。
在虚拟化应用中,当系统执行远程复制和克隆虚拟磁盘时,如果使用传统的复制方法将非常耗时,效率低下。为了解决现有此类操作给服务器主机带来资源消耗过大,时间过长的问题,实现将负载转移到存储硬件,提升系统整体性能,现提供一种在存储虚拟化应用中提高磁盘数据拷贝效率的叫做全复制的方法,该方法通过远程复制时发送全复制命令请求到存储系统,将大大提高拷贝效率,提升系统整体性能,减轻服务器负载。
发明内容
本发明的技术任务是解决现有技术的不足,提供一种虚拟化应用中拷贝磁盘数据的方法。
本发明的技术方案是按以下方式实现的,该一种虚拟化应用中拷贝磁盘数据的方法,其具体实现过程为:
一、存储阵列硬件收到来自虚拟主机的初始化请求,并分配所需的资源,检查其合法性,其中合法性检查包括任务状态检查和参数合法性检查,如果非法将终止该请求,并返回特定的感知数据;
二、执行参数合法性检测,如果是异步模式请求,需要检测是否有相同的命令已经正在处理;
三、向拷贝源和目标LUN发送查询命令,根据返回结果确定LUN是否可以正常访问;
四、判断拷贝源和目标区域是否重叠;
五、执行重叠区域的数据拷贝,并标记;
六、顺序执行数据拷贝;
七、保留命令处理结果的状态数据和命令自身的保留数据;
八、向服务器返回处理结果;
九、根据定时器判断保留数据时间是否到期,如果未到期,则继续保留数据,如果到期则结束整个过程。
本发明与现有技术相比所产生的有益效果是:
本发明的一种虚拟化应用中拷贝磁盘数据的方法采用将服务器主机中的虚拟机请远程复制和克隆虚拟磁盘负载转移到存储硬件系统中,在此过程中存储系统根据该请求的特征动态执行IO操作,允许多远多目标拷贝操作,大大提高系统性能;存储系统可以选择在自精简的LUN上执行断开拷贝目标的短发,用拷贝源代替拷贝目标,不真正磁盘拷贝操作,而是推迟到对该数据区域执行写操作时;能防止因拷贝源操区域和目标区域重叠而引起的拷贝混乱;改善错误处理机制,保留请求执行的结束状态数据和保留数据,允许用户自行设置保留时间;解决现有此类操作给服务器主机带来资源消耗过大,时间过长的问题,实现将负载转移到存储硬件,提升系统整体性能;实用性强,易于推广。
附图说明
附图1是本发明的虚拟化应用中全复制过程虚拟磁盘上的静态示图。
附图2是本发明的全复制数据拷贝处理流程图。
具体实施方式
下面结合附图对本发明的一种虚拟化应用中拷贝磁盘数据的方法作以下详细说明。
本发明所涉及系统实现的核心思想是:虚拟化的VAAI特性中的全复制命令可以减轻服务器主机端的负载,而存储阵列硬件在实现这种卸载的过程中,能根据主机端的要求动态处理,存储可以不执行实际的拷贝动作,而只是执行一个重新映射的过程,会大大提高拷贝过程的速度;如果拷贝过程中的拷贝源数据区域和目标数据区域有重叠,要先拷贝重叠的区域,然后再顺序拷贝剩下的数据。这样将会防止拷贝数据因为重叠而引起的混乱;存储系统可以支持全复制的同步请求和异步请求两种模式;由于全复制过程复杂,出现错误的几率大,所以需要完善错误机制处理。全复制过程将保留命令执行结束状态数据和保留数据,其保留时间长度由用户来设定,这样可以满足需要。
如附图1、图2所示,现提供一种虚拟化应用中拷贝磁盘数据的方法。图1中提供了虚拟化应用中全复制的静态示图,磁盘经过虚拟层VMFS文件系统被映射为文件,和右边的裸设备形成对比。VMFS文件系统中的存在于LUN A上的文件被克隆到LUN B上,结果源文件段<s1,e2>和<s4,e1>被克隆到目标文件段<s4,e3>和<s1,eN>,而存储系统可以不执行真正的拷贝操作,而是仅仅是断开目标文件段<s4,e3>和<s1,eN>,用源文件段<s1,e2>和<s4,e1>代替,并将此文件标记为只读,当需要对该文件执行写操作的时,再执行拷贝工作。
附图2描述了初始化具体处理流程,主要有以下流程实现:
流程100:存储阵列硬件收到来自虚拟主机的初始化请求,并分配所需的资源,检查其合法性。其中合法性检查包括任务状态检查和参数合法性检查,如果非法将终止该请求,并返回特定的感知数据。
流程101:执行参数合法性检测,如果是异步模式请求,需要检测是否有相同的命令已经正在处理。
流程102:向拷贝源和目标LUN发送INRUIRY查询命令,根据返回结果确定LUN是否可以正常访问。
流程103:判断拷贝源和目标区域是否重叠。
流程104:执行重叠区域的数据拷贝,并标记。
流程105:顺序执行数据拷贝。
流程106:保留命令处理结果的状态数据和命令自身的保留数据。
流程107:向服务器返回处理结果。
流程108:根据定时器判断保留数据时间是否到期。
流程109:继续保留数据。
在本发明中,在执行数据拷贝过程中,特别是有多个源和目标的情况下, 服务器不再需要多次向存储系统发送拷贝数据的命令,而是仅仅发送一次命令给存储系统。然后存储系统异步处理该命令,处理结束或异常终止情况下向服务器返回处理结果,服务器根据该结果做出相应的操作。该方法或极大减轻服务器的IO负载,优化了系统。
在一些特殊情况下,在同一个LUN中执行拷贝时,拷贝源和拷贝目的区域发生重叠。如果使用传统的数据拷贝方法,拷贝数据可能因覆盖而破坏源数据,导致拷贝过程混乱。在该方法中,会首先检测出重叠的拷贝源数据,然后首先将执行该重叠区域的数据拷贝,然后进行正常的拷贝操作。这样就避免了因为拷贝混乱的发生。
拷贝数据过程中发生的应用环境很复杂,发生错误的类型也是比较多的,现有的拷贝方法错误处理不够全面。当执行拷贝完成后,存储系统需要为此次操作的结果和保留的数据保留一段时间,如果超过这段时间客户端发送查询这些数据,则会提示错误。在此方法中将对客户端返回更友好的提示数据,并且允许客户修改保留数据的时间。
本发明提供的方案,通过对IO请求及系统状况进行评估,能很好的提升系统性能。
当然,本发明还可有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成,所述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
以上所述仅为本发明的实施例而已,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种虚拟化应用中拷贝磁盘数据的方法,其特征在于其具体实现过程为:
一、存储阵列硬件收到来自虚拟主机的初始化请求,该初始化请求为全复制命令请求,并分配所需的资源,检查其合法性,其中合法性检查包括任务状态检查和参数合法性检查,如果非法将终止该请求,并返回特定的感知数据;执行所述参数合法性检测时,如果是异步模式请求,需要检测是否有相同的命令已经正在处理;
二、向拷贝源和目标LUN发送查询命令,根据返回结果确定LUN是否可以正常访问;
三、如果可以正常访问,则判断拷贝源和目标区域是否重叠;
四、如果有重叠,则先执行重叠区域的数据拷贝,并标记;
五、顺序执行剩余的数据拷贝;
六、保留命令处理结果的状态数据和命令自身的保留数据;
七、向服务器返回处理结果;
八、根据定时器判断保留数据时间是否到期,如果未到期,则继续保留数据,如果到期则结束整个过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410015533.7A CN103744625B (zh) | 2014-01-14 | 2014-01-14 | 一种虚拟化应用中拷贝磁盘数据的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410015533.7A CN103744625B (zh) | 2014-01-14 | 2014-01-14 | 一种虚拟化应用中拷贝磁盘数据的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103744625A CN103744625A (zh) | 2014-04-23 |
CN103744625B true CN103744625B (zh) | 2017-05-10 |
Family
ID=50501646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410015533.7A Active CN103744625B (zh) | 2014-01-14 | 2014-01-14 | 一种虚拟化应用中拷贝磁盘数据的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103744625B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105159908A (zh) * | 2015-07-02 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 一种克隆数据库的方法和装置 |
CN105760211A (zh) * | 2016-01-18 | 2016-07-13 | 浪潮(北京)电子信息产业有限公司 | 一种虚拟机的克隆方法及系统 |
US10942857B1 (en) * | 2019-09-11 | 2021-03-09 | International Business Machines Corporation | Dynamically adjusting a number of memory copy and memory mapping windows to optimize I/O performance |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1504905A (zh) * | 2002-12-05 | 2004-06-16 | �Ҵ���˾ | 实现重叠操作的方法和系统 |
CN101689148A (zh) * | 2008-05-29 | 2010-03-31 | 威睿公司 | 向存储硬件的存储操作卸载 |
CN102033792A (zh) * | 2010-12-17 | 2011-04-27 | 浪潮(北京)电子信息产业有限公司 | 一种基于虚拟化的数据远程恢复方法及装置 |
US8566542B1 (en) * | 2011-01-06 | 2013-10-22 | Hewlett-Packard Development Company, L.P. | Backup using storage array LUN level snapshot |
CN103455280A (zh) * | 2012-05-31 | 2013-12-18 | 国际商业机器公司 | 用于执行存储器复制的方法和系统 |
-
2014
- 2014-01-14 CN CN201410015533.7A patent/CN103744625B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1504905A (zh) * | 2002-12-05 | 2004-06-16 | �Ҵ���˾ | 实现重叠操作的方法和系统 |
CN101689148A (zh) * | 2008-05-29 | 2010-03-31 | 威睿公司 | 向存储硬件的存储操作卸载 |
CN102033792A (zh) * | 2010-12-17 | 2011-04-27 | 浪潮(北京)电子信息产业有限公司 | 一种基于虚拟化的数据远程恢复方法及装置 |
US8566542B1 (en) * | 2011-01-06 | 2013-10-22 | Hewlett-Packard Development Company, L.P. | Backup using storage array LUN level snapshot |
CN103455280A (zh) * | 2012-05-31 | 2013-12-18 | 国际商业机器公司 | 用于执行存储器复制的方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103744625A (zh) | 2014-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI625674B (zh) | 用於支援在主機上運行的多個虛擬機器的nvme控制器虛擬化的系統和方法 | |
US9495189B2 (en) | Live replication of a virtual machine exported and imported via a portable storage device | |
US10817333B2 (en) | Managing memory in devices that host virtual machines and have shared memory | |
US9501245B2 (en) | Systems and methods for NVMe controller virtualization to support multiple virtual machines running on a host | |
US9239765B2 (en) | Application triggered state migration via hypervisor | |
US9069487B2 (en) | Virtualizing storage for WPAR clients using key authentication | |
CN104598303B (zh) | 基于kvm的虚拟机间在线迁移方法与装置 | |
US9626324B2 (en) | Input/output acceleration in virtualized information handling systems | |
US20150248333A1 (en) | Enabling disk image operations in conjunction with snapshot locking | |
KR20110084211A (ko) | 가상화된 저장소 할당 방법 | |
US10318166B1 (en) | Preserving locality of storage accesses by virtual machine copies in hyper-converged infrastructure appliances | |
US11010084B2 (en) | Virtual machine migration system | |
US10534921B2 (en) | Copy and decrypt support for encrypted virtual machines | |
CN103744625B (zh) | 一种虚拟化应用中拷贝磁盘数据的方法 | |
US11093275B2 (en) | Partial surprise removal of a device for virtual machine migration | |
US11900159B2 (en) | Method for repointing resources between hosts | |
US20230342172A1 (en) | Scalable asynchronous communication for encrypted virtual machines | |
US20170206021A1 (en) | Method and apparatus of subsidiary volume management | |
US11243801B2 (en) | Transparent huge pages support for encrypted virtual machines | |
US9104634B2 (en) | Usage of snapshots prepared by a different host | |
US11003378B2 (en) | Memory-fabric-based data-mover-enabled memory tiering system | |
CN103902354A (zh) | 一种虚拟化应用中快速初始化磁盘的方法 | |
WO2017020927A1 (en) | Migration of computer systems | |
US9652296B1 (en) | Efficient chained post-copy virtual machine migration | |
CN103268203A (zh) | 存储虚拟化处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |