CN110502364B

CN110502364B - 一种OpenStack平台下大数据沙箱集群的跨云备份恢复方法

Info

Publication number: CN110502364B
Application number: CN201810472622.2A
Authority: CN
Inventors: 吕智慧; 吴杰; 童宇; 李树楠
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2018-05-17
Filing date: 2018-05-17
Publication date: 2023-03-14
Anticipated expiration: 2038-05-17
Also published as: CN110502364A

Abstract

本发明属于云计算和大数据技术领域，涉及一种针对OpenStack平台下大数据沙箱集群的跨云备份恢复方法。本发明方法包括：在大数据沙箱集群备份阶段，创建多节点虚拟机快照并存储为镜像，提取OpenStack‑Sahara数据库中集群信息加以保存；在跨云传输阶段，使用改进UDT协议进行集群备份镜像文件的可靠传输；在大数据沙箱集群恢复阶段，上传虚拟机备份镜像，使用Sahara重新启动集群，通过修改集群插件的方法，实现集群内部Hadoop，Spark大数据服务的启动。本发明方法能解决在多云大数据平台环境中，为了防止物理节点出现系统或硬件错误而进行的虚拟机和大数据沙箱集群的备份迁移以及数据恢复的问题。

Description

一种OpenStack平台下大数据沙箱集群的跨云备份恢复方法

技术领域

本发明属于云计算和大数据技术领域，具体涉及一种OpenStack平台下大数据沙箱集群的跨云备份恢复方法。

背景技术

现有技术公开了在云计算时代，计算、存储和网络资源可如同传统能源一样按需使用、按量计费；虚拟化技术聚合服务器硬件资源以虚拟机的形式向用户提供计算资源；然而，实践显示，数据中心内外的不稳定因素影响着计算资源供应的稳定性和可靠性，受此影响，突发的虚拟机故障会导致客户应用中断、虚拟磁盘数据损坏等问题；更为严重的是，破坏性的虚拟磁盘数据损坏时常导致虚拟机无法重启恢复。云计算平台一般都支持单个虚拟机节点的备份和恢复。

随着大数据技术发展以及数据量的不断增长，单个虚拟机已无法满足计算资源的要求，OpenStack云平台的Sahara组件可以将多个虚拟机实例编排为一个大数据处理集群，在此集群之上运行Hadoop，Spark等大数据计算平台。面对多个用户不同数据大小、不同性能和代价要求的大数据交易和处理请求，系统需要适配各种应用特征，动态高效的完成多种计算集群(Hadoop、Spark)的自动快速配置，形成每个用户的专用空间—称之为大数据处理沙箱集群，在该相对隔离的沙箱内进行安全可信和高效的大数据分析处理；因此，大数据处理沙箱集群是在大数据平台共享物理和虚拟计算/存储资源基础上，承载特定大数据处理任务，与其它计算资源相对安全隔离的自完整的独立虚拟环境专用空间。而现有技术的OpenStack平台上原有的虚拟机单节点的备份恢复功能无法满足大数据沙箱集群多节点场景之下的跨云容灾恢复要求。

基于现有技术的现状，本申请的发明人拟针对大数据虚拟机沙箱集群，设计一套跨云的沙箱集群的备份恢复方法。

发明内容

本发明的目的在于基于现有技术的现状，提出一种针对OpenStack平台下大数据沙箱集群的整体跨云备份恢复方案。具体涉及一种OpenStack平台下大数据沙箱集群的跨云备份恢复方法。

本发明方法包括：在大数据沙箱集群备份阶段，创建多节点虚拟机快照并存储为镜像，提取OpenStack-Sahara数据库中集群信息加以保存；在跨云传输阶段，使用改进UDT协议进行集群备份镜像文件的可靠传输；在大数据沙箱集群集群恢复阶段，上传虚拟机备份镜像，使用Sahara重新启动集群，通过修改集群插件的方法，实现集群内部Hadoop，Spark大数据服务的启动。本发明方法能解决在OpenStack云平台环境中，当物理节点出现系统或硬件错误时，大数据沙箱虚拟机集群的迁移以及数据恢复的问题。利用本方法，能有效保证大数据计算环境的稳定性，为大数据集群容灾恢复提供帮助和保障方法。

本发明通过下述技术方案施现：

本发明提供了一种OpenStack平台下大数据沙箱集群的跨云备份恢复方法，其特征在于，通过下述步骤实现大数据沙箱虚拟机集群整体跨云平台的备份和恢复，所述步骤包括：

1)大数据沙箱集群备份阶段

接收到备份请求后，创建大数据沙箱集群中所有虚拟机的快照，保存镜像文件；数据库备份模块从数据库中提取集群的信息，以字典形式加以保存；

2)跨云传输大数据沙箱集群镜像

使用改进UDT协议进行大数据沙箱集群备份文件的跨云数据传输；

3)大数据沙箱集群恢复阶段

接收到恢复请求后，将虚拟机备份文件上传为镜像，同时恢复数据库中节点组的信息，待虚拟机启动完毕后，利用大数据沙箱集群恢复模板插件启动集群虚拟机实例，然后启动各节点的原有进程，服务，完成集群恢复操作。

本发明中，所述的集群备份包括如下流程：

1)保存集群信息，包括：集群配置，节点组，虚拟机信息，密钥对；

2)保存集群模板信息，包括集群的节点组配置，各个节点所运行的服务；

3)保存已注册镜像的配置信息，包括镜像基础信息，集群插件版本；

4)创建虚拟机实例快照，下载快照镜像并转换格式。

本发明中，所述的创建虚拟机实例快照中，在快照创建完毕后，使用qemu将虚拟机的镜像格式由raw转换为qcow2以提升镜像上传/下载效率。

本发明中，所述的改进UDT协议中，通过利用UDT协议的ACK控制包和丢失重传列表进行优化，提高UDT协议的可靠性；针对UDT协议在高速网络中以丢包为拥塞控制信号的问题，通过计算网络带宽容量和往返时延调整传输速度。

本发明中，所述的集群恢复方法中的恢复流程如下：

1)确认待恢复虚拟机镜像个数，虚拟机类型与集群信息是否匹配；

2)上传密钥对，虚拟机实例类型；

3)上传集群虚拟机实例镜像；

4)启动各节点虚拟机实例；

5)将集群配置，节点组信息导入Sahara数据库当中；

6)使用Sahara组件API，重新启动集群的各个节点的原有进程，服务。

本发明中，所述的集群插件中，调用OpenStack-Sahara API，登陆各节点虚拟机实例，启动原有的Hadoop及Spark的大数据服务进程。

更具体的，本发明中，

1.备份大数据沙箱集群

OpenStack本身可以对虚拟机进行创建快照这一操作，用于保存虚拟机当前的运行状态和其中数据；

本发明中的沙箱集群由多个虚拟机实例组成，以Hadoop集群为例，集群中的虚拟机一般分为一个Master节点与多个Slave节点，在Master节点之上运行NameNode，ResourceManager等服务，在Slave节点之上运行DataNode等服务；Sahara组件负责调度同一个集群内节点之间的相互通信，它将所有节点的信息统一存储在数据库中，监控集群内各个节点的健康状态，维护集群的稳定运行；因此，本方法对于集群的备份，一方面保存存储在各个虚拟机节点中的数据，另一方面保存Sahara数据库中集群的整体调度信息；所述步骤中包括：

1)接收到备份请求后，根据集群的ID，在数据中查找到对应集群信息，以字典形式保存，包括：集群配置，节点组，虚拟机信息，密钥对；

2)保存集群模板信息，包括集群的节点组配置，各个节点所运行的Hadoop，Spark服务；

3)保存已注册镜像的配置信息(包括镜像基础信息，集群插件版本)，安全组信息；

4)使用OpenStack Nova组件创建集群所有虚拟机实例快照，Nova将虚拟机的快照以镜像的形式存储在Glance组件中；从Glance组件中下载快照镜像文件，该个镜像文件大小为虚拟机的磁盘大小而非实际数据大小，再使用qemu-img工具将raw格式的镜像转换为qcow2，转换之后镜像大小即为虚拟机磁盘中数据文件的大小，至此完成备份操作；

2.跨云传输大数据沙箱集群镜像

在不同云平台之间进行集群的备份恢复操作，需要进行大量的数据传输；UDT协议是适用于高速广域网大数据传输的协议，在千兆网的环境中UDT协议具有传输速度快、稳定等优势，但是在万兆网环境中，UDT协议存在传输性能低、持续丢包等问题；

改进UDT协议是经过下文所述的针对UDT协议的重传机制改进和文件写入过程优化后得到的协议。本方法的改进UDT协议针对UDT(UDP-based Data Transfer Protocol)协议丢包引发超时重传的问题，通过基于BDP(Bandwidth-Delay Product,网络带宽时延积)的UDT协议中ACK控制包和丢失重传列表进行优化，提高了UDT协议的可靠性；所述步骤中包括：

1)重传机制改进

本方法改进了UDT的可靠性控制算法，使其能够及时发现链路中丢失的重传数据包，并充分利用ACK控制包信息，避免超时重传和重传已接收的数据包；接收端通过设置计数器统计相同ACK控制包的次数，到达当前网络规定阈值后重传发送NAK控制包告知发送端的丢包情况，重传未确认的数据包，如图2所示；

本发明中，

在算法1中，输入是接收端发送的一系列ACK控制包的序列号{ACK1,ACK2,…,ACKn}，TA_same表示发送相同ACK控制包的阈值，RA_same为计数器统计的相同ACK序列号的次数，若当前发送的ACK控制包ACKi与之前发送的ACKi-1相同则将计数器增加，若不相同，则及时清零。当RA_same超过TA_same时，读取接收端丢失列表RLL中数据包，重传NAK控制包(优先选择序列号小的连续的数据包)；定义网络带宽时延积BDP＝Bw_btl×Rtt_link，通过网络带宽Bw_btl和往返时延Rtt_link表示链路中可传输数据量的最大值，以此控制拥塞窗口大小和限制链路中传输的数据量；TA_same与当前网络环境的BDP值相关，当BDP较大时，重传的数据包可能还在网络中传输，TAs_ame应取得较大的值；

2)文件写入过程优化

本方法中：将连续顺序到达固定数目的数据包连续存储到环形队列中，并一起写入到文件中；首先设置每次存储连续到达数据包的最大固定个数为FP；然后，当UDT接收端收到FP个序号连续的数据包，将其存储到环形队列一单元中；最后，在写入文件的操作中通过一次写文件系统调用将这个单元中的所有数据包的数据信息写入到文件中；

本发明中，

在优化后的UDT接收端的主线程中，会将接收缓冲区中的数据顺序写入到文件中，写入的具体过程是：首先在接收缓冲区中获取未写入文件的最小序列号的指针，并找到这个指针指向的环形队列中位置，其标记位为0，这表示连续存储的开始位置；然后计算该块连续存储区域的大小，如果后续的数据包标记位是1，则将这个数据包的大小加入到总和中，如果后续的数据包的标记位是0，表示连续存储区域中断，则将该块连续存储的区域写入到文件中；最后，将接收缓冲区中已确认接收的序号位置更新，并将统计连续数据包大小总和置为0字节；

本发明中，将数据缓冲区中的数据包写入到文件中的实现过程如算法3所示：

3.恢复大数据沙箱集群

集群跨云备份恢复会导致原有的网络环境发生变化，OpenStack会为新建立的虚拟机实例分配新的实例ID，IP地址等，因此既要保证所有节点数据的完整，同时也要保证在恢复操作完成之后，集群的各个节点之间能够正常通信，原有服务能够正常运行；所述的步骤中包括：

1)接收到恢复请求后，确认待恢复虚拟机镜像个数，虚拟机类型与集群信息是否匹配；

2)涉及跨云平台的备份恢复时，用户的认证信息会发生变化，可以使用集群原有密钥对登陆，也可以创建新的替换原有密钥对；

3)上传集群虚拟机实例镜像；

4)启动虚拟机实例，使用节点新的实例ID，IP地址等信息，替换数据库中原有的集群信息；

5)将集群配置，节点组信息导入Sahara数据库当中；

6)使用Sahara组件API，启动各个节点上对应的Hadoop及Spark的服务进程，至此完成恢复操作。

本发明方法经实践验证，结果显示，能解决在OpenStack云平台环境中，当物理节点出现系统或硬件错误时，大数据沙箱虚拟机集群的迁移以及数据恢复的问题。利用本方法，能有效保证大数据计算环境的稳定性，为大数据集群容灾恢复提供帮助和保障方法。

附图说明

图1为整体工作流程图。

图2为接收端重传NAK控制包流程图。

具体实施方式

实施例1

本发明的实验部分，将在两个OpenStack云平台上进行一次大数据沙箱集群跨云备份恢复操作。

云平台环境如下：

1.集群备份OpenStack平台：OpenStack Ocata版本，一个控制节点，五个计算节点。控制节点的ip地址是10.141.105.19。

2.集群恢复OpenStack平台：OpenStack Queens版本，一个控制节点，五个计算节点。控制节点的ip地址是10.141.105.14。

待操作集群信息如下：

1.Master节点，1个：

虚拟机配置：CPU：2，内存：4GB，磁盘40GB

运行的服务进程：

·NameNode

·SecondaryNameNode

·ResourceManager

·HistoryServer

·oozie

·HiveServer

·Spark History Server

2.Slave节点，3个：

虚拟机配置：CPU：2，内存：4GB，磁盘40GB

运行的服务进程：

·DataNode

·NodeManager

首先向http://10.141.105.19/sandbox/backup发送一条包含集群ID的请求，开始备份操作。

在这个过程中，首先，根据集群ID，从数据库中查找并保存集群的信息，包括集群模板，集群节点组模板，集群密钥对，集群节点的虚拟机类型，集群安全组信息以及集群镜像信息，这些信息以json格式保存在文件中，以备恢复时重新获取；

之后，开始备份集群节点的虚拟机实例，根据集群节点对应的虚拟机ID，调用OpenStack Nova组件的API，创建虚拟机的快照镜像，再通过OpenStack Glance组件的API，获取格式为raw的镜像文件，raw格式镜像的大小等于虚拟机磁盘预设大小，在本示例中，虚拟机磁盘大小为40GB；

接下来，使用qemu-img工具将raw格式镜像转换为qcow2格式的镜像，经过转换后，镜像文件的大小变为磁盘中数据文件的实际大小，之后使用UDT协议将集群信息文件以及虚拟机镜像文件传输至IP地址为10.141.105.14的主机，准备恢复操作；

文件传输完毕之后，向http://10.141.105.14/sandbox/recovery发送恢复请求，包括集群ID，Neutron网络ID，密钥对信息，开始集群恢复阶段，

首先上传虚拟机的镜像到Glance，然后一次在数据库中恢复密钥对，节点组，集群的信息，同时根据Nova的调度，更新各节点的IP地址，最后调用Sahara API重新启动集群原有服务进程，完成恢复操作；

结果显示，本发明方法能解决在OpenStack云平台环境中，当物理节点出现系统或硬件错误时，大数据沙箱虚拟机集群的迁移以及数据恢复的问题。

Claims

1.一种OpenStack平台下大数据沙箱集群的跨云备份恢复方法，其特征在于，通过下述步骤进行跨云数据中心实现大数据沙箱集群的备份和恢复，步骤如下：

1)大数据沙箱集群备份阶段

2)跨云传输大数据沙箱集群镜像

3)大数据沙箱集群恢复阶段

2.根据权利要求1所述的OpenStack平台下大数据沙箱集群的跨云备份恢复方法，其特征在于，所述的集群备份包括如下流程：

4)创建虚拟机实例快照，下载快照镜像并转换格式。

3.根据权利要求2所述的OpenStack平台下大数据沙箱集群的跨云备份恢复方法，其特征在于，所述的创建虚拟机实例快照中，在快照创建完毕后，使用qemu将虚拟机的镜像格式由raw转换为qcow2以提升镜像上传/下载效率。

4.根据权利要求1所述的OpenStack平台下大数据沙箱集群的跨云备份恢复方法，其特征在于，所述的改进UDT协议中，通过利用UDT协议的ACK控制包和丢失重传列表进行优化，提高UDT协议的可靠性；针对UDT协议在高速网络中以丢包为拥塞控制信号的问题，通过计算网络带宽容量和往返时延调整传输速度。

5.根据权利要求1所述的OpenStack平台下大数据沙箱集群的跨云备份恢复方法，其特征在于，所述的集群恢复包括如下流程：

2)上传密钥对，虚拟机实例类型；

3)上传集群虚拟机实例镜像；

4)启动各节点虚拟机实例；

5)将集群配置，节点组信息导入Sahara数据库当中；

6.根据权利要求2所述的OpenStack平台下大数据沙箱集群的跨云备份恢复方法，其特征在于，所述的集群插件中，调用OpenStack-Sahara API，登陆各节点虚拟机实例，启动原有的Hadoop及Spark的大数据服务进程。