CN102866915B

CN102866915B - 虚拟化集群整合方法、装置及虚拟化集群系统

Info

Publication number: CN102866915B
Application number: CN201210298873.6A
Authority: CN
Inventors: 赵雁斌
Original assignee: Huawei Technologies Co Ltd
Current assignee: Jiangsu Haohan Information Technology Co ltd
Priority date: 2012-08-21
Filing date: 2012-08-21
Publication date: 2015-08-26
Anticipated expiration: 2032-08-21
Also published as: CN102866915A; US20140082202A1; EP2717158A4; EP2717158A1; WO2014029219A1

Abstract

本发明公开了一种虚拟化集群整合方法、装置及虚拟化集群系统，属于计算机技术领域。所述方法包括：根据集群负载选择待整合物理机；确定迁移所述待整合物理机上的每个虚拟机所用的迁移时间及中断时间；根据所述迁移时间及中断时间确定迁移所述待整合物理机上的每个虚拟机的迁移代价；按照所述迁移代价选择待迁移虚拟机；根据集群负载选择目标物理机；将选择出的待迁移虚拟机迁移至选择出的目标物理机上。本发明通过确定迁移虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移虚拟机的迁移代价，以根据迁移代价实现对虚拟化集群整合进行优化，可在保证虚拟化集群整合性能的前提下，提升虚拟化集群服务级别，进而提升用户体验。

Description

虚拟化集群整合方法、装置及虚拟化集群系统

技术领域

本发明涉及计算机技术领域，特别涉及一种虚拟化集群整合方法、装置及虚拟化集群系统。

背景技术

随着计算机技术的飞速发展，越来越多的公司和研究机构开始关注计算机的能耗和资源利用率，而云计算则是其中关键的计算模式。服务器虚拟化技术作为云计算中基于基础设施层的关键技术，通过对物理机进行虚拟化，实现在单台物理机上部署多台虚拟机，形成虚拟化集群，以此来提高物理机的资源利用率。为了更加有效地利用能源，虚拟化集群还加入了集群整合这一特性。

现有技术采取的虚拟化集群整合方式是：当整个集群的负载低于阈值一段时间后，根据资源分布情况，首先确定最小物理机数目，然后根据当前集群物理机的虚拟机分布情况，给出虚拟机迁移指令和物理机下电指令；根据迁移指令，选择将负载比较低的物理机上的虚拟机进行迁移，并在执行完毕所有的虚拟机迁移指令后，再执行物理机下电指令。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

现有技术中的虚拟化集群整合方式在选择下电的物理机时，通常都是尽量选择负载比较低的物理机，这样可能会在迁移虚拟机时对集群整体服务级别造成影响；另外，迁移的虚拟机数量通常会比较大，由于迁移虚拟机时，需要占用网络传输等操作，不仅会对集群整体服务级别造成一定影响，还将降低用户体验。

发明内容

有鉴于此，本发明实施例提供了一种虚拟化集群整合方法、装置及虚拟化集群系统，以解决集群整合时影响集群的服务级别，降低用户体验的问题。所述技术方案如下：

一方面，提供了一种虚拟化集群整合方法，所述方法包括：

根据集群负载从集群中选择预设个数的物理机作为待整合物理机；

确定所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；

根据所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定迁移所述待整合物理机上的每个虚拟机所用的迁移时间，确定迁移所述待整合物理机上的每个虚拟机所用的中断时间；

根据所述迁移时间及中断时间确定迁移所述待整合物理机上的每个虚拟机的迁移代价；

按照所述迁移代价选择待迁移虚拟机；

根据集群负载选择目标物理机；

将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上。

可选地，所述确定所述待整合物理机上的每个虚拟机迁移时的平均内存改变率，具体包括：

将所述待整合物理机上的每个虚拟机按照特性划分为不同类型，并估算同一类型虚拟机迁移时的内存改变率；

记录所述待整合物理机上的每个虚拟机上一次迁移时的内存改变率；

根据所述待整合物理机上的每个虚拟机的类型、估算出的内存改变率及上一次迁移时的内存改变率确定所述待整合物理机上的每个虚拟机迁移时的平均内存改变率。

可选地，所述确定迁移所述待整合物理机上的每个虚拟机所用的中断时间，具体包括：

确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，以及在目标物理机上的恢复时间；

根据所述传输时间及恢复时间确定迁移所述待整合物理机上的每个虚拟机所用的中断时间。

可选地，所述确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，具体包括：

根据所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间。

可选地，所述按照所述迁移代价选择待迁移虚拟机，具体包括：

在所述待整合物理机上的虚拟机中选择迁移代价达到第一阈值的虚拟机作为待迁移虚拟机。

可选地，所述将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上之前，还包括：

判断将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机之后的集群负载是否均衡；

如果是，则执行将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上的步骤；

如果否，则重新执行所述根据集群负载选择待整合物理机，确定迁移所述待整合物理机上的每个虚拟机所用的迁移时间及中断时间，根据所述迁移时间及中断时间确定迁移所述待整合物理机上的每个虚拟机的迁移代价，按照所述迁移代价选择待迁移虚拟机以及根据集群负载选择目标物理机的步骤。

根据所述待整合物理机上的所有虚拟机的所述迁移代价确定所述待整合物理机的下电代价；

在所述待整合物理机中选择下电代价达到第二阈值的待整合物理机，并将所述下电代价达到所述第二阈值的待整合物理机上的所有虚拟机确定为待迁移虚拟机。

可选地，所述将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上之后，还包括：

控制所述下电代价达到所述第二阈值的待整合物理机进行下电。

另一方面，还提供了一种虚拟化集群整合装置，所述装置包括：

第一选择模块，用于根据集群负载从集群中选择预设个数的物理机作为待整合物理机；

第一确定模块，用于确定所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；根据所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定迁移所述待整合物理机上的每个虚拟机所用的迁移时间；

第二确定模块，用于确定迁移所述第一选择模块选择出的待整合物理机上的每个虚拟机所用的中断时间；

第三确定模块，用于根据所述第一确定模块确定的迁移时间及所述第二确定模块确定的中断时间确定迁移所述待整合物理机上的每个虚拟机的迁移代价；

第二选择模块，用于按照所述第三确定模块确定的迁移代价选择待迁移虚拟机；

第三选择模块，用于根据集群负载选择目标物理机；

迁移模块，用于将所述第二选择模块选择出的所述待迁移虚拟机迁移至所述第三选择模块选择出的所述目标物理机上。

可选地，所述第一确定模块，具体用于将所述待整合物理机上的每个虚拟机按照特性划分为不同类型，并估算同一类型虚拟机迁移时的内存改变率；记录所述待整合物理机上的每个虚拟机上一次迁移时的内存改变率；根据所述待整合物理机上的每个虚拟机的类型、估算出的内存改变率及上一次迁移时的内存改变率确定所述待整合物理机上的每个虚拟机迁移时的平均内存改变率。

可选地，所述第二确定模块，具体用于确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，以及在目标物理机上的恢复时间；根据所述传输时间及恢复时间确定迁移所述待整合物理机上的每个虚拟机所用的中断时间。

可选地，所述第二确定模块，具体用于确定所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；根据所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间。

可选地，所述第二选择模块，具体用于在所述待整合物理机上的虚拟机中选择迁移代价达到第一阈值的虚拟机作为待迁移虚拟机。

可选地，所述装置，还包括：

判断模块，用于判断将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机之后的集群负载是否均衡；

所述迁移模块，用于在所述判断模块判断出将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机之后的集群负载均衡时，执行将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上的步骤；

在所述判断模块判断出将选择出的待迁移虚拟机迁移至选择出的目标物理机之后的集群负载不均衡时，所述第一选择模块、第一确定模块、第二确定模块、第三确定模块、第二选择模块和第三选择模块重新执行各自执行的步骤。

可选地，所述第二选择模块，具体用于根据所述待整合物理机上的所有虚拟机的所述迁移代价确定所述待整合物理机的下电代价；在所述待整合物理机中选择下电代价达到第二阈值的待整合物理机，并将所述下电代价达到所述第二阈值的待整合物理机上的所有虚拟机确定为待迁移虚拟机。

可选地，所述装置，还包括：

控制模块，用于控制所述下电代价达到第二阈值的待整合物理机进行下电。

再一方面，还提供了一种虚拟化集群系统，所述系统包括多台具有通信连接的物理机，所述每个物理机上部署有至少一个虚拟机，所述多台物理机中的一台物理机上部署有虚拟化集群整合装置；

其中，所述虚拟化集群整合装置如上述虚拟化集群整合装置。

本发明实施例提供的技术方案带来的有益效果是：

通过确定迁移虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移虚拟机的迁移代价，以根据迁移代价实现对虚拟化集群整合进行优化，可在保证虚拟化集群整合性能的前提下，提升虚拟化集群服务级别，进而提升用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种虚拟化集群整合方法流程图；

图2是本发明实施例二提供的一种虚拟化集群整合方法流程图；

图3是本发明实施例三提供的一种虚拟化集群整合方法流程图；

图4是本发明实施例四提供的一种虚拟化集群整合装置的结构示意图；

图5是本发明实施例四提供的另一种虚拟化集群整合装置的结构示意图；

图6是本发明实施例四提供的又一种虚拟化集群整合装置的结构示意图；

图7为本发明实施例五提供的一种虚拟化集群系统的物理部署示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

本实施例提供了一种虚拟化集群整合方法，参见图1，本实施例提供的方法流程具体如下：

101：根据集群负载选择待整合物理机；

102：确定迁移待整合物理机上的每个虚拟机所用的迁移时间及中断时间；

其中，确定迁移待整合物理机上的每个虚拟机所用的迁移时间，包括但不限于：

确定待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；

根据待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定迁移待整合物理机上的每个虚拟机所用的迁移时间。

进一步地，确定待整合物理机上的每个虚拟机迁移时的平均内存改变率，包括但不限于：

将待整合物理机上的每个虚拟机按照特性划分为不同类型，并估算同一类型虚拟机迁移时的内存改变率；

记录待整合物理机上的每个虚拟机上一次迁移时的内存改变率；

根据待整合物理机上的每个虚拟机的类型、估算出的内存改变率及上一次迁移时的内存改变率确定待整合物理机上的每个虚拟机迁移时的平均内存改变率。

其中，确定迁移待整合物理机上的每个虚拟机所用的中断时间，包括但不限于：

确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，以及在目标物理机上的恢复时间；

根据传输时间及恢复时间确定迁移待整合物理机上的每个虚拟机所用的中断时间。

进一步地，确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，包括但不限于：

根据待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间。

103：根据迁移时间及中断时间确定迁移待整合物理机上的每个虚拟机的迁移代价；

104：按照迁移代价选择待迁移虚拟机；

其中，按照迁移代价选择待迁移虚拟机，包括但不限于：

在待整合物理机上的虚拟机中选择迁移代价达到第一阈值的虚拟机作为待迁移虚拟机。

可选地，按照迁移代价选择待迁移虚拟机，包括但不限于：

根据待整合物理机上的所有虚拟机的迁移代价确定待整合物理机的下电代价；

在待整合物理机中选择下电代价达到第二阈值的待整合物理机，并将下电代价达到第二阈值的待整合物理机上的所有虚拟机确定为待迁移虚拟机。

105：根据集群负载选择目标物理机；

106：将选择出的待迁移虚拟机迁移至选择出的目标物理机上。

进一步地，将选择出的待迁移虚拟机迁移至选择出的目标物理机上之前，还包括：

判断将选择出的待迁移虚拟机迁移至选择出的目标物理机之后的集群负载是否均衡；

如果是，则执行将选择出的待迁移虚拟机迁移至选择出的目标物理机上的步骤；

如果否，则重新执行根据集群负载选择待整合物理机，确定迁移待整合物理机上的每个虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移待整合物理机上的每个虚拟机的迁移代价，按照迁移代价选择待迁移虚拟机以及根据集群负载选择目标物理机的步骤。

进一步地，将选择出的待迁移虚拟机迁移至选择出的目标物理机上之后，还包括：

控制下电代价达到第二阈值的待整合物理机进行下电。

本实施例提供的方法，通过确定迁移虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移虚拟机的迁移代价，以根据迁移代价实现对虚拟化集群整合进行优化，可在保证虚拟化集群整合性能的前提下，提升集群服务级别，进而提升用户体验。

为了更加清楚地阐述上述实施例提供的虚拟化集群整合方法，结合上述实施例的内容，以如下实施例二和实施例三为例，对虚拟化集群整合方法进行举例说明，详见如下实施例二和实施例三：

实施例二

本实施例提供了一种虚拟化集群整合方法，该方法结合上述实施例一的内容，针对虚拟化集群资源需求减少的情况，以在虚拟化集群整合过程中将工作的虚拟机整合到少数几台物理机之后，控制负载为空的物理机进行下电为例，对虚拟化集群整合方法进行举例说明。参见图2，本实施例提供的方法流程具体如下：

201：根据集群负载选择待整合物理机；

针对该步骤，由于后续控制下电的物理机将从该步骤选择的待整合物理机中进行选择，因而该步骤在根据集群负载选择待整合物理机时，可将集群中的所有物理机均作为待整合物理机，待后续步骤确定每个物理机的迁移代价后，再按照迁移代价选择将哪些物理机进行下电。

除此之外，为了节省因需要确定每个物理机的迁移代价而使用的时间，该步骤在根据集群负载选择待整合物理机时，还可根据集群负载从集群中选择预设个数的物理机作为待整合物理机。关于选择出的待整合物理机的预设个数，本实施例不作具体限定。具体实施时，可先根据当前集群的总体负载，使用装箱算法判断容纳当前所有虚拟机的物理机数目，根据当前物理机数目，给出需要下电的物理机数目N(N为大于0的整数)，并从集群中选出大于N的预设个数的物理机作为待整合物理机。需要说明的是，为了保证整合后的集群中的虚拟机能够高效地运行，该步骤在判断容纳当前所有虚拟机的物理机数目时，可为每台物理机预留一定的资源。

202：确定迁移待整合物理机上的每个虚拟机所用的迁移时间；

针对该步骤，由于虚拟机迁移时会对虚拟机的性能和网络都造成额外的开销，所以迁移虚拟机所用的时间越小，其迁移代价也越小。该步骤在确定迁移待整合物理机上的每个虚拟机所用的迁移时间时，可先确定待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度，之后再根据待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定迁移待整合物理机上的每个虚拟机所用的迁移时间。由于不同迁移方式所用的迁移时间也会有所不同，针对第一次将虚拟机的所有内存先拷贝至目标物理机，之后再经过多次迭代将虚拟机修改的内存拷贝至物理机的迁移方式，以虚拟机迁移前的内存为M，其迁移时的平均内存改变率为D，迁移时的网络传输速度为R为例，则迁移待整合物理机上的每个虚拟机所用的迁移时间T可通过如下公式得到：

\begin{matrix} T = Σ_{i = 0}^{n} Ti = \frac{M}{R - D} * (1 - {(\frac{D}{R})}^{n + 1}) & T_{i} \{\begin{matrix} M - R & i = 0 \\ (D * T_{i - 1}) / R & i > 0 \end{matrix} \end{matrix}

其中，n为迭代次数，从上面的公式可以看出，迁移时间主要包括两个部分：当i＝0时，为第一次传输虚拟机的所有内存的时间T₀；当i>0时，为后续多次迭代将虚拟机修改的内存拷贝至物理机的时间T_i。虚拟机迁移前的内存M和迁移时的网络传输速度R都可以通过资源收集得到。对于虚拟机迁移时的平均内存改变率D的获取方式，本实施例采取了一种基于学习的估算方法来估算虚拟机在迁移时的平均内存改变率D，包括但不限于如下步骤：

步骤a：将待整合物理机上的每个虚拟机按照特性划分为不同类型，并估算同一类型虚拟机迁移时的内存改变率；

步骤b：记录待整合物理机上的每个虚拟机上一次迁移时的内存改变率；

步骤c：根据待整合物理机上的每个虚拟机的类型、估算出的内存改变率及上一次迁移时的内存改变率确定待整合物理机上的每个虚拟机的平均内存改变率。

具体实施时，对于上述步骤a，其中的特性包括但不限于虚拟机运行业务时的CPU(Central Processing Unit，中央处理单元)使用率、内存使用率或IO(Input Output，输入输出)使用率。将待整合物理机上的每个虚拟机按照特性划分为不同类型时，可先对待整合物理机上的每个虚拟机进行CPU使用率的采样、内存使用率的采样或IO使用率的采样，并根据采样结果将待整合物理机上的每个虚拟机划分为不同类型，该类型包括但不限于CPU密集型虚拟机，内存密集型虚拟机或IO密集型虚拟机。且由于在面向数据中心的集群中，其虚拟机大部分都是运行特定的业务的，所以同一类型的虚拟机的业务逻辑也是相似的，因而可以对同一类虚拟机迁移时的信息进行估算，以估算得到同一类型虚拟机迁移时的内存改变率D_h。对于上述步骤b，在集群管理每次迁移虚拟机的时候，可记录下虚拟机上一次迁移时的内存改变率Di。上述步骤c在根据待整合物理机上的每个虚拟机的类型、估算出的内存改变率及上一次迁移时的内存改变率确定待整合物理机上的每个虚拟机的平均内存改变率D时，具体可通过如下公式得到：

D＝λD_h+(1-λ)D_i

其中，D_h是该类虚拟机当前估算的内存改变率，Di是该类虚拟机上一次迁移时的内存改变率，λ是权重系数，不同的虚拟机类型其值各不相同，具体值将根据具体虚拟机的业务进行设置，本实施例对此不作具体限定。

除按照上述方式确定迁移待整合物理机上的每个虚拟机所用的迁移时间外，还可以选择其他确定方式，本实施例对此不做具体限定。

203：确定迁移待整合物理机上的每个虚拟机所用的中断时间；

具体地，由于虚拟机迁移时进行的最后一次迭代，会中断虚拟机，然后将所有的剩余内存一次性的传输到目标物理机上。在这段时间里，虚拟机是无法提供相应服务的，因而会影响到集群的服务级别，所以虚拟机迁移时的中断时间也要越小越好。对此，该步骤在确定迁移待整合物理机上的每个虚拟机所用的中断时间时，采取了包括但不限于如下方式：

具体实施时，根据传输时间及恢复时间确定迁移待整合物理机上的每个虚拟机所用的中断时间t可通过如下公式计算得到：

t＝T_n+T_r

其中，n为迭代次数，Tn为最后一次迭代的传输时间，Tr是在目标物理机上恢复虚拟机的时间，该Tr通常是一个常量。确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间Tn时，包括但不限于如下方式：

上述确定待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度的方式可参见上述步骤202的确定过程，本实施例可直接使用上述步骤202得到的结果。根据待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间时，包括但不限于采用如下公式实现：

T_{n} = \frac{M * D^{n}}{R^{n + 1}}

根据上述计算每个虚拟机上一次迁移时最后一次迭代的传输时间表达方式，则虚拟机迁移的中断时间t为：

t = T_{n} + T_{r} = \frac{M * D^{n}}{R^{n + 1}} + T_{r} .

由上面的分析可以看出，不论是迁移虚拟机所用的迁移时间，还是迁移虚拟机时的中断时间，都主要由虚拟机迁移前的内存M，迁移时的平均内存改变率D和迁移时的网络传输速率R决定。

204：根据迁移待整合物理机上的每个虚拟机所用的迁移时间及中断时间确定迁移待整合物理机上的每个虚拟机的迁移代价；

针对该步骤，在上述步骤202确定迁移待整合物理机上的每个虚拟机所用的迁移时间，上述步骤203确定迁移待整合物理机上的每个虚拟机所用的中断时间后，该步骤在确定迁移待整合物理机上的每个虚拟机的迁移代价时，主要考虑以虚拟机迁移时所用的迁移时间和中断时间作为迁移代价，且采用分配权重的方式最终量化迁移代价，包括但不限于通过如下公式确定迁移待整合物理机上的每个虚拟机的迁移代价c：

c＝aT+bt

其中，a和b分别是虚拟机迁移时所用的迁移时间和中断时间的权重，可以根据具体集群的业务特性来分配。例如，如果对性能要求比较高的集群，如高性能计算集群，其a的值就会比较大，来保证集群性能；如果是实时要求比较高的集群，其b的值就会比较大，以保证集群的实时性要求。除此之外，还可以选择其他确定方式，本实施例不对a和b的具体值进行限定。

205：根据待整合物理机上的所有虚拟机的迁移代价确定待整合物理机的下电代价，并在待整合物理机中选择下电代价达到第二阈值的待整合物理机；

具体地，本实施例不对第二阈值的具体大小进行限定，具体实施时，可依据实际情况进行设定。按照上述步骤202至步骤204的方式确定得到待整合物理机上的每个虚拟机的迁移代价后，该步骤根据待整合物理机上的所有虚拟机的迁移代价确定待整合物理机的下电代价时，可将待整合物理机上的所有虚拟机的迁移代价总和作为该待整合物理机的下电代价，并在得到所有待整合物理机的下电代价之后，由于上述步骤201中根据当前集群的总体负载，使用装箱算法判断容纳当前所有虚拟机的物理机数目，根据当前物理机数目，给出需要下电的物理机数目N，因而可选择下电代价小的N台物理机作为下电代价达到第二阈值的待整合物理机。

206：将下电代价达到第二阈值的待整合物理机上的所有虚拟机确定为待迁移虚拟机，并根据集群负载选择目标物理机；

针对该步骤，上述步骤205选出下电代价下的N台物理机作为下电代价达到第二阈值的待整合物理机后，该步骤可直接将下电代价达到第二阈值的待整合物理机上的所有虚拟机确定为待迁移虚拟机，以通过后续步骤对待迁移虚拟机进行迁移操作。在根据集群负载选择目标物理机时，仍然可以采用装箱算法，依据集群负载选择负载相对较小的物理机作为目标物理机。或是采用其他选择方式，本实施例对此不作具体限定。

207：将选择出的待迁移虚拟机迁移至选择出的目标物理机上，并控制下电代价达到第二阈值的待整合物理机进行下电。

具体地，将选择出的待迁移虚拟机迁移至选择出的目标物理机上时，可采用通过多次迭代的方式将待迁移的虚拟机内存拷贝到目标物理机上，且为了保证虚拟机迁移时能继续提供服务，第一次迭代会将虚拟机的所有内存先拷贝过去，同时，为了能得到虚拟机修改的内存，会将虚拟机所有内存设置为只读状态；第二次迭代再将第一次迭代时虚拟机修改的内存拷贝过去，如此往复，直至上一次迭代时虚拟机修改的内存低于第二阈值，才中断该虚拟机的运行，将所有修改过的内存拷贝到目标物理机上，最终完成迁移；并在执行完毕所有的虚拟机迁移后，再控制下电代价达到第二阈值的待整合物理机进行下电，以削减用电成本和散热成本，节省资源。

进一步地，为了防止集群整合后，某些物理机出现热点，本实施例提供的方法在将选择出的待迁移虚拟机迁移至选择出的目标物理机上，并控制下电代价达到第二阈值的待整合物理机进行下电后，还包括模拟集群整合之后的集群状态，如果发现待整合物理机出现热点，则额外将该待整合物理机上的虚拟机迁移到其他负载较低的目标物理机上，以保证整合后的服务级别。此外，在资源处于高利用率的情况下，随着负载资源需求的增加，本实施例提供的方法还支持将以下电的物理机重新上电的过程，以确保符合服务级别。

本实施例提供的方法，通过确定迁移虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移虚拟机的迁移代价，以根据迁移代价实现对虚拟化集群整合进行优化，可在保证虚拟化集群整合性能的前提下，提升虚拟化集群服务级别，进而提升用户体验。

实施例三

本实施例提供了一种虚拟化集群整合方法，结合上述实施例一的内容，本实施例以在虚拟化集群整合过程中实现负载均衡为例，对虚拟化集群整合方法进行举例说明。参见图3，本实施例提供的方法流程具体如下：

301：根据集群负载选择待整合物理机；

具体地，为了实现负载均衡，该步骤在根据集群负载选择待整合物理机时，可从集群中选择负载偏差较大的物理机作为待整合物理机，例如，从集群中选择负载比较大的N台物理机作为待整合物理机，以通过后续步骤将其上的虚拟机迁移至其他负载较小的物理机上，以均衡各个物理机的负载。选择出的待整合物理机的数量N，可依据实际情况设定，本实施例对此不作具体限定。

302：确定迁移待整合物理机上的每个虚拟机所用的迁移时间；

该步骤的具体实现方式同上述实施例二中步骤202的实现方式，具体参见上述实施例二中步骤202的相关描述，此处不再赘述。

303：确定迁移待整合物理机上的每个虚拟机所用的中断时间；

该步骤的具体实现方式同上述实施例二中步骤203的实现方式，具体参见上述实施例二中步骤203的相关描述，此处不再赘述。

304：根据迁移待整合物理机上的每个虚拟机所用的迁移时间及中断时间确定迁移待整合物理机上的每个虚拟机的迁移代价；

该步骤的具体实现方式同上述实施例二中步骤204的实现方式，具体参见上述实施例二中步骤204的相关描述，此处不再赘述。

305：在待整合物理机上的虚拟机中选择迁移代价达到第一阈值的虚拟机作为待迁移虚拟机，并根据集群负载选择目标物理机；

针对该步骤，本实施例不对第一阈值的具体大小进行限定，具体实施时，可根据实际情况设置第一阈值的大小。为了平衡各个物理机之间的负载，在选择待整合物理机，并确定该待整合物理机上的每个虚拟机的迁移代价后，可按照迁移代价选择待迁移虚拟机，以在保证整个集群的物理机负载相对平均的基础上，保证集群能更加稳定的运行。例如，按照迁移代价由小到大的顺序在待整合物理机上选择迁移代价达到第一阈值的N个虚拟机作为待迁移虚拟机。且为了将负载较重的物理机上的虚拟机迁移至负载相对较轻的物理机上，在根据集群负载选择目标物理机时，可依据集群负载选择负载相对较小的物理机作为目标物理机，除此之外，还可以依据其他方式进行选择，本实施例对此不作具体限定。

306：判断将选择出的待迁移虚拟机迁移至选择出的目标物理机之后的集群负载是否均衡，如果是，则执行步骤307，否则，返回步骤301；

针对该步骤，判断将选择出的待迁移虚拟机迁移至选择出的目标物理机之后的集群负载是否均衡时，可先模拟将选择出的待迁移虚拟机迁移至选择出的目标物理机，之后计算得到各个物理机之间的负载方差，如果该方差值小于第一预设阈值，则判断负载均衡度满足要求，即集群负载达到均衡，如果该方差值大于第一预设阈值，则判断负载均衡度不满足要求，即集群负载未达到均衡，需要返回步骤301重新执行选择待整合物理机、确定迁移待整合物理机上的每个虚拟机的迁移代价，按照迁移代价选择待迁移虚拟机以及根据集群负载选择目标物理机等过程。关于第一预设阈值的具体大小，可依据实际情况进行设定，本实施例对此不做具体限定。

307：将选择出的待迁移虚拟机迁移至选择出的目标物理机上，流程结束。

具体地，将选择出的待迁移虚拟机迁移至选择出的目标物理机上时，同样可采用通过多次迭代将待迁移的虚拟机内存拷贝到目标物理机上，且为了保证虚拟机迁移时能继续提供服务，第一次迭代会将虚拟机的所有内存先拷贝过去，同时，为了能得到虚拟机修改的内存，会将虚拟机所有内存设置为只读状态；第二次迭代再将第一次迭代时虚拟机修改的内存拷贝过去，如此往复，直至上一次迭代时虚拟机修改的内存低于第二预设阈值，才中断该虚拟机的运行，将所有修改过的内存拷贝到目标物理机上，最终完成迁移，从而实现集群范围内的负载均衡，提高各物理机的资源使用效率的同时，保证各物理机都承担适当的负载。其中，本实施例不对第二预设阈值的具体大小进行限定，具体实施时，可根据实际情况设定该第二预设阈值的大小，以降低因中断虚拟机的运行而对运行的业务造成的影响。

本实施例提供的方法，通过确定迁移虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移虚拟机的迁移代价，以根据迁移代价实现对集群整合进行优化，可在保证集群整合性能的前提下，提升集群服务级别，进而提升用户体验。

实施例四

本实施例提供了一种虚拟化集群整合装置，该装置用于执行上述实施例一至实施例三所提供的虚拟化集群整合方法。参见图4，该装置包括：

第一选择模块41，用于根据集群负载选择待整合物理机；

第一确定模块42，用于确定迁移第一选择模块41选择出的待整合物理机上的每个虚拟机所用的迁移时间；

第二确定模块43，用于确定迁移第一选择模块41选择出的待整合物理机上的每个虚拟机所用的中断时间；

第三确定模块44，用于根据第一确定模块42确定的迁移时间及第二确定模块43确定的中断时间确定迁移待整合物理机上的每个虚拟机的迁移代价；

第二选择模块45，用于按照第三确定模块44确定的迁移代价选择待迁移虚拟机；

第三选择模块46，用于根据集群负载选择目标物理机；

迁移模块47，用于将第二选择模块45选择出的待迁移虚拟机迁移至第三选择模块46选择出的目标物理机上。

其中，第一选择模块41选择待整合物理机的方式详见上述实施例二中步骤201及实施例三中步骤301的相关描述，此处不再赘述。

结合上述实施例二中步骤202的相关描述，第一确定模块42，具体用于确定待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；根据待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定迁移待整合物理机上的每个虚拟机所用的迁移时间。

其中，第一确定模块42，具体用于将待整合物理机上的每个虚拟机按照特性划分为不同类型，并估算同一类型虚拟机迁移时的内存改变率；记录待整合物理机上的每个虚拟机上一次迁移时的内存改变率；根据待整合物理机上的每个虚拟机的类型、估算出的内存改变率及上一次迁移时的内存改变率确定待整合物理机上的每个虚拟机迁移时的平均内存改变率。

结合上述实施例二中步骤203的相关描述，第二确定模块43，具体用于确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，以及在目标物理机上的恢复时间；根据传输时间及恢复时间确定迁移待整合物理机上的每个虚拟机所用的中断时间。

其中，第二确定模块43，具体用于确定待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；根据待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间。

进一步地，结合上述实施例三种步骤305的相关描述，第二选择模块45，具体用于在待整合物理机上的虚拟机中选择迁移代价达到第一阈值的虚拟机作为待迁移虚拟机。

结合上述实施例二中步骤306的相关描述，参见图5，该装置，还包括：

判断模块48，用于判断将选择出的待迁移虚拟机迁移至选择出的目标物理机之后的集群负载是否均衡；

迁移模块47，用于在判断模块48判断出将选择出的待迁移虚拟机迁移至选择出的目标物理机之后的集群负载均衡时，执行将选择出的待迁移虚拟机迁移至选择出的目标物理机上的步骤；

在判断模块48判断出将选择出的待迁移虚拟机迁移至选择出的目标物理机之后的集群负载不均衡时，第一选择模块41、第一确定模块42、第二确定模块43、第三确定模块44和第二选择模块45、第三选择模块46重新执行各自执行的步骤。

结合上述实施例二中步骤205和步骤206的相关描述，第二选择模块45，具体用于根据待整合物理机上的所有虚拟机的迁移代价确定待整合物理机的下电代价；在待整合物理机中选择下电代价达到第二阈值的待整合物理机，并将下电代价达到第二阈值的待整合物理机上的所有虚拟机确定为待迁移虚拟机。

结合上述实施例二中步骤206的相关描述，参见图6，该装置，还包括：

控制模块49，用于控制下电代价达到第二阈值的待整合物理机进行下电。

本实施例提供的装置，通过确定迁移虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移虚拟机的迁移代价，以根据迁移代价实现对虚拟化集群整合进行优化，可在保证虚拟化集群整合性能的前提下，提升虚拟化集群服务级别，进而提升用户体验。

实施例五

本实施例提供了一种虚拟化集群系统，该系统包括多台具有通信连接的物理机，每个物理机上部署有至少一个虚拟机，多台物理机中的至少一台物理机上部署有虚拟化集群整合装置；其中，虚拟化集群整合装置如本发明上述实施例提供的虚拟化集群整合装置。其具体实现方法和模块可以参考上述实施例，但不以此为限。

请参阅图7，为本发明实施例提供的一种虚拟化集群系统的物理部署示意图，如图7所示，该虚拟化集群系统包括五台物理机(物理机51、52、53、54、55)和宿主在这些物理主机上的多台虚拟机(VM1、VM2、VM3、VM4)。需说明的是，图7中每台物理主机上宿主的虚拟机在数量上可以相同也可以不同，在类型上可以相同也可以不同，并不以图示为限。其中可以将本发明实施例提供的虚拟化集群整合装置部署在其中一台物理主机上，从而根据本发明实施例提供的虚拟化集群整合方法实现对这个虚拟化集群系统的整合。

本实施例提供的虚拟化集群系统，通过虚拟化集群整合装置确定迁移虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移虚拟机的迁移代价，以根据迁移代价实现对虚拟化集群整合进行优化，可在保证虚拟化集群整合性能的前提下，提升虚拟化集群服务级别，进而提升用户体验。

需要说明的是：上述实施例提供的虚拟化集群整合装置在进行虚拟化集群整合时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的虚拟化集群整合装置、虚拟化集群系统与虚拟化集群整合方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种虚拟化集群整合方法，其特征在于，所述方法包括：

按照所述迁移代价选择待迁移虚拟机；

根据集群负载选择目标物理机；

2.根据权利要求1所述的方法，其特征在于，所述确定所述待整合物理机上的每个虚拟机迁移时的平均内存改变率，具体包括：

3.根据权利要求1所述的方法，其特征在于，所述确定迁移所述待整合物理机上的每个虚拟机所用的中断时间，具体包括：

4.根据权利要求3所述的方法，其特征在于，所述确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，具体包括：

5.根据权利要求1所述的方法，其特征在于，所述按照所述迁移代价选择待迁移虚拟机，具体包括：

6.根据权利要求5所述的方法，其特征在于，所述将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上之前，还包括：

7.根据权利要求1所述的方法，其特征在于，所述按照所述迁移代价选择待迁移虚拟机，具体包括：

8.根据权利要求7所述的方法，其特征在于，所述将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上之后，还包括：

9.一种虚拟化集群整合装置，其特征在于，所述装置包括：

第三选择模块，用于根据集群负载选择目标物理机；

10.根据权利要求9所述的装置，其特征在于，所述第一确定模块，具体用于将所述待整合物理机上的每个虚拟机按照特性划分为不同类型，并估算同一类型虚拟机迁移时的内存改变率；记录所述待整合物理机上的每个虚拟机上一次迁移时的内存改变率；根据所述待整合物理机上的每个虚拟机的类型、估算出的内存改变率及上一次迁移时的内存改变率确定所述待整合物理机上的每个虚拟机迁移时的平均内存改变率。

11.根据权利要求9所述的装置，其特征在于，所述第二确定模块，具体用于确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，以及在目标物理机上的恢复时间；根据所述传输时间及恢复时间确定迁移所述待整合物理机上的每个虚拟机所用的中断时间。

12.根据权利要求11所述的装置，其特征在于，所述第二确定模块，具体用于确定所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；根据所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间。

13.根据权利要求9所述的装置，其特征在于，所述第二选择模块，具体用于在所述待整合物理机上的虚拟机中选择迁移代价达到第一阈值的虚拟机作为待迁移虚拟机。

14.根据权利要求13所述的装置，其特征在于，所述装置，还包括：

在所述判断模块判断出将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机之后的集群负载不均衡时，所述第一选择模块、第一确定模块、第二确定模块、第三确定模块、第二选择模块和第三选择模块重新执行各自执行的步骤。

15.根据权利要求9所述的装置，其特征在于，所述第二选择模块，具体用于根据所述待整合物理机上的所有虚拟机的所述迁移代价确定所述待整合物理机的下电代价；在所述待整合物理机中选择下电代价达到第二阈值的待整合物理机，并将所述下电代价达到所述第二阈值的待整合物理机上的所有虚拟机确定为待迁移虚拟机。

16.根据权利要求15所述的装置，其特征在于，所述装置，还包括：

17.一种虚拟化集群系统，其特征在于，所述系统包括多台具有通信连接的物理机，所述每个物理机上部署有至少一个虚拟机，所述多台物理机中的至少一台物理机上部署有所述权利要求9至权利要求16中任一权利要求所述的虚拟化集群整合装置。