CN1317658C - 利用机群节点相互备份的容错方法 - Google Patents

Abstract

一种利用机群节点相互备份的容错方法，将机群中节点划分为多个心跳环，同一心跳环内的节点之间通过心跳信息连接、相互通信和备份，包括节点加入机群以及节点故障的处理；其中节点故障处理包括：机群中节点的存活信息检测进程无法与出现异常的相邻节点通讯时，向主节点发送消息，报告故障；该故障是单一服务或专用服务时，主节点选择负载最轻的节点，并向该节点发送服务接管命令；被选中作为故障服务接管节点的节点将故障服务在本节点上恢复。本发明通过机群中的节点相互备份，提高了机群系统的可用性，充分利用了机群中所有节点的资源，并且降低了冗余设备的成本。

Description

利用机群节点相互备份的容错方法

技术领域：

本发明涉及一种冗余备份、用以提高机群系统的高可用性的方法，尤其是一种利用机群节点相互备份的容错方法，属于计算机网络技术。

背景技术：

随着网络技术的发展，商业服务机群的需求不断扩大。商业服务机群的特点是：单个任务量较小，而并发的任务总量非常大；负载具有波动性、突发性等；在不同的任务之间具有一定的独立性。商业服务机群的主要目标是提高系统吞吐能力，即在一定的时间内完成尽可能多的任务。此外，商业应用对可用性有非常高的要求，关键的商业应用一般都要求7×24小时的连续不间断运行；短暂的停机可能会造成无法估量的损失。因此，根据应用的要求，商业服务机群采用相应的高可用备份方式。

高可用机群中的服务器逻辑多为运行机和备份机；运行机和备份机可以是并行运行，也可以是一方运行，一方备份。节点之间采用多条心跳线连接；在发现节点出故障时，先经过确认节点证实出故障后，再采取迁移该节点上的运用，而不影响用户的使用。

在运行节点和备份节点之间通过冗余心跳线保证节点间异常状态的诊断。应用程序所有的数据存放在共享的磁盘介质(独立于节点服务器)中。为了保持数据的一致性，通过加锁机制来控制对共享存储的访问。

目前，在大型的商务机群中，所有的服务可分为以下几种：

1、只由一个节点提供的服务，该节点是单一故障点。该服务可以被其他所有的节点接管，即该服务对运行节点没有特殊的要求，我们称该类服务为单一服务。

2、由多个节点提供的服务，提供服务的节点运行相同的程序，共享相同数据。可以任为各个节点是相同的拷贝。通常通过一个任务分发节点采用一些负载均衡策略，给这些节点分发用户的服务请求，该类服务为多重服务。

3、对于一些服务，需要直接连接其他设备；例如存储节点作为网络文件系统服务(NFS Server)需要连接盘阵。这类的服务出现故障时，只能由与盘阵相连的节点来接管服务。因此，这类服务为专用服务。

当各种服务出现故障时，都应该有相应的接管措施。目前，为了保证各种服务的和应用的的高可用性，一般机群系统提供热备份机制；例如：多向备份，N+1备份，N+M备份以及层叠式备份、双机系统等。

参见图1，其为支持四个节点的多向恢复备份方式；即节点N1、-N4之间建立环状连接，相互备份。参见图2，其为支持多路运行节点由一个备份节点S1做故障恢复，其他的为普通节点，即N+1备份方式；备份机也可以不止一台，即N+M备份；参见图3，其为层叠式备份方式，多个节点N1-N5都是一个应用的备份，当运行节点(例如N1-N3)发生故障时，由下一个节点(例如N4)接替该节点，直至所有服务器都发生故障；参见图4，其为双机系统，即节点N1和节点N2相互备份。

上述备份方式的最大缺点是需要大量的冗余设备；成本高，不能充分利用机群系统的资源。

发明内容：

本发明的主要目的在于提供一种利用机群节点相互备份的容错方法，通过机群中的节点相互备份来提高机群系统的可用性，充分利用节点资源，降低冗余备份的成本。

本发明的目的是这样实现的：

一种利用机群节点相互备份的容错方法，其特征在于：将机群中节点划分为多个心跳环，同一心跳环内的节点之间通过心跳信息连接、相互通信和备份，包括：节点加入机群以及节点故障的处理；所述节点故障的处理具体包括：

步骤1：当机群中节点的存活信息检测进程发现所在心跳环内的相邻节点出现异常时，向该相邻节点的节点执行器进程发送确认包；

步骤2：该相邻节点如果接收到故障确认包，则向自身的节点服务监测器发送消息，检查本节点上所有依赖进程的运行情况及资源使用情况；节点恢复正常后应答心跳检测进程的确认包；

步骤3：如果发出确认包节点的心跳检测进程无法与相邻节点通讯，或者在规定时间内没有接受到该相邻节点的应答，则向主节点的核心控制模块进程发送消息，报告故障；

步骤4：主节点接收该消息，并分析所述相邻节点提供的服务的类型，如果该服务是多重服务，则通知前置的任务分发节点停止向所述相邻节点发送任务；

步骤5：如果所述服务是单一服务或专用服务，主节点为所述服务根据各节点的负载信息在可支持该服务的节点中，选择负载最轻的节点，并向该节点的节点执行器发送服务接管命令，接管所述服务；

步骤6：被选中作为所述服务接管节点的节点收到接管信息，调用故障接管模块将所述服务在本节点上恢复，并通知节点服务监测器重新获取监控的配置，对本节点上新增加的服务进程进行监控。

所述的节点至少包括服务应用(Services Applications)进程、节点服务监测器(lifeguard)进程、节点执行器(Executor)进程、故障接管模块(Standby)进程和核心控制模块(Commander)进程。

节点加入机群的处理具体包括如下的步骤：

步骤10：新加入节点向主节点发出加入机群的请求；

步骤11：主节点收到请求后，分配新加入节点在机群中的位置，并返回新加入节点所承担的服务信息；

步骤12：新加入节点逐一启动服务所依赖的进程，并设置相应的服务IP；

步骤13：新加入节点通知主节点服务启动的情况：如果启动失败，主节点则选择其他节点来启动该服务；

步骤14：如果服务启动成功，主节点标识该服务为启动状态，并记录提供服务的节点信息，便于在该节点发生故障时，及时将该节点上运行的所有服务迁移到安装了该服务所需程序的节点中负载较轻的备份节点上。

在步骤6之后还进一步包括：

步骤7：主节点发出命令，要求所有心跳环内部所有节点是否正常，便于快速处理大面积节点故障。

在所述步骤5中，主节点选择负载最轻的节点接管所述服务的具体操作为：

步骤51：主节点选择可支持所述服务的节点作为备份节点，并根据备份节点的优先级和该备份节点当前的实际工作负载选择相应的备份节点接管所述服务；

步骤52：主节点将接管命令发送给选定接管节点的节点执行器进程；

步骤53：接管节点的节点执行器调用节点服务监测器模块，启动该服务的所有依赖进程，并设置相应的服务IP，然后通知节点服务监测器监控对本节点上新增加服务的进程进行监控。

所述的服务至少具有：机群提供该服务的IP地址、服务采用协议类型、用来检查该服务是否能正常侦听用户请求服务的端口号、服务的类型、服务缺省运行的节点、服务的备选节点以及服务所依赖的进程及其启停脚本的位置。

服务采用协议类型至少包括TCP和UDP两类。所述的服务类型至少包括：单一服务、多重服务以及专用服务。所述的缺省运行节点为该服务在机群所有节点正常运行时，应该提供该项服务的节点；当该节点处于不可用状态时，该服务具有备份节点；当缺省运行节点排除故障并加入机群后，该服务即被迁移到缺省运行节点上运行。所述的备选节点至少为一个。

综上所述，本发明通过机群中的节点相互备份，提高了机群系统的可用性，充分利用了机群中所有节点的资源，并且降低了冗余设备的成本。

附图说明：

图1为现有技术中多向备份的系统结构示意图；

图2为现有技术中N+1备份的系统结构示意图；

图3为现有技术中层叠式备份的系统结构示意图；

图4为现有技术中双机系统的结构示意图；

图5为本发明系统结构示意及故障处理流程图；

图6为本发明一实施例的结构示意图。

具体实施方式：

以下通过具体的实施例和附图对本发明的技术方案进行详细说明：

在本发明中，定义一个服务至少需要以下属性：

1.服务访问的IP地址，机群提供该服务的IP地址；

2.服务采用协议类型，主要分为TCP和UDP两类；

3.服务所侦听的端口号，可用来检查该服务是否能正常侦听用户的请求；

4.服务的类型：即该服务属于单一服务、多重服务还是专用服务；

5.服务缺省运行的节点：该服务在机群所有节点正常运行时，应该提供该项服务的节点，该节点处于不可用状态，该服务有其他备份节点提供，但当缺省运行节点排除故障并加入机群后，服务将被迁移到缺省运行节点上运行。

6.服务的备选节点：服务的备选节点可以有多个，某些服务甚至可以由机群中的所有其他节点作为备选节点，如主节点担任管理协调机群工作以及机群故障接管的服务，所有的安装了该程序的节点都可以提供该项服务而成为主节点。因此服务的备选节点可视为安装了服务所需程序具备提供该服务能力的节点。在提供服务的节点出现故障时，主节点将根据所有该服务的备份节点的负载情况选择一台负载较轻的节点来接替故障节点的工作。

7.服务所依赖的进程：节点提供服务所依赖的进程，这些进程的启停脚本的位置，当一个节点被选中提供服务时，该节点查询该服务所依赖的所有进程，并通过该进程的启动脚本和程序来运行该进程。

在本发明中，每个节点包括服务应用(Services Applications)进程、lifeguard(节点服务监测器)进程、Executor(节点执行器)进程、Standby(故障接管模块)进程和Commander(核心控制模块)进程。节点与节点之间通过以太网连接，由核心控制模块(commander)将节点逻辑上组成心跳环，各节点通过通过心跳检测进程(heartbeat)相互通信。当启动一个节点时，具体执行的步骤为：

步骤10：该节点向主节点的核心控制模块(commander)发出加入机群系统的请求；

步骤11：主节点收到请求后，分配该节点在机群心跳环中的位置，并返回该节点所应承担的服务信息；告诉该节点应该承担哪些服务；

步骤12：该节点逐一启动主节点分配的服务所依赖的进程，并设置相应的服务IP；

步骤13：通知主节点该服务启动的情况：成功或失败，如果失败，主节点会选择别的节点来启动该服务。

步骤14：如果服务启动成功，主节点将标识该服务为启动状态，并记录提供服务的节点信息，便于在该节点发生故障时，及时将该节点上运行的所有服务迁移到其他可用的节点上，即该服务的备份节点上。

参见图5，当节点的Heartbeat发现相邻节点出现异常时，其处理过程为：

步骤20：Heartbeat向相邻节点的Executor进程发送确认包，确认相邻节点是否发生故障；

步骤21：相邻节点如果接收到故障确认包，向Lifeguard发送消息，检查节点上所有依赖进程的运行情况及资源使用情况，节点恢复正常后应答Heartbeat的确认包；

步骤22：若Heartbeat无法与相邻节点通讯，或者在规定时间内没有接受到相邻节点的应答，就认为该相邻节点已经出现故障，则本节点向备份主节点的Commander进程发送消息，向主节点报告故障；

步骤23：主节点分析该服务的类型，如果该服务是多重服务，不需要接管该服务，只需要通知前置的任务分发节点，停止向该节点发送任务；

步骤24：如果故障是单一服务或专用服务，则需要对故障服务进行接管，先由主节点选择备份节点接管故障服务，该备份节点可以运行服务的程序并代替故障节点提供服务，由于备份节点可有多个，则对所有的节点定义优先级，首先选择优先级最高的备份节点作为接管节点，如果可远节点的优先级相同，则根据各节点当前的实际工作负载信息选择工作负载最轻的节点作为接管节点。主节点选定接管节点后，把接管命令发送给选定的接管节点上的Executor进程。被选中作为故障服务接管节点收到接管信息后，调用Standby模块启动该服务，对于每个服务，由用户设定该服务要正常运行所需要启动的进程，我们成为服务的依赖进程，同时，某个进程的启动可能需要先启动其他进程，这些进程又可视为该进程依赖进程，Standby模块启动服务时采用递归的方法，将该服务的所有进程启动起来，设置相应的服务IP，将故障服务在本节点上恢复，并通知节点服务监测器(Lifeguard)重新获取监控的配置，对本节点上新增加的服务进程进行监控。

在机群中，由主节点将所有运行的节点构成多个心跳环，这种结构便于扩展，每个心跳环中的第一个节点即成为该心跳环的组长节点。在故障服务恢复后，主节点向所有心跳环组长节点要求检查各自心跳环内部的节点是否正常，这有利于快速处理大面积节点故障的情况。

参见图6，在机群中，输入/输出(Input/Output，简称I/O)节点直接与盘阵相连，因此，输入/输出节点IO1、IO2、IO3相互备份，作为网络文件系统(Network File System，简称NFS)服务器(Server)；其他所有服务节点通过输入/输出节点IO1、IO2、IO3访问存储设备-盘阵。本实施例包含了文件传送/输协议(File Transfer Protocol，简称ftp)服务，其由3个节点提供；Web服务，由节点WebServer1、WebServer2、WebServer3、WebServer4、WebServer5提供域名服务器(Domain Name Server，简称DNS)服务；邮件服务，其由2个节点Mail Server1、Mail Server2提供；数据库服务，由2个数据库服务器节点提供。请求分发器1(Dispatcher1)和请求分发器2(Dispatcher2)是负载均衡的前置任务分发节点。前置任务分发节点和文件传送/输协议服务运行在同一个节点上，如果文件传送/输协议服务所在的节点发生故障，将由其他节点接替节点Dispatcher1的工作，分发用户的请求，同时通知任务分发节点停止向文件传送/输协议服务分发任务。

图6中的DNS服务器DNS Server只由一个节点运行，在该节点出现故障时，由其他安装了DNS程序的节点接管DNS服务。

输入/输出节点IO1为网络文件系统服务器NFS Server的缺省运行节点，只有输入/输出节点IO2、IO3和数据库服务器可以作为网络文件系统服务器NFSServer服务的备份节点，因为这些节点与盘阵相连接，如果输入/输出节点IO1作为网络文件系统服务器NFS Server运行，在输入/输出节点IO1发生故障后，主节点会在这些备份节点中选择节点接替输入/输出节点IO1的工作。本实施例中，所有节点均可安装主节点所需的程序，因此，机群中的任意节点都可以成为主节点。

在该系统中，Web服务，ftp服务和邮件服务都由多个节点同时提供，因此具有很好的扩展性，输入/输出节点的备份节点除了接管网络文件系统服务器NFS Server的服务，还可作为其他服务的备份节点，这样可以充分利用机群的资源，不需设置专用的冗余备份设备就可以实现系统多向备份，提高了机群的可用性。

最后应说明的是：以上实施例仅用以说明本发明而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1、一种利用机群节点相互备份的容错方法，其特征在于：将机群中节点划分为多个心跳环，同一心跳环内的节点之间通过心跳信息连接、相互通信和备份，包括：节点加入机群以及节点故障的处理；所述节点故障的处理具体包括：

步骤1：当机群中节点的存活信息检测进程发现所在心跳环内的相邻节点出现异常时，向该相邻节点的节点执行器进程发送确认包；

步骤2：该相邻节点如果接收到故障确认包，则向自身的节点服务监测器发送消息，检查本节点上所有依赖进程的运行情况及资源使用情况；节点恢复正常后应答心跳检测进程的确认包；

步骤3：如果发出确认包节点的心跳检测进程无法与相邻节点通讯，或者在规定时间内没有接受到该相邻节点的应答，则向主节点的核心控制模块进程发送消息，报告故障；

步骤4：主节点接收该消息，并分析所述相邻节点提供的服务的类型，如果该服务是多重服务，则通知前置的任务分发节点停止向所述相邻节点发送任务；

步骤5：如果所述服务是单一服务或专用服务，主节点为所述服务根据各节点的负载信息在可支持该服务的节点中，选择负载最轻的节点，并向该节点的节点执行器发送服务接管命令，接管所述服务；

步骤6：被选中作为所述服务接管节点的节点收到接管信息，调用故障接管模块将所述服务在本节点上恢复，并通知节点服务监测器重新获取监控的配置，对本节点上新增加的服务进程进行监控。

2、根据权利要求1所述的利用机群节点相互备份的容错方法，其特征在于：所述的节点至少包括服务应用进程、节点服务监测器进程、节点执行器进程、故障接管模块进程和核心控制模块进程。

3、根据权利要求1所述的利用机群节点相互备份的容错方法，其特征在于：节点加入机群的处理具体包括如下的步骤：

步骤10：新加入节点向主节点发出加入机群的请求；

步骤11：主节点收到请求后，分配新加入节点在机群中的位置，并返回新加入节点所承担的服务信息；

步骤12：新加入节点逐一启动服务所依赖的进程，并设置相应的服务IP；

步骤13：新加入节点通知主节点服务启动的情况：如果启动失败，主节点则选择其他节点来启动该服务；

步骤14：如果服务启动成功，主节点标识该服务为启动状态，并记录提供服务的节点信息，便于在该节点发生故障时，及时将该节点上运行的所有服务迁移到安装了该服务所需程序的节点中负载较轻的备份节点上。

4、根据权利要求1所述的利用机群节点相互备份的容错方法，其特征在于：在所述步骤6之后还包括：

步骤7：主节点发出命令，要求检查所有心跳环内部所有节点是否正常，便于快速处理大面积节点故障。

5、根据权利要求1所述的利用机群节点相互备份的容错方法，其特征在于：所述步骤5中主节点选择负载最轻的节点接管所述服务的具体操作为：

步骤51：主节点选择可支持所述服务的节点作为备份节点，并根据备份节点的优先级和该备份节点当前的实际工作负载选择相应的备份节点接管所述服务；

步骤52：主节点将接管命令发送给选定接管节点的节点执行器进程；

步骤53：接管节点的节点执行器调用节点服务监测器模块，启动该服务的所有依赖进程，并设置相应的服务IP，然后通知节点服务监测器监控对本节点上新增加服务的进程进行监控。

6、根据权利要求1或3或4或5所述的利用机群节点相互备份的容错方法，其特征在于：所述的服务至少具有：机群提供该服务的IP地址、服务采用协议类型、用来检查该服务是否能正常侦听用户请求服务的端口号、服务的类型、服务缺省运行的节点、服务的备选节点以及服务所依赖的进程及其启停脚本的位置。

7、根据权利要求6所述的利用机群节点相互备份的容错方法，其特征在于：服务采用协议类型至少包括TCP和UDP两类。

8、根据权利要求6所述的利用机群节点相互备份的容错方法，其特征在于：所述的服务类型至少包括：单一服务、多重服务以及专用服务。

9、根据权利要求6所述的利用机群节点相互备份的容错方法，其特征在于：所述的缺省运行节点为该服务在机群所有节点正常运行时，应该提供该项服务的节点；当该节点处于不可用状态时，该服务具有备份节点；当缺省运行节点排除故障并加入机群后，该服务即被迁移到缺省运行节点上运行。

10、根据权利要求6所述的利用机群节点相互备份的容错方法，其特征在于：所述的备选节点至少为一个。

Images