CN1701527A - 存储区域网中的异步消息传送 - Google Patents

Abstract

本发明的计算机系统包括异步消息传送和排队系统；以及具有存储区域网控制器的存储区域网；并且存储区域网控制器包括用于代表一个或更多队列管理器来控制消息队列的控制装置，而该控制装置可以是异质的。存储区域网控制器还可以包括用于控制消息持久性的装置，诸如同步点协调器的事务控制装置，以及诸如锁定管理器的数据完整性控制装置。

Description

存储区域网中的异步消息传送

技术领域

本发明涉及一种异步消息传送和排队(asynchronous messaging-and-queuing)系统，特别涉及用于消息存储的控制。

背景技术

异步消息传送和排队系统是现有技术中熟知的。IBM的MQSeries消息传送和排队产品就是这样一种系统。(IBM和MQSeries为IBM公司的商标)。为了方便，使用MQSeries系统进行下面的描述，但是本发明的背景技术包括很多其它的消息传送和排队系统，这对本领域的技术人员来说是显而易见的。

在MQSeries消息排队系统中，已知叫“队列管理器”的系统程序向一组使用该队列管理器在网络上发送和接收消息的应用程序提供消息排队服务。在网络中可以提供多个队列管理器，每个队列管理器服务于一个或更多对于该队列管理器来说是局域的应用程序。从一个应用程序发送到另一个应用程序的消息被存储在由对于该接收应用程序来说是局域的队列管理器来维护的消息队列中，直到该接收应用程序准备好了取出(retrieve)它。应用程序能够从由它们的局域队列管理器维护的队列中取出消息，并且能够经由它们的局域队列管理器为中介，把消息放置在由整个网络系统中的队列管理器维护的队列中。应用程序经由称作MQI(消息队列接口)的接口与其局域队列管理器通信。这定义了应用程序用来调用该队列管理器的服务的一组请求或“呼叫”。根据MQI，应用程序首先请求用于执行服务所需的资源，并且，当从队列管理器接收到这些资源后，该应用程序随后请求执行指定了将要使用这些资源的服务。具体来说，为了调用任何队列管理器服务，应用程序首先请求连接到该队列管理器。于是该应用程序首先发出请求连接到该队列管理器的呼叫，而响应于这个呼叫，所述队列管理器返回用于标识将要由该应用程序使用的连接的连接句柄(handle)。该应用程序随即将把这个连接句柄作为在此连接期间执行其它呼叫时的输入参数。该应用程序还为诸如队列等每个对象请求对象句柄，以便用于执行所请求的服务。于是，该应用程序为每个要使用的对象提交一个或更多请求对象句柄的呼叫，并且该队列管理器将分配合适的对象句柄。由队列管理器提供的所有对象句柄与特定的连接句柄相关，给定的对象句柄被提供给特定连接所使用，从而该给定的对象句柄与相关的连接句柄一起使用。在接收到要使用的资源后，该应用程序可以发出请求该执行服务的服务请求呼叫。这个呼叫将包括连接句柄以及将要使用的每个对象的对象句柄。例如，在从队列中取出消息的情况下，该应用程序发出“取消息”呼叫，该呼叫包括连接句柄和分配给该应用程序的适当的队列句柄，以标识对于该队列管理器的连接和队列。

使用目前可用的异步消息传送系统，当消息到达服务器时，它只对该服务器可用，但是如果该服务器发生故障，该消息将被“困”在该服务器中，直到该服务器能被重新启动。

在高容量或高性能的应用程序体系结构中，把消息存储在单一服务器中也是一种限制，这是由于通常在发送消息之前，需要判断预期的目的服务器是否能够适时地处理该消息以及任何随后必需的处理。

很明显，在这种系统中存在着对于更稳健且更灵活的异步消息存储方法和系统的需求。

发明内容

因而，在第一方面，本发明提供了一种计算机系统，包括：异步消息传送和排队系统；以及具有存储区域网控制器的存储区域网；并且其中，所述存储区域网控制器包括代表一个或更多队列管理器来控制消息队列的控制装置。

最好，所述一个或更多队列管理器包括两个或更多队列管理器，并且所述两个或更多的队列管理器中的至少两个是异质的。

最好，在所述消息队列中的消息是持久的(persistent)，并且其中所述存储区域网控制器包括用于控制所述消息的持久性的装置。

最好，所述消息是事务(transactional)消息，并且其中所述存储区域网控制器包括事务控制装置。

最好，所述事务控制装置包括同步点(syncpoint)协调器。

最好，所述存储区域网控制器包括数据完整性控制装置。

最好，所述数据完整性控制装置包括锁定管理器。

在第二方面，本发明提供了一种用于控制计算机系统的方法，该计算机系统具有异步消息传送和排队系统以及具有存储区域网控制器的存储区域网，包括下列步骤：在队列管理器中接收消息请求；并且把所述消息请求传递给所述存储区域网控制器；其中所述存储区域网控制器包括代表一个或更多队列管理器来控制消息队列的控制装置。

第二方面的方法的优选方法特征对应于由第一方面的优选特征所提供的装置。

在第三方面，本发明提供了一种计算机程序，该计算机程序使得计算机系统执行对应于第二方面的方法步骤的计算机程序步骤。

由于没有单一的故障点，使用存储区域网(SAN)来存储消息数据不仅使数据存储集中，而且提供了更稳健的全面解决方案。

与LAN相比较，SAN的一种定义是允许在存储设备和处理器(服务器)之间建立直接连接的高速网络。SAN可以被视为存储总线概念的一种延伸，它使得存储设备和服务器能够使用与局域网(LAN)和广域网(WAN)中类似的下列元件相互连接：路由器、集线器、交换器和网关。SAN能够在服务器之间共享，并且/或者专用于一个服务器。它能够是局域的，或者能够在地理距离上延伸。

在本发明的实施例中，有可能仅仅满足用于各种协作组件之间的数据完整性、事务性(transactionality)以及其它服务质量的一组协议。在这种情况下，将由中间件层来处理(conduct)和控制数据完整性、同步点协调等。所述中间件层将向SAN控制器以及向应用程序和队列管理器提供适当的一组原语(primitive)。

通过对比，本发明当前最优选的实施例不仅在SAN中取消了单个服务器上的消息存储而在网络级上对它们进行存储，而且在SAN中提供了支持基础结构以提供所有所需的数据完整性功能，从而允许多个队列管理器充分放心地(with complete confidence)同时访问队列(用于读取和写入操作)。

传统上，队列是由特定的队列管理器拥有的，所述队列管理器负责保证以有序和正确的方式来维持对于该队列的多线程访问。通过把队列移到SAN中，该队列的所有权被从该队列管理去除，并且被赋予给SAN控制器。队列管理器显然能够访问和操纵该队列中的消息，如同它们是局域拥有的队列一样，但是对于该操作的真正、底层的管理是在SAN控制器中维护的。

为了使其能够运行，SAN控制器可以提供对它所拥有的队列上的消息的锁定和事务完整性进行控制所需的原语。

本发明的优选实施例具有几个益处。首先是把消息(数据)从较脆弱的应用程序服务器环境去除而转移到较稳健的SAN中，其中，代替仅仅能够由一个服务器访问，任何能够连接到SAN的服务器都潜在地能够访问这些消息。

仅仅通过安装用于存储该队列数据的文件系统不能够获得相同的好处，在这种文件系统中多个服务器都能够潜在地安装和使用这些文件。如果这被允许，冲突情形会很快出现，例如，由一个队列管理器锁定的消息被另一个队列管理器删除，而且这些冲突情形将导致任何这种系统完全不能工作。

通过向SAN控制器添加锁定和两步提交(two phase commit)原语，本发明的优选实施例允许多个服务器连接到SAN，从而同时访问队列中的消息(用于读取、删除、锁定和事务操作)，同时具有与对单一队列的多线程访问进行控制的单一队列管理器所提供的相同级别的数据完整性。

第二个益处在于能够将入站到特定应用程序中的全部消息数据过滤到维持在SAN中的一个队列。它们能够以对于该应用程序的完全透明度，从这里被分发到任何数量的所连接的服务器，以便由该应用程序进行随后的处理。

最后的主要益处在于因为全部的消息数据都已被集中放置，大大简化了对于备份和灾难恢复的提供，由于所有的相关数据都位于一个位置上，从而能够利用基本SAN服务来确保进行安全复制。

消息能够具有“持久”的属性-即在发生任何随后处理之前它们必须由队列管理器来注册和记录日志-或者它们能够是“非持久的”，在这种情况下，如果队列管理器发生故障，则该消息被丢弃。本发明的优选实施例特别适用于对可以放置持久消息的队列进行控制。

在由SAN控制的队列中，对于保护数据安全的要求与由队列管理器进行局域控制的队列中相同-即创建和删除队列、以及从队列读取消息和向队列写入消息都需要授权。用于向多个队列管理器公布队列定义、以及用于提供访问控制(局域队列管理器将确定访问是否有效)的机制(队列群集(queueclustering))已经存在。

SAN控制器最好监控队列管理器到SAN的连接，并且此后假定对于由所连接的队列管理器发送的对于队列操纵的请求已被验证。

由于消息数据将要在整个网络中流动，在SAN和队列管理器之间对数据进行加密的选项也是优选的特征。

在其他优点中，当前的优选实施例涉及把通常与分布在连网系统中的中间件层相关的属性和活动转移到SAN控制器中，以便实现改进的稳健性、可缩放性(scalability)、控制的集中化和维护的简易化，这对于本领域的技术人员来说是清楚的。与中间件相关的属性和活动通常被称为“服务质量”定义。如上所述，有可能简单地把队列数据结构从队列管理器的局域存储转换到SAN，并且使队列管理器来协商它们自身之间的协议以便管理锁定和点同步，而这些有可能利用传统的中间件供给来进行。然而，如上所述，本发明当前最优选的实施例所提供的优点超越了这种解决方案所具有的优点。

对于本领域的技术人员来说，很多其它的“服务质量”定义能够以与事务性、同步点协调、可恢复性等相同的方式被包含到SAN控制器中。这种“服务质量”定义的一个例子是长期运行事务的子事务的“可补偿性”。

附图说明

现在将参照附图以举例的方式来说明本发明的优选实施例，其中：

图1是表示根据本发明优选实施例的系统的组成部件的方框图；和

图2示意性地说明了根据本发明优选实施例的系统的负载平衡能力。

具体实施方式

现在转到图1，其中有本发明的当前优选实施例的3个相互作用的主要部件。第一个是SAN(102)，其由SAN控制器(104)控制，第二个是队列管理器(114)，其向存储在SAN中的队列(108)中写入消息；而第三个是队列管理器(122)，其要从SAN存储的队列(108)中读取该消息。每个队列管理器(114，122)代表应用程序(112，120)进行活动，该应用程序发出必须由队列管理器(144，122)来满足的请求。队列管理器(144，122)和发出请求的应用程序(112，120)可以位于网络中的任何位置。即，系统或系统部件(110，118)能够是系统中的区域或分区、分离的物理计算机系统、网络中的分布式系统、或者系统或系统部件的任何其它组合。

具体来说，为了调用任何队列管理器服务，应用程序(112，120)首先请求连接到队列管理器(144，122)。于是，应用程序(112，120)首先发出请求连接到队列管理器(144，122)的呼叫，并且，响应于这个呼叫，所述队列管理器返回用于标识将要由该应用程序使用的连接的连接句柄。随后，应用程序(112，120)将在该连接期间执行其它呼叫时，传递这个连接句柄作为输入参数。应用程序(112，120)还要求诸如队列(108)等每个对象的对象句柄，以便在执行该请求的服务时使用。于是，应用程序(112，120)将提交用于请求每一个将要使用对象的对象句柄的一个或更多呼叫，并且将由队列管理器(144，122)来分配适当的对象句柄。使由队列管理器(144，122)提供的全部对象句柄与特定的连接句柄相关，使得给定的对象句柄被提供给特定的连接使用，因此与相关的连接句柄一起使用。在接收到将要使用的资源后，应用程序(112，120)可以发出请求执行服务的服务请求呼叫。这个呼叫将包括连接句柄和对于每个将被使用的对象的对象句柄。例如，在从队列(108)取出消息的情况下，该应用程序发出“取消息”呼叫，该呼叫包括其连接句柄和分配给该应用程序的适当的队列管理器，以标识对于该队列管理器的连接和队列(108)。

最好，向本发明优选实施例的SAN控制器(104)提供同步点协调器(124)、持久性管理器(126)以及锁定管理器(128)。这样就能够实现功能的集中化，否则就要将这些功能转移给队列管理器，从而引起在传统的消息传送和排队系统中可能出现的潜在问题。

本发明的优选实施例是高度适用于高吞吐量系统的体系结构，不可能发生消息被“困”在障碍服务器中的情况，而且通过简单地把较多服务器连接到SAN，也能够“按比例提高”该应用程序吞吐量。相反，如果对于该应用程序的需求下降，可以动态地断开服务器，并且减少最大可能的吞吐量。如图2所示，如果对队列(208)中的消息的处理需求上升到超过一个或更多应用程序服务器(210)的能力，一个或更多扩展服务器(212)可以被连接到SAN，从而被添加到可用的处理资源中。

下面说明可以在本发明的当前优选实施例中提供的交互。

交互1-连接

100 队列管理器发送连接请求到SAN控制器

105 SAN控制器接受连接请求

110 SAN控制器验证队列管理器的身份

115 如果确认了身份，SAN控制器确认连接请求，否则拒绝连接

交互2-定义队列

200 管理员发送请求来定义SAN上的队列

205 SAN控制器进行验证，并且如果适当则接受请求

210 SAN控制器在所管理的存储器上给该队列分配空间

215 SAN控制器建立必需的控制结构

220 SAN控制器确认队列创建的完成

交互3-打开到队列的句柄

300 队列管理器发送请求以打开到队列的句柄

305 SAN控制器确认队列的存在并授权打开句柄

310 如果队列不存在或授权不正确，请求失败

315 SAN控制器打开句柄并将句柄返回到发出请求的队列管理器

320 SAN控制器更新用于该队列的使用计数器

交互4-将消息放置在队列上

400 队列管理器发送消息以放置在队列上

405 SAN控制器验证授权以将消息放置在队列上

410 SAN控制器把消息数据写入所分配的被管理的存储器中

415 SAN控制器检查写入是否是部分同步点

420 如果是部分同步点，SAN控制器锁定消息，向应用程序确认

425 如果不在同步点中，SAN控制器确认被写入队列中的消息

交互5-确认同步点(简化的)(读取和写入操作)

500 队列管理器向SAN控制器发送同步点确认

505 SAN控制器确认队列操作(读取或写入)

510 SAN控制器解锁消息，并且在读取操作的情况下从队列中删除消息

交互6-退出同步点(简化的)(读取和写入操作)

600 队列管理器向SAN控制器发送同步点退出

605 SAN控制器确认退出的队列操作(读取或写入)

610 SAN控制器解锁消息，并在写入操作情况下从队列中删除消息

注意，任何同步点操作一般都是两步提交类型，但是在本说明中不需要这种程度的细节。在SAN控制器和附加的队列管理器之间，完全的两步提交可以不是必需的。

交互7-从队列中读取消息

700 队列管理器向SAN控制器发送读取请求消息

705 SAN控制器检查请求是否针对特定消息。如果是，则进行交互8-读取特定消息

710 SAN控制器确定将要读取的下一个可用的消息

715 如果不是浏览，SAN控制器锁定消息，并检查读取是否在同步点内

720 如果需要，SAN控制器发送消息并且标记同步点

725 如果读取不是浏览并且在同步点之外，则从所管理的存储器中删除消息

交互8-从队列中读取特定消息

800 SAN控制器检查消息是否存在以及是否未被其它队列管理器锁定

805 如果消息被锁定或者不存在，则拒绝读取请求

810 如果不是浏览，SAN控制器锁定消息，并检查读取是否在同步点内

815 如果需要，SAN控制器发送消息并且标记同步点

820 如果读取不是浏览并且在同步点之外，则从所管理的存储器中删除消息

交互9-关闭到队列的句柄

900 队列管理器发送请求以关闭队列句柄

905 SAN控制器验证请求并且将使用计数器递减

910 SAN控制器检查该队列的使用计数器

912 SAN控制器查找任何未提交(uncommitted)的同步点，如果找到，则拒绝关闭句柄请求

915 如果使用计数为0，则SAN控制器删除队列句柄

920 如果使用计数不是0，则SAN控制器拒绝关闭请求

交互10-删除队列

1000 管理员发送请求以删除队列

1005 如果请求是“强制删除”，则删除队列，并释放所分配的被管理的存储器

1015 SAN控制器验证在同步点内没有消息被锁定

1020 SAN控制器验证没有其它队列管理器打开句柄

1025 如果上述测试为真，则删除队列，并释放所分配的被管理的存储器

1030 如果上述任何测试为假，则拒绝关闭请求

交互11-对拥有的队列列表

1100 队列管理器或系统管理API发送请求以对拥有的队列列表

1105 SAN控制器发送细节

交互12-修改队列定义

1200 队列管理器或系统管理API发送请求以修改队列定义

1205 SAN控制器验证请求是可能的，并执行修改

交互13-队列管理器健康检查

1300 SAN控制器将健康检查发送到每一个连接的队列管理器

1305 如果没有来自健康检查的响应，SAN控制器断开故障队列管理器

交互14-断开故障队列管理器

1400 SAN控制器终止由故障队列管理器拥有的每个句柄

1405 SAN控制器检查全部未提交的同步点，并且将它们退出

1410 SAN控制器关闭到队列的所有打开的句柄

1415 SAN控制器关闭到障碍队列管理器的连接句柄

1420 SAN控制器报告故障事件

Claims (10)

1.一种计算机系统，包括：

异步消息传送和排队系统；和

存储区域网，具有存储区域网控制器；并且

其中，所述存储区域网控制器包括代表一个或更多队列管理器来控制消息队列的控制装置。

2.如权利要求1所述的计算机系统，其中，所述一个或更多队列管理器包括两个或更多队列管理器，而且所述两个或更多队列管理器中的至少两个是异质的。

3.如权利要求1或2所述的计算机系统，其中，在所述消息队列中的消息是持久的，并且其中，所述存储区域网控制器包括用于控制所述消息的持久性的装置。

4.如前面任何一项权利要求所述的计算机系统，其中，所述消息是事务消息，并且其中，所述存储区域网控制器包括事务控制装置。

5.如权利要求4所述的计算机系统，其中，所述事务控制装置包括同步点协调器。

6.一种用于控制计算机系统的方法，所述计算机系统具有异步消息传送和排队系统和具有存储区域网控制器的存储区域网，所述方法包括下列步骤：

在队列管理器中接收消息请求；和

把所述消息请求传递给所述存储区域网控制器；

其中，所述存储区域网控制器包括用于代表一个或更多队列管理器来控制消息队列的控制装置。

7.如权利要求6所述的方法，其中，所述一个或更多队列管理器包括两个或更多队列管理器，并且所述两个或更多队列管理器是异质的。

8.如权利要求6或7所述的方法，其中，在所述消息队列中的消息是持久的，并且其中，所述存储区域网控制器包括用于控制所述消息的持久性的控制装置。

9.如权利要求6至8中任何一项所述的方法，其中，所述消息是事务消息，并且其中，所述存储区域网控制器包括事务控制装置。

10.一种包括计算机程序代码的计算机程序，在被载入计算机系统并被执行时，引起所述计算机系统执行如权利要求7至9中任何一项所述的方法的全部步骤。