CN105391601B - 一种网管设备的性能测试方法及系统 - Google Patents

Abstract

本发明公开了一种网管设备的性能测试方法及系统，该测试系统主要包括网管设备、少量真实存在的网元设备、多个配置在网管设备中的虚拟网元设备、以及测试设备。其中，一个网元设备对应连接多个虚拟网元设备，网元设备通过至少一个虚拟网元设备将测试报文发送给网管设备，从而，实现了网管设备对多个网元设备的管控，达到了多组测试数据的需求；由于网元设备是真实存在的，因此，该网管环境能够真实反映网元设备的配置结果以及配置时延，真实反映配置时延过程中存在的各种问题。其次，虚拟网元设备的数目在不增加网元设备的情况下，可以根据当前网管设备的配置以及所在测试环境的变更进行调整，在一定程度上减少了设备的投入，降低了后期维护成本。

Description

一种网管设备的性能测试方法及系统

技术领域

本发明涉及通信技术领域，尤其涉及一种网管设备的性能测试方法及系统。

背景技术

针对网络规模日趋庞大，场景日趋复杂，电信管理网(Telecom ManagementNetwork，TMN)提供了对通讯设备的FCAPS(错误、配置、计帐、性能和安全)网络管理。网管设备(尤指网管软件)针对其所管理的通信设备(具体为网元设备)，完成告警监测、配置管理、性能监视、客户和安全管理等。目前的通信系统不仅仅由通信设备组成，网管设备也是通信系统不可或缺的一部分。所以网管设备的质量从一定程度决定了通信系统的可用性，针对网管设备的测试也是通信系统健壮性的保证。

网管设备测试包括多个方面，从测试内容上可以分为功能测试、性能测试、易用性测试等。其中性能测试包括基准测试、负载测试、强度测试等，用于评价网管设备的性能需求是否符合规格，是网管设备鲁棒性的重要体现。其中重要的性能规格为等效网元的管理能力，告警处理效率，性能采集效率等。

目前对于网管设备的性能测试的主流方法是使用模拟网元，具体地：使用软件模拟大量网元、大量告警等进行网管设备的性能测试。其中，有两种方法比较成熟，一种是使用纯软件的模拟网元，另一种是基于录制和回放的模拟网元。然而，由于其运行均脱离真实网元，所以存在如下问题。

1)模拟网元无法完全支持失败和具体失败原因。简单配置的模拟网元仅能返回成功报文，无法根据实际配置真实反馈网管设备对网元设备的配置成功、失败以及失败的具体原因。如果根据具体配置设计模拟网元，又会加大模拟网元软件的复杂度。录制回放的方式可以一定程度解决这个问题，但如果配置变更，仍然要重新录制，不够灵活。

2)模拟网元无法真实反应配置延时。真实网元在配置时返回有一定的系统处理延时、网络时延，有些需要检测的问题会在网络时延时暴露，而无论是纯软件的模拟网元，还是录制回放的模拟网元，均是直接读取配置报文，返回太快，无法重现实际场景以及实际场景出现的问题。

3)模拟网元在系统变更时会引来额外的维护工作。从技术角度考虑，厂家网管与网元设备的接口基本都是私有接口，如果使用纯软件模拟，当接口增加、删除、变更都需要对软件进行重新修改，录制回放的方式也需要重新录制，后期的维护工作量太大。

4)告警测试不易实现。纯软件的模拟网元配置告警对测试人员要求较高，需要深入理解通信报文。而录制回放的方式当需要测试非录制时的告警，或者系统告警发生变化时，需要重新录制。总体说来都不易使用。

综上所述，如何有效对网管设备的性能测试，既能有效重现真实网元环境，又减少网元设备投入，是目前网管设备性能测试亟需解决的问题。

发明内容

本发明实施例提供一种网管设备的性能测试方法及系统，用以解决现有技术中存在的由于无法有效重现真实网元设备的网管环境而导致对网管设备的性能测试效果不佳的问题。

本发明实施例采用以下技术方案：

第一方面，提供了一种网管设备的性能测试系统，包括：网管设备、M个网元设备、测试设备；其中，所述网管设备被配置有N个虚拟网元设备，M与N均为正整数，且N大于M，所述网元设备与虚拟网元设备之间的映射关系为：一个网元设备对应多个虚拟网元设备；

所述网元设备，用于发送测试报文；

所述测试设备，用于接收任一网元设备发送的测试报文，并根据网元设备与虚拟网元设备之间的映射关系，确定与所述网元设备对应的至少一个虚拟网元设备，以及，用于将所述测试报文发送给确定的虚拟网元设备，根据所述网管设备的处理情况对所述网管设备进行性能测试；

所述网管设备，用于通过所述至少一个虚拟网元设备接收所述测试设备发送的测试报文，并进行处理。

结合第一方面，在第一种可能的实现方式中，所述N个虚拟网元设备通过以下方式配置：

所述测试设备初始化当前配置文件；

所述测试设备根据配置文件中的配置信息，在所述网管设备中模拟N个虚拟网元设备；

其中，所述配置信息至少包括：网元设备数目M、虚拟网元设备数目N以及网元设备与虚拟网元设备之间的映射关系。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述测试设备在根据配置文件中的配置信息在所述网管设备中模拟N个虚拟网元设备时，具体用于：

根据配置文件中的虚拟网元设备数目N，在所述网管设备中模拟N个虚拟网元设备；

根据配置文件中的网元设备数目M以及网元设备与虚拟网元设备之间的映射关系，建立所述M个网元设备与所述N个虚拟网元设备之间的映射关系。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述网管设备中的N个虚拟网元设备是通过分别复制所述M个网元设备得到的。

结合第一方面、第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述测试报文为针对所述网管设备的查询和/或设置报文的应答报文，则所述测试设备在接收任一网元设备发送的测试报文之前，还用于：

接收所述网管设备通过任一虚拟网元设备发送的查询和/或设置报文；

根据网元设备与虚拟网元设备之间的映射关系，确定与所述虚拟网元设备对应的网元设备；

将所述查询和/或设置报文发送给确定的网元设备，以使得所述网元设备进行相应查询和/或设置操作。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，还用于监测并记录所述虚拟网元设备与所述网元设备之间的报文传输信息。

第二方面，提供了一种网管设备的性能测试方法，应用于至少包含被配置有N个虚拟网元设备的网管设备、测试设备以及M个网元设备的测试系统中，M与N均为正整数，且N大于M，所述方法包括：

测试设备接收任一网元设备发送的测试报文；

根据网元设备与虚拟网元设备之间的映射关系，确定与所述网元设备对应的至少一个虚拟网元设备，其中，所述网元设备与虚拟网元设备之间的映射关系为：一个网元设备对应多个虚拟网元设备；

将所述测试报文发送给确定的虚拟网元设备，以使得所述网管设备通过虚拟网元设备接收所述测试报文并进行处理；

根据所述网管设备的处理情况对所述网管设备进行性能测试。

结合第二方面，在第一种可能的实现方式中，所述N个虚拟网元设备通过以下方式配置：

初始化当前配置文件；

根据配置文件中的配置信息，在所述网管设备中模拟N个虚拟网元设备；

其中，所述配置信息至少包括：网元设备数目M、虚拟网元设备数目N以及网元设备与虚拟网元设备之间的映射关系。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，根据配置文件中的配置信息，在所述网管设备中模拟N个虚拟网元设备，具体包括：

根据配置文件中的虚拟网元设备数目N，在所述网管设备中模拟N个虚拟网元设备；

根据配置文件中的网元设备数目M以及网元设备与虚拟网元设备之间的映射关系，建立所述M个网元设备与所述N个虚拟网元设备之间的映射关系。

结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述网管设备中的N个虚拟网元设备是通过分别复制所述M个网元设备得到的。

结合第二方面、第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式或第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述测试报文为针对所述网管设备的查询和/或设置报文的应答报文，则在接收任一网元设备发送的测试报文之前，所述方法还包括：

测试设备接收所述网管设备通过任一虚拟网元设备发送的查询和/或设置报文；

根据网元设备与虚拟网元设备之间的映射关系，确定与所述虚拟网元设备对应的网元设备；

将所述查询和/或设置报文发送给确定的网元设备，以使得所述网元设备进行相应查询和/或设置操作。

结合第二方面的第四种可能的实现方式，在第五种可能的实现方式中，所述方法还包括：

测试设备监测并记录所述虚拟网元设备与所述网元设备之间的报文传输信息。

通过上述技术方案，利用少量真实存在的网元设备，以及配置信息，在网管设备中模拟多个与网元设备存在映射关系的虚拟网元设备，从而，网元设备发送的测试报文通过网管设备中的至少一个相应的虚拟网元设备接收，并转发给网管设备，从而，保证网管设备接收到的测试报文(即应答报文)中的数据为真实存在的网元设备返回的数据，提升了接收到的配置成功、失败、具体失败原因等一些列报文信息的真实性、可靠性。而且，由于测试报文是真实存在的网元设备返回的应答报文，因此，能够真实反映配置操作过程中的处理时延、网络时延等，进而，时延的存在而衍生出的一些列问题也可以真实暴露出来，以便及时得到应对解决。最为关键的是，考虑到网管设备的性能测试主要是针对网管设备的抗压能力测试，因此，在具体的网元设备上报状态信息的流程中，通过少量的真实存在的网元设备中的任意一个或多个网元设备，向与网元设备具有映射关系的部分或所有虚拟网元设备发送测试报文，假设该状态信息为告警信息，那么，少量的告警信息就可以通过组播或广播的方式，或者复制的方式，成倍增长为大量的告警信息，并通过测试设备分别发送给相应的虚拟网元设备，进而，网管设备接收到的告警信息的数量就会很大，相比现有技术中的纯模拟网元上报或录制回放的方式而言，更为便捷有效的对网管设备处理告警信息的性能进行测试。另外，虽然本发明利用了真实存在的网元设备，但是该网元设备的数目是少量的，该测试系统可以接受，也可以根据实际的测试环境，利用有限的网元设备进行测试，因此，不会影响到整个系统的维护成本，当网管设备与网元设备的接口发生变化时，只需要更新网元设备即可，测试设备仅更新配置信息即可为新的测试系统服务，因而，该测试系统的网元设备投入较少，后期维护成本较低，实用性较高。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的测试方案所涉及的系统架构示意图；

图2为本发明实施例的系统架构中中虚拟网元设备与网元设备的对应关系示意图；

图3为网元设备通过虚拟网元设备向网管设备发送测试报文的流程示意图；

图4为配置有网元代理和虚拟网元代理的系统架构示意图；

图5为本发明实施例提供的第一种测试方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在现有的针对网管设备的性能测试方案中，需要对网管设备对报文的处理能力等性能进行压力测试，以准确体现该网管设备的实际应对能力。然而，实际的测试过程中，为了提高测试的准确性，既需要真实性较高的网管环境，又要考虑网元设备的占用率不能过高，为此，本发明提出了一种较为有效的针对网管设备的性能测试方案。

在本发明实施例中，提供了一种针对网管设备的性能测试方法，其中，在网管设备中配置多个虚拟网元设备，其中，该多个虚拟网元设备是通过对少量真实存在的网元设备复制形成的，这样，网元设备通过虚拟网元设备将测试报文发送给网管设备，从而，一方面，实现了网管设备对多个网元设备的管控，达到了多组测试数据的需求；另一方面，由于存在少量真实的网元设备，因此，该网管环境能够较为真实地反映网元设备的配置结果以及配置时延。而且，在测试过程中，利用测试设备接收网管设备通过任一虚拟网元设备发送的测试报文，并发送给与虚拟网元设备相应的网元设备进行查询、设置等操作，继而，通过之前的虚拟网元设备接收网元设备返回的携带有查询、设置结果的测试报文，转发给网管设备；以及通过所有虚拟网元设备接收任一网元设备上报的携带有网元状态信息的测试报文，并转发给网管设备。从而，不仅有效的再现了真实存在的网元的通信环境，真实反映了网元的查询、设置结果以及配置状态，还可以避免模拟网元存在的配置时延的掩盖问题，真实反映配置时延过程中存在的各种问题。而且，该方案中的虚拟网元设备的数目在不增加真实存在的网元设备数目的情况下，可以根据当前网管设备的配置以及所在测试环境的变更进行调整，在一定程度上减少了设备的投入，降低了后期维护成本。

首先，以图1所示介绍本发明测试方案所涉及的系统架构，该系统架构中主要包括：网管设备11、测试设备12以及少量真实存在的网元设备13。其中，网管设备11中配置有多个虚拟网元设备。假设，图1中的网元设备13为M个，虚拟网元设备为N个，优选地，M远远小于N。每个网元设备13都连接有若干个虚拟网元设备，其中，每个网元设备13连接的虚拟网元设备的数目可以相等，也可以不等；该网管设备11可以是一个或多个网管单元组成的网管设备，用于对所实施的网管环境下的多个网元进行管控操作；测试设备12可以为独立或集成在网管设备11和/或网元设备13中的测试软件，由多个功能模块组成，主要用于协助网元设备13与网管设备11进行信息交互，以实现网管设备11对网元设备13的管控，从而，真实反映网管设备11的网管环境，为后续的网管设备11的性能测试做准备。

下面介绍本发明所涉及的虚拟网元设备的配置方案。

一般情况下，针对虚拟网元设备的配置方案可以包括：虚拟网元设备的初始化和虚拟网元设备的配置；

虚拟网元设备的初始化：

在上述测试系统中，测试设备初始化当前存储的配置文件，然后读取配置文件，并根据配置文件中的配置信息在网管设备中模拟N个虚拟网元设备；其中，配置文件中包含网元设备信息、虚拟网元设备信息以及网元设备与虚拟网元设备之间的映射关系。具体地，网元设备信息为用户根据实际测试环境以及测试需求设置的，至少包括：当前可用的、需要进行测试的网元设备的数目、IP地址、IP掩码、网元设备类型等；虚拟网元设备信息为用户根据网管性能测试需求设置的，至少包括：满足当前测试需求的虚拟网元设备的数目。其中的映射关系为：一个网元设备对应多个虚拟网元设备。具体实现时，映射关系的具体对应关系可以根据用户需求进行灵活调整。

优选地，测试设备在根据配置文件中的配置信息在网管设备中模拟N个虚拟网元设备时，具体用于：根据配置文件中的虚拟网元设备数目N，在所述网管设备中模拟N个虚拟网元设备；根据配置文件中的网元设备数目M以及网元设备与虚拟网元设备之间的映射关系，建立所述M个网元设备与所述N个虚拟网元设备之间的映射关系。

另外，上述涉及的配置信息可以为不可修改的配置信息，每次都通过该配置信息进行初始化进行测试准备，也可以是可修改的配置信息，或是历史配置信息；若配置允许，还可以在后续的测试过程中或初始化的过程中对该配置文件中的配置信息进行修改，以符合该测试环境需求。以图2所示，在网元设备侧而言，该测试系统中的网元设备仅为M个，而对于网管设备侧而言，该测试系统中被网管设备管控的网元设备实际可以理解为N个虚拟网元设备。具体地，网元设备1对应虚拟网元设备1-A至虚拟网元设备1-X1；网元设备2对应虚拟网元设备2-A至虚拟网元设备2-X2；以此类推，网元设备M对应虚拟网元设备M-A至虚拟网元设备M-XM。一种更为优选地实现方式：网管设备中的N个虚拟网元设备是通过分别复制所述M个网元设备得到的。例如，虚拟网元设备1-A至虚拟网元设备1-X1是通过复制网元设备1模拟得到的，复制得到的虚拟网元设备的设备类型与相应的被复制的网元设备的设备类型相同，从而，可以更为有效的模拟真实存在的网元设备对报文的处理情况。

虚拟网元设备的配置：

在网管设备中配置形成多个虚拟网元设备之后，根据配置信息中的映射关系，以及网管设备所辖范围内的IP地址范围，为每个虚拟网元设备的网络环境进行配置，例如：对每个虚拟网元设备分配相应的IP地址、IP掩码等。

以上配置完成之后，虚拟网元设备可以根据用户指示开启监听操作或配置完成时刻起即刻开启监听操作。

如图3所示，为本发明实施例提供的网管设备的性能测试系统的结构示意图，该测试系统主要包括：网管设备31、网元设备32、测试设备33；其中，网元设备32，用于根据配置文件中的发送策略，将测试报文通过测试设备33发送给与自身具有映射关系的至少一个虚拟网元设备311；测试设备33，用于接收任一网元设备32发送的测试报文，并根据网元设备32与虚拟网元设备311之间的映射关系，确定与网元设备32对应的至少一个虚拟网元设备311，以及，用于将测试报文发送给确定的虚拟网元设备311，根据网管设备31的处理情况对网管设备31进行性能测试；网管设备31，用于通过所述至少一个虚拟网元设备接收测试设备33发送的测试报文，并进行处理。

优选地，在具体实现测试时，如图4所示，可以在测试设备33上配置与各个网元设备32对应连接的网元代理331；同时，在测试设备33上配置与各个虚拟网元设备311对应连接的虚拟网元代理332。其中，网元代理331和虚拟网元代理332在配置形成后，即开启监测功能，用于监测设备端口的网络通信状况。具体地，网元代理331用于监听网元设备32的网络端口，以获取网元设备32向网管设备31发送的报文信息；虚拟网元代理332用于监听虚拟网元设备311的网络端口。

与上述测试系统的方案属于同一发明构思，本发明实施例提供了一种测试方法，该方法主要包括：

接收任一网元设备发送的测试报文；根据网元设备与虚拟网元设备之间的映射关系，确定与发送测试报文的网元设备对应的至少一个虚拟网元设备，其中，所述网元设备与虚拟网元设备之间的映射关系为：一个网元设备对应多个虚拟网元设备；将所述测试报文发送给确定的虚拟网元设备，以使得所述网管设备通过虚拟网元设备接收所述测试报文并进行处理；根据所述网管设备的处理情况对所述网管设备进行性能测试。

优选地，所述N个虚拟网元设备通过以下方式配置：初始化当前配置文件；根据配置文件中的配置信息，在所述网管设备中模拟N个虚拟网元设备；其中，所述配置信息至少包括：网元设备数目M、虚拟网元设备数目N以及网元设备与虚拟网元设备之间的映射关系。

优选地，根据配置文件中的配置信息，在所述网管设备中模拟N个虚拟网元设备，具体包括：根据配置文件中的虚拟网元设备数目M，在所述网管设备中模拟N个虚拟网元设备；根据配置文件中的网元设备数目N以及网元设备与虚拟网元设备之间的映射关系，建立所述N个网元设备与所述M个虚拟网元设备之间的映射关系。

优选地，所述测试报文为针对所述网管设备的查询和/或设置报文的应答报文，则在接收任一网元设备发送的测试报文之前，所述方法还包括：接收所述网管设备通过任一虚拟网元设备发送的查询和/或设置报文；根据网元设备与虚拟网元设备之间的映射关系，确定与所述虚拟网元设备对应的网元设备；将所述查询和/或设置报文发送给确定的网元设备，以指示所述网元设备进行相应查询和/或设置操作。

优选地，所述方法还包括：测试设备监测并记录所述虚拟网元设备与所述网元设备之间的报文传输信息。

下面通过具体的测试方案对本发明所涉及的测试系统进行详细说明。

如图5所示，为本发明实施例提供的第一种测试方法的流程示意图，该测试方法主要包括以下步骤：

步骤51：虚拟网元代理监听网管设备通过任意虚拟网元设备端口发送的网管请求报文。

其中，该网管请求报文可以为网管设备用于对相应网元设备进行查询、设置的配置报文，也可以为用于指示相应网元设备在预设时刻向网管设备上报状态信息的报文，其中，报文信息可以为告警信息、网元类型信息、告警原因号、原因描述信息、设备类型信息，以及告警级别等。

步骤52：测试设备确定监听到网管请求报文的虚拟网元代理1-A，并将该虚拟网元代理1-A的标识标记所述网管请求报文。

具体地，如图4所示，当有N个虚拟网元设备开启监听功能时，假设此时网管设备仅通过虚拟网元设备1-A发送网管请求报文，则相应地，虚拟网元代理1-A监听到该网管请求报文后，将该网管请求报文标记为：Req-1-A。

步骤53：测试设备根据对该网管请求报文的标记对该网管请求报文进行索引记录。

需要说明的是，该步骤53是可选步骤，主要根据虚拟网元代理和网元代理的配置，以及定义的协议进行选择。具体地：

若各个虚拟网元代理以及网元代理被分配有虚拟IP地址，则可以通过在报文中添加源、目的地址的方式将网管请求报文以及后续的返回的用于测试的应答报文发送至正确的网元设备或虚拟网元设备。那么，该步骤53可以省略。

若各个虚拟网元代理以及网元代理仅是分配有虚拟IP地址，但是，其协议定义只能通过识别索引标记的方式传输报文，那么，该步骤53需要保留。

步骤54：测试设备根据网元设备与虚拟网元设备之间的映射关系，确定接收该网管请求报文的网元设备1。

在本发明实施例中，网元设备与虚拟网元设备之间的映射关系可以为一表格形式存储在测试设备中，或者以其他可查询的方式存储在测试设备中。

步骤55：虚拟网元代理1-A将网管请求报文发送给网元设备1对应的网元代理1，并由网元代理1转发给网元设备1。

优选地，还可以根据配置需求，对该网管请求报文所经过的设备以及端口进行记录，以便于后期定位，从而辅助测试网管设备的性能。

步骤56：网元设备1接收到该网管请求报文之后，进行与该网管请求报文的内容相符的配置操作，并向网元代理1返回应答报文。

其中，应答报文记为Res-1，即为前述的测试报文。具体地，在该步骤56中，网元设备1根据接收到的网管请求报文进行查询、设置操作，并向网管设备返回应答消息；或者是根据网管请求报文在预设时刻向网管设备上报状态信息的报文。

若所述应答报文为查询、设置结果，则执跳转至步骤57；若所述应答报文为状态信息，则跳转至步骤58。

特殊的，网元设备1接收网管请求报文之后，需要一定的处理时长，然而，若网元设备1处理的的时间过长或者是网元设备1损坏无法及时返回应答报文，则网元代理1就会向相应的虚拟网元代理1-A发送超时响应，以告知网管设备当前的处理状态。

步骤57：网元代理1接收应答报文，并根据网元设备与虚拟网元设备之间的映射关系，确定接收该应答报文的虚拟网元设备1-A。

由于该步骤中的应答报文为查询、设置结果，该应答报文即为前述的测试报文，主要用于针对网管设备下发的网管请求报文的应答报文的反馈情况进行测试。考虑到该应答报文是有针对性的，只能返回给发送该网管请求报文的虚拟网元设备，因此，该应答报文可根据上述步骤53的存在与否选择合理的确定方式以保证确定的虚拟网元设备为之前发送网管请求报文的虚拟网元设备，进而通过该虚拟网元设备的虚拟网元代理接收并转发应答报文。

优选地，在本步骤中，为了保证确定的虚拟网元设备的正确性，还可以通过之前存储的索引记录对确定的虚拟网元设备进行验证。

步骤58：网元代理1接收应答报文，并根据网元设备与虚拟网元设备之间的映射关系，确定与网元设备对应的部分或所有虚拟网元设备。

该步骤58中的应答报文为网元设备的状态信息，例如：告警信息、网元类型信息、告警原因号、原因描述信息、设备类型信息、以及告警级别等。实际的测试过程中，为了能够模拟真实网管环境，最大程度的测试网管设备的抗压能力，可将网元设备1上报的状态信息发送给网元代理1，然后，利用网元设备与虚拟网元设备之间的映射关系，确定与该网元设备1具有映射关系的部分或全部虚拟网元设备1-A至虚拟网元设备1-X1，然后通过广播或者组播的方式将应答报文分别发送给确定的虚拟网元设备对应的虚拟网元代理。从而，模拟出多个网元设备上报状态信息的网络通信状态。

步骤59：相应的虚拟网元设备接收虚拟网元代理转发的应答报文，并转交给网管设备。

其实，在实际的测试过程中，若虚拟网元代理在预设周期内接收不到针对网管请求报文返回的应答报文，即测试报文，就会上报超时响应，以告知网管设备该超时操作。一般情况下，若在发送网管请求报文之后的10S之内接收不到应答报文，即可认为存在超时操作。

此外，本发明实施例还提供了第二种测试方法，与上述第一种测试方法类似，只是其中上报的状态信息是根据网元设备的配置信息自动发送的，并不需要网管设备的网管请求报文的触发。具体地测试过程类似步骤58和步骤59，在此不做赘述。

然而，针对第二种测试方法，一种具体的实现方式是：通过在测试设备中设置一循环程序以实现对上报测试报文的网元设备所对应的所有虚拟网元设备分别上报该测试报文的目的；或者，将利用第一种方案中的广播或组播的方式发送给该网元设备所对应的部分或所有虚拟网元设备。本发明并不对上报方案进行具体限定，也可以包括其他的上报方式。

通过上述技术方案，利用少量真实存在的网元设备，以及配置信息，在网管设备中模拟多个与网元设备存在映射关系的虚拟网元设备，从而，网元设备发送的测试报文通过网管设备中的至少一个相应的虚拟网元设备接收，并转发给网管设备，从而，保证网管设备接收到的测试报文(即应答报文)中的数据为真实存在的网元设备返回的数据，提升了接收到的配置成功、失败、具体失败原因等一些列报文信息的真实性、可靠性。而且，由于测试报文是真实存在的网元设备返回的应答报文，因此，能够真实反映配置操作过程中的处理时延、网络时延等，进而，时延的存在而衍生出的一些列问题也可以真实暴露出来，以便及时得到应对解决。最为关键的是，考虑到网管设备的性能测试主要是针对网管设备的抗压能力测试，因此，在具体的网元设备上报状态信息的流程中，通过少量的真实存在的网元设备中的任意一个或多个网元设备，向与网元设备具有映射关系的部分或所有虚拟网元设备发送测试报文，假设该状态信息为告警信息，那么，少量的告警信息就可以通过组播或广播的方式，或者复制的方式，成倍增长为大量的告警信息，并通过测试设备分别发送给相应的虚拟网元设备，进而，网管设备接收到的告警信息的数量就会很大，相比现有技术中的纯模拟网元上报或录制回放的方式而言，更为便捷有效的对网管设备处理告警信息的性能进行测试。另外，虽然本发明利用了真实存在的网元设备，但是该网元设备的数目是少量的，该测试系统可以接受，也可以根据实际的测试环境，利用有限的网元设备进行测试，因此，不会影响到整个系统的维护成本，当网管设备与网元设备的接口发生变化时，只需要更新网元设备即可，测试设备仅更新配置信息即可为新的测试系统服务，因而，该测试系统的网元设备投入较少，后期维护成本较低，实用性较高。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种网管设备的性能测试系统，其特征在于，包括：网管设备、M个网元设备、测试设备；其中，所述网管设备被配置有N个虚拟网元设备，M与N均为正整数，且N大于M，所述网元设备与虚拟网元设备之间的映射关系为：一个网元设备对应多个虚拟网元设备；

所述网元设备，用于发送测试报文；

所述测试设备，用于接收任一网元设备发送的测试报文，并根据网元设备与虚拟网元设备之间的映射关系，确定与所述网元设备对应的至少一个虚拟网元设备，以及，用于将所述测试报文发送给确定的虚拟网元设备，根据所述网管设备对所述测试报文的处理情况对所述网管设备进行性能测试；

所述网管设备，用于通过所述至少一个虚拟网元设备接收所述测试设备发送的测试报文，并进行处理。

2.如权利要求1所述的系统，其特征在于，所述N个虚拟网元设备通过以下方式配置：

所述测试设备初始化当前配置文件；

所述测试设备根据配置文件中的配置信息，在所述网管设备中模拟N个虚拟网元设备；

其中，所述配置信息至少包括：网元设备数目M、虚拟网元设备数目N以及网元设备与虚拟网元设备之间的映射关系。

3.如权利要求2所述的系统，其特征在于，所述测试设备在根据配置文件中的配置信息在所述网管设备中模拟N个虚拟网元设备时，具体用于：

根据配置文件中的虚拟网元设备数目N，在所述网管设备中模拟N个虚拟网元设备；

根据配置文件中的网元设备数目M以及网元设备与虚拟网元设备之间的映射关系，建立所述M个网元设备与所述N个虚拟网元设备之间的映射关系。

4.如权利要求3所述的系统，其特征在于，所述网管设备中的N个虚拟网元设备是通过分别复制所述M个网元设备得到的。

5.如权利要求1-4任一所述的系统，其特征在于，所述测试报文为针对所述网管设备的查询和/或设置报文的应答报文，则所述测试设备在接收任一网元设备发送的测试报文之前，还用于：

接收所述网管设备通过任一虚拟网元设备发送的查询和/或设置报文；

根据网元设备与虚拟网元设备之间的映射关系，确定与所述虚拟网元设备对应的网元设备；

将所述查询和/或设置报文发送给确定的网元设备，以使得所述网元设备进行相应查询和/或设置操作。

6.如权利要求5所述的系统，其特征在于，所述测试设备，还用于监测并记录所述虚拟网元设备与所述网元设备之间的报文传输信息。

7.一种网管设备的性能测试方法，其特征在于，应用于至少包含被配置有N个虚拟网元设备的网管设备、测试设备以及M个网元设备的测试系统中，M与N均为正整数，且N大于M，所述方法包括：

测试设备接收任一网元设备发送的测试报文；

根据网元设备与虚拟网元设备之间的映射关系，确定与所述网元设备对应的至少一个虚拟网元设备，其中，所述网元设备与虚拟网元设备之间的映射关系为：一个网元设备对应多个虚拟网元设备；

将所述测试报文发送给确定的虚拟网元设备，以使得所述网管设备通过虚拟网元设备接收所述测试报文并进行处理；

根据所述网管设备的处理情况对所述网管设备进行性能测试。

8.如权利要求7所述的方法，其特征在于，所述N个虚拟网元设备通过以下方式配置：

初始化当前配置文件；

根据配置文件中的配置信息，在所述网管设备中模拟N个虚拟网元设备；

其中，所述配置信息至少包括：网元设备数目M、虚拟网元设备数目N以及网元设备与虚拟网元设备之间的映射关系。

9.如权利要求8所述的方法，其特征在于，根据配置文件中的配置信息，在所述网管设备中模拟N个虚拟网元设备，具体包括：

根据配置文件中的虚拟网元设备数目N，在所述网管设备中模拟N个虚拟网元设备；

根据配置文件中的网元设备数目M以及网元设备与虚拟网元设备之间的映射关系，建立所述M个网元设备与所述N个虚拟网元设备之间的映射关系。

10.如权利要求9所述的方法，其特征在于，所述网管设备中的N个虚拟网元设备是通过分别复制所述M个网元设备得到的。

11.如权利要求7-10任一所述的方法，其特征在于，所述测试报文为针对所述网管设备的查询和/或设置报文的应答报文，则在接收任一网元设备发送的测试报文之前，所述方法还包括：

测试设备接收所述网管设备通过任一虚拟网元设备发送的查询和/或设置报文；

根据网元设备与虚拟网元设备之间的映射关系，确定与所述虚拟网元设备对应的网元设备；

将所述查询和/或设置报文发送给确定的网元设备，以使得所述网元设备进行相应查询和/或设置操作。

12.如权利要求11所述的方法，其特征在于，所述方法还包括：

测试设备监测并记录所述虚拟网元设备与所述网元设备之间的报文传输信息。