[go: up one dir, main page]

CN1142491C - 测试服务器性能的框架系统及方法 - Google Patents

测试服务器性能的框架系统及方法 Download PDF

Info

Publication number
CN1142491C
CN1142491C CNB001009494A CN00100949A CN1142491C CN 1142491 C CN1142491 C CN 1142491C CN B001009494 A CNB001009494 A CN B001009494A CN 00100949 A CN00100949 A CN 00100949A CN 1142491 C CN1142491 C CN 1142491C
Authority
CN
China
Prior art keywords
workload type
operating load
proxy machine
test
frame system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB001009494A
Other languages
English (en)
Other versions
CN1304247A (zh
Inventor
扈晓炜
冯南
陈晓艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to CNB001009494A priority Critical patent/CN1142491C/zh
Priority to JP2001002892A priority patent/JP2001195284A/ja
Priority to US09/759,837 priority patent/US6910061B2/en
Publication of CN1304247A publication Critical patent/CN1304247A/zh
Application granted granted Critical
Publication of CN1142491C publication Critical patent/CN1142491C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3414—Workload generation, e.g. scripts, playback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/875—Monitoring of systems including the internet

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

本发明公开一种对具有混合工作负载的服务器性能进行测试的框架系统及其实现方法。该系统具有工作负载类型配置模块接口，包括使框架系统调用第三方工作负载类型配置模块为不同的测试目的定义工作负载类型的功能；工作负载接口，包括进行工作负载建立，控制及监视的功能。第三方可以通过本发明框架系统的工作负载类型配置接口和工作负载接口将自己的工作负载灵活地加入框架系统进行测试。

Description

测试服务器性能的框架系统及方法
技术领域
本发明涉及一种用于测试服务器性能的框架系统及应用该框架系统进行服务器性能测试的方法，尤其涉及一种对具有混合工作负载的服务器性能进行测试的框架系统及方法。
背景技术
随着服务器能力的日益强大，可以将不同类型的多个工作负载放在一台服务器上运行。然而，由于计算机资源，例如CPU、存储器容量等的限制，这些不同类型的工作负载可能会相互影响，对于一个企业来讲，为了达到商业目的，重要的是要使服务器具有平衡工作负载的能力，而在实现这一目的之前需要评价和测试服务器的能力。
现有技术中一种典型的基准测试系统如图1所示，该测试系统包括一组用于产生工作负载请求的生成器，一个协调测试工具的测试工作的管理器及作为测试对象的服务器，在这种测试环境下，仅能测试单一的工作负载，或者仅能测试一个具体的应用系统的一个具体的工作负载，而不能测试混合工作负载。
美国专利US5,790,425公开了一种在客户机服务器环境下对服务器进行测试的方法，该方法可以在具有不同协议的客户系统中实现，并且可以测试服务器对多种工作负载请求的响应。但是该对比文件未教导如何将第三方的测试要求加入其测试方法中，以根据第三方的测试目的进行测试。
发明内容
发明目的在于提供一种对具有混合工作负载的服务器性能进行测试的框架系统及方法，通过采用本发明的框架进行测试，可以将第三方的测试要求灵活地加进来，并根据第三方的测试要求测试服务器的能力。
为实现上述目的，本发明提供一种测试具有混合工作负载的服务器的性能的方法，其中代理机及控制设备通过网络与被测试的服务器相连，包括如下步骤，在所述控制设备加载与一种或多种工作负载类型对应的一个或多个工作负载类型配置模块，这些模块均实现为工作负载类型配置模块接口所定义的功能；在所述代理机加载与该一种或多种工作负载类型对应的一个或多个工作负载引擎，这些引擎均实现为工作负载接口所定义的功能；所述控制设备使用所述工作负载类型配置模块进行工作负载配置，在配置过程中收集配置信息；所述代理机通过其代理适配器从控制设备接收命令，控制所述工作负载引擎，使所述工作负载引擎根据配置过程中收集的信息生成工作负载请求，并将生成的工作负载请求发送到服务器；所述控制设备从各代理机收集服务器对工作负载请求向代理机返送的响应信息，并生成测试结果。
本发明还提供一种测试具有混合工作负载的服务器的性能的测试框架系统，其中代理机及控制设备机通过网络与被测试的服务器相连，其特征在于：在控制设备一侧具有控制器，用于协调参加测试的各部件；工作负载类型配置模块接口部件，用于使一个或多个工作负载类型配置模块加入到该框架系统中；所述工作负载类型配置模块用于描述具体的测试需求，在代理机一侧具有代理适配器，用于从控制设备接收命令和配置信息，并把服务器的响应信息返回给控制器；工作负载接口部件，用于使一个或多个工作负载引擎能够加入到该框架系统中；所述工作负载引擎，用于接收来自于代理适配器的命令和配置信息，生成工作负载请求，将该请求向服务器发送，并从服务器接收响应信息。
本发明的框架系统可以灵活地将第三方新的工作负载加入测试框架之中，而不管这种工作负载是一种标准的基准测试工作负载或是专门的应用工作负载，从而可以对具有混合工作负载的服务器性能进行测试。
通过以下结合附图对本发明所进行的详细描述，本发明的优点将更加清楚。
附图说明
图1是现有技术中的测试系统。
图2是根据本发明的测试框架系统的概略方框图。
图3是采用本发明的测试框架系统进行服务器性能测试的方法流程图。
图4是本发明的一个实施例的测试框架系统的方框图。
具体实施方式
本发明用于测试服务器的框架系统如图2所示。
其中控制设备100是用于协调框架系统中其它部件操作的设备。控制器101用于帮助第三方将自己的测试需求加进框架系统，并负责与后述的代理机进行通信。工作负载类型配置模块接口102定义了一组控制器101可以调用的功能，这些功能由要使用本发明的框架系统进行测试的第三方来实现，这样第三方就可以将自己的测试工作负载类型灵活地加入框架系统。在本发明的一个实施例中，该接口是用Java语言实现的。对于本领域的技术人员来讲，也可以用其它任何高级语言实现该接口功能。工作负载类型配置模块103是第三方自己编制的，用于配置具体的测试需求，并且该工作负载类型配置模块103通过实现工作负载配置模块接口102中所定义的所有功能，来实现与控制器101之间的通信。工作负载类型库104用于存储第三方所定义的所有工作负载类型，及工作负载类型配置模块103在进行工作负载配置时所收集的信息。工作负载类型配置模块103可以对该工作负载类型库104中可用的工作负载类型下的工作负载进行配置，并将配置工作负载类型时所收集的信息发送给控制器101。
代理机200，代理机300...代理机400由分布于网络中的客户机实现，用于模拟测试过程中向待测服务器500发出工作负载请求的用户。代理适配器201，301...401分布在各代理机上，用于从控制器接收命令并控制后述的工作负载引擎203，303...403生成测试服务器的工作负载请求。工作负载接口202、302...402定义了一组代理适配器201，301...401可以调用的功能，这些功能由要使用本发明的框架系统进行测试的第三方来实施，这些功能定义了如何设置、控制后述的工作负载引擎并报告测试结果等功能。在本发明的一个实施例中，该接口是用Java语言来实现的。但是对于本领域的技术人员来讲，当然也可以用其它任何与平台无关的高级语言来实现该接口功能。工作负载引擎203，303...403是第三方自己编制的，它能够根据第三方所要测试的工作负载类型及与该工作负载类型下的工作负载具体配置生成工作负载请求。并且该工作负载引擎203，303...403同样也应实现工作负载接口202，302...402中所定义的所有功能，从而使工作负载引擎203，303...403与代理适配器201，301...401进行通信。
以上描述了根据本发明所实现的测试框架系统，下面将根据图3描述使用根据本发明的框架系统测试服务器对混合工作负载请求响应的能力的服务器的方法。
首先在步骤S1，测试者(第三方)要在控制设备100和代理机200，300...400及服务器上设置适当的软件，这些软件应当实现如下功能：即控制器101，代理适配器201、301...401的功能。另外，测试者也应将欲参加测试的工作负载的类型信息及在产生工作负载请求时可能要用到的相关信息分别存储到相应的控制设备的工作负载类型库104，代理机的存储器(未示出)及服务器500上。
在步骤S2，测试者要根据自己的测试需求编制与参加测试的各工作负载类型相对应的工作负载类型配置模块103，这些工作负载类型配置模块103应当实现工作负载类型配置模块接口102中定义的功能以与控制器101进行通信。
在步骤S3，测试者编制与参加测试的各工作负载类型相对应的工作负载引擎203，303...403，该工作负载引擎通过使用工作负载类型及该类型下工作负载配置信息生成请求。同样，这些工作负载引擎203，303...403应当实现工作负载接口202，302...402中定义的功能以与代理适配器201、301...401进行通信。另外，在图2中为了说明的方便将工作负载接口用202，302，402标记，但实际上它们定义了相同的一组功能。
在步骤S4，控制器101通过工作负载类型配置模块接口102使用一个相应的工作负载类型配置模块103对工作负载进行配置，并收集配置过程中收集的信息。测试者可根据自己的需求重复执行步骤S4对多种工作负载类型进行配置。
在步骤S5，控制器101将配置过程中收集的信息分别发送到相应的代理机适配器201，301...401上。
在步骤S6，各代理机适配器201，301...401分别通过工作负载接口202，302...402控制各工作负载引擎203，303...403生成工作负载请求，并将请求发送到服务器500。
在步骤S7，控制器101从代理机201，301...401动态地采集服务器500的响应信息并生成测试结果。
另外，虽然在上面是以一个代理机上有一个工作负载引擎来描述的，但是对于本领域技术人员来说，当然也可以在一个代理机上设置多个工作负载引擎。
从以上的描述可知，本发明的框架系统实现了灵活地测试具有混合工作负载下的服务器的功能。而这种灵活性主要体现在：本框架系统使用工作负载类型配置模块接口和工作负载接口，从而使得第三方可以随时将自己的工作负载加入测试任务中。
下面将根据一个具体的实施例来描述第三方如何采用本发明的测试框架系统进行测试。
现在假设要测试一个电子商务网站对混合工作负载请求的响应能力。
一般来讲，一个电子商务站点(服务器)可能要承载许多工作负载，有些工作负载是由偶然的浏览所产生的，而另一些工作负载则是由进行商业交易的用户产生的，并且在实际情况中，前者出现的机会多于后者，即仅仅到电子商务站点上进行浏览的用户更多一些。如果站点对这种情况没有适当的控制，则偶然的浏览可能会降低进行商业交易这种工作负载的性能。因此电子商务站点的测试者(第三方)要模拟实际的环境测试服务器和应用以了解在不同的因特网接入方式下服务器是如何响应的，从而有目的地在以后进行控制。
在应用本发明的框架系统进行测试时，首先，测试者在测试前要作如下工作：
1.搭建起进行测试所需的硬件环境。如图4所示，这里假设测试者提供了一台可以运行混合工作负载的服务器6000，五台PC机即PC1-PC5，其中一台PC机即PC5作为控制设备1000而另外四台PC机即PC1-PC4作为代理机，它们之间通过网络连接。
2.在控制设备1000(PC5)上加载实现控制器1001功能的软件，在代理机2000-5000(PC1-PC4)上加载实现代理适配器2001-5001功能的软件。
3.测试者确定测试目的，在本实施例中，假设要测试同时运行了两种不同类型的工作负载的服务器，一种工作负载类型是HTTP，另一种工作负载类型是websurf。并且假设PC1和PC2用于模拟产生HTTP类型的工作负载请求，PC2，PC3和PC4用于模拟产生websurf类型的工作负载请求。
4.测试者要将工作负载类型为HTTP下的工作负载的相关信息(例如要产生这种类型下的工作负载所需的变量，及变量的实例值)存放于控制设备1000的工作负载类型库1005中。
5.按照与上述4相同的方法将工作负载类型为websurf下的工作负载的相关信息也存放于控制设备1000的工作负载类型库1005中。
6.测试者开发与工作负载类型HTTP所对应的HTTP工作负载类型配置模块1003，该模块能够实现本发明的测试框架系统的工作负载类型配置模块接口1002，从而控制器1001可以通过该工作负载类型配置接口1002调用该HTTP工作负载类型配置模块1003进行工作负载配置。测试者可以根据HTTP类型及相关信息开发生成相应的工作负载请求的HTTP工作负载引擎2003、3003(这两个工作引擎是相同的)，该工作负载引擎2003、3003能够实现本发明测试框架系统中的工作负载接口2002、3002，从而控制器1001可以通过代理适配器2001、3001控制HTTP工作负载引擎2003、3003生成HTTP工作负载请求。测试者然后将HTTP工作负载类型配置模块1003加载到控制设备1000上，将HTTP工作负载引擎2003、3003加载到PC1和PC2上。这样测试者通过实现工作负载类型配置模块接口1002及工作负载接口2002、3002就实现了将自己的HTTP工作负载加入本发明的测试框架系统中。
7.按照与6相同的操作，测试者开发与工作负载类型websurf所对应的websurf工作负载类型配置模块1004，该模块能够实现本发明的测试框架系统的工作负载类型配置模块接口1002，从而控制器1001可以通过该工作负载类型配置接口1002调用该websurf工作负载类型配置模块1004进行工作负载配置。测试者可以根据websurf类型及相关信息开发生成相应的工作负载请求的websurf工作负载引擎3004、4003、5003(这三个工作引擎是相同的)，该工作负载引擎3004、4003、5003能够实现本发明测试框架系统中的工作负载接口3002、4002和5002，从而控制器1001可以通过代理适配器3001、4001和5001控制websurf工作负载引擎3004、4003、5003生成websurf工作负载请求。测试者然后将websurf工作负载类型配置模块1004加载到控制设备1000上，将websurf工作负载引擎3004、4003、5003加载到PC2、PC3和PC4上。这样测试者通过实现工作负载类型配置模块接口1002及工作负载接口3002、4002HE  5002将与websurf工作负载类型相对应的websurf工作负载类型配置模块1004和websurf工作负载引擎3004、4003、5003加入本发明的测试框架系统中。
另外，为了更清楚地理解本发明的两个接口，现给出利用Java语言对本发明的框架系统的接口进行的示例定义。
工作负载类型配置接口的定义：
public interface iConfig{
//*控制器将一个工作负载类型配置文件名传送给工作负载类型配置模块*//
public void setConfigFileName(String strConfigFileName)；
//*配置工作负载类型*//
public Boolean show(frame parent)throws Exception；
//*收集配置信息*//
public string[]getAllFilesNeedToBeSend()；
}
工作负载引擎接口的定义：
public interface iWorkload{
//*可以根据参数“configFileName”所表示的配置文件增加准备测试的一些初始化代码*//
public void initWorkload(String configFileName)throws Exception；
//*开始测试*//
public void start()throws Exception；
//*结束测试*//
public void stop()throws Exception；
//*设置代理机上所模拟的用户数，及产生工作负载请求的间隔.*//
public void setproperty(int nClientNumber，int nTime)throws Exception；
//*改变所模拟的用户数*//
public void changeClientNumber(int newClientNumber)throws Exception；
//*动态地报告对服务器的响应的统计信息，这些信息可以包括但不限于如下信息即，测试时间内总的吞吐量、总响应时间、总的连接量，一种错误类型下总的错误数，从测试开始时刻到当前时间的测试期间等*//
public CReturnValue getStandardValue()throws Exception；
//*结束测试*//
public boolean testFinish()throws Exception；
}
对于本领域的技术人员来讲，本发明的测试框架系统对于接口的定义是不限于上述例子限定的，接口中可以加入新的功能。
至此，根据本发明测试具有混合工作负载的框架系统已经构建完毕，下面就可以使用该框架系统进行测试。
本实施例中搭建好的框架系统如图4所示。关于图4中各块之间的关系及各块所完成的功能将在下面描述。
首先，测试者启动控制器1001以增加新的待测的工作负载类型，控制器1001从一个可用的工作负载列表(未示出)中选择一种工作负载类型例如HTTP，其中该工作负载列表可以由控制器1001根据工作负载类型库1004中所存储的可用的工作负载类型生成，也可以由测试者制作，关于该列表的实现，属于本领域技术人员所公知的内容，因此在此省略其说明。
然后控制器1001通过工作负载类型配置模块接口1002调用与HTTP工作负载类型对应的HTTP工作负载类型配置模块1003，该HTTP工作负载类型配置模块1003对工作负载类型HTTP下的工作负载进行配置，例如收集工作负载引擎2003、3003生成工作负载请求时所需的相关信息，并将其传输给控制器1001。另外工作负载类型配置模块1003在配置过程中所收集的相关信息也可以存放在一个HTTP工作负载类型文件中，并将该文件存放到工作负载类型库1005内，以备控制器1001调用。另外，该配置好的工作负载类型HTTP也被添加到一个工作负载类型列表中(未示出)，该工作负载类型列表用于存放测试框架中可用的工作负载类型。
在配置完HTTP工作负载类型的工作负载后，控制器1001按照与配置HTTP类型时相似的过程，来配置websurf工作负载类型下的工作负载，并把配置信息传送给控制器，或/并且把配置信息存入到一个websurf工作负载类型文件中，以备控制器1001调用。另外，该工作负载类型websurf也被添加到上述工作负载类型列表中。
接着，控制器1001分别为添加到框架中的各工作负载类型指定生成该类型下工作负载请求的代理机。在本实施例中，即是为HTTP类型下的工作负载配置代理机PC1及PC2的网络地址，为websurf类型下的工作负载配置代理机PC2，PC3及PC4的网络地址，并/或将配置的网络地址添加到一个机器列表(未示出)中，该机器列表用于存放可以生成某种类型下的工作负载请求的代理机网络地址；同时，控制器1001还能为各代理机指定所模拟的用户数目，这样一台代理机可以模拟多个用户发出多个同一类型的工作负载请求。
接着，控制器1001通过向PC1、PC2、PC3及PC4发出测试开始指令，将HTTP工作负载类型下的工作负载配置信息及PC1 2000所模拟的用户数目通过网络发送到PC1的代理适配器2001；将HTTP工作负载类型下的工作负载配置信息及PC2所模拟的用户数目通过网络发送到PC2的代理适配器3001；将websurf工作负载类型下的工作负载配置信息及PC2所模拟的用户数目通过网络发送到PC2的代理适配器3001；将websurf工作负载类型下的工作负载配置信息及PC3所模拟的用户数目通过网络发送到PC3的代理适配器4001；将websurf工作负载类型下的工作负载配置信息及PC4所模拟的用户数目通过网络发送到PC4的代理适配器5001。
随后，PC1上的代理适配器2001将所接收到的工作负载配置信息及PC1所模拟的用户数目通过HTTP工作负载接口2002发送给HTTP工作负载引擎2003，该引擎于是产生HTTP工作负载请求，并将请求发送到服务器6000，并且从服务器接收响应信息进行统计，代理适配器2001然后将HTTP工作负载引擎2003所统计的测试信息发送回控制器1001。按照同样的操作，最终控制器1001收集到HTTP工作负载引擎3003，websurf工作负载引擎3004，websurf工作负载引擎4003及websurf工作负载引擎5003所统计的测试信息。
最后，控制器1001根据所有的测试信息生成测试结果，并将结果输出，在本实施例中，测试结果是实时地输出的。
另外，控制器1001还可以通过向各代理机发送停止命令来结束测试。
在控制器1001将配置信息发送到各代理机之前，还可以把定义好的测试环境信息包括可用的工作负载类型，可用的机器列表等存储到一个文件中，当需要再次在该测试环境中进行测试时，直接从该文件中读取环境信息即可，而不需重新定义。
此外，在控制设备中还可以具有一个工作负载引擎库，用于存储第三方所定义的工作负载引擎，以备控制器使用。
本发明已经根据具体的实施例和附图进行了详细描述，但这些描述并非用于限制本发明。在不偏离本发明的精神和范围内，可以对其进行修改和改进。

Claims (21)

1.一种测试具有混合工作负载的服务器的性能的方法，其中代理机及控制设备通过网络与被测试的服务器相连，其特征在于：包括如下步骤，
在所述控制设备加载与一种或多种工作负载类型对应的一个或多个工作负载类型配置模块，这些模块实现为工作负载类型配置模块接口所定义的功能；
在所述代理机加载与该一种或多种工作负载类型对应的一个或多个工作负载引擎，这些引擎实现为工作负载接口所定义的功能；
所述控制设备使用所述工作负载类型配置模块进行工作负载配置，在配置过程中收集配置信息；
所述代理机通过其代理适配器从控制设备接收命令，控制所述工作负载引擎，使所述工作负载引擎根据配置过程中收集的信息生成工作负载请求，并将生成的工作负载请求发送到服务器；
所述控制设备从各代理机收集服务器对工作负载请求向代理机返送的响应信息，并生成测试结果。
2.根据权利要求1所述的测试方法，其特征在于：在所述控制设备使用一个工作负载类型配置模块接口，来调用工作负载类型配置模块为不同的测试目的定义工作负载类型。
3.根据权利要求1所述的测试方法，其特征在于：在所述代理机使用工作负载接口进行工作负载建立，控制及监视的功能。
4.根据权利要求1-3任一项所述的测试方法，其特征在于：所述配置过程中收集的信息至少包括工作负载类型及配置信息，和代理机所模拟的客户数。
5.根据权利要求1所述的测试方法，其特征在于：由位于所述控制设备上的一个控制器来实现该控制设备所进行的配置过程，并与所述代理机之间进行信息传送。
6.根据权利要求5所述的测试方法，其特征在于：所述控制器进行的配置的过程包括如下步骤，
从一个可用的工作负载列表中选择一种工作负载类型；
根据所选择的工作负载类型激活对应的工作负载类型配置模块；
所述一个或多个工作负载类型配置模块对各工作负载类型进行配置，并将配置信息传输给控制器；
所述控制器分别指定将要生成所述工作负载类型下的工作负载请求的一个或多个代理机的地址和每个代理机所模拟的客户数。
7.根据权利要求6所述的测试方法，其特征在于：所述工作负载类型配置模块为所选择的工作负载类型收集产生工作负载请求时所需的相关信息。
8.根据权利要求7所述的测试方法，其特征在于：所述配置过程中收集的信息至少包括工作负载类型及配置信息，和代理机所模拟的客户数。
9.根据权利要求5所述的测试方法，其特征在于：代理机适配器通过所述工作负载接口将接收的信息传输给工作负载引擎；工作负载引擎将接收的服务器动态响应信息发送回代理机适配器。
10.根据权利要求9所述的测试方法，其特征在于：进一步包括如下步骤，所述控制器通过向代理机发送命令控制测试工作的开始和结束。
11.一种测试具有混合工作负载的服务器的性能的测试框架系统，其中代理机及控制设备通过网络与被测试的服务器相连，其特征在于：在控制设备一侧具有
控制器，用于协调参加测试的各部件；
工作负载类型配置模块接口部件，用于使一个或多个工作负载类型配置模块加入到该框架系统中；
所述工作负载类型配置模块用于描述具体的测试需求，
在代理机一侧具有
代理适配器，用于从控制设备接收命令和配置信息，并把服务器的响应信息返回给控制器；
工作负载接口部件，用于使一个或多个工作负载引擎能够加入到该框架系统中；
所述工作负载引擎，用于接收来自于代理适配器的命令和配置信息，生成工作负载请求，将该请求向服务器发送，并从服务器接收响应信息。
12.根据权利要求11所述的测试框架系统，其特征在于：所述工作负载类型配置模块接口部件包括使框架系统调用工作负载类型配置模块为不同的测试目的定义工作负载类型的功能。
13.根据权利要求11所述的测试框架系统，其特征在于：所述工作负载接口部件包括进行工作负载建立，控制及监视的功能。
14.根据权利要求11-13任一项所述的测试框架系统，其特征在于：所述控制器通过所述工作负载类型配置模块接口部件使用一个或多个工作负载类型配置模块进行工作负载类型配置，指定将要生成所述工作负载类型下的工作负载请求的一个或多个代理机的地址和每个代理机所模拟的客户数，将在配置过程中所收集的信息通过控制器传输给对应于相应的一个或多个代理机地址的代理机适配器。
15.根据权利要求11-13任一项所述的测试框架系统，其特征在于：所述工作负载类型配置模块为相应的工作负载类型收集生成相应的工作负载请求时所需的相关信息。
16.根据权利要求11-13任一项所述的测试框架系统，其特征在于：所述发送给代理机的信息至少包括工作负载类型及配置信息，和代理机所模拟的客户数。
17.根据权利要求11-13任一项所述的测试框架系统，其特征在于：所述控制器通过向代理机发送命令控制测试工作的开始和结束。
18.根据权利要求11-13任一项所述的测试框架系统，其特征在于：所述控制器动态地从各代理机接收服务器的响应信息。
19.根据权利要求11-13任一项所述的测试框架系统，其特征在于：所述控制设备还具有，
一个工作负载类型库，用于存储工作负载类型及控制器在配置过程中所收集的信息。
20.根据权利要求19所述的测试框架系统，其特征在于：所述控制设备还具有，
一个工作负载引擎库，用于存储工作负载引擎。
21.根据权利要求11-13任一项所述的测试框架系统，其特征在于：每个所述代理机上至少有一个工作负载引擎。
CNB001009494A 2000-01-11 2000-01-11 测试服务器性能的框架系统及方法 Expired - Fee Related CN1142491C (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CNB001009494A CN1142491C (zh) 2000-01-11 2000-01-11 测试服务器性能的框架系统及方法
JP2001002892A JP2001195284A (ja) 2000-01-11 2001-01-10 サーバのパフォーマンスをテストするためのフレームワーク・システムおよび方法
US09/759,837 US6910061B2 (en) 2000-01-11 2001-01-11 Framework system and method for testing server performance under multiple workloads

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB001009494A CN1142491C (zh) 2000-01-11 2000-01-11 测试服务器性能的框架系统及方法

Publications (2)

Publication Number Publication Date
CN1304247A CN1304247A (zh) 2001-07-18
CN1142491C true CN1142491C (zh) 2004-03-17

Family

ID=4575742

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB001009494A Expired - Fee Related CN1142491C (zh) 2000-01-11 2000-01-11 测试服务器性能的框架系统及方法

Country Status (3)

Country Link
US (1) US6910061B2 (zh)
JP (1) JP2001195284A (zh)
CN (1) CN1142491C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100394729C (zh) * 2004-09-17 2008-06-11 华中科技大学 存储服务器性能综合测试系统

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194535B2 (en) 2001-10-01 2007-03-20 Ixia Methods and systems for testing stateful network communications devices
CN100334557C (zh) * 2002-06-10 2007-08-29 联想(北京)有限公司 机群网络中间代理结点的选择方法
JP2004201121A (ja) * 2002-12-19 2004-07-15 Ntt Docomo Inc プロトコル試験システムおよびプロトコル試験方法
CN1302640C (zh) * 2003-05-12 2007-02-28 华为技术有限公司 一种测试aaa服务器性能的方法及其装置
US7840664B2 (en) * 2003-05-21 2010-11-23 Ixia Automated characterization of network traffic
US7627669B2 (en) * 2003-05-21 2009-12-01 Ixia Automated capturing and characterization of network traffic using feedback
US7702766B2 (en) * 2003-06-13 2010-04-20 Oracle America, Inc. Testing framework for communication in a distributed environment
CN100489802C (zh) * 2003-06-18 2009-05-20 英业达股份有限公司 实时调整压力测试参数的测试系统及方法
US7653896B2 (en) 2004-06-30 2010-01-26 Microsoft Corporation Smart UI recording and playback framework
CA2624483C (en) * 2005-09-30 2017-11-21 Telecom Italia S.P.A. A method and system for automatically testing performance of applications run in a distributed processing structure and corresponding computer program product
US7941332B2 (en) 2006-01-30 2011-05-10 International Business Machines Corporation Apparatus, system, and method for modeling, projecting, and optimizing an enterprise application system
US7616568B2 (en) * 2006-11-06 2009-11-10 Ixia Generic packet generation
US7643431B2 (en) * 2006-11-10 2010-01-05 Ixia Distributed packet group identification for network testing
US20090049024A1 (en) * 2007-08-14 2009-02-19 Ncr Corporation Dynamic query optimization between systems based on system conditions
US8108857B2 (en) * 2007-08-29 2012-01-31 International Business Machines Corporation Computer program product and method for capacity sizing virtualized environments
KR100929912B1 (ko) * 2007-11-12 2009-12-04 한국전자통신연구원 상황 인식 서버의 성능 평가 시스템 및 방법
US8326973B2 (en) * 2008-12-23 2012-12-04 Novell, Inc. Techniques for gauging performance of services
US8654654B2 (en) * 2009-09-22 2014-02-18 Ixia Traffic distribution control
US8310942B2 (en) 2010-08-27 2012-11-13 Ixia Flow statistics aggregation
CN102819484B (zh) * 2011-06-08 2017-02-22 腾讯科技（深圳）有限公司 软件测试方法及其测试装置
US9264340B2 (en) 2013-03-15 2016-02-16 Ixia Methods, systems, and computer readable media for misdirected packet drill down and negative packet capture at a network test device
US9094336B2 (en) 2013-03-15 2015-07-28 Ixia Methods, systems, and computer readable media for assisting with the debugging of conditions associated with the processing of test packets by a device under test
KR101461217B1 (ko) * 2013-03-22 2014-11-18 네이버비즈니스플랫폼 주식회사 클라우드 환경에서의 성능 테스트 비용 절감을 위한 테스트 시스템 및 테스트 방법
CN103207821B (zh) * 2013-05-03 2017-04-05 北京百度网讯科技有限公司 Cpu性能评估方法与装置
CN103473176A (zh) * 2013-09-25 2013-12-25 浪潮电子信息产业股份有限公司 一种基于四子星服务器的一体化服务器数据库应用测试方法
RO132177A2 (ro) 2016-03-21 2017-09-29 Ixia, A California Corporation Metode, sistem şi suport informatic pentru testarea dispozitivelor cu echipament de reţea, folosind protocolul fără conexiune
US10193773B2 (en) 2016-11-09 2019-01-29 Keysight Technologies Singapore (Holdings) Pte. Ltd. Methods, systems, and computer readable media for distributed network packet statistics collection in a test environment
US10764148B2 (en) 2017-11-29 2020-09-01 Keysight Technologies, Inc. Methods, systems, and computer readable media for network traffic statistics collection
US11398968B2 (en) 2018-07-17 2022-07-26 Keysight Technologies, Inc. Methods, systems, and computer readable media for testing virtualized network functions and related infrastructure
US11323354B1 (en) 2020-10-09 2022-05-03 Keysight Technologies, Inc. Methods, systems, and computer readable media for network testing using switch emulation
US11483227B2 (en) 2020-10-13 2022-10-25 Keysight Technologies, Inc. Methods, systems and computer readable media for active queue management
US11483228B2 (en) 2021-01-29 2022-10-25 Keysight Technologies, Inc. Methods, systems, and computer readable media for network testing using an emulated data center environment
US12210890B2 (en) 2021-02-09 2025-01-28 Keysight Technologies, Inc. Methods, systems, and computer readable media for impairment testing using an emulated switching fabric environment
US11405302B1 (en) 2021-03-11 2022-08-02 Keysight Technologies, Inc. Methods, systems, and computer readable media for network testing using configurable test infrastructure
US11388081B1 (en) 2021-03-30 2022-07-12 Keysight Technologies, Inc. Methods, systems, and computer readable media for impairment testing using an impairment device
US12244477B2 (en) 2021-10-11 2025-03-04 Keysight Technologies, Inc. Methods, systems, and computer readable media for recycling background traffic in a test environment
US11729087B2 (en) 2021-12-03 2023-08-15 Keysight Technologies, Inc. Methods, systems, and computer readable media for providing adaptive background test traffic in a test environment
US11765068B2 (en) 2021-12-22 2023-09-19 Keysight Technologies, Inc. Methods, systems, and computer readable media for programmable data plane processor based traffic impairment
US12056028B2 (en) 2022-09-15 2024-08-06 Keysight Technologies, Inc. Methods, systems, and computer readable media for using an impairment configuration manager

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2500730B2 (ja) 1992-12-07 1996-05-29 日本電気株式会社 ロ―カルエリアネットワ―ク
JP3367305B2 (ja) 1995-11-14 2003-01-14 三菱電機株式会社 ネットワークシステム
JPH09244913A (ja) 1996-03-13 1997-09-19 Toshiba Corp マンマシン試験装置
JP2917939B2 (ja) 1996-11-14 1999-07-12 日本電気株式会社 サーバ性能測定方式
JP2923874B2 (ja) 1996-12-26 1999-07-26 日本電気株式会社 高負荷エミュレーション性能評価方法とその装置
US5790425A (en) 1997-02-19 1998-08-04 Sun Microsystems, Inc. Generic server benchmarking framework in a client-server environment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100394729C (zh) * 2004-09-17 2008-06-11 华中科技大学 存储服务器性能综合测试系统

Also Published As

Publication number Publication date
JP2001195284A (ja) 2001-07-19
CN1304247A (zh) 2001-07-18
US20010016867A1 (en) 2001-08-23
US6910061B2 (en) 2005-06-21

Similar Documents

Publication Publication Date Title
CN1142491C (zh) 测试服务器性能的框架系统及方法
CN1577251B (zh) 小服务器程序的远程协作方法和系统
CN1511283A (zh) 用于连接不同对象类型的服务器和客户机的方法和网桥
CN1205565C (zh) 客户机/服务器网络中服务器对象之间的工作负荷管理
CN1279461C (zh) 基于ccp协议的混合动力电动汽车控制器标定方法
CN1791037A (zh) 一种实现Web服务自动化测试的方法
CN101043384A (zh) 一种网络测试的系统和方法
CN1595360A (zh) 用于在分布式计算体系结构中执行作业的系统和方法
CN101051962A (zh) 一种可扩展动态网络监控系统及其监控方法
CN113934512A (zh) 负载均衡实现方法、装置、设备及存储介质
CN101615116B (zh) 一种接口获取方法、装置及系统
CN1620064A (zh) 调度基于模式的Web服务的方法、系统和装置
Baumann et al. Mole 3.0: A middleware for Java-based mobile software agents
CN1805381A (zh) 一种多网元仿真测试系统及实现方法
CN1900906A (zh) 基于规则的软件过程主体自动协商系统和方法
CN1298508A (zh) 执行与分布式系统中的远程过程调用相关的处理的可下载智能代理
CN1567835A (zh) 智能网中的分布式集群业务管理系统及业务管理方法
Hong et al. Bandwidth‐Aware Resource Allocation for Heterogeneous Computing Systems to Maximize Throughput
CN1833207A (zh) 用于基于网络来对多个空间分布式装置进行监控和控制的系统和方法
CN1750486A (zh) 网络测量体系结构及其实现方法
CN100343817C (zh) 远端伺服器监控装置、监控方法和监控系统
CN1384489A (zh) 分布式语音合成系统
CN1567841A (zh) 一种实现信息转发的设备及方法
CN107885460A (zh) 一种集群的外部数据访问方法
Batheja et al. A Framework for Opportunistic Cluster Computing using JavaSpaces1

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20040317

Termination date: 20100211