CN102064982B - 一种网络设备混帧长转发性能的测量系统及其测试方法 - Google Patents

Abstract

本发明公开了一种网络设备混帧长转发性能的测量系统及其测试方法，该测试系统包括测量模块、曲面图绘制模块、存储模块、分析模块、评价模块和显示模块，在界定网络设备的转发性能包括吞吐量及背靠背两项指标的基础上，本发明将混合帧长方案引入到网络设备的转发性能测试中，测量模块通过调整不同帧长的数据帧在数据流中所占比重来实现不同帧长分布下设备转发性能的测量，曲面图绘制模块根据测量结果绘制曲面图，分析模块对测量结果进行计算分析，评价模块计算测量结果的可信度，显示模块则以直观的可视化方式将曲面图及测量结果的分析和可信度显示出来。本发明可实现网络设备和帧长转发性能的测量、结果分析及评估的一体化、自动化、可视化。

Description

一种网络设备混帧长转发性能的测量系统及其测试方法

技术领域

本发明属于网络设备测量技术领域，具体是指一种网络设备混帧长转发性能的测量系统及其测试方法。

背景技术

伴随着互联网络规模的不断扩大，投入运营的网络设备的种类及数目也在快速增长，各种各样的网络设备有机组合成为整个互联网络，网络设备转发性能直接影响着网络整体性能的有效发挥，网络设备数据包转发性能的自动有效测量，对网络设备自身的性能及网络整体性能的准确评估和改善意义重大。

网络设备的转发性能包括吞吐量和背靠背两项指标，吞吐量测试侧重测试转发引擎的转发能力，背靠背测试侧重测试接口的缓存能力。互联网标准文件RFC1242(Benchmarking terminology for network interconnection devices)、RFC2544(Benchmarking Methodology for Network Interconnect Devices)定义了这两项指标，并给出测试方法的建议。RFC2544中建议的测试方法即为传统的网络设备转发性能测试方案，包括单帧长吞吐量测试及单帧长背靠背测试。鉴于测试时间开销及存储测量结果空间开销的限制，施行两个测试方案时一般都采用包含若干离散帧长的一个集合来替代连续帧长。离散帧长集合应具备完整性，包括网络允许的最小帧长、最大帧长及一些中间值，例子如RFC2544建议的包含7个离散帧长的一个集合：64B，128B，256B，512B，4B，1280B，1518B。

传统的单帧长测试方案只能反映被测设备在特定帧长下的转发性能，并根据测量结果绘制的曲线图估计被测设备在其他未进行测量的单帧长数据帧处的转发性能。但实际网络环境中数据流并不是单帧长模式，一段时间内的数据流中往往包含了多种帧长，因此，单帧长测试方案并不能很准确地反映被测设备在混合帧长的真实网络环境中的转发性能。混合帧长测试方案较好地解决了这个问题，通过适当地选取，测试时采用的数据帧帧长分布能较好地逼近真实网络的数据帧帧长分布，从而测量结果能更准确地反映被测设备在真实网络环境中的转发性能。RFC2544中提到与混和帧长测试方案相同概念的多帧长测试方案，但未给出具体的测试要求、实现方法及测量结果的显示格式等。目前在网络设备测试中采用混合帧长方案的研究比较少，但混合帧长测试方案在准确测量、估计及预测网络设备在真实网络环境中的转发性能却有重要作用，从而设计一个能在网络设备上实现混和帧长转发性能测量、结果分析及评估的自动化、可视化系统的意义重大。

发明内容

本发明的目的之一在于提供一种网络设备混帧长转发性能的测量系统。

本发明的这一目的通过如下技术方案来实现的：一种网络设备混帧长转发性能的测量系统，其特征在于：该测试系统包括测量模块、曲面图绘制模块、存储模块、分析模块、评价模块和显示模块，所述的测量模块分别与曲面图绘制模块和存储模块相连，所述的测量模块用于选定多个不同帧长的离散的混合帧，通过调整混合帧中不同帧长的帧数量在全部混合帧中的总体帧数量所占的百分比来实现不同帧长分布的变化，并且能够测试网络设备在不同帧长分布下的转发性能，输出测量结果；所述的曲面图绘制模块接收测量模块输出的测量结果，并且将该测量结果绘制成曲面图；所述的存储模块用于储存测量模块的测量结果以及曲面图绘制模块绘制的曲面图；所述的存储模块还分别与曲面图绘制模块、分析模块和评价模块相连，所述的分析模块能够从存储模块中调用存储模块中储存的测量结果，并根据该测量结果来分析网络设备的转发性能，然后将分析结果输送给显示模块进行显示；所述的评价模块能够接收测量模块输出的测量结果，并且给出测量结果的可信度评价结果；所述的显示模块分别与曲面图绘制模块分析模块和评价模块相连，所述的显示模块用于提供用户界面，该显示模块能够显示曲面图绘制模块绘制的曲面图、分析模块的分析结果以及评价模块的可信度评价结果。

(1)测量模块：

混合帧长测试方案，确定好若干个离散帧长集合后，首先从中选定一个集合，并通过改变不同帧长之间帧数量的比例关系来实现帧长分布的变化。后续步骤与传统的单帧长网络设备转发性能测试方案相类似。

传统的单帧长测试方案为混合帧长测试方案的一个特例。因为当离散帧长集合中的某一帧长占数据流的比重为100％，而其他帧长所占比重为0时，混合帧长测试方案即为单帧长测试方案。

用户能对系统已有的离散帧长集合进行选定，也可以自行定制离散帧长集合，此功能由显示模块实现。

(2)曲面图绘制模块：

将测量结果在三维直角坐标上绘制成绘制成曲面图，这里分三种情况。

1)帧长分布为单峰值分布x(X，Y)，即X帧长的数据帧在数据流中占比例为Y，而使用的离散帧长集合中其他帧长所占比重均为(1-Y)/(N-1)，其中0≤Y≤1，N为离散帧长集合中元素的个数。被测设备在x(X，Y)下的测量结果为Z，则可按照每组(X，Y，Z)值在三维直角坐标上绘制成曲面图。

2)帧长分布为非单峰值分布I型，即X帧长的数据帧在数据流中占比例为Y，而使用的离散帧长集合中其他帧长所占比重相差不大，近似都为(1-Y)/(N-1)，则非单峰值分布I近似认为是单峰值分布x(X，Y)，采用单峰分布测量结果的绘图方法进行绘图。

3)帧长分布为非单峰值分布II型，即不同于非单峰值分布I型，即X₁帧长的数据帧在数据流中占比例为Y₁，X₂帧长的数据帧占比例为Y₂，……，X_i帧长的数据帧占比例为Y_i，而使用的离散帧长集合中其他帧长所占比重均为

其中0≤Y_j≤1，j＝1，2，……i；i＝1，2，……N，N为离散帧长集合中元素的个数。为了绘制曲面图及具有可比性，需要先将非单峰值分布转化为近似的单峰值分布并依据测量结果作图。

(3)分析模块：

对于帧长分布为单峰值分布x(X，Y)，从曲面图可以直观地观察到被测设备在不同帧长分布下的吞吐量值或背靠背值及其变化趋势，从而分析被测设备在不同帧长分布下的转发性能。由于非单峰值分布I/II型能近似认为或转化成为单峰值分布，故其测量结果的分析方法同单峰值分布测量结果的分析方法。

显示模块提供一种系统与用户互动的方式，用户选择某部分数据及分析项目后，分析模块从存储模块调用相关数据进行计算及分析，并将得到的结果送显示模块进行显示。

(4)评价模块：

采用不确定的计算方法来衡量测量结果的可信度。测量结果的不确定度分量包含两类：一类是通过统计分析的方法获得的A类不确定度，如等精度条件下多次测量的离散性对应的不确定分量；另一类是通过非统计分析的方法获得的B类不确定度，如测量仪器本身的不准确性带入的不确定分量。计算出A、B类不确定度后，需要将这些分量合成标准不确定度，另外一般还要根据选定的置信水平计算扩展不确定度，以便提供一个包含大部分测量结果的可信区间。

显示模块提供一种系统与用户互动的方式，用户选择某部分数据及分析项目后，评价模块从存储模块调用相关数据进行计算及分析，并将得到的结果送显示模块进行显示。

(5)显示模块及存储模块：

显示模块实现的功能包括：方便操作的用户界面及上述技术方案所提及的功能。存储模块及时地储存测量结果及绘制的曲面图，以供显示模块调用或人工调用。

本发明的测量系统在界定网络设备的转发性能包括吞吐量及背靠背两项指标的基础上，将混合帧长方案引入到网络设备的转发性能测试中，测量模块通过调整不同帧长的数据帧在数据流中所占比重来实现不同帧长分布下设备转发性能的测量，曲面图绘制模块根据测量结果绘制曲面图，分析模块对测量结果进行计算分析，评价模块计算测量结果的可信度，显示模块则以直观的可视化方式将曲面图及测量结果的分析和可信度显示出来。本发明可实现网络设备和帧长转发性能的测量、结果分析及评估的一体化、自动化、可视化。

本发明的目的之二在于提供上述测量系统的测试方法。

本发明的这一目的通过如下技术方案来实现的：一种网络设备混帧长转发性能的测试方法，该方法包括如下步骤：

(1)测量步骤：通过测量模块选定多个不同帧长的离散的混合帧，并且调整混合帧中不同帧长的帧数量在全部混合帧中的总体帧数量所占的百分比来实现不同帧长分布的变化，然后测试网络设备在不同帧长分布下的转发性能，输出测量结果；

(2)曲面图绘制步骤：通过曲面图绘制模块接收测量模块输出的测量结果，并且将该测量结果绘制成曲面图；

(3)存储步骤：通过存储模块储存测量模块的测量结果以及曲面图绘制模块绘制的曲面图；

(4)分析步骤：通过分析模块从存储模块中调用存储模块中储存的测量结果，并根据该测量结果来分析网络设备的转发性能，然后将分析结果输送给显示模块进行显示；

(5)评价步骤：通过评价模块接收测量模块输出的测量结果，并且给出测量结果的可信度评价结果；

(6)结果显示步骤：通过显示模块提供用户界面，并且显示曲面图绘制模块绘制的曲面图、分析模块的分析结果以及评价模块的可信度评价结果。

附图说明

下面结合附图和具体实施方式对本发明做进一步的详细说明。

图1为本发明测量系统的框架图。

具体实施方式

如图1所示的一种网络设备混帧长转发性能的测量系统，该测试系统包括测量模块、曲面图绘制模块、存储模块、分析模块、评价模块和显示模块，测量模块分别与曲面图绘制模块和存储模块相连，测量模块用于选定多个不同帧长的离散的混合帧，通过调整混合帧中不同帧长的帧数量在全部混合帧中的总体帧数量所占的百分比来实现不同帧长分布的变化，并且能够测试网络设备在不同帧长分布下的转发性能，输出测量结果；曲面图绘制模块接收测量模块输出的测量结果，并且将该测量结果绘制成曲面图；存储模块用于储存测量模块的测量结果以及曲面图绘制模块绘制的曲面图；存储模块还分别与曲面图绘制模块、分析模块和评价模块相连，分析模块能够从存储模块中调用存储模块中储存的测量结果，并根据该测量结果来分析网络设备的转发性能，然后将分析结果输送给显示模块进行显示；评价模块能够接收测量模块输出的测量结果，并且给出测量结果的可信度评价结果；显示模块分别与曲面图绘制模块分析模块和评价模块相连，显示模块用于提供用户界面，该显示模块能够显示曲面图绘制模块绘制的曲面图、分析模块的分析结果以及评价模块的可信度评价结果。

用户通过显示模块提供的用户界面对测量过程的初始参数进行设置，设置完毕后测量开始进行，测量结束后，测量结果自动存入存储模块，以供后续操作调用。系统依据用户的设定，调用绘图模块依据测量结果来绘图，调用分析模块对测量结果进行分析，调用评价模块对测量结果进行可信度评价，三个模块的处理结果送显示模块显示。

本发明中各个模块的实现过程及原理如下：

(1)测量模块：

混合帧长吞吐量测试方案，确定好若干个离散帧长集合后，首先从中选定一个集合，并通过改变不同帧长之间帧数量的比例关系来实现帧长分布的变化。每一轮测试中以一恒定速率向被测设备发送测试帧，并统计被测设备转发的帧数目，若接收的帧数目与发送的帧数目相等，则提高下一轮测试的帧发送速率，否则降低下一轮测试的帧发送速率。如此反复进行多轮测试，直至最新两轮测试的误差小于或等于预先设定的测试粒度，即可结束当次测量，测试结果以fps、pps、bps或线速的百分比来表示。每轮测试之后，重新计算下一轮测试的帧发送速率改变量的算法称为吞吐量搜索算法，常用方法为二分法、步进法及两者的混合方法。对于每种帧长分布，可根据实际情况进行单词或重复进行若干次测量，多次测量时取平均值作为设备在该帧长分布下的混合帧长吞吐量值。

混合帧长背靠背测试方案，确定好离散帧长集合后，确定好若干个离散帧长集合后，首先从中选定一个集合，并通过改变不同帧长之间帧数量的比例关系来实现帧长分布的变化。使用最小的合法帧间隔向被测设备发送一串测试帧序列，并记录被测备转发的帧数量。如果转发的帧数目少于发送的帧数目，则减少测试持续时间(或帧流量串的长度)，否则增加测试持续时间(或帧流量串的长度)。重复上述测试过程，直到找到没有丢帧时被测设备所能处理的最长帧流量串，该流量串的帧数目即为背靠背的数值。根据实际情况重复进行若干次测量，并取平均值作为该帧长分布下的混合帧长背靠背值。

(2)曲面图绘制模块：

对于帧长分布为单峰值分布x(X，Y)及非单峰值分布I型，测试得到若干组测量值(X₁，Y₁，Z₁₁)、(X₁，Y₂，Z₁₂)、……、(X₁，Y_j，Z_1j)、……、(X_i，Y₁，Z_i1)、……、(X_i，Y_j，Z_ij)、……，其中Z_ij为被测设备在x(X_i，Y_j)下的测量结果，则可按照每组(X，Y，Z)值在三维直角坐标上绘制成曲面图。

对于帧长分布为非单峰值分布II型，为了绘制曲面图及具有可比性，需要先将非单峰值分布转化为近似的单峰值分布并依据测量结果作图。一种可行的具体做法如下：每次对集合{X₁，……，X_i}中选定一种帧长X_j，固定该集合中其他帧长数据帧数目在数据流中所占比例，只改变Y_j，从而离散帧长集合中剩下的(N-i)个帧长X_i+1，……，X_N的数据帧占比重随Y_j改变，进行测量。而后将X_j与X_i+1，……，X_N中的一种帧长对调，改变新的X_j帧长据帧数目在数据流中所占比例并进行测量，重复上述步骤，直到X_i+1，……，X_N都与X_j对调过。由于集合{X₁，……，X_i}有i个元素，故共有i个单峰值分布的曲线图，从而可用单峰值分布的分析方法对其测量结果进行分析。

(3)分析模块：

对于吞吐量值，固定X，当Y＝1时，相应的Z值即为设备在帧长为X的单帧长情况下的吞吐量；当0＜Y＜1时，若相应的Z值大于设备在帧长为X的单帧长情况下的吞吐量，则说明被测设备处理X帧长的数据帧的能力较差(或额外开销较大)；反之，则说明被测设备处理X帧长的数据帧的能力较好(或额外开销较小)。对于背靠背值，固定X，当Y＝1时，相应的Z值即为设备在帧长为X的单帧长情况下的背靠背值；当0＜Y＜1时，若相应的Z值大于设备在帧长为X的单帧长情况下的背靠背值，则说明被测设备对X帧长的数据帧的缓存能力较差；反之，则说明被测设备对X帧长的数据帧的缓存能力较好。固定Y，当任意两个X值对应的Z值相差较大时，被测设备对这两种帧长数据帧的转发能力有明显差异，当任意两个X值对应的Z值相差较小时，被测设备对这两种帧长数据帧的转发能力无明显差异。

(4)评价模块：

计算A类不确定度

在不是一般性的情况下，假设测量结果为有限数列{x_n}，{x_n}的元素个数为n。首先计算样本的平均值

采用贝塞尔(Bessel)公式计算标准偏差：

计算平均值的实验标准偏差：

自由度为

v₁＝n-1。

计算B类不确定度

B类不确定度可根据查询有关信息等非统计方式得到，这类信息包括测量仪器仪表的特性、校准证书或说明书提供的数据等等。在不是一般性的情况下，假设B类不确定度的来源有t-1个，为U₂，……，U_t，其自由度一般认为是无穷大，即v₂＝∞，……，v_t＝∞。

计算标准不确定度和扩展不确定度

由于各个不确定度分量之间是相互独立的，因此合成的标准不确定为： $U_c=\sqrt{\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{U}_i^2}.$

计算有效自由度

取置信水平P，则由t分布临界值表查得包含因子k_P＝t_1-P(V_eff)。计算扩展不确定度：U_p＝k_p*U_c。

综上所述，被测设备在特定帧长分布下的转发性能测量结果为X±Uc，置信水平P，包含因子kP。

(5)显示模块及存储模块：

显示模块实现：采用通用的图形界面编程技术来实现用户界面及其他模块所要求的功能。存储模块：以通用型的硬件存储介质及其编程技术来实现。

Claims (1)

1.一种网络设备混帧长转发性能的测量系统，其特征在于：该测量系统包括测量模块、曲面图绘制模块、存储模块、分析模块、评价模块和显示模块，所述的测量模块分别与曲面图绘制模块和存储模块相连，所述的测量模块用于选定多个不同帧长的离散的混合帧，通过调整混合帧中不同帧长的帧数量在全部混合帧中的总体帧数量所占的百分比来实现不同帧长分布的变化，并且能够测试网络设备在不同帧长分布下的转发性能，输出测量结果；所述的曲面图绘制模块接收测量模块输出的测量结果，并且将该测量结果绘制成曲面图；所述的存储模块用于储存测量模块的测量结果以及曲面图绘制模块绘制的曲面图；所述的存储模块还分别与曲面图绘制模块、分析模块和评价模块相连，所述的分析模块能够从存储模块中调用存储模块中储存的测量结果，并根据该测量结果来分析网络设备的转发性能，然后将分析结果输送给显示模块进行显示；所述的评价模块能够接收测量模块输出的测量结果，并且给出测量结果的可信度评价结果；所述的显示模块分别与曲面图绘制模块、分析模块和评价模块相连，所述的显示模块用于提供用户界面，该显示模块能够显示曲面图绘制模块绘制的曲面图、分析模块的分析结果以及评价模块的可信度评价结果，所述曲面图绘制模块将测量结果在三维直角坐标上绘制成曲面图，这里分三种情况：（1）帧长分布为单峰值分布χ(X,Y)，即X帧长的数据帧在数据流中占比例为Y，而使用的离散帧长集合中其他帧长所占比重均为(1-Y)/(N-1)，其中0≤Y≤1，N为离散帧长集合中元素的个数，被测设备在χ(X,Y)下的测量结果为Z，则按照每组(X,Y,Z)值在三维直角坐标上绘制成曲面图；（2）帧长分布为非单峰值分布I型，即X帧长的数据帧在数据流中占比例为Y，而使用的离散帧长集合中其他帧长所占比重相差不大，近似都为(1-Y)/(N-1)，则非单峰值分布I近似认为是单峰值分布χ(X,Y)，采用单峰分布测量结果的绘图方法进行绘图；（3）帧长分布为非单峰值分布II型，即不同于非单峰值分布I型，即X₁帧长的数据帧在数据流中占比例为Y₁，X₂帧长的数据帧占比例为Y₂，……，X_i帧长的数据帧占比例为Y_i，而使用的离散帧长集合中其他帧长所占比重均为 

其中0≤Y_j≤1，j=1,2,……i；i=1,2，……N，N为离散帧长集合中元素的个数，为了绘制曲面图及具有可比性，需要先将非单峰值分布转化为近似的单峰值分布并依据测量结果作图。 

Images