CN117692362A - 一种网络传输数据异常节点检测方法及装置 - Google Patents

Abstract

本发明可用于数据通信技术在金融方面应用的技术领域，本发明提供了一种网络传输数据异常节点检测方法及装置，对应的方法包括：从网络中获取传输数据请求的至少一部分操作或事件；其中，所述网络基于交换端到端传输模式连接多个服务器节点；根据业务需求以及所述网络的性能生成滑动窗口；其中，所述滑动窗口按照传输时间进行滑动；根据所述至少一部分操作或事件以及所述滑动窗口检测传输数据异常节点。本发明针对交换端到端的网络传输模式，提供一种网络传输数据异常节点检测方法，该方法可以实时或近实时地进行传输数据异常节点检测，以提高对分布式链路异常的响应速度和准确性。

Description

一种网络传输数据异常节点检测方法及装置

技术领域

本申请属于数据通信技术领域，特别是网络维护技术领域，具体涉及一种网络传输数据异常节点检测方法及装置。

背景技术

针对网络传输数据异常节点检测，现有技术中一般采用分布式链路追踪系统(如Zipkin)或对应的方法予以解决，链路追踪数据通常采用TCP/IP网络进行传输和聚合，这种方式在大规模和复杂的分布式系统中可能会导致带宽瓶颈和较高的数据传输延迟。此外，现有技术对异常检测的实时性和准确性要求较高，在处理大量链路追踪数据时，其性能可能受到限制。

发明内容

本发明可用于数据通信技术在金融方面应用的技术领域，也可用于除金融领域之外的任意领域。

本发明的一个目的在于针对交换端到端的网络传输模式，提供一种网络传输数据异常节点检测方法，该方法可以实时或近实时地进行传输数据异常节点检测，以提高对分布式链路异常的响应速度和准确性。

本发明的另一个目的在于提供一种网络传输数据异常节点检测装置。本发明的还一个目的在于提供一种电子设备，该电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述网络传输数据异常节点检测方法的步骤。本发明的还一个目的在于提供一种可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述网络传输数据异常节点检测方法的步骤。

为解决本申请背景技术中的技术问题，本发明提供以下技术方案：

第一方面，本发明提供一种网络传输数据异常节点检测方法包括：

从网络中获取传输数据请求的至少一部分操作或事件；其中，所述网络基于交换端到端传输模式连接多个服务器节点；

根据业务需求以及所述网络的性能生成滑动窗口；其中，所述滑动窗口按照传输时间进行滑动；

根据所述至少一部分操作或事件以及所述滑动窗口检测传输数据异常节点。

在本发明的一些实施例中，所述网络包括：叶子层、汇聚层以及核心层；其中：

所有服务器节点连接至所述叶子层；

所述汇聚层用于将来自所述叶子层的流量聚集并转发到所述核心层；

所述核心层连接所述汇聚层中的所有交换机，用于在多个交换机中转发流量。

在本发明的一些实施例中，所述从网络中获取传输数据请求的至少一部分操作或事件，包括：

从所述网络中获取RDMA报文；

按照所述传输时间的顺序解析所述RDMA报文，以获取所述至少一部分操作或事件。

在本发明的一些实施例中，多个传输数据异常节点之间的通信接口为异步接口。

在本发明的一些实施例中，所述至少一部分操作或事件包括：

追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文。

在本发明的一些实施例中，根据所述至少一部分操作或事件以及所述滑动窗口检测传输数据异常节点，包括：

根据所述业务需求以及所述网络的性能生成至少一个阈值；

将所述追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文输入至所述滑动窗口；

在所述滑动窗口内，判断所述追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文与所述至少一个阈值的大小关系；

根据所述大小关系检测所述传输数据异常节点。

在本发明的一些实施例中，一种网络传输数据异常节点检测方法，还包括：

根据所述开始时间以及结束时间确定所述滑动窗口的滑动速度。

第二方面，本发明提供一种网络传输数据异常节点检测装置，该装置包括：

操作获取模块，用于从网络中获取传输数据请求的至少一部分操作或事件；其中，所述网络基于交换端到端传输模式连接多个服务器节点；

滑动窗口生成模块，用于根据业务需求以及所述网络的性能生成滑动窗口；其中，所述滑动窗口按照传输时间进行滑动；

异常节点检测模块，用于根据所述至少一部分操作或事件以及所述滑动窗口检测传输数据异常节点。

在本发明的一些实施例中，所述网络包括：叶子层、汇聚层以及核心层；其中：

所有服务器节点连接至所述叶子层；

所述汇聚层用于将来自所述叶子层的流量聚集并转发到所述核心层；

所述核心层连接所述汇聚层中的所有交换机，用于在多个交换机中转发流量。

在本发明的一些实施例中，所述操作获取模块包括：

RDMA报文获取单元，用于从所述网络中获取RDMA报文；

RDMA报文解析单元，用于按照所述传输时间的顺序解析所述RDMA报文，以获取所述至少一部分操作或事件。

在本发明的一些实施例中，多个传输数据异常节点之间的通信接口为异步接口。

在本发明的一些实施例中，所述至少一部分操作或事件包括：

追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文。

在本发明的一些实施例中，所述异常节点检测模块包括：

阈值生成单元，用于根据所述业务需求以及所述网络的性能生成至少一个阈值；

检测参数输入单元，用于将所述追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文输入至所述滑动窗口；

大小关系判断单元，用于在所述滑动窗口内，判断所述追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文与所述至少一个阈值的大小关系；

异常节点检测单元，用于根据所述大小关系检测所述传输数据异常节点。

在本发明的一些实施例中，一种网络传输数据异常节点检测装置，还包括：

滑动速度确定模块，用于根据所述开始时间以及结束时间确定所述滑动窗口的滑动速度。

第三方面，本发明提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现一种网络传输数据异常节点检测方法的步骤。

第四方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现网络传输数据异常节点检测方法的步骤。

第五方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现网络传输数据异常节点检测方法的步骤。

从上述描述可知，本发明实施例提供一种网络传输数据异常节点检测方法及装置，网络传输数据异常节点检测方法包括：首先，从网络中获取传输数据请求的至少一部分操作或事件；其中，网络基于交换端到端传输模式连接多个服务器节点；接着，根据业务需求以及网络的性能生成滑动窗口；其中，滑动窗口按照传输时间进行滑动；最后根据至少一部分操作或事件以及滑动窗口检测传输数据异常节点。

对应的网络传输数据异常节点检测装置包括：操作获取模块，用于从网络中获取传输数据请求的至少一部分操作或事件；其中，网络基于交换端到端传输模式连接多个服务器节点；滑动窗口生成模块，用于根据业务需求以及网络的性能生成滑动窗口；其中，滑动窗口按照传输时间进行滑动；异常节点检测模块，用于根据至少一部分操作或事件以及滑动窗口检测传输数据异常节点。

本发明针对交换端到端的网络传输模式，提供一种网络传输数据异常节点检测方法及装置，该方法及装置可以实时或近实时地进行传输数据异常节点检测，以提高对分布式链路异常的响应速度和准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的实施例中网络传输数据异常节点检测方法的流程示意图一；

图2为本发明的实施例中网络传输数据异常节点检测方法的步骤100的流程示意图；

图3为本发明的实施例中网络传输数据异常节点检测方法的步骤300的流程示意图；

图4为本发明的实施例中网络传输数据异常节点检测方法的流程示意图二；

图5为本发明的具体实施方式中网络传输数据异常节点检测系统的方块图；

图6为本发明的具体实施方式中网络传输数据异常节点检测方法的流程示意图；

图7为本发明的实施例中网络传输数据异常节点检测装置的方块图一；

图8为本发明的实施例中操作获取模块10的方块图；

图9为本发明的实施例中异常节点检测模块30的方块图；

图10为本发明的实施例中网络传输数据异常节点检测装置的方块图二；

图11为本发明的实施例中的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本申请技术方案中对数据的获取、存储、使用、处理等均符合法律法规的相关规定。

本发明的实施例提供一种网络传输数据异常节点检测方法的具体实施方式，参见图1，该方法具体包括如下内容：

步骤100：从网络中获取传输数据请求的至少一部分操作或事件；其中，所述网络基于交换端到端传输模式连接多个服务器节点；

步骤200：根据业务需求以及所述网络的性能生成滑动窗口；其中，所述滑动窗口按照传输时间进行滑动；

步骤300：根据所述至少一部分操作或事件以及所述滑动窗口检测传输数据异常节点。

从上述描述可知，本发明实施例提供一种网络传输数据异常节点检测方法，包括：首先，从网络中获取传输数据请求的至少一部分操作或事件；其中，网络基于交换端到端传输模式连接多个服务器节点；接着，根据业务需求以及网络的性能生成滑动窗口；其中，滑动窗口按照传输时间进行滑动；最后根据至少一部分操作或事件以及滑动窗口检测传输数据异常节点。

本发明针对交换端到端的网络传输模式，提供一种网络传输数据异常节点检测方法，该方法可以实时或近实时地进行传输数据异常节点检测，以提高对分布式链路异常的响应速度和准确性。

需要说明的是，步骤100中的网络不同于现有的TCP/IP协议网络，其具有高性能、低延迟的特点，该网络把I/O子系统(输入输出系统)从服务器节点中剥离出去，通过光纤介质，采用基于交换的端到端的传输模式连接多个服务器节点,为了将两者对比，这里将TCP/IP协议网络的技术痛点展示如下：

1.数据传输延迟较高：使用TCP/IP网络进行数据传输，可能导致较高的数据传输延迟。

2.带宽瓶颈：在大规模和复杂的分布式系统中，TCP/IP网络可能无法满足数据传输的带宽需求。

3.实时性和准确性受限：现有的异常检测方法在处理大量链路追踪数据时，性能可能受到限制，导致实时性和准确性不足。

相对低，本申请正是针对这种高性能、低延迟网络所提供的网络传输数据异常节点检测方法。

针对步骤200，具体地，设定一个固定或者非固定长度的窗口，窗口在数据序列上从左向右滑动(按照数据传输时间顺序)，每次移动一个元素。在窗口中可以进行相应的操作，如求和、求平均值等。进一步地：

首先确定窗口的大小，初始化窗口的左右边界。循环遍历数据序列，并不断移动窗口，使窗口右边界向右移动。在移动过程中，可以计算窗口内部的些数据统计，如求和、求平均值等。当窗口右边界移动到序列的末尾时，检查窗口内部是否有需要更新的数据，比如最大值、最小值等更新完后，将窗口左端向右移动一位，继续循环。窗口左端越过序列右端时，循环结束。

可以理解的是，采用上述方法检测传输数据异常节点的优点是空间复杂度较小，且可以在一次遍历中解决问题。

对于步骤300，在滑动窗口内，将操作或事件与事先确定的阈值进行对比，或者将操作或事件与事先确定的多个阈值(每个阈值与时间或者操作一一对应)进行对比，当操作或事件超过对应的阈值时，则该数据传输的接收端或者发送端为传输数据异常节点。

在本发明的一些实施例中，所述网络包括：叶子层、汇聚层以及核心层；其中：

所有服务器节点连接至所述叶子层；

所述汇聚层用于将来自所述叶子层的流量聚集并转发到所述核心层；

所述核心层连接所述汇聚层中的所有交换机，用于在多个交换机中转发流量。

优选地，可采用胖树结构拓展上述网络，可以理解的是，胖树结构是一种用于构建高性能计算机网络的拓扑结构。它得名于其在逻辑上呈现出一棵树的形状，并且通过增加冗余连接来提高网络的带宽和可靠性。

在本申请的胖树结构中，网络交换机和服务器被组织成层次结构，具有多个层级。胖树结构包含三个主要层级：核心层(core layer)、聚合层(aggregation layer)和接入层(access layer)。核心层是网络的中心，承载大量的流量，并连接到其他层级。聚合层用于连接核心层和接入层，它的作用是将流量从接入层聚合并传输到核心层。接入层是直接与终端设备(如服务器或终端用户设备)相连的层级。

在本申请的胖树结构中的每一层的交换机都与上一层和下一层的交换机相连。交换机之间的连接可以是物理链路或者虚拟链路。该胖树结构具有多条等价路径，可以实现并行传输和负载均衡。它可以根据流量的需求，动态调整流量的路径，从而提高网络的带宽利用率。

胖树结构的特点是具有大量的冗余连接，这使得它在网络中提供了多条并行的路径，从而提供了更高的带宽和可靠性。这种结构也可以支持负载均衡，使得网络流量可以在多条路径间均匀分布，从而避免出现瓶颈。此外，胖树结构还具有冗余和容错能力。如果某些交换机或链路发生故障，数据可以通过其他路径绕过故障点继续传输。

在本发明的一些实施例中，参见图2，步骤100包括：

步骤101：从所述网络中获取RDMA报文；

可以理解的是，RDMA是一种高性能网络传输技术，其允许应用程序直接在远程计算机的内存中读取和写入数据，而无需涉及中央处理器(CPU)的干预。

在RDMA网络中，数据传输是通过RDMA适配器之间的直接内存访问完成的。RDMA适配器是网络接口卡(NIC)的一种特殊类型，它具有在网络中进行零拷贝数据传输的能力。RDMA报文用于在RDMA适配器之间传递数据和控制信息。

RDMA报文可以包含发送和接收操作的元数据、数据缓冲区的地址和长度、传输模式等。发送方通过构造RDMA报文并将其发送到目标节点上的RDMA适配器，目标节点的适配器接收报文并根据报文中的信息执行相应的操作，如读取远程内存中的数据或将数据写入远程内存。

RDMA报文的优势在于它们的低延迟和高带宽特性，以及对CPU的低负载要求。通过使用RDMA技术，应用程序可以实现高效的数据传输，从而提高系统性能和吞吐量。

步骤102：按照所述传输时间的顺序解析所述RDMA报文，以获取所述至少一部分操作或事件。

具体地，首先，确定所使用的RDMA协议，例如InfiniBand或RoCE(RDMA overConverged Ethernet)。以了解协议中定义的报文格式、字段和操作。接着从数据流中识别和定位RDMA报文。在网络传输层(如TCP/IP或UDP/IP)的有效载荷中根据协议规范中报文的特征来确定RDMA报文，提取RDMA报文的头部信息。报文头部通常包含一些元数据，如操作类型、数据长度、源和目标地址等。根据协议规范解析头部字段，并将其转换为可读的格式。

最后根据报文类型和操作，解析报文体中的具体数据。例如，读取数据报文可能包含要读取的内存地址和长度，写入数据报文可能包含要写入的数据等。根据协议规范和报文头部的信息解析报文体。

在本发明的一些实施例中，多个传输数据异常节点之间的通信接口为异步接口。

具体地，多个传输数据异常节点之间按比特划分为小组独立发送，发送方可以在任何时间发送这些比特组，而不需要同步时钟的控制。

在本发明的一些实施例中，所述至少一部分操作或事件包括：追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文。具体地：

可以理解的是，操作或事件是指在分布式系统或分布式跟踪中记录和传递的跨越多个服务或组件的数据。它用于捕获和描述一个请求或操作在分布式环境中的执行路径和相关信息。

在一个分布式系统中，一个请求通常会经过多个服务或组件的处理，每个服务或组件都可能会对请求进行一些处理和产生一些相关的数据。为了全面了解整个请求的执行过程和性能，需要将这些相关数据进行收集和关联。操作或事件包含以下信息：

追踪ID：用于标识整个请求或操作的唯一标识符，可以将多个操作或事件关联到同一个追踪ID。

跨度ID：用于标识单个服务或组件处理的一部分操作或过程的唯一标识符。

父跨度ID：用于标识当前操作或事件的操作或事件，即前一个处理该请求的服务或组件的操作ID或事件ID。

时间戳：记录请求或操作开始和结束的时间戳，用于计算请求或操作的持续时间。

操作名称：描述请求或操作所表示的操作或过程的名称，例如数据库查询、HTTP请求等。

标签：用于记录一些关键的属性或元数据，如请求的URL、请求方法、返回状态码等。

日志：用于记录一些关键的事件或日志信息，如异常、错误等。

在本发明的一些实施例中，参见图3，步骤300包括：

步骤301：根据所述业务需求以及所述网络的性能生成至少一个阈值；

业务需求因人而异，这里不便阐述，针对网络性能有：

延迟阈值：根据业务需求和网络性能评估，确定一个合适的延迟阈值。延迟是指从发送请求到接收到响应所经过的时间。根据业务需求，可以设定一个最大允许延迟的阈值，当延迟超过该阈值时，可以认为网络性能不满足要求。

吞吐量阈值：根据业务需求和网络性能评估，确定一个期望的吞吐量阈值。吞吐量是指单位时间内通过网络传输的数据量。根据业务需求，可以设定一个最低要求的吞吐量阈值，当网络的吞吐量低于该阈值时，可以认为网络性能不满足要求。

丢包率阈值：根据业务需求和网络性能评估，确定一个最大允许的丢包率阈值。丢包率是指在网络传输过程中丢失的数据包比例。根据业务需求，可以设定一个最大允许丢包率的阈值，当网络的丢包率超过该阈值时，可以认为网络性能不满足要求。

带宽阈值：根据业务需求和网络性能评估，确定一个期望的带宽阈值。带宽是指单位时间内通过网络传输的数据量。根据业务需求，可以设定一个最低要求的带宽阈值，当网络的带宽低于该阈值时，可以认为网络性能不满足要求。

另外，还可以根据专家经验对于业务需求以及网络性能设定不同的权重，以综合确定准确的阈值。

步骤302：将所述追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文输入至所述滑动窗口；

步骤303：在所述滑动窗口内，判断所述追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文与所述至少一个阈值的大小关系；

步骤304：根据所述大小关系检测所述传输数据异常节点。

具体地，根据追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文与其对应的阈值大小关系检测传输数据异常节点。特殊地，当利用分布式链路追踪进行发送数据时，此时通过追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文与其对应的阈值大小关系检测传输数据异常节点为数据传输的接收节点。

具体地，通过在分布式系统中的不同组件或服务之间插入标识符(如Trace ID、Span ID)来追踪请求的执行路径，每个服务和组件会在流程中的特定时间记录当前请求的信息，包括请求ID、请求的处理时间、请求调用的其他服务和组件等信息。这些信息会传递到下一个服务或组件，并记录下来。最终，所有的信息会汇总到一个中心位置，以便进行整体的分析和诊断。

在本发明的一些实施例中，参见图4，一种网络传输数据异常节点检测方法，还包括：

步骤400：根据所述开始时间以及结束时间确定所述滑动窗口的滑动速度。

优选地，确定滑动窗口的滑动速度可以从以下几个方面进行：

数据流量：滑动窗口的滑动速度应该能够适应当前的数据流量。如果数据流量较大，滑动速度可以较快，以便及时处理和分析最新的数据；而如果数据流量较小，滑动速度可以较慢，以减少计算和存储的压力。

实时性需求：如果对数据的实时性要求较高，滑动窗口的滑动速度应该足够快，以便及时反馈最新的数据分析结果；如果对实时性要求不高，滑动速度可以适度放慢，以减少计算和存储的负担。

窗口大小：滑动窗口的大小决定了窗口内的数据量，滑动速度应该与窗口大小相匹配。较小的窗口可以使用较快的滑动速度，以保持较高的数据分析频率；而较大的窗口可以使用较慢的滑动速度，以减少计算和存储的开销。

系统资源：滑动窗口的滑动速度也需要考虑系统的资源情况，如计算资源、存储资源等。如果系统资源有限，滑动速度应该适度减缓，以避免资源耗尽和性能问题。

需求优先级：根据业务需求和应用场景的不同，对滑动窗口的滑动速度可能有不同的优先级。根据实际情况，可以根据需求的优先级来调整滑动速度。

为了进一步说明方案，本发明还以InfiniBand网络协议为例，提供一种网络传输数据异常节点检测方法的具体实施方式，具体包括以下内容。

首先，参见图5，本发明具体实施方式还提供一种网络传输数据异常节点检测系统，该系统包括：数据预处理模块、InfiniBand网络配置模块以及数据处理模块。进一步地：

数据预处理模块包括：

数据提取装置：从OpenTracing格式的span数据中提取所需的信息，如持续时间、开始时间、结束时间等。

InfiniBand网络配置模块包括：

网络连接装置：配置InfiniBand网络，连接数据源和异常检测节点，为数据传输提供通信基础。

RDMA数据传输装置：利用RDMA技术实现高带宽和低延迟的数据传输，确保滑动窗口内的数据实时更新。

数据处理模块包括：

数据输入装置：将预处理后的数据通过InfiniBand网络传输到异常检测节点，并按照时间顺序输入到滑动窗口中。

异常检测装置：该装置负责以下操作。

a.阈值设定：根据业务需求和性能指标，设定一个阈值，如链路持续时间的最大值。

b.异常判断：对滑动窗口内的数据进行逐个判断，若某个数据点超过阈值，则认为该数据点是异常数据。

c.异常标记：对检测到的异常数据进行标记，以便后续处理和输出。

输出异常数据装置：将检测到的异常数据通过InfiniBand网络传输给用户，实时展示或生成异常报告。

滑动窗口更新装置：根据设定的滑动步长更新滑动窗口，移除最旧数据，将新数据输入窗口。滑动窗口的大小和滑动步长可以根据业务需求和性能指标进行设置。

参见图6，基于上述的网络传输数据异常节点检测系统，本发明所提供的一种网络传输数据异常节点检测方法的具体实施方式包括以下内容：

术语解释：

InfiniBand：一种高性能、低延迟的数据传输技术，通常用于数据中心、超级计算机和企业服务器等场景。

OpenTracing：一种分布式追踪标准，用于描述跨多个处理单元的事务数据流。

滑动窗口：一种用于处理时间序列数据的技术，窗口内包含一定数量的数据点，窗口会根据预设的步长滑动，用于实时或近实时地分析数据。

RDMA：远程直接内存访问，一种允许计算机节点间在内存中直接交换数据的技术，无需通过操作系统。

S1：span数据预处理。

解析装置从OpenTracing格式的span数据中提取所需的信息，如持续时间、开始时间、结束时间等。

S2：InfiniBand网络配置。

InfiniBand网络配置装置配置InfiniBand网络以连接数据源和异常检测节点。通过RDMA技术实现高带宽和低延迟的数据传输，确保滑动窗口内的数据实时更新。

具体地，首先，安装InfiniBand交换机和网卡，并使用InfiniBand电缆连接交换机和节点。安装InfiniBand驱动，如Mellanox驱动。配置驱动参数，如MTU大小。配置交换机管理IP地址，配置交换机端口通道、VLAN等，配置路由表。配置InfiniBand网卡设备名，如ib0。配置IPoIB,将IP地址分配到InfiniBand接口上。配置路由表，默认通过InfiniBand接口进行通信，最后配置OpenFabrics企业软件栈，如OFED；配置RDMA功能，如RDMA读写等；配置集群管理软件，如SLURM对InfiniBand进行资源管理。

S3：数据输入滑动窗口。

数据输入装置将预处理后的数据通过InfiniBand网络传输到异常检测节点，并按照时间顺序输入到滑动窗口中。当窗口满时，进行下一步的异常检测。

S4：传输数据异常节点检测。

异常检测装置对滑动窗口内的数据进行异常检测。使用基于预设阈值的方法：根据业务需求和性能指标，设定一个阈值，如链路持续时间的最大值。若某个数据点超过该阈值，则认为该数据点是异常数据。

S5：输出异常数据。

输出装置通过InfiniBand网络将检测到的异常数据传输给用户。可以实时展示在监控界面上或生成异常报告，包括异常链路、异常时间、异常原因等信息。

S6：滑动窗口更新。

滑动窗口更新装置根据设定的滑动步长更新滑动窗口，移除窗口内最旧的数据，将新的数据输入窗口。然后返回到步骤S4，继续进行异常检测。

从上述描述可知，本发明具体实施方式提供一种网络传输数据异常节点检测方法，包括：首先，从网络中获取传输数据请求的至少一部分操作或事件；其中，网络基于交换端到端传输模式连接多个服务器节点；接着，根据业务需求以及网络的性能生成滑动窗口；其中，滑动窗口按照传输时间进行滑动；最后根据至少一部分操作或事件以及滑动窗口检测传输数据异常节点。该方法具有以下有益效果：

1.提高数据传输性能：通过InfiniBand技术和RDMA数据传输装置，实现高带宽和低延迟的数据传输，有效缓解现有技术的带宽瓶颈和数据传输延迟问题。

2.强化实时异常检测：本发明的异常检测装置结合滑动窗口更新装置，能够实时或近实时地进行异常检测，提高对分布式链路异常的响应速度和准确性。

3.灵活适用于不同业务场景：基于预设阈值的异常检测方法简单易用，可以针对不同业务场景和性能指标进行灵活调整，满足多样化的需求。

4.易于集成和扩展：本发明技术方案可以与现有的分布式链路追踪系统(如Zipkin)无缝集成，同时易于扩展，支持大规模和复杂的分布式系统。

基于同一发明构思，本申请实施例还提供了一种网络传输数据异常节点检测装置，可以用于实现上述实施例所描述的方法，如下面的实施例。由于网络传输数据异常节点检测装置解决问题的原理与网络传输数据异常节点检测方法相似，因此网络传输数据异常节点检测装置的实施可以参见网络传输数据异常节点检测方法实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本发明的实施例提供一种能够实现网络传输数据异常节点检测方法的网络传输数据异常节点检测装置的具体实施方式，参见图7，一种网络传输数据异常节点检测装置具体包括如下内容：

操作获取模块10，用于从网络中获取传输数据请求的至少一部分操作或事件；其中，所述网络基于交换端到端传输模式连接多个服务器节点；

滑动窗口生成模块20，用于根据业务需求以及所述网络的性能生成滑动窗口；其中，所述滑动窗口按照传输时间进行滑动；

异常节点检测模块30，用于根据所述至少一部分操作或事件以及所述滑动窗口检测传输数据异常节点。

在本发明的一些实施例中，所述网络包括：叶子层、汇聚层以及核心层；其中：

所有服务器节点连接至所述叶子层；

所述汇聚层用于将来自所述叶子层的流量聚集并转发到所述核心层；

所述核心层连接所述汇聚层中的所有交换机，用于在多个交换机中转发流量。

在本发明的一些实施例中，参见图8，所述操作获取模块10包括：

RDMA报文获取单元10a，用于从所述网络中获取RDMA报文；

RDMA报文解析单元10b，用于按照所述传输时间的顺序解析所述RDMA报文，以获取所述至少一部分操作或事件。

在本发明的一些实施例中，多个传输数据异常节点之间的通信接口为异步接口。

在本发明的一些实施例中，所述至少一部分操作或事件包括：

追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文。

在本发明的一些实施例中，参见图9，所述异常节点检测模块30包括：

阈值生成单元30a，用于根据所述业务需求以及所述网络的性能生成至少一个阈值；

检测参数输入单元30b，用于将所述追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文输入至所述滑动窗口；

大小关系判断单元30c，用于在所述滑动窗口内，判断所述追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文与所述至少一个阈值的大小关系；

异常节点检测单元30d，用于根据所述大小关系检测所述传输数据异常节点。

在本发明的一些实施例中，一种网络传输数据异常节点检测装置，参见图10，还包括：

滑动速度确定模块40，用于根据所述开始时间以及结束时间确定所述滑动窗口的滑动速度。

从上述描述可知，本发明实施例提供一种网络传输数据异常节点检测装置，包括：操作获取模块，用于从网络中获取传输数据请求的至少一部分操作或事件；其中，网络基于交换端到端传输模式连接多个服务器节点；滑动窗口生成模块，用于根据业务需求以及网络的性能生成滑动窗口；其中，滑动窗口按照传输时间进行滑动；异常节点检测模块，用于根据至少一部分操作或事件以及滑动窗口检测传输数据异常节点。

本发明针对交换端到端的网络传输模式，提供一种网络传输数据异常节点检测装置，该装置可以实时或近实时地进行传输数据异常节点检测，以提高对分布式链路异常的响应速度和准确性。

本申请的实施例还提供能够实现上述实施例中的网络传输数据异常节点检测方法中全部步骤的一种电子设备的具体实施方式，参见图11，电子设备具体包括如下内容：

处理器(processor)1201、存储器(memory)1202、通信接口(CommunicationsInterface)1203和总线1204；

其中，处理器1201、存储器1202、通信接口1203通过总线1204完成相互间的通信；通信接口1203用于实现服务器端设备以及客户端设备等相关设备之间的信息传输；

处理器1201用于调用存储器1202中的计算机程序，处理器执行计算机程序时实现上述实施例中的网络传输数据异常节点检测方法中的全部步骤，例如，处理器执行计算机程序时实现下述步骤：

步骤100：从网络中获取传输数据请求的至少一部分操作或事件；其中，所述网络基于交换端到端传输模式连接多个服务器节点；

步骤200：根据业务需求以及所述网络的性能生成滑动窗口；其中，所述滑动窗口按照传输时间进行滑动；

步骤300：根据所述至少一部分操作或事件以及所述滑动窗口检测传输数据异常节点。

本申请的实施例还提供能够实现上述实施例中的网络传输数据异常节点检测方法中全部步骤的一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的网络传输数据异常节点检测方法的全部步骤，例如，处理器执行计算机程序时实现下述步骤：

步骤100：从网络中获取传输数据请求的至少一部分操作或事件；其中，所述网络基于交换端到端传输模式连接多个服务器节点；

步骤200：根据业务需求以及所述网络的性能生成滑动窗口；其中，所述滑动窗口按照传输时间进行滑动；

步骤300：根据所述至少一部分操作或事件以及所述滑动窗口检测传输数据异常节点。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

虽然本申请提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。

Claims (10)

1.一种网络传输数据异常节点检测方法，其特征在于，包括：

从网络中获取传输数据请求的至少一部分操作或事件；其中，所述网络基于交换端到端传输模式连接多个服务器节点；

根据业务需求以及所述网络的性能生成滑动窗口；其中，所述滑动窗口按照传输时间进行滑动；

根据所述至少一部分操作或事件以及所述滑动窗口检测传输数据异常节点。

2.根据权利要求1所述的网络传输数据异常节点检测方法，其特征在于，所述网络包括：叶子层、汇聚层以及核心层；其中：

所有服务器节点连接至所述叶子层；

所述汇聚层用于将来自所述叶子层的流量聚集并转发到所述核心层；

所述核心层连接所述汇聚层中的所有交换机，用于在多个交换机中转发流量。

3.根据权利要求1所述的网络传输数据异常节点检测方法，其特征在于，所述从网络中获取传输数据请求的至少一部分操作或事件，包括：

从所述网络中获取RDMA报文；

按照所述传输时间的顺序解析所述RDMA报文，以获取所述至少一部分操作或事件。

4.根据权利要求1所述的网络传输数据异常节点检测方法，其特征在于，多个传输数据异常节点之间的通信接口为异步接口。

5.根据权利要求1至4任一项所述的网络传输数据异常节点检测方法，其特征在于，所述至少一部分操作或事件包括：

追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文。

6.根据权利要求5所述的网络传输数据异常节点检测方法，其特征在于，根据所述至少一部分操作或事件以及所述滑动窗口检测传输数据异常节点，包括：

根据所述业务需求以及所述网络的性能生成至少一个阈值；

将所述追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文输入至所述滑动窗口；

在所述滑动窗口内，判断所述追踪ID、跨度ID、操作名称、开始时间、结束时间、标签、日志以及上下文与所述至少一个阈值的大小关系；

根据所述大小关系检测所述传输数据异常节点。

7.根据权利要求6所述的网络传输数据异常节点检测方法，其特征在于，还包括：

根据所述开始时间以及结束时间确定所述滑动窗口的滑动速度。

8.一种网络传输数据异常节点检测装置，其特征在于，包括：

操作获取模块，用于从网络中获取传输数据请求的至少一部分操作或事件；其中，所述网络基于交换端到端传输模式连接多个服务器节点；

滑动窗口生成模块，用于根据业务需求以及所述网络的性能生成滑动窗口；其中，所述滑动窗口按照传输时间进行滑动；

异常节点检测模块，用于根据所述至少一部分操作或事件以及所述滑动窗口检测传输数据异常节点。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的网络传输数据异常节点检测方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的网络传输数据异常节点检测方法的步骤。