CN114285786B - 一种网络链路库的构建方法及装置 - Google Patents
一种网络链路库的构建方法及装置 Download PDFInfo
- Publication number
- CN114285786B CN114285786B CN202111601394.2A CN202111601394A CN114285786B CN 114285786 B CN114285786 B CN 114285786B CN 202111601394 A CN202111601394 A CN 202111601394A CN 114285786 B CN114285786 B CN 114285786B
- Authority
- CN
- China
- Prior art keywords
- address
- data transmission
- transmission path
- path information
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims description 7
- 230000005540 biological transmission Effects 0.000 claims abstract description 187
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000004931 aggregating effect Effects 0.000 claims abstract description 26
- 230000002776 aggregation Effects 0.000 claims abstract description 23
- 238000004220 aggregation Methods 0.000 claims abstract description 23
- 238000004140 cleaning Methods 0.000 claims abstract description 7
- 230000002159 abnormal effect Effects 0.000 claims description 43
- 238000004458 analytical method Methods 0.000 claims description 17
- 230000036541 health Effects 0.000 claims description 9
- 238000006116 polymerization reaction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000009960 carding Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种网络链路库的构建方法及装置,其中,可以获取每个负载均衡设备记录的数据传输路径信息;在各个数据传输路径信息中确定出不满足数据清洗条件的目标数据传输路径信息;基于各个目标数据传输路径信息的中间设备地址,对各个目标数据传输路径信息进行聚合处理,获得每个中间设备地址对应的初始网络链路;对各个初始网络链路进行聚合,获得网络链路库;网络链路库包括多个应用访问路径组;每个应用访问路径组包含应用访问路径,每个应用访问路径包括目标发送端地址、至少一个中间设备地址以及目标接收端地址。能够对连接对信息进行聚合,从而可以快速的构建网络链路库,进而可以基于网络链路库快速的进行故障定位。
Description
技术领域
本发明涉及数据处理技术领域,特别涉及一种网络链路库的构建方法及装置。
背景技术
随着信息科技的发展,人们对计算机网络的日益依赖,使得计算机网络本身运行的可靠性变得至关重要,因此人们对网络管理也就有了更高的要求。
目前,在对网络的管理过程中,通常会通过各个负载均衡设备采集网络中的各个设备之间的流量路径信息,然后对连接对信息进行简单的分类,在设备发生故障时,难以从数量众多的连接对信息中确定出故障设备及影响范围,无法满足技术人员的网络管理需求。
发明内容
本发明所要解决的技术问题是提供一种网络链路库的构建方法,能够快速准确的构建出网络链路库,从而可以实现故障定位。
本发明还提供了一种网络链路库的构建装置,用以保证上述方法在实际中的实现及应用。
一种网络链路库的构建方法,包括:
响应于链路分析指令,确定所述链路分析指令对应的各个负载均衡设备;
获取每个所述负载均衡设备预先记录的各个数据传输路径信息;每个所述数据传输路径信息包括发送端地址、中间设备地址以及接收端地址;所述中间设备地址为记录所述数据传输路径信息的负载均衡设备的地址;
在各个所述数据传输路径信息中确定出不满足预先设置的数据清洗条件的目标数据传输路径信息;
基于各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行聚合处理,获得每个所述中间设备地址对应的初始网络链路;
在每个所述初始网络链路的各个发送端地址中确定出目标发送端地址,以及在每个所述初始网络链路的各个接收端地址中确定出目标接收端地址;所述目标发送端地址对应的目标发送端归属于预设的第一应用模块;所述目标接收端地址对应的目标接收端归属于预设的第二应用模块;
根据各个所述目标发送端地址以及各个所述目标接收端地址,对各个所述初始网络链路进行聚合,获得网络链路库;所述网络链路库包括多个应用访问路径组;每个所述应用访问路径组包含至少一个应用访问路径,每个所述应用访问路径包括目标发送端地址、至少一个中间设备地址以及目标接收端地址。
上述的方法,可选的,所述基于各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行聚合处理,获得每个所述中间设备地址对应的初始网络链路,包括:
根据各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行划分,获得多个数据组;每个所述数据组包含多个中间设备地址一致的目标数据传输路径信息;
对每个数据组的各个目标数据传输路径信息进行聚合,获得每个所述中间设备地址对应的初始网络链路;每个所述中间设备地址对应的初始网络链路包括多个发送端地址、所述中间设备地址以及多个接收端地址。
上述的方法,可选的,所述根据各个所述目标发送端地址以及各个所述目标接收端地址,对各个所述初始网络链路进行聚合,获得网络链路库,包括:
确定所述初始网络链路的各个所述发送端地址中除所述目标发送端地址以外地址为中间设备地址,以及确定所述初始网络链路的各个所述接收端地址中除所述目标接收端地址以外的地址为中间设备地址;
基于各个所述初始网络链路的中间设备地址,对各个初始网络链路进行聚合,获得网络链路库。
上述的方法,可选的,所述在各个所述数据传输路径信息中确定出不满足预先设置的数据清洗条件的目标数据传输路径信息,包括:
在各个所述数据传输路径信息中,确定出传输协议为预设的TCP传输控制协议的第一数据传输路径信息;
在各个所述第一数据传输路径信息中,确定出除所述负载均衡设备进行健康检查所产生的第一数据传输路径信息以外的第二数据传输路径信息;
在各个所述第二数据传输路径信息中,确定出所述负载均衡设备成功传输数据所产生的第三数据传输路径信息;
将所述第三数据传输路径信息确定为满足所述数据清洗条件的目标数据传输路径信息。
上述的方法,可选的,所述获得网络链路库之后,还包括:
当接收到异常查询请求时,获取所述异常查询请求中包含的异常地址;
将所述异常地址与所述网络链路库进行匹配,以确定出所述异常地址对应的应用访问路径;
显示所述异常地址对应的应用访问路径。
一种网络链路库的构建装置,包括:
第一确定单元,用于响应于链路分析指令,确定所述链路分析指令对应的各个负载均衡设备;
获取单元,用于获取每个所述负载均衡设备预先记录的各个数据传输路径信息;每个所述数据传输路径信息包括发送端地址、中间设备地址以及接收端地址;所述中间设备地址为记录所述数据传输路径信息的负载均衡设备的地址;
第二确定单元,用于在各个所述数据传输路径信息中确定出不满足预先设置的数据清洗条件的目标数据传输路径信息;
第一聚合单元,用于基于各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行聚合处理,获得每个所述中间设备地址对应的初始网络链路;
第三确定单元,用于在每个所述初始网络链路的各个发送端地址中确定出目标发送端地址,以及在每个所述初始网络链路的各个接收端地址中确定出目标接收端地址;所述目标发送端地址对应的目标发送端归属于预设的第一应用模块;所述目标接收端地址对应的目标接收端归属于预设的第二应用模块;
第二聚合单元,用于根据各个所述目标发送端地址以及各个所述目标接收端地址,对各个所述初始网络链路进行聚合,获得网络链路库;所述网络链路库包括多个应用访问路径组;每个所述应用访问路径组包含至少一个应用访问路径,每个所述应用访问路径包括目标发送端地址、至少一个中间设备地址以及目标接收端地址。
上述的装置,可选的,所述第一聚合单元,包括:
第一执行子单元,用于根据各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行划分,获得多个数据组;每个所述数据组包含多个中间设备地址一致的目标数据传输路径信息;
第一聚合子单元,用于对每个数据组的各个目标数据传输路径信息进行聚合,获得每个所述中间设备地址对应的初始网络链路;每个所述中间设备地址对应的初始网络链路包括多个发送端地址、所述中间设备地址以及多个接收端地址。
上述的装置,可选的,所述第二聚合单元,包括:
第一确定子单元,用于确定所述初始网络链路的各个所述发送端地址中除所述目标发送端地址以外地址为中间设备地址,以及确定所述初始网络链路的各个所述接收端地址中除所述目标接收端地址以外的地址为中间设备地址;
第二聚合子单元,用于基于各个所述初始网络链路的中间设备地址,对各个初始网络链路进行聚合,获得网络链路库。
上述的装置,可选的,所述第二确定单元,包括:
第二确定子单元,用于在各个所述数据传输路径信息中,确定出传输协议为预设的TCP传输控制协议的第一数据传输路径信息;
第三确定子单元,用于在各个所述第一数据传输路径信息中,确定出除所述负载均衡设备进行健康检查所产生的第一数据传输路径信息以外的第二数据传输路径信息;
第四确定子单元,用于在各个所述第二数据传输路径信息中,确定出所述负载均衡设备成功传输数据所产生的第三数据传输路径信息;
第五确定子单元,用于将所述第三数据传输路径信息确定为满足所述数据清洗条件的目标数据传输路径信息。
上述的装置,可选的,还包括:
接收单元,用于当接收到异常查询请求时,获取所述异常查询请求中包含的异常地址;
匹配单元,用于将所述异常地址与所述网络链路库进行匹配,以确定出所述异常地址对应的应用访问路径;
显示单元,用于显示所述异常地址对应的应用访问路径。
基于本发明实施例提供的一种网络链路库的构建方法及装置,该方法包括:响应于链路分析指令,确定所述链路分析指令对应的各个负载均衡设备;获取每个所述负载均衡设备预先记录的各个数据传输路径信息;每个所述数据传输路径信息包括发送端地址、中间设备地址以及接收端地址;所述中间设备地址为记录所述数据传输路径信息的负载均衡设备的地址;在各个所述数据传输路径信息中确定出不满足预先设置的数据清洗条件的目标数据传输路径信息;基于各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行聚合处理,获得每个所述中间设备地址对应的初始网络链路;在每个所述初始网络链路的各个发送端地址中确定出目标发送端地址,以及在每个所述初始网络链路的各个接收端地址中确定出目标接收端地址;所述目标发送端地址对应的目标发送端归属于预设的第一应用模块;所述目标接收端地址对应的目标接收端归属于预设的第二应用模块;根据各个所述目标发送端地址以及各个所述目标接收端地址,对各个所述初始网络链路进行聚合,获得网络链路库;所述网络链路库包括多个应用访问路径组;每个所述应用访问路径组包含至少一个应用访问路径,每个所述应用访问路径包括目标发送端地址、至少一个中间设备地址以及目标接收端地址。能够对连接对信息进行聚合,从而可以快速的构建网络链路库,进而可以基于网络链路库快速的进行故障定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种网络链路库的构建方法的方法流程图;
图2为本发明提供的一种获得每个中间设备地址对应的初始网络链路的过程的流程图;
图3为本发明提供的一种数据处理系统的结构示例图;
图4为本发明提供的一种初始网络链路的示例图;
图5为本发明提供的一种网络链路的示例图;
图6为本发明提供的一种应用访问组的示例图;
图7为本发明提供的一种网络链路库的构建装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明可用于众多通用或专用的计算装置环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本发明实施例提供了一种网络链路库的构建方法,该方法可以应用在多种系统平台,其执行主体可以为计算机终端或各种移动设备的处理器,所述方法的方法流程图如图1所示,具体包括:
S101:响应于链路分析指令,确定所述链路分析指令对应的各个负载均衡设备。
在本实施例中,链路分析指令对应的负载均衡设备可以为各种类型的负载均衡设备,例如,可以为F5负载均衡设备,负载均衡设备用于设置在一组功能相同或相似的服务器前端,对到达服务器组的流量进行合理分发。
S102:获取每个所述负载均衡设备预先记录的各个数据传输路径信息;每个所述数据传输路径信息包括发送端地址、中间设备地址以及接收端地址;所述中间设备地址为记录所述数据传输路径信息的负载均衡设备的地址。
在本实施例中,数据传输路径信息可以为连接对信息,数据传输路径信息可以表征数据由发送端地址所属的设备流向中间设备地址所属的负载设备,再由负载均衡设备流向接收端地址所属的设备;发送端地址所属的设备和接收端地址所属的设备,可以为各种类型的电子设备,例如,可以为服务器集群中的服务器。
可选的,发送端地址可以包括发送端的IP地址和端口,接收端地址可以包括接收端的IP地址和端口。
S103:在各个所述数据传输路径信息中确定出不满足预先设置的数据清洗条件的目标数据传输路径信息。
在本实施例中,可以判断各个数据传输路径信息是否满足预设的数据清洗条件,可以将满足数据清洗条件的数据传输路径信息进行清洗,将不满足数据清洗条件的数据传输路径信息确定为目标数据传输路径信息。
可选的,数据清洗条件可以为数据传输路径信息对应的数据传输协议不为TCP传输控制协议、数据传输路径信息为负载均衡设备自身健康检查所产生的或数据传输路径信息对应的数据包未成功分发。
S104:基于各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行聚合处理,获得每个所述中间设备地址对应的初始网络链路。
在本实施例中,对各个目标数据传输路径信息进行聚合处理,可以对各个目标数据传输路径信息中重复的目标数据传输路径进行合并,对中间设备地址相同的各个目标数据路径信息中重复的发送端地址、重复的中间设备地址或重复的接收端地址进行合并。
S105:在每个所述初始网络链路的各个发送端地址中确定出目标发送端地址,以及在每个所述初始网络链路的各个接收端地址中确定出目标接收端地址;所述目标发送端地址对应的目标发送端归属于预设的第一应用模块;所述目标接收端地址对应的目标接收端归属于预设的第二应用模块。
在本实施例中,第一应用模块可以是发送数据的应用模块,第二应用模块可以是接收数据的应用模块,可以将各个发送端地址和各个接收端地址与预设的对照关系表进行匹配,以确定出各个发送端地址中的目标发送端地址、各个接收端地址中的目标接收端地址,对象关系表中包含各个地址与各个应用模块的关联关系,对于每个与应用模块存在关联关系的地址,该地址对应的设备归属于该应用模块。
S106:根据各个所述目标发送端地址以及各个所述目标接收端地址,对各个所述初始网络链路进行聚合,获得网络链路库;所述网络链路库包括多个应用访问路径组;每个所述应用访问路径组包含至少一个应用访问路径,每个所述应用访问路径包括目标发送端地址、至少一个中间设备地址以及目标接收端地址。
在本实施中,各个应用访问路径组可以对应的不同的第一应用模块,每个应用访问路径组中的应用访问路径中的各个目标发送端地址对应的第一应用模块一致。
应用本发明实施例提供的方法,能够对连接对信息进行聚合,从而可以快速的构建网络链路库,进而可以基于网络链路库快速的进行故障定位。
在本发明提供的一实施例中,基于上述的实施过程,可选的,所述基于各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行聚合处理,获得每个所述中间设备地址对应的初始网络链路,如图2所示,包括:
S201:根据各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行划分,获得多个数据组;每个所述数据组包含多个中间设备地址一致的目标数据传输路径信息。
在本实施例中,根据各个目标数据传输路径信息中的中间设备地址,对各个目标数据传输路径信息进行划分,获得每个中间设备地址对应的数据组。
S202:对每个数据组的各个目标数据传输路径信息进行聚合,获得每个所述中间设备地址对应的初始网络链路;每个所述中间设备地址对应的初始网络链路包括多个发送端地址、所述中间设备地址以及多个接收端地址。
可选的,对于每个数据组,将该数据组中的各个目标数据传输路径信息进行聚合,获得初始网络链路,初始网络链路包含多个发送端地址、一个中间设备地址以及多个接收端地址。
在本发明提供的一实施例中,基于上述的实施过程,可选的,所述根据各个所述目标发送端地址以及各个所述目标接收端地址,对各个所述初始网络链路进行聚合,获得网络链路库,包括:
确定所述初始网络链路的各个所述发送端地址中除所述目标发送端地址以外地址为中间设备地址,以及确定所述初始网络链路的各个所述接收端地址中除所述目标接收端地址以外的地址为中间设备地址;
基于各个所述初始网络链路的中间设备地址,对各个初始网络链路进行聚合,获得网络链路库。
在本实施例中,可以先确定各个中间设备之间的连接关系,根据各个中间设备之间的连接关系对各个中间设备对应的初始网络链路进行聚合,获得网络链路库。
在本发明提供的一实施例中,基于上述的实施过程,可选的,所述在各个所述数据传输路径信息中确定出不满足预先设置的数据清洗条件的目标数据传输路径信息,包括:
在各个所述数据传输路径信息中,确定出传输协议为预设的TCP传输控制协议的第一数据传输路径信息;
在各个所述第一数据传输路径信息中,确定出除所述负载均衡设备进行健康检查所产生的第一数据传输路径信息以外的第二数据传输路径信息;
在各个所述第二数据传输路径信息中,确定出所述负载均衡设备成功传输数据所产生的第三数据传输路径信息;
将所述第三数据传输路径信息确定为满足所述数据清洗条件的目标数据传输路径信息。
在本实施例中,可以过滤传输协议不为TCP传输控制协议的数据传输路径信息、负载均衡设备进行健康检查所产生的数据传输路径信息以及未成功传输的数据传输路径信息。
在本发明提供的一实施例中,基于上述的实施过程,可选的,所述获得网络链路库之后,还包括:
当接收到异常查询请求时,获取所述异常查询请求中包含的异常地址;
将所述异常地址与所述网络链路库进行匹配,以确定出所述异常地址对应的应用访问路径;
显示所述异常地址对应的应用访问路径。
在本实施例中,异常地址可以是异常设备的地址,也可以是异常应用模块的设备的地址。
可选的,通过确定出异常地址对应的应用访问路径,可以快速的确定异常的应用范围,以及具体的故障位置。
本发明实施例提供的一种网络链路库的构建方法,可以应用在多种领域之中,例如,可以应用于银行系统中,银行系统中包含包含有多个设备组成的网络,例如,可以包括多个服务器集群、负载均衡设备、数据处理设备和配置中心。
可选的,服务器的负载均衡器是指设置在一组功能相同或相似的服务器前端,对到达服务器组的流量进行合理分发,并在其中某一台服务器故障时,能将访问请求转移到其它可以正常工作的服务器的软件或网络设备,本实施例中的负载均衡设备可以为F5负载均衡设备。
在本发明实施例中,在F5设备上定时采集连接对信息,每一条连接对信息如“10.227.4.71:60672、10.235.91.221:555、10.235.91.193:60672、10.235.214.169:555、tcp、11、(tmm:2)”,这里面有4个IP和端口信息,从左往右依次表示发送端IP和端口,F5VS(F5虚拟服务器)的IP和端口,Floating IP(浮动IP地址)和端口,以及接收端IP和端口信息。
在一些实施例中,如图3所示,为本发明实施例提供的一种数据处理系统的结构示例图,可以通过F5采集模块获取每个F5设备定时采集到的连接对信息,即数据传输路径信息,由F5数据处理模块对F5采集模块获取到的连接对信息进行数据清洗和数据归并,获得网络链路库。具体过程如下:
首先进行数据清洗,可以清理连接对信息中非TCP(传输控制协议)连接对的数据、F5自身健康检查的连接对数据以及没有分发成功的数据,将剩下的连接对信息作为目标数据传输路径信息。
然后进行数据归并,数据归并可以分为三部分,分别为源IP归并、目的IP归并和F5VS归并。
在本发明实施例中,可以结合配置库,使得每一个IP可以得到该IP关联的F5PoolMember(负载均衡池成员),F5 PoolMember可以进一步关联应用模块或者F5VS;F5VS可以通过连接对中F5VS的IP和端口进行归并。
第一步:对具有相同的源IP、F5VS IP和端口、目的IP和端口这三个要素归并,得到每一个访问关系的元数据,并记录该访问关系出现的次数,作为该访问对的活跃度。
第二步:在第一步基础上,分别以F5VS IP和端口作为要素进行归并,如图4所示,为本发明实施例提供的一种初始网络链路的示例图,可以把具有相同F5VS IP和端口的访问对进行归并,分别清理源端和目的端的重复IP,得到初始网络链路。
第三步:在第二步基础上,对比源目IP,找到源目IP访问的所有F5 VS,进一步精炼得到一组网络链路,如图5所示,为本发明实施例提供的一种网络链路的示例图,网络链路表明有一组源IP,中间通过多个并联的F5VS访问另一组IP。
第四步:在第三步的基础上,结合配置库,源端的IP组根据各自分属的F5 Pool(负载均衡池)找到自身对应的集群,并且根据IP与应用模块的关系,进一步知道所属的应用模块,目的端IP组进行同样分析,值得一提的是目的端IP有可能关联的是F5VS,即存在F5级联的情况,那么继续回到第三步分析,直至目的IP关联应用模块为止。最终,得到该数据中心所有部署应用的相互访问链路,形成链路访问关系库,链路访问关系库中的每一应用访问组,如图6所示,为本发明实施例提供的一种应用访问组的示例图。应用访问的每一个源IP与目的IP组成一个应访问路径,结合配置库,可以得到应用网络路径对应的网络链路,及该链路上的网络设备,形成网络链路库。
在本发明提供的一实施例中,在构建出网络链路库之后,可以梳理得到数据中心全部应用的部署和访问关系,清除隐蔽链路、未知访问等带来的生产运行隐患。在已知某网络设备故障的情况下,根据网络链路库,得到该网络设备所在的网络链路,找到影响的IP对,再通过表一查询影响的应用和交易链路。在已知多个应用异常的情况下,可以根据应用链路访问关系库,确定异常应用关联的IP对,然后结合网络链路库,找到这些IP对公共的网络设备,该网络设备的故障概率非常高。
与图1所述的方法相对应,本发明实施例还提供了一种网络链路库的构建装置,用于对图1中方法的具体实现,本发明实施例提供的网络链路库的构建装置可以应用于服务器中,其结构示意图如图7所示,具体包括:
第一确定单元701,用于响应于链路分析指令,确定所述链路分析指令对应的各个负载均衡设备;
获取单元702,用于获取每个所述负载均衡设备预先记录的各个数据传输路径信息;每个所述数据传输路径信息包括发送端地址、中间设备地址以及接收端地址;所述中间设备地址为记录所述数据传输路径信息的负载均衡设备的地址;
第二确定单元703,用于在各个所述数据传输路径信息中确定出不满足预先设置的数据清洗条件的目标数据传输路径信息;
第一聚合单元704,用于基于各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行聚合处理,获得每个所述中间设备地址对应的初始网络链路;
第三确定单元705,用于在每个所述初始网络链路的各个发送端地址中确定出目标发送端地址,以及在每个所述初始网络链路的各个接收端地址中确定出目标接收端地址;所述目标发送端地址对应的目标发送端归属于预设的第一应用模块;所述目标接收端地址对应的目标接收端归属于预设的第二应用模块;
第二聚合单元706,用于根据各个所述目标发送端地址以及各个所述目标接收端地址,对各个所述初始网络链路进行聚合,获得网络链路库;所述网络链路库包括多个应用访问路径组;每个所述应用访问路径组包含至少一个应用访问路径,每个所述应用访问路径包括目标发送端地址、至少一个中间设备地址以及目标接收端地址。
在本发明提供的一实施例中,基于上述的方案,可选的,所述第一聚合单元704,包括:
第一执行子单元,用于根据各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行划分,获得多个数据组;每个所述数据组包含多个中间设备地址一致的目标数据传输路径信息;
第一聚合子单元,用于对每个数据组的各个目标数据传输路径信息进行聚合,获得每个所述中间设备地址对应的初始网络链路;每个所述中间设备地址对应的初始网络链路包括多个发送端地址、所述中间设备地址以及多个接收端地址。
在本发明提供的一实施例中,基于上述的方案,可选的,所述第二聚合单元706,包括:
第一确定子单元,用于确定所述初始网络链路的各个所述发送端地址中除所述目标发送端地址以外地址为中间设备地址,以及确定所述初始网络链路的各个所述接收端地址中除所述目标接收端地址以外的地址为中间设备地址;
第二聚合子单元,用于基于各个所述初始网络链路的中间设备地址,对各个初始网络链路进行聚合,获得网络链路库。
在本发明提供的一实施例中,基于上述的方案,可选的,所述第二确定单元703,包括:
第二确定子单元,用于在各个所述数据传输路径信息中,确定出传输协议为预设的TCP传输控制协议的第一数据传输路径信息;
第三确定子单元,用于在各个所述第一数据传输路径信息中,确定出除所述负载均衡设备进行健康检查所产生的第一数据传输路径信息以外的第二数据传输路径信息;
第四确定子单元,用于在各个所述第二数据传输路径信息中,确定出所述负载均衡设备成功传输数据所产生的第三数据传输路径信息;
第五确定子单元,用于将所述第三数据传输路径信息确定为满足所述数据清洗条件的目标数据传输路径信息。
在本发明提供的一实施例中,基于上述的方案,可选的,还包括:
接收单元,用于当接收到异常查询请求时,获取所述异常查询请求中包含的异常地址;
匹配单元,用于将所述异常地址与所述网络链路库进行匹配,以确定出所述异常地址对应的应用访问路径;
显示单元,用于显示所述异常地址对应的应用访问路径。
上述本发明实施例公开的网络链路库的构建装置中的各个单元和模块具体的原理和执行过程,与上述本发明实施例公开的网络链路库的构建方法相同,可参见上述本发明实施例提供的网络链路库的构建方法中相应的部分,这里不再进行赘述。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种网络链路库的构建方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种网络链路库的构建方法,其特征在于,包括:
响应于链路分析指令,确定所述链路分析指令对应的各个负载均衡设备;
获取每个所述负载均衡设备预先记录的各个数据传输路径信息;每个所述数据传输路径信息包括发送端地址、中间设备地址以及接收端地址;所述中间设备地址为记录所述数据传输路径信息的负载均衡设备的地址;
在各个所述数据传输路径信息中确定出不满足预先设置的数据清洗条件的目标数据传输路径信息;
基于各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行聚合处理,获得每个所述中间设备地址对应的初始网络链路;
在每个所述初始网络链路的各个发送端地址中确定出目标发送端地址,以及在每个所述初始网络链路的各个接收端地址中确定出目标接收端地址;所述目标发送端地址对应的目标发送端归属于预设的第一应用模块;所述目标接收端地址对应的目标接收端归属于预设的第二应用模块;
根据各个所述目标发送端地址以及各个所述目标接收端地址,对各个所述初始网络链路进行聚合,获得网络链路库;所述网络链路库包括多个应用访问路径组;每个所述应用访问路径组包含至少一个应用访问路径,每个所述应用访问路径包括目标发送端地址、至少一个中间设备地址以及目标接收端地址。
2.根据权利要求1所述的方法,其特征在于,所述基于各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行聚合处理,获得每个所述中间设备地址对应的初始网络链路,包括:
根据各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行划分,获得多个数据组;每个所述数据组包含多个中间设备地址一致的目标数据传输路径信息;
对每个数据组的各个目标数据传输路径信息进行聚合,获得每个所述中间设备地址对应的初始网络链路;每个所述中间设备地址对应的初始网络链路包括多个发送端地址、所述中间设备地址以及多个接收端地址。
3.根据权利要求1所述的方法,其特征在于,所述根据各个所述目标发送端地址以及各个所述目标接收端地址,对各个所述初始网络链路进行聚合,获得网络链路库,包括:
确定所述初始网络链路的各个所述发送端地址中除所述目标发送端地址以外地址为中间设备地址,以及确定所述初始网络链路的各个所述接收端地址中除所述目标接收端地址以外的地址为中间设备地址;
基于各个所述初始网络链路的中间设备地址,对各个初始网络链路进行聚合,获得网络链路库。
4.根据权利要求1所述的方法,其特征在于,所述在各个所述数据传输路径信息中确定出不满足预先设置的数据清洗条件的目标数据传输路径信息,包括:
在各个所述数据传输路径信息中,确定出传输协议为预设的TCP传输控制协议的第一数据传输路径信息;
在各个所述第一数据传输路径信息中,确定出除所述负载均衡设备进行健康检查所产生的第一数据传输路径信息以外的第二数据传输路径信息;
在各个所述第二数据传输路径信息中,确定出所述负载均衡设备成功传输数据所产生的第三数据传输路径信息;
将所述第三数据传输路径信息确定为不满足所述数据清洗条件的目标数据传输路径信息。
5.根据权利要求1所述的方法,其特征在于,所述获得网络链路库之后,还包括:
当接收到异常查询请求时,获取所述异常查询请求中包含的异常地址;
将所述异常地址与所述网络链路库进行匹配,以确定出所述异常地址对应的应用访问路径;
显示所述异常地址对应的应用访问路径。
6.一种网络链路库的构建装置,其特征在于,包括:
第一确定单元,用于响应于链路分析指令,确定所述链路分析指令对应的各个负载均衡设备;
获取单元,用于获取每个所述负载均衡设备预先记录的各个数据传输路径信息;每个所述数据传输路径信息包括发送端地址、中间设备地址以及接收端地址;所述中间设备地址为记录所述数据传输路径信息的负载均衡设备的地址;
第二确定单元,用于在各个所述数据传输路径信息中确定出不满足预先设置的数据清洗条件的目标数据传输路径信息;
第一聚合单元,用于基于各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行聚合处理,获得每个所述中间设备地址对应的初始网络链路;
第三确定单元,用于在每个所述初始网络链路的各个发送端地址中确定出目标发送端地址,以及在每个所述初始网络链路的各个接收端地址中确定出目标接收端地址;所述目标发送端地址对应的目标发送端归属于预设的第一应用模块;所述目标接收端地址对应的目标接收端归属于预设的第二应用模块;
第二聚合单元,用于根据各个所述目标发送端地址以及各个所述目标接收端地址,对各个所述初始网络链路进行聚合,获得网络链路库;所述网络链路库包括多个应用访问路径组;每个所述应用访问路径组包含至少一个应用访问路径,每个所述应用访问路径包括目标发送端地址、至少一个中间设备地址以及目标接收端地址。
7.根据权利要求6所述的装置,其特征在于,所述第一聚合单元,包括:
第一执行子单元,用于根据各个所述目标数据传输路径信息的中间设备地址,对各个所述目标数据传输路径信息进行划分,获得多个数据组;每个所述数据组包含多个中间设备地址一致的目标数据传输路径信息;
第一聚合子单元,用于对每个数据组的各个目标数据传输路径信息进行聚合,获得每个所述中间设备地址对应的初始网络链路;每个所述中间设备地址对应的初始网络链路包括多个发送端地址、所述中间设备地址以及多个接收端地址。
8.根据权利要求7所述的装置,其特征在于,所述第二聚合单元,包括:
第一确定子单元,用于确定所述初始网络链路的各个所述发送端地址中除所述目标发送端地址以外地址为中间设备地址,以及确定所述初始网络链路的各个所述接收端地址中除所述目标接收端地址以外的地址为中间设备地址;
第二聚合子单元,用于基于各个所述初始网络链路的中间设备地址,对各个初始网络链路进行聚合,获得网络链路库。
9.根据权利要求7所述的装置,其特征在于,所述第二确定单元,包括:
第二确定子单元,用于在各个所述数据传输路径信息中,确定出传输协议为预设的TCP传输控制协议的第一数据传输路径信息;
第三确定子单元,用于在各个所述第一数据传输路径信息中,确定出除所述负载均衡设备进行健康检查所产生的第一数据传输路径信息以外的第二数据传输路径信息;
第四确定子单元,用于在各个所述第二数据传输路径信息中,确定出所述负载均衡设备成功传输数据所产生的第三数据传输路径信息;
第五确定子单元,用于将所述第三数据传输路径信息确定为满足所述数据清洗条件的目标数据传输路径信息。
10.根据权利要求6所述的装置,其特征在于,还包括:
接收单元,用于当接收到异常查询请求时,获取所述异常查询请求中包含的异常地址;
匹配单元,用于将所述异常地址与所述网络链路库进行匹配,以确定出所述异常地址对应的应用访问路径;
显示单元,用于显示所述异常地址对应的应用访问路径。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111601394.2A CN114285786B (zh) | 2021-12-24 | 2021-12-24 | 一种网络链路库的构建方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111601394.2A CN114285786B (zh) | 2021-12-24 | 2021-12-24 | 一种网络链路库的构建方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114285786A CN114285786A (zh) | 2022-04-05 |
CN114285786B true CN114285786B (zh) | 2023-12-08 |
Family
ID=80875195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111601394.2A Active CN114285786B (zh) | 2021-12-24 | 2021-12-24 | 一种网络链路库的构建方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114285786B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115866071A (zh) * | 2023-02-28 | 2023-03-28 | 中信云网有限公司 | 初始设备属性信息的上报路径确定方法及装置 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004104709A (ja) * | 2002-09-12 | 2004-04-02 | Furukawa Electric Co Ltd:The | アクセスネットワークシステム |
JP2005136589A (ja) * | 2003-10-29 | 2005-05-26 | Hitachi Cable Ltd | アグリゲーション機能付き中継装置 |
WO2012136078A1 (en) * | 2011-04-06 | 2012-10-11 | Hangzhou H3C Technologies Co., Ltd. | A method for traffic load balancing |
US8661295B1 (en) * | 2011-03-31 | 2014-02-25 | Amazon Technologies, Inc. | Monitoring and detecting causes of failures of network paths |
CN105743816A (zh) * | 2014-12-10 | 2016-07-06 | 华为技术有限公司 | 一种链路聚合方法及装置 |
WO2016161836A1 (zh) * | 2015-04-07 | 2016-10-13 | 胡汉强 | 一种数据传输方法及控制面设备、转发面设备 |
CN106982170A (zh) * | 2017-04-19 | 2017-07-25 | 上海海加网络科技有限公司 | 基于Linux系统的多链路负载均衡方法及装置 |
CN107493178A (zh) * | 2016-06-12 | 2017-12-19 | 富士通株式会社 | 信息聚合方法、装置和系统 |
CN108123824A (zh) * | 2016-11-30 | 2018-06-05 | 华为技术有限公司 | 一种网络故障检测方法及装置 |
CN111008075A (zh) * | 2019-12-05 | 2020-04-14 | 安超云软件有限公司 | 一种负载均衡系统、方法、装置、设备及介质 |
CN111049752A (zh) * | 2019-12-17 | 2020-04-21 | 锐捷网络股份有限公司 | 多传输线路的负载均衡方法及装置 |
CN111654402A (zh) * | 2020-06-23 | 2020-09-11 | 中国平安财产保险股份有限公司 | 网络拓扑创建方法、装置、设备及存储介质 |
CN111740860A (zh) * | 2020-06-15 | 2020-10-02 | 中国工商银行股份有限公司 | 日志数据传输链路监控方法及装置 |
CN112291116A (zh) * | 2020-11-23 | 2021-01-29 | 迈普通信技术股份有限公司 | 链路故障检测方法、装置及网络设备 |
CN113298672A (zh) * | 2021-05-21 | 2021-08-24 | 中国电信股份有限公司 | 市电故障监测方法及装置、系统、存储介质、电子设备 |
CN113364678A (zh) * | 2021-06-18 | 2021-09-07 | 北京奇艺世纪科技有限公司 | 数据传输系统、方法、装置、电子设备和计算机可读介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7333501B2 (en) * | 2005-01-14 | 2008-02-19 | Cisco Technology, Inc. | Techniques for determining network nodes to represent, multiple subnetworks for a routing protocol |
-
2021
- 2021-12-24 CN CN202111601394.2A patent/CN114285786B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004104709A (ja) * | 2002-09-12 | 2004-04-02 | Furukawa Electric Co Ltd:The | アクセスネットワークシステム |
JP2005136589A (ja) * | 2003-10-29 | 2005-05-26 | Hitachi Cable Ltd | アグリゲーション機能付き中継装置 |
US8661295B1 (en) * | 2011-03-31 | 2014-02-25 | Amazon Technologies, Inc. | Monitoring and detecting causes of failures of network paths |
WO2012136078A1 (en) * | 2011-04-06 | 2012-10-11 | Hangzhou H3C Technologies Co., Ltd. | A method for traffic load balancing |
CN105743816A (zh) * | 2014-12-10 | 2016-07-06 | 华为技术有限公司 | 一种链路聚合方法及装置 |
WO2016161836A1 (zh) * | 2015-04-07 | 2016-10-13 | 胡汉强 | 一种数据传输方法及控制面设备、转发面设备 |
CN107493178A (zh) * | 2016-06-12 | 2017-12-19 | 富士通株式会社 | 信息聚合方法、装置和系统 |
CN108123824A (zh) * | 2016-11-30 | 2018-06-05 | 华为技术有限公司 | 一种网络故障检测方法及装置 |
CN106982170A (zh) * | 2017-04-19 | 2017-07-25 | 上海海加网络科技有限公司 | 基于Linux系统的多链路负载均衡方法及装置 |
CN111008075A (zh) * | 2019-12-05 | 2020-04-14 | 安超云软件有限公司 | 一种负载均衡系统、方法、装置、设备及介质 |
CN111049752A (zh) * | 2019-12-17 | 2020-04-21 | 锐捷网络股份有限公司 | 多传输线路的负载均衡方法及装置 |
CN111740860A (zh) * | 2020-06-15 | 2020-10-02 | 中国工商银行股份有限公司 | 日志数据传输链路监控方法及装置 |
CN111654402A (zh) * | 2020-06-23 | 2020-09-11 | 中国平安财产保险股份有限公司 | 网络拓扑创建方法、装置、设备及存储介质 |
CN112291116A (zh) * | 2020-11-23 | 2021-01-29 | 迈普通信技术股份有限公司 | 链路故障检测方法、装置及网络设备 |
CN113298672A (zh) * | 2021-05-21 | 2021-08-24 | 中国电信股份有限公司 | 市电故障监测方法及装置、系统、存储介质、电子设备 |
CN113364678A (zh) * | 2021-06-18 | 2021-09-07 | 北京奇艺世纪科技有限公司 | 数据传输系统、方法、装置、电子设备和计算机可读介质 |
Non-Patent Citations (2)
Title |
---|
基于链路响应的负载均衡网络实现;鞠洪尧;;齐齐哈尔大学学报(自然科学版)(第03期);全文 * |
基于链路聚合的数据专网互联网出口边缘侧保护机制;周伟;朱家琪;金豪;;通信技术(第11期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114285786A (zh) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11269718B1 (en) | Root cause detection and corrective action diagnosis system | |
US9665420B2 (en) | Causal engine and correlation engine based log analyzer | |
US10389596B2 (en) | Discovering application topologies | |
US9189355B1 (en) | Method and system for processing a service request | |
CN109308266A (zh) | 测试用例的构建方法、测试方法、装置、设备和介质 | |
US9043317B2 (en) | System and method for event-driven prioritization | |
WO2017027320A1 (en) | System and methods for detecting bots real-time | |
CN107124289B (zh) | 网络日志时间对齐方法、装置及主机 | |
US20200349647A1 (en) | System and method for crowd-sourced refinement of natural phenomenon for risk management and contract validation | |
CN111800501B (zh) | 处理业务请求的方法及装置、存储介质、电子设备 | |
US10185614B2 (en) | Generic alarm correlation by means of normalized alarm codes | |
CN110851471B (zh) | 分布式日志数据处理方法、装置以及系统 | |
US11811587B1 (en) | Generating incident response action flows using anonymized action implementation data | |
CN111784516A (zh) | 业务路径的确定方法、装置和电子设备 | |
CN112737800A (zh) | 服务节点故障定位方法、调用链生成方法及服务器 | |
CN107483381A (zh) | 关联账户的监控方法及装置 | |
CN114710400A (zh) | 故障设备定位方法、装置、电子设备、介质和程序产品 | |
CN108989101B (zh) | 一种日志输出系统、方法及电子设备 | |
CN114285786B (zh) | 一种网络链路库的构建方法及装置 | |
CN112491601B (zh) | 流量拓扑生成方法、装置、存储介质及电子设备 | |
KR20200007912A (ko) | 데이터 트래픽을 모니터링하기 위한 방법, 장치 및 시스템 | |
CN117061334A (zh) | 一种链路告警处理方法、装置、设备及存储介质 | |
CN105554786B (zh) | 一种定位网络问题的方法及装置 | |
EP4270183A1 (en) | Public cloud tenant service management method and device | |
CN114844771A (zh) | 微服务系统的监测方法、装置、存储介质、程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |