CN101202652B - 网络应用流量分类识别装置及其方法 - Google Patents
网络应用流量分类识别装置及其方法 Download PDFInfo
- Publication number
- CN101202652B CN101202652B CN2006101652968A CN200610165296A CN101202652B CN 101202652 B CN101202652 B CN 101202652B CN 2006101652968 A CN2006101652968 A CN 2006101652968A CN 200610165296 A CN200610165296 A CN 200610165296A CN 101202652 B CN101202652 B CN 101202652B
- Authority
- CN
- China
- Prior art keywords
- application
- flow
- protocol
- traffic
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种网络应用流量分类识别装置，包括：动态流分类装置，以报文包含的IP五元组信息为键值建立散列表，利用散列表检索网络流表；<地址，端口>对匹配装置，通过检索地址对信息表来对收到的报文进行匹配；服务端口匹配装置，通过检索服务端口表来对收到的报文进行匹配；流量/行为特征匹配装置，针对流的前M个报文，统计流量特征和行为特征，并与流量/行为特征模式库中的信息进行匹配；协议特征码匹配装置，将报文净荷的前L个字节与协议特征码库中的协议特征码进行匹配；决策装置，综合分析判别网络流所属的应用类型或应用协议；网络拓扑探测装置，针对不同的应用服务，搜索当前活跃节点，用节点信息动态更新地址对信息表。
Description
技术领域
本发明涉及网络应用流量分类识别装置及其方法，特别涉及计算机网络和数据通信领域的网络应用流量分类识别装置及其方法。
背景技术
网络应用流量分类识别是许多核心网络业务的关键共性技术。它将汇聚流量中属于不同应用类型或应用协议的流量区分出来，以便系统分别进行处理。以网络监测为例，人们需要从流量中采集和记录特定应用的信息，了解应用的实际状况并研究其对网络的影响，以指导对网络和互联网的规划、配置与管理。再如，区分服务(Diffserv)通过建立从应用类型到服务类型的映射关系，为不同应用类型的网络流量提供不同的服务保证。而对于入侵检测/入侵防御系统来说，应用协议异常检测和高效的攻击特征码检测都是以细粒度的、精确的应用协议识别为前提的。
近年来随着互联网和网络应用的飞速发展，特别是对等(Peer-to-Peer，简称P2P)网络、层叠网络、匿名网络等新兴网络技术的出现和普及，传统的网络应用流量分类识别技术面临日趋严峻的挑战，基于服务端口或者协议特征码的单一技术手段已经不能满足业务的需要，主要表现在：(1)由于可供注册的TCP/UDP端口数目有限，大量新兴应用协议不再注册缺省服务端口；(2)出于安全性和灵活性的考虑，许多应用协议采用了动态端口协商或者自定义端口注册机制；(3)为了穿越防火墙，一些应用协议会占用某些其他协议(如HTTP协议)的常用服务端口(如TCP80端口)进行通信；(4)应用协议越来越多、越来越复杂，许多私有协议没有公开完整的协议规范，协议特征码的提取变得非常困难；(5)一些应用协议为了通信安全采用了净荷加密技术，已经难以基于协议特征码进行识别。
因此，需要一种综合多种技术手段、高效、精确、实用的网络应用流量分类识别的装置和方法，以实现对流量的实时高精确度的应用感知和分 类控制。
发明内容
本发明的目的在于提供一种网络应用流量分类识别装置及其方法，该方法能够综合不同应用协议的特点区分出不同应用的类型。
本发明的网络应用流量分类识别装置的特征在于，包括：动态流分类装置，在该装置中以报文包含的IP五元组信息为键值建立散列表，通过将报文的键值依次与散列表项所指链表中各流记录的键值比较检索网络流表；<地址，端口>对匹配装置，以报文的<源地址，源端口>对、<目的地址，目的端口>对作为键值建立散列表，利用该散列表检索网络拓扑信息表来对收到的报文进行匹配；服务端口匹配装置，将报文的源端口和目的端口作为键值建立散列表，利用该散列表检索服务端口表来对收到的报文进行匹配；流量/行为特征匹配装置，针对流的前M个报文，统计此网络流以及<源IP，目的IP>地址对的流量特征和行为特征，并与流量/行为特征模式库中的信息进行匹配；协议特征码匹配装置，将报文净荷的前L个字节与协议特征码库中的协议特征码进行匹配；决策装置，从流记录表项中读取缓存的中间结果并与各匹配装置得到的有效输出结果一起进行综合分析，判别网络流所属的应用类型或应用协议；网络拓扑探测装置，针对不同的应用服务，搜索当前活跃节点，用节点信息动态更新网络拓扑信息表。
本发明的网络应用流量分类识别装置的特征还在于，所述网络流表用于记录网络流的IP五元组、应用类型/应用协议、中间结果、流量与行为特征、状态等信息，采用散列表方式进行组织，采用链表方式解决散列碰撞。
本发明的网络应用流量分类识别装置的特征还在于，所述网络拓扑信息表用于记录<地址，端口>对及其所对应的应用类型/应用协议、匹配度等信息，采用散列表方式进行组织，采用链表方式解决散列碰撞。
本发明的网络应用流量分类识别装置的特征还在于，所述流量/行为特征匹配装置中维护有地址对信息表用于记录<源IP，目的IP>地址对的流量特征与行为特征，采用散列表方式进行组织，采用链表方式解决散列碰撞。
本发明的网络应用流量分类识别装置的特征还在于，所述流量/行为特 征模式库，用于记录各种应用类型或者应用协议的流量与行为特征模式以及匹配度等信息。
本发明的网络应用流量分类识别装置的特征还在于，所述协议特征码库，用于记录各种应用协议的特征码串及匹配度等信息。
本发明的网络应用流量分类识别方法的特征在于，包括：动态流分类步骤，在该步骤中以报文包含的IP五元组信息为键值建立散列表，利用该散列表检索网络流表；判断报文在流中的次序是否超出预定窗口的步骤，在该步骤中判断该报文是否可知；<地址，端口>对匹配步骤，以报文的<源地址，源端口>对、<目的地址，目的端口>对作为键值建立散列表，利用该散列表检索网络拓扑信息表来对收到的报文进行匹配；服务端口匹配步骤，将报文的源端口和目的端口作为键值建立散列表，利用该散列表检索服务端口表来对收到的报文进行匹配；流量/行为特征匹配步骤，针对流的前M个报文，统计此网络流以及<源IP，目的IP>地址对的流量特征和行为特征，并与流量/行为特征模式库中的信息进行匹配；协议特征码匹配步骤，将报文净荷的前L个字节与协议特征码库中的协议特征码进行匹配；决策步骤，从流记录表项中读取缓存的中间结果并与各匹配步骤得到的有效输出结果一起进行综合分析，判别网络流所属的应用类型或应用协议；网络拓扑探测步骤，针对不同的应用服务，搜索当前活跃节点，用节点信息动态更新网络拓扑信息表。
本发明的网络应用流量分类识别方法的特征还在于，所述网络流表用于记录网络流的IP五元组、应用类型/应用协议、中间结果、流量与行为特征、状态等信息，采用散列表方式进行组织，采用链表方式解决散列碰撞。
本发明的网络应用流量分类识别方法的特征还在于，所述网络拓扑信息表用于记录<地址，端口>对及其所对应的应用类型/应用协议、匹配度等信息，采用散列表方式进行组织，采用链表方式解决散列碰撞。
本发明的网络应用流量分类识别方法的特征还在于，所述地址对信息表用于记录<源IP，目的IP>地址对的流量特征与行为特征，采用散列表方式进行组织，采用链表方式解决散列碰撞。
本发明的网络应用流量分类识别方法的特征还在于，所述流量/行为特 征模式库，用于记录各种应用类型或者应用协议的流量与行为特征模式以及匹配度等信息。
本发明的网络应用流量分类识别方法的特征还在于，所述协议特征码库，用于记录各种应用协议的特征码串及匹配度等信息。
本发明的网络应用流量分类识别装置综合了多种技术手段、高效、精确、实用，实现了对流量的实时高精确度的应用感知和分类控制。
附图说明
图1是本发明的网络应用流量分类识别装置的结构示意图。
图2是本发明的网络应用流量分类识别方法的一个实施例。
具体实施方式
本发明的网络应用流量分类识别装置包括：动态流分类装置1，在该装置中以报文包含的IP五元组信息为键值建立散列表，利用该散列表检索网络流表；<地址，端口>对匹配装置3，以报文的<源地址，源端口>对、<目的地址，目的端口>对作为键值建立散列表，利用该散列表检索网络拓扑信息表来对收到的报文进行匹配；服务端口匹配装置4，将报文的源端口和目的端口作为键值建立散列表，利用该散列表检索服务端口表来对收到的报文进行匹配；流量/行为特征匹配装置5，针对流的前M个报文，统计此网络流以及<源IP，目的IP>地址对的流量特征和行为特征，并与流量/行为特征模式库中的信息进行匹配；协议特征码匹配装置6，将报文净荷的前L个字节与协议特征码库中的协议特征码进行匹配；决策装置7，从流记录表项中读取缓存的中间结果并与各匹配装置得到的有效输出结果一起进行综合分析，判别网络流所属的应用类型或应用协议；网络拓扑探测装置2，针对不同的应用服务，搜索当前活跃节点，用节点信息动态更新网络拓扑信息表。
在动态流分类装置1中维护有网络流表11，该网络流表11用于记录网络流的IP五元组、应用类型/应用协议、中间结果、流量与行为特征、状态等信息，采用散列表方式进行组织，采用链表方式解决散列碰撞；在网络拓扑探测装置2中维护有网络拓扑信息表21，该网络拓扑信息表21用于记 录<地址，端口>对及其所对应的应用类型/应用协议、匹配度等信息，采用散列表方式进行组织，采用链表方式解决散列碰撞；在服务端口匹配装置4中维护有服务端口表41，该服务端口表41用于记录特定应用协议所采用的缺省端口及匹配度等信息，采用线性表方式进行组织，表项与端口号一一对应；在流量/行为特征匹配装置5中维护有地址对信息表31，用于记录<源IP，目的IP>地址对的流量特征与行为特征，采用散列表方式进行组织，采用链表方式解决散列碰撞；在流量/行为特征匹配装置5中维护有流量/行为特征模式库51，用于记录各种应用类型或者应用协议的流量与行为特征模式以及匹配度等信息；在协议特征码匹配装置6中维护有协议特征码库61，用于记录各种应用协议的特征码串及匹配度等信息。
本发明的网络应用流量分类识别的方法，包括：动态流分类步骤S10，在该步骤中以报文包含的IP五元组信息为键值建立散列表，利用该散列表检索网络流表；判断报文在流中的次序是否超出预定窗口的步骤S18，在该步骤中判断该报文是否可知；<地址，端口>对匹配步骤S20，该步骤将报文中的<源IP地址，源端口>对、<目的IP地址，目的端口>对分别与网络拓扑信息表中的<地址，端口>对进行匹配，得到对应的应用类型/应用协议以及匹配度信息；服务端口匹配步骤S30，将报文的源端口和目的端口分别与服务端口表中的TCP/UDP端口进行匹配，得到对应的应用类型/应用协议以及匹配度信息；流量/行为特征匹配步骤S40，该步骤针对流的前M个报文统计每条流以及<源IP，目的IP>地址对的流量特征与行为特征信息，如报文大小分布、报文到达间隔分布、连接次数、文件传输行为等等，并与流量/行为特征模式库中的模式进行匹配，得到对应的应用类型/应用协议以及匹配度信息；协议特征码匹配步骤S50，该步骤针对流的前N个报文将报文净荷与协议特征码库中的应用协议特征码进行匹配，得到对应的应用协议以及匹配度信息；决策步骤S60，对<地址，端口>对匹配装置、服务端口匹配装置、流量/行为特征匹配装置和协议特征码匹配装置输出的应用类型/应用协议和匹配度信息进行综合分析，最终确定网络流所属的应用类型或应用协议，并将其连同报文的<目的IP地址，端口>信息一起交给网络拓扑探测装置对网络拓扑信息表进行动态更新；网络拓扑探测步骤
[实施例]
网络流表11采用散列表方式进行组织，采用链表方式解决散列碰撞，其中流记录表项的结构如下表所示：
网络拓扑信息表21，用于记录<地址，端口>对及其所对应的应用类型/应用协议、匹配度等信息，采用散列表方式进行组织，采用链表方式解决散列碰撞，其中<地址，端口>表项的结构如下表所示：
| 数据信息(按照存储顺序排 | 长度 | 含义 |
| 列) | (位) | |
| <地址，端口>对(ipport) | 64 | IP地址、TCP/UDP端口 |
| 应用类型/应用协议信息 (appinfo) | 32 | 应用类型/应用协议 |
| 匹配度(weight) | 32 | 匹配度 |
服务端口表41，用于记录特定应用协议所采用的缺省端口及匹配度等信息，采用线性表方式进行组织，表项与端口号一一对应，表项的结构如下表所示：
地址对信息表31，用于记录<源IP，目的IP>地址对的流量特征与行为特征，采用散列表方式进行组织，采用链表方式解决散列碰撞，其中<源IP，目的IP>表项的结构如下表所示；
| 数据信息(按照存储顺序排 列) | 长度 (位) | 含义 |
| 源IP(sip) | 32 | 源IP地址 |
| 目的IP(dip) | 8 | 目的IP地址 |
| 流量与行为特征(features) | 不定 | 若干流量特征统计值、行 为特征统计值 |
流量/行为特征模式库51，记录各种应用类型或者应用协议的流量/行为特征模式以及匹配度等信息。一条流量/行为特征模式的结构如下所示：
| 数据信息(按照存储顺序排 列) | 长度 (位) | 含义 |
| 流量/行为特征模式(pattern) | 不定 | <a1，a2，...，an> |
| 应用类型/应用协议信息 (appinfo) | 32 | 应用类型/应用协议 |
| 匹配度(weight) | 32 | 匹配度 |
协议特征码库61，记录各种应用协议的特征码串及匹配度等信息。一条协议特征码的结构如下表所示：
| 数据信息(按照存储顺序排 列) | 长度 (位) | 含义 |
| 协议特征码(signature) | 不定 | |
| 应用类型/应用协议信息 (appinfo) | 32 | 应用类型/应用协议 |
| 匹配度(weight) | 32 | 匹配度 |
动态流量分类装置1根据报文包含的IP五元组信息查询网络流表11，确定报文所属的网络流，并根据当前分类识别的状态把流的首报文交给<地址，端口>对匹配装置3和服务端口匹配装置4进行处理，把流的前M个 报文交给流量/行为特征匹配装置5进行处理，把流的前N个报文交给协议特征码匹配装置6进行处理。网络拓扑探测装置2针对不同的应用服务主动搜索当前活跃节点，将节点的IP地址、TCP/UDP侦听端口、应用类型/应用协议等信息添加到网络拓扑信息表21中。<地址，端口>对匹配装置3将报文中的<源IP地址，源端口>对、<目的IP地址，目的端口>对分别和网络拓扑信息表21中的<地址，端口>对数据进行匹配，得到对应的应用类型/应用协议以及匹配度信息。服务端口匹配装置4将报文中的源端口和目的端口值分别与服务端口表41中的端口数据进行匹配，得到对应的应用类型/应用协议以及匹配度信息。流量/行为特征匹配装置5对针对流的前M个报文统计每条流以及<源IP，目的IP>地址对的流量特征与行为特征信息——统计值分别保存在网络流表11的features字段和地址对信息表31中，并将统计结果与流量/行为特征模式库51中的模式进行匹配，得到对应的应用类型/应用协议以及匹配度信息；协议特征码匹配装置6针对流的前N个报文将报文净荷的前L个字节与协议特征码库61中的协议特征码进行匹配，得到对应的应用协议以及匹配度信息。决策装置7对<地址，端口>对匹配装置3、服务端口匹配装置4、流量/行为特征匹配装置5、协议特征码匹配装置6输出的应用类型/应用协议和匹配度信息进行综合分析，最终确定网络流所属的应用类型或应用协议，并将其连同报文的<目的IP地址，端口>信息一起交给网络拓扑探测装置2对网络拓扑信息表21进行动态更新。
在本发明的网络应用流量分类识别的方法包括如下步骤：
1)动态流分类步骤S10，在该步骤中以报文包含的IP五元组信息为键值代入散列函数H1，计算得到索引值i。函数H1典型的计算公式为：
i＝(sIP+dIP+sPort+dPort+Protocol)％CTSize，
其中CTSize为网络流表11的散列表长。
根据索引值i找到网络流表11中对应的散列表项E，将报文的键值依次与散列表项所指链表中各流记录的键值进行比较，如果找到键值相等的流记录，则确定了报文属于该记录对应的流；否则新建流记录表项，把其中应用类型/应用协议、中间结果、流量与行为特征信息等字段清空；查看流记录表项中的应用类型/应用协议信息是否为空S15，如果不为空，则表明流所属的应用类型或应用协议已知，结束所有操作；否则说明流所属的应用类型/应用协议还没有确定，则判断报文在流中的次序是否超出预定窗口max(M，N)S18，如果超出预定窗口max(M，N)，则将流记录表项的应用类型/应用协议字段的值置为“不可知”，结束，如果没有超出预定窗口max(M，N)则按照后述的S20～S60步骤判断流量类型；
2)<地址，端口>对匹配步骤S20，以报文的<源地址sIP，源端口sPort>对、<目的地址dIP，目的端口dPort>对作为键值代入散列函数H3计算得索引k；散列函数H3的典型计算公式为
k＝(sIP+sPort)％IPPortSize或k＝(dIP+dPort)％IPPortSize，
其中IPPortSize为网络拓扑信息表21的散列表长，典型取值为65536。
根据索引号k在网络拓扑信息表21中找到对应的散列表项，将报文的键值依次与散列表项所指链表中各<地址，端口>对键值进行比较。如果找到键值相等的记录，则匹配成功，将匹配结果<appinfo2，weight2>交给决策装置7，前进到决策步骤S60；
3)服务端口匹配步骤S30，将报文的源端口sPort和目的端口dPort作为键值代入散列函数H2计算得索引j；散列函数H2的典型计算公式为：
j＝sPort％SvrPortSize或j＝dPort％SvrPortSize，
其中SvrPortSize为服务端口表41表长，取值为65536。
根据索引号j在服务端口表41中找到对应的散列表项，如果散列表项 的应用类型/应用协议信息字段不为空，则匹配成功，将匹配结果<appinfol，weightl>交给决策装置7，前进到决策步骤S60；
4)流量/行为特征匹配步骤S40，针对流的前M个报文，统计此网络流以及<源IP，目的IP>地址对的流量特征和行为特征，分别保存到网络流表11的features字段和地址对信息表31中，将得到的n个统计值组成一个特征向量<a1，a2，...，an>，与流量/行为特征模式库51中的模式进行匹配。如果找到匹配的模式，则将得到的结果<appinfo3，weight3>交给决策装置7，前进到决策步骤S60；
5)协议特征码匹配步骤S50，将报文净荷的前L个字节与协议特征码库61中的协议特征码进行匹配，如果找到匹配的协议特征码，则将得到的结果<appinfo4，weight4>交给决策装置7，前进到决策步骤S60；
6)决策步骤S60，从流记录表项中读取缓存的中间结果cache1～cache4，并与步骤S30～S60得到的有效输出结果一起进行综合分析，判别能否最终确定网络流所属的应用类型或应用协议，本实例采用如下判别方法：将上述结果中同一应用类型/应用协议的匹配度进行累加，选出匹配度最高的应用类型/应用协议，如果其匹配度大于等于设定的阈值，则将此应用类型/应用协议信息作为结果输出，保存到网络流表11的应用类型/应用协议信息字段中，并将其连同报文的<目的IP地址，端口>信息一起交给网络拓扑探测装置2，对网络拓扑信息表21进行动态更新；否则，将步骤S20～S50得到的有效输出结果作为中间结果，保存到流记录表项的cache1～cache4中，等待下一个报文到达时从步骤S10开始继续进行应用分类识别。
7)网络拓扑探测步骤S70，针对不同的应用服务，主动搜索当前活跃节点，将节点的IP地址、TCP/UDP侦听端口、应用类型/应用协议等信息更新到网络拓扑信息表21中；
本发明已经在申请人研制的应用安全网关和P2P监测系统中试应用， 取得了很好的效果，应用分类识别精确度高、各项指标优异，实现了本发明的目的。本发明具有很好的实用性和推广应用前景。
尽管为说明目的公开了本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于具体实施例和附图所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
Claims (12)
1.一种网络应用流量分类识别装置，其特征在于，包括：动态流分类装置，在该装置中以报文包含的IP五元组信息为键值代入散列函数H1，计算得到索引值i，根据索引值i找到网络流表中对应的散列表项，将报文的键值依次与散列表项所指链表中各流记录的键值比较；若找到键值相等的流记录，则该报文属于该记录对应的流；否则新建流记录表项，清空应用类型或应用协议信息、中间结果和流量与行为特征信息；查看流记录表项中的应用类型或应用协议信息是否为空，若不为空，则流所属的应用类型或应用协议已知；否则将流的首报文输入<地址，端口>对匹配装置和服务端口匹配装置，流的前M个报文输入流量/行为特征匹配装置，流的前N个报文输入协议特征匹配装置；
<地址，端口>对匹配装置，以报文的<源地址，源端口>对或<目的地址，目的端口>对作为键值建立散列表，利用该散列表检索网络拓扑信息表来对收到的报文进行匹配；
服务端口匹配装置，将报文的源端口和目的端口作为键值建立散列表，利用该散列表检索服务端口表来对收到的报文进行匹配；
流量/行为特征匹配装置，针对流的前M个报文，统计此网络流以及<源IP，目的IP>地址对的流量特征和行为特征，并与流量/行为特征模式库中的信息进行匹配；
协议特征码匹配装置，针对流的前N个报文，将报文净荷的前L个字节与协议特征码库中的协议特征码进行匹配；
决策装置，从流记录表项中读取缓存的中间结果，并将其与各匹配装置得到的有效输出结果中同一应用类型或应用协议的匹配度进行累加，通过判断所述应用类型或应用协议的最高匹配度是否大于等于设定阈值，判别网络流所属的应用类型或应用协议：若匹配度大于等于设定阈值，则保存该匹配度到网络流表的应用类型或应用协议信息字段中；若匹配度小于设定阈值，则保存各匹配装置得到的有效输出结果到流记录表项的cache1 至cache4中，用于下一报文到达时的分类识别；
网络拓扑探测装置，针对不同的应用服务，搜索当前活跃节点，用节点信息动态更新网络拓扑信息表。
2.如权利要求1所述的网络应用流量分类识别装置，其特征在于，所述网络流表用于记录网络流的IP五元组、应用类型/应用协议、中间结果、流量与行为特征和状态信息，采用散列表方式进行组织，采用链表方式解决散列碰撞。
3.如权利要求1所述的网络应用流量分类识别装置，其特征在于，所述网络拓扑信息表，用于记录<地址，端口>对及其所对应的应用类型/应用协议和匹配度信息，采用散列表方式进行组织，采用链表方式解决散列碰撞。
4.如权利要求1所述的网络应用流量分类识别装置，其特征在于，所述流量/行为特征匹配装置中维护有地址对信息表，用于记录<源IP，目的IP>地址对的流量特征与行为特征，采用散列表方式进行组织，采用链表方式解决散列碰撞。
5.如权利要求1所述的网络应用流量分类识别装置，其特征在于，所述流量/行为特征模式库，用于记录各种应用类型或者应用协议的流量与行为特征模式以及匹配度信息。
6.如权利要求1所述的网络应用流量分类识别装置，其特征在于，所述协议特征码库，用于记录各种应用协议的特征码串及匹配度信息。
7.一种网络应用流量分类识别方法，其特征在于，包括：
动态流分类步骤，将报文包含的IP五元组信息代入散列函数H1，计算得到索引值i，根据索引值i找到网络流表中对应的散列表项，将报文的键值依次与散列表项所指链表中各流记录的键值比较，如找到键值相等的流记录，则确定了报文属于该流记录对应的流；否则新建流记录表项，清空应用类型或应用协议、中间结果和流量与行为特征信息；查看流记录表项中的应用类型或应用协议信息，如果不为空，则表明流所属的应用类型或应用协议已知；否则说明流所属的应用类型/应用协议还没有确定；
判断报文在流中的次序是否超出预定窗口的步骤，在该步骤中判断该 报文在流中的次序是否超出预定窗口，如果超出则将流记录表项的应用类型/应用协议字段的值置为“不可知”，否则按以下步骤判断流量类型；
<地址，端口>对匹配步骤，以报文的<源地址，源端口>对或<目的地址，
目的端口>对作为键值建立散列表，利用该散列表检索网络拓扑信息表来对
收到的报文进行匹配；
服务端口匹配步骤，将报文的源端口和目的端口作为键值建立散列表，利用该散列表检索服务端口表来对收到的报文进行匹配；
流量/行为特征匹配步骤，针对流的前M个报文，统计此网络流以及<源'，目的IP>地址对的流量特征和行为特征，并与流量/行为特征模式库中的信息进行匹配；
协议特征码匹配步骤，针对流的前N个报文，将报文净荷的前L个字节与协议特征码库中的协议特征码进行匹配；
决策步骤，从流记录表项中读取缓存的中间结果并与各匹配步骤得到的有效输出结果中同一应用类型/应用协议的匹配度进行累加，选出匹配度最高的应用类型/应用协议，如其匹配度大于等于设定的阈值，则将其作为结果输出，保存到网络流表的应用类型/应用协议信息字段中；否则将各匹配装置得到的有效输出结果作为中间结果保存到流记录表项中，等待下一个报文到达时继续进行应用分类识别；判别网络流所属的应用类型或应用协议；
网络拓扑探测步骤，针对不同的应用服务，搜索当前活跃节点，用节点信息动态更新网络拓扑信息表。
8.如权利要求7所述的网络应用流量分类识别方法，其特征在于，所述网络流表用于记录网络流的IP五元组、应用类型/应用协议、中间结果、流量与行为特征和状态信息，采用散列表方式进行组织，采用链表方式解决散列碰撞。
9.如权利要求7所述的网络应用流量分类识别方法，其特征在于，所述网络拓扑信息表，用于记录<地址，端口>对及其所对应的应用类型/应用协议和匹配度信息，采用散列表方式进行组织，采用链表方式解决散列碰撞。
10.如权利要求7所述的网络应用流量分类识别方法，其特征在于，所述流量/行为特征匹配步骤中<源IP，目的IP>地址对的流量特征与行为特征记录在地址对信息表中，所述地址对信息表采用散列表方式进行组织，采用链表方式解决散列碰撞。
11.如权利要求7所述的网络应用流量分类识别方法，其特征在于，所述流量/行为特征模式库，用于记录各种应用类型或者应用协议的流量与行为特征模式以及匹配度信息。
12.如权利要求7所述的网络应用流量分类识别方法，其特征在于，所述协议特征码库，用于记录各种应用协议的特征码串及匹配度信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2006101652968A CN101202652B (zh) | 2006-12-15 | 2006-12-15 | 网络应用流量分类识别装置及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2006101652968A CN101202652B (zh) | 2006-12-15 | 2006-12-15 | 网络应用流量分类识别装置及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101202652A CN101202652A (zh) | 2008-06-18 |
| CN101202652B true CN101202652B (zh) | 2011-05-04 |
Family
ID=39517634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2006101652968A Expired - Fee Related CN101202652B (zh) | 2006-12-15 | 2006-12-15 | 网络应用流量分类识别装置及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101202652B (zh) |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101183988B (zh) * | 2007-11-19 | 2010-08-18 | 成都市华为赛门铁克科技有限公司 | 一种识别报文对应的业务类型的方法及其装置 |
| CN101340449B (zh) * | 2008-08-15 | 2011-09-14 | 宇龙计算机通信科技(深圳)有限公司 | 移动终端及获得上网信息的方法 |
| CN101388848B (zh) * | 2008-10-13 | 2010-12-22 | 北京航空航天大学 | 网络处理器结合通用处理器的流量识别方法 |
| CN101741608B (zh) * | 2008-11-10 | 2012-05-23 | 北京启明星辰信息技术股份有限公司 | 一种基于流量特征的p2p应用识别系统及方法 |
| CN101425876B (zh) * | 2008-12-16 | 2015-04-22 | 北京中创信测科技股份有限公司 | 通信协议破译方法和装置 |
| EP2371091A4 (en) * | 2008-12-30 | 2012-07-11 | Hewlett Packard Development Co | STORING NETWORK FLOW INFORMATION |
| CN101902484B (zh) * | 2009-05-25 | 2013-11-13 | 北京启明星辰信息技术股份有限公司 | 局域网http应用业务分类方法及系统 |
| CN102075404A (zh) * | 2009-11-19 | 2011-05-25 | 华为技术有限公司 | 一种报文检测方法及装置 |
| CN101783816B (zh) * | 2010-03-22 | 2013-04-17 | 杭州华三通信技术有限公司 | 一种下载流量控制方法和设备 |
| CN102025636B (zh) * | 2010-12-09 | 2012-09-05 | 北京星网锐捷网络技术有限公司 | 报文特征处理方法、装置及网络设备 |
| CN102006588B (zh) * | 2010-12-28 | 2013-03-20 | 北京安天电子设备有限公司 | 智能手机网络行为监控的方法和系统 |
| EP2530874B1 (en) * | 2011-06-03 | 2020-04-29 | AirMagnet, Inc. | Method and apparatus for detecting network attacks using a flow based technique |
| CN102201937B (zh) * | 2011-06-13 | 2013-10-23 | 刘胜利 | 基于心跳行为分析的快速木马检测方法 |
| CN102325078B (zh) * | 2011-06-28 | 2014-04-02 | 北京星网锐捷网络技术有限公司 | 应用识别方法及设备 |
| CN102315974B (zh) * | 2011-10-17 | 2014-08-27 | 北京邮电大学 | 基于层次化特征分析的tcp、udp流量在线识别方法和装置 |
| CN103548323B (zh) * | 2012-02-03 | 2017-02-01 | 华为技术有限公司 | 流识别的方法、设备和系统 |
| CN102664773A (zh) * | 2012-05-22 | 2012-09-12 | 中国人民解放军信息工程大学 | 一种网络流量的探测方法和探测装置 |
| CN102752216B (zh) * | 2012-07-13 | 2015-11-04 | 中国科学院计算技术研究所 | 一种识别动态特征应用流量的方法 |
| WO2014029098A1 (zh) * | 2012-08-23 | 2014-02-27 | 华为技术有限公司 | 一种报文控制方法和装置 |
| CN103220329B (zh) * | 2013-03-07 | 2017-02-08 | 汉柏科技有限公司 | 基于协议内容识别和行为识别的p2p协议识别方法 |
| CN103297270A (zh) * | 2013-05-24 | 2013-09-11 | 华为技术有限公司 | 应用类型识别方法及网络设备 |
| CN104579805A (zh) * | 2013-10-12 | 2015-04-29 | 郑州冰川网络技术有限公司 | 一种新的网络流量识别方法 |
| CN103716187B (zh) * | 2013-12-20 | 2017-03-29 | 新浪网技术(中国)有限公司 | 网络拓扑结构确定方法和系统 |
| CN103763194B (zh) * | 2013-12-31 | 2017-08-22 | 新华三技术有限公司 | 一种报文转发方法及装置 |
| CN103916294B (zh) | 2014-04-29 | 2018-05-04 | 华为技术有限公司 | 协议类型的识别方法和装置 |
| CN104125105B (zh) * | 2014-08-14 | 2017-07-18 | 北京锐安科技有限公司 | 对互联网应用场所分类的方法和装置 |
| CN104394032A (zh) * | 2014-11-24 | 2015-03-04 | 北京美琦华悦通讯科技有限公司 | 实现ott应用流量特征快速鉴别的系统及方法 |
| JP6462879B2 (ja) | 2014-12-09 | 2019-01-30 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | 適応的フローテーブルを処理する方法及び装置 |
| US10270724B2 (en) | 2015-03-02 | 2019-04-23 | Pismo Labs Technology Limited | Methods and systems for processing messages at a multi-SIM network node |
| US9699627B2 (en) | 2014-12-10 | 2017-07-04 | Pismo Labs Technology Limited | Methods and systems for processing messages at a network node |
| US10063585B2 (en) * | 2015-03-18 | 2018-08-28 | Qualcomm Incorporated | Methods and systems for automated anonymous crowdsourcing of characterized device behaviors |
| TWI569606B (zh) * | 2015-07-21 | 2017-02-01 | 黃能富 | 網路資料辨識與管理系統及其方法 |
| CN105187436B (zh) * | 2015-09-25 | 2019-03-08 | 中国航天科工集团第二研究院七〇六所 | 一种基于散列表的包过滤主机网络控制方法 |
| CN106559281A (zh) * | 2015-09-29 | 2017-04-05 | 中国电信股份有限公司 | 生成应用特征库的方法和装置、虚拟机、及终端 |
| CN105592137B (zh) * | 2015-10-14 | 2019-04-09 | 新华三技术有限公司 | 一种应用类型的识别方法和装置 |
| CN105812188A (zh) * | 2016-04-25 | 2016-07-27 | 北京网康科技有限公司 | 流量识别方法及装置 |
| CN107787003A (zh) * | 2016-08-24 | 2018-03-09 | 中兴通讯股份有限公司 | 一种流量检测的方法和装置 |
| CN108234345B (zh) * | 2016-12-21 | 2021-11-30 | 中国移动通信集团湖北有限公司 | 一种终端网络应用的流量特征识别方法、装置和系统 |
| CN107612906B (zh) * | 2017-09-15 | 2022-05-24 | 南京安讯科技有限责任公司 | 一种精确识别跨报文协议特征的方法 |
| CN109995605B (zh) * | 2018-01-02 | 2021-04-13 | 中国移动通信有限公司研究院 | 一种流量识别方法、装置以及计算机可读存储介质 |
| CN109728977B (zh) * | 2019-01-14 | 2022-09-27 | 电子科技大学 | Jap匿名流量检测方法及系统 |
| CN109905486B (zh) * | 2019-03-18 | 2021-09-21 | 杭州迪普科技股份有限公司 | 一种应用程序识别展示方法和装置 |
| CN110149248B (zh) * | 2019-06-06 | 2020-03-03 | 杭州商湾网络科技有限公司 | 一种快速统计分析路由器流量的方法 |
| CN112751812A (zh) * | 2019-10-31 | 2021-05-04 | 北京京东振世信息技术有限公司 | 应用协议自适配的方法和装置 |
| CN113271263B (zh) * | 2020-02-17 | 2023-01-06 | 华为技术服务有限公司 | 一种数据处理方法及其设备 |
| CN111865823B (zh) * | 2020-06-24 | 2022-11-01 | 东南大学 | 一种轻量化以太坊加密流量识别方法 |
| CN113283498B (zh) * | 2021-05-21 | 2024-10-18 | 东南大学 | 一种面向高速网络的vpn流量快速识别方法 |
| CN115766911A (zh) * | 2022-10-26 | 2023-03-07 | 安徽继远软件有限公司 | 一种智能化在线服务协议解码方法 |
| CN116248593B (zh) * | 2022-12-30 | 2024-11-26 | 天翼云科技有限公司 | 一种流表关键字匹配方法、装置、电子设备和存储介质 |
| CN117221242B (zh) * | 2023-09-01 | 2024-09-03 | 安徽慢音科技有限公司 | 一种网络流向识别方法、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6925085B1 (en) * | 2000-06-07 | 2005-08-02 | Advanced Micro Devices, Inc. | Packet classification using hash key signatures generated from interrupted hash function |
| CN1758625A (zh) * | 2004-10-09 | 2006-04-12 | 华为技术有限公司 | 一种对报文进行分类处理的方法 |
| CN1852297A (zh) * | 2005-11-11 | 2006-10-25 | 华为技术有限公司 | 网络数据流识别系统及方法 |
-
2006
- 2006-12-15 CN CN2006101652968A patent/CN101202652B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6925085B1 (en) * | 2000-06-07 | 2005-08-02 | Advanced Micro Devices, Inc. | Packet classification using hash key signatures generated from interrupted hash function |
| CN1758625A (zh) * | 2004-10-09 | 2006-04-12 | 华为技术有限公司 | 一种对报文进行分类处理的方法 |
| CN1852297A (zh) * | 2005-11-11 | 2006-10-25 | 华为技术有限公司 | 网络数据流识别系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| subhabrata Sen etal,.Accurate,Scalable In-Network Identification of P2PTrafficUsing Application Signatures.Proceedings of the 13th International Conference on World Wide Web.2004,512-521. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101202652A (zh) | 2008-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101202652B (zh) | 网络应用流量分类识别装置及其方法 | |
| KR101409563B1 (ko) | 애플리케이션 프로토콜 식별 방법 및 장치 | |
| US8239565B2 (en) | Flow record restriction apparatus and the method | |
| JP4759389B2 (ja) | パケット通信装置 | |
| Xiang et al. | Flexible deterministic packet marking: An IP traceback system to find the real source of attacks | |
| US8448234B2 (en) | Method and apparatus for deep packet inspection for network intrusion detection | |
| US8180916B1 (en) | System and method for identifying network applications based on packet content signatures | |
| US20060262789A1 (en) | Method and corresponding device for packets classification | |
| US8272056B2 (en) | Efficient intrusion detection | |
| CN101626323A (zh) | 一种网络数据流量监测方法和装置 | |
| CN101184000A (zh) | 基于报文采样和应用签名的互联网应用流量识别方法 | |
| CN111953552B (zh) | 数据流的分类方法和报文转发设备 | |
| CN106100997B (zh) | 一种网络流量信息处理方法及装置 | |
| CN110225037A (zh) | 一种DDoS攻击检测方法和装置 | |
| US20100290353A1 (en) | Apparatus and method for classifying network packet data | |
| CN1633111B (zh) | 高速网络业务流分类方法 | |
| Raahemi et al. | Peer-to-peer traffic identification by mining IP layer data streams using concept-adapting very fast decision tree | |
| CN101854366B (zh) | 一种对等网络流量识别的方法及装置 | |
| Gu et al. | Online wireless mesh network traffic classification using machine learning | |
| KR100770643B1 (ko) | Ｔｃａｍ을 이용한 고성능 패킷 분류 방법 및 그 장치 | |
| CN116032804A (zh) | 一种基于终端节点协作的细粒度网络流量测量方法 | |
| RU181257U1 (ru) | Межсетевой экран на основе кластеризации данных | |
| JP6883470B2 (ja) | パケット中継装置及びパケット中継システム | |
| Changling et al. | Approximate discovery of service nodes by duplicate detection in flows | |
| Shi et al. | IoT device multi-classification using traffic behavior analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110504 Termination date: 20141215 |
|
| EXPY | Termination of patent right or utility model |