[go: up one dir, main page]

CN102468987B - 网络流特征向量提取方法 - Google Patents

网络流特征向量提取方法 Download PDF

Info

Publication number
CN102468987B
CN102468987B CN201010539167.7A CN201010539167A CN102468987B CN 102468987 B CN102468987 B CN 102468987B CN 201010539167 A CN201010539167 A CN 201010539167A CN 102468987 B CN102468987 B CN 102468987B
Authority
CN
China
Prior art keywords
network
network flow
flow
features
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010539167.7A
Other languages
English (en)
Other versions
CN102468987A (zh
Inventor
王大伟
薛一波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CERTUSNET CORP
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201010539167.7A priority Critical patent/CN102468987B/zh
Publication of CN102468987A publication Critical patent/CN102468987A/zh
Application granted granted Critical
Publication of CN102468987B publication Critical patent/CN102468987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络流特征向量提取方法，该方法包括步骤：S1.查找捕获到的新进网络包在网络流表中对应的网络流；S2.根据所述网络包更新其所对应的网络流的初始特征；S3.判断网络流是否终结，若是，则从网络流的初始特征中提取网络流高级特征，否则，返回步骤S1。本发明的方法能够从网络流中提取丰富且可靠的知识，完备地刻画主机之间相互通信的细节，并且在整个处理过程中无需存储网络包，也无需对其进行深度处理，可以为高速网络中高性能防火墙、入侵检测系统和入侵防范系统等网络安全系统的设计和实现提供技术支持。

Description

网络流特征向量提取方法
技术领域
本发明涉及网络安全技术领域，尤其涉及一种网络流特征向量提取发方法。
背景技术
网络安全系统指的是那些专门为网络或计算机系统提供安全服务的系统。它包括防火墙、入侵检测系统和入侵防范系统等。
由于网络技术和网络带宽的发展迅速，网络中的数据流量也成倍增加，在高速骨干网络上，数据流量已经达到每秒钟上Gbit甚至10Gbit。不断增大的网络流量对网络安全提出了新的挑战：传统的基于网络包的网络安全系统的效率已难以满足高速骨干网监测的需要。在高速宽带网络环境下，网络数据高速无穷到达，且不间断，呈现海量数据特点，并且本地无法进行存储。因此，依靠网络包捕获-网络包还原-模式匹配的传统的网络安全系统效率无法满足需要。
网络流(NetFLow)是两个网络实体之间持续一段时间并属于相同流属性值集的数据包序列。作为一种数据交换方式，网络流从一个微观层面上反映了主机行为和主机之间相互通信的细节。通过收集IP协议流量信息，网络流能够为网络安全类系统提供精确、高效、可靠的处理对象。网络流是目前网络安全技术领域的热点，它的应用能够提升网络安全系统在高速网络中的性能。
思科公司首先提出了网络流的概念，并引入了两个重要的参数：流规范(flow specification)和流超时(flow timeout)。
流规范的定义可以用一个五元组来表示：
1、源IP地址；
2、目的IP地址；
3、TCP/UDP协议的原始端口号(0代表其它协议)；
4、TCP/UDP协议的目的端口号(0代表其它协议)；
5、IP协议类型。
按照流规范的定义，对于一个新进的网络数据包，如果在Cache(高速缓冲存储器)中无法能够找到与之相对应的网络流信息，则在Cache中创建一个新的网络流。流超时规定了4个规则来判定一个网络流是否终结：
1、TCP协议标志位是FIN或者RST；
2、收到一个数据包后15秒内没有另外的数据包到达；
3、网络流创建30分钟；
4、网络流的Cache已满。
网络流是一种流数据，可以采用流数据模型描述。流数据模型解释了一种信号描述方式。设流数据中的数据项a1，a2，...，an依次按下标顺序到达，描述了一个信号A。流数据模式定义了如何用a描述信号A。流数据模型分为3种：
1、时间序列模型(Time Series Model)
每个数据项ai都以i的增序出现。此时，数据流中的每个数据项都代表一个独立的信号。
2、现金登记模型(Cash Register Model)
在这个模型中，每个数据项ai都代表信号A的增量。该模型和现金登记类似，随着时间的推进，多个ai能够增加一个给定的信号A。此时，数据流中的多个数据项增量式的表达一个信号。
3、十字转门模型(Turnstile Model)
这个模型与现金登记模型类似，每一个数据项ai都是信号A的更新。与现金登记模型不同，在十字转门模型中，数据项的更新可以是负值。此时，随着数据项的流入，信号可能会增加，也可能会减少。
网络流采用的模型是现金登记模型。其中，每一个新进的数据包都是一个数据项，每一个网络流都是一个信号。随着时间的推进，网络流的内容逐渐丰富，而数据包在更新完网络流后也将完成它的使命。整个过程中无需存储数据包，也无需对其进行深度处理，只需要用它更新描述网络流的概要数据结构。
利用网络流能够有效提升网络安全设备的效率，满足日益增长的网络带宽的需要。然而，目前描述网络流的概要数据结构比较简单，包含的信息量比较少，无法完备地刻画主机之间相互通信的细节，从而导致网络安全系统无法准确地分析网络中存在的异常行为。
发明内容
(一)要解决的技术问题
本发明所要解决的技术问题是：如何提供一种网络流特征向量提取方法，为网络安全设备提供丰富、可靠的知识，以分析网络中存在的异常行为。
(二)技术方案
为解决上述问题，本发明提供了一种网络流特征向量提取方法，该方法包括步骤：
S1.查找捕获到的新进网络包在网络流表中对应的网络流；
S2.根据所述网络包更新其所对应的网络流的初始特征；
S3.判断网络流是否终结，若是，则从网络流的初始特征中提取网络流高级特征，否则，返回步骤S1。
其中，步骤S1前还包括建立用于存储网络流信息的所述网络流表的步骤。
其中，所述网络流采用现金登记模型描述。
其中，步骤S1进一步包括：
S1.1判断所述捕获的新进网络包的方向，并将其转换为由监控网络内部到外部的方向；
S1.2若在所述网络流表中存在与转换后的网络包对应的网络流，则执行步骤S2，否则，继续执行步骤S1.3；
S1.3为所述网络包创建一个新的网络流，并将其插入到所述网络流表中。
其中，在步骤S1.1中，若所述网络包为监控网络内部主机交换的网络包，则判断所述网络包对应的网络流的第一个网络包的方向为从监控网络外部到内部的方向。
其中，在步骤S2中，所述初始特征包括：网络流的基本信息、网络流的基本统计特征、以及网络流的横向统计特征。
其中，步骤S2进一步包括：
S2.1若所述网络包为其对应的网络流的第一个网络包，则根据所述网络包更新其对应的网络流的基本信息；
S2.2根据所述网络包更新其对应的网络流的基本统计特征；
S2.3根据所述网络包更新其对应的网络流的横向统计特征。
其中，在步骤S3中，所述高级特征包括网络流连接特征以及网络流高级统计特征。
其中，步骤S3进一步包括：
S3.1从网络流初始特征中提取网络流连接特征；
S3.2从网络流初始特征中提取网络流高级统计特征。
(三)有益效果
本发明的方法能够从网络流中提取丰富且可靠的知识，完备地刻画主机之间相互通信的细节，并且在整个处理过程中无需存储网络包，也无需对其进行深度处理，可以为高速网络中高性能防火墙、入侵检测系统和入侵防范系统等网络安全系统的设计和实现提供技术支持。
附图说明
图1为依照本发明一种实施方式的网络流特征向量提取方法流程图；
图2为依照本发明一种实施方式的网络流特征向量提取方法在入侵检测系统应用示意图。
具体实施方式
对于本发明所提出的网络流特征向量提取方法，结合附图和实施例详细说明。
针对目前描述网络流的概要数据结构无法为网络安全系统提供丰富的知识分析网络中存在异常行为的问题，本发明提出了一种网络流特征向量的提取方法。这种方法首先建立网络流表存储网络流信息；利用现金登记模型，使用新进网络包更新与其对应的网络流的初始特征；之后从网络流初始特征中进一步提取高级特征；最后将初始特征与高级特征相结合形成网络流特征向量。该方法能够从网络流中提取丰富的统计特征、横向特征，通过提供精确、高效、可靠的处理对象，提升网络安全系统在高速网络中的检测性能。根据实际的应用需求，可以选择不同的特征组成特征向量。
如图1所示，依照本发明一种实施方式的网络流特征向量提取方法在建立了用于存储网络流信息的网络表后进行如下步骤，其中采用现金登记模型描述网络流：
S1.寻找捕获的新进网络包在网络流表中对应的网络流；
步骤S1进一步包括：
S1.1判断网络包的方向，并将其转换为由监控网络内部到外部的方向。若为监控网络内部主机交换的网络包，则认定与该网络包对应的网络流的第一个网络包的方向为从监控网络外部到内部方向；
S1.2若在网络流表中存在与转换后的网络包对应的网络流，则转向步骤2，否则，继续执行步骤S1.3；
S1.3若在网络流表中不存在与转换后的网络包对应的网络流，则为该数据包创建一个新的网络流插入网络流表中。
S2.利用该网络包更新网络流的初始特征，包括网络流基本信息、网络流基本统计特征、以及横向统计特征三部分；
步骤S2进一步宝包括：
S2.1若该网络包为对应网络流的第一个网络包，则用其更新网络流初始特征中的网络流基本信息，包括Inside_ip、Outside_ip、Inside_port、Outside_port、Protocol等5个特征；如下表1所示，为网络流基本信息所表示的具体含义。
表1网络流基本信息
S2.2使用网络包更新对应网络流的基本统计特征，包括Duration、Flag、Inside_pkg、Outside_pkg、Inside_byte、Outside_byte、Total_pkg、Total_byte、Num_of_urgent、Num_of_SYN、Num_of_eSYN、Num_of_epkg、Num_of_fragment、Num_of_options、Byte_of_option、Max_inside_pkg_length、Min_inside_pkg_length、Max_outside_pkg_length、Min_outside_pkg_length等19个特征；如表2所示，为上述网络流的基本统计特征所表示的具体含义。表3所示，为Flag(TCP连接标识)所表示的具体含义。
表2网络流基本统计特征
表3TCP连接标识
S2.3使用网络包更新对应网络流的横向统计特征，包括Inside_pkg_window、Inside_byte_window、Outside_pkg_window、Outside_byte_window、Flow_count、Diff_serv_flow_count、Same_serv_flow_count、Dst_diff_flow_count等8个特征；如表4所示，为上述网络流横向统计特征所表示的含义。
表4网络流横向统计特征
S3.网络流终结后，从网络流初始特征里面提取网络流高级特征，包括网络流连接特征、网络流高级统计特征两部分；
步骤S3进一步包括：
S3.1从网络流初始特征中提取网络流连接特征，包括Land、Offset、Is_max_length_pkg_exc等3个特征；
表5网络流连接特征
S3.2从网络流初始特征中提取高级统计特征，包括Error_rate、Serror_rate、Outside_pkg_persecond、Outside_byte_per_second、Inside_pkg_per_second、Inside_byte_per_second、Pkg_per_second、Byte_per_second、Outside_of_total_pkg、Outside_of_total_byte等10个特征。如表6所示，为上述网络流高级统计特征所表示的含义。
表6网络流高级统计特征
以下通过具体实施例来详细说明本发明的内容。
如图2所示为将网络流特征向量提取方法应用于基于免疫的入侵检测系统的示意图。
详细步骤如下：
S1、寻找新进网络包在网络流表中对应的网络流；
步骤S1中进一步包括：
S1.1判断网络包的方向，并将其转换为由监控网络内部到外部的方向。若为监控网络内部主机交换的网络包，则认定与该网络流对应的第一个网络包的方向为从监控网络外部到内部方向；
S1.2若在网络流表中存在与转换后的网络包对应的网络流，则转向步骤S2；
S1.3若在网络流表中不存在与转换后的网络包对应的网络流，则为该数据包创建一个新的网络流插入网络流表中；
S2、利用网络包更新网络流的初始特征；
步骤S2进一步中包括：
S2.1若网络包为对应网络流的第一个网络包，则用其更新网络流初始特征中的网络流基本信息，并从其中提出Protocol特征；
S2.2使用网络包更新对应网络流的基本统计特征，包括Duration、Flag、Total_pkg、Total_byte、Num_of_urgent等5个特征；
S2.3使用网络包更新对应网络流的横向统计特征，包括Inside_pkg_window、Outside_pkg_window、Flow_count、Diff_serv_flow_count、Same_serv_flow_count、Dst_diff_flow_count等8个特征；
S3、网络流终结后，从网络流初始特征里面提取网络流高级特征；
步骤S3进一步包括：
S3.1从网络流初始特征中提取网络流连接特征，包括Land、Offset、Is_max_length_pkg_exc等3个特征；
S3.2从网络流初始特征中提取高级统计特征，包括Error_rate、Serror_rate、Pkg_per_second、Byte_per_second等4个特征。
S4、将提取的21个特征组成特征向量，输入到基于免疫的入侵检测引擎进行检测。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (5)

1.一种网络流特征向量提取方法，其特征在于，该方法包括步骤：
S1.查找捕获到的新进网络包在网络流表中对应的网络流；
S2.根据所述网络包更新其所对应的网络流的初始特征；
S3.判断网络流是否终结，若是，则从网络流的初始特征中提取网络流高级特征，否则，返回步骤S1；
步骤S1进一步包括：
S1.1判断所述捕获的新进网络包的方向，并将其转换为由监控网络内部到外部的方向；
S1.2若在所述网络流表中存在与转换后的网络包对应的网络流，则执行步骤S2，否则，继续执行步骤S1.3；
S1.3为所述网络包创建一个新的网络流，并将其插入到所述网络流表中；
在步骤S2中，所述初始特征包括：网络流的基本信息、网络流的基本统计特征、以及网络流的横向统计特征；
步骤S2进一步包括：
S2.1若所述网络包为其对应的网络流的第一个网络包，则根据所述网络包更新其对应的网络流的基本信息；
S2.2根据所述网络包更新其对应的网络流的基本统计特征；
S2.3根据所述网络包更新其对应的网络流的横向统计特征。
2.如权利要求1所述的网络流特征向量提取方法，其特征在于，步骤S1前还包括建立用于存储网络流信息的所述网络流表的步骤。
3.如权利要求1所述的网络流特征向量提取方法，其特征在于，所述网络流采用现金登记模型描述。
4.如权利要求1所述的网络流特征向量提取方法，其特征在于，在步骤S3中，所述高级特征包括网络流连接特征以及网络流高级统计特征。
5.如权利要求4所述的网络流特征向量提取方法，其特征在于，步骤S3进一步包括：
S3.1从网络流初始特征中提取网络流连接特征；
S3.2从网络流初始特征中提取网络流高级统计特征。
CN201010539167.7A 2010-11-08 2010-11-08 网络流特征向量提取方法 Active CN102468987B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010539167.7A CN102468987B (zh) 2010-11-08 2010-11-08 网络流特征向量提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010539167.7A CN102468987B (zh) 2010-11-08 2010-11-08 网络流特征向量提取方法

Publications (2)

Publication Number Publication Date
CN102468987A CN102468987A (zh) 2012-05-23
CN102468987B true CN102468987B (zh) 2015-01-14

Family

ID=46072193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010539167.7A Active CN102468987B (zh) 2010-11-08 2010-11-08 网络流特征向量提取方法

Country Status (1)

Country Link
CN (1) CN102468987B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516539B (zh) * 2012-06-28 2016-09-21 清华大学 一种基于前后向触发机制的多网络流统计特征提取方法
CN103546333B (zh) * 2012-07-16 2016-08-10 清华大学 加密网络流声纹特征向量提取方法
CN103546307B (zh) * 2012-07-16 2016-12-21 清华大学 网络流存储方法
CN103546441B (zh) * 2012-07-16 2016-12-21 清华大学 基于多级决策树的协议识别方法
CN103139206B (zh) * 2013-01-31 2016-06-01 北京神州绿盟信息安全科技股份有限公司 一种僵尸主机的检测方法及装置
CN105871619B (zh) * 2016-04-18 2019-03-01 中国科学院信息工程研究所 一种基于n-gram多特征的流量载荷类型检测方法
CN106161479B (zh) * 2016-09-21 2019-06-07 杭州迪普科技股份有限公司 一种支持特征跨包的编码攻击检测方法和装置
CN108737291B (zh) * 2018-05-09 2022-04-05 北京建筑大学 一种网络流量表示的方法及装置
CN109194590B (zh) * 2018-09-17 2020-08-25 中国科学技术大学 支持网内智能的网络交换系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1399742A (zh) * 1999-06-30 2003-02-26 倾向探测公司 用于监控网络流量的方法和设备
CN101282251A (zh) * 2008-05-08 2008-10-08 中国科学院计算技术研究所 一种应用层协议识别特征挖掘方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1399742A (zh) * 1999-06-30 2003-02-26 倾向探测公司 用于监控网络流量的方法和设备
CN101282251A (zh) * 2008-05-08 2008-10-08 中国科学院计算技术研究所 一种应用层协议识别特征挖掘方法

Also Published As

Publication number Publication date
CN102468987A (zh) 2012-05-23

Similar Documents

Publication Publication Date Title
CN102468987B (zh) 网络流特征向量提取方法
CN110011931B (zh) 一种加密流量类别检测方法及系统
CN108683682B (zh) 一种基于软件定义网络的DDoS攻击检测及防御方法和系统
WO2015074324A1 (zh) 一种数据包快速转发方法及装置
CN102739457B (zh) 一种基于dpi和svm技术的网络流量识别方法
CN102571946B (zh) 一种基于对等网络的协议识别与控制系统的实现方法
CN108282497A (zh) 针对SDN控制平面的DDoS攻击检测方法
CN104579823A (zh) 一种基于大数据流的网络流量异常检测系统及方法
CN104994016B (zh) 用于分组分类的方法和装置
CN103166866A (zh) 生成表项的方法、接收报文的方法及相应装置和系统
CN104468507A (zh) 基于无控制端流量分析的木马检测方法
CN106534133A (zh) 一种sdn中基于深度学习的ddos防御装置及方法
CN108289125A (zh) 基于流式处理的tcp会话重组与统计数据提取方法
CN101360090B (zh) 应用层协议识别方法
CN113382039B (zh) 一种基于5g移动网络流量分析的应用识别方法和系统
CN101388848A (zh) 网络处理器结合通用处理器的流量识别方法
CN108833430B (zh) 一种软件定义网络的拓扑保护方法
CN105516016B (zh) 一种使用Tilera多核加速卡基于流的数据包过滤系统及数据包过滤方法
CN104021348B (zh) 一种隐匿p2p程序实时检测方法及系统
CN113726809B (zh) 基于流量数据的物联网设备识别方法
CN108055166A (zh) 一种嵌套的应用层协议的状态机提取系统及其提取方法
CN104168295B (zh) 一种在IPv6下基于IPSec硬件防火墙的系统及处理方法
CN101984635B (zh) P2p协议流量识别方法及系统
CN103036773B (zh) 网络即时通信工具流量识别系统及识别方法
CN105404797A (zh) 一种基于双重冗余的主动网络流数字水印方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20171227

Address after: 210042 Xuanwu District, Xuanwu District, Jiangsu, Nanjing, No. 699-22, building 18

Patentee after: CERTUSNET CORP.

Address before: 100084 Beijing Haidian District Tsinghua Yuan 100084-82 mailbox

Patentee before: Tsinghua University

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20120523

Assignee: BEIJING CERTUSNET INFORMATION TECHNOLOGY CO., LTD.

Assignor: CERTUSNET CORP.

Contract record no.: 2018320000091

Denomination of invention: NetFlow characteristic vector extraction method

Granted publication date: 20150114

License type: Common License

Record date: 20180427