[go: up one dir, main page]

CN108833195B - 一种基于进程的网络数据流量分析方法 - Google Patents

一种基于进程的网络数据流量分析方法 Download PDF

Info

Publication number
CN108833195B
CN108833195B CN201811124768.4A CN201811124768A CN108833195B CN 108833195 B CN108833195 B CN 108833195B CN 201811124768 A CN201811124768 A CN 201811124768A CN 108833195 B CN108833195 B CN 108833195B
Authority
CN
China
Prior art keywords
information
flow
analysis method
time
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811124768.4A
Other languages
English (en)
Other versions
CN108833195A (zh
Inventor
左方
王千里
刘晓芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN201811124768.4A priority Critical patent/CN108833195B/zh
Publication of CN108833195A publication Critical patent/CN108833195A/zh
Application granted granted Critical
Publication of CN108833195B publication Critical patent/CN108833195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/20—Traffic policing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了网络安全技术领域的一种基于进程的网络数据流量分析方法，该分析方法的具体步骤如下：S1：对前端数据报文进行抽样提取；S2：将提取的内容标定到系统时间内；S3：获取报头文件信息并存储至缓冲区内；S4：将进程口和源端口信息保存至哈希表中；S5：在哈希表中生成进程流量信息；S6：构建用户流量行为模型并预测用户行为，本发明通过对网络数据进行抽样后，提取报文头数据进程流量信息，并存储在哈希表中，利用特征值的各个时间序列建立用户流量行为模型，通过特征值与真实值之间的偏差计算得出该用户行为的数据，能够对用户的网络行为进行预测，从而对网络数据流量进行分析。

Description

一种基于进程的网络数据流量分析方法
技术领域
本发明公开了一种基于进程的网络数据流量分析方法，具体为网络安全技术领域。
背景技术
随着网络技术的不断发展，网络安全显得越来越重要。为了发现网络中存在的问题，需要对网络数据进行分析，在现有的网络分析软件中都是针对网络数据包，数据包的地址、会话、协议等来进行分析，但是这种分析方式不能知道这些数据包的来源，是由什么软件产生的，不能直接定位到该产生软件本身，同时，现有的关于进程的分析软件，也仅仅只是对进程的通信流量进行统计，没有再进一步的对通信数据进行分析，这样简单的分析只能看出某个进程通信数据的多少，而针对发现网络问题并进一步的分析，并没有多大的意义。为此，我们提出了一种基于进程的网络数据流量分析方法投入使用，以解决上述问题。
发明内容
本发明的目的在于提供一种基于进程的网络数据流量分析方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于进程的网络数据流量分析方法，该分析方法的具体步骤如下：
S1：根据NetFPGA平台流量采集器对前端数据报文进行抽样提取，实现对统计流量的约减；
S2：获取抽样数据报文中的进程名及进程ID信息，同时还有该进程发送数据包的源端口信息，随后对获取信息内容标定到系统时间内，为后续的进程信息管理提供时间参考；
S3：通过修改Windump代码，首先获取数据报文头信息，随后存储到系统的报文头缓冲区，等待合成进程流量信息；
S4：将获取到的进程口和源端口信息保存到哈希表中，当进程结束时，该哈希表也随之清空并释放资源；
S5：利用获取的报文头信息，在哈希表中，以进程源端口为索引，获取源端口和进程标识的对应关系，从而生成进程流量信息的进程标识、时间戳、协议、源端口、目的地以及目的端口信息；
S6：采用FIFO加临界区的方式控制进程系统信息和进程流量信息的访问，提取用于检测用户异常流量行为的特征值，产生各个特征的时间序列，利用特征时间序列构建用户流量行为模型。
优选的，所述步骤S1中，NetFPGA平台流量采集器NetFPGA平台流量采集器的核心部分由2片FPGA芯片组成，其中一片为性能较高的Virtex-II Pro50，用于数据处理，另一片为性能较低的Spartan型FPGA芯片，用于连接平台外部CPU的PCI接口的控制逻辑。
优选的，所述步骤S1中，抽样提取分为周期抽样和随机抽样，其中周期抽样以固定的间隔抽取数据报文，在选择抽取的第一个数据报文后，每隔N个数据报文抽取下一个数据报文；随机抽样以相同的抽样概率随机抽取N个数据报文。
优选的，所述步骤S2中，采用一个32-bit的计时器作为统计的时间标签，时间计数的精度为ms，以满足实际网络环境对测量时间的要求。
优选的，所述步骤3中，系统的存储资源包括36MB SRAM、64MB DDR2 SDRAM，其外部接口包括1个连接PC主机的PCI总线接口、4个千兆位以太网接口物理层收发器和2个SATA接口。
优选的，所述PCI总线接口采用高宽带的PCI总线协议，利用高性能的DMA控制器实现平台间高速流统计信息的传输，实现服务器主机上数据流量统计应用软件与NetFPGA平台流量采集器硬件通信。
优选的，所述步骤6中，构建用户流量行为模型的流程如下：
S61：对时间序列进行零均值平稳化处理，若时间序列为非平稳序列，具有向上或详细的趋势，建模之前需要进行序列平稳化处理，即零均值化、平稳化处理，选择残差序列最小平方和对应的模型为最终模型；
S62：在对用户流量行为序列{xi}，i＝1,2,…,n建立用户流量行为模型后，需要在t时刻用xt,xt-1,xt-2,…对xt+1进行预测，预测过程中将时刻t作为原点，向前进行预测步长为l的预测，预测值记为
Figure GDA0002986952590000031
S63：对每一个特征时间序列建立合适的用户流量行为模型，并通过特征集中特征个数k个特征时间序列的预测，得出k个预测值，预测值与真实值之间的偏差计算公式为
Figure GDA0002986952590000032
其中xi为i时刻特征值的真实观测值，
Figure GDA0002986952590000033
为i时刻特征的预测值，l为预测区间长度。
与现有技术相比，本发明的有益效果是：本发明通过对网络数据进行抽样后，提取报文头数据进程流量信息，并存储在哈希表中，利用特征值的各个时间序列建立用户流量行为模型，通过特征值与真实值之间的偏差计算得出该用户行为的数据，能够对用户的网络行为进行预测，从而对网络数据流量进行分析。
附图说明
图1为本发明工作流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本实用新型发明提供一种技术方案：一种基于进程的网络数据流量分析方法，该分析方法的具体步骤如下：
S1：根据NetFPGA平台流量采集器对前端数据报文进行抽样提取，实现对统计流量的约减，NetFPGA平台流量采集器NetFPGA平台流量采集器的核心部分由2片FPGA芯片组成，其中一片为性能较高的Virtex-II Pro50，用于数据处理，另一片为性能较低的Spartan型FPGA芯片，用于连接平台外部CPU的PCI接口的控制逻辑，抽样提取分为周期抽样和随机抽样，其中周期抽样以固定的间隔抽取数据报文，在选择抽取的第一个数据报文后，每隔N个数据报文抽取下一个数据报文；随机抽样以相同的抽样概率随机抽取N个数据报文；
S2：获取抽样数据报文中的进程名及进程ID信息，同时还有该进程发送数据包的源端口信息，随后对获取信息内容标定到系统时间内，为后续的进程信息管理提供时间参考，采用一个32-bit的计时器作为统计的时间标签，时间计数的精度为ms，以满足实际网络环境对测量时间的要求；
S3：通过修改Windump代码，首先获取数据报文头信息，随后存储到系统的报文头缓冲区，等待合成进程流量信息，系统的存储资源包括36MB SRAM、64MB DDR2 SDRAM，其外部接口包括1个连接PC主机的PCI总线接口、4个千兆位以太网接口物理层收发器和2个SATA接口，所述PCI总线接口采用高宽带的PCI总线协议，利用高性能的DMA控制器实现平台间高速流统计信息的传输，实现服务器主机上数据流量统计应用软件与NetFPGA平台流量采集器硬件通信；
S4：将获取到的进程口和源端口信息保存到哈希表中，当进程结束时，该哈希表也随之清空并释放资源；
S5：利用获取的报文头信息，在哈希表中，以进程源端口为索引，获取源端口和进程标识的对应关系，从而生成进程流量信息的进程标识、时间戳、协议、源端口、目的地以及目的端口信息；
S6：采用FIFO加临界区的方式控制进程系统信息和进程流量信息的访问，提取用于检测用户异常流量行为的特征值，产生各个特征的时间序列，利用特征时间序列构建用户流量行为模型，构建用户流量行为模型的流程如下：
S61：对时间序列进行零均值平稳化处理，若时间序列为非平稳序列，具有向上或详细的趋势，建模之前需要进行序列平稳化处理，即零均值化、平稳化处理，选择残差序列最小平方和对应的模型为最终模型；
S62：在对用户流量行为序列{xi}，i＝1,2,…,n建立用户流量行为模型后，需要在t时刻用xt,xt-1,xt-2,…对xt+1进行预测，预测过程中将时刻t作为原点，向前进行预测步长为l的预测，预测值记为
Figure GDA0002986952590000051
S63：对每一个特征时间序列建立合适的用户流量行为模型，并通过特征集中特征个数k个特征时间序列的预测，得出k个预测值，预测值与真实值之间的偏差计算公式为
Figure GDA0002986952590000052
其中xi为i时刻特征值的真实观测值，
Figure GDA0002986952590000053
为i时刻特征的预测值，l为预测区间长度。
本发明通过对网络数据进行抽样后，提取报文头数据进程流量信息，并存储在哈希表中，利用特征值的各个时间序列建立用户流量行为模型，通过特征值与真实值之间的偏差计算得出该用户行为的数据，能够对用户的网络行为进行预测，从而对网络数据流量进行分析。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于进程的网络数据流量分析方法，其特征在于：该分析方法的具体步骤如下：
S1：根据NetFPGA平台流量采集器对前端数据报文进行抽样提取，实现对统计流量的约减；
S2：获取抽样数据报文中的进程名及进程ID信息，同时还有该进程发送数据包的源端口信息，随后对获取信息内容标定到系统时间内，为后续的进程信息管理提供时间参考；
S3：通过修改Windump代码，首先获取数据报文头信息，随后存储到系统的报文头缓冲区，等待合成进程流量信息；
S4：将获取到的进程口和源端口信息保存到哈希表中，当进程结束时，该哈希表也随之清空并释放资源；
S5：利用获取的报文头信息，在哈希表中，以进程源端口为索引，获取源端口和进程标识的对应关系，从而生成进程流量信息的进程标识、时间戳、协议、源端口、目的地以及目的端口信息；
S6：采用FIFO加临界区的方式控制进程系统信息和进程流量信息的访问，提取用于检测用户异常流量行为的特征值，产生各个特征的时间序列，利用特征时间序列构建用户流量行为模型。
2.根据权利要求1所述的一种基于进程的网络数据流量分析方法，其特征在于：所述步骤S1中，NetFPGA平台流量采集器NetFPGA平台流量采集器的核心部分由2片FPGA芯片组成，其中一片为性能较高的Virtex-IIPro50，用于数据处理，另一片为性能较低的Spartan型FPGA芯片，用于连接平台外部CPU的PCI接口的控制逻辑。
3.根据权利要求1所述的一种基于进程的网络数据流量分析方法，其特征在于：所述步骤S1中，抽样提取分为周期抽样和随机抽样，其中周期抽样以固定的间隔抽取数据报文，在选择抽取的第一个数据报文后，每隔N个数据报文抽取下一个数据报文；随机抽样以相同的抽样概率随机抽取N个数据报文。
4.根据权利要求1所述的一种基于进程的网络数据流量分析方法，其特征在于：所述步骤S2中，采用一个32-bit的计时器作为统计的时间标签，时间计数的精度为ms，以满足实际网络环境对测量时间的要求。
5.根据权利要求1所述的一种基于进程的网络数据流量分析方法，其特征在于：所述步骤3中，系统的存储资源包括36MB SRAM、64MB DDR2 SDRAM，其外部接口包括1个连接PC主机的PCI总线接口、4个千兆位以太网接口物理层收发器和2个SATA接口。
6.根据权利要求5所述的一种基于进程的网络数据流量分析方法，其特征在于：所述PCI总线接口采用高宽带的PCI总线协议，利用高性能的DMA控制器实现平台间高速流统计信息的传输，实现服务器主机上数据流量统计应用软件与NetFPGA平台流量采集器硬件通信。
7.根据权利要求1所述的一种基于进程的网络数据流量分析方法，其特征在于：所述步骤6中，构建用户流量行为模型的流程如下：
S61：对时间序列进行零均值平稳化处理，若时间序列为非平稳序列，具有向上或详细的趋势，建模之前需要进行序列平稳化处理，即零均值化、平稳化处理，选择残差序列最小平方和对应的模型为最终模型；
S62：在对用户流量行为序列{xi}，i＝1,2,…,n建立用户流量行为模型后，需要在t时刻用xt,xt-1,xt-2,…对xt+1进行预测，预测过程中将时刻t作为原点，向前进行预测步长为l的预测，预测值记为
Figure FDA0002986952580000021
S63：对每一个特征时间序列建立合适的用户流量行为模型，并通过特征集中特征个数k个特征时间序列的预测，得出k个预测值，预测值与真实值之间的偏差计算公式为
Figure FDA0002986952580000031
其中xi为i时刻特征值的真实观测值，
Figure FDA0002986952580000032
为i时刻特征的预测值，l为预测区间长度。
CN201811124768.4A 2018-09-26 2018-09-26 一种基于进程的网络数据流量分析方法 Active CN108833195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811124768.4A CN108833195B (zh) 2018-09-26 2018-09-26 一种基于进程的网络数据流量分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811124768.4A CN108833195B (zh) 2018-09-26 2018-09-26 一种基于进程的网络数据流量分析方法

Publications (2)

Publication Number Publication Date
CN108833195A CN108833195A (zh) 2018-11-16
CN108833195B true CN108833195B (zh) 2021-08-10

Family

ID=64149924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811124768.4A Active CN108833195B (zh) 2018-09-26 2018-09-26 一种基于进程的网络数据流量分析方法

Country Status (1)

Country Link
CN (1) CN108833195B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096363B (zh) * 2019-04-29 2021-11-30 亚信科技（成都）有限公司 一种网络事件与进程的关联方法及装置
WO2020252635A1 (zh) * 2019-06-17 2020-12-24 西门子股份公司 网络行为模型构建方法、装置和计算机可读介质
CN114710364A (zh) * 2022-05-19 2022-07-05 北京奇虎科技有限公司 网络行为审计方法、装置、设备及存储介质
CN117156005B (zh) * 2023-09-21 2024-10-29 北京明朝万达科技股份有限公司 数据传输方法、系统、装置、电子设备和可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006588A (zh) * 2010-12-28 2011-04-06 北京安天电子设备有限公司 智能手机网络行为监控的方法和系统
CN106789728A (zh) * 2017-01-25 2017-05-31 甘肃农业大学 一种基于NetFPGA的VoIP流量实时识别方法
CN107360174A (zh) * 2017-07-26 2017-11-17 成都科来软件有限公司 一种基于进程的网络数据流量分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006588A (zh) * 2010-12-28 2011-04-06 北京安天电子设备有限公司 智能手机网络行为监控的方法和系统
CN106789728A (zh) * 2017-01-25 2017-05-31 甘肃农业大学 一种基于NetFPGA的VoIP流量实时识别方法
CN107360174A (zh) * 2017-07-26 2017-11-17 成都科来软件有限公司 一种基于进程的网络数据流量分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于网络流量监测与预测的用户流量行为分析方法研究;李秀龙;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140315;全文 *

Also Published As

Publication number Publication date
CN108833195A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN108833195B (zh) 一种基于进程的网络数据流量分析方法
CN106209506B (zh) 一种虚拟化深度包检测流量分析方法及系统
US10043220B2 (en) Method, device and storage medium for data processing
CN112511325B (zh) 网络拥塞控制方法、节点、系统及存储介质
CN105207794B (zh) 统计计数设备及其实现方法、具有统计计数设备的系统
EP3005129A1 (en) Adaptive interrupt coalescing in a converged network
WO2014177023A1 (zh) 业务类型确定方法和装置
KR102461022B1 (ko) 로그 데이터 분석 방법 및 장치
CN117041370A (zh) 一种通信方法及系统
CN102904823A (zh) 一种基于存储器的多用户多业务的精确流量控制方法
CN101127690A (zh) 一种下一代网络业务流量识别方法
CN108460044B (zh) 数据的处理方法和装置
Forconesi et al. Accurate and flexible flow-based monitoring for high-speed networks
CN108141902A (zh) 使用帧聚集的无线数据确收通信
CN109194545A (zh) 一种网络试验平台流量生成系统、方法、装置及电子设备
CN115396345A (zh) 流量测量方法、装置及相关设备
CN102790663A (zh) 一种应用于vlbi硬件相关处理机的全硬件网络接口
CN115801927A (zh) 报文解析方法及装置
WO2023098222A1 (zh) 多业务场景的识别方法和决策森林模型的训练方法
CN116418646A (zh) 传输数据的方法、装置、设备及计算机可读存储介质
CN103929404B (zh) 一种解析HTTP chunked编码数据的方法
CN115514686A (zh) 一种流量采集方法、装置及电子设备和存储介质
CN105610969B (zh) 一种统计终端用户到Web服务器的数据请求的方法
CN118733301A (zh) 一种数据传输的处理方法和装置、存储介质和电子设备
CN116886614A (zh) 一种基于tsn网络下的报文处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant