CN104348656B - 一种数据采集方法和装置 - Google Patents
一种数据采集方法和装置 Download PDFInfo
- Publication number
- CN104348656B CN104348656B CN201310342198.7A CN201310342198A CN104348656B CN 104348656 B CN104348656 B CN 104348656B CN 201310342198 A CN201310342198 A CN 201310342198A CN 104348656 B CN104348656 B CN 104348656B
- Authority
- CN
- China
- Prior art keywords
- data packet
- acquisition
- parameter
- data
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000005540 biological transmission Effects 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims description 27
- 238000012544 monitoring process Methods 0.000 claims description 22
- 230000009467 reduction Effects 0.000 claims description 7
- 238000013480 data collection Methods 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种数据采集方法和装置,包括:采集设备从网络节点采集经过该网络节点传输的数据包;并当采集的该数据包的源地址位于丢弃地址列表中时,丢弃采集的该数据包;以及当采集的该数据包的源地址不位于丢弃地址列表中时,保留采集的该数据包,用于网络传输数据的还原。采用本发明实施例提供的方案,提高了对网络传输数据进行还原的效果。
Description
技术领域
本发明涉及计算机技术领域和互联网技术领域,尤其涉及一种数据采集方法和装置。
背景技术
在现有互联网技术中,经常需要对经过一些网络节点传输的数据进行采集和还原,以便监控所传输数据的合法性。现有技术中在采集和还原经过网络节点的网络传输数据时,通常是将网络节点的流量数据进行镜像分流,再使用专用的采集设备将采集的数据包进行重组,还原成网络传输数据,例如网站访问数据,如网站的页面数据和图像数据等。
现有技术中所采集的数据包可以是IP层数据包,在还原时可以对所采集的IP层数据包进行解封装,并将解封装后得到的TCP(Transmission Control Protocol,传输控制协议)数据片段按TCP序号重组,再根据应用层协议进行内容还原,形成文件并存储于磁盘。
目前,采集设备通常是对经过网络节点的网络流量数据进行全量采集,当网络流量超过采集设备性能上限时,即超过采集设备的处理能力时,由于不能立即处理采集的数据包,会导致数据包积压,最终使采集设备的网卡缓冲区溢出,使得采集设备自动丢弃掉部分数据包。
由于采集设备丢弃数据包是随机的,所以对于分别表示完整会话的多组数据包,均可能存在部分数据包的丢失,再由于TCP会话重组需要依靠序列号,所以不连续的数据包将影响对完整会话的内容还原。
例如,对于页面数据还原而言,如果数据包丢失在协议头部,则页面内容无法还原,而对于目前约80%网站使用的gzip压缩格式的页面数据,任意数据包的丢失,均将导致内容无法还原;对于图片数据还原而言,丢包将造成压缩图像无法读取、变色、破损等,还原后得到的受损图像将对后续图像识别产生严重影响。
发明内容
本发明实施例提供一种数据采集方法和装置,用以解决现有技术中存在的对网络传输数据进行还原的效果较差的问题。
本发明实施例提供一种数据采集方法,包括:
采集设备从网络节点采集经过所述网络节点传输的数据包;
当采集的所述数据包的源地址位于丢弃地址列表中时,丢弃采集的所述数据包;
当采集的所述数据包的源地址不位于丢弃地址列表中时,保留采集的所述数据包,用于网络传输数据的还原。
本发明实施例提供的上述数据采集方法中,采集设备在采集到经过网络节点传输的数据包之后,对于源地址位于丢弃地址列表中的数据包,进行丢弃,对于源地址不位于丢弃地址列表中的数据包,进行保留,并用于网络传输数据的还原,由于表示一个完整会话的一组数据包的源地址是相同的,所以通过主动丢弃源地址位于丢弃地址列表中的一些数据包,降低了随机丢弃源地址不位于丢弃地址列表中的一些数据包的丢弃概率,从而提高了源地址不位于丢弃地址列表中的数据包表示的网络传输数据还原的成功率,进而提高了对网络传输数据进行还原的效果。
进一步的,在确定采集的所述数据包的源地址是否位于丢弃地址列表中之前,还包括:
确定所述采集设备的性能参数大于第一预设参数阈值,性能参数越大表示所述采集设备的性能越差。
这样,可以在采集设备的性能较差时,即性能参数大于第一预设参数阈值时,为了避免较高的随机丢弃数据包的丢弃概率,从而主动丢弃源地址位于丢弃地址列表的数据包,而采集设备的性能较高时,可以不主动丢弃采集的数据包,从而能够进一步提高对网络传输数据进行还原的效果。
进一步的,确定所述采集设备的性能参数大于第一预设参数阈值,具体为:
在第一丢弃监测周期到达时,确定所述采集设备的性能参数大于第一预设参数阈值。
这样,可以减少处理操作的次数,降低对处理资源的消耗。
进一步的,在确定所述采集设备的性能参数大于第一预设参数阈值之后,还包括:
在第二丢弃监测周期到达时,确定所述采集设备的性能参数是否小于第二预设参数阈值,其中,所述第二预设参数阈值小于所述第一预设参数阈值;
当所述采集设备的性能参数小于所述第二预设参数阈值时,保留从所述网络节点采集的经过所述网络节点传输的数据包,用于网络传输数据的还原。
这样,能进一步提高对网络传输数据进行还原的效果。
进一步的,在确定采集的所述数据包的源地址是否位于丢弃地址列表中之前,还包括:
在最近过去的预设时间段内采集的数据包的源地址中,随机选择预设百分比数量的源地址,组成丢弃地址列表。
这样,可以避免当丢弃地址列表中的地址不变时,对于源地址位于丢弃地址列表中数据包组成的网络传输数据一直无法还原的情况。
本发明实施例还提供一种数据采集装置,包括:
采集单元,用于从网络节点采集经过所述网络节点传输的数据包;
第一处理单元,用于当采集的所述数据包的源地址位于丢弃地址列表中时,丢弃采集的所述数据包;当采集的所述数据包的源地址不位于丢弃地址列表中时,保留采集的所述数据包,用于网络传输数据的还原。
采用本发明实施例提供的上述装置,在采集到经过网络节点传输的数据包之后,对于源地址位于丢弃地址列表中的数据包,进行丢弃,对于源地址不位于丢弃地址列表中的数据包,进行保留,并用于网络传输数据的还原,由于表示一个完整会话的一组数据包的源地址是相同的,所以通过主动丢弃源地址位于丢弃地址列表中的一些数据包,降低了随机丢弃源地址不位于丢弃地址列表中的一些数据包的丢弃概率,从而提高了源地址不位于丢弃地址列表中的数据包表示的网络传输数据还原的成功率,进而提高了对网络传输数据进行还原的效果。
进一步的,上述数据采集装置,还包括:
第一确定单元,用于在所述第一处理单元确定采集的所述数据包的源地址是否位于丢弃地址列表中之前,确定所述采集装置的性能参数大于第一预设参数阈值,性能参数越大表示所述采集装置的性能越差。
这样,可以在采集装置的性能较差时,即性能参数大于第一预设参数阈值时,为了避免较高的随机丢弃数据包的丢弃概率,从而主动丢弃源地址位于丢弃地址列表的数据包,而采集装置的性能较高时,可以不主动丢弃采集的数据包,从而能够进一步提高对网络传输数据进行还原的效果。
进一步的,所述第一确定单元,具体用于在第一丢弃监测周期到达时,确定所述采集装置的性能参数大于第一预设参数阈值。
这样,可以减少处理操作的次数,降低对处理资源的消耗。
进一步的,上述数据采集装置,还包括:
第二确定单元,用于在所述第一确定单元确定所述采集装置的性能参数大于第一预设参数阈值之后,在第二丢弃监测周期到达时,确定所述采集装置的性能参数是否小于第二预设参数阈值,其中,所述第二预设参数阈值小于所述第一预设参数阈值;
第二处理单元,用于当所述采集设备的性能参数小于所述第二预设参数阈值时,保留从所述网络节点采集的经过所述网络节点传输的数据包,用于网络传输数据的还原。
这样,能进一步提高对网络传输数据进行还原的效果。
进一步的,上述数据采集装置,还包括:
列表确定单元,具体用于在确定采集的所述数据包的源地址是否位于丢弃地址列表中之前,在最近过去的预设时间段内采集的数据包的源地址中,随机选择预设百分比数量的源地址,组成丢弃地址列表。
这样,可以避免当丢弃地址列表中的地址不变时,对于源地址位于丢弃地址列表中数据包组成的网络传输数据一直无法还原的情况。
本发明实施例还提供一种数据采集设备,包括上述数据采集装置。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例提供的数据采集方法的流程图;
图2为本发明实施例1提供的数据采集方法的流程图;
图3为本发明实施例2提供的数据采集方法的流程图;
图4为本发明实施例3提供的数据采集装置的结构示意图。
具体实施方式
为了给出提高对网络传输数据进行还原的效果的实现方案,本发明实施例提供了一种数据包采集方法及装置,以下结合说明书附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明实施例提供一种数据采集方法,如图1所示,包括:
步骤101、采集设备从网络节点采集经过该网络节点传输的数据包。
步骤102、当采集的该数据包的源地址位于丢弃地址列表中时,丢弃采集的该数据包;
步骤103、当采集的该数据包的源地址不位于丢弃地址列表中时,保留采集的该数据包,用于网络传输数据的还原。
由于表示一个完整会话的一组数据包的源地址是相同的,所以通过主动丢弃源地址位于丢弃地址列表中的一些数据包,降低了随机丢弃源地址不位于丢弃地址列表中的一些数据包的丢弃概率,从而提高了源地址不位于丢弃地址列表中的数据包表示的网络传输数据还原的成功率,进而提高了对网络传输数据进行还原的效果。
进一步的,在本发明实施例提供的上述方法中,在确定采集的数据包的源地址是否位于丢弃地址列表中之前,可以先确定采集设备的性能参数是否大于第一预设参数阈值,性能参数越大表示采集设备的性能越差,并且当大于时,才针对采集的数据包,触发执行确定采集的数据包的源地址是否位于丢弃地址列表中的步骤,并当位于时,执行上述步骤102,当不位于时,执行上述步骤103。
这样可以在采集设备的性能较差时,即性能参数大于第一预设参数阈值时,为了避免较高的随机丢弃数据包的丢弃概率,才通过上述步骤102和步骤103主动丢弃源地址位于丢弃地址列表的数据包,而采集设备的性能较高时,可以不主动丢弃采集的数据包,从而能够进一步提高对网络传输数据进行还原的效果。
其中,确定采集设备的性能参数是否大于第一预设参数阈值,可以是每采集到一个数据包,即确定一次,并根据确定结果确定是否主动丢弃该数据包,然而这样会增加大量的处理操作,消耗较多的处理资源,所以,也可以是周期确定的,例如,监控第一丢弃监测周期,在第一丢弃监测周期到达时确定,并当确定结果为大于第一预设参数阈值时,在到达下一个第一丢弃监测周期之前,对于采集的数据包通过上述步骤102和步骤103进行主动丢弃或保留,当确定结果为不大于第一预设参数阈值时,在到达下一个第一丢弃监测周期之前,对于采集的数据包可以均保留。
进一步的,在确定采集设备的性能参数大于第一预设参数阈值之后,还可以监控第二丢弃监测周期,并在第二丢弃监测周期到达时,确定采集设备的性能参数是否小于第二预设参数阈值,其中,第二预设参数阈值小于第一预设参数阈值;并当采集设备的性能参数小于第二预设参数阈值时,保留从网络节点采集的经过网络节点传输的数据包,用于网络传输数据的还原,即不再进行主动丢弃,从而进一步提高了对网络传输数据进行还原的效果。
下面结合附图,用具体实施例对本发明提供的数据采集方法及装置进行详细描述。
实施例1:
本发明实施例1提供一种数据采集方法,在该方法中,采集设备采集经过网络节点传输的数据包时,可以在两种工作模式下切换,一种工作模式为主动丢弃模式,另一种工作模式为非主动丢弃模式,采集设备在启动后,初始工作模式为非主动丢弃模式,基于采集设备的这两种工作模式的数据采集方法如图2所示,具体包括如下处理步骤:
步骤201、采集设备在启动后,持续的从网络节点采集经过该网络节点传输的数据包。
具体可以通过对网络节点的流量数据进行镜像分流的方式进行采集,所采集的数据包可以各种类型的数据包,例如,网站访问数据包,如网站的页面数据包和图像数据包。
步骤202、采集设备进入非主动丢弃模式,在非主动丢弃模式下,采集设备对于采集的数据包均进行保留,用于网络传输数据的还原。
有关还原网络传输数据的具体方法,可以根据数据包的传输协议,采用现有技术的各种方法,在此不再进行详细描述。
步骤203、采集设备在第一丢弃监测周期到达时,确定采集设备的性能参数是否大于第一预设参数阈值,性能参数越大表示采集设备的性能越差,如果大于第一预设参数阈值时,进入步骤204,如果不大于第一预设参数阈值,进入步骤202。
其中,采集设备的性能参数可以是能够表示采集设备当前运行性能的各种参数,例如,CPU利用率,内存使用率,随机丢包率等。
步骤204、采集设备进入主动丢弃模式,在主动丢弃模式下,采集设备对于采集的数据包,确定该数据包的源地址是否位于丢弃地址列表中,如果位于,进入步骤205,如果不位于,进入步骤206。
其中,丢弃地址列表中的地址可以是预先设置的,也可以是根据采集设备采集的数据包的源地址确定的,例如,可以在最近过去的预设时间段内采集的数据包的源地址中,随机选择预设百分比数量的源地址,组成丢弃地址列表,进一步的,该丢弃地址列表也可以是周期变化的,即监控列表生成周期,在列表生成周期到达时,通过上述方式更新丢弃地址列表中的地址,从而避免当丢弃地址列表中的地址不变时,对于源地址位于丢弃地址列表中数据包组成的网络传输数据一直无法还原的情况。
步骤205、丢弃采集的源地址位于丢弃地址列表中的该数据包。
步骤206、保留采集的源地址不位于丢弃地址列表中的该数据包,用于网络传输数据的还原。
在本发明实施例1提供的上述数据采集方法中,涉及到的各种预设参数,如第一丢弃监测周期,第一预设参数阈值,预设时间段和列表生成周期等,均可以根据实际需要进行灵活设置,在此不再举例进行描述。
实施例2:
本发明实施例2提供一种数据采集方法,在该方法中,采集设备采集经过网络节点传输的数据包时,可以在两种工作模式下切换,一种工作模式为主动丢弃模式,另一种工作模式为非主动丢弃模式,采集设备在启动后,初始工作模式为非主动丢弃模式,基于采集设备的这两种工作模式的数据采集方法如图3所示,具体包括如下处理步骤:
步骤301、采集设备在启动后,持续的从网络节点采集经过该网络节点传输的数据包。
具体可以通过对网络节点的流量数据进行镜像分流的方式进行采集,所采集的数据包可以各种类型的数据包,例如,网站访问数据包,如网站的页面数据包和图像数据包。
步骤302、采集设备进入非主动丢弃模式,在非主动丢弃模式下,采集设备对于采集的数据包均进行保留,用于网络传输数据的还原。
有关还原网络传输数据的具体方法,可以根据数据包的传输协议,采用现有技术的各种方法,在此不再进行详细描述。
步骤303、采集设备在第一丢弃监测周期到达时,确定采集设备的性能参数是否大于第一预设参数阈值,性能参数越大表示采集设备的性能越差,如果大于第一预设参数阈值时,进入步骤304,如果不大于第一预设参数阈值,进入步骤302,继续保持工作在非主动丢弃模式下。
其中,采集设备的性能参数可以是能够表示采集设备当前运行性能的各种参数,例如,CPU利用率,内存使用率,随机丢包率等。
步骤304、采集设备进入主动丢弃模式,在主动丢弃模式下,采集设备对于采集的数据包,确定该数据包的源地址是否位于丢弃地址列表中,如果位于,进入步骤305,如果不位于,进入步骤306。
其中,丢弃地址列表中的地址可以是预先设置的,也可以是根据采集设备采集的数据包的源地址确定的,例如,可以在最近过去的预设时间段内采集的数据包的源地址中,随机选择预设百分比数量的源地址,组成丢弃地址列表,进一步的,该丢弃地址列表也可以是周期变化的,即监控列表生成周期,在列表生成周期到达时,通过上述方式更新丢弃地址列表中的地址,从而避免当丢弃地址列表中的地址不变时,对于源地址位于丢弃地址列表中数据包组成的网络传输数据一直无法还原的情况。
步骤305、丢弃采集的源地址位于丢弃地址列表中的该数据包。
步骤306、保留采集的源地址不位于丢弃地址列表中的该数据包,用于网络传输数据的还原。
步骤307、采集设备在第二丢弃监测周期到达时,确定采集设备的性能参数是否小于第二预设参数阈值,第二预设参数阈值小于第一预设参数阈值,如果小于第二预设参数阈值时,进入步骤302,如果不小于第二预设参数阈值,进入步骤304,继续保持工作在主动丢弃模式下。
在本发明实施例2提供的上述数据采集方法中,涉及到的各种预设参数,如第一丢弃监测周期,第一预设参数阈值,第二丢弃监测周期,第二预设参数阈值,预设时间段和列表生成周期等,均可以根据实际需要进行灵活设置,在此不再举例进行描述。
实施例3:
基于同一发明构思,根据本发明上述实施例提供的数据采集方法,相应地,本发明实施例3还提供了一种数据采集装置,其结构示意图如图4所示,具体包括:
采集单元401,用于从网络节点采集经过所述网络节点传输的数据包;
第一处理单元402,用于当采集的所述数据包的源地址位于丢弃地址列表中时,丢弃采集的所述数据包;当采集的所述数据包的源地址不位于丢弃地址列表中时,保留采集的所述数据包,用于网络传输数据的还原。
进一步的,上述数据采集装置,还包括:
第一确定单元403,用于在所述第一处理单元确定采集的所述数据包的源地址是否位于丢弃地址列表中之前,确定所述采集装置的性能参数大于第一预设参数阈值,性能参数越大表示所述采集装置的性能越差。
进一步的,第一确定单元403,具体用于在第一丢弃监测周期到达时,确定所述采集装置的性能参数大于第一预设参数阈值。
进一步的,上述数据采集装置,还包括:
第二确定单元404,用于在所述第一确定单元确定所述采集装置的性能参数大于第一预设参数阈值之后,在第二丢弃监测周期到达时,确定所述采集装置的性能参数是否小于第二预设参数阈值,其中,所述第二预设参数阈值小于所述第一预设参数阈值;
第二处理单元405,用于当所述采集设备的性能参数小于所述第二预设参数阈值时,保留从所述网络节点采集的经过所述网络节点传输的数据包,用于网络传输数据的还原。
进一步的,上述数据采集装置,还包括:
列表确定单元406,用于在所述第一处理单元确定采集的所述数据包的源地址是否位于丢弃地址列表中之前,在最近过去的预设时间段内采集的数据包的源地址中,随机选择预设百分比数量的源地址,组成丢弃地址列表。
相应的,本发明实施例3还提供一种数据采集设备,包括上述数据采集装置。
上述各单元的功能可对应于图1至图3所示流程中的相应处理步骤,在此不再赘述。
综上所述,本发明实施例提供的方案,包括:采集设备从网络节点采集经过该网络节点传输的数据包;并当采集的该数据包的源地址位于丢弃地址列表中时,丢弃采集的该数据包;以及当采集的该数据包的源地址不位于丢弃地址列表中时,保留采集的该数据包,用于网络传输数据的还原。采用本发明实施例提供的方案,提高了对网络传输数据进行还原的效果。
本申请的实施例所提供的数据采集装置可通过计算机程序实现。本领域技术人员应该能够理解,上述的模块划分方式仅是众多模块划分方式中的一种,如果划分为其他模块或不划分模块,只要数据采集装置具有上述功能,都应该在本申请的保护范围之内。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种数据采集方法,其特征在于,包括:
采集设备从网络节点采集经过所述网络节点传输的数据包;
在最近过去的预设时间段内采集的数据包的源地址中,随机选择预设百分比数量的源地址,组成丢弃地址列表;
当采集的所述数据包的源地址位于丢弃地址列表中时,丢弃采集的所述数据包;
当采集的所述数据包的源地址不位于丢弃地址列表中时,保留采集的所述数据包,用于网络传输数据的还原。
2.如权利要求1所述的方法,其特征在于,所述采集设备从网络节点采集经过所述网络节点传输的数据包之后,在确定采集的所述数据包的源地址是否位于丢弃地址列表中之前,还包括:
确定所述采集设备的性能参数大于第一预设参数阈值,性能参数越大表示所述采集设备的性能越差。
3.如权利要求2所述的方法,其特征在于,确定所述采集设备的性能参数大于第一预设参数阈值,具体为:
在第一丢弃监测周期到达时,确定所述采集设备的性能参数大于第一预设参数阈值。
4.如权利要求3所述的方法,其特征在于,在确定所述采集设备的性能参数大于第一预设参数阈值之后,还包括:
在第二丢弃监测周期到达时,确定所述采集设备的性能参数是否小于第二预设参数阈值,其中,所述第二预设参数阈值小于所述第一预设参数阈值;
当所述采集设备的性能参数小于所述第二预设参数阈值时,保留从所述网络节点采集的经过所述网络节点传输的数据包,用于网络传输数据的还原;
当所述采集设备的性能参数不小于所述第二预设参数阈值、且采集的所述数据包的源地址位于丢弃地址列表中时,丢弃采集的所述数据包;当所述采集设备的性能参数不小于所述第二预设参数阈值、且采集的所述数据包的源地址不位于丢弃地址列表中时,保留采集的所述数据包,用于网络传输数据的还原。
5.一种数据采集装置,其特征在于,包括:
采集单元,用于从网络节点采集经过所述网络节点传输的数据包;
列表确定单元,用于在第一处理单元确定采集的所述数据包的源地址是否位于丢弃地址列表中之前,在最近过去的预设时间段内采集的数据包的源地址中,随机选择预设百分比数量的源地址,组成丢弃地址列表;
所述第一处理单元,用于当采集的所述数据包的源地址位于丢弃地址列表中时,丢弃采集的所述数据包;当采集的所述数据包的源地址不位于丢弃地址列表中时,保留采集的所述数据包,用于网络传输数据的还原。
6.如权利要求5所述的装置,其特征在于,还包括:
第一确定单元,用于在所述第一处理单元从网络节点采集经过所述网络节点传输的数据包之后,所述第一处理单元确定采集的所述数据包的源地址是否位于丢弃地址列表中之前,确定所述采集装置的性能参数大于第一预设参数阈值,性能参数越大表示所述采集装置的性能越差。
7.如权利要求6所述的装置,其特征在于,所述第一确定单元,具体用于在第一丢弃监测周期到达时,确定所述采集装置的性能参数大于第一预设参数阈值。
8.如权利要求7所述的装置,其特征在于,还包括:
第二确定单元,用于在所述第一确定单元确定所述采集装置的性能参数大于第一预设参数阈值之后,在第二丢弃监测周期到达时,确定所述采集装置的性能参数是否小于第二预设参数阈值,其中,所述第二预设参数阈值小于所述第一预设参数阈值;
第二处理单元,用于当所述采集设备的性能参数小于所述第二预设参数阈值时,保留从所述网络节点采集的经过所述网络节点传输的数据包,用于网络传输数据的还原;
所述第一处理单元,用于当所述采集设备的性能参数不小于所述第二预设参数阈值、且采集的所述数据包的源地址位于丢弃地址列表中时,丢弃采集的所述数据包;当所述采集设备的性能参数不小于所述第二预设参数阈值、且采集的所述数据包的源地址不位于丢弃地址列表中时,保留采集的所述数据包,用于网络传输数据的还原。
9.一种数据采集设备,其特征在于,包括如权利要求5-8任一所述的装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310342198.7A CN104348656B (zh) | 2013-08-07 | 2013-08-07 | 一种数据采集方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310342198.7A CN104348656B (zh) | 2013-08-07 | 2013-08-07 | 一种数据采集方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104348656A CN104348656A (zh) | 2015-02-11 |
CN104348656B true CN104348656B (zh) | 2018-09-07 |
Family
ID=52503530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310342198.7A Active CN104348656B (zh) | 2013-08-07 | 2013-08-07 | 一种数据采集方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104348656B (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7283470B1 (en) * | 2002-01-25 | 2007-10-16 | Juniper Networks, Inc. | Systems and methods for dropping data using a drop profile |
JP4318515B2 (ja) * | 2003-09-18 | 2009-08-26 | 富士通株式会社 | パケット処理装置 |
US8045454B2 (en) * | 2005-09-12 | 2011-10-25 | Cisco Technology, Inc. | Multimedia data flow dropping |
CN101039254B (zh) * | 2006-03-15 | 2011-01-26 | 联想(北京)有限公司 | 一种媒体数据重组方法以及组包服务器 |
CN100558089C (zh) * | 2007-06-08 | 2009-11-04 | 北京工业大学 | 一种基于网络过滤器的内容过滤网关实现方法 |
CN101610271A (zh) * | 2009-07-21 | 2009-12-23 | 国网电力科学研究院 | 一种基于数据流还原技术的数据库安全防护方法 |
RU2576480C2 (ru) * | 2010-10-28 | 2016-03-10 | Нек Корпорейшн | Сетевая система и способ управления трафиком связи |
-
2013
- 2013-08-07 CN CN201310342198.7A patent/CN104348656B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN104348656A (zh) | 2015-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10148573B2 (en) | Packet processing method, node, and system | |
CN107306361B (zh) | 码流传输方法、装置及网络摄像头 | |
US11477106B2 (en) | Data packet sending method and apparatus in IPV6 network | |
CN106470116B (zh) | 一种网络故障检测与恢复方法及装置 | |
US9838291B2 (en) | Multicore processing of bidirectional traffic flows | |
CN107547507B (zh) | 一种防攻击方法、装置、路由器设备及机器可读存储介质 | |
US10750499B2 (en) | Method, device and system for controlling air interface resource | |
CN104063267B (zh) | 一种虚拟机流量监控方法及系统 | |
CN108847976B (zh) | 配网控制方法、移动终端、设备及计算机可读存储介质 | |
CN111885549B (zh) | 信息采集方法、装置、存储介质及电子装置 | |
WO2013185489A1 (zh) | 分析信令流量的方法及装置 | |
US20160373325A1 (en) | Network Traffic Analysis | |
CN103825785A (zh) | 一种服务节点的监测方法及装置 | |
CN104618157B (zh) | 网络管理方法、设备及系统 | |
CN115695523B (zh) | 一种数据传输控制方法、装置、电子设备及存储介质 | |
WO2015123853A1 (zh) | 一种数据流处理方法及装置 | |
CN105142035A (zh) | 一种视频流切片转发系统及方法 | |
WO2017063198A1 (zh) | 数据传输的方法、装置和系统 | |
CN104348656B (zh) | 一种数据采集方法和装置 | |
WO2016082614A1 (zh) | 一种组播路由表项处理方法、装置及计算机存储介质 | |
CN104243591A (zh) | 同步安全集群会话信息的方法及装置 | |
CN106982156B (zh) | 优先级设置方法、装置、通信系统、设备及可读存储介质 | |
CN113630442B (zh) | 数据传输方法、装置及系统 | |
CN112612670B (zh) | 一种会话信息统计方法、装置、交换设备及存储介质 | |
CN115883466A (zh) | 交换机的控制方法及装置、存储介质及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |