CN111917835A - 一种监控网络数据的系统、方法和装置 - Google Patents
一种监控网络数据的系统、方法和装置 Download PDFInfo
- Publication number
- CN111917835A CN111917835A CN202010668703.7A CN202010668703A CN111917835A CN 111917835 A CN111917835 A CN 111917835A CN 202010668703 A CN202010668703 A CN 202010668703A CN 111917835 A CN111917835 A CN 111917835A
- Authority
- CN
- China
- Prior art keywords
- data
- mirror
- protocol
- monitoring
- format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000005540 biological transmission Effects 0.000 claims abstract description 146
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 7
- 230000002085 persistent effect Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003012 network analysis Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101001094649 Homo sapiens Popeye domain-containing protein 3 Proteins 0.000 description 1
- 101000608234 Homo sapiens Pyrin domain-containing protein 5 Proteins 0.000 description 1
- 101000578693 Homo sapiens Target of rapamycin complex subunit LST8 Proteins 0.000 description 1
- 102100027802 Target of rapamycin complex subunit LST8 Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/146—Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
- H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
- H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
- H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种监控网络数据的系统、方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：利用数据获取和分析工具，根据自定义的传输协议处理待监控的网络镜像数据，通过合并数据和调整数据传输频率降低了系统缓存以及镜像数据传输的资源开销，提高了系统的稳定性和监控数据的效率，并通过合并处理基于传输控制协议的多次连接，提高了镜像数据传输效率；通过还原包含自定义的传输协议的镜像数据为标准传输控制协议的数据格式，并建立基于应用层协议的虚拟连接，使镜像数据可以兼容第三方网络应用层分析应用，提高了监控网络镜像数据的灵活性。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种监控网络数据的系统、方法和装置。
背景技术
在当今互联网时代，数据安全和信息安全已经成为企业所必须关注的问题，通常对于数据流量监控的方案是在企业的主干网络上，将需要分析的网络流量旁路镜像给网络安全监控设备处理，这样可以保证用户正常业务流量不受影响，同时网络安全监控设备又能及时分析旁路镜像的网络数据流量，并将数据流量的风险反馈给网络管理员；安全产品分析旁路镜像流量的方案通常主要是以传统基于Linux系统的内核模块(kernel-module)的方式实现，即在Linux系统内核中实现数据流量识别和抓取，然后将抓取的数据流量转发给网络应用程序进行分析，当发现数据安全等风险时生成数据风险通知给运维人员。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
当待监控的镜像数据流量较大时，利用内核模块(kernel-module)监控网络数据的方式为获取全部旁路镜像数据而未做处理，因而需要在内核中申请大量空间来缓存未及时处理的数据，造成内核内存使用率可能过高，带来因为资源消耗过高造成的系统稳定性问题，影响了监控镜像数据的效率；并且镜像数据主要基于传输控制协议传输的，因此在内核模块中为了判断数据的有效性，需要处理数据的多次连接，增加了镜像数据处理的复杂度；内核模块由于运行在Linux系统上，造成移植性差，进而增大了监控镜像数据的复杂度。
发明内容
有鉴于此，本发明实施例提供一种监控网络数据的系统、方法和装置，利用数据获取和分析工具，根据自定义的传输协议对监控的镜像数据进行处理，通过合并数据和调整数据传输频率降低了系统缓存以及镜像数据传输的资源开销，提高了系统的稳定性和监控数据的效率，并通过合并处理基于传输控制协议的多次连接，提高了镜像数据传输效率；通过还原包含自定义的传输协议的镜像数据为标准传输控制协议的数据格式，并建立基于应用层协议的虚拟连接，使镜像数据可以兼容第三方网络应用层分析应用，提高了监控镜像数据的灵活性。
为实现上述目的，根据本发明实施例的一个方面，提供了一种监控网络数据的系统，其特征在于，包括：数据获取单元和数据监控单元模，其中：
所述数据获取单元用于根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据；所述镜像数据包含传输控制协议的数据格式；基于自定义传输协议，将所述镜像数据转换为包含所述自定义传输协议格式的中间数据；
所述数据监控单元用于接收所述中间数据，将所述中间数据包含的自定义传输协议格式转换为传输控制协议格式，形成目标镜像数据；监控所述目标镜像数据，当所述目标镜像数据匹配于设定的监控策略时，发送监控提示信息。
可选地，所述监控网络数据的系统，其特征在于，
基于所述目标镜像数据包含的应用层协议标识，建立所述目标镜像数据基于应用层协议的虚拟连接。
可选地，所述监控网络数据的系统，其特征在于，
根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据，包括：在所述数据获取单元中设置数据过滤单元，所述数据过滤单元用于基于数据传输的网络地址设置数据获取策略。
可选地，所述监控网络数据的系统，其特征在于，
基于自定义传输协议，将所述镜像数据转换为包含所述自定义传输协议格式的中间数据，包括：基于自定义传输协议合并至少两组所述镜像数据，生成一组包含所述自定义传输协议格式的所述中间数据。
可选地，所述监控网络数据的系统，其特征在于，
根据包含所述自定义传输协议格式的一组所述中间数据的尺寸，确定发送一组所述中间数据到所述数据监控单元的发送频率。
可选地，所述监控网络数据的系统，其特征在于，
合并处理所述镜像数据中包含的基于传输控制协议的多次连接。
可选地，所述监控网络数据的系统，其特征在于，
所述数据获取单元与所述数据处理单元运行于同一台物理设备。
可选地，所述监控网络数据的系统，其特征在于，
所述数据获取单元与所述数据处理单元利用本地长连接进行数据传输。
为实现上述目的，根据本发明实施例的第二方面，提供了一种监控网络数据的方法，其特征在于，包括：根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据；所述镜像数据包含传输控制协议的数据格式；基于自定义传输协议，将所述镜像数据转换为包含所述自定义传输协议格式的中间数据；并发送所述中间数据；接收所述中间数据，将所述中间数据包含的自定义传输协议格式转换为传输控制协议格式，形成目标镜像数据；监控所述目标镜像数据，当所述目标镜像数据匹配于设定的监控策略时，发送监控提示信息。
可选地，所述监控网络数据的方法，其特征在于，
基于所述目标镜像数据包含的应用层协议标识，建立所述目标镜像数据基于应用层协议的虚拟连接。
可选地，所述监控网络数据的方法，其特征在于，
根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据，包括：基于数据传输的网络地址设置数据获取策略。
可选地，所述监控网络数据的方法，其特征在于，
基于自定义传输协议处理所述镜像数据，生成包含所述自定义传输协议格式的中间数据，包括：基于自定义传输协议合并至少两组所述镜像数据，生成一组包含所述自定义传输协议格式的所述中间数据。
可选地，所述监控网络数据的方法，其特征在于，
根据包含所述自定义传输协议格式的一组所述中间数据的尺寸，确定发送一组所述中间数据的发送频率。
可选地，所述监控网络数据的方法，其特征在于，
合并处理所述镜像数据中包含的基于传输控制协议的多次连接。
可选地，所述监控网络数据的方法，其特征在于，
利用本地长连接，发送或接收所述中间数据。
为实现上述目的，根据本发明实施例的第三方面，提供了一种监控网络数据的装置，其特征在于，包括：数据获取模块和数据监控模块；其中，
所述数据获取模块用于根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据；所述镜像数据包含传输控制协议的数据格式；基于自定义传输协议，将所述镜像数据转换为包含所述自定义传输协议格式的中间数据；并发送所述中间数据；
所述数据监控模块用于接收所述中间数据，将所述中间数据包含的自定义传输协议格式转换为传输控制协议格式，形成目标镜像数据；监控所述目标镜像数据，当所述目标镜像数据匹配于设定的监控策略时，发送监控提示信息。
可选地，所述监控网络数据的装置，其特征在于，
基于所述目标镜像数据包含的应用层协议标识，建立所述目标镜像数据基于应用层协议的虚拟连接。
可选地，所述监控网络数据的装置，其特征在于，
根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据，包括：基于数据传输的网络地址设置数据获取策略。
可选地，所述监控网络数据的装置，其特征在于，
基于自定义传输协议处理所述镜像数据，生成包含所述自定义传输协议格式的中间数据，包括：基于自定义传输协议合并至少两组所述镜像数据，生成一组包含所述自定义传输协议格式的所述中间数据。
可选地，所述监控网络数据的装置，其特征在于，
根据包含所述自定义传输协议格式的一组所述中间数据的尺寸，确定发送一组所述中间数据的发送频率。
可选地，所述监控网络数据的装置，其特征在于，
合并处理所述镜像数据中包含的基于传输控制协议的多次连接。
可选地，所述监控网络数据的装置，其特征在于，
利用本地长连接，发送或接收所述中间数据。
为实现上述目的，根据本发明实施例的第四方面，提供了一种监控网络数据的电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述监控网络数据的方法中任一所述的方法。
为实现上述目的，根据本发明实施例的第五方面，提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上述监控网络数据的方法中任一所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：利用数据获取和分析工具，根据自定义的传输协议处理待监控的网络镜像数据，通过合并数据和调整数据传输频率降低了系统缓存以及镜像数据传输的资源开销，提高了系统的稳定性，并通过合并基于传输控制协议的三次握手和四次挥手的过程，提高了镜像数据传输效率；通过还原包含自定义的传输协议的镜像数据为标准传输控制协议的数据格式，并建立基于应用层协议的虚拟连接，使镜像数据可以兼容第三方网络应用层数据分析应用，提高了监控网络镜像数据的可移植性和灵活性。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明一个实施例提供的一种监控网络数据的系统的结构示意图；
图2是本发明一个实施例提供的一种监控网络数据的系统的示意图；
图3是本发明一个实施例提供的一种监控网络数据的方法的流程示意图；
图4是本发明一个实施例提供的一种监控网络数据的装置的示意图；
图5是本发明实施例可以应用于其中的示例性系统架构图；
图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
如图1所示，本发明实施例提供了一种监控网络数据的系统100的结构示意图，包括数据获取单元101和数据监控单元102。
所述数据获取单元101用于根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据；所述镜像数据包含传输控制协议的数据格式；基于自定义传输协议，将所述镜像数据转换为包含所述自定义传输协议格式的中间数据。
具体地，安全产品服务器通常利用旁路镜像流量的方式获取数据流量来分析和监控数据安全性，在本发明的一个实施例中，运行于安全产品服务器中的数据获取单元，根据数据获取单元，从交换服务器获取镜像数据，例如：通过交换机的网卡获取镜像数据；所述数据获取策略为预先设定的策略，用来确定数据获取单元所获取到的数据以及数据的来源，例如，可以设定策略为基于数据传输的网络地址获取镜像数据，进一步地，由数据过滤单元设置数据获取策略；例如：数据获取策略为获取来自一个网段172.168.*.*的数据，或者获取关联于某个IP(互联网协议)地址的端口号(例如：端口号为80)的数据等；所述数据获取策略根据企业的具体业务场景而设定，本发明对镜像数据获取策略的具体内容不做限定。即，根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据，包括：在所述数据获取单元中设置数据过滤单元，所述数据过滤单元用于基于数据传输的网络地址设置数据获取策略。
进一步地，本发明的一个实施例使用PF_RING工具所提供的驱动、Libpcap软件包、以及BRO工具(为一种数据包流量分析工具)相结合的方案实现镜像数据的获取，可以理解的是，利用本方案，代替通常使用的Kernel-Module数据获取方式，克服了现有的内核模块(Kernel-Module)方案的缺陷。
具体地，PF_RING为数据包捕获技术工具包，利用PF_RING包含的驱动所提供的底层套接字缓冲区机制，可以较高效率接收交换机的网卡数据，并可以通过适配缓冲区的大小缓存大量数据，从而不需要系统内核模块(Kernel-Module)方案的从套接字的缓冲区向用户空间缓冲区拷贝镜像数据的过程，提高了镜像数据的接收效率。进一步地，利用Libpcap软件包的接口获取镜像数据，Libpcap软件包为基于PF_RING包含的驱动接口重新编译，进而提供各种标准的镜像数据获取接口，从而解决了BRO工具需要做适配而形成的移植性问题，提高了BRO工具的灵活性与易用性从而保证了数据获取应用的稳定性；进一步地，利用BRO工具，根据数据获取策略过滤流量；例如，数据获取策略为：tcp port 80，即指示为获取TCP(传输控制协议)协议端口为80的镜像数据；即，根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据。
进一步地，所述镜像数据为基于传输控制协议的数据格式；基于自定义传输协议处理所述镜像数据，生成基于所述自定义传输协议格式的中间数据；具体地，数据传输惯用的传输层协议是TCP(Transmis sion Control Protocol，TCP，传输控制协议)，一般企业网络所监控和检测应用层数据流量通常将TCP协议作为传输协议，应用层的协议类型包括：HTTP协议(Hypertext Transfer Protocol，超文本传输协议)，FTP协议(File TransferProtocol，文件传输协议)，SNMP协议(Sim ple Network Management Protocol，简单网络管理协议)，IMAP协议(Internet Message Access Protocol，互联网信息访问协议)，POP3协议(Post Office Protocol 3，邮局协议版本3)等；通过获取基于T CP协议(即，传输控制协议)的数据格式的镜像数据，并发送给的数据监控单元做进一步地镜像数据的监控和分析；进一步地，所述数据获取单元基于自定义传输协议，将所述镜像数据转换为包含所述自定义传输协议格式的中间数据；具体地，自定义传输协议，例如本发明的一个实施例为自定义TCP-Replay协议，用于将获取到的多组镜像数据进行合并、重新组合，生成包含所述自定义传输协议格式的中间数据；并通过本地长连接(例如：unix-socket)的序列包方式传递给数据处理模块做进一步地数据处理，降低了网络套接字资源的消耗；提高了镜像数据传输效率；即，所述数据获取模块与所述数据处理模块利用本地长连接进行数据传输。即，基于自定义传输协议处理所述镜像数据，生成基于所述自定义传输协议格式的中间数据，包括：基于自定义传输协议合并至少两组所述镜像数据，生成一组基于所述自定义传输协议格式的所述中间数据。可以理解的是，通过合并多组镜像数据，降低了传输镜像数据的网络资源的开销。进一步地，根据中间数据的尺寸和网络资源的可用率，确定发送所述中间数据给数据处理模块的频率，其中，网络数据的尺寸为网络数据的大小(例如，1GB，500MB等)；例如当中间数据的尺寸较大时，可以减少发送中间数据的频率，用于减少网络资源的拥塞；即，基于自定义传输协议处理所述镜像数据，生成基于所述自定义传输协议格式的中间数据，还包括：根据一组基于所述自定义传输协议格式的所述中间数据的尺寸，确定发送所述中间数据到所述数据处理模块的发送频率。
进一步地，在BRO工具中可以识别、合并基于传输控制协议的关于体现三次握手和四次挥手(即，多次连接)的数据包，降低了接收镜像数据的应用的处理复杂度，提高了监控镜像数据的效率；即，合并处理所述镜像数据中包含的基于传输控制协议的多次连接。
所述数据监控单元102用于接收所述中间数据，将所述中间数据包含的自定义传输协议格式转换为传输控制协议格式，形成目标镜像数据；监控所述目标镜像数据，当所述目标镜像数据匹配于设定的监控策略时，发送监控提示信息。
具体地，所述数据监控单元102接收中间数据，将所述中间数据包含的自定义传输协议格式转换为传输控制协议格式，形成目标镜像数据；本发明的一个实施例中，所述数据监控单元运行于ATS(Apache Traffic Server，ATS)，通过本地长连接(unix-socket)从BRO接收中间数据，先根据TCP-Replay协议将中间数据转换为基于TCP协议格式的目标镜像数据，数据转换的过程包括解数据包并还原数据；进一步地，基于所述目标镜像数据包含的应用层协议标识，建立所述目标镜像数据基于应用层协议的虚拟连接；具体地，所述数据监控单元包括应用层的网络分析应用，用于监控和分析目标镜像数据。因此，通过基于所述目标镜像数据包含的应用层协议标识(例如，HTTP协议标识)，建立所述目标镜像数据基于应用层协议(例如，HTTP协议)的虚拟连接；从而可以兼容运行于ATS之上的第三方网络分析应用，提高了监控数据的兼容性和灵活性；其中，在生成应用层协议的虚拟连接时，可以利用ATS所包含的事件模拟功能指示所述目标镜像数据为镜像数据属性。使用的方法可以通过适配ATS中存在的异步事件处理系统，添加指示镜像数据属性的代码。所述网络分析应用通过分析所述目标镜像数据，根据设定的监控策略，例如包括分析策略、安全风险触发条件等，当所述目标镜像数据匹配于设定的监控策略时，生成并发送监控提示信息，监控提示信息例如日志信息、告警文本等。并通过邮件、事件通知、短信等方式发送监控提示信息给发送相关运维人员；即，监控所述目标镜像数据，当所述目标镜像数据匹配于设定的监控策略时，发送监控提示信息。本发明对设定的监控策略的具体内容、监控提示信息的具体内容以及发送监控提示信息的具体方式均不作限定。
优选地，所述数据获取单元与所述数据处理单元运行于同一台物理设备。例如：所述数据获取单元与所述数据处理单元运行于同一台用于监控网络数据(网络数据即为镜像数据)的物理设备上，例如：个人电脑、服务器等。可以理解的是，通过所述数据获取单元与所述数据处理单元运行于同一台物理设备，利用本地长连接传输镜像数据，提高了镜像数据的传输效率和传输稳定性，进而提高了监控数据的效率。进一步地，图2示出了上述所描述的基于BRO、ATS的一个实施例的示意结构图。
如图3所示，本发明实施例提供了一种监控网络数据的方法的流程示意图，该方法包括如下步骤：
步骤S301：根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据；所述镜像数据包含传输控制协议的数据格式；基于自定义传输协议，将所述镜像数据转换为包含所述自定义传输协议格式的中间数据；并发送所述中间数据。
具体地，关于获取和转换镜像数据的描述与数据获取单元101的描述一致，在此不再赘述。
步骤S302：接收所述中间数据，将所述中间数据包含的自定义传输协议格式转换为传输控制协议格式，形成目标镜像数据；监控所述目标镜像数据，当所述目标镜像数据匹配于设定的监控策略时，发送监控提示信息。
具体地，关于监控镜像数据，包括接收和处理镜像数据的描述与数据监控单元102的描述一致，在此不再赘述。
如图4所示，本发明实施例提供了一种监控网络数据的装置400的结构示意图，包括：数据获取模块401和数据监控模块402，其中，
所述数据获取模块401用于根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据；所述镜像数据包含传输控制协议的数据格式；基于自定义传输协议，将所述镜像数据转换为包含所述自定义传输协议格式的中间数据；并发送所述中间数据；
所述数据监控模块402用于接收所述中间数据，将所述中间数据包含的自定义传输协议格式转换为传输控制协议格式，形成目标镜像数据；基于所述目标镜像数据包含的应用层协议标识，建立所述目标镜像数据基于应用层协议的虚拟连接；基于所述目标镜像数据进行数据分析和监控。
可选地，所述数据获取模块401，还用于基于所述目标镜像数据包含的应用层协议标识，建立所述目标镜像数据基于应用层协议的虚拟连接。
可选地，所述数据获取模块401，还用于根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据，包括：基于数据传输的网络地址设置数据获取策略。
可选地，所述数据获取模块401，还用于基于自定义传输协议处理所述镜像数据，生成包含所述自定义传输协议格式的中间数据，包括：基于自定义传输协议合并至少两组所述镜像数据，生成一组包含所述自定义传输协议格式的所述中间数据。
可选地，所述数据获取模块401，还用于根据包含所述自定义传输协议格式的一组所述中间数据的尺寸，确定发送一组所述中间数据的发送频率。
可选地，所述数据获取模块401，还用于合并处理所述镜像数据中包含的基于传输控制协议的多次连接。
可选地，所述数据获取模块401，还用于利用本地长连接，发送或接收所述中间数据。
本发明实施例还提供了一种监控网络数据的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例提供的方法。
本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例提供的方法。
图5示出了可以应用本发明实施例的监控网络数据的方法或监控网络数据的装置的示例性系统架构500。
如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种客户端应用，例如网页浏览器应用、搜索类应用、即时通信工具和邮箱客户端等。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所生成的网络数据提供监控的后台管理服务器。后台管理服务器可以对接收到的镜像数据进行分析和监控等处理，并将监控提示信息反馈给终端设备。
需要说明的是，本发明实施例所提供的监控网络数据的方法一般由服务器505执行，相应地监控网络数据的装置一般设置于服务器505中。
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中，例如，可以描述为：一种处理器包括数据获取模块和数据监控模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据监控模块还可以被描述为“接收并处理镜像数据，根据设定的监控策略，监控所述镜像数据的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：利用数据获取和分析工具，根据自定义的传输协议处理待监控的镜像数据，通过合并数据和调整数据传输频率降低了系统缓存以及镜像数据传输的资源开销，提高了系统的稳定性和监控网络数据的效率，并通过合并处理基于传输控制协议的多次连接，提高了镜像数据传输效率；通过还原包含自定义的传输协议的镜像数据为标准传输控制协议的数据格式，并建立基于应用层协议的虚拟连接，使镜像数据可以兼容第三方网络应用层分析应用，提高了监控镜像数据的灵活性。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (18)
1.一种监控网络数据的系统，其特征在于，包括：数据获取单元和数据监控单元，其中：
所述数据获取单元用于根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据；所述镜像数据包含传输控制协议的数据格式；基于自定义传输协议，将所述镜像数据转换为包含所述自定义传输协议格式的中间数据；
所述数据监控单元用于接收所述中间数据，将所述中间数据包含的自定义传输协议格式转换为传输控制协议格式，形成目标镜像数据；监控所述目标镜像数据，当所述目标镜像数据匹配于设定的监控策略时，发送监控提示信息。
2.根据权利要求1所述的系统，其特征在于，
基于所述目标镜像数据包含的应用层协议标识，建立所述目标镜像数据基于应用层协议的虚拟连接。
3.根据权利要求1所述的系统，其特征在于，
根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据，包括：在所述数据获取单元中设置数据过滤单元，所述数据过滤单元用于基于数据传输的网络地址设置数据获取策略。
4.根据权利要求1所述的系统，其特征在于，
基于自定义传输协议，将所述镜像数据转换为包含所述自定义传输协议格式的中间数据，包括：
基于自定义传输协议合并至少两组所述镜像数据，生成一组包含所述自定义传输协议格式的所述中间数据。
5.根据权利要求4所述的系统，其特征在于，
根据包含所述自定义传输协议格式的一组所述中间数据的尺寸，确定发送一组所述中间数据到所述数据监控单元的发送频率。
6.根据权利要求1所述的系统，其特征在于，
合并处理所述镜像数据中包含的基于传输控制协议的多次连接。
7.根据权利要求1所述的系统，其特征在于，
所述数据获取单元与所述数据处理单元运行于同一台物理设备。
8.根据权利要求7所述的系统，其特征在于，
所述数据获取单元与所述数据处理单元利用本地长连接进行数据传输。
9.一种监控网络数据的方法，其特征在于，包括：
根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据；所述镜像数据包含传输控制协议的数据格式；基于自定义传输协议，将所述镜像数据转换为包含所述自定义传输协议格式的中间数据；并发送所述中间数据；
接收所述中间数据，将所述中间数据包含的自定义传输协议格式转换为传输控制协议格式，形成目标镜像数据；监控所述目标镜像数据，当所述目标镜像数据匹配于设定的监控策略时，发送监控提示信息。
10.根据权利要求9所述的方法，其特征在于，
基于所述目标镜像数据包含的应用层协议标识，建立所述目标镜像数据基于应用层协议的虚拟连接。
11.根据权利要求9所述的方法，其特征在于，
根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据，包括：基于数据传输的网络地址设置数据获取策略。
12.根据权利要求9所述的方法，其特征在于，
基于自定义传输协议处理所述镜像数据，生成包含所述自定义传输协议格式的中间数据，包括：
基于自定义传输协议合并至少两组所述镜像数据，生成一组包含所述自定义传输协议格式的所述中间数据。
13.根据权利要求12所述的方法，其特征在于，
根据包含所述自定义传输协议格式的一组所述中间数据的尺寸，确定发送一组所述中间数据的发送频率。
14.根据权利要求9所述的方法，其特征在于，
合并处理所述镜像数据中包含的基于传输控制协议的多次连接。
15.根据权利要求9所述的方法，其特征在于，
利用本地长连接，发送或接收所述中间数据。
16.一种监控网络数据的装置，其特征在于，包括：数据获取模块和数据监控模块；其中，
所述数据获取模块用于根据数据获取策略，从数据交换服务器获取匹配于所述数据获取策略的镜像数据；所述镜像数据包含传输控制协议的数据格式；基于自定义传输协议，将所述镜像数据转换为包含所述自定义传输协议格式的中间数据；并发送所述中间数据；
所述数据监控模块用于接收所述中间数据，将所述中间数据包含的自定义传输协议格式转换为传输控制协议格式，形成目标镜像数据；监控所述目标镜像数据，当所述目标镜像数据匹配于设定的监控策略时，发送监控提示信息。
17.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求9-15中任一所述的方法。
18.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求9-15中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010668703.7A CN111917835A (zh) | 2020-07-13 | 2020-07-13 | 一种监控网络数据的系统、方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010668703.7A CN111917835A (zh) | 2020-07-13 | 2020-07-13 | 一种监控网络数据的系统、方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111917835A true CN111917835A (zh) | 2020-11-10 |
Family
ID=73228054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010668703.7A Pending CN111917835A (zh) | 2020-07-13 | 2020-07-13 | 一种监控网络数据的系统、方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111917835A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113515482A (zh) * | 2021-09-14 | 2021-10-19 | 北京国科天迅科技有限公司 | 数据传输系统、方法、计算机设备和存储介质 |
| CN114826916A (zh) * | 2021-01-28 | 2022-07-29 | 阿里巴巴集团控股有限公司 | 数据传输方法、设备、系统及计算机存储介质 |
| CN116033038A (zh) * | 2022-12-28 | 2023-04-28 | 山东省水利勘测设计院有限公司 | 一种水网工程调度运行监控数据共享方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1633110A (zh) * | 2005-01-14 | 2005-06-29 | 中国科学院计算技术研究所 | 基于Linux内核的流量分析方法 |
| CN101488960A (zh) * | 2009-03-04 | 2009-07-22 | 哈尔滨工程大学 | 基于并行处理的tcp协议及其数据还原装置及方法 |
| CN101841470A (zh) * | 2010-03-29 | 2010-09-22 | 东南大学 | 一种基于Linux的底层数据包的高速捕获方法 |
| CN102638487A (zh) * | 2011-03-02 | 2012-08-15 | 中国科学院地质与地球物理研究所 | 大型遥测地震仪高性能数据传输方法 |
| CN103997439A (zh) * | 2014-06-04 | 2014-08-20 | 腾讯科技（深圳）有限公司 | 一种流量监测方法、装置和系统 |
| CN104394211A (zh) * | 2014-11-21 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种基于Hadoop用户行为分析系统设计与实现方法 |
| CN106656838A (zh) * | 2016-10-19 | 2017-05-10 | 赛尔网络有限公司 | 一种流量分析方法及系统 |
| CN107426017A (zh) * | 2017-06-26 | 2017-12-01 | 杭州沃趣科技股份有限公司 | 一种通过采集交换机网络流量进行数据分析的方法 |
| CN108023767A (zh) * | 2017-11-29 | 2018-05-11 | 四川无声信息技术有限公司 | 上网行为追踪方法、装置及服务器 |
| CN108600053A (zh) * | 2018-05-10 | 2018-09-28 | 南京邮电大学 | 一种基于零拷贝技术的无线网络数据包捕获方法 |
| CN109768899A (zh) * | 2018-12-26 | 2019-05-17 | 北京奇安信科技有限公司 | 网站可用性监测方法、装置、设备及介质 |
| CN110401642A (zh) * | 2019-07-10 | 2019-11-01 | 浙江中烟工业有限责任公司 | 一种工控流量的采集与协议解析方法 |
-
2020
- 2020-07-13 CN CN202010668703.7A patent/CN111917835A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1633110A (zh) * | 2005-01-14 | 2005-06-29 | 中国科学院计算技术研究所 | 基于Linux内核的流量分析方法 |
| CN101488960A (zh) * | 2009-03-04 | 2009-07-22 | 哈尔滨工程大学 | 基于并行处理的tcp协议及其数据还原装置及方法 |
| CN101841470A (zh) * | 2010-03-29 | 2010-09-22 | 东南大学 | 一种基于Linux的底层数据包的高速捕获方法 |
| CN102638487A (zh) * | 2011-03-02 | 2012-08-15 | 中国科学院地质与地球物理研究所 | 大型遥测地震仪高性能数据传输方法 |
| CN103997439A (zh) * | 2014-06-04 | 2014-08-20 | 腾讯科技（深圳）有限公司 | 一种流量监测方法、装置和系统 |
| CN104394211A (zh) * | 2014-11-21 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种基于Hadoop用户行为分析系统设计与实现方法 |
| CN106656838A (zh) * | 2016-10-19 | 2017-05-10 | 赛尔网络有限公司 | 一种流量分析方法及系统 |
| CN107426017A (zh) * | 2017-06-26 | 2017-12-01 | 杭州沃趣科技股份有限公司 | 一种通过采集交换机网络流量进行数据分析的方法 |
| CN108023767A (zh) * | 2017-11-29 | 2018-05-11 | 四川无声信息技术有限公司 | 上网行为追踪方法、装置及服务器 |
| CN108600053A (zh) * | 2018-05-10 | 2018-09-28 | 南京邮电大学 | 一种基于零拷贝技术的无线网络数据包捕获方法 |
| CN109768899A (zh) * | 2018-12-26 | 2019-05-17 | 北京奇安信科技有限公司 | 网站可用性监测方法、装置、设备及介质 |
| CN110401642A (zh) * | 2019-07-10 | 2019-11-01 | 浙江中烟工业有限责任公司 | 一种工控流量的采集与协议解析方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114826916A (zh) * | 2021-01-28 | 2022-07-29 | 阿里巴巴集团控股有限公司 | 数据传输方法、设备、系统及计算机存储介质 |
| CN113515482A (zh) * | 2021-09-14 | 2021-10-19 | 北京国科天迅科技有限公司 | 数据传输系统、方法、计算机设备和存储介质 |
| CN116033038A (zh) * | 2022-12-28 | 2023-04-28 | 山东省水利勘测设计院有限公司 | 一种水网工程调度运行监控数据共享方法 |
| CN116033038B (zh) * | 2022-12-28 | 2025-01-28 | 山东省水利勘测设计院有限公司 | 一种水网工程调度运行监控数据共享方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108173938B (zh) | 服务器负载分流方法及装置 | |
| CN113364804B (zh) | 一种流量数据的处理方法和装置 | |
| CN107809350A (zh) | 获取http服务器性能数据的方法和装置 | |
| CN109154968B (zh) | 用于组织内的安全且高效的通信的系统和方法 | |
| CN113382062A (zh) | 一种数据传输方法、装置和系统 | |
| CN111917835A (zh) | 一种监控网络数据的系统、方法和装置 | |
| CN113595927A (zh) | 一种旁路模式下镜像流量的处理方法和装置 | |
| CN114785854A (zh) | 业务请求处理方法、装置、设备、存储介质及产品 | |
| CN113438256B (zh) | 一种基于双层ssl的数据传输方法、系统和代理服务器 | |
| CN115412326A (zh) | 一种异常流量检测方法、装置、电子设备及存储介质 | |
| CN109788010A (zh) | 一种数据本地化存取的方法和装置 | |
| CN111800223A (zh) | 生成发送报文、处理接收报文的方法、装置和系统 | |
| CN111866100A (zh) | 一种控制数据传输速率的方法、装置和系统 | |
| CN115277506B (zh) | 负载均衡设备测试方法及系统 | |
| US9450906B2 (en) | Managing a messaging queue in an asynchronous messaging system | |
| CN107770219A (zh) | 一种视窗窗口的共享方法、网关服务器和系统 | |
| CN113079055B (zh) | 一种agv运行数据的动态采集方法和装置 | |
| CN112436951A (zh) | 一种预知流量路径的方法和装置 | |
| CN113422716B (zh) | 一种邮件安全控制方法和系统 | |
| CN116074367A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| CN110391950A (zh) | 一种应用服务测试方法和装置 | |
| CN115840601A (zh) | 一种任务限速的方法和装置 | |
| CN114125066A (zh) | 一种处理业务请求的方法和装置 | |
| CN112152915A (zh) | 消息转发网关系统和消息转发方法 | |
| CN113760693A (zh) | 用于微服务系统的本地调试的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201110 |