[go: up one dir, main page]

CN117156005B - 数据传输方法、系统、装置、电子设备和可读存储介质 - Google Patents

数据传输方法、系统、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN117156005B
CN117156005B CN202311224089.5A CN202311224089A CN117156005B CN 117156005 B CN117156005 B CN 117156005B CN 202311224089 A CN202311224089 A CN 202311224089A CN 117156005 B CN117156005 B CN 117156005B
Authority
CN
China
Prior art keywords
data packet
data
flow information
flow
storage area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311224089.5A
Other languages
English (en)
Other versions
CN117156005A (zh
Inventor
魏冬冬
谢少飞
喻波
王志海
董晓斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wondersoft Technology Co Ltd
Original Assignee
Beijing Wondersoft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wondersoft Technology Co Ltd filed Critical Beijing Wondersoft Technology Co Ltd
Priority to CN202311224089.5A priority Critical patent/CN117156005B/zh
Publication of CN117156005A publication Critical patent/CN117156005A/zh
Application granted granted Critical
Publication of CN117156005B publication Critical patent/CN117156005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种数据传输方法、系统、装置、电子设备和可读存储介质。该方法包括：通过业务进程从预设存储区域获取第一流量信息，并从第一流量信息中获取第一数据格式的数据包；通过业务进程将数据包转换为第二数据格式的数据包，得到第二流量信息；通过业务进程将第二流量信息发送至前端进程；通过前端进程基于第二流量信息，显示流量日志和第二数据格式的数据包。本申请实施例在告警发生的情况下，用户可以直接基于告警日志对应的数据包进行告警分析，简化了告警分析的操作过程，提高了告警分析的效率。

Description

数据传输方法、系统、装置、电子设备和可读存储介质
技术领域
本申请属于数据处理技术领域，具体涉及一种数据传输方法、系统、装置、电子设备和可读存储介质。
背景技术
Suricata是一个免费，开源，成熟，高性能，稳定的网络威胁检测引擎，Suricata可以实现实时入侵检测(Intrusion Detection Systems，IDS)、内联入侵预防(IntrusionPrevention System，IPS)、网络安全监控(Network Security&Management，NSM)和离线pcap(packet capture)处理等功能。Suricata依靠强大的可扩展性的规则和特征语言过滤网络流量，方便与其他数据库或安全数据分析平台集成。
然而，目前的Suricata只能进行五元组及上下行流量包大小等的日志数据的传输，缺少原始数据包的传输，在发生告警时，网络安全人员需要手动从互联网服务器获取告警日志对应的数据包，导致告警分析过程操作繁琐、效率低下。
发明内容
本申请实施例的目的是提供一种数据传输方法、系统、装置、电子设备和可读存储介质，能够解决告警分析过程操作繁琐、效率低下的问题。
第一方面，本申请实施例提供了一种数据传输方法，应用于第一设备，所述第一设备包括业务进程、前端进程和消息队列进程；该方法包括：
通过所述业务进程从预设存储区域获取第一流量信息，并从所述第一流量信息中获取第一数据格式的数据包；所述第一流量信息是所述消息队列进程存储至所述预设存储区域的；所述第一流量信息为第二设备将所述数据包添加到流量日志的第一目标字段中得到的；所述数据包是所述第二设备按照预设格式转换规则将原始流量数据进行转换得到的第一数据格式的数据包；所述流量日志是所述第二设备根据所述原始流量数据生成的；
通过所述业务进程将所述数据包转换为第二数据格式的数据包，得到第二流量信息；
通过所述业务进程将所述第二流量信息发送至所述前端进程；
通过所述前端进程基于所述第二流量信息，显示所述流量日志和所述第二数据格式的数据包。
第二方面，本申请实施例提供了一种数据传输方法，应用于第二设备，该方法包括：
获取原始流量数据，并根据所述原始流量数据生成流量日志；
按照预设格式转换规则，将所述原始流量数据转换为第一数据格式的数据包；
将所述数据包添加到所述流量日志的第一目标字段中，生成第一流量信息，并将所述第一流量信息发送至第一设备的消息队列进程，以供所述消息队列进程将所述第一流量信息存储至预设存储区域。
第三方面，本申请实施例提供了一种数据传输系统，该系统包括包括第一设备和第二设备，所述第一设备包括业务进程、前端进程和消息队列进程；
所述业务进程，用于从预设存储区域获取第一流量信息，并从所述第一流量信息中获取第一数据格式的数据包；并将所述第一流量信息中的数据包转换为第二数据格式的数据包，得到第二流量信息；以及将所述第二流量信息发送至所述前端进程；
所述前端进程，用于基于所述第二流量信息，显示所述流量日志和所述第二数据格式的数据包；
所述第二设备，用于获取原始流量数据，并根据所述原始流量数据生成流量日志；并按照预设格式转换规则，将所述原始流量数据转换为第一数据格式的数据包；以及将所述数据包添加到所述流量日志的第一目标字段中，生成第一流量信息，并将所述第一流量信息发送至第一设备的消息队列进程，以供所述消息队列进程将所述第一流量信息存储至预设存储区域。
第四方面，本申请实施例提供了一种数据传输装置，应用于第一设备，所述第一设备包括业务进程、前端进程和消息队列进程；该装置包括：
获取模块，用于通过所述业务进程从预设存储区域获取第一流量信息，并从所述第一流量信息中获取第一数据格式的数据包；所述第一流量信息是所述消息队列进程存储至所述预设存储区域的；所述第一流量信息为第二设备将所述数据包添加到流量日志的第一目标字段中得到的；所述数据包是所述第二设备按照预设格式转换规则将原始流量数据进行转换得到的第一数据格式的数据包；所述流量日志是所述第二设备根据所述原始流量数据生成的；
第一转换模块，用于通过所述业务进程将所述第一流量信息中的数据包转换为第二数据格式的数据包，得到第二流量信息；
发送模块，用于通过所述业务进程将所述第二流量信息发送至所述前端进程；
显示模块，用于通过所述前端进程基于所述第二流量信息，显示所述流量日志和所述第二数据格式的数据包。
第五方面，本申请实施例提供了一种数据传输装置，应用于第二设备，该装置包括：
第一生成模块，用于获取原始流量数据，并根据所述原始流量数据生成流量日志；
第二转换模块，用于按照预设格式转换规则，将所述原始流量数据转换为第一数据格式的数据包；
第二生成模块，用于将所述数据包添加到所述流量日志的第一目标字段中，生成第一流量信息，并将所述第一流量信息发送至第一设备的消息队列进程，以供所述消息队列进程将所述第一流量信息存储至预设存储区域。
第六方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面和第二方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面和第二方面所述的方法的步骤。
与现有技术相比，本申请包括以下优点：
在本申请实施例中，第一设备首先通过业务进程从预设存储区域获取第一流量信息，并从第一流量信息中获取第一数据格式的数据包；然后通过业务进程将数据包转换为第二数据格式的数据包，得到第二流量信息，并将第二流量信息发送至前端进程；最后通过前端进程基于第二流量信息，显示流量日志和第二数据格式的数据包，以实现第一流量信息中数据包的传输和显示。本申请实施例通过第一终端设备中业务进程、前端进程和消息队列进程之间的交互，实现了第一流量信息中数据包的传输和显示，使得用户在查看流量日志的同时，还可以基于数据包对流量日志进行分析。在告警发生的情况下，用户可以直接基于告警日志对应的数据包进行告警分析，简化了告警分析的操作过程，提高了告警分析的效率。
附图说明
图1是本申请的一种数据传输方法的步骤流程图；
图2是本申请的一种第一设备的逻辑框图；
图3是本申请的另一种数据传输方法的步骤流程图；
图4是本申请的又一种数据传输方法的步骤流程图；
图5是本申请的一种数据传输链路的逻辑框图；
图6是本申请的一种数据传输系统的逻辑框图；
图7是本申请的一种数据传输装置的逻辑框图；
图8是本申请的另一种数据传输装置的逻辑框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的一种数据传输方法、系统、装置、电子设备和可读存储介质进行详细地说明。
在相关技术中，流量日志的传输链路中只能进行流量日志的传输，流量日志包括五元组及上下行流量包大小等信息，用户在查看流量日志的过程中，如果想要对某一流量日志进行分析，就需要通过人工方式手动从互联网服务器中查找与该流量日志匹配的流量数据包，在查找到该流量数据包的情况下，再从互联网服务器中获取流量数据包，之后再基于该流量数据包中的内容对流量日志进行分析，操作过程繁琐且效率低下。
针对相关技术存在的问题，本申请实施例提供了一种数据传输方法、系统、装置、电子设备和可读存储介质。第一设备通过业务进程从预设存储区域获取第一流量信息，并从第一流量信息中获取第一数据格式的数据包；通过业务进程将数据包转换为第二数据格式的数据包，得到第二流量信息，并将第二流量信息发送至前端进程；以及通过前端进程基于第二流量信息，显示流量日志和第二数据格式的数据包，以实现第一流量信息中数据包的传输和显示。第二设备通过获取原始流量数据，并根据原始流量数据生成流量日志，并按照预设格式转换规则，将原始流量数据转换为第一数据格式的数据包；以及将数据包添加到流量日志的第一目标字段中，生成第一流量信息，并将第一流量信息发送至第一设备的消息队列进程，以供消息队列进程将第一流量信息存储至预设存储区域，以实现第一流量信息的生成。本申请实施例通过第一设备中业务进程、前端进程和消息队列进程之间的交互，以及第一设备与第二设备之间的交互，实现了第一流量信息中数据包的传输和显示，使得用户在查看流量日志的同时，还可以基于数据包对流量日志进行分析。在告警发生的情况下，用户可以直接基于告警日志对应的数据包进行告警分析，简化了告警分析的操作过程，提高了告警分析的效率。
参照图1，示出了本申请的一种数据传输方法的步骤流程图。该方法可以包括以下步骤S110至步骤S140：
步骤S110：通过所述业务进程从预设存储区域获取第一流量信息，并从所述第一流量信息中获取第一数据格式的数据包。
步骤S120：通过所述业务进程将所述数据包转换为第二数据格式的数据包，得到第二流量信息。
步骤S130：通过所述业务进程将所述第二流量信息发送至所述前端进程。
步骤S140：通过所述前端进程基于所述第二流量信息，显示所述流量日志和所述第二数据格式的数据包。
本申请实施例提供的数据传输方法可以应用于第一设备。第一设备可以是任意可以实现步骤S110至步骤S140所述方法的终端设备或服务器。第一设备可以包括但不限于业务进程、前端进程和消息队列进程。其中，业务进程分别与前端进程和预设存储区域建立连接，业务进程用于从预设存储区域中获取第一流量信息，在将第一流量信息转换为前端进程可以识别的第二流量信息之后，将第二流量信息发送至前端进程。前端进程分别与第一设备的显示装置和业务进程建立连接，前端进程用于基于第二流量信息，向用户显示流量日志和所述第二数据格式的数据包。消息队列进程具体可以是kafka分布式流处理平台，用于接收第二设备发送的第一流量信息，并将第一流量信息存储至预设存储区域。
需要说明的是，预设存储区域可以是开源列式数据库，预设存储区域可以设置于第一设备中，也可以设置在第一设备之外，本申请实施例对此不作具体限定。本申请实施例中的用户包括但不限于运维人员、开发人员等。
参照图2，示出了本申请的一种第一设备的逻辑框图。该第一设备10包括前端进程101、业务进程102、预设存储区域103和消息队列进程104。其中，业务进程102分别与前端进程101和预设存储区域103建立连接，消息队列进程104分别与第二设备20和预设存储区域103建立连接。
具体地，第二设备20在生成第一流量信息之后，第二设备20将第一流量信息发送至消息队列进程104，由消息队列进程104将第一流量信息存储至预设存储区域103；用户可以通过第一设备10的显示装置的显示界面，向前端进程101输入流量信息查看请求；前端进程101响应于流量信息查看请求，向业务进程102发送流量获取请求；业务进程102响应于流量获取请求向预设存储区域103发送流量获取请求，并从预设存储区域103获取第一流量信息，通过执行步骤S110和步骤S120对应的操作得到第二流量信息，并将第二流量信息发送至前端进程101；前端进程101在接收到第二流量信息的情况下，基于第二流量信息，通过第一设备10的显示装置向用户显示第二流量信息中的流量日志和数据包。
在本申请实施例中，所述第一流量信息是所述消息队列进程存储至所述预设存储区域的；所述第一流量信息为第二设备将所述数据包添加到流量日志的第一目标字段中得到的；所述数据包是所述第二设备按照预设格式转换规则将原始流量数据进行转换得到的第一数据格式的数据包；所述流量日志是所述第二设备根据所述原始流量数据生成的。需要说明的是，第一流量信息的数量为至少一个。
其中，第二设备可以是宿主机设备，第二设备中安装有网卡和网络威胁检测引擎，网络威胁检测引擎可以为Suricata。
第一流量信息包括第一数据格式的数据包和该数据包对应的流量日志。可以理解的是，数据包和流量日志对应于同一原始流量数据。用户通过对流量日志的分析可以发现非正常请求、重要接口访问等异常行为对应的告警日志，结合告警日志对应的数据包对告警日志作进一步分析确认，可以提高流量日志的分析效率，及时发现恶意行为并进行处理。
数据包存储于流量日志的第一目标字段中。第一目标字段可以是在流量日志中增加的字段，用于存储第一数据格式的流量包。示例性地，第一数据格式可以为Base64格式，第一目标字段可以是packetBase64字段。当然，第一数据格式也可以是消息队列进程可以识别的其他数据格式，本申请实施例对此不作具体限定。此外，第一流量信息中流量日志的格式可以是json格式。
在本申请实施例中，业务进程可以识别第一流量信息中流量日志的第一目标字段，并从第一目标字段中获取数据包。
在获取到数据包之后，业务进程可以将该数据包转换为第二数据格式的数据包，从而得到包括第二数据格式的数据包的第二流量信息。需要说明的是，在第二流量信息中，第二数据格式的数据包仍然可以存储在第一目标字段中。
其中，第二数据格式为json格式，或者前端进程可以识别的其他数据格式。示例性地，在第一数据格式为Base64的情况下，业务进程可以首先对Base64格式的数据包进行解码，并将解码后的数据转换为json格式的数据包。
在第一流量信息中的流量日志为前端进程可以识别的数据格式(例如json格式)的情况下，业务进程无需对流量日志进行格式转换，可以将流量日志原样发送至前端进程。在流量日志不是前端进程可以识别的格式的情况下，业务进程可以基于相应的数据格式转换规则，将流量日志转换为前端进程可以识别的数据格式，然后再将第二流量信息发送至前端进程。
在本申请实施例中，前端进程在接收到业务进程发送的第二流量信息之后，基于第二流量信息，显示流量日志和第二数据格式的数据包，具体可以为：从第二流量信息中获取流量日志和第二数据格式的数据包，并基于第一设备中显示装置的显示规范对流量日志和数据包进行显示。
示例性地，前端进程可以在获取到流量日志之后，直接将流量日志在显示装置的显示界面中进行显示；前端进程也可以在获取到流量日志之后，先将流量日志嵌套入预设日志模板中，然后再按照预设日志模板对流量日志进行显示。
前端进程在获取到第二数据格式的数据包之后，可以先将第二数据格式的数据包转换为便于用户查看的数据格式，然后再以该数据格式的形式对数据包中的数据进行显示。
在本申请实施例中，通过第一设备中各个进程之间的交互，可以实现原始流量数据对应的流量日志和数据包的传输和显示。在用户进行流量日志的分析过程中发现告警日志的情况下，可以获取该告警日志对应的数据包，并基于该数据包中的信息对告警日志进行直观分析，减少用户手动从互联网服务器获取数据包并对数据包进行解析的时间，简化了告警分析的操作过程，提高了告警分析的效率。
参照图3，示出了本申请的另一种数据传输方法的步骤流程图。该方法应用于第一设备，该方法可以包括以下步骤S210至步骤S280：
步骤S210：通过所述业务进程从所述预设存储区域中读取第一流量信息。
具体地，业务进程在接收到前端进程发送的流量信息获取请求的情况下，可以从预设存储区域中读取流量信息获取请求对应的流量信息。
作为一种示例，流量获取请求携带有流量信息标识，业务进程在接收到流量信息获取请求的情况下，可以基于流量获取请求中携带的流量信息标识从预设存储区域查找与流量信息标识相匹配的第一流量信息并读取该第一流量信息，实现第一流量信息的获取。
需要说明的是，流量信息标识可以包括但不限于：时间段标识和流量信息类型标识等。其中，时间段标识可以是第一流量信息存储至预设存储区域的时刻构成的时间段标识，也可以为第一流量信息生成的时刻构成的时间段标识，例如，时间段标识可以为2023.04.06 11:30至2023.04.06 11:35。流量信息类型标识可以为基于不同的网络行为确定的类型标识，例如流量信息类型标识可以为访问标识、扫描行为标识等。
示例性地，在流量信息标识为时间段标识的情况下，业务进程可以根据时间段标识从预设存储区域读取该时间段标识指示的时间段内所有的第一流量信息。
在本申请实施例中，业务进程可以通过java数据库连接(Java DataBaseConnectivity，JDBC)与预设存储区域建立连接，并以结构化查询语言(Structured QueryLanguage，SQL)的方式读取预设存储区域中的数据。
步骤S220：通过所述业务进程生成所述第一流量信息对应的日志列表；所述日志列表中包括第二目标字段，所述第二目标字段用于存储所述第一流量信息中的数据包。
其中，日志列表可以是数据实体类列表。日志列表可以包括多个用于存储不同第一流量信息的表项，该表项中可以包括分别用于存储第一流量信息中流量日志的第三目标字段和数据包的第二目标字段。
步骤S230：通过所述业务进程循环遍历所述日志列表，从所述日志列表的第二目标字段中获取所述数据包。
具体地，业务进程在生成第一流量信息对应的日志列表的情况下，可以循环遍历该日志列表，从日志列表中识别出第二目标字段，并从第二目标字段中获取到第一数据格式的数据包。
步骤S240：通过所述业务进程对所述数据包进行解码处理，得到所述数据包对应的数据流。
步骤S250：通过所述业务进程调用数据包捕获函数库，基于所述数据包捕获函数库将所述数据流转换为第二数据格式的数据包。
在本申请实施例中，第一设备在通过业务进程将第一流量信息中的数据包转换为第二数据格式的数据包的过程中，第一设备可以首先通过步骤S240通过业务进程对数据包进行解码处理，得到数据包对应的数据流；然后第一设备载通过步骤S250通过业务进程调用数据包捕获函数库，基于数据包捕获函数库将数据流转换为第二数据格式的数据包。
具体地，在第一数据格式为Base64格式的情况下，业务进程需要首先将Base64格式的数据包解码为数据流，数据流的格式可以为符合行业标准的网络数据包捕获格式，例如pcap(Packet Capture)格式。之后，业务进程再调用数据包捕获函数库，基于数据包捕获函数库将符合行业标准的网络数据包捕获格式的数据流进一步转换为第二数据格式的数据包。
其中，数据包捕获函数库可以存储于第一设备的存储区域，以降低业务进程调用数据包捕获函数库的时延，当然，数据包捕获函数库也可以存储于第一设备之外的其他区域，本申请实施例对此不作具体限定。数据包捕获函数库具体可以是libpcap(PacketCapture Libray，)。示例性地，第一设备可以通过业务进程调用libpcap，并基于libpcap将pcap格式的数据流解析为前端进程可识别的json格式的数据包。
在本申请的一种可选实施例中，步骤S250所述通过所述业务进程调用数据包捕获函数库，基于所述数据包捕获函数库将所述数据流转换为第二数据格式的数据包，包括步骤S2501：
步骤S2501：通过所述业务服务利用jni(Java Native Interface)接口调用所述数据包捕获函数库，基于所述数据包捕获函数库将所述数据流转换为第二数据格式的数据包。
其中，jni提供了一系列的应用程序接口(Application Program Interface，API)允许java和其他语言进行交互，实现了在java代码中调用其他语言的函数。
步骤S260：通过所述业务进程将所述第二流量信息发送至所述前端进程。
该步骤可参考步骤S130的详细描述，此处不再赘述。
步骤S270：通过所述前端进程，从所述第二流量信息中获取所述流量日志并显示。
步骤S280：通过所述前端进程将所述第二数据格式的数据包转换为wireshark格式的数据包并显示。
在本申请实施例中，第一设备在通过前端进程基于第二流量信息，显示流量日志和第二数据格式的数据包的过程中，可以通过前端进程，从第二流量信息中获取流量日志并显示，以及通过前端进程将第二数据格式的数据包转换为wireshark格式的数据包并显示。
需要说明的是，步骤S270可以在步骤S280之前执行，也可以在步骤S280之后执行，步骤S270还可以和S280同时执行，本申请实施例对此不作具体限定。
具体地，前端进程可以从第二流量信息中获取流量日志，并将流量日志按照第一设备的显示规范在显示装置中显示该流量日志，使得用户可以通过查看流量日志对流量日志进行分析。
前端进程可以从第二流量信息中获取第二数据格式的数据包，并利用wireshark工具将第二数据格式的数据包转换为wireshark格式的数据包并按照第一设备的显示规范在显示装置中显示wireshark格式的数据包。
在本申请的一种可选实施例中，所述第一设备还可以包括存储管理进程；在步骤S110所述通过所述业务进程从预设存储区域获取第一流量信息之前，所述方法还可以包括步骤A11至步骤A13：
步骤A11:通过所述消息队列进程接收所述第二设备发送的所述第一流量信息，并将所述第一流量信息发送至所述存储管理进程。
步骤A12：通过所述存储管理进程根据所述第一流量信息中的数据包，在所述预设存储区域中新增所述数据包对应的存储空间；所述存储空间用于存储所述数据包。
步骤A13:通过所述存储管理进程将所述第一流量信息存储在所述预设存储区域，以供所述业务进程从所述预设存储区域获取所述第一流量信息。
在本申请实施例中，第一设备可以包括业务进程、前端进程、消息队列进程以及存储管理进程。其中，存储管理进程用于对预设存储区域进行分析、查询、存储、读取等方面的管理。存储管理进程可以是开源的列式数据库管理系统(Database Management System，DBMS)中的任一一种存储管理工具，例如，存储管理进程可以是ClickHouse。
具体地，在第一设备包括存储管理进程的情况下，第一设备在通过业务进程从预设存储区域获取第一流量信息之前，第一设备还可以首先通过消息队列进程接收第二设备发送的第一流量信息，并将第一流量信息发送至存储管理进程；然后再通过存储管理进程根据第一流量信息中的数据包，在预设存储区域中新增数据包对应的存储空间；最后通过存储管理进程将第一流量信息存储在预设存储区域，以供业务进程从预设存储区域获取第一流量信息。
其中，第一设备可以预先设置存储管理进程和预设存储区域之间的关联关系，使得存储管理进程在接收到消息队列进程发送的第一流量信息的情况下，可以立即响应于该第一流量信息，并执行步骤A12和步骤A13对应的操作，以提高存储管理进程的执行效率。
存储管理进程在将第一流量信息存储在预设存储区域之前，首先需要根据第一流量信息中数据包的大小、数据包的格式等信息在预设存储区域中新增数据包对应的存储空间，该存储空间用于存储第一流量信息中的数据包。
其中，预设存储区域可以包括用于存储第一流量信息的数据表，存储管理进程可以根据第一流量信息中的数据包，在预设存储区域的数据表中新增数据包对应的表项，该表项用于存储第一流量信息中的数据包。
第一设备在通过存储管理进程在预设存储区域中新增数据包对应的存储空间的情况下，第一设备可以继续通过存储管理进程将第一流量信息存储在预设存储区域中的数据表中，以供业务进程从预设存储区域的数据表中获取第一流量信息。
作为一种可选的实施方式，第一设备在通过业务进程从预设存储区域获取第一流量信息的过程中，业务进程可以首先访问存储管理进程，并通过存储管理进程从预设存储区域获取第一流量信息。
本申请实施例提供的数据传输方法，通过第一终端设备中业务进程、前端进程和消息队列进程之间的交互，实现了第一流量信息中数据包的传输和显示，使得用户在查看流量日志的同时，还可以基于数据包对流量日志进行分析。在告警发生的情况下，用户可以直接基于告警日志对应的数据包进行告警分析，简化了告警分析的操作过程，提高了告警分析的效率。
参照图4，示出了本申请的又一种数据传输方法的步骤流程图。该方法可以包括步骤S310至步骤S330：
步骤S310：获取原始流量数据，并根据所述原始流量数据生成流量日志。
步骤S320：按照预设格式转换规则，将所述原始流量数据转换为第一数据格式的数据包。
步骤S330：将所述数据包添加到所述流量日志的第一目标字段中，生成第一流量信息，并将所述第一流量信息发送至第一设备的消息队列进程，以供所述消息队列进程将所述第一流量信息存储至预设存储区域。
在本申请实施例提供的数据传输方法可以应用于第二设备。第二设备可以是宿主机设备，第二设备中安装有网卡和网络威胁检测引擎，网络威胁检测引擎可以为Suricata。
在本申请实施例中，第二设备可以通过网络威胁检测引擎实现步骤S310至步骤S330对应的操作。
第二设备分别与交换机和第一设备中的消息队列进程建立连接。第二设备可以通过网线直连的方式将经过交换机的原始流量数据通过镜像端口镜像到第二设备的网卡中；之后，网络威胁检测引擎从网卡中获取原始流量数据并基于原始流量数据执行步骤S310至步骤S330。
在申请实施例中，第二设备生成的流量日志可以是yaml格式或者json格式。具体地，第二设备中的网络威胁检测引擎在获取到原始流量数据的情况下，可以通过流量及告警规则计算后生成该原始流量数据对应的流量日志。其中，告警规则包括但不限于实时入侵检测规则、内联入侵预防规则、网络安全监控规则和离线pcap处理规则等。
在生成流量日志之后，网络威胁检测引擎还可以按照预设格式转换规则将原始流量数据转换为第一数据格式的数据包。其中，预设格式转换规则可以为Base64格式转换规则，网络威胁检测引擎可以按照Base64格式转换规则，将原始流量数据编码为Base64格式的数据包。
在通过步骤S320获取第一数据格式的数据包的情况下，网络威胁检测引擎可以根据数据包的大小，在流量日志中增加第一目标字段，使得网络威胁检测引擎在执行步骤S330的过程中，可以将第一数据格式的数据包添加到流量日志的第一目标字段中，进而基于包括数据包的流量日志生成第一流量信息。
在本申请实施例中，第二设备生成第一流量信息之后，可以将第一流量信息发送至第一设备的消息队列进程，以供消息队列进程将第一流量信息存储至预设存储区域，进而使得第一设备可以基于预设存储区域中的第一流量信息执行步骤S110至步骤S140对应的操作。
参照图5，示出了本申请的一种数据传输链路的逻辑框图。如图5所示，该数据传输链路包括互联网服务器、交换机、第一设备和第二设备。其中，第一设备包括消息队列进程、存储管理进程、业务进程和前端进程；第二设备包括网卡和网络威胁检测引擎。
具体地，在用户访问互联网应用的情况下，交换机将访问请求传输至互联网服务器；互联网服务器于访问请求通过交换机向用户返回原始流量数据。
第二设备中的网卡通过网线直连的方式将原始流量数据经镜像端口镜像到网络威胁检测引擎的网卡中；之后，网络威胁检测引擎从网卡中获取原始流量数据，并根据原始流量数据生成流量日志；网络威胁检测引擎还按照预设格式转换规则，将原始流量数据转换为第一数据格式的数据包，并将数据包添加到流量日志的第一目标字段中，生成第一流量信息，以及将第一流量信息发送至第一设备的消息队列进程。
第一设备中的消息队列进程接收第二设备的网络威胁检测引擎发送的第一流量信息，并将第一流量信息发送至存储管理进程；存储管理进程根据第一流量信息中的数据包，在预设存储区域中新增数据包对应的存储空间，并将第一流量信息存储在预设存储区域；业务进程从预设存储区域获取第一流量信息，并从第一流量信息中获取第一数据格式的数据包；之后，业务进程将数据包转换为第二数据格式的数据包，得到第二流量信息，并将第二流量信息发送至前端进程；最后，由前端进程基于第二流量信息，显示流量日志和第二数据格式的数据包。
本申请实施例提供的数据传输方法，第一设备中业务进程、前端进程和消息队列进程之间的交互，以及第一设备与第二设备之间的交互，实现了第一流量信息中数据包的传输和显示，使得用户在查看流量日志的同时，还可以基于数据包对流量日志进行分析。在告警发生的情况下，用户可以直接基于告警日志对应的数据包进行告警分析，简化了告警分析的操作过程，提高了告警分析的效率。
系统实施例
本申请实施例提供了一种数据传输系统，所述系统包括第一设备和第二设备，所述第一设备包括业务进程、前端进程和消息队列进程；
所述业务进程，用于从预设存储区域获取第一流量信息，并从所述第一流量信息中获取第一数据格式的数据包；并将所述第一流量信息中的数据包转换为第二数据格式的数据包，得到第二流量信息；以及将所述第二流量信息发送至前端进程；
所述前端进程，用于基于所述第二流量信息，显示所述流量日志和所述第二数据格式的数据包；
所述第二设备，用于获取原始流量数据，并根据所述原始流量数据生成流量日志；并按照预设格式转换规则，将所述原始流量数据转换为第一数据格式的数据包；以及将所述数据包添加到所述流量日志的第一目标字段中，生成第一流量信息，并将所述第一流量信息发送至第一设备的消息队列进程，以供所述消息队列进程将所述第一流量信息存储至预设存储区域。
参照图6，示出了本申请的一种数据传输系统的逻辑框图。该数据传输系统包括：第一设备10和第二设备20。其中，第一设备10包括前端进程101、业务进程102、存储管理进程105和消息队列进程104。第二设备20包括网卡201和网络威胁检测引擎202。
具体地，网卡201，用于通过网线直连的方式将经过交换机的原始流量数据通过镜像端口镜像到第二设备20的网卡201本地。
网络威胁检测引擎202，用于从网卡201中获取原始流量，并根据原始流量数据生成流量日志；按照预设格式转换规则，将原始流量数据转换为第一数据格式的数据包；以及将数据包添加到流量日志的第一目标字段中，生成第一流量信息，并将第一流量信息发送至第一设备10的消息队列进程104。
消息队列进程104，用于接收第二设备20发送的第一流量信息，并将第一流量信息发送至存储管理进程105。
存储管理进程105，用于根据第一流量信息中的数据包，在预设存储区域中新增数据包对应的存储空间，并将第一流量信息存储在预设存储区域，以供业务进程102从预设存储区域获取第一流量信息。
业务进程102，用于从预设存储区域获取第一流量信息，并从第一流量信息中获取第一数据格式的数据包；以及将数据包转换为第二数据格式的数据包，得到第二流量信息，并将第二流量信息发送至前端进程101。
前端进程101，用于基于第二流量信息，显示流量日志和第二数据格式的数据包。
本申请实施例提供的数据传输系统，通过第一设备中业务进程、前端进程和消息队列进程之间的交互，以及第一设备与第二设备之间的交互，实现了第一流量信息中数据包的传输和显示，使得用户在查看流量日志的同时，还可以基于数据包对流量日志进行分析。在告警发生的情况下，用户可以直接基于告警日志对应的数据包进行告警分析，简化了告警分析的操作过程，提高了告警分析的效率。
装置实施例
图7是本申请的一种数据传输装置的逻辑框图。所述数据传输装置应用于第一设备，所述第一设备包括业务进程、前端进程和消息队列进程；该装置可以包括：
获取模块710，用于通过所述业务进程从预设存储区域获取第一流量信息，并从所述第一流量信息中获取第一数据格式的数据包；所述第一流量信息是所述消息队列进程存储至所述预设存储区域的；所述第一流量信息为第二设备将所述数据包添加到流量日志的第一目标字段中得到的；所述数据包是所述第二设备按照预设格式转换规则将原始流量数据进行转换得到的第一数据格式的数据包；所述流量日志是所述第二设备根据所述原始流量数据生成的；
第一转换模块720，用于通过所述业务进程将所述第一流量信息中的数据包转换为第二数据格式的数据包，得到第二流量信息；
发送模块730，用于通过所述业务进程将所述第二流量信息发送至所述前端进程；
显示模块740，用于通过所述前端进程基于所述第二流量信息，显示所述流量日志和所述第二数据格式的数据包。
可选地，所述第一转换模块，可以包括：
解码子模块，用于通过所述业务进程对所述数据包进行解码处理，得到所述数据包对应的数据流；
第一转换子模块，用于通过所述业务进程调用数据包捕获函数库，基于所述数据包捕获函数库将所述数据流转换为第二数据格式的数据包。
可选地，所述第一转换子模块，可以包括：
转换单元，用于通过所述业务服务利用jni接口调用所述数据包捕获函数库，基于所述数据包捕获函数库将所述数据流转换为第二数据格式的数据包。
可选地，所述第一设备还包括存储管理进程；所述装置还可以包括：
转发模块，用于通过所述消息队列进程接收所述第二设备发送的所述第一流量信息，并将所述第一流量信息发送至所述存储管理进程；
存储空间管理模块，用于通过所述存储管理进程根据所述第一流量信息中的数据包，在所述预设存储区域中新增所述数据包对应的存储空间；所述存储空间用于存储所述数据包；
存储模块，用于通过所述存储管理进程将所述第一流量信息存储在所述预设存储区域，以供所述业务进程从所述预设存储区域获取所述第一流量信息。
可选地，所述获取模块，可以包括：
读取子模块，用于通过所述业务进程从所述预设存储区域中读取第一流量信息；
生成子模块，用于通过所述业务进程生成所述第一流量信息对应的日志列表；所述日志列表中包括第二目标字段，所述第二目标字段用于存储所述第一流量信息中的数据包；
第一获取子模块，用于通过所述业务进程循环遍历所述日志列表，从所述日志列表的第二目标字段中获取所述数据包。
可选地，所述显示模块，可以包括：
第二获取子模块，用于通过所述前端进程，从所述第二流量信息中获取所述流量日志并显示；
第二转换子模块，用于通过所述前端进程将所述第二数据格式的数据包转换为wireshark格式的数据包并显示。
图8是本申请的另一种数据传输装置的逻辑框图。所述数据传输装置应用于第二设备，该装置可以包括：
第一生成模块810，用于获取原始流量数据，并根据所述原始流量数据生成流量日志；
第二转换模块820，用于按照预设格式转换规则，将所述原始流量数据转换为第一数据格式的数据包；
第二生成模块830，用于将所述数据包添加到所述流量日志的第一目标字段中，生成第一流量信息，并将所述第一流量信息发送至第一设备的消息队列进程，以供所述消息队列进程将所述第一流量信息存储至预设存储区域。
本申请实施例提供的数据传输装置，通过第一设备中业务进程、前端进程和消息队列进程之间的交互，以及第一设备与第二设备之间的交互，实现了第一流量信息中数据包的传输和显示，使得用户在查看流量日志的同时，还可以基于数据包对流量日志进行分析。在告警发生的情况下，用户可以直接基于告警日志对应的数据包进行告警分析，简化了告警分析的操作过程，提高了告警分析的效率。
相应的，本申请实施例还提供了一种电子设备，处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上所述的数据传输方法的步骤。
本申请实施例还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如上所述的数据传输方法的步骤。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种数据传输方法、系统、装置、电子设备和可读存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (7)

1.一种数据传输方法，其特征在于，应用于第一设备，所述第一设备包括业务进程、前端进程、消息队列进程和存储管理进程；所述方法包括：
通过所述业务进程从预设存储区域获取第一流量信息，并从所述第一流量信息中获取第一数据格式的数据包；所述第一流量信息是所述消息队列进程存储至所述预设存储区域的；所述第一流量信息为第二设备将所述数据包添加到流量日志的第一目标字段中得到的；所述数据包是所述第二设备按照预设格式转换规则将原始流量数据进行转换得到的第一数据格式的数据包；所述流量日志是所述第二设备根据所述原始流量数据生成的；
通过所述业务进程将所述数据包转换为第二数据格式的数据包，得到第二流量信息；
通过所述业务进程将所述第二流量信息发送至所述前端进程；
通过所述前端进程基于所述第二流量信息，显示所述流量日志和所述第二数据格式的数据包；
其中，所述通过所述业务进程将所述第一流量信息中的数据包转换为第二数据格式的数据包，包括：
通过所述业务进程对所述数据包进行解码处理，得到所述数据包对应的数据流；
通过所述业务进程调用数据包捕获函数库，基于所述数据包捕获函数库将所述数据流转换为第二数据格式的数据包；
所述数据包捕获函数库存储于所述预设存储区域；
在通过所述业务进程从预设存储区域获取第一流量信息之前，所述方法还包括：
通过所述消息队列进程接收所述第二设备发送的所述第一流量信息，并将所述第一流量信息发送至所述存储管理进程；
通过所述存储管理进程根据所述第一流量信息中的数据包，在所述预设存储区域中新增所述数据包对应的存储空间；所述存储空间用于存储所述数据包；
通过所述存储管理进程将所述第一流量信息存储在所述预设存储区域，以供所述业务进程从所述预设存储区域获取所述第一流量信息；
所述通过所述业务进程从预设存储区域获取第一流量信息，并从所述第一流量信息中获取第一数据格式的数据包，包括：
通过所述业务进程从所述预设存储区域中读取第一流量信息；
通过所述业务进程生成所述第一流量信息对应的日志列表；所述日志列表中包括第二目标字段，所述第二目标字段用于存储所述第一流量信息中的数据包；
通过所述业务进程循环遍历所述日志列表，从所述日志列表的第二目标字段中获取所述数据包；
所述预设存储区域设置在所述第一设备中。
2.根据权利要求1所述的方法，其特征在于，所述通过所述业务进程调用数据包捕获函数库，基于所述数据包捕获函数库将所述数据流转换为第二数据格式的数据包，包括：
通过所述业务服务利用jni接口调用所述数据包捕获函数库，基于所述数据包捕获函数库将所述数据流转换为第二数据格式的数据包。
3.根据权利要求1所述的方法，其特征在于，所述通过所述前端进程基于所述第二流量信息，显示所述流量日志和所述第二数据格式的数据包，包括：
通过所述前端进程，从所述第二流量信息中获取所述流量日志并显示；
通过所述前端进程将所述第二数据格式的数据包转换为wireshark格式的数据包并显示。
4.一种数据传输系统，其特征在于，所述系统包括第一设备和第二设备；
所述第二设备，用于获取原始流量数据，并根据所述原始流量数据生成流量日志；并按照预设格式转换规则，将所述原始流量数据转换为第一数据格式的数据包；以及将所述数据包添加到所述流量日志的第一目标字段中，生成第一流量信息，并将所述第一流量信息发送至第一设备的消息队列进程，以供所述消息队列进程将所述第一流量信息存储至预设存储区域；
所述第一设备包括业务进程、前端进程、消息队列进程和存储管理进程；
所述业务进程，用于从预设存储区域获取第一流量信息，并从所述第一流量信息中获取第一数据格式的数据包；并将所述第一流量信息中的数据包转换为第二数据格式的数据包，得到第二流量信息；以及将所述第二流量信息发送至所述前端进程；
所述前端进程，用于基于所述第二流量信息，显示所述流量日志和所述第二数据格式的数据包；
所述消息队列进程，用于接收所述第二设备发送的所述第一流量信息，并将所述第一流量信息发送至存储管理进程；
所述存储管理进程，用于根据所述第一流量信息中的数据包，在所述预设存储区域中新增数据包对应的存储空间，并将所述第一流量信息存储在所述预设存储区域，以供所述业务进程从所述预设存储区域获取所述第一流量信息；
通过所述业务进程从预设存储区域获取第一流量信息，并从所述第一流量信息中获取第一数据格式的数据包，包括：
通过所述业务进程从所述预设存储区域中读取第一流量信息；
通过所述业务进程生成所述第一流量信息对应的日志列表；所述日志列表中包括第二目标字段，所述第二目标字段用于存储所述第一流量信息中的数据包；
通过所述业务进程循环遍历所述日志列表，从所述日志列表的第二目标字段中获取所述数据包；
其中，所述将所述第一流量信息中的数据包转换为第二数据格式的数据包，包括：
通过所述业务进程对所述数据包进行解码处理，得到所述数据包对应的数据流；
通过所述业务进程调用数据包捕获函数库，基于所述数据包捕获函数库将所述数据流转换为第二数据格式的数据包；其中，所述数据包捕获函数库存储于第一设备的存储区域。
5.一种数据传输装置，其特征在于，应用于第一设备，所述第一设备包括业务进程、前端进程、消息队列进程和存储管理进程；所述装置包括：
获取模块，用于通过所述业务进程从预设存储区域获取第一流量信息，并从所述第一流量信息中获取第一数据格式的数据包；所述第一流量信息是所述消息队列进程存储至所述预设存储区域的；所述第一流量信息为第二设备将所述数据包添加到流量日志的第一目标字段中得到的；所述数据包是所述第二设备按照预设格式转换规则将原始流量数据进行转换得到的第一数据格式的数据包；所述流量日志是所述第二设备根据所述原始流量数据生成的；
第一转换模块，用于通过所述业务进程将所述第一流量信息中的数据包转换为第二数据格式的数据包，得到第二流量信息；
发送模块，用于通过所述业务进程将所述第二流量信息发送至所述前端进程；
显示模块，用于通过所述前端进程基于所述第二流量信息，显示所述流量日志和所述第二数据格式的数据包；
所述第一转换模块，包括：
解码子模块，用于通过所述业务进程对所述数据包进行解码处理，得到所述数据包对应的数据流；
第一转换子模块，用于通过所述业务进程调用数据包捕获函数库，基于所述数据包捕获函数库将所述数据流转换为第二数据格式的数据包；
转发模块，用于通过所述消息队列进程接收所述第二设备发送的所述第一流量信息，并将所述第一流量信息发送至所述存储管理进程；
存储空间管理模块，用于通过所述存储管理进程根据所述第一流量信息中的数据包，在所述预设存储区域中新增所述数据包对应的存储空间；所述存储空间用于存储所述数据包；
存储模块，用于通过所述存储管理进程将所述第一流量信息存储在所述预设存储区域，以供所述业务进程从所述预设存储区域获取所述第一流量信息；
所述获取模块，还包括：
读取子模块，用于通过所述业务进程从所述预设存储区域中读取第一流量信息；
生成子模块，用于通过所述业务进程生成所述第一流量信息对应的日志列表；所述日志列表中包括第二目标字段，所述第二目标字段用于存储所述第一流量信息中的数据包；
第一获取子模块，用于通过所述业务进程循环遍历所述日志列表，从所述日志列表的第二目标字段中获取所述数据包；
所述数据包捕获函数库存储于第一设备的存储区域。
6.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至3任一项所述的数据传输方法的步骤。
7.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至3任一项所述的数据传输方法的步骤。
CN202311224089.5A 2023-09-21 2023-09-21 数据传输方法、系统、装置、电子设备和可读存储介质 Active CN117156005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311224089.5A CN117156005B (zh) 2023-09-21 2023-09-21 数据传输方法、系统、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311224089.5A CN117156005B (zh) 2023-09-21 2023-09-21 数据传输方法、系统、装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN117156005A CN117156005A (zh) 2023-12-01
CN117156005B true CN117156005B (zh) 2024-10-29

Family

ID=88884186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311224089.5A Active CN117156005B (zh) 2023-09-21 2023-09-21 数据传输方法、系统、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN117156005B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990223A (zh) * 2019-11-27 2020-04-10 中诚信征信有限公司 一种基于系统日志的监控告警方法及装置
CN116389099A (zh) * 2023-03-29 2023-07-04 北京明朝万达科技股份有限公司 威胁检测方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833195B (zh) * 2018-09-26 2021-08-10 河南大学 一种基于进程的网络数据流量分析方法
CN116346680A (zh) * 2023-03-20 2023-06-27 中科星图防务技术有限公司 基于拓扑嗅探的进程间网络流量追踪控制方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990223A (zh) * 2019-11-27 2020-04-10 中诚信征信有限公司 一种基于系统日志的监控告警方法及装置
CN116389099A (zh) * 2023-03-29 2023-07-04 北京明朝万达科技股份有限公司 威胁检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN117156005A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN108763031A (zh) 一种基于日志的威胁情报检测方法及装置
US11188443B2 (en) Method, apparatus and system for processing log data
CN110795756A (zh) 一种数据脱敏方法、装置、计算机设备及计算机可读存储介质
CN112351024B (zh) 一种公网通信安全监测系统及方法
CN114915566B (zh) 应用识别方法、装置、设备及计算机可读存储介质
CN110928934A (zh) 一种用于业务分析的数据处理方法和装置
CN115865525B (zh) 日志数据处理方法、装置、电子设备和存储介质
CN111740868A (zh) 告警数据的处理方法和装置及存储介质
CN113485282B (zh) 分散控制系统消息跟踪展示方法、系统、设备及存储介质
CN117156005B (zh) 数据传输方法、系统、装置、电子设备和可读存储介质
US11582036B1 (en) Scaled authentication of endpoint devices
CN113297253A (zh) 一种设备识别方法、装置、设备及可读存储介质
CN110830416A (zh) 网络入侵检测方法和装置
CN118353772A (zh) 异常定位方法、系统及装置
CN116088853A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN115333848A (zh) 容器云平台网络安全防护方法、装置及电子设备
CN117112519A (zh) 数据处理方法及装置
CN114969450A (zh) 一种用户行为分析方法、装置、设备及存储介质
CN115913912A (zh) 报文拦截及业务链路图的生成方法及装置
CN112291202A (zh) 报文数据的可视化方法、装置和计算机可读存储介质
CN107066538B (zh) 一种数据统计的方法及装置
CN106330478A (zh) 陷阱Trap报文处理方法及装置
US20240064163A1 (en) System and method for risk-based observability of a computing platform
CN115242606B (zh) 数据处理方法、装置、服务器、存储介质及程序产品
CN116886445B (zh) 过滤结果的处理方法及装置、存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant