CN108063685B - 日志分析方法及装置 - Google Patents
日志分析方法及装置 Download PDFInfo
- Publication number
- CN108063685B CN108063685B CN201711278704.5A CN201711278704A CN108063685B CN 108063685 B CN108063685 B CN 108063685B CN 201711278704 A CN201711278704 A CN 201711278704A CN 108063685 B CN108063685 B CN 108063685B
- Authority
- CN
- China
- Prior art keywords
- log
- sequence number
- request
- user terminal
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明的实施例提供一种日志分析方法及装置,应用于集群系统,所述方法包括:集群系统中处理用户终端业务请求的目标服务器向所述集群系统中的日志分析服务器发送多个日志文件,其中,所述日志文件中包括至少一条日志,每条日志包括日志ID及请求序号;日志分析服务器基于每条日志中的日志ID及请求序号,对日志进行排序,获得经排序的日志;日志分析服务器对所述经排序的日志进行分析。通过本实施例提供的方案,目标服务器将日志文件发送给日志分析服务器,由分析服务器根据每条日志的日志ID及请求序号对日志进行排序,将日志ID相同的日志按照请求序号进行排序,无需人工进行查找排序,节省人力和时间,提高日志的分析效率。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种日志分析方法及装置。
背景技术
为了提高系统的接入性能,现有技术中,大多数系统都采用集群部署,即相同的服务部署在很多不同的服务器上,通过将用户的请求分布到不同的服务器上,从而达到提高整个系统的接入能力。但是由于大多数业务都是很多次请求交互才能完成的,这时这些请求可能会被分配到不同的服务器上,并在不同的服务器上产生日志。无法对生成日志进行统一管理,不便于在系统出现故障时进行日志分析,查找故障原因。
发明内容
本申请描述一种日志分析方法及装置。
第一方面,本发明的实施例提供一种日志分析方法,应用于集群系统,所述方法包括:所述集群系统中处理用户终端业务请求的目标服务器向所述集群系统中的日志分析服务器发送多个日志文件,其中,所述日志文件中包括至少一条日志,每条日志包括日志ID及请求序号;所述日志分析服务器基于每条日志中的日志ID及请求序号,对日志进行排序,获得经排序的日志;所述日志分析服务器对所述经排序的日志进行分析。通过本实施例提供的方案,目标服务器将日志文件发送给日志分析服务器,由分析服务器根据每条日志的日志ID及请求序号对日志进行排序,将日志ID相同的日志按照请求序号进行排序,无需人工进行查找排序,节省人力和时间,提高日志的分析效率。
可选地,所述方法还包括生成日志的步骤,该步骤包括:所述目标服务器在处理用户终端的业务请求时,向所述集群系统中的日志序号生成服务器发送生成日志ID及请求序号的请求;所述日志序号生成服务器根据用户终端信息生成该用户终端对应的日志ID及请求序号。根据同一用户终端的业务请求产生的顺序到所述日志序号生成服务器生成请求序号,在对同一用户终端的业务请求产生的日志ID进行归类的基础上,给每个日志进行编号,可以确保日志按照处理的先后顺序进行排序,有效避免多个目标服务器系统时间不一致而导致的日志顺序与实际执行顺序不同的技术问题。
可选地,所述日志序号生成服务器根据用户终端信息生成该用户终端对应的日志ID及请求序号的步骤,包括:所述日志序号生成服务器根据用户终端信息查询是否存在所述用户终端对应的日志ID;在不存在日志ID时,根据所述用户终端的标识信息和所述业务请求处理时间生成日志ID,并将请求序号设置为初始值,其中,标识信息包括用户终端的IP地址或用户终端的MAC地址;在存在日志ID时,将请求序号按照预设规则递增。对日志进行编号便于对同一用户终端的业务请求产生的日志进行排序,避免同一用户终端的业务请求被多个系统时间不一致的目标服务器处理时,出现的分析不准确的技术问题。同时,通过查找日志ID确认所述日志序号生成服务器是否为用户终端的业务请求生成过日志,便于根据日志ID生成请求序号连续的日志。
可选地,所述方法还包括所述目标服务器将日志文件发送给日志分析服务器的步骤,该步骤通过以下方式的任意一种实现:
所述目标服务器按照预设时间间隔向所述日志分析服务器发送日志文件;或,所述目标服务器在日志文件容量达到预设容量阈值时,将所述日志文件发送给日志分析服务器。
第二方面,本发明的实施例还提供一种日志分析方法,应用于集群系统中的日志分析服务器,所述方法包括:所述日志分析服务器接收所述集群系统中处理用户终端业务请求的目标服务器发送的多个日志文件,其中,所述日志文件中包括至少一条日志,每条日志包括日志ID及请求序号;所述日志分析服务器基于每条日志的日志ID及请求序号,对日志进行排序,获得经排序的日志;所述日志分析服务器对所述经排序的日志进行分析。由分析服务器根据日志ID及请求序号对日志进行排序,将日志ID相同的日志按照请求序号进行排序,无需人工进行查找排序,方便对日志进行分析,提高日志的分析效率。
第三方面,本发明的实施例还提供一种日志分析方法,应用于集群系统中的日志序号生成服务器,所述方法包括:所述日志序号生成服务器接收所述集群系统中的目标服务器在处理用户终端的业务请求时,发送的生成该业务请求对应日志ID及请求序号的请求;所述日志序号生成服务器根据用户终端信息生成日志ID及请求序号;所述日志序号生成服务器将生成的日志ID及请求序号发送给所述目标服务器,由所述目标服务器记录到当前的日志里,便于所述集群系统中的日志分析服务器对所述目标服务器生成的日志进行日志分析。所述日志序号生成服务器根据用户终端信息生成日志ID及请求序号,便于日志分析服务器进行后续日志分析处理,提高日志分析的效率,同时根据发送到日志序号生成服务器的请求顺序生成对应的请求序号可以解决各个目标服务器系统时间不一致导致的日志按照时间排序错误,影响日志分析准确性的技术问题。
第四方面,本发明的实施例还提供一种日志分析装置,应用于集群系统中的日志分析服务器,所述装置包括:第一接收模块,用于接收所述集群系统中处理用户终端业务请求的目标服务器发送的多个日志文件,其中,所述日志文件中包括至少一条日志,每条日志包括日志ID及请求序号;排序模块,用于基于每条日志的日志ID及请求序号,对日志进行排序,获得经排序的日志;分析模块,用于对所述经排序的日志进行分析。由分析服务器根据日志ID及请求序号对日志进行排序,将日志ID相同的日志按照请求序号进行排序,无需人工进行查找排序,方便对日志进行分析,提高日志的分析效率。
第五方面,本发明的实施例还提供一种日志分析装置,应用于集群系统中的日志序号生成服务器,所述装置包括:第二接收模块,用于接收所述集群系统中的目标服务器在处理用户终端的业务请求时,发送的生成该业务请求对应日志ID及请求序号的请求;生成模块,用于根据用户终端信息生成日志ID及请求序号;发送模块,用于将生成的日志ID及请求序号发送给所述目标服务器,由所述目标服务器记录到当前的日志里,便于所述集群系统中的日志分析服务器对所述目标服务器生成的日志进行日志分析。由所述用户终端发送给所述集群系统中的日志分析服务器进行日志分析。所述日志序号生成服务器根据用户终端信息生成日志ID及请求序号,便于日志分析服务器进行后续日志分析处理,提高日志分析的效率,同时根据发送到日志序号生成服务器的请求顺序生成对应的请求序号可以解决各个目标服务器系统时间不一致导致的日志按照时间排序错误,影响日志分析准确性的技术问题。
本发明实施例提供的日志分析方法及装置,通过接收的每条日志中的日志ID及请求序号,对所述多条日志进行排序,获得经排序的日志。便于对日志进行分析,提升日志分析的效率,为快速解决系统故障提供保障。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的集群系统的结构框图。
图2为本发明实施例提供的日志分析方法的流程图之一。
图3为图2步骤S240之前日志分析方法还包括的部分流程图。
图4为图3中步骤S230的子步骤流程示意图。
图5为本发明实施例提供的日志分析方法的流程图之二。
图6是本发明实施例提供的日志分析方法的流程图之三。
图7是本发明实施例提供的日志分析装置的结构框图之一。
图8是本发明实施例提供的日志分析装置的结构框图之二。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。
基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
发明人发现:传统的日志记录会把相关的信息分散在不同的服务器上,在出现系统故障时要进行日志分析比较麻烦,要收集所有服务器的日志信息,而各个服务器日志只能靠时间去对应。通过时间顺序进行分析,在多个业务请求流程混杂在一起时,处理业务请求的多个服务器的系统时间可能会不一致,如此则会存在对日志分析不准确的问题。同时,针对不同的业务请求采用不同的关键字进行区分,可能会存在不同用户终端相同的业务请求输出同样关键字的问题,无法将日志进行精确分类。
以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案,都应该是发明人在本发明过程中对本发明做出的贡献。
为了克服上述现有技术中存在的缺陷,发明人通过研究提供下面实施例给出解决方案。
请参照图1,图1是本发明实施例提供的集群系统10的结构框图。所述集群系统10包括:用户终端100、均衡设备200、目标服务器300、日志序号生成服务器400及日志分析服务器500。
其中,用户终端100、均衡设备200、目标服务器300、日志序号生成服务器400及日志分析服务器500相互之间通信连接,在本实施例中,所述均衡设备200可以是一个单独的设备,也可以由一目标服务器300执行负载均衡操作,所述日志序号生成服务器400及日志分析服务器500在实际设置是可以分别部署在不同的服务器上,也可以由同一服务器执行。
请参阅图2,本发明实施例提供的一种日志分析方法,所述方法应用于集群系统10,所述方法包括以下步骤。
步骤S240,目标服务器300向日志分析服务器500发送多个日志文件。
所述日志文件中包括至少一条日志,每条日志包括日志ID及请求序号,其中日志ID与请求序号由日志序号生成服务器400生成。日志ID对应处理业务请求的用户终端100,请求序号用于表示该日志是对应于该用户终端100的业务请求次序。日志ID及请求序号足以将不同的日志区分开。
步骤S250,所述日志分析服务器500基于每条日志的日志ID及请求序号,对日志进行排序,获得经排序的日志。
日志分析服务器500会将目标服务器300发送过来的日志文件中的各日志按照各个日志的日志ID进行整理分类,并根据请求序号进行排序。
步骤S260,所述日志分析服务器500对所述经排序的日志进行分析。
在本实施例中,经过步骤S250的排序,对每个用户终端100的操作和分析定位就一目了然,在系统发生故障时,可以快速准确的查找到对应的日志,节省故障分析所需的人力及时间。
通过上述方案,目标服务器300将日志文件发送给日志分析服务器500,由日志分析服务器500根据每个日志中的日志ID及请求序号对日志进行排序,将日志ID相同的日志按照请求序号进行排序,无需人工进行查找排序,方便对日志进行分析,提高日志的分析效率。
请参照图3,在本实施例中,所述方法还包括生成包括日志ID及请求序号的步骤S210-步骤S230。
步骤S210,均衡设备200根据用户终端100的业务,将完成业务所需的业务请求分配给至少一个目标服务器300处理。
在本实施例中,用户终端100的业务发送给均衡设备200进行处理,均衡设备200根据完成业务所需业务请求的次数及当前所有目标服务器300当前负载情况,将该业务对应的业务请求分配给至少一个目标服务器300进行处理。
对于需要多次业务请求才能完成的业务而言,后面的业务请求可能需要依赖前面业务请求的处理结果,为此针对该业务的多个业务请求,均衡设备200会按照顺序将业务请求发送到目标服务器300上进行处理。
步骤S220,所述目标服务器300在处理用户终端100的业务请求时,向所述集群系统10中的日志序号生成服务器400发送生成日志ID及请求序号的请求。
在目标服务器300接收到均衡设备200分配的业务请求后,所述目标服务器300会向日志序号生成服务器400发送生成该业务请求对应日志ID及请求序号的请求。
步骤S230,所述日志序号生成服务器400根据用户终端100信息生成该用户终端100对应的日志ID及请求序号。
在本实施例中,请参照图4,所述步骤S230可以包括以下子步骤:
子步骤S231,所述日志序号生成服务器400根据用户终端100信息查询是否存在所述用户终端100对应的日志ID。
可选地,所述日志序号生成服务器400可以根据所述用户终端100信息查询所述日志序号生成服务器400是否为所述用户终端100生成过日志ID。
若为所述用户终端100生成过日志ID,判定存在所述用户终端100对应的日志ID及请求序号,若没有为所述用户终端100生成过日志ID,判定不存在所述用户终端100对应的日志ID及请求序号。
子步骤S232,在不存在日志ID时,根据所述用户终端100的标识信息和所述业务请求处理时间生成日志ID,并将请求序号设置为初始值(例如设置为1,也可以是0或者其他任意数值);在存在日志ID时,将请求序号按照预设规则递增(例如每次加1,也可以每次加2,本发明实施例不作限制),并将新生成的日志ID及请求序号记录到日志序号生成服务器400的缓存。
其中,标识信息包括用户终端100的IP地址或用户终端100的MAC地址。根据所述用户终端100的标识信息和所述业务请求处理时间生成日志ID的方式可以是采用MD5加密算法或者其他算法计算得到日志ID。
在存在日志ID时,将请求序号按照预设规则递增,并将按照预设规则递增后的请求序号记录到日志序号生成服务器400的缓存中用于取代之前的请求序号。
在生成包括日志ID和请求序号之后,所述日志序号生成服务器400还将日志ID和请求序号发送到处理该业务请求的目标服务器300中,并将日志ID和请求序号保存到目标服务器300的当前的日志中。各目标服务器300中的日志可以保存到日志文件中,便于目标服务器300对日志的管理。
在本实施例中,步骤S210将日志文件发送给日志分析服务器500的方式可以是所述目标服务器300按照预设时间间隔向所述日志分析服务器500发送日志文件,或所述目标服务器300在日志文件容量达到预设容量阈值时,将所述日志文件发送给日志分析服务器500。
在本实施例中,所述日志序号生成服务器400在预设时间后(比如24小时)将所述日志序号生成服务器400中所有日志ID及请求序号配置为失效。并下次请求时重新生成日志ID。定时失效日志ID及请求序号可以防止请求序号过大,不利于进行排序。
下面以具体的例子对本实施例的日志分析方法进行说明,应当理解的是,下面的例子仅仅是为了说明本实施例日志分析方法的实现过程,不应该理解为对本方案的限定,在本实施例的其他实施方式中也可以采用其他方式实现,具体例子如下:
假设用户终端A的IP地址为:192.168.1.1,用户终端A的MAC地址为:16-C6-42-BB-8E-26。其中用户终端A完成一次业务需要3次业务请求,通过均衡设备200按顺序分别负载到目标服务器B、目标服务器A及目标服务器C。
当用户终端A的第一次请求到达目标服务器B时,目标服务器B从日志序号生成服务器400取获取日志ID和请求序号。日志序号生成服务器400根据用户终端A的终端信息(IP(192.168.1.1)/MAC(16-C6-42-BB-8E-26))查询本地缓存,这时若没有对应的日志ID。则使用MD5或其他算法根据终端信息(终端IP(192.168.1.1)/终端MAC(16-C6-42-BB-8E-26))和时间(2017-10-10)生成日志ID为KIUO09KLOP837L并生成请求序号,设置初始值为1。日志序号生成服务器400记录日志ID(KIUO09KLOP837L)和请求序号1到缓存,并返回此信息给目标服务器B。
目标服务器B得到日志ID(KIUO09KLOP837L)和请求序号1,把此信息记录到当前的日志里。当用户终端A的第二次请求到达目标服务器A。目标服务器A到日志序号生成服务器400处获取日志ID和请求序号。日志序号生成服务器400根据终端信息(IP(192.168.1.1)/MAC(16-C6-42-BB-8E-26))查询本地缓存,这时已经有日志ID为KIUO09KLOP837L并且请求序号为1。日志序号生成服务器400把请求序号按照预设规则递增1,即请求序号为2。日志序号生成服务器400把日志ID(KIUO09KLOP837L)和请求序号2更新到缓存,并返回日志ID(KIUO09KLOP837L)和请求序号2给目标服务器A。目标服务器A,得到记录日志ID(KIUO09KLOP837L)和请求序号2。把此信息记录到当前的日志里。
当用户终端A的第三次请求到达目标服务器C。目标服务器C到日志序号生成服务器400获取日志ID和请求序号。日志序号生成服务器400根据终端信息(IP(192.168.1.1)/MAC(16-C6-42-BB-8E-26))查询本地缓存,这时已经有日志ID为KIUO09KLOP837L并且请求序号为2。日志序号生成服务器400把请求序号按照预设规则递增1,即请求序号为3。日志序号生成服务器400把日志ID(KIUO09KLOP837L)和请求序号3记录到缓存覆盖之前的信息,并返回日志ID(KIUO09KLOP837L)和请求序号3给目标服务器C。目标服务器C,得到记录日志ID(KIUO09KLOP837L)和请求序号3。把此信息记录到当前的日志里。
同时假设用户终端B的终端IP地址为:192.168.1.5;终端的MAC地址为:16-C6-42-DD-8E-27。
用户终端B完成一次业务有2次请求,通过均衡设备200按顺序分别负载到目标服务器C、目标服务器A。
当用户终端B的第一次请求到达目标服务器C时,目标服务器C到日志序号生成服务器400取获取日志ID和请求序号。日志序号生成服务器400根据终端信息(IP(192.168.1.5)/MAC(16-C6-42-DD-8E-27))查询本地缓存,这时没有对应的日志ID。则使用MD5或其他算法根据终端信息(终端IP(192.168.1.5)/终端MAC(16-C6-42-DD-8E-27))和时间(2017-10-10)生成日志ID为LPOO09KLOP807A并生成请求序号为1。日志序号生成服务器400记录日志ID(LPOO09KLOP807A)和请求序号1到缓存,并返回此信息给目标服务器C。目标服务器C,得到记录日志ID(LPOO09KLOP807A)和请求序号1。把此信息记录到当前的日志里。
当用户终端B的第二次请求到达目标服务器A。目标服务器A到日志序号生成服务器400取获取日志ID和请求序号。日志序号生成服务器400根据终端信息(IP(192.168.1.5)/MAC(16-C6-42-DD-8E-27))查询本地缓存,这时已经有日志ID为LPOO09KLOP807A并且请求序号为1。日志序号生成服务器400把请求序号按照预设规则递增1,即请求序号为2。日志序号生成服务器400把日志ID(LPOO09KLOP807A)和请求序号2记录到缓存覆盖之前的信息,并返回日志ID(LPOO09KLOP807A)和请求序号2给目标服务器A。目标服务器A,得到记录日志ID(KIUO09KLOP837L)和请求序号2。把此信息记录到当前的日志里。
目标服务器A、目标服务器B、目标服务器C在日志文件达到一定大小(可配置)时,把日志文件上传到日志分析服务器500。日志分析服务器500根据日志ID和请求序号进行排序,则能每个用户的日志按操作顺序展示出来。用户终端A的日志按日志ID(KIUO09KLOP837L)提取出来并按请求序号1、2、3顺序排序。用户终端B的日志按日志ID(LPOO09KLOP807A)提取出来并按请求序号1、2顺序排序。
同时,日志序号生成服务器400在可以设置为在24小时(该时间可以配置)后失效所有日志ID和请求序号。当下次请求时重新生成。
本发明实施例还提供一种日志分析方法,与上面实施例不同的是,本日志分析方法是从日志分析服务器500侧描述日志分析服务器500在日志分析过程中具体执行的步骤。可以理解的是,接下来要描述的日志分析方法中涉及的步骤在上面实施例中已经描述过,具体各个步骤的详尽内容可参照上面的实施例描述,下面仅对日志分析服务器500侧执行步骤进行简要说明。请参照图5,在日志分析服务器500侧执行的日志分析方法可以包括以下步骤。
步骤S310,所述日志分析服务器500接收所述集群系统10中处理用户终端业务请求的目标服务器300发送的多个日志文件,其中,所述日志文件中包括至少一条日志,每条日志包括日志ID及请求序号。
步骤S320,所述日志分析服务器500基于每条日志的日志ID及请求序号,对日志进行排序,获得经排序的日志。
步骤S330,所述日志分析服务器500对所述经排序的日志进行分析。
本发明实施例还提供一种日志分析方法,与上面实施例不同的是,本日志分析方法是从日志序号生成服务器400侧描述日志序号生成服务器400在日志分析过程中具体执行的步骤。可以理解的是,接下来要描述的日志分析方法中涉及的步骤在上面实施例中已经描述过,具体各个步骤的详尽内容可参照上面的实施例描述,下面仅对日志序号生成服务器400侧执行步骤进行简要说明。请参照图6,在日志序号生成服务器400侧执行的日志分析方法可以包括以下步骤。
步骤S410,所述日志序号生成服务器400接收所述集群系统10中的目标服务器300在处理用户终端100的业务请求时,发送的生成该业务请求对应日志ID及请求序号的请求;
步骤S420,所述日志序号生成服务器400根据用户终端信息生成日志ID及请求序号。
在本实施例中,步骤S420可以通过以下方式实现:
所述日志序号生成服务器400根据用户终端信息查询是否存在所述用户终端100对应的日志ID;
在不存在日志ID时,根据所述用户终端100的标识信息和所述业务请求处理时间生成日志ID,并将请求序号设置为初始值,其中,标识信息包括用户终端100的IP地址或用户终端的MAC地址;
在存在日志ID时,将请求序号按照预设规则递增。
步骤S430,所述日志序号生成服务器400将生成的日志ID及请求序号发送给所述目标服务器300,由所述目标服务器300记录到当前的日志里,便于所述集群系统10中的日志分析服务器500对所述目标服务器300生成的日志进行日志分析。
本发明实施例还提供一种日志分析装置510,所述日志分析装置510应用于日志分析服务器500,用于对应实现图5所示的方法。请参照图7,所述日志分析装置包括第一接收模块511、排序模块512及分析模块513。
第一接收模块511,用于接收所述集群系统中处理用户终端业务请求的目标服务器300发送的多个日志文件,其中,所述日志文件中包括至少一条日志,每条日志包括日志ID及请求序号;
排序模块512,用于基于每条日志的日志ID及请求序号,对日志进行排序,获得经排序的日志;
分析模块513,用于对所述经排序的日志进行分析。
本发明实施例还提供一种日志分析装置410,所述日志分析装置410应用于日志序号生成服务器400,用于对应实现图6所示的方法。请参照图8,所述日志分析装置包括第二接收模块411、生成模块412及发送模块413。
第二接收模块411,用于接收所述集群系统中的目标服务器300在处理用户终端的业务请求时,发送的生成该业务请求对应日志ID及请求序号的请求。
生成模块412,用于根据用户终端信息生成日志ID及请求序号。
在本实施例中,所述生成模块412根据用户终端信息生成日志ID及请求序号的方式,包括:
根据用户终端信息查询是否存在所述用户终端100对应的日志ID;
在不存在日志ID时,根据所述用户终端100的标识信息和所述业务请求处理时间生成日志ID,并将请求序号设置为初始值,其中,标识信息包括用户终端100的IP地址或用户终端100的MAC地址;
在存在日志ID时,将请求序号按照预设规则递增。
发送模块413,用于将生成的日志ID及请求序号发送给所述目标服务器300,由所述目标服务器300记录到当前的日志里,便于所述集群系统中的日志分析服务器500对所述目标服务器300生成的日志进行日志分析。
本发明的实施例提供一种日志分析方法及装置,应用于集群系统,所述方法包括:所述集群系统中处理用户终端业务请求的目标服务器向所述集群系统中的日志分析服务器发送多个日志文件,其中,所述日志文件中包括至少一条日志,每条日志包括日志ID及请求序号;所述日志分析服务器基于每条日志中的日志ID及请求序号,对日志进行排序,获得经排序的日志;所述日志分析服务器对所述经排序的日志进行分析。通过本实施例提供的方案,目标服务器将日志文件发送给日志分析服务器,由分析服务器根据每条日志的日志ID及请求序号对日志进行排序,将日志ID相同的日志按照请求序号进行排序,无需人工进行查找排序,方便对日志进行分析,提高日志的分析效率。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (12)
1.一种日志分析方法,其特征在于,应用于集群系统,所述方法包括:
所述集群系统中处理用户终端业务请求的目标服务器向所述集群系统中的日志分析服务器发送多个日志文件,其中,所述日志文件中包括至少一条日志,每条日志包括日志ID及请求序号;所述日志ID对应所述业务请求的用户终端,所述请求序号用于表示该日志对应于该用户终端的业务请求的次序;
所述日志分析服务器基于每条日志中的日志ID及请求序号,将日志ID相同的日志按照请求序号进行排序,获得经排序的日志;
所述日志分析服务器对所述经排序的日志进行分析。
2.如权利要求1所述的方法,其特征在于,所述方法还包括生成日志的步骤,该步骤包括:
所述目标服务器在处理用户终端的业务请求时,向所述集群系统中的日志序号生成服务器发送生成日志ID及请求序号的请求;
所述日志序号生成服务器根据用户终端信息生成该用户终端对应的日志ID及请求序号。
3.如权利要求2所述的方法,其特征在于,所述日志序号生成服务器根据用户终端信息生成该用户终端对应的日志ID及请求序号的步骤,包括:
所述日志序号生成服务器根据用户终端信息查询是否存在所述用户终端对应的日志ID;
在不存在日志ID时,根据所述用户终端的标识信息和所述业务请求处理时间生成日志ID,并将请求序号设置为初始值,其中,标识信息包括用户终端的IP地址或用户终端的MAC地址;
在存在日志ID时,将请求序号按照预设规则递增。
4.如权利要求2或3所述的方法,其特征在于,所述方法还包括:
所述日志序号生成服务器将生成的日志ID及请求序号发送到目标服务器,并将所述日志ID及请求序号记录到当前的日志里。
5.如权利要求4所述的方法,其特征在于,所述方法还包括所述目标服务器将日志文件发送给日志分析服务器的步骤,该步骤通过以下方式的任意一种实现:
所述目标服务器按照预设时间间隔向所述日志分析服务器发送日志文件;或
所述目标服务器在日志文件容量达到预设容量阈值时,将所述日志文件发送给日志分析服务器。
6.如权利要求5所述的方法,其特征在于,所述方法还包括:
所述日志序号生成服务器在预设时间后将所述日志序号生成服务器中所有日志ID及请求序号配置为失效。
7.一种日志分析方法,其特征在于,应用于集群系统中的日志分析服务器,所述方法包括:
所述日志分析服务器接收所述集群系统中处理用户终端业务请求的目标服务器发送的多个日志文件,其中,所述日志文件中包括至少一条日志,每条日志包括日志ID及请求序号;所述日志ID对应所述业务请求的用户终端,所述请求序号用于表示该日志对应于该用户终端的业务请求的次序;
所述日志分析服务器基于每条日志的日志ID及请求序号,将日志ID相同的日志按照请求序号进行排序,获得经排序的日志;
所述日志分析服务器对所述经排序的日志进行分析。
8.一种日志分析方法,其特征在于,应用于集群系统中的日志序号生成服务器,所述方法包括:
所述日志序号生成服务器接收所述集群系统中的目标服务器在处理用户终端的业务请求时,发送生成日志ID及请求序号的请求;
所述日志序号生成服务器根据用户终端信息生成日志ID及请求序号;所述日志ID对应所述业务请求的用户终端,所述请求序号用于表示该日志对应于该用户终端的业务请求的次序;
所述日志序号生成服务器将生成的日志ID及请求序号发送给所述目标服务器,由所述目标服务器记录到当前的日志里,便于所述集群系统中的日志分析服务器基于每条日志中的日志ID及请求序号,将日志ID相同的日志按照请求序号进行排序,获得经排序的日志,对所述经排序的日志进行分析。
9.如权利要求8所述的方法,其特征在于,所述日志序号生成服务器根据用户终端信息生成日志ID及请求序号的步骤,包括:
所述日志序号生成服务器根据用户终端信息查询是否存在所述用户终端对应的日志ID;
在不存在日志ID时,根据所述用户终端的标识信息和所述业务请求处理时间生成日志ID,并将请求序号设置为初始值,其中,标识信息包括用户终端的IP地址或用户终端的MAC地址;
在存在日志ID时,将请求序号按照预设规则递增。
10.一种日志分析装置,其特征在于,应用于集群系统中的日志分析服务器,所述装置包括:
第一接收模块,用于接收所述集群系统中处理用户终端业务请求的目标服务器发送的多个日志文件,其中,所述日志文件中包括至少一条日志,每条日志包括日志ID及请求序号;所述日志ID对应所述业务请求的用户终端,所述请求序号用于表示该日志对应于该用户终端的业务请求的次序;
排序模块,用于基于每条日志的日志ID及请求序号,将日志ID相同的日志按照请求序号进行排序,获得经排序的日志;
分析模块,用于对所述经排序的日志进行分析。
11.一种日志分析装置,其特征在于,应用于集群系统中的日志序号生成服务器,所述装置包括:
第二接收模块,用于接收所述集群系统中的目标服务器在处理用户终端的业务请求时,发送的生成日志ID及请求序号的请求;
生成模块,用于根据用户终端信息生成日志ID及请求序号;所述日志ID对应所述业务请求的用户终端,所述请求序号用于表示该日志对应于该用户终端的业务请求的次序;
发送模块,用于将生成的日志ID及请求序号发送给所述目标服务器,由所述目标服务器记录到当前的日志里,便于所述集群系统中的日志分析服务器基于每条日志中的日志ID及请求序号,将日志ID相同的日志按照请求序号进行排序,获得经排序的日志,对所述经排序的日志进行分析。
12.如权利要求11所述的装置,其特征在于,所述生成模块根据用户终端信息生成日志ID及请求序号的方式,包括:
根据用户终端信息查询是否存在所述用户终端对应的日志ID;
在不存在日志ID时,根据所述用户终端的标识信息和所述业务请求处理时间生成日志ID,并将请求序号设置为初始值,其中,标识信息包括用户终端的IP地址或用户终端的MAC地址;
在存在日志ID时,将请求序号按照预设规则递增。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711278704.5A CN108063685B (zh) | 2017-12-06 | 2017-12-06 | 日志分析方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711278704.5A CN108063685B (zh) | 2017-12-06 | 2017-12-06 | 日志分析方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108063685A CN108063685A (zh) | 2018-05-22 |
CN108063685B true CN108063685B (zh) | 2021-06-18 |
Family
ID=62135316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711278704.5A Active CN108063685B (zh) | 2017-12-06 | 2017-12-06 | 日志分析方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108063685B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110048899B (zh) * | 2019-05-29 | 2022-03-04 | 北京奇艺世纪科技有限公司 | 一种日志检测方法、装置、终端及服务器 |
CN110569274A (zh) * | 2019-08-02 | 2019-12-13 | 福建星网智慧软件有限公司 | 一种分布式实时日志分析方法和计算机可读存储介质 |
CN110647448A (zh) * | 2019-08-09 | 2020-01-03 | 北京建筑大学 | 一种移动应用操作日志数据实时分析方法、服务器和系统 |
CN111259121A (zh) * | 2020-01-09 | 2020-06-09 | 深圳前海微众银行股份有限公司 | 日志处理方法、装置、设备及计算机可读存储介质 |
CN113297233A (zh) * | 2020-09-01 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置和服务器 |
CN114996231A (zh) * | 2021-03-02 | 2022-09-02 | 北京金山云网络技术有限公司 | 数据写入方法、装置及电子设备 |
CN113938919B (zh) * | 2021-09-03 | 2023-07-07 | 中国联合网络通信集团有限公司 | 数据分析方法和装置 |
CN115967614A (zh) * | 2021-10-08 | 2023-04-14 | 大唐移动通信设备有限公司 | 网元日志提取方法、装置、电子设备及存储介质 |
CN118585505A (zh) * | 2024-08-06 | 2024-09-03 | 天翼视联科技有限公司 | 日志处理方法、装置、电子装置和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1637714A (zh) * | 2003-11-26 | 2005-07-13 | 株式会社日立制作所 | 远程复制网络 |
JP2009064125A (ja) * | 2007-09-05 | 2009-03-26 | Fuji Electric Systems Co Ltd | サーバ装置、そのプログラム |
CN105824744A (zh) * | 2016-03-21 | 2016-08-03 | 焦点科技股份有限公司 | 一种基于b2b平台的实时日志采集分析方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140236791A1 (en) * | 2013-02-15 | 2014-08-21 | Bank Of America Corporation | Image retrieval and transaction id capture |
-
2017
- 2017-12-06 CN CN201711278704.5A patent/CN108063685B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1637714A (zh) * | 2003-11-26 | 2005-07-13 | 株式会社日立制作所 | 远程复制网络 |
JP2009064125A (ja) * | 2007-09-05 | 2009-03-26 | Fuji Electric Systems Co Ltd | サーバ装置、そのプログラム |
CN105824744A (zh) * | 2016-03-21 | 2016-08-03 | 焦点科技股份有限公司 | 一种基于b2b平台的实时日志采集分析方法 |
Non-Patent Citations (2)
Title |
---|
"海量网络流量日志分析系统的设计与实现";王家哲;《中国优秀硕士学位论文全文数据库 信息科技辑》;第I138-2043页;20170215;第1、13、23 、24、46、50页 * |
"通过RequestID进行问题快速定位";佚名;《https://weibo.com/p/1001603728585759319483》;20140704;第1页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108063685A (zh) | 2018-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108063685B (zh) | 日志分析方法及装置 | |
EP3798839B1 (en) | Log analysis in vector space | |
EP3169018B1 (en) | Method and device for establishing performance measurement task and processing performance measurement result | |
CN108776616B (zh) | 一种确定区块链节点可信状态的方法、区块链节点及系统 | |
CN107092686B (zh) | 一种基于云存储平台的文件管理方法及装置 | |
EP2869495B1 (en) | Node de-duplication in a network monitoring system | |
CN112434039A (zh) | 数据的存储方法、装置、存储介质以及电子装置 | |
WO2018127005A1 (zh) | 一种服务节点的切换方法和装置 | |
CN112711496A (zh) | 日志信息全链路追踪方法、装置、计算机设备和存储介质 | |
WO2020143181A1 (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
CN108322495B (zh) | 资源访问请求的处理方法、装置和系统 | |
CN113987002A (zh) | 基于海量数据分析平台的数据交换方法 | |
CN114265927A (zh) | 数据查询方法及装置、存储介质及电子装置 | |
CN104503983A (zh) | 为搜索引擎提供网站认证数据的方法及装置 | |
CN107704494B (zh) | 一种基于应用软件的用户信息收集方法和系统 | |
CN114791927A (zh) | 一种数据分析方法和装置 | |
CN113259449A (zh) | 分布式存储方法、装置、设备及存储介质 | |
CN112181929A (zh) | 云管平台日志处理方法、装置、电子装置和存储介质 | |
CN108229585B (zh) | 一种日志的归类方法及系统 | |
CN101141469A (zh) | 一种安全信息检索服务器、系统、方法及一种终端 | |
CN113055213A (zh) | 告警信息管理方法、告警信息管理系统及服务器 | |
CN107656967B (zh) | 一种场景信息处理方法及装置 | |
CN116318800A (zh) | 一种bgp路由数据的监测方法、装置、及电子设备 | |
CN111106980B (zh) | 一种带宽捆绑检测方法和装置 | |
CN110955710B (zh) | 一种数据交换作业中脏数据的处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |