[go: up one dir, main page]

CN113485901B - 基于日志和指标的系统评价方法、装置、设备和介质 - Google Patents

基于日志和指标的系统评价方法、装置、设备和介质 Download PDF

Info

Publication number
CN113485901B
CN113485901B CN202110763094.8A CN202110763094A CN113485901B CN 113485901 B CN113485901 B CN 113485901B CN 202110763094 A CN202110763094 A CN 202110763094A CN 113485901 B CN113485901 B CN 113485901B
Authority
CN
China
Prior art keywords
value
log
abnormal
time
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110763094.8A
Other languages
English (en)
Other versions
CN113485901A (zh
Inventor
吴声
李耕寅
常杰
茅逸斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110763094.8A priority Critical patent/CN113485901B/zh
Publication of CN113485901A publication Critical patent/CN113485901A/zh
Application granted granted Critical
Publication of CN113485901B publication Critical patent/CN113485901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Creation or modification of classes or clusters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本文涉及人工智能领域，特别地，涉及一种基于日志和指标的系统评价方法、装置、设备和介质，其中方法，包括：将实时日志数据与日志模板进行比较，确定第一异常值；将多项实时指标数据与对应的多项历史指标数据进行比较，确定第二异常值；判断所述第一异常值或所述第二异常值是否为一级告警值、二级告警值或三级告警值；如果所述第一异常值或所述第二异常值为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统异常；如果所述第一异常值和所述第二异常值均不为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统正常。本文能够提高在对系统进行评价时的准确度。

Description

基于日志和指标的系统评价方法、装置、设备和介质
技术领域
本发明涉及人工智能领域，特别地，涉及一种基于日志和指标的系统评价方法、装置、设备和介质。
背景技术
在现有技术中，对系统进行评价大多是基于日志监控或指标监控，日志监控是对系统产生的日志数据进行监控，看日志数据中是否有异常数据，如果有异常数据则会产生报警或其他后续操作；指标监控是对系统响应时间、内存占用率、CPU占用率等指标进行监控，如果指标产生异常会产生报警或后续其他操作。但是现有技术中的日志监控和指标监控往往是分割开来的，这会导致在对系统进行评价时过于片面，导致评价的准确度不高。
因此现在亟需一种基于日志和指标的系统评价方法、装置、设备和介质，能够提高在对系统进行评价时的准确度。
发明内容
本文实施例的目的在于提供一种基于日志和指标的系统评价方法、装置、设备和介质，以提高在对系统进行评价时的准确度。
为达到上述目的，一方面，本文实施例提供了一种基于日志和指标的系统评价方法，包括：
将实时日志数据与日志模板进行比较，确定第一异常值；
将多项实时指标数据与对应的多项历史指标数据进行比较，确定第二异常值；
判断所述第一异常值或所述第二异常值是否为一级告警值、二级告警值或三级告警值；
如果所述第一异常值或所述第二异常值为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统异常；
如果所述第一异常值和所述第二异常值均不为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统正常。
优选的，所述将实时日志数据与日志模板进行比较，确定第一异常值，包括：
将单位时间内实时日志数据与不同类别的日志模板比较，确定单位时间内所述实时日志数据的所属类别；
根据单位时间内所述实时日志数据的所属类别，以及所属类别下单位时间内的实时日志数量与对应日志模板第一阈值的比较结果，确定第一异常值，其中所述第一阈值为对应日志模板在单位时间内日志数量的阈值。
优选的，所述日志模板的确定方法，包括：
获取历史日志数据，对每条历史日志数据进行分词；
通过聚类算法将分词后的所述历史日志数据进行合并和提取，确定每类日志数据对应的日志模板。
优选的，所述对应日志模板第一阈值的确定方法，包括：
判断所述日志模板是否为异常日志模板；
如果所述日志模板是所述异常日志模板；则将设定阈值确定为对应日志模板在单位时间内日志数量的第一阈值；
如果所述日志模板不是所述异常日志模板，则根据日志模板对应的历史日志数据的数量，确定对应日志模板在单位时间内日志数量的第一阈值，所述第一阈值包括第一上阈值和第一下阈值。
优选的，所述根据单位时间内所述实时日志数据的所属类别，确定第一异常值，包括：
判断单位时间内实时日志数据的所属类别是否为任一所述日志模板对应的类别；
如果单位时间内实时日志数据的所属类别不为任一所述日志模板对应的类别，则将所述实时日志数据的所属类别新增至日志模板中，并将所述第一异常值确定为二级告警值；
如果单位时间内实时日志数据的所属类别为任一所述日志模板对应的类别，则根据所属类别下单位时间内的实时日志数量与对应日志模板的第一阈值的比较结果，确定第一异常值。
优选的，所述根据所属类别下单位时间内的实时日志数量与对应日志模板第一阈值的比较结果，确定第一异常值，包括：
判断所述对应日志模板的第一阈值为所述设定阈值，或所述第一上阈值和第一下阈值；
如果所述对应日志模板的第一阈值为所述设定阈值，则当所属类别下单位时间内的实时日志数量大于所述对应日志模板的第一阈值时，将所述第一异常值确定为一级告警值；
如果所述对应日志模板的第一阈值为所述第一上阈值和第一下阈值，则当所属类别下单位时间内的实时日志数量大于所述第一上阈值或小于所述第一下阈值时，将所述第一异常值确定为三级告警值。
优选的，所述将多项实时指标数据与对应的多项历史指标数据进行比较，确定第二异常值，包括：
根据多项历史指标数据，确定每项指标数据对应的第二阈值；
将单位时间内多项实时指标数据分别与对应的所述第二阈值进行比较，确定第二异常值。
优选的，所述根据多项历史指标数据，确定每项指标数据对应的第二阈值，包括：
剔除每项历史指标数据中的异常数据；
根据每项历史指标数据的分布情况，确定每项指标数据的第二上阈值和第二下阈值。
优选的，所述将单位时间内多项实时指标数据分别与对应的所述第二阈值进行比较，确定第二异常值，包括：
将单位时间内多项实时指标数据分别与对应的所述第二阈值进行比较，当每项所述实时指标数据大于对应的所述第二上阈值或小于所述第二下阈值时，则将所述第二异常值确定为三级告警值。
优选的，所述如果所述第一异常值或所述第二异常值为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统异常，包括：
如果所述第一异常值或所述第二异常值为一级告警值，则确定所述系统的评价结果为系统异常中的重要异常；
如果所述第一异常值或所述第二异常值为二级告警值，则确定所述系统的评价结果为系统异常中的次要异常；
如果所述第一异常值或所述第二异常值为三级告警值，则根据所述三级告警值的次数与第一次数和第二次数的大小关系，确定系统的评价结果为对应异常类型的系统异常。
优选的，所述根据所述三级告警值的次数与第一次数和第二次数的大小关系，确定系统的评价结果为对应异常类型的系统异常，包括：
判断所述三级告警值的次数与第一次数和第二次数的大小关系；
如果所述三级告警值的次数小于或等于所述第二次数，则确定所述系统的评价结果为系统异常中的疑似异常；
如果所述三级告警值大于所述第二次数且小于所述第一次数，则确定所述系统的评价结果为系统异常中的次要异常；
如果所述三级告警值大于或等于所述第一次数，则确定所述系统的评价结果为系统异常中的重要异常。
另一方面，本文实施例提供了一种基于日志和指标的系统评价装置，所述装置包括：
第一异常值确定模块：将实时日志数据与日志模板进行比较，确定第一异常值；
第二异常值确定模块：将多项实时指标数据与对应的多项历史指标数据进行比较，确定第二异常值；
系统评价模块：判断所述第一异常值或所述第二异常值是否为一级告警值、二级告警值或三级告警值；
如果所述第一异常值或所述第二异常值为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统异常；
如果所述第一异常值和所述第二异常值均不为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统正常。
又一方面，本文实施例还提供了一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时，执行上述任意一项所述方法的指令。
又一方面，本文实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机设备的处理器运行时，执行上述任意一项所述方法的指令。
由以上本文实施例提供的技术方案可见，本文实施例通过确定第一异常值和第二异常值后判断第一异常值、第二异常值与一级告警值、二级告警值和三级告警值之间的关系，如果第一异常值或所述第二异常值为一级告警值、二级告警值或三级告警值，则代表系统存在异常，如果不存在上述任一异常值，则代表系统正常，如果存在一级告警值，则代表系统存在异常且异常程度高，如果存在三级告警值，则代表系统存在异常且异常程度低。由此，可以将日志数据和指标数据两者关联在一起对系统进行评价，相较于传统的只依靠日志或只依靠指标进行系统评价的方法，本文的评价体系更为全面，评价标准更为健全，评价的准确度也更高。
为让本文的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本文实施例提供的一种基于日志和指标的系统评价方法的流程示意图；
图2示出了本文实施例提供的用于确定第一异常值的方法的流程示意图；
图3示出了本文实施例提供的日志模板的确定方法的流程示意图；
图4示出了本文实施例提供的日志模板第一阈值的确定方法的流程示意图；
图5示出了本文实施例提供的用于确定第一异常值的方法的另一流程示意图；
图6示出了本文实施例提供的用于确定第一异常值的方法的又一流程示意图；
图7示出了本文实施例提供的用于确定第二异常值的方法的流程示意图；
图8示出了本文实施例提供的根据多项历史指标数据，确定每项指标数据对应的第二阈值的流程示意图；
图9示出了本文实施例提供的确定系统的评价结果的流程示意图；
图10示出了本文实施例提供的一种基于日志和指标的系统评价装置的模块结构示意图；
图11示出了本文实施例提供的计算机设备的结构示意图。
附图符号说明：
100、第一异常值确定模块；
200、第二异常值确定模块；
300、系统评价模块；
1102、计算机设备；
1104、处理器；
1106、存储器；
1108、驱动机构；
1110、输入/输出模块；
1112、输入设备；
1114、输出设备；
1116、呈现设备；
1118、图形用户接口；
1120、网络接口；
1122、通信链路；
1124、通信总线。
具体实施方式
下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。
在现有技术中，对系统进行评价大多是基于日志监控或指标监控，日志监控是对系统产生的日志数据进行监控，看日志数据中是否有异常数据，如果有异常数据则会产生报警或其他后续操作；指标监控是对系统响应时间、内存占用率、CPU占用率等指标进行监控，如果指标产生异常会产生报警或后续其他操作。但是现有技术中的日志监控和指标监控往往是分割开来的，这会导致在对系统进行评价时过于片面，导致评价的准确度不高。
为了解决上述问题，本文实施例提供了一种基于日志和指标的系统评价方法。图1是本文实施例提供的一种基于日志和指标的系统评价方法的步骤示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或装置产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。
参照图1，一种基于日志和指标的系统评价方法，可以包括：
S101：将实时日志数据与日志模板进行比较，确定第一异常值。
S102：将多项实时指标数据与对应的多项历史指标数据进行比较，确定第二异常值。
S103：判断所述第一异常值或所述第二异常值是否为一级告警值、二级告警值或三级告警值。
S104：如果所述第一异常值或所述第二异常值为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统异常。
S105：如果所述第一异常值和所述第二异常值均不为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统正常。
其中，日志数据为系统在运行过程中所产生的记录，主要是记录系统中硬件、软件等产生的问题。实时日志数据可以为实时获得的日志数据，可以将一分钟、两分钟等任一设定时间为基准，以实时获取的设定时间内的日志数据为实时日志数据。
多项指标数据为指示计算机性能的一些指标值，计算机的主要技术性能指标包括响应时间、内存容量、存取周期、运算速度等。多项指标数据可以是但不限于相应时间指标数据、内存容量指标数据、存取周期指标数据和运算速度指标数据。多项实时指标数据可以为实时获得的多项指标数据，可以将一分钟、两分钟等任一设定时间为基准，以实时获取的设定时间内的多项指标数据为多项实时指标数据。由于在对系统进行评价时，往往以一天为一个单位，因此多项历史指标数据往往为前一天之前包括前一天在内的多项指标数据。
其中一级告警值、二级告警值和三级告警值均可以为用于评价系统的评价标准，由一级告警值至三级告警值所代表的系统异常程度由高至低，其中一级告警值代表的系统异常程度最高，三级告警值代表的系统异常程度最低。若在通过比较确定第一异常值和第二异常值后，如果第一异常值或所述第二异常值为一级告警值、二级告警值或三级告警值，则代表系统存在异常，如果不存在上述任一异常值，则代表系统正常，如果存在一级告警值，则代表系统存在异常且异常程度高，如果存在三级告警值，则代表系统存在异常且异常程度低。
由此，可以将日志数据和指标数据两者关联在一起对系统进行评价，相较于传统的只依靠日志或只依靠指标进行系统评价的方法，本文的评价体系更为全面，评价标准更为健全，评价的准确度也更高。
参照图2，在本文实施例中，所述将实时日志数据与日志模板进行比较，确定第一异常值，可以包括：
S1011：将单位时间内实时日志数据与不同类别的日志模板比较，确定单位时间内所述实时日志数据的所属类别。
S1012：根据单位时间内所述实时日志数据的所属类别，以及所属类别下单位时间内的实时日志数量与对应日志模板第一阈值的比较结果，确定第一异常值，其中所述第一阈值为对应日志模板在单位时间内日志数量的阈值。
参照图3，进一步的，所述日志模板的确定方法，可以包括：
S201：获取历史日志数据，对每条历史日志数据进行分词。
S202：通过聚类算法将分词后的所述历史日志数据进行合并和提取，确定每类日志数据对应的日志模板。
具体的，由于在对系统进行评价时，往往以一天为一个单位，因此历史日志数据往往为前一天之前包括前一天在内的日志数据。在本文中，可以取任意时间段内的历史日志数据。
由于日志数据是记录的是系统中存在的问题，对每条历史日志数据进行分词时，首先，分词是将一条完整的历史日志数据分成若干词段。例如一条历史日志数据：“CPU占用率为76％”，分词后可以为“CPU”、“占用率为”、“76％”这三个词段。对每条历史日志数据进行分词时，可以根据实际工作需要提前设置词表，词表用于存储需要分出来的词，可以通过分词器比如jieba分词等来进行分词工作，针对多个历史日志数据来说，得到多个分词后的历史日志数据的若干词段。然后，对多个分词后的历史日志数据的若干词段进行比对，比对后将相同类型的历史日志数据对应的若干词段进行合并提取，进而确定每类日志数据对应的日志模板，聚类算法可以为K-means等任意一种聚类算法。
例如两条分词后的历史日志数据的若干词段分别为：“CPU”、“占用率为”、“76％”；“CPU”、“占用率为”、“70％”；对两条分此后的历史日志数据比对后提取出发现两者为同一类型的历史日志数据，合并提取出该类日志数据对应的日志模板为：“CPU”、“占用率为”、“百分比”。由此可以得到不同类别日志数据对应的日志模板，每类日志模板都代表一类系统的错误类型。
在确定日志模板之后，将单位时间内实时日志数据与不同类别的日志模板比较。单位时间可以根据实际的需求，设定为一分钟或两分钟等等，即可确定单位时间内实时日志数据的所述类别，以及每种类别下实时日志数量。
进一步的，每一类日志模板都有一对应的第一阈值，第一阈值为对应日志模板在单位时间内日志数量的阈值。可以取一段时间内的历史日志数据，将历史日志数据按照提前设定好的分类规则进行分类，或者如本文一样对历史日志数据进行聚类得到不同类别的日志模板，进而得到单位时间内若干类别的历史日志数据。其中每类日志数据在单位时间内的日志数量可能呈上下波动的，例如在0-1分钟A类日志数据有10个，1-2分钟A类日志数据有9个，2-3分钟A类日志数据有11个，而第一阈值为对应类别日志数据的合理数量。
通过获取单位时间内实时日志数据后，也按照历史日志数据的分类方法，进而得到单位时间内若干类别的实时日志数据的数量，如果系统不存在异常，则单位时间内某一类别的实时日志数量应当不超过第一阈值，但如果系统存在异常，单位时间内某一类别的实时日志数量可能会超出或小于第一阈值，因此可以通过所属类别下单位时间内的实时日志数量与对应第一阈值的比较结果，确定第一异常值，进而通过日志数据判断系统是否存在异常。
参照图4，在本文实施例中，所述对应日志模板第一阈值的确定方法，可以包括：
S301：判断所述日志模板是否为异常日志模板。
S302：如果所述日志模板是所述异常日志模板；则将设定阈值确定为对应日志模板在单位时间内日志数量的第一阈值。
S303：如果所述日志模板不是所述异常日志模板，则根据日志模板对应的历史日志数据的数量，确定对应日志模板在单位时间内日志数量的第一阈值，所述第一阈值包括第一上阈值和第一下阈值。
具体的，对于每类日志模板，需要依次判断是否为异常日志模板，异常日志模板就是一些会对系统造成重要影响的故障，本领域技术人员公知在所有的日志数据中，存在部分可能对系统造成重要影响的故障，例如对于硬盘驱动失败等故障，可以设定为异常日志模板：“硬盘”、“驱动”、“失败”。对于异常日志模板可以根据实际生产需求，设置一个异常表，其中存储有所有的异常日志模板，将每类日志模板与异常表中存储的日志模板进行对比，来判断对应日志模板是否为异常日志模板。如果日志模板是异常日志模板，可以将设定阈值确定为对应日志模板的第一阈值，设定阈值可以根据实际工作需要进行设定，由于第一阈值为对应日志模板在单位时间内日志数量的阈值，对于异常日志模板的第一阈值(设定阈值)来说，通常可以设置为0，即如果存在一个(大于0)实时日志数据对应上了异常日志模板，说明该实时日志数据为异常日志，就可以确定系统存在异常。
但如果日志模板不是异常日志模板，根据日志模板对应的历史日志数据的数量，确定对应日志模板在单位时间内日志数量的第一阈值，其中每类日志模板在单位时间内的日志数量可能呈上下波动的，例如在0-1分钟A类日志数据有10个，1-2分钟A类日志数据有9个，2-3分钟A类日志数据有11个，而第一上阈值可以为11，第一下阈值可以为9。第一上阈值为单位时间内日志数量不能超过的数目，第一下阈值为单位时间内日志数量不能少于的数目，日志模板的对应的单位时间内的日志数量需要在第一下阈值至第一上阈值之间的合理区间范围内。
除此之外，如果存在于异常表中的异常日志模板不在系统的异常日志模板中，可以将异常表中的异常日志模板添加至系统的异常日志模板中，以此来丰富系统的日志模板，提高对于异常日志的监测效率和监测效果。
参照图5，进一步的，所述根据单位时间内所述实时日志数据的所属类别，确定第一异常值，可以包括：
S1012a：判断单位时间内实时日志数据的所属类别是否为任一所述日志模板对应的类别。
S1012b：如果单位时间内实时日志数据的所属类别不为任一所述日志模板对应的类别，则将所述实时日志数据的所属类别新增至日志模板中，并将所述第一异常值确定为二级告警值。
S1012c：如果单位时间内实时日志数据的所属类别为任一所述日志模板对应的类别，则根据所属类别下单位时间内的实时日志数量与对应日志模板的第一阈值的比较结果，确定第一异常值。
具体的，对于单位时间内的实时日志数据来说，由于实时日志数据有多个，因此多个实时日志数据可能对应不同日志模板，对应的每一个日志模板都可能产生一个第一异常值。例如0-1分钟内的实时日志数据对应5个日志模板，5个日志模板每一个都对应一个第一异常值。
获取单位时间内的实时日志数据，例如每隔一分钟或每隔两分钟获取一次实时日志数据，将所获取到的实时日志数据与日志模板进行比对，确定每一条实时日志数据属于哪一个日志模板。在比对时，可以在本文聚类算法的基础上，对每条实时日志数据进行分词得到若干词段，然后通过若干词段与各个日志模板聚类中心之间距离的大小判断对应的实时日志数据属于哪一日志模板。
如果单位时间内某条实时日志数据所属的类别不是任一日志模板对应的类别，则需要将该条实时日志数据所属类别新增至日志模板中，因为前面已经对其进行分词并得到若干词段，因此可以直接对该词段进行提取得到对应的日志模板。因为该条实时日志数据属于新增类别，因此此时系统可能存在异常，将第一异常值确定为二级告警值。
参照图6，更进一步的，所述根据所属类别下单位时间内的实时日志数量与对应日志模板第一阈值的比较结果，确定第一异常值，可以包括：
S401：判断所述对应日志模板的第一阈值为所述设定阈值，或所述第一上阈值和第一下阈值。
S402：如果所述对应日志模板的第一阈值为所述设定阈值，则当所属类别下单位时间内的实时日志数量大于所述对应日志模板的第一阈值时，将所述第一异常值确定为一级告警值。
S403：如果所述对应日志模板的第一阈值为所述第一上阈值和第一下阈值，则当所属类别下单位时间内的实时日志数量大于所述第一上阈值或小于所述第一下阈值时，可以将所述第一异常值确定为三级告警值。
具体的，如果单位时间内所有实时日志数据所属的类别均对应任一日志模板对应的类别，则需要确定不同类别的所有日志模板在单位时间内的实时日志数量，例如在A类模板单位时间内实时日志数量为1，B类模板单位时间内实施日志数量为12等等。
在确定第一异常值的过程中，先判断A模板的第一阈值是设定阈值还是第一上阈值和第一下阈值，如果某一类模板的第一阈值是设定阈值，则该类模板为异常日志模板。假设A类模板的第一阈值为设定阈值，B类模板的第一阈值是是第一上阈值和第一下阈值。
而且A类模板的第一阈值为0，B类模板的第一上阈值为15，第一下阈值为5。则将1与0比较，12与5-15比较，因为1大于0，将A模板对应的第一异常值确定为一级告警值，因为12在5-15的范围内，B模板没有异常。
如果A类模板的第一阈值为0，B类模板的第一上阈值为10，第一下阈值为5，则将1与0比较，12与5-10比较，因为1大于0，将A模板对应的第一异常值确定为一级告警值，12大于10，可以将B模板对应的第一异常值确定为三级告警值。
参照图7，在本文实施例中，所述将多项实时指标数据与对应的多项历史指标数据进行比较，确定第二异常值，可以包括：
S1021：根据多项历史指标数据，确定每项指标数据对应的第二阈值。
S1022：将单位时间内多项实时指标数据分别与对应的所述第二阈值进行比较，确定第二异常值。
参照图8，进一步的，所述根据多项历史指标数据，确定每项指标数据对应的第二阈值，可以包括：
S1021a：剔除每项历史指标数据中的异常数据。
S1021b：根据每项历史指标数据的分布情况，确定每项指标数据的第二上阈值和第二下阈值。
具体的，可以通过孤立森林算法将每项历史指标数据中的异常数据剔除，孤立森林算法可以快速发现全局内的异常数据。多项指标数据可以是但不限于相应时间指标数据、内存容量指标数据、存取周期指标数据和运算速度指标数据。剔除掉异常数据之后，可以利用正态分布方法，例如对于内存容量指标数据来说，可以取一段时间内的历史内存容量指标数据，确定该段时间内的历史内存容量指标数据中的数学期望μ和方差σ，然后根据实际生产需要，将第二上阈值确定为μ+3σ，将第二下阈值确定为μ-3σ，或将第二上阈值确定为μ+2σ，将第二下阈值确定为μ-2σ等等。
在确定每项指标数据的第二上阈值和第二下阈值之后，将单位时间内获得的多项实时指标数据分别与对应的第二上阈值和第二下阈值比较。
在本文实施例中，所述将单位时间内多项实时指标数据分别与对应的所述第二阈值进行比较，确定第二异常值，可以包括：
将单位时间内多项实时指标数据分别与对应的所述第二阈值进行比较，当每项所述实时指标数据大于对应的所述第二上阈值或小于所述第二下阈值时，则将所述第二异常值确定为三级告警值。
通过上述方法，可以对指标数据进行精准的分析。
在本文实施例中，所述如果所述第一异常值或所述第二异常值为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统异常，包括：
S1041：如果所述第一异常值或所述第二异常值为一级告警值，则确定所述系统的评价结果为系统异常中的重要异常。
S1042：如果所述第一异常值或所述第二异常值为二级告警值，则确定所述系统的评价结果为系统异常中的次要异常。
S1043：如果所述第一异常值或所述第二异常值为三级告警值，则根据所述三级告警值的次数与第一次数和第二次数的大小关系，确定系统的评价结果为对应异常类型的系统异常。
其中S1041、S1042、S1043这三个步骤是并列步骤，不存在先后关系。由于系统内的日志模板类型众多，在单位时间内，每类日志模板下的实时日志数据都可能产生一个第一异常值，因此单位时间内有多个第一异常值，由于系统内的指标数据项数众多，每项实时指标数据均可能产生一个第二异常值，因此单位时间内有多个第二异常值。又异常程度由一级告警值至三级告警值递减，因此对于每个单位时间来说，相应于第一异常值和第二异常值，只要其中存在一个一级告警值，就将评价结果确定为重要异常，如果不存在一级告警值，只要存在一个二级告警值，就将评价结果确定为次要异常。如果既不存在一级告警值，也不存在二级告警值，则需要进一步判断。
参照图9，进一步判断具体为，所述根据所述三级告警值的次数与第一次数和第二次数的大小关系，确定系统的评价结果为对应异常类型的系统异常，可以包括：
S1043a：判断所述三级告警值的次数与第一次数和第二次数的大小关系。
S1043b：如果所述三级告警值的次数小于或等于所述第二次数，则确定所述系统的评价结果为系统异常中的疑似异常。
S1043c：如果所述三级告警值大于所述第二次数且小于所述第一次数，则确定所述系统的评价结果为系统异常中的次要异常。
S1043d：如果所述三级告警值大于或等于所述第一次数，则确定所述系统的评价结果为系统异常中的重要异常。
其中第一次数大于第二次数，根据三级告警值次数与第一次数和第二次数的比较，确定系统异常的类型。重要异常、次要异常和疑似异常的异常程度由高至低，对于不同程度的异常来说，可以提供不同程度的响应机制，例如可以对重要异常进行及时告警，对于次要异常间隔1小时告警一次，对于疑似异常间隔1日告警一次等。通过这种方法能够将日志监控和指标监控关联起来，提高评价的准确度。
基于上述所述的一种基于日志和指标的系统评价方法，本文实施例还提供一种基于日志和指标的系统评价装置。所述的装置可以包括使用了本文实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本文实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本文实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
具体地，图10是本文实施例提供的一种基于日志和指标的系统评价装置一个实施例的模块结构示意图，参照图10所示，本文实施例提供的一种基于日志和指标的系统评价装置包括：第一异常值确定模块100、第二异常值确定模块200、系统评价模块300。
第一异常值确定模块100：将实时日志数据与日志模板进行比较，确定第一异常值。
第二异常值确定模块200：将多项实时指标数据与对应的多项历史指标数据进行比较，确定第二异常值。
系统评价模块300：判断所述第一异常值或所述第二异常值是否为一级告警值、二级告警值或三级告警值。
如果所述第一异常值或所述第二异常值为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统异常。
如果所述第一异常值和所述第二异常值均不为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统正常。
参照图11所示，基于上述所述的一种基于日志和指标的系统评价方法，本文一实施例中还提供一种计算机设备1102，其中上述方法运行在计算机设备1102上。计算机设备1102可以包括一个或多个处理器1104，诸如一个或多个中央处理单元(CPU)或图形处理器(GPU)，每个处理单元可以实现一个或多个硬件线程。计算机设备1102还可以包括任何存储器1106，其用于存储诸如代码、设置、数据等之类的任何种类的信息，一具体实施方式中，存储器1106上并可在处理器1104上运行的计算机程序，所述计算机程序被所述处理器1104运行时，可以执行根据上述方法的指令。非限制性的，比如，存储器1106可以包括以下任一项或多种组合：任何类型的RAM，任何类型的ROM，闪存设备，硬盘，光盘等。更一般地，任何存储器都可以使用任何技术来存储信息。进一步地，任何存储器可以提供信息的易失性或非易失性保留。进一步地，任何存储器可以表示计算机设备1102的固定或可移除部件。在一种情况下，当处理器1104执行被存储在任何存储器或存储器的组合中的相关联的指令时，计算机设备1102可以执行相关联指令的任一操作。计算机设备1102还包括用于与任何存储器交互的一个或多个驱动机构1108，诸如硬盘驱动机构、光盘驱动机构等。
计算机设备1102还可以包括输入/输出模块1110(I/O)，其用于接收各种输入(经由输入设备1112)和用于提供各种输出(经由输出设备1114)。一个具体输出机构可以包括呈现设备1116和相关联的图形用户接口1118(GUI)。在其他实施例中，还可以不包括输入/输出模块1110(I/O)、输入设备1112以及输出设备1114，仅作为网络中的一台计算机设备。计算机设备1102还可以包括一个或多个网络接口1120，其用于经由一个或多个通信链路1122与其他设备交换数据。一个或多个通信总线1124将上文所描述的部件耦合在一起。
通信链路1122可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信链路422可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。
对应于图1-图9中的方法，本文实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
本文实施例还提供一种计算机可读指令，其中当处理器执行所述指令时，其中的程序使得处理器执行如图1至图9所示的方法。
应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。
还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本文中应用了具体实施例对本文的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本文的方法及其核心思想；同时，对于本领域的一般技术人员，依据本文的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本文的限制。

Claims (12)

1.一种基于日志和指标的系统评价方法，其特征在于，包括：
将实时日志数据与日志模板进行比较，根据实时日志数据是否属于任一类别的日志模板，确定第一异常值；其中日志数据记录的是系统中存在的问题：
将单位时间内实时日志数据与不同类别的日志模板比较，确定单位时间内所述实时日志数据的所属类别；其中每类日志模板都代表一类系统的错误类型；
根据单位时间内所述实时日志数据的所属类别，以及所属类别下单位时间内的实时日志数量与对应日志模板第一阈值的比较结果，确定第一异常值，其中所述第一阈值为对应日志模板在单位时间内日志数量的阈值；
将多项实时指标数据与对应的多项历史指标数据进行比较，确定第二异常值；
判断所述第一异常值或所述第二异常值是否为一级告警值、二级告警值或三级告警值；
如果所述第一异常值或所述第二异常值为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统异常；
如果所述第一异常值和所述第二异常值均不为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统正常；
其中所述日志模板的确定方法为：
获取历史日志数据，对每条历史日志数据进行分词；
通过聚类算法将分词后的所述历史日志数据进行合并和提取，确定每类日志数据对应的日志模板。
2.根据权利要求1所述的方法，其特征在于，所述对应日志模板第一阈值的确定方法，包括：
判断所述日志模板是否为异常日志模板；
如果所述日志模板是所述异常日志模板；则将设定阈值确定为对应日志模板在单位时间内日志数量的第一阈值；
如果所述日志模板不是所述异常日志模板，则根据日志模板对应的历史日志数据的数量，确定对应日志模板在单位时间内日志数量的第一阈值，所述第一阈值包括第一上阈值和第一下阈值。
3.根据权利要求2所述的方法，其特征在于，所述根据单位时间内所述实时日志数据的所属类别，确定第一异常值，包括：
判断单位时间内实时日志数据的所属类别是否为任一所述日志模板对应的类别；
如果单位时间内实时日志数据的所属类别不为任一所述日志模板对应的类别，则将所述实时日志数据的所属类别新增至日志模板中，并将所述第一异常值确定为二级告警值；
如果单位时间内实时日志数据的所属类别为任一所述日志模板对应的类别，则根据所属类别下单位时间内的实时日志数量与对应日志模板的第一阈值的比较结果，确定第一异常值。
4.根据权利要求3所述的方法，其特征在于，所述根据所属类别下单位时间内的实时日志数量与对应日志模板第一阈值的比较结果，确定第一异常值，包括：
判断所述对应日志模板的第一阈值为所述设定阈值，或所述第一上阈值和第一下阈值；
如果所述对应日志模板的第一阈值为所述设定阈值，则当所属类别下单位时间内的实时日志数量大于所述对应日志模板的第一阈值时，将所述第一异常值确定为一级告警值；
如果所述对应日志模板的第一阈值为所述第一上阈值和第一下阈值，则当所属类别下单位时间内的实时日志数量大于所述第一上阈值或小于所述第一下阈值时，将所述第一异常值确定为三级告警值。
5.根据权利要求1所述的方法，其特征在于，所述将多项实时指标数据与对应的多项历史指标数据进行比较，确定第二异常值，包括：
根据多项历史指标数据，确定每项指标数据对应的第二阈值；
将单位时间内多项实时指标数据分别与对应的所述第二阈值进行比较，确定第二异常值。
6.根据权利要求5所述的方法，其特征在于，所述根据多项历史指标数据，确定每项指标数据对应的第二阈值，包括：
剔除每项历史指标数据中的异常数据；
根据每项历史指标数据的分布情况，确定每项指标数据的第二上阈值和第二下阈值。
7.根据权利要求6所述的方法，其特征在于，所述将单位时间内多项实时指标数据分别与对应的所述第二阈值进行比较，确定第二异常值，包括：
将单位时间内多项实时指标数据分别与对应的所述第二阈值进行比较，当每项所述实时指标数据大于对应的所述第二上阈值或小于所述第二下阈值时，则将所述第二异常值确定为三级告警值。
8.根据权利要求1所述的方法，其特征在于，所述如果所述第一异常值或所述第二异常值为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统异常，包括：
如果所述第一异常值或所述第二异常值为一级告警值，则确定所述系统的评价结果为系统异常中的重要异常；
如果所述第一异常值或所述第二异常值为二级告警值，则确定所述系统的评价结果为系统异常中的次要异常；
如果所述第一异常值或所述第二异常值为三级告警值，则根据所述三级告警值的次数与第一次数和第二次数的大小关系，确定系统的评价结果为对应异常类型的系统异常。
9.根据权利要求8所述的方法，其特征在于，所述根据所述三级告警值的次数与第一次数和第二次数的大小关系，确定系统的评价结果为对应异常类型的系统异常，包括：
判断所述三级告警值的次数与第一次数和第二次数的大小关系；
如果所述三级告警值的次数小于或等于所述第二次数，则确定所述系统的评价结果为系统异常中的疑似异常；
如果所述三级告警值大于所述第二次数且小于所述第一次数，则确定所述系统的评价结果为系统异常中的次要异常；
如果所述三级告警值大于或等于所述第一次数，则确定所述系统的评价结果为系统异常中的重要异常。
10.一种基于日志和指标的系统评价装置，其特征在于，所述装置包括：
第一异常值确定模块：将实时日志数据与日志模板进行比较，根据实时日志数据是否属于任一类别的日志模板，确定第一异常值；其中日志数据记录的是系统中存在的问题：
将单位时间内实时日志数据与不同类别的日志模板比较，确定单位时间内所述实时日志数据的所属类别；其中每类日志模板都代表一类系统的错误类型；
根据单位时间内所述实时日志数据的所属类别，以及所属类别下单位时间内的实时日志数量与对应日志模板第一阈值的比较结果，确定第一异常值，其中所述第一阈值为对应日志模板在单位时间内日志数量的阈值；
第二异常值确定模块：将多项实时指标数据与对应的多项历史指标数据进行比较，确定第二异常值；
系统评价模块：判断所述第一异常值或所述第二异常值是否为一级告警值、二级告警值或三级告警值；
如果所述第一异常值或所述第二异常值为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统异常；
如果所述第一异常值和所述第二异常值均不为一级告警值、二级告警值或三级告警值，则确定系统的评价结果为系统正常；
其中所述日志模板的确定方法为：
获取历史日志数据，对每条历史日志数据进行分词；
通过聚类算法将分词后的所述历史日志数据进行合并和提取，确定每类日志数据对应的日志模板。
11.一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，其特征在于，所述计算机程序被所述处理器运行时，执行根据权利要求1-9任意一项所述方法的指令。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机设备的处理器运行时，执行根据权利要求1-9任意一项所述方法的指令。
CN202110763094.8A 2021-07-06 2021-07-06 基于日志和指标的系统评价方法、装置、设备和介质 Active CN113485901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110763094.8A CN113485901B (zh) 2021-07-06 2021-07-06 基于日志和指标的系统评价方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110763094.8A CN113485901B (zh) 2021-07-06 2021-07-06 基于日志和指标的系统评价方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN113485901A CN113485901A (zh) 2021-10-08
CN113485901B true CN113485901B (zh) 2022-11-22

Family

ID=77940681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110763094.8A Active CN113485901B (zh) 2021-07-06 2021-07-06 基于日志和指标的系统评价方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN113485901B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114116427A (zh) * 2021-11-30 2022-03-01 平安养老保险股份有限公司 异常日志写入方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4570217A (en) * 1982-03-29 1986-02-11 Allen Bruce S Man machine interface
CN103412805A (zh) * 2013-07-31 2013-11-27 交通银行股份有限公司 一种it故障源诊断方法及系统
CN105528280A (zh) * 2015-11-30 2016-04-27 中电科华云信息技术有限公司 系统日志与健康监控关系决定日志告警等级的方法及系统
CN109634818A (zh) * 2018-10-24 2019-04-16 中国平安人寿保险股份有限公司 日志分析方法、系统、终端及计算机可读存储介质
CN110928718A (zh) * 2019-11-18 2020-03-27 上海维谛信息科技有限公司 一种基于关联分析的异常处理方法、系统、终端及介质
CN111221702A (zh) * 2019-11-18 2020-06-02 上海维谛信息科技有限公司 基于日志分析的异常处理方法、系统、终端及介质
CN112000806A (zh) * 2020-08-25 2020-11-27 携程旅游信息技术（上海）有限公司 异常日志监控分析方法、系统、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2691081B2 (ja) * 1990-05-16 1997-12-17 インターナショナル・ビジネス・マシーンズ・コーポレイション コンピュータ・ネットワーク
WO2014043623A1 (en) * 2012-09-17 2014-03-20 Siemens Corporation Log-based predictive maintenance
US9818067B2 (en) * 2016-03-24 2017-11-14 Accenture Global Solutions Limited Self-learning log classification system
CN106201837A (zh) * 2016-07-19 2016-12-07 电信科学技术第五研究所 一种集成化硬件平台的日志解析方法和系统
CN107391353B (zh) * 2017-07-07 2020-07-28 西安电子科技大学 基于日志的复杂软件系统异常行为检测方法
CN111338915B (zh) * 2020-05-15 2020-09-01 北京必示科技有限公司 动态告警定级方法、装置、电子设备以及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4570217A (en) * 1982-03-29 1986-02-11 Allen Bruce S Man machine interface
CN103412805A (zh) * 2013-07-31 2013-11-27 交通银行股份有限公司 一种it故障源诊断方法及系统
CN105528280A (zh) * 2015-11-30 2016-04-27 中电科华云信息技术有限公司 系统日志与健康监控关系决定日志告警等级的方法及系统
CN109634818A (zh) * 2018-10-24 2019-04-16 中国平安人寿保险股份有限公司 日志分析方法、系统、终端及计算机可读存储介质
CN110928718A (zh) * 2019-11-18 2020-03-27 上海维谛信息科技有限公司 一种基于关联分析的异常处理方法、系统、终端及介质
CN111221702A (zh) * 2019-11-18 2020-06-02 上海维谛信息科技有限公司 基于日志分析的异常处理方法、系统、终端及介质
CN112000806A (zh) * 2020-08-25 2020-11-27 携程旅游信息技术（上海）有限公司 异常日志监控分析方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN113485901A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN110708204B (zh) 一种基于运维知识库的异常处理方法、系统、终端及介质
US9298538B2 (en) Methods and systems for abnormality analysis of streamed log data
CN113254255B (zh) 一种云平台日志的分析方法、系统、设备及介质
US9324038B2 (en) Method and system for clustering, modeling, and visualizing process models from noisy logs
US20170147417A1 (en) Context-aware rule engine for anomaly detection
CN110928718A (zh) 一种基于关联分析的异常处理方法、系统、终端及介质
CN111352794B (zh) 异常检测方法、装置、计算机装置及存储介质
CN113556358A (zh) 异常流量数据检测方法、装置、设备及存储介质
CN111309565A (zh) 告警处理方法、装置、电子设备以及计算机可读存储介质
US11860615B2 (en) Method and system for anomaly detection and diagnosis in industrial processes and equipment
CN115033463A (zh) 一种系统异常类型确定方法、装置、设备和存储介质
CN111539493A (zh) 一种告警预测方法、装置、电子设备及存储介质
CN115495587A (zh) 一种基于知识图谱的告警分析方法及装置
CN112926877A (zh) 批处理业务的健康情况判断方法、装置、设备及存储介质
CN115033453A (zh) 异常检测方法、装置、设备、存储介质及程序
CN112905671A (zh) 时间序列异常处理方法、装置、电子设备及存储介质
CN113485901B (zh) 基于日志和指标的系统评价方法、装置、设备和介质
CN112416896A (zh) 数据异常的报警方法和装置、存储介质、电子装置
CN104765672A (zh) 错误码监控方法、装置及设备
CN110677271B (zh) 基于elk的大数据告警方法、装置、设备及存储介质
CN119358007A (zh) 基于机器学习的工业信息数据安全保护方法及系统
DE202024105349U1 (de) Ein KI-gestütztes Echtzeit-Qualitätssicherungs- und Sicherheitsüberwachungssystem für Cloud-Plattformen in Unternehmen
CN112967127A (zh) 一种疑点贷款核查方法、系统、计算机设备及存储介质
CN117349502A (zh) 一种基于互联网数据中心的运维数据查询分析方法及系统
CN113419807B (zh) 一种多品牌磁盘机性能融合展示方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant