CN110442628A - 一种数据监控方法、系统和计算机设备 - Google Patents
一种数据监控方法、系统和计算机设备 Download PDFInfo
- Publication number
- CN110442628A CN110442628A CN201910615844.XA CN201910615844A CN110442628A CN 110442628 A CN110442628 A CN 110442628A CN 201910615844 A CN201910615844 A CN 201910615844A CN 110442628 A CN110442628 A CN 110442628A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- monitoring
- monitoring group
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 197
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000007906 compression Methods 0.000 claims abstract description 38
- 230000006835 compression Effects 0.000 claims abstract description 25
- 230000001960 triggered effect Effects 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims 1
- 238000013500 data storage Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 16
- 238000003860 storage Methods 0.000 description 12
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例提供了一种数据监控方法、系统和计算机设备，能够统一监控数据流转过程中多个节点的数据。所述数据监控方法适用于数据流转过程，所述数据流转过程中数据流流经两个或两个以上节点，预设所述数据流转过程中一个或多个节点为一个监控组，每个监控组对应一个预设的告警触发条件，所述数据监控方法包括：记录监控组中每个节点的数据量；根据记录的监控组中每个节点的数据量计算所述监控组的监控数据；判断所述监控组的监控数据满足预设的所述监控组对应的告警触发条件时触发告警。本申请实施例方案可以有效解决数据流转过程中的监控问题。
Description
技术领域
本文涉及数据处理技术，尤指一种数据监控方法、系统和计算机设备。
背景技术
随着大数据相关技术的深入发展，大型企业的数据源多种多样。在使用大数据技术来支持公司业务的过程中，必然需要将数据经过采集、标准化、入库到最终的支持企业业务的过程。数据流程普遍很长而且复杂，最终导致运营人员或数据维护人员无法及时、有效地确认哪个数据流中的哪个环节出现问题，无法在业务使用数据前发现数据有问题。
相关技术基本上是通过各种大数据工具自带计数器来进行监控。比如一个实时流任务从kafka(一种分布式消息队列)读取数据最终进入数据库或者文件系统，实时流内部会有进和出的计数器。通过这些计数器很难去判断整个流是否正确，并且这些计数器不能自定义。在大数据分析数据过程中，会用到各种各样的技术产品，各产品有自己的各节点的计数器，很难统一监控。有的监控方案是通过发送监控日志信息至实时流，然后与预定规则去比较，最后得出监控结论。还有的监控方案是预先在各个数据流关键节点设置计数器，根据计数器结果与预设监控规则判断整个数据流有没有异常，在有异常时告警。
发明内容
本申请实施例提供了一种数据监控方法、系统和计算机设备，能够统一监控数据流转过程中多个节点的数据。
一方面，本发明实施例提供了一种数据监控方法，所述方法适用于数据流转过程，所述数据流转过程中数据流流经两个或两个以上节点，预设所述数据流转过程中一个或多个节点为一个监控组，每个监控组对应一个预设的告警触发条件，所述数据监控方法包括：
记录监控组中每个节点的数据量；
根据记录的监控组中每个节点的数据量计算所述监控组的监控数据；
判断所述监控组的监控数据满足预设的所述监控组对应的告警触发条件时触发告警。
在一示例性实施例中，所述记录的监控组中每个节点的数据量为：所述监控组中每个节点的输入数据量，和/或，所述监控组中每个节点的输出数据量。
在一示例性实施例中，所述监控组的监控数据包括以下一种或多种：
所述监控组中数据流后流经节点的输入数据量与所述监控组中数据流先流经节点的输入数据量的比值；
所述监控组中数据流后流经节点的输出数据量与所述监控组中数据流先流经节点的输出数据量的比值；
监控组中数据流后流经节点的输入数据量与监控组中数据流先流经节点的输出数据量的比值；
监控组中数据流后流经节点的输出数据量与监控组中数据流先流经节点的输入数据量的比值。
在一示例性实施例中，所述数据流转过程中数据流经的节点包括以下一种或多种：
数据采集节点，数据实时处理节点，数据批处理节点，抽取转换加载ETL节点，数据存储节点。
在一示例性实施例中，所述方法还包括：根据节点输入数据量和输出数据量的差值判断故障节点。
另一方面，本发明实施例还提供了一种数据监控系统，所述系统适用于数据流转过程中数据监控，所述数据流转过程中数据流流经两个或两个以上节点，所述数据监控系统包括设置模块、记录模块、计算模块和告警模块：
所述设置模块，用于预设所述数据流转过程中的监控组，每个监控组包含一个或多个节点，以及预设每个监控组对应的告警触发条件；
所述记录模块，用于记录监控组中每个节点的数据量；
所述计算模块，用于根据记录的监控组中每个节点的数据量计算所述监控组的监控数据
所述告警模块，用于判断所述监控组的监控数据满足预设的所述监控组对应的告警触发条件时触发告警。
在一示例性实施例中，所述记录模块记录的监控组中每个节点的数据量为所述监控组中每个节点的输入数据量，和/或，所述监控组中每个节点的输出数据量。
在一示例性实施例中，所述计算模块计算的所述监控组的监控数据包括以下一种或多种：
所述监控组中数据流后流经节点的输入数据量与所述监控组中数据流先流经节点的输入数据量的比值；
所述监控组中数据流后流经节点的输出数据量与所述监控组中数据流先流经节点的输出数据量的比值；
监控组中数据流后流经节点的输入数据量与监控组中数据流先流经节点的输出数据量的比值；
监控组中数据流后流经节点的输出数据量与监控组中数据流先流经节点的输入数据量的比值。
在一示例性实施例中，所述系统还包括定位模块，用于根据所述记录模块记录的节点的输入数据量和输出数据量的差值判断故障节点。
再一方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如前述数据监控方法的步骤。
本申请实施例方案通过收集数据流转过程中不同节点的输入数据和/或输出数据判断数据流是否出现异常，可以统一监控数据流转过程中多个节点的数据，有效的解决数据流转过程中的监控问题。本发明实施例方案特别适用大数据的数据流转过程。本发明实施例还可以快速的通过预定义规则发现问题，从而快速解决问题。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书、权利要求书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本发明实施例方法流程图；
图2为本发明实施例系统结构示意图；
图3为本发明应用示例结构图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
申请人发现，现有数据监控方案只能在单个环节监控，不能进行全流程、全链路的数据流量监控。
为此申请人提出本发明实施例技术方案，在本发明实施例中，数据流转过程中数据流流经两个或两个以上节点，预设所述数据流转过程中一个或多个节点为一个监控组，每个监控组对应一个预设的告警触发条件，所述方法如图1所示，包括以下步骤：
步骤10，记录监控组中每个节点的数据量；
预设的监控组如果有多个，则分别记录每个监控组中每个节点的数据量。根据告警触发条件可以确定监控组中包含哪些节点，该告警触发条件即为该监控组对应的告警触发条件。
所述数据量可以是输入数据量，也可以是输出数据量，或者是输入数据量和输出数据量均记录。
本实施例所述一个节点可以是数据流经过的一个软件或硬件产品，例如可以是指一个数据处理环节，或一个数据处理节点。
步骤20，根据记录的监控组中每个节点的数据量计算所述监控组的监控数据；
监控组的监控数据根据记录的数据量确定，可以为以下一种或多种：
监控组中数据流后流经节点的输入数据量与监控组中数据流先流经节点的输入数据量的比值；
监控组中数据流后流经节点的输出数据量与监控组中数据流先流经节点的输出数据量的比值；
监控组中数据流后流经节点的输入数据量与监控组中数据流先流经节点的输出数据量的比值；
监控组中数据流后流经节点的输出数据量与监控组中数据流先流经节点的输入数据量的比值。
步骤30，判断所述监控组的监控数据满足预设的所述监控组对应的告警触发条件时触发告警。
本发明实施例通过收集数据流转过程中不同节点的输入数据和/或输出数据并通过计算判断数据流是否出现异常，可以统一监控数据流转过程中多个节点的数据，特别适用大数据量的数据流转过程。
例如一次完整的数据流转过程可以包括数据从数据源(source)到最终目标输出(sink)的过程，例如从数据采集到数据入库的过程。根据告警触发条件可以确定监控组，监控组中的节点为监控节点也即数据流转过程中的关键节点。例如，说一个数据流转过程涉及节点a-e，数据链为a->b->c->d->e，以关键节点为b-d为例，则可以只对b->c->d做监控。预设告警触发条件1为节点c输入与节点b输入的比值低于95％，预设告警触发条件2为节点d输出与节点c输出的比值低于90％，则可以设置节点b和节点c为第一监控组，设置节点c和节点d为第二监控组。分别在节点b、c、d埋计数器。监控第一监控组的输入数据量，监控第二监控组的输出数据量。根据记录的数据量分别计算每个监控组的监控数据，第一监控组的监控数据即为节点c输入与节点b输入的比值，第二监控组的监控数据即为节点d输出与节点c输出的比值。当第一监控组的监控数据满足第一告警触发条件即低于第一比例阈值95％时，触发告警，当第二监控组的监控数据满足第二告警触发条件即低于第二比例阈值90％时，触发告警。
上述实施例仅以监控部分数据流转过程为例进行说明，在其他实施例中也可以对整个数据流转过程进行监控。
在一示例性实施例中，所述节点包括：数据采集节点，数据存储节点(例如数据库或磁盘)。可以在数据采集节点的入口处记录第一输入量，获知数据采集节点采集的数据量。在存储节点的入口处记录第二输入量，获知入库量。如果第二输入量占第一输入量的比例小于预设阈值时，说明超过正常数量的数据由于某种原因未入库，此时触发告警。
在一示例性实施例中，在所述数据经过的每个节点的入口处均记录数据的输入量，在所述数据经过的每个节点的出口处均记录数据的输出量。这样除了可以监控上述第二输入量占第一输入量的比例外，还可以根据需要监控其他节点的输入、输出量，以满足不同系统的需要。
在一示例性实施例中，如果在数据流经的每个节点的入口和出口均记录数据量，则可以根据每个节点记录的输入量和输出量判断故障节点。例如计算每个节点的输入量和输出量之差，并根据预设的每个节点的差量阈值进行判断，超过预设差量阈值的节点就是判定为故障节点，可以在告警的同时上报故障节点名称和/或位置。
在一示例性实施例中，所述数据流转过程中数据流经的节点还包括以下一种或多种：数据实时处理节点，数据批处理节点，抽取转换加载ETL节点。
本发明实施例还提供一种数据监控系统，所述系统适用于数据流转过程中数据监控，在所述数据流转过程中数据流流经两个或两个以上节点，如图2所示，所述系统包括设置模块、记录模块、计算模块和告警模块，其中：
所述设置模块，用于预设所述数据流转过程中的监控组，每个监控组包含一个或多个节点，以及预设每个监控组对应的告警触发条件；
所述记录模块，用于记录监控组中每个节点的数据量；
所述计算模块，用于根据记录的监控组中每个节点的数据量计算所述监控组的监控数据
所述告警模块，用于判断所述监控组的监控数据满足预设的所述监控组对应的告警触发条件时触发告警。
在一示例性实施例中，所述记录模块记录的监控组中每个节点的数据量为所述监控组中每个节点的输入数据量，和/或，所述监控组中每个节点的输出数据量。
在一示例性实施例中，所述计算模块计算的所述监控组的监控数据包括以下一种或多种：
所述监控组中数据流后流经节点的输入数据量与所述监控组中数据流先流经节点的输入数据量的比值；
所述监控组中数据流后流经节点的输出数据量与所述监控组中数据流先流经节点的输出数据量的比值；
监控组中数据流后流经节点的输入数据量与监控组中数据流先流经节点的输出数据量的比值；
监控组中数据流后流经节点的输出数据量与监控组中数据流先流经节点的输入数据量的比值。
在一示例性实施例中，所述系统还包括定位模块，用于根据所述记录模块记录的节点的输入数据量和输出数据量的差值判断故障节点。
在一示例性实施例中，所述节点包括以下一种或多种：数据采集节点，数据实时处理节点，数据批处理节点，抽取转换加载ETL节点，数据存储节点。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据监控方法的步骤。
从时间维度上来说，本发明实施例方案是以一次数据流转过程为单位进行监控，可以避免单位时段监控造成的误判；从空间维度来说，是对一次数据流转过程中涉及的多个节点进行监控，是对全流程全链路的监控。
下面通过一应用示例对上述实施例方法进行说明。
在本示例中，以数据流转过程涉及的节点包括数据采集节点Dataagent，实时处理节点kakfa(一种实时消息队列message queue)，批处理节点HDFS，抽取转换加载ETL节点和数据库节点为例进行说明。如图3所示。
预先在多个节点设置计数器，通过Redis(一种基于Key-Value对的NoSQL数据库)收集计数器值，并预设规则阈值。
本示例中采用Redis实现计数值统计，在其他示例中，还可以采用其他应用，只要能作为第三方计数器存储整个数据流程中产生的数据值即可。
数据流转过程包括：
步骤a，Dataagent从数据源(DataSource)拉取数据；
在上述步骤a拉取数据和步骤b发送数据至指定消息服务器或者HDFS的时候，根据设计的计数器维度，按实际数据属性对对应的计数器进行数值增加操作。例如设计的计数器纬度为成功进入数据库的数据，则当一条数据进入数据库后计数器加1。
步骤b，拉取到的数据根据实际需求发送消息服务器(如kakfa等针对实时流的产品)或者分布式文件系统(HDFS等针对批处理的产品)；
步骤c，从kakfa或HDFS输出的数据送ETL节点处理；
步骤d，ETL节点输出结果至数据库(Database)。
在ETL过程中，对应ETL实际步骤，在关键步骤中按实际统计维度对对应计数器进行数值增加操作。例如统计：ETL数据接收数量，处理过程中过滤(filter)的数量，处理过程中出现异常的数量，处理完成后的总数。
实际入库过程内，可以对入库数据以特定维度进行统计计数，例如按照实际需要仅统计异常数据，或者仅统计入库成功的数据，或者按渠道统计。
通过提供一个接口(API)服务，用来根据实际监控需求去Redis中获取对应的计数器，根据预设规则阈值监控阈值与计数值之间的数据偏差，以此判断整个数据流有没有异常，如果有异常则告警，最终可以由人工介入，此外根据API服务获取的各个节点的计数器来判断哪个环节出了问题，然后解决问题。
例如:从数据源获取到100条数据，按照正常的情况下会有大概5-10％的比例会被过滤掉，90％以上的数据会进最终的数据库。预设告警触发条件为：从dataagent_in到database_in比例如果小于90％则代表数据流不正常，需要告警。即在本示例中，监控组包括节点dataagent和database，监控数据为database的输入数据与dataagent的输入数据的比值，当监控数据满足上述预设告警触发条件，则触发告警。
采用本发明实施例监控方法获得的各个节点计数器数值如下:
datagent_in(从数据源拉取的数据)：100
datagent_out(从数据源发送至MQ或HDFS数据)：100
ETL_Filter(ETL过程中被过滤掉的数据)：5
ETL_Exception(ETL过程中出现异常数据)：10
Database_in(最终数据库收到数据)：85
通过dataagent_in到database_in数据进行对比发现比例是85％，触发告警(例如可以是短信、邮件或电话等)，通知人工介入。
此外，还可以通过API查询这一时段的整个数据流过程中各关键节点的数据量，发现ETL_Exception有10条异常数据，根据ETL_Exception的键值规则(键值与计数器标识相对应)可以判定是哪一段程序处理出现异常，然后根据实际代码进行测试并最终发现解决问题，重新上线。
本发明实施例有效的解决了大数据环境下复杂业务流程中的全流程数据无法判定是否正常的问题，不需要每天通过人工去检查整个数据环境是否有异常，可以全天候自动检测并根据规则发现异常及告警，减少了运维的压力，通过各节点计数器进行对比，当发现哪个节点计数器数值异常时，则可判断该节点就是故障节点，方便技术人员快速定位问题。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (10)
1.一种数据监控方法，其特征在于，所述方法适用于数据流转过程，所述数据流转过程中数据流流经两个或两个以上节点，预设所述数据流转过程中一个或多个节点为一个监控组，每个监控组对应一个预设的告警触发条件，所述数据监控方法包括：
记录监控组中每个节点的数据量；
根据记录的监控组中每个节点的数据量计算所述监控组的监控数据；
判断所述监控组的监控数据满足预设的所述监控组对应的告警触发条件时触发告警。
2.根据权利要求1所述的方法，其特征在于，
所述记录的监控组中每个节点的数据量为：所述监控组中每个节点的输入数据量，和/或，所述监控组中每个节点的输出数据量。
3.根据权利要求1或2所述的方法，其特征在于，
所述监控组的监控数据包括以下一种或多种：
所述监控组中数据流后流经节点的输入数据量与所述监控组中数据流先流经节点的输入数据量的比值；
所述监控组中数据流后流经节点的输出数据量与所述监控组中数据流先流经节点的输出数据量的比值；
监控组中数据流后流经节点的输入数据量与监控组中数据流先流经节点的输出数据量的比值；
监控组中数据流后流经节点的输出数据量与监控组中数据流先流经节点的输入数据量的比值。
4.根据权利要求1所述的方法，其特征在于，
所述数据流转过程中数据流经的节点包括以下一种或多种：
数据采集节点，数据实时处理节点，数据批处理节点，抽取转换加载ETL节点，数据存储节点。
5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
根据节点输入数据量和输出数据量的差值判断故障节点。
6.一种数据监控系统，其特征在于，所述系统适用于数据流转过程中数据监控，所述数据流转过程中数据流流经两个或两个以上节点，所述数据监控系统包括设置模块、记录模块、计算模块和告警模块：
所述设置模块，用于预设所述数据流转过程中的监控组，每个监控组包含一个或多个节点，以及预设每个监控组对应的告警触发条件；
所述记录模块，用于记录监控组中每个节点的数据量；
所述计算模块，用于根据记录的监控组中每个节点的数据量计算所述监控组的监控数据
所述告警模块，用于判断所述监控组的监控数据满足预设的所述监控组对应的告警触发条件时触发告警。
7.根据权利要求6所述的系统，其特征在于，
所述记录模块记录的监控组中每个节点的数据量为所述监控组中每个节点的输入数据量，和/或，所述监控组中每个节点的输出数据量。
8.根据权利要求6或7所述的系统，其特征在于，
所述计算模块计算的所述监控组的监控数据包括以下一种或多种：
所述监控组中数据流后流经节点的输入数据量与所述监控组中数据流先流经节点的输入数据量的比值；
所述监控组中数据流后流经节点的输出数据量与所述监控组中数据流先流经节点的输出数据量的比值；
监控组中数据流后流经节点的输入数据量与监控组中数据流先流经节点的输出数据量的比值；
监控组中数据流后流经节点的输出数据量与监控组中数据流先流经节点的输入数据量的比值。
9.根据权利要求7所述的系统，其特征在于，所述系统还包括定位模块，用于根据所述记录模块记录的节点的输入数据量和输出数据量的差值判断故障节点。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5中任一项所述数据监控方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910615844.XA CN110442628A (zh) | 2019-07-09 | 2019-07-09 | 一种数据监控方法、系统和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910615844.XA CN110442628A (zh) | 2019-07-09 | 2019-07-09 | 一种数据监控方法、系统和计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110442628A true CN110442628A (zh) | 2019-11-12 |
Family
ID=68429984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910615844.XA Pending CN110442628A (zh) | 2019-07-09 | 2019-07-09 | 一种数据监控方法、系统和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110442628A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110955684A (zh) * | 2019-11-28 | 2020-04-03 | 深圳博沃智慧科技有限公司 | 一种数据监控方法和装置 |
| CN111339175A (zh) * | 2020-02-28 | 2020-06-26 | 成都运力科技有限公司 | 数据处理方法、装置、电子设备及可读存储介质 |
| CN112597203A (zh) * | 2020-12-28 | 2021-04-02 | 恩亿科(北京)数据科技有限公司 | 基于大数据平台的通用数据监控方法和系统 |
| KR20210068442A (ko) * | 2018-10-09 | 2021-06-09 | 닛뽄 세이꼬 가부시기가이샤 | 액추에이터 |
| CN113177153A (zh) * | 2021-06-30 | 2021-07-27 | 天聚地合(苏州)数据股份有限公司 | 消息汇总方法、装置、存储介质及设备 |
| CN113537824A (zh) * | 2021-08-03 | 2021-10-22 | 南方电网数字电网研究院有限公司 | 一种电网数据全链路监控系统 |
| WO2023093386A1 (zh) * | 2021-11-29 | 2023-06-01 | 腾讯科技（深圳）有限公司 | 一种数据检测方法、装置、电子设备、计算机存储介质及计算机程序产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040199733A1 (en) * | 2003-04-01 | 2004-10-07 | Hitachi, Ltd. | Data transfer control system |
| CN105897501A (zh) * | 2015-12-17 | 2016-08-24 | 乐视云计算有限公司 | 数据监控方法及装置 |
| CN109067610A (zh) * | 2018-07-12 | 2018-12-21 | 北京京东金融科技控股有限公司 | 一种监控方法和装置 |
| CN109815093A (zh) * | 2018-12-13 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 服务器监控方法、装置、计算机设备及存储介质 |
-
2019
- 2019-07-09 CN CN201910615844.XA patent/CN110442628A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040199733A1 (en) * | 2003-04-01 | 2004-10-07 | Hitachi, Ltd. | Data transfer control system |
| CN105897501A (zh) * | 2015-12-17 | 2016-08-24 | 乐视云计算有限公司 | 数据监控方法及装置 |
| CN109067610A (zh) * | 2018-07-12 | 2018-12-21 | 北京京东金融科技控股有限公司 | 一种监控方法和装置 |
| CN109815093A (zh) * | 2018-12-13 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 服务器监控方法、装置、计算机设备及存储介质 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210068442A (ko) * | 2018-10-09 | 2021-06-09 | 닛뽄 세이꼬 가부시기가이샤 | 액추에이터 |
| KR102730365B1 (ko) | 2018-10-09 | 2024-11-14 | 닛뽄 세이꼬 가부시기가이샤 | 액추에이터 |
| CN110955684A (zh) * | 2019-11-28 | 2020-04-03 | 深圳博沃智慧科技有限公司 | 一种数据监控方法和装置 |
| CN111339175A (zh) * | 2020-02-28 | 2020-06-26 | 成都运力科技有限公司 | 数据处理方法、装置、电子设备及可读存储介质 |
| CN111339175B (zh) * | 2020-02-28 | 2023-08-11 | 成都运力科技有限公司 | 数据处理方法、装置、电子设备及可读存储介质 |
| CN112597203A (zh) * | 2020-12-28 | 2021-04-02 | 恩亿科(北京)数据科技有限公司 | 基于大数据平台的通用数据监控方法和系统 |
| CN113177153A (zh) * | 2021-06-30 | 2021-07-27 | 天聚地合(苏州)数据股份有限公司 | 消息汇总方法、装置、存储介质及设备 |
| CN113537824A (zh) * | 2021-08-03 | 2021-10-22 | 南方电网数字电网研究院有限公司 | 一种电网数据全链路监控系统 |
| WO2023093386A1 (zh) * | 2021-11-29 | 2023-06-01 | 腾讯科技（深圳）有限公司 | 一种数据检测方法、装置、电子设备、计算机存储介质及计算机程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110442628A (zh) | 一种数据监控方法、系统和计算机设备 | |
| KR102033971B1 (ko) | 데이터 품질 분석 | |
| CN109067610B (zh) | 一种监控方法和装置 | |
| CN108011782B (zh) | 用于推送告警信息的方法和装置 | |
| CN110471821B (zh) | 异常变更检测方法、服务器及计算机可读存储介质 | |
| CN109117941A (zh) | 告警预测方法、系统、存储介质及计算机设备 | |
| CN113157545A (zh) | 业务日志的处理方法、装置、设备及存储介质 | |
| CN101997709B (zh) | 一种根告警数据分析的方法及其系统 | |
| CN108683530A (zh) | 多维度数据的数据分析方法、装置及存储介质 | |
| EP3201804A1 (en) | Cloud process for rapid data investigation and data integrity analysis | |
| CN106201829A (zh) | 监控阈值确定方法及装置、监控报警方法、装置及系统 | |
| CN109934268B (zh) | 异常交易检测方法及系统 | |
| CN108768765A (zh) | 异常状态物联网卡稽查方法、装置及计算机可读存储介质 | |
| CN110223146A (zh) | 客户购电服务全过程监控系统及方法 | |
| CN111159272A (zh) | 基于数据仓库及etl的数据质量监控及预警方法和系统 | |
| CN112559237B (zh) | 运维系统排障方法、装置、服务器和存储介质 | |
| CN108243063A (zh) | 电力终端通信接入网根告警的确定方法及系统 | |
| CN108390793A (zh) | 一种分析系统稳定性的方法及装置 | |
| CN106789158A (zh) | 一种云服务保险定损方法和系统 | |
| CN110471822A (zh) | 用于监控主机系统的方法、装置、计算机系统和介质 | |
| CN110427387A (zh) | 一种数据一致性检测方法及装置 | |
| CN114116391A (zh) | Redis实例的健康检测方法、装置、设备及存储介质 | |
| CN113825162A (zh) | 电信网络故障原因定位方法及装置 | |
| CN118260294B (zh) | 基于ai的制造业痛觉信号汇总方法、系统、介质及设备 | |
| CN112258220B (zh) | 信息采集及分析方法、系统、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191112 |