CN103714133A - 数据运维管理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种数据运维管理方法及装置，涉及计算机网络技术领域，解决运维系统采用静态采集以及静态定义指标导致的效率较低的问题。所述方法包括：按照采集周期向数据对象采集话单数据；使用采集模板解析所述话单数据生成原始数据，并根据存储策略将所述原始数据存储到数据库中，所述采集模板包括文件地址和原数据存放表；根据所述原始数据进行原子指标计算，生成原子指标结果表；根据所述指标计算结果表进行运算指标计算，生成运算指标结果表；调用平台接口将所述原子指标结果表和所述运算指标结果表注入系统缓存。本发明适用于数据分析管理。

Description

数据运维管理方法及装置

技术领域

本发明涉及计算机网络技术领域，特别涉及一种数据运维管理方法及装置。

背景技术

随着信息化时代的到来，运营商需要对海量数据进行有效采集与动态分析，准确高效地把握用户需求，从而为用户和社会各界提供相应的产品和服务。运营商主要通过运维系统将管理对象的数据抽象成监控指标项进行分析管理，获得提供决策与行动的基本信息。

目前，常规运维系统的监控指标项是在静态采集前提下静态定义的，主要流程如下：系统预置向数据来源对象采集的数据结构；数据来源对象定时产生指标数据并存放在指定的位置；系统启动时，加载数据来源对象的指标定义；系统根据指标的属性定时主动向数据来源对象采集它能识别的指标数据；系统将采集的指标数据入库然后呈现在界面上供使用者监控，使用者为指标数据配置告警阀值；当上报的指标数据达到告警阀值时，系统产生告警信息通知使用者。

现有技术中至少存在如下问题：静态采集方式以及静态定义指标只能在开发态时进行定义，一旦系统投入使用就只能对定义过的数据结构以及定义过的指标进行采集，对于定义之外的数据结构和指标需要重新开发版本或者更新补丁实现，导致运维系统的效率较低。

发明内容

提供一种数据运维管理方法及装置，能够解决运维系统采用静态采集以及静态定义指标导致的效率较低的问题，提高效率。

第一方面，提供一种数据运维管理方法，包括：

按照采集周期向数据对象采集话单数据；

使用采集模板解析所述话单数据生成原始数据，并根据存储策略将所述原始数据存储到数据库中，所述采集模板包括文件地址和原数据存放表；

根据所述原始数据进行原子指标计算，生成原子指标结果表；

根据所述指标计算结果表进行运算指标计算，生成运算指标结果表；

调用平台接口将所述原子指标结果表和所述运算指标结果表注入系统缓存。

在第一种可能的实现方式中，在所述按照采集周期向数据对象采集话单数据之前，所述方法还包括：

定义所述采集模板、原子指标、运算指标和所述预警信息，并将所述采集模板、所述原子指标、所述运算指标和所述预警信息注入系统缓存；其中，所述采集模板包括文件地址和原数据存放表，所述原子指标的数据源由所述采集模板确定，所述运算指标的数据源由所述原子指标确定。

在第二种可能的实现方式中，所述根据存储策略将所述原始数据存储到数据库中包括：当所述原始数据不按时间分区时，将所述原始数据存储到所述数据库中的原始数据表中；当所述原始数据按时间分区时，根据选择类型将所述原始数据存储到所述数据库中。

结合第一方面的第一种可能的实现方式，在第三种可能的实现方式中，所述根据所述原始数据进行原子指标计算，生成原子指标结果表包括：从所述系统缓存中读取所述原子指标获取原子指标计算规则；根据所述原始数据获取采集批次信息以及与所述原子指标对应的指标数据；使用所述原子指标计算规则计算所述指标数据，生成原子指标结果表。

结合第一方面的第一种可能的实现方式，在第四种可能的实现方式中，所述根据所述指标计算结果表进行运算指标计算，生成运算指标结果表包括：从所述系统缓存中读取所述运算指标获取运算指标计算规则；使用所述运算指标计算规则计算所述原子指标结果表中的数据，生成运算指标结果表。

结合第一方面的第三种可能的实现方式或第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述原子指标计算规则和所述运算指标计算规则包括：当计算规则为表达式时，调用计算器进行计算；当计算规则为存储过程时，执行所述存储过程；当计算规则为结构化查询语言SQL语句时，执行所述SQL语句。

结合第一方面的第一种可能的实现方式，在第六种可能的实现方式中，在所述调用平台接口将所述原子指标结果表和所述运算指标结果表注入系统缓存之后，所述方法还包括：根据所述预警信息、所述原子指标结果表和所述运算指标结果表判断是否达到预警阈值；当达到所述预警阈值后，生成并提示预警信息。

第二方面，提供一种数据运维管理装置，包括：

采集单元，用于按照采集周期向数据对象采集话单数据；

解析存储单元，用于使用采集模板解析所述话单数据生成原始数据，并根据存储策略将所述原始数据存储到数据库中，所述采集模板包括文件地址和原数据存放表；

第一计算单元，用于根据所述原始数据进行原子指标计算，生成原子指标结果表；

第二计算单元，用于根据所述指标计算结果表进行运算指标计算，生成运算指标结果表；

结果处理单元，用于调用平台接口将所述原子指标结果表和所述运算指标结果表注入系统缓存。

结合第二方面，在第一种可能的实现方式中，所述装置还包括：

定义单元，用于定义所述采集模板、原子指标、运算指标和所述预警信息，并将所述采集模板、所述原子指标、所述运算指标和所述预警信息注入系统缓存；其中，所述采集模板包括文件地址和原数据存放表，所述原子指标的数据源由所述采集模板确定，所述运算指标的数据源由所述原子指标确定。

结合第二方面，在第二种可能的实现方式中，所述解析存储单元具体用于：

当所述原始数据不按时间分区时，将所述原始数据存储到所述数据库中的原始数据表中；当所述原始数据按时间分区时，根据选择类型将所述原始数据存储到所述数据库中。

结合第二方面的第一种可能的实现方式，所述第一计算单元包括：

第一读取子单元，用于从所述系统缓存中读取所述原子指标获取原子指标计算规则；

数据获取子单元，用于根据所述原始数据获取采集批次信息以及与所述原子指标对应的指标数据；

第一计算子单元，用于使用所述原子指标计算规则计算所述指标数据，生成原子指标结果表。

结合第二方面的第一种可能的实现方式，所述第二计算单元包括：

第二读取子单元，用于从所述系统缓存中读取所述运算指标获取运算指标计算规则；

第二计算子单元，用于使用所述运算指标计算规则计算所述原子指标结果表中的数据，生成运算指标结果表。

结合第二方面的第三种可能的实现方式或第二方面的第四种可能的实现方式，在第五种可能的实现方式中，所述原子指标计算规则和所述运算指标计算规则包括：当计算规则为表达式时，调用计算器进行计算；当计算规则为存储过程时，执行所述存储过程；当计算规则为结构化查询语言SQL语句时，执行所述SQL语句。

结合第二方面的第一种可能的实现方式，在第六种可能的实现方式中，所述装置还包括：

判断单元，用于根据所述预警信息、所述原子指标结果表和所述运算指标结果表判断是否达到预警阈值；

预警单元，用于当达到所述预警阈值后，生成并提示预警信息。

现有技术中采用的静态采集方式以及静态定义指标只能在开发态时进行定义，后续新的定义只能通过更新补丁实现，导致运维系统的效率较低。与现有技术相比，本发明实施例中定义了新的采集模板，该模板中包括采集对象的文件地址以及原数据存放表；按照采集周期向数据对象采集话单数据；使用采集模板解析所述话单数据生成原始数据，并根据存储策略将所述原始数据存储到数据库中，所述采集模板包括文件地址和原数据存放表；根据所述原始数据进行原子指标计算，生成原子指标结果表；根据所述指标计算结果表进行运算指标计算，生成运算指标结果表；调用平台接口将所述原子指标结果表和所述运算指标结果表注入系统缓存。通过定义新的采集模板对话单数据进行动态采集，进而根据采集结果进行动态定义，在原有平台的基础上提高了运维管理数据的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的装置结构示意图；

图2为本发明实施例提供的装置结构示意图；

图3为本发明实施例提供的方法流程图；

图4为本发明实施例提供的系统逻辑流程图；

图5为本发明实施例提供的方法流程图；

图6为本发明实施例提供的系统接口示意图

图7为本发明实施例提供的装置结构示意图。

具体实施方式

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述各种单元、接口和模块，但这些单元、接口和模块不应限于这些术语。这些术语仅用来将单元、接口和模块彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一接口也可以被称为第二接口，类似地，第二接口也可以被称为第一接口。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

为使本发明技术方案的优点更加清楚，下面结合附图和实施例对本发明作详细说明。

本发明又一实施例提供一种数据运维管理装置10，如图1所示，所述装置10包括：

采集单元11，用于按照采集周期向数据对象采集话单数据；

解析存储单元12，用于使用采集模板解析所述话单数据生成原始数据，并根据存储策略将所述原始数据存储到数据库中，所述采集模板包括文件地址和原数据存放表；

第一计算单元13，用于根据所述原始数据进行原子指标计算，生成原子指标结果表；

第二计算单元14，用于根据所述指标计算结果表进行运算指标计算，生成运算指标结果表；

结果处理单元15，用于调用平台接口将所述原子指标结果表和所述运算指标结果表注入系统缓存。

进一步的，如图2所示，所述装置10还可以包括：

定义单元16，用于定义所述采集模板、原子指标、运算指标和所述预警信息，并将所述采集模板、所述原子指标、所述运算指标和所述预警信息注入系统缓存；其中，所述采集模板包括文件地址和原数据存放表，所述原子指标的数据源由所述采集模板确定，所述运算指标的数据源由所述原子指标确定。

其中，所述解析存储单元12具体用于：

当所述原始数据不按时间分区时，将所述原始数据存储到所述数据库中的原始数据表中；当所述原始数据按时间分区时，根据选择类型将所述原始数据存储到所述数据库中。

进一步的，如图2所示，所述第一计算单元13包括：

第一读取子单元131，用于从所述系统缓存中读取所述原子指标获取原子指标计算规则；

数据获取子单元132，用于根据所述原始数据获取采集批次信息以及与所述原子指标对应的指标数据；

第一计算子单元133，用于使用所述原子指标计算规则计算所述指标数据，生成原子指标结果表。

进一步的，如图2所示，所述第二计算单元14包括：

第二读取子单元141，用于从所述系统缓存中读取所述运算指标获取运算指标计算规则；

第二计算子单元142，用于使用所述运算指标计算规则计算所述原子指标结果表中的数据，生成运算指标结果表。

其中，所述原子指标计算规则和所述运算指标计算规则包括：

当计算规则为表达式时，调用计算器进行计算；

当计算规则为存储过程时，执行所述存储过程；

当计算规则为结构化查询语言SQL语句时，执行所述SQL语句。

进一步的，如图2所示，所述装置10还可以包括：

判断单元17，用于根据所述预警信息、所述原子指标结果表和所述运算指标结果表判断是否达到预警阈值；

预警单元18，用于当达到所述预警阈值后，生成并提示预警信息。

现有技术中采用的静态采集方式以及静态定义指标只能在开发态时进行定义，后续新的定义只能通过更新补丁实现，导致运维系统的效率较低。与现有技术相比，本发明实施例中定义了新的采集模板，该模板中包括采集对象的文件地址以及原数据存放表；首先按照采集周期向数据对象采集话单数据；使用采集模板解析所述话单数据生成原始数据，并根据存储策略将所述原始数据存储到数据库中；根据所述原始数据进行原子指标计算，生成原子指标结果表；根据所述指标计算结果表进行运算指标计算，生成运算指标结果表；调用平台接口将所述原子指标结果表和所述运算指标结果表注入系统缓存。通过定义新的采集模板可以根据业务需要和用户需求对话单数据进行动态采集，进而根据采集结果进行动态定义，而不必进行补丁更新，在原有平台的基础上提高了运维管理数据的效率。

本发明一实施例提供一种数据运维管理方法，如图3所示，所述方法包括：

201、管理系统按照采集周期向数据对象采集话单数据。

进一步的，在所述按照采集周期向数据对象采集话单数据之前，所述方法还包括：

定义所述采集模板、原子指标、运算指标和所述预警信息，并将所述采集模板、所述原子指标、所述运算指标和所述预警信息注入系统缓存；其中，所述原子指标的数据源由所述采集模板确定，所述运算指标的数据源由所述原子指标确定。

202、管理系统使用采集模板解析话单数据生成原始数据，并根据存储策略将原始数据存储到数据库中，采集模板包括文件地址和原数据存放表。

例如，所述根据存储策略将所述原始数据存储到数据库中包括：

当所述原始数据不按时间分区时，将所述原始数据存储到所述数据库中的原始数据表中；

当所述原始数据按时间分区时，根据选择类型将所述原始数据存储到所述数据库中。

203、管理系统根据原始数据进行原子指标计算，生成原子指标结果表。

例如，所述根据所述原始数据进行原子指标计算，生成原子指标结果表包括：

从所述系统缓存中读取所述原子指标获取原子指标计算规则；

根据所述原始数据获取采集批次信息以及与所述原子指标对应的指标数据；

使用所述原子指标计算规则计算所述指标数据，生成原子指标结果表。

204、管理系统根据指标计算结果表进行运算指标计算，生成运算指标结果表。

例如，所述根据所述指标计算结果表进行运算指标计算，生成运算指标结果表包括：

从所述系统缓存中读取所述运算指标获取运算指标计算规则；

使用所述运算指标计算规则计算所述原子指标结果表中的数据，生成运算指标结果表。

205、管理系统调用平台接口将原子指标结果表和运算指标结果表注入系统缓存。

其中，步骤203中的所述原子指标计算规则和步骤204中的所述运算指标计算规则包括：

当计算规则为表达式时，调用计算器进行计算；

当计算规则为存储过程时，执行所述存储过程；

当计算规则为结构化查询语言SQL语句时，执行所述SQL语句。

进一步的，在所述调用平台接口将所述原子指标结果表和所述运算指标结果表注入系统缓存之后，所述方法还包括：

根据所述预警信息、所述原子指标结果表和所述运算指标结果表判断是否达到预警阈值；

当达到所述预警阈值后，生成并提示预警信息。

现有技术中采用的静态采集方式以及静态定义指标只能在开发态时进行定义，后续新的定义只能通过更新补丁实现，导致运维系统的效率较低。与现有技术相比，本发明实施例中定义了新的采集模板，该模板中包括采集对象的文件地址以及原数据存放表；首先，按照采集周期向数据对象采集话单数据；使用采集模板解析所述话单数据生成原始数据，并根据存储策略将所述原始数据存储到数据库中；根据所述原始数据进行原子指标计算，生成原子指标结果表；根据所述指标计算结果表进行运算指标计算，生成运算指标结果表；调用平台接口将所述原子指标结果表和所述运算指标结果表注入系统缓存。通过定义新的采集模板可以根据业务需要和用户需求对话单数据进行动态采集，进而根据采集结果进行动态定义，而不必进行补丁更新，在原有平台的基础上提高了运维管理数据的效率。

本发明又一实施例提供一种运维管理方法，平台系统流程如图4所示，基于原有系统平台框架进行扩展定制，使界面层的采集、指标UI功能能够在线定义采集方式、指标定义和计算方式，将定以后的内容注入系统以供使用。并对服务层的指标计算功能以及采集服务功能进行改进，采集服务功能继承并扩展定制了原有平台的功能，在原有功能的基础之上根据界面层的采集定义，从数据来源对象采集话单数据形成原始数据库；指标计算能够面向不同的数据层次，基于采集得到的原始数据库，分别对原子指标和运算指标进行计算。协议层部分使用与原平台相同的协议栈。如图5所示，所述方法包括：

301、定义采集模板。

其中，采集模板支持常用的两种协议：FTP（File Transfer Protocol，文件传输协议）和DBLINK（Database Link，数据库连接），本实施例中以FTP为例进行说明，对于DBLINK请参考FTP，不再进行赘述。

例如：定义采集模板包括以下内容：模板名称、FTP文件地址、采集周期、原数据存放表以及存放策略。例如，采集模板可以如表一所示：

表一：

其中，采集模板ID是模板的编号，便于模板管理；采集名称可以由用户自己设定，例如设置为与采集数据相关的名称；采集协议为FTP协议；FTP文件地址给出了话单数据的来源，可选的，模板中可以设置多个FTP文件地址；采集周期为采集服务向数据源采集话单数据的周期；原数据存放表中对字段进行了定义，用于从采集的话单数据提取字段，得到原始数据；策略类型为存储原始数据的策略。

其中，原数据存放表可以如表二所示：

表二：

302、定义原子指标和运算指标。

其中，定义原子指标时选择步骤301中所定义的采集模板，通过选择的采集模板指定原子指标的数据来源，增加了数据来源的透明度与可追溯性。具体的原子指标定义如表三所示：

表三：

需要说明的是，表三中的运算方式一般采用SQL语句，基于采集模板填写SQL语句，指定该值如何获取。例如，采集模板为ta1，其获取的原数据存放表中的字段包括：行为、产品ID、结果、失败原因。则定义的SQL语句可以为：

Select count(*)from ta1 where产品ID=p1，

Select count(*)from ta1 where产品ID=p1 and结果=成功。第一条SQL语句对应的原子指标为产品ID为p1的数量，第二条SQL语句对应的原子指标为产品ID为p1且结果为成功的数量。

进一步的，在定义原子指标之后，开始定义运算指标。具体的运算指标定义如表四所示：

表四：

其中，运算指标是由原子指标组成的，是对原子指标进行各种运算，例如，四则运算、求均、求和等。在实际的系统输入中，计算公式可以为：Sum（1+2+3），这表示一个求和操作，其中1、2和3分别为三个原子指标id，“”为动态编号，“1”表示第一个原子指标。

其中，上述步骤301和步骤302中的定义行为可以在UI界面进行操作，实现在线定义采集模板和各种指标，并且可以根据业务需求和用户需要在UI界面对定以后的采集模板和指标进行查找、增加、删除和修改等操作。

可选的，还可以根据原子指标和运算指标定义告警阈值，当原子指标和运算指标的计算结果达到该告警阈值时，发出告警信息。

需要说明的是，通过在采集模板中设置数据来源以及为指标数据选择相应的采集模板，可以使数据关系血缘化、可视化。数据从被获取，到加工成原子指标，再加工成运算指标，数据通过这个过程形成了可视化的血缘关系，对使用者以及用户而言，数据变得更有价值、追溯性和生命力。

303、将采集模板、原子指标和运算指标注入PM（Performance Management，性能管理）模块。

304、通过PM模块UI启动采集任务，采集话单数据。

例如，采集模块提供采集任务接口给PM进行调用，PM开启采集任务，根据步骤301定义的采集模板进行周期性地采集话单数据。采集模块通过协议层的适配，从采集模板中指定的FTP服务器上采集话单数据，以数据库访问的形式从话单表获取原始数据。

305、解析话单数据，将解析得到的原始数据存入数据库。

可选的，在存储原始数据之前，调用根据采集模板中定义的存储策略，所述存储策略可以包括：一、如果选择不分区，则将话单数据存储在原始数据表中，此种存储策略适用于话单数据量较小的情况；二、如果选择了按时间分区，则根据选择的存储类型确定话单数据的存储方式，此种存储策略适用于话单数据量较大的情况。其中，原始数据表如表五所示：

表五：

字段	说明
		Collect batch	采集批次号
Time	入库时间
		Fields	采集模板定义配置表
Fieldname	字段

其中，Fieldname对应表二中的字段，即从话单数据中提取的每一个字段都可以作为Fieldname，具体需要填写哪些字段是根据原子指标定义和运算指标定义确定的。

306、通知指标计算服务进行指标计算。

需要说明的是，在通知时涉及到数据接口的调用，如图6所示，图6中给出了部分接口调用情况，其中A→B，表示A调用B的接口，其中SIF-2接口为是为实现本发明在原有平台基础上所新增的接口。SIF-2接口的功能如表六所示：

表六：

接口编号	调用方	提供方	功能描述
				SIF-2	采集服务	指标计算服务	通知计算指标

例如，针对原子指标的计算通知：

/**

*周期性原子KPI运算通知

*

*param kpiId指标ID

*param batchList采集批次号

*param calcOrder运算批次号

*return resule计算结果

*throws ASException

*/

public float onTimeAtomKPINotice(String kpiId,List<String>batchList,StringcalcOrder)

throws ASException；

针对运算指标的计算通知：

/**

*周期性运算KPI运算通知

*

*param kpiId指标ID

*param collectOrder采集批次号

*param calcOrder运算批次号

*return resule计算结果

*throws ASException

*/

public float onTimeCalcKPINotice(String kpiId,String collectOrder,StringcalcOrder)

throws ASException;

307、进行原子指标计算。

例如，具体计算过程为：采集服务调用指标计算接口通知指标计算模块开始进行计算；指标计算模块解析接口参数放入计算队列，并从原子指标定义表中依次根据KPI（Key Performance Indicator，关键绩效指标）的id获取计算规则；从原始数据表中获取采集批次信息以及与所述原子指标对应的指标数据；根据原子指标定义读取计算方式，调用相应的计算函数计算原子指标；把原子指标计算结果写入原子指标结果表。

其中，在根据原子指标定义读取计算方式，调用相应的计算函数计算原子指标时：如果计算方式为表达式，则调用计算器计算表达式；如果计算方式为SQL语句，则执行该SQL语句；如果计算方式为存储过程，则执行该存储过程。

308、进行运算指标计算。

其中，运算指标需要等所有原子指标返回结果后再开始计算。例如，具体计算过程为：采集服务调用指标计算接口通知指标计算模块开始进行计算；指标计算模块解析接口参数放入计算队列，并从运算指标定义表中依次根据运算指标KPI的id获取计算规则；获取原子指标计算结果；根据运算指标定义读取计算方式，调用相应的计算函数计算运算指标。

其中，在根据运算指标定义读取计算方式，调用相应的计算函数计算运算指标时：如果计算方式为表达式，则调用计算器计算表达式；如果计算方式为SQL语句，则执行该SQL语句；如果计算方式为存储过程，则执行该存储过程。

经过上述步骤307和步骤308计算后得到指标计算结果表（包括原子指标和运算指标）参见表七：

表七：

字段	说明
		Cl id	指标id

Calc batch	运算批次：yyyymmddhhmm（年月日时分）
		Clac value	指标值
Insert time	结果入库时间
		Collect batch	采集批次

其中，在执行步骤307和步骤308时可以使用指标计算服务内置的运算器，支持加、减、乘、除、求和、求均、取大和取小等方式。指标计算服务内部连通数据库连接，支持连接指定数据库，支持调用存储过程、SQL语句等能力。

309、调用PM接口将指标计算结果注入PM模块。

310、PM模块根据指标计算结果进行界面展示。

311、当指标计算结果达到告警阈值时，调用告警处理接口通知告警管理FM模块。

312、FM模块产生告警信息。

需要说明的是上述步骤309和步骤311为两个不同的处理分支，步骤309和步骤310为指标运算结果展示，步骤311和步骤312为告警处理。

进一步的，为了便于理解本实施例，下面结合实例对上述步骤301-步骤312进行说明，具体步骤与图4中的步骤对应。

初始阶段，配置采集指标及告警阈值。

1）定义一个采集模板ta1，采集周期为10分钟，采集地址为某个FTP服务器，获取某产品的消费话单，定义该消费话单的字段包括：行为、产品ID、结果和失败原因，指定从消费话单中获取的数据存放到ta1中。

其中，在定义完采集模板之后进行提交，系统后台会根据提交的内容自动创建一张活动表ta1.

2）定义一个原子指标KPI1，KPI1的内容为产品id为p1的产品的下载（购买）次数，粒度周期为10分钟，运算方式为Select count(*)from ta1where产品ID=p1。

3）定义一个原子指标KPI2，KPI2的内容为下载（购买）成功次数，粒度周期为10分钟，运算方式为Select count(*)from ta1where产品ID=p1and消费结果=成功。

4）定义一个运算指标KPI3，KPI3的内容为下载（购买）成功率，粒度周期为10分钟，运算方式为KPI2/KPI1*100%，“/”表示除法运算，“*”表示乘法运算。

5）定义KPI3≤10%时，需要产生告警信息。

定义完成后，系统自动把采集、指标定义注入系统中。

第1-3步，下发采集任务。

由于第一步中定义了三个指标，并且粒度周期都是10分钟，那么系统以准点触发定时调度，比如整点、10分、20分、30分、40分、50分均会进行一次调度由系统平台提供的能力进行调度。

第4步，向被管理对象（数据源）采集CDR（Charging Data Record，计费记录）。

第5步，采集CDR后向采集进行通知。

第6步，对采集的CDR进行数据分析处理。

例如，读取采集模板定义，把读取上来的数据解析并生成本次采集批次号，格式为YYYYMMDDHHMM，比如，201309281710.

第7步，数据入库。

将本次采集的数据对应字段打上批次号201309281710，如表八所示

表八：

采集批次号	Time	行为	产品ID	结果	失败原因
						201309281710	201309281709	下载	P1	成功
201309281710	201309281709	下载	P1	成功
						201309281710	201309281710	下载	P1	失败	余额不足

除了采集批次号是系统自动打上的标签，其他字段均从指定的对应话单中读取入库。为保证数据的完整性，做事务性处理提交，采集批次号在统一提交前一次性插入到库中。

第8步，通知指标计算。

调用接口onTimeAtomKPINotice(String kpiId,List<String>batchList,StringcalcOrder)，

传入

kpiId=KP1,KPI2

BatchList=201309281710

calcOrder=201309281710。

待所有原子指标返回结果后再调度运算指标。

调用接口onTimeCalcKPINotice(String kpiId,String collectOrder,StringcalcOrder)，

传入

kpiId=KPI3

BatchList=201309281710

calcOrder=201309281710。

第9步，从DB中获取数据准备运算。

例如，根据KPI的定义，读取ta1表。

第10步，指标运算。

例如，读取指标运算规则，并从ta1表中取出采集批次号为201309281710的数据进行运算，返回结果。

其中，运算批次号一般是采集批次号的整数倍，这个例子刚好相同。如果是采集是1分钟，运算是10分钟，那运算批次号201309281710的会读取采集批次号是201309281701-201309281710的数据来计算。需要说明的是，为了保证运算效率，一般在定义指标时，系统就向缓存中注入了指标周期、运算规则等信息。

计算返回结算结果：KPI1=3，KPI2=2，KPI3=66.6%。

第11步，调用PM接口向PM注入KPI结果数据。

例如，PM把KPI结果按照原有平台逻辑注入到指标表中。

第12步，通知告警预处理。

第13步，界面展示。

例如，系统实现时会提供相对应的拓扑指标层层钻取或实时报表类的展示，结果会周期性的显示在对应的界面上。

第14步，产生告警。

例如，告警模块会判断本次结果是否达到预设的告警阈值，产生告警信息。因为本例子没有达到阀值，所以不产生告警信息。

需要说明的是，通过本实施例中的方法，可以锁定所关心的数据范围，降低采集数据成本、提高数据洞察力；运维管理者可以在线定义采集模板，定义要使用到数据，而不是所有的数据；因为需要才定义采集目标数据，没有必要对海量数据进行全量处理，从而降低的数据采集、存储成本；因为关注的数据范围具有针对性，从而大大提高数据的洞察力。进一步的，实现数据关系血缘化、可视化，数据从最原始的被管对象中获取，到采集形成原始仓库，加工成原子指标，再加工成运算指标，整个数据形成了可视化的血缘关系，对使用者而言，数据更有价值、追溯性与生命力。

现有技术中采用的静态采集方式以及静态定义指标只能在开发态时进行定义，后续新的定义只能通过更新补丁实现，导致运维系统的效率较低。与现有技术相比，本发明实施例中定义了新的采集模板，该模板中包括采集对象的文件地址以及原数据存放表；首先，按照采集周期向数据对象采集话单数据；使用采集模板解析所述话单数据生成原始数据，并根据存储策略将所述原始数据存储到数据库中；根据所述原始数据进行原子指标计算，生成原子指标结果表；根据所述指标计算结果表进行运算指标计算，生成运算指标结果表；调用平台接口将所述原子指标结果表和所述运算指标结果表注入系统缓存。通过定义新的采集模板可以根据业务需要和用户需求对话单数据进行动态采集，进而根据采集结果进行动态定义，而不必进行补丁更新，在原有平台的基础上提高了运维管理数据的效率。

本发明又一实施例提供一种数据运维管理装置40，如图7所示，所述装置40包括：

采集器41，用于按照采集周期向数据对象采集话单数据；以及使用采集模板解析所述话单数据生成原始数据，所述采集模板包括文件地址和原数据存放表；

存储器42，用于根据存储策略将所述原始数据存储到数据库中；

处理器43，用于根据所述原始数据进行原子指标计算，生成原子指标结果表；以及用于根据所述指标计算结果表进行运算指标计算，生成运算指标结果表；以及用于调用平台接口将所述原子指标结果表和所述运算指标结果表注入系统缓存。

进一步的，所述处理器43还用于定义所述采集模板、原子指标、运算指标和所述预警信息，并将所述采集模板、所述原子指标、所述运算指标和所述预警信息注入系统缓存；其中，所述采集模板包括文件地址和原数据存放表，所述原子指标的数据源由所述采集模板确定，所述运算指标的数据源由所述原子指标确定。

其中，所述存储器42具体用于：当所述原始数据不按时间分区时，将所述原始数据存储到所述数据库中的原始数据表中；当所述原始数据按时间分区时，根据选择类型将所述原始数据存储到所述数据库中。

其中，所述处理器43具体用于：从所述系统缓存中读取所述原子指标获取原子指标计算规则；根据所述原始数据获取采集批次信息以及与所述原子指标对应的指标数据；使用所述原子指标计算规则计算所述指标数据，生成原子指标结果表。

其中，所述处理器43具体还用于：从所述系统缓存中读取所述运算指标获取运算指标计算规则；使用所述运算指标计算规则计算所述原子指标结果表中的数据，生成运算指标结果表。

其中，所述原子指标计算规则和所述运算指标计算规则包括：

当计算规则为表达式时，调用计算器进行计算；

当计算规则为存储过程时，执行所述存储过程；

当计算规则为结构化查询语言SQL语句时，执行所述SQL语句。

进一步的，所述处理器43还用于根据所述预警信息、所述原子指标结果表和所述运算指标结果表判断是否达到预警阈值；当达到所述预警阈值后，生成并提示预警信息。

现有技术中采用的静态采集方式以及静态定义指标只能在开发态时进行定义，后续新的定义只能通过更新补丁实现，导致运维系统的效率较低。与现有技术相比，本发明实施例中定义了新的采集模板，该模板中包括采集对象的文件地址以及原数据存放表；首先按照采集周期向数据对象采集话单数据；使用采集模板解析所述话单数据生成原始数据，并根据存储策略将所述原始数据存储到数据库中；根据所述原始数据进行原子指标计算，生成原子指标结果表；根据所述指标计算结果表进行运算指标计算，生成运算指标结果表；调用平台接口将所述原子指标结果表和所述运算指标结果表注入系统缓存。通过定义新的采集模板可以根据业务需要和用户需求对话单数据进行动态采集，进而根据采集结果进行动态定义，而不必进行补丁更新，在原有平台的基础上提高了运维管理数据的效率。

本发明实施例提供的数据运维管理装置可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。本发明实施例提供的数据运维管理方法及装置可以适用于数据分析管理，但不仅限于此。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (14)

1.一种数据运维管理装置，其特征在于，包括：

采集单元，用于按照采集周期向数据对象采集话单数据；

解析存储单元，用于使用采集模板解析所述话单数据生成原始数据，并根据存储策略将所述原始数据存储到数据库中，所述采集模板包括文件地址和原数据存放表；

第一计算单元，用于根据所述原始数据进行原子指标计算，生成原子指标结果表；

第二计算单元，用于根据所述指标计算结果表进行运算指标计算，生成运算指标结果表；

结果处理单元，用于调用平台接口将所述原子指标结果表和所述运算指标结果表注入系统缓存。

2.根据权利要求1所述的装置，其特征在于，所述装置还包括：

定义单元，用于定义所述采集模板、原子指标、运算指标和所述预警信息，并将所述采集模板、所述原子指标、所述运算指标和所述预警信息注入系统缓存；其中，所述采集模板包括文件地址和原数据存放表，所述原子指标的数据源由所述采集模板确定，所述运算指标的数据源由所述原子指标确定。

3.根据权利要求1所述的装置，其特征在于，所述解析存储单元具体用于：

当所述原始数据不按时间分区时，将所述原始数据存储到所述数据库中的原始数据表中；当所述原始数据按时间分区时，根据选择类型将所述原始数据存储到所述数据库中。

4.根据权利要求2所述的装置，其特征在于，所述第一计算单元包括：

第一读取子单元，用于从所述系统缓存中读取所述原子指标获取原子指标计算规则；

数据获取子单元，用于根据所述原始数据获取采集批次信息以及与所述原子指标对应的指标数据；

第一计算子单元，用于使用所述原子指标计算规则计算所述指标数据，生成原子指标结果表。

5.根据权利要求2所述的装置，其特征在于，所述第二计算单元包括：

第二读取子单元，用于从所述系统缓存中读取所述运算指标获取运算指标计算规则；

第二计算子单元，用于使用所述运算指标计算规则计算所述原子指标结果表中的数据，生成运算指标结果表。

6.根据权利要求4或5所述的装置，其特征在于，所述原子指标计算规则和所述运算指标计算规则包括：

当计算规则为表达式时，调用计算器进行计算；

当计算规则为存储过程时，执行所述存储过程；

当计算规则为结构化查询语言SQL语句时，执行所述SQL语句。

7.根据权利要求2所述的装置，其特征在于，所述装置还包括：

判断单元，用于根据所述预警信息、所述原子指标结果表和所述运算指标结果表判断是否达到预警阈值；

预警单元，用于当达到所述预警阈值后，生成并提示预警信息。

8.一种数据运维管理方法，其特征在于，包括：

按照采集周期向数据对象采集话单数据；

使用采集模板解析所述话单数据生成原始数据，并根据存储策略将所述原始数据存储到数据库中，所述采集模板包括文件地址和原数据存放表；

根据所述原始数据进行原子指标计算，生成原子指标结果表；

根据所述指标计算结果表进行运算指标计算，生成运算指标结果表；

调用平台接口将所述原子指标结果表和所述运算指标结果表注入系统缓存。

9.根据权利要求8所述的方法，其特征在于，在所述按照采集周期向数据对象采集话单数据之前，所述方法还包括：

定义所述采集模板、原子指标、运算指标和所述预警信息，并将所述采集模板、所述原子指标、所述运算指标和所述预警信息注入系统缓存；其中，所述原子指标的数据源由所述采集模板确定，所述运算指标的数据源由所述原子指标确定。

10.根据权利要求8所述的方法，其特征在于，所述根据存储策略将所述原始数据存储到数据库中包括：

当所述原始数据不按时间分区时，将所述原始数据存储到所述数据库中的原始数据表中；

当所述原始数据按时间分区时，根据选择类型将所述原始数据存储到所述数据库中。

11.根据权利要求9所述的方法，其特征在于，所述根据所述原始数据进行原子指标计算，生成原子指标结果表包括：

从所述系统缓存中读取所述原子指标获取原子指标计算规则；

根据所述原始数据获取采集批次信息以及与所述原子指标对应的指标数据；

使用所述原子指标计算规则计算所述指标数据，生成原子指标结果表。

12.根据权利要求9所述的方法，其特征在于，所述根据所述指标计算结果表进行运算指标计算，生成运算指标结果表包括：

从所述系统缓存中读取所述运算指标获取运算指标计算规则；

使用所述运算指标计算规则计算所述原子指标结果表中的数据，生成运算指标结果表。

13.根据权利要求11或12所述的方法，其特征在于，所述原子指标计算规则和所述运算指标计算规则包括：

当计算规则为表达式时，调用计算器进行计算；

当计算规则为存储过程时，执行所述存储过程；

当计算规则为结构化查询语言SQL语句时，执行所述SQL语句。

14.根据权利要求9所述的方法，其特征在于，在所述调用平台接口将所述原子指标结果表和所述运算指标结果表注入系统缓存之后，所述方法还包括：

根据所述预警信息、所述原子指标结果表和所述运算指标结果表判断是否达到预警阈值；

当达到所述预警阈值后，生成并提示预警信息。

Images