CN106534272A - 一种燃煤机组参数处理系统及方法 - Google Patents

Abstract

本发明提供一种燃煤机组参数处理系统及方法，所述系统包括前端数据采集区、数据传输区和末端数据存储区，所述前端数据采集区和所述数据传输区之间连接有正向隔离装置，所述前端数据采集区用于封装各个数据源类型的数据调用方式，并对所述燃煤机组的参数进行实时采集和历史采集；所述数据传输区用于将采集的数据经过压缩之后存放于数据客户端的预设目录文件中；所述末端数据存储区用于按照预先指定的文件规约格式将数据服务端的数据写入主站数据库。本发明提供的一种燃煤机组参数处理系统及方法，能够有效改善数据采集系统的稳定性、可靠性、兼容性、扩展性。

Description

一种燃煤机组参数处理系统及方法

技术领域

本发明涉及数据处理技术领域，特别涉及一种燃煤机组参数处理系统及方法。

背景技术

当前，为了实现发电信息平台由“点末端监控”向“全过程监控”的转变，解决传统上只监测污染结果、不重视生产过程环境保护和环保设施运行的问题，已实现对燃煤机组脱硫、脱硝、除尘等环保设施及机炉主要关键参数的实时采集。目前的采集系统如图1所示，配置两台采集服务器和一台正向隔离装置，各设备功能如下：

采集服务器1上部署采集应用程序，实现对各种不同数据源的实时、历史数据读取功能。正向隔离装置实现电厂信息安全区与电力调度三区之间的隔离，仅允许采集服务器1向采集服务器2传输字节形式的数据，逆向传输或传输其他格式数据流均被禁用。采集服务器2上部署应用，一方面解析从采集服务器1，经正向隔离装置传输过来的文件，另一方面通过TCP/IP协议，将实时数据写入主站采集数据库。

虽然目前的采集系统能实现大数据量的采集，但存在如下问题：

一方面，由于现场数据源存在多类型的情况，采集系统呈现多样化分布，针对每种数据源类型，都开发了相应的采集程序。各程序之间数据提取和转换方式都存在区别，不具备兼容性，每新增一种数据源类型都要进行采集软件的重复开发，开发工作量大，且现场实施和维护也极其不便。

另一方面，采集服务器2中对数据文件的处理形式造成了一定的弊端：按照目前采集系统数据从现场服务器直接入库的形式，现场不同种类的大量服务器需要同时访问主站端实时数据库，数据中服务器承受着巨大的访问和网络压力，影响了数据传输的稳定性和可靠性。

发明内容

本发明的目的在于提供一种燃煤机组参数处理系统及方法，能够有效改善数据采集系统的稳定性、可靠性、兼容性、扩展性，使现场实施和日常维护更加简便，降低主站端数据库访问压力，确保发电企业数据正常传输。

为实现上述目的，本发明提供一种燃煤机组参数处理系统，所述系统包括前端数据采集区、数据传输区和末端数据存储区，所述前端数据采集区和所述数据传输区之间连接有正向隔离装置，所述前端数据采集区用于封装各个数据源类型的数据调用方式，并对所述燃煤机组的参数进行实时采集和历史采集；所述数据传输区用于将采集的数据经过压缩之后存放于数据客户端的预设目录文件中；其中，所述数据客户端通过与主站的数据服务端进行通讯，以向所述主站的数据服务端上传经过压缩的数据；所述末端数据存储区用于按照所述前端数据采集区预先指定的文件规约格式将所述数据服务端的数据写入主站数据库。

进一步地，所述前端数据采集区由前端数据采集应用实现，所述前端数据采集应用支持多种类型的通讯协议，所述前端数据采集应用用于将所述多种类型的通讯协议整合为统一的信道接口和协议接口；通过所述统一的信道接口和协议接口采集所述燃煤机组的参数数据，并将采集的参数数据按照预设规约格式转换为文件形式。

进一步地，所述前端数据采集应用包括宿主程序模块和插件库，其中：所述宿主程序模块用于通过插件接口规范来管理所述插件库中的插件，并将采集到的数据按照预设规约格式进行打包封装，并将打包封装后的数据写入所述正向隔离装置指定的文件目录中；所述插件库用于存储各种数据库类型对应的插件。

进一步地，所述数据传输区由数据传输应用实现，所述数据传输应用中包括数据客户端和数据服务端，其中：所述数据客户端用于将采集的数据处理为加密压缩文件，并将所述加密压缩文件存放于发送缓存目录夹中；利用网络通讯协议，经电力调度数据网络与所述数据服务端搭建起数据传输通道，并将所述发送缓存目录夹中的加密压缩文件发送到至所述数据服务端；所述数据服务端用于接收所述加密压缩文件，并将所述加密压缩文件存储于文件存储中心。

进一步地，所述末端数据存储区由末端数据存储应用实现，所述末端数据存储应用用于将所述数据服务端的数据进行解密和解压缩，并将解密和解压缩后的数据写入主站数据库中。

为实现上述目的，本申请另一方面还提供一种燃煤机组参数处理方法，所述方法包括：预先封装各个数据源类型的数据调用方式，并对所述燃煤机组的参数进行实时采集和历史采集；将采集的数据经过压缩之后存放于数据客户端的预设目录文件中；其中，所述数据客户端通过与主站的数据服务端进行通讯，以向所述主站的数据服务端上传经过压缩的数据；按照预先指定的文件规约格式将所述数据服务端的数据写入主站数据库。

进一步地，预先封装各个数据源类型的数据调用方式，并对所述燃煤机组的参数进行实时采集和历史采集具体包括：将多种类型的通讯协议整合为统一的信道接口和协议接口，并通过所述统一的信道接口和协议接口采集所述燃煤机组的参数数据，并将采集的参数数据按照预设规约格式转换为文件形式。

进一步地，将采集的参数数据按照预设规约格式转换为文件形式具体包括：将采集到的数据按照预设规约格式进行打包封装，并将打包封装后的数据写入正向隔离装置指定的文件目录中。

进一步地，在将采集的数据经过压缩之后存放于数据客户端的预设目录文件中的步骤之后，所述方法还包括：利用网络通讯协议，经电力调度数据网络与数据服务端搭建起数据传输通道，并将经过加密压缩处理的文件发送到至所述数据服务端；所述数据服务端接收所述经过加密压缩处理的文件，并将所述经过加密压缩处理的文件存储于文件存储中心。

进一步地，按照预先指定的文件规约格式将所述数据服务端的数据写入主站数据库具体包括：按照预先指定的文件规约格式对所述数据服务端的数据进行解密和解压缩，并将解密和解压缩后的数据写入主站数据库中。

本申请上述技术方案存在以下有益效果：

1、能够实现更大数据量的实时采集和历史采集。

2、具备较好的可扩展性。

在产生新数据源时，本申请中的系统只需要了解新数据源的数据获取方式，从而可以将其转换为程序语言封装到已有的前端数据采集应用中，即可实现数据采集，扩展性好，开发周期短。

3、现场实施和日常维护简单。

当现场需要新增测点时，传统的采集方式需要对采集服务器1和采集服务器2中的程序都进行重新配置，无形中增加了现场实施的时间和工作量。而按照本申请中系统的运行模式，新增测点只需要对采集服务器1中的前端数据采集应用进行相关测点配置即可，采集服务器2不要进行任何操作。当系统数据出现故障时，由于传统的采集方式数据采集和数据写入都配置在现场，这就需要投入大量的时间配合电厂维护人员进行问题的排查，而本申请中的系统由于将数据文件直接发送至主站端，因此可直接查看数据文件是否正常传输即可判断现场采集和摆渡是否存在故障，维护简单方便。

4、安全性和可靠性更好。

传统的数据采集方式由于是直接与主站端数据库进行连接，存在很大的访问压力和安全风险，可能导致数据传输故障。而本申请中的系统的运行模式将数据存储实现统一化，现场的客户端与主站数据库之间不产生任何网络连接，能有效改善上述缺点，提升主站数据库的安全性，提高数据传输的可靠性。

附图说明

图1是背景技术中采集系统的结构示意图；

图2是本发明中燃煤机组参数处理系统的结构示意图；

图3是本发明中Unicollect采集应用的模块图；

图4是本发明中数据传输应用的模块示意图；

图5是本发明中燃煤机组参数处理方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都应当属于本申请保护的范围。

请参阅图2，本申请实施方式提供一种燃煤机组参数处理系统。所述系统包括前端数据采集区、数据传输区和末端数据存储区，所述前端数据采集区和所述数据传输区之间连接有正向隔离装置。

具体地，所述前端数据采集区用于封装各个数据源类型的数据调用方式，并对所述燃煤机组的参数进行实时采集和历史采集。

所述数据传输区用于将采集的数据经过压缩之后存放于数据客户端的预设目录文件中；其中，所述数据客户端通过与主站的数据服务端进行通讯，以向所述主站的数据服务端上传经过压缩的数据。

所述末端数据存储区用于按照所述前端数据采集区预先指定的文件规约格式将所述数据服务端的数据写入主站数据库。

在本实施方式中，所述前端数据采集区由前端数据采集应用实现，所述前端数据采集应用支持多种类型的通讯协议，所述前端数据采集应用用于将所述多种类型的通讯协议整合为统一的信道接口和协议接口；通过所述统一的信道接口和协议接口采集所述燃煤机组的参数数据，并将采集的参数数据按照预设规约格式转换为文件形式。

在本实施方式中，所述前端数据采集应用包括宿主程序模块和插件库，其中：所述宿主程序模块用于通过插件接口规范来管理所述插件库中的插件，并将采集到的数据按照预设规约格式进行打包封装，并将打包封装后的数据写入所述正向隔离装置指定的文件目录中。所述插件库用于存储各种数据库类型对应的插件。

在本实施方式中，所述数据传输区由数据传输应用实现，所述数据传输应用中包括数据客户端和数据服务端，其中：所述数据客户端用于将采集的数据处理为加密压缩文件，并将所述加密压缩文件存放于发送缓存目录夹中；利用网络通讯协议，经电力调度数据网络与所述数据服务端搭建起数据传输通道，并将所述发送缓存目录夹中的加密压缩文件发送到至所述数据服务端；所述数据服务端用于接收所述加密压缩文件，并将所述加密压缩文件存储于文件存储中心。

在本实施方式中，所述末端数据存储区由末端数据存储应用实现，所述末端数据存储应用用于将所述数据服务端的数据进行解密和解压缩，并将解密和解压缩后的数据写入主站数据库中。

请参阅图2至图4，在一个具体的应用场景中，前端数据采集区主要任务是对机组运行参数进行实时和历史采集，采用软件插件技术，封装省内所有数据源类型数据调用方式，统一数据采集应用的运行方式和形式。数据传输区主要任务是将采集文件与主站端实现实时交互，数据传输区摒弃了原有采集系统中数据在现场直接存储入库的方式，而是将数据文件经过高精度压缩后存放于特定的目录文件中，现场传输客户端程序与主站传输服务端程序进行通讯，实现压缩文件的实时上传和历史补传。末端数据存储区主要任务是对全省所有机组运行参数进行入库操作，按照前端采集的文件规约格式，开发统一的数据入库应用，实现数据的实时存储。

本发明定义了前端数据采集应用为UniCollect，鉴于现场监测数据来源存在多样化的特性，包含了DCS系统、SIS系统、MIS系统等，涉及数据库类型复杂，包括PI、Edna、OpenPlant、Agilor、GE iH、SQL Server、Vestore、Rython等，采集应用在设计上支持多类型通讯协议，采用软件插件技术方式实现统一的信道接口和协议接口，以计算机服务方式运行，保证了运行的稳定性和可靠性。采集应用获取数据后按照特定的规约格式，转换为文件形式进行暂存。该采集应用具备更好的扩展性，对于新增的数据源类型，只需要对采集应用的部分程序进行修改即可实现数据的实时采集和历史采集。在Unicollect采集应用中，可以包括采集程序主控制器和参数加载控制器。在Unicollect采集应用运行时，可以通过多线程进行信道控制、数据库访问、采集任务控制以及数据传输控制等过程。此外，Unicollect采集应用还可以通过信道库控制器和协议库控制器分别对信道库和协议库进行管理。信道库中可以包括TCP/IP、GPRS、CDMA等不同的信道，协议库中可以包括OPC、Modbus、IEC61850等常用协议。

本发明采用压缩级加密方式实现数据上传，定义了客户端程序为Uniclient，定义服务端程序为Uniserver。前端数据采集区生成的数据文件由系统中的隔离装置摆渡到数据传输区，由Uniclient处理形成加密压缩文件，压缩加密文件存放在发送缓存目录夹中，等待发送处理。客户端程序利用网络通讯协议，经电力调度数据网络与服务端搭建起数据传输通道，将加密的压缩文件发送到主站端数据文件存储中心。数据中心支持控制台方式发送控制命令操控数据传输模块，实现文件传输的可控制。如图4所示，客户端中可以包括数据暂存目录，数据暂存目录中的数据可以读入数据待压缩目录中，并且通过数据加密压缩模块进行加密压缩处理。处理后的文件可以存入数据待发送目录中，并且在发送了加密压缩文件后，可以将已发送的加密压缩文件写入已发送文件存储模块中。在服务端处，可以由接收模块接收客户端发来的加密压缩文件，然后将该加密压缩文件发往文件存储中心，从而可以写入主站的数据库中。

为了适应数据传输区的数据文件交互方式，本发明将末端数据存储区部分实现了统一处理，定义了统一存储应用程序Uniwrite。按照此前所述约定的特定数据格式和加密压缩格式，Uniwrite首先将压缩文件实现实时解压操作，然后将解压缩后的数据文件进行处理，将实时数据和历史数据进行写入数据库操作。Uniwrite和数据传输区的服务端物理上独立运行，降低数据库压力的同时也降低了安全风险。Uniwrite能实现省内所有机组运行参数的统一存储入库。

具体地，Unicollect采用插件方式实现数据采集应用，该数据采集应用中包括宿主程序模块和插件库。宿主程序是采集程序主体，主要负责插件库管理、任务调度、多线程控制、配置管理、数据压缩、网络传输以及日志记录。宿主程序通过插件接口规范来管理插件，实现数据采集，并将采集到的数据安装特定的文件格式打包封装，最后写入正向隔离装置指定的文件目录。

其中，插件管理是指负责插件的加载和调用控制，支持不同厂家、不同品牌的数据库、设备通讯协议。

任务调度是指根据数据采集规则，形成采集任务命令，并根据插件接口规范进行相关调用。

多线程控制是指多种线程驱动采集程序运行，主要线程有：插件管理现场、数据压缩线程、网络传输线程、日志线程、任务调度线程。

配置管理是指记录并管理采集程序的各种配置信息。

数据压缩是指对采集到的数据进行压缩形成独立的压缩数据包信息，并传递给网络传输模块。

网络传输是指负责将压缩后的数据发送到数据服务器，兼顾网络握手命令控制。

日志系统是指记录采集程序主体的各种运行情况信息，形成本地格式化的日志文件。

数据传输区采用自动传输方式，同时支持服务端人工下发命令方式传输数据。数据传输协议包括一系列的握手命令和文件操作命令：

心跳命令：用于UniClient与UniServer之间的网络连接保持控制。

登录命令：用于确定UniClient在UniServer中所用于的权限，同时确保多UniClient可以互不干扰的工作。

文件传输工作目录设置命令：用于确定文件上传所对应的根目录。

目录夹建立命令：用于在UniServer中建立目录夹，用于存储上传文件。

目录文件列表：用于对根目录下的子目录中的文件名称列表显示。

上传文件命令：UniClient上传加密压缩文件到UniServer中指定的目录中。

下载文件命令：UniClient从UniServer中指定的目录下下载文件到本地，并负责解析文件内容。

文件删除命令：UniClient向UniServer发送文件删除命令，主要用于任务文件的更新控制。

在本实施方式中，统一存储应用程序Uniwrite软件架构可以采用分布式方式，支持多进程、多线程方式实现采集数据的存储入库。Uniwrite不仅支持将数据存储到PI数据库，而且支持将数据存储到大数据平台中。

请参阅图5，本申请还提供一种燃煤机组参数处理方法，所述方法包括以下步骤。

S1：预先封装各个数据源类型的数据调用方式，并对所述燃煤机组的参数进行实时采集和历史采集；

S2：将采集的数据经过压缩之后存放于数据客户端的预设目录文件中；其中，所述数据客户端通过与主站的数据服务端进行通讯，以向所述主站的数据服务端上传经过压缩的数据；

S3：按照预先指定的文件规约格式将所述数据服务端的数据写入主站数据库。

在本申请一个实施方式中，预先封装各个数据源类型的数据调用方式，并对所述燃煤机组的参数进行实时采集和历史采集具体包括：

将多种类型的通讯协议整合为统一的信道接口和协议接口，并通过所述统一的信道接口和协议接口采集所述燃煤机组的参数数据，并将采集的参数数据按照预设规约格式转换为文件形式。

在本申请一个实施方式中，将采集的参数数据按照预设规约格式转换为文件形式具体包括：

将采集到的数据按照预设规约格式进行打包封装，并将打包封装后的数据写入正向隔离装置指定的文件目录中。

在本申请一个实施方式中，在将采集的数据经过压缩之后存放于数据客户端的预设目录文件中的步骤之后，所述方法还包括：

利用网络通讯协议，经电力调度数据网络与数据服务端搭建起数据传输通道，并将经过加密压缩处理的文件发送到至所述数据服务端；

所述数据服务端接收所述经过加密压缩处理的文件，并将所述经过加密压缩处理的文件存储于文件存储中心。

在本申请一个实施方式中，按照预先指定的文件规约格式将所述数据服务端的数据写入主站数据库具体包括：

按照预先指定的文件规约格式对所述数据服务端的数据进行解密和解压缩，并将解密和解压缩后的数据写入主站数据库中。

需要说明的是，上述各个方法步骤的具体实现方式与系统实施方式中的描述一致，这里便不再赘述。

本申请上述技术方案存在以下有益效果：

1、能够实现更大数据量的实时采集和历史采集。

2、具备较好的可扩展性。

在产生新数据源时，本申请中的系统只需要了解新数据源的数据获取方式，从而可以将其转换为程序语言封装到已有的前端数据采集应用中，即可实现数据采集，扩展性好，开发周期短。

3、现场实施和日常维护简单。

当现场需要新增测点时，传统的采集方式需要对采集服务器1和采集服务器2中的程序都进行重新配置，无形中增加了现场实施的时间和工作量。而按照本申请中系统的运行模式，新增测点只需要对采集服务器1中的前端数据采集应用进行相关测点配置即可，采集服务器2不要进行任何操作。当系统数据出现故障时，由于传统的采集方式数据采集和数据写入都配置在现场，这就需要投入大量的时间配合电厂维护人员进行问题的排查，而本申请中的系统由于将数据文件直接发送至主站端，因此可直接查看数据文件是否正常传输即可判断现场采集和摆渡是否存在故障，维护简单方便。

4、安全性和可靠性更好。

传统的数据采集方式由于是直接与主站端数据库进行连接，存在很大的访问压力和安全风险，可能导致数据传输故障。而本申请中的系统的运行模式将数据存储实现统一化，现场的客户端与主站数据库之间不产生任何网络连接，能有效改善上述缺点，提升主站数据库的安全性，提高数据传输的可靠性。

上面对本申请的各种实施方式的描述以描述的目的提供给本领域技术人员。其不旨在是穷举的、或者不旨在将本发明限制于单个公开的实施方式。如上所述，本申请的各种替代和变化对于上述技术所属领域技术人员而言将是显而易见的。因此，虽然已经具体讨论了一些另选的实施方式，但是其它实施方式将是显而易见的，或者本领域技术人员相对容易得出。本申请旨在包括在此已经讨论过的本发明的所有替代、修改、和变化，以及落在上述申请的精神和范围内的其它实施方式。

本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。

虽然通过实施方式描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (10)

1.一种燃煤机组参数处理系统，所述系统包括前端数据采集区、数据传输区和末端数据存储区，所述前端数据采集区和所述数据传输区之间连接有正向隔离装置，其特征在于：

所述前端数据采集区用于封装各个数据源类型的数据调用方式，并对所述燃煤机组的参数进行实时采集和历史采集；

所述数据传输区用于将采集的数据经过压缩之后存放于数据客户端的预设目录文件中；其中，所述数据客户端通过与主站的数据服务端进行通讯，以向所述主站的数据服务端上传经过压缩的数据；

所述末端数据存储区用于按照所述前端数据采集区预先指定的文件规约格式将所述数据服务端的数据写入主站数据库。

2.根据权利要求1所述的系统，其特征在于，所述前端数据采集区由前端数据采集应用实现，所述前端数据采集应用支持多种类型的通讯协议，所述前端数据采集应用用于将所述多种类型的通讯协议整合为统一的信道接口和协议接口；通过所述统一的信道接口和协议接口采集所述燃煤机组的参数数据，并将采集的参数数据按照预设规约格式转换为文件形式。

3.根据权利要求2所述的系统，其特征在于，所述前端数据采集应用包括宿主程序模块和插件库，其中：

所述宿主程序模块用于通过插件接口规范来管理所述插件库中的插件，并将采集到的数据按照预设规约格式进行打包封装，并将打包封装后的数据写入所述正向隔离装置指定的文件目录中；

所述插件库用于存储各种数据库类型对应的插件。

4.根据权利要求1所述的系统，其特征在于，所述数据传输区由数据传输应用实现，所述数据传输应用中包括数据客户端和数据服务端，其中：

所述数据客户端用于将采集的数据处理为加密压缩文件，并将所述加密压缩文件存放于发送缓存目录夹中；利用网络通讯协议，经电力调度数据网络与所述数据服务端搭建起数据传输通道，并将所述发送缓存目录夹中的加密压缩文件发送到至所述数据服务端；

所述数据服务端用于接收所述加密压缩文件，并将所述加密压缩文件存储于文件存储中心。

5.根据权利要求1所述的系统，其特征在于，所述末端数据存储区由末端数据存储应用实现，所述末端数据存储应用用于将所述数据服务端的数据进行解密和解压缩，并将解密和解压缩后的数据写入主站数据库中。

6.一种燃煤机组参数处理方法，其特征在于，所述方法包括：

预先封装各个数据源类型的数据调用方式，并对所述燃煤机组的参数进行实时采集和历史采集；

将采集的数据经过压缩之后存放于数据客户端的预设目录文件中；其中，所述数据客户端通过与主站的数据服务端进行通讯，以向所述主站的数据服务端上传经过压缩的数据；

按照预先指定的文件规约格式将所述数据服务端的数据写入主站数据库。

7.根据权利要求6所述的方法，其特征在于，预先封装各个数据源类型的数据调用方式，并对所述燃煤机组的参数进行实时采集和历史采集具体包括：

将多种类型的通讯协议整合为统一的信道接口和协议接口，并通过所述统一的信道接口和协议接口采集所述燃煤机组的参数数据，并将采集的参数数据按照预设规约格式转换为文件形式。

8.根据权利要求7所述的方法，其特征在于，将采集的参数数据按照预设规约格式转换为文件形式具体包括：

将采集到的数据按照预设规约格式进行打包封装，并将打包封装后的数据写入正向隔离装置指定的文件目录中。

9.根据权利要求6所述的方法，其特征在于，在将采集的数据经过压缩之后存放于数据客户端的预设目录文件中的步骤之后，所述方法还包括：

利用网络通讯协议，经电力调度数据网络与数据服务端搭建起数据传输通道，并将经过加密压缩处理的文件发送到至所述数据服务端；

所述数据服务端接收所述经过加密压缩处理的文件，并将所述经过加密压缩处理的文件存储于文件存储中心。

10.根据权利要求6所述的方法，其特征在于，按照预先指定的文件规约格式将所述数据服务端的数据写入主站数据库具体包括：

按照预先指定的文件规约格式对所述数据服务端的数据进行解密和解压缩，并将解密和解压缩后的数据写入主站数据库中。