CN110647115A - 一种基于工业互联网操作系统的数据采集方法 - Google Patents

Abstract

本发明的目的是提供一种基于工业互联网操作系统的数据采集方法系统，作用在业务层，尽可能在有限的带宽资源下，合理的在通讯网络中进行数据采集，尽可能的利用传输网络带宽，提升系统处理吞吐量。为了达到所述目的，本发明所采用的技术方案是一种基于工业互联网操作系统的数据采集方法，包括所述步骤：步骤1、数据采集识别；步骤2、定义数据采集的调整参数；步骤3：检测通讯网络实时状态，根据网络状况判断是否采用弹性控制处理。由于采用了所述技术方案，本发明基于业务层的弹性数据采集，可以与业务配合的更紧密，对通讯网络以及通讯设备都没有特殊要求。即便应用场景发生变化也无需重新调整策略。

Description

一种基于工业互联网操作系统的数据采集方法

技术领域

本发明涉及工业控制，物联网，工业互联网操作系统领域，尤其涉及一种基于工业互联网操作系统的数据采集方法系统。

背景技术

在工业控制，物联网领域存在大量需要进行监控的监测点，且检测的实时数据都需要及时、完整地上送至数据处理服务器。当数据采集端与服务处理服务器之间的网络发生故障时，要就地保存实时数据，在数据采集端与数据处理服务器端的通讯网络带宽资源有限，要实时根据带宽调整数据上送速率，保证实时数据跟历史数据都能及时、有效的传输。

例如现有技术中专利号为CN103297191B的发明专利中公开了一种自动调节无线传输速率的数据采集方法及数据采集系统，其中，所述方法包括：获取传输采集数据的无线传输信道当前的带宽；根据所述无线传输信道当前的带宽及为用于数据采集的一个或多个数据采集器分别配置的带宽比重获取每个数据采集器的最大采集速率；根据每个数据采集器的最大采集速率调整通过所述无线传输信道对每个数据采集器的采集数据的发送。该发明通过对无线传输信道中信噪比的监测，以确定当前的信道带宽，从而根据当前信道的带宽，调整数据采集器的采集速率以适应当前的信道质量及带宽。

但是现有技术中只描述了无线网络传输的流速控制，表现在网络层基于QOS的速率控制。不方便根据业务进行差异性处理。这样导致在不同的应用场景需要设计不同的处理方案，一旦环境发生变化就要重新设计控制方案。

发明内容

本发明的目的是提供一种基于工业互联网操作系统的数据采集方法系统，作用在业务层，尽可能在有限的带宽资源下，合理的在通讯网络中进行数据采集，尽可能的利用传输网络带宽，提升系统处理吞吐量。同时还保证各类业务数据可同时进行传输，且速率控制始终能够按照预设条件，不会超出，保证系统稳定可靠。

为了达到所述目的，本发明所采用的技术方案是一种基于工业互联网操作系统的数据采集方法，包括所述步骤：

步骤1、数据采集识别：预先识别通讯网络中的数据类型的等级，并根据等级进行排序；

步骤2、定义数据采集的调整参数：在相同带宽情况下，数据点少的采集端适量降低传输速率，以保证数据量大的终端得到更多的传输带宽；

步骤3：检测通讯网络实时状态，根据网络状况判断是否采用弹性控制处理；

所述弹性控制处理包括：

1、控制参数输入，识别影响通讯传输的因素，数据等级S、数据负载D、网络状态ST、采集端的实时状态T、带宽设定值SV；

2、根据被采集对象的数据模型，对数据趋势预测分析，然后根据预测分析结果M对实际采集的数据值进行压缩，以降低待传输的数据量；

3、数据发送速率u计算，并根据调节速率进行数据发送执行：

k为速率调节次数，u(k)为发送速率，e(k)为输入T与设定值(SV)之间的误差，Kp为比例系数等于S*D/ST*M，Kd为微分时间常数，Ki为积分时间常数；

4、接收数据发送反馈，并更新实时状态T，重新执行控制参数输入直到处于稳定状态；

5、数据预测模型更新，优化数据趋势预测效果，并根据后期采集过程进行模型的回归验证，并进一步提升预测的效果。

优选的，当环境发生变化或调整后的参数未达到预期的情况下，所述弹性控制处理还包括：

6、调优：在一个稳态的网络环境下，预期调节效果，在采集到实时数据后，根据识别到的参数进行初始化，计算出初始控制速率，数据传输端根据控制速率进行数据传输，同时将实时网络状态和数据采集端的实时状态反馈至控制算法。

优选的，根据数据类型由高到低进行统一的等级划分，依次进行标记，等级高的数据在采集传输过程中拥有高优先级处理权重。这样的设计在多任务复用时能对主要的数据进行传输速率的保障。

优选的，判断采用弹性控制处理的状况包括：在通讯网络中检索到其他类型的数据传输的状态，此时实时的根据通讯网络的实时状态，对传输速率进行调整，在通讯网络比较繁忙时，降低速率，减少对通讯网络的冲击。

优选的，判断采用弹性控制处理的状况包括：数据采集端当前的状态已判断为影响数据的采集和传输过程，采集控制算法同时也需要根据当前的状态来调整，增大或降低传输速率。

优选的，判断采用弹性控制处理的状况包括：在通讯网络共享的情况下，主动的设置一个最大带宽占用值，以便在结合各种控制参数的情况下，达到该占用值后进行调整。

优选的，多个控制参数同时作用于弹性控制处理的判断。可用于进行数据采集控制参数很多，除去数据等级，数据负载，网络负载，系统当前状态这几个主要的参数外，其他参数都可能会对弹性控制的精确程度产生影响。因此当一个或者多个参数发生调整时，自动激活弹性控制处理。当多个参数共同应用于弹性控制处理时，弹性处理精度更高。

由于采用了所述技术方案，本发明和现有技术相比首先实现了在业务层上的应用。且通过弹性控制，不仅是让数据传输以一个平稳的速率进行传输，而是为了在综合多种参数条件下，实现系统中通讯网络使用的最优化，尽可能在设定条件预期下根据业务数据的等级进行通讯数据传输。相对Qos速率控制，本发明基于业务层的弹性数据采集，可以与业务配合的更紧密，对通讯网络以及通讯设备都没有特殊要求。即便应用场景发生变化也无需重新调整策略；4、数据采集过程根据被采集对象的模型，进行数据趋势预测，并根据预测结果对数据采集过程进行优化调整。

附图说明

图1为本发明一种基于工业互联网操作系统的数据采集方法的弹性控制流程示意图。

图2为采用本发明一种基于工业互联网操作系统的数据采集方法的所采集到的数据示意图，图中标记①为测量值，②为预设值。

具体实施方式

理想的数据采集过程需要保证以下几点：1、高优先级数据实时性：采集数据中最高优先级的数据能够及时上送至服务器。2：完整性：所有采集数据要求完整的上送至服务器，不出现由于网络，服务器等原因导致最终服务端接收到的数据出现缺失。3：实时优先：在需要同时传输实时和历史数据时，优先保证实时数据，避免历史数据传输影响实时数据传输的实时性和完整性。4：弹性：根据数据传输的实际状况调整数据传输速率，在网络状态不佳时，适时调整传输速率，避免导致网络进一步拥塞。

对此本发明一种基于工业互联网操作系统的数据采集方法，数据采集要预先识别通讯网络中的数据类型的等级，由高到低进行统一的等级(Serverity，标记为S1，S2...)，等级高的数据需要在采集传输过程中拥有高优先级处理权重。

定义数据采集的调整参数(DataPayload，标记为D)，在相同带宽情况下，数据点少的采集端可以适量降低传输速率，以保证数据量大的终端能得到更多的传输带宽。

检测通讯网络实时状态，在多数情况下，通讯网络中可能会存在其他类型的数据传输，这就需要实时的根据通讯网络的实时状态(TrafficPayload，标记为T)，对传输速率进行调整，在通讯网络比较繁忙的情况下，适量降低速率，以减少对通讯网络的冲击，避免恶化网络通讯状况。

数据趋势预测，结合被采集对象的数据模型，预测被采集对象的数据变化趋势，以便进行必要的数据压缩处理，以降低实际待传输的数据量。

数据采集端当前的状态(Status，标记为ST)，会影响到数据的采集和传输过程，采集控制算法同时也需要根据当前的状态来调整，增大或降低传输速率。

在通讯网络共享的情况下，为了避免某个通讯应用，大量的占用网络带宽，可以主动的设置一个最大带宽占用值(SettingValue，SV)，以便在结合各种控制参数的情况下，避免导致某通讯应用恶意占用带宽，影响其他系统。其他可能会对数据通讯传输过程的因素都可以纳入弹性控制处理。

如图1所示，速率弹性实施步骤：

1、控制参数输入，识别影响通讯传输的因素，数据等级S、数据负载D、网络状态ST、采集端的实时状态T、带宽设定值SV；

2、根据被采集对象的数据模型，对数据趋势预测分析，然后根据预测分析结果M对实际采集的数据值进行压缩，以降低待传输的数据量；

3、数据发送速率u计算，并根据调节速率进行数据发送执行：

k为速率调节次数，u(k)为发送速率，e(k)为输入T与设定值(SV)之间的误差，Kp为比例系数等于S*D/ST*M，Kd为微分时间常数，Ki为积分时间常数；

4、接收数据发送反馈，并更新实时状态T，重新执行控制参数输入直到处于稳定状态；

5、数据预测模型更新，优化数据趋势预测效果，并根据后期采集过程进行模型的回归验证，并进一步提升预测的效果。

当环境发生变化或调整后的参数未达到预期的情况下，所述弹性控制处理还包括6、调优：在一个稳态的网络环境下，预期调节效果，在采集到实时数据后，根据识别到的参数进行初始化，计算出初始控制速率，数据传输端根据控制速率进行数据传输，同时将实时网络状态和数据采集端的实时状态反馈至控制算法。

弹性控制的目标不是为了让数据传输以一个平稳的速率进行传输，而是为了在综合多种参数条件下，尽可能的实现系统中通讯网络使用的最优化，尽可能在设定条件预期下根据业务数据的等级进行通讯数据传输。数据采集必须考虑以下几个因素：数据等级、网络带宽、预留带宽、待采集的点数规模、当前网络负载、数据采集器当前负荷等其他影响数据传输和处理的因素。采集过程综合上述要点及因素，进行数据采集，传输策略的处理，保证数据采集过程及时，有效，稳定。判断采用弹性控制处理的状况包括：在通讯网络中检索到其他类型的数据传输的状态，此时实时的根据通讯网络的实时状态，对传输速率进行调整，在通讯网络比较繁忙时，降低速率，减少对通讯网络的冲击。数据采集端当前的状态已判断为影响数据的采集和传输过程，采集控制算法同时也需要根据当前的状态来调整，增大或降低传输速率。在通讯网络共享的情况下，主动的设置一个最大带宽占用值，以便在结合各种控制参数的情况下，达到该占用值后进行调整。各类数据可以同时进行数据传输，与之不同的只是根据数据等级不同弹性控制算法可以提供不同的数据传输速率。在这个过程中控制参数越多，弹性控制过程可以越精确。

如图2所示为本发明所采集到的数据示意图。由图中可见，本发明在较短的时间内将速率波动的幅度控制在一个较小的范围中。

以上所述仅为本发明的具体实施例，但本发明的技术特征并不局限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围之中。

Claims (7)

1.一种基于工业互联网操作系统的数据采集方法，包括所述步骤：

步骤1、数据采集识别：预先识别通讯网络中的数据类型的等级，并根据等级进行排序；

步骤2、定义数据采集的调整参数：在相同带宽情况下，数据点少的采集端适量降低传输速率，以保证数据量大的终端得到更多的传输带宽；

步骤3：检测通讯网络实时状态，根据网络状况判断是否采用弹性控制处理；

其特征在于：所述弹性控制处理包括：

1、控制参数输入，识别影响通讯传输的因素，数据等级S、数据负载D、网络状态ST、采集端的实时状态T、带宽设定值SV；

2、根据被采集对象的数据模型，对数据趋势预测分析，然后根据预测分析结果M对实际采集的数据值进行压缩，以降低待传输的数据量；

3、数据发送速率u计算，并根据调节速率进行数据发送执行：

k为速率调节次数，u(k)为发送速率，e(k)为输入T与设定值(SV)之间的误差，Kp为比例系数等于S*D/ST*M，Kd为微分时间常数，Ki为积分时间常数；

4、接收数据发送反馈，并更新实时状态T，重新执行控制参数输入直到处于稳定状态；

5、数据预测模型更新，优化数据趋势预测效果，并根据后期采集过程进行模型的回归验证，并进一步提升预测的效果。

2.如权利要求1所述的一种基于工业互联网操作系统的数据采集方法，其特征在于：当环境发生变化或调整后的参数未达到预期的情况下，所述弹性控制处理还包括：

6、调优：在一个稳态的网络环境下，预期调节效果，在采集到实时数据后，根据识别到的参数进行初始化，计算出初始控制速率，数据传输端根据控制速率进行数据传输，同时将实时网络状态和数据采集端的实时状态反馈至控制算法。

3.所述步骤1或2中所述的数据采集识别具体为：根据数据类型由高到低进行统一的等级划分，依次进行标记，等级高的数据在采集传输过程中拥有高优先级处理权重。

4.如权利要求1或2所述的一种基于工业互联网操作系统的数据采集方法，其特征在于：判断采用弹性控制处理的状况包括：在通讯网络中检索到其他类型的数据传输的状态，此时实时的根据通讯网络的实时状态，对传输速率进行调整，在通讯网络比较繁忙时，降低速率，减少对通讯网络的冲击。

5.如权利要求1或2所述的一种基于工业互联网操作系统的数据采集方法，其特征在于：判断采用弹性控制处理的状况包括：数据采集端当前的状态已判断为影响数据的采集和传输过程，采集控制算法同时也需要根据当前的状态来调整，增大或降低传输速率。

6.如权利要求1或2所述的一种基于工业互联网操作系统的数据采集方法，其特征在于：判断采用弹性控制处理的状况包括：在通讯网络共享的情况下，主动的设置一个最大带宽占用值，以便在结合各种控制参数的情况下，达到该占用值后进行调整。

7.如权利要求1或2所述的一种基于工业互联网操作系统的数据采集方法，其特征在于：多个控制参数同时作用于弹性控制处理的判断。

Images