CN115297191B - 一种多数据流服务器 - Google Patents

Abstract

本发明涉及数据传输技术领域，公开了一种多数据流服务器，包括数据采集模块和数据处理模块；所述数据采集模块用于采集不同设备的监测数据，并传输给数据处理模块；所述数据处理模块内预设有多个参考数组，所述参考数组用于存放数据流；所述数据处理模块包括解析子模块和传输子模块；所述解析子模块用于解析监测数据并判定监测数据所属的监测类型；解析子模块还用于将监测数据解析转换为可读形式；所述传输子模块用于调用与监测数据相匹配的数据流进行数据传输。本发明能够用来解决现有服务器无法兼容多路多协议数据的技术问题，能够准确及时地进行多数据流的数据传输。

Description

一种多数据流服务器

技术领域

本发明涉及数据传输技术领域，具体涉及一种多数据流服务器。

背景技术

随着科技水平的提高以及我国北斗技术的普及，高精度北斗技术的使用深入到了各行各业的应用中，包括地质灾害、精准农业、水文监控、电力、交通、智慧建筑、无人机驾驶等多个领域都有应用到北斗技术。在上述各领域中，北斗技术可帮助其设备等实现高精度定位，采集到高精度定位数据，例如在交通领域中帮助监控定位移动车辆或无人机的位置，在智慧建筑领域中帮助监控定位智能家电（扫地机器人等）的位置，在水文监控中帮助定位确认监控设备的位置等。

然而对于不同领域不同行业而言，其对于设备数据（包括设备运作数据、设备的定位监测数据、视频监测数据等）等的监测和传输都有各自的行业标准和要求采用的相应的协议，但目前市面上的许多设备采用的都是单路单协议数据传输方式，这使得这些设备在应用时仅能与符合其协议要求的应用场景匹配，设备的应用场景受到较大的局限，普适性较差，不能很好的兼容和应用到各行各业中，也不能很好的满足市场环境。并且，对于传输数据种类较多且要求反馈及时度的设备而言，特别是对于监测类设备而言，若其传输的数据类别包括有GNSS数据（定位数据）和其他监测数据，如无人机飞行倾角数据、水文监控的雨量数据等，即使这些数据能够由单一协议进行传输，由于GNSS数据需要额外耗时进行解析且对上报频率有较高的要求，其他监测数据的传输会受之拖累，极为影响数据的传输效果。

而现有的一种支持多路数据输入的服务器系统，虽然能够在一定程度上解决上述问题，能够为单路单协议设备的数据传输提供一定的解决方法，但是其采用的是多路复用的手段，虽然能够对多个请求进行回应但是整体响应时间仍然较长，并且支持的协议类型十分有限（两个左右），服务器使用效果并不佳，无法完全地兼容多路多协议数据。

发明内容

本发明意在提供一种多数据流服务器，用来解决现有服务器无法兼容多路多协议数据的技术问题，能够准确及时地进行多数据流的数据传输。

本发明提供的基础方案为：一种多数据流服务器，包括数据采集模块和数据处理模块；

所述数据采集模块用于采集不同设备的监测数据，并传输给数据处理模块；

所述数据处理模块内预设有多个参考数组，所述参考数组用于存放数据流；不同的参考数组对应用于存放不同类型的数据流；且各参考数组彼此独立；各数据流支持的连接协议不同；

所述数据处理模块包括解析子模块和传输子模块；所述解析子模块用于解析监测数据并判定监测数据所属的监测类型；解析子模块还用于将监测数据解析转换为可读形式；

所述传输子模块用于按照监测类型并基于参考数组，查找与监测数据相匹配的数据流，并依据数据流将监测数据打包为待传输格式，并调用与监测数据相匹配的数据流进行数据传输；所述传输子模块与数据中心建立通信连接。

本发明的工作原理及优点在于：首先，本方案中设置了多个参考数组，各个参考数组对应存放了不同类型的数据流，即本方案中设置了多个不同类型的数据流，且各个数据流支持不同的连接协议，能够满足不同类型数据对于不同传输连接协议的要求，并且，在具体传输时，依据监测数据的监测类型对应匹配合适的数据流进行传输，可保证数据传输准确、有效。其次，本方案的各参考数组彼此独立，即各数据流之间不会相互影响，监测数据传输的可靠度较高，能够达到较好的数据传输效果。

本方案通过设置参考数组，完成了预先的嵌入式的数据处理逻辑设置，预先设置的参考数组能够为后续监测数据传输提供充分的传输基础，而数据处理模块的设置使得在多监测数据、多数据流的情况下，各监测数据均能够配置到合适的数据流，同步完成多路多协议的数据传输。此外，相比于现有的支持多路数据输入的服务器系统，本方案的数据流独立，且能够各自负责一类监测数据，无需多路复用，能够同步对数据进行处理并且保有不同数据对应上传频率的不同要求，数据处理及传输效果更好，效率更高。

进一步，所述设备包括GNSS传感器、加速度传感器、倾角传感器以及雨量传感器。

有益效果：对于不同类型的监测设备本方案均可进行有效的数据处理及传输，适用性较好。

进一步，每个数据流均为一个结构体，所述结构体的组成成员包括服务器地址、连接协议、监测类型以及数据上报频率。

有益效果：各个数据流的数据结构中包含的数据内容充分，能够满足不同类别的监测数据的数据传输需求。

进一步，所述连接协议包括TCP协议、MQTT协议、NTRIP协议和HTTP协议。

有益效果：数据流支持的连接传输协议种类较多，能够满足不同监测设备对于传输协议的不同需求。

进一步，所述上报频率包括5s/次、10s/次、15s/次和60s/次。

有益效果：本方案能够满足多级的数据上报频率需求，适用性较强。

进一步，还包括数据流配置模块；所述数据流配置模块用于查询监测数据匹配的数据流。

有益效果：通过数据流配置模块可以较方便地查询数据流匹配情况，便于验证数据传输的正确性。

进一步，所述数据流配置模块还用于编辑配置结构体。

有益效果：通过数据流配置模块还可以调整数据流结构，对于一些有特别传输要求的监测数据，通过简单的数据流结构调整，本服务器也能够为其匹配合适的数据流以进行数据传输，具备一定的灵活度。

进一步，还包括自检模块；所述自检模块用于验证数据流匹配是否正确；所述自检模块还包括调整子模块；所述调整子模块用于在验证确认数据流匹配错误时，智能调整为监测数据匹配的数据流类型。

有益效果：自检模块的设置能够对服务器的数据传输工作进行自检，可保证数据传输保持准确有效。

附图说明

图1为本发明一种多数据流服务器实施例一的服务器结构示意图；

图2为本发明一种多数据流服务器实施例一的服务器运作示意图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例一：

实施例基本如附图1所示：一种多数据流服务器，包括数据采集模块和数据处理模块；

所述数据采集模块用于采集不同设备的监测数据，并传输给数据处理模块；所述设备包括GNSS传感器、加速度传感器、倾角传感器以及雨量传感器。可以理解的是，所述设备还可为其他的需要进行数据传输的设备。

所述数据处理模块内预设有多个参考数组，所述参考数组用于存放数据流；不同的参考数组对应用于存放不同类型的数据流；且各参考数组彼此独立，各数据流支持的连接协议不同。具体地，每个参考数组的数据流各通过一个单独的链路连接到服务器，各个数据流彼此独立，互不影响。本实施例中，该链路可为LTE链路。

每个数据流均为一个结构体，所述结构体的组成成员包括服务器地址、连接协议、监测类型以及数据上报频率。本实施例中，所述服务器地址指监测数据需要传输至的服务器地址，如数据中心服务器地址等。所述连接协议包括TCP协议、MQTT协议、NTRIP协议和HTTP协议。所述上报频率包括5s/次、10s/次、15s/次和60s/次；实际应用中，该上报频率种类还可增加或调整。具体地，本实施例中，数据处理模块内预设有至少4个参考数组，每个参考数组存放的数据流的连接协议均不同。

所述数据处理模块包括解析子模块和传输子模块；所述解析子模块用于解析监测数据并判定监测数据所属的监测类型；解析子模块还用于将监测数据解析转换为可读形式。

所述传输子模块用于按照监测类型并基于参考数组，查找与监测数据相匹配的数据流，并依据数据流将监测数据打包为待传输格式，并调用与监测数据相匹配的数据流进行数据传输；所述传输子模块与数据中心建立通信连接。

具体应用时，以附图2为例，当设备包括有倾角传感器、加速度传感器和GNSS传感器时，由数据采集模块采集倾角传感器、加速度传感器和GNSS传感器传输来的原始的监测数据，并进一步传输给数据处理模块。数据处理模块中的解析子模块将原始的监测数据解析转换为可读形式，即将数据类型为uint16/32、int16/32、IEEE754或BCD等的原始的监测数据进行解析转换为更为直观的可读形式数据。与此同时，解析子模块还会判定监测数据所述的监测类型，以便于后续匹配数据流。

进一步地，数据处理模块中的传输子模块按照监测类型并基于参考数组，查找与监测数据相匹配的数据流，并依据数据流将监测数据打包为待传输格式，并调用与监测数据相匹配的数据流进行数据传输。具体地，在进行数据传输时，以独立的数据流形式对各类监测数据进行传输，对应包括倾角数据流、加速度数据流和GNSS数据流，每个数据流中均包含有服务器地址（此处的服务器地址指的是数据中心服务器地址）、连接协议、监测类型（对应为倾角、加速度或GNSS）以及数据上报频率，本实施例中，倾角数据的数据上传频率为15s/次，GNSS数据的数据上传频率为5s/次，加速度数据的数据上传频率为10s/次，对于不同类的监测数据均能够以较高的上传频率及时传输，数据传输效率较高。

本实施例提供的一种多数据流服务器，能够准确及时地进行多数据流的数据传输，能够为数据传输提供更多的协议选择，应用本多数据流服务器可有效提升单路单协议设备的普适性，解决其应用局限问题。并能够达到较高的数据处理效率。

更特别的是，本方案打破了自单数据流、单协议传输处理到多数据流、多协议（特别是两个以上的）传输之间的技术壁垒，以单一服务器载体实现了真正的多数据流、多协议传输处理。常规的服务器，往往只能对同类数据流、单一协议进行处理，因为协议与协议之间往往存在冲突部分，对于不同的网络协议而言，其所约定遵从的规则不一致，其中的语法、语义和时序安排也不一致；这就使得现有的服务器大多只能支持单一协议；并且对于服务器而言，若是单纯地叠加内设的网络协议以求达成多协议传输的效果，也是不可取的。因为不同的网络协议之间的规则会产生冲突，而这种冲突带来的影响是不可控且难以调配处理的，反而会使得服务器运作失效。

而本方案则有效解决了上述技术难题。通过设置参考数组，增加了嵌入式开发对各种协议和各种数据结构的处理逻辑，由不同的参考数组分别为不同的数据流提供服务，并由传输子模块进行数据流与参考数组的匹配调用及上报，通过数据处理模块内的特殊数据结构设计，利用预先的逻辑设置，严格区分了不同参考数组的结构体成员，在数据处理模块里为不同结构体构建了独立的运作空间，在此独立运作空间中，协议之间的影响被隔绝，各协议均能够正常调用，进而能够在同一服务器中实现真正有效的多数据流、多协议、多链路数据传输，并达到高效、准确的多数据流传输效果。

并且，本方案并非是不同协议的组合或是拼凑的多个服务器变成的一个组合，而是一个整体性的服务器产品。与单纯的协议组合或服务器拼凑不同的是，本方案能够消除协议之间的影响差异，并能够在短时间内为不同的监测数据智能匹配最适合的协议（包含协议在内的参考数组），并同步保有单数据流服务器的实体体积和基本结构，无需额外的结构性改动，改进成本较低。这是协议组合和服务器拼凑都做不到的（协议组合会形成协议间的语法时序冲突，导致协议无法运作；服务器组合会大大增加服务器的体积，实质只是机械机构的串联，数据传输方式仍是一对一对应的，并无法实现实质上的多数据流处理）。

实施例二：

一种多数据流服务器，在实施例一的基础上，还包括数据流配置模块和纠错模块。

所述数据流配置模块用于查询监测数据匹配的数据流。具体地，数据流配置模块在查询到监测数据匹配的数据流后，将匹配的数据流的结构体组成和数据流传输路径均可视化显示，以便于查看。所述数据流配置模块还用于编辑配置结构体。具体地，通过所述数据流配置模块可手动更改各结构体的成员组成；例如修改服务器地址、修改连接协议以及修改数据上报频率等；还可增加结构体，即增加参考数组，当有新的连接协议可用时，以增加参考数组的形式将新的连接协议加入到本多数据流服务器中。

所述纠错模块用于智能验证编辑配置结构体的操作合理性并智能修正不合理的编辑配置结构体的操作。所述不合理的编辑配置结构体的操作包括成员组成格式修改错误、成员数值设置超标、异常时间点的操作行为等。具体地，所述纠错模块内预设有结构体中各成员组成的标准格式，如服务器地址的标准格式，连接协议的标准格式等；以及结构体中部分成员组成的设置阈值，例如数据上报频率的阈值等。在通过数据流配置模块进行的编辑配置结构体的操作中，若是修改后的成员组成格式与标准格式不相符，则由纠错模块自动修正为标准模式；若是修改后的成员数值超过设置阈值，则由纠错模块自动修正为设置阈值。并且，所述纠错模块还特别对异常时间点的操作行为进行追踪修正，本实施例中，所述异常时间点具体指凌晨2点至5点时间段，在该时间段内，若发生了编辑配置结构体的行为，纠错模块首先记录下该行为过程，并将其标记为异常时间点操作行为，并对应复原结构体，并向相关工作人员发送异常操作行为报告（报告中包含行为过程内容）。本方案这样设置，特别关注了异常时间点的操作行为，在此类时间点的操作行为极可能是非工作人员的非常规行为（如病毒篡改、人为恶意篡改等），对此行为进行关注修正，能够及时把控异常行为可能带来的风险，保证整体的服务器运作更为稳定。

本实施例提供的一种多数据流服务器，相比于实施例一，数据流配置便于查询编辑，数据流便于调整及增加，给人的使用体验感更好，服务器设置灵活度高。且，对于不合理的操作行为能够智能识别调整，服务器运作稳定性高。

实施例三：

一种多数据流服务器，在实施例一的基础上，还包括自检模块。

所述自检模块用于验证数据流匹配是否正确；具体地，自检模块在验证数据流匹配是否正确时，按照预设检验策略进行验证。所述自检模块内预存有协议比对表，所述协议比对表对应列有各类监测数据对应适配的连接协议；例如：GNSS监测数据可适配于NTRIP协议和MQTT协议，加速度监测数据可适配于HTTP协议和MQTT协议，倾角数据可适配于TCP协议和MQTT协议等；所述协议比对表可编辑修改。所述预设检验策略为：提取监测数据所属的监测类型和目前匹配的数据流中的连接协议类型，按照协议比对表进行遍历比对，若该监测类型与连接协议的组合与协议比对表中的组合匹配，则判定为数据流匹配正确；若协议比对表中不存在可与之匹配的组合，则判定为数据流匹配错误。

所述自检模块还包括调整子模块；所述调整子模块用于在验证确认数据流匹配错误时，智能调整为监测数据匹配的数据流类型。具体地，所述调整子模块在智能调整数据流类型时，按照智能调整策略进行调整。所述智能调整策略包括：基于监测数据的监测类型，遍历协议比对表，选出与监测类型适配的连接协议类型，作为待定协议；当待定协议类型个数大于1个时，按照分配优先级自待定协议中选取1个连接协议作为与监测数据匹配的新连接协议。所述分配优先级划分时，通过数据处理模块确定本多数据流服务器同步处理的其余监测数据所采用的连接协议类型，为待定协议中与其余监测数据所采用的连接协议不重复的连接协议分配第一优先级，若是待定协议中不存在与其余监测数据所采用的连接协议不重复的连接协议，则按照重复次数分配优先级，重复次数越高，优先级越靠后。

本实施例提供的一种多数据流服务器，相比于实施例一，能够对服务器的数据传输工作进行自检，并且在数据流匹配错误时，能够进行智能调整，运作更为智能，并且可保证数据传输保持准确有效。

实施例四：

一种多数据流服务器，在实施例一的基础上，所述传输子模块在查找、调用与监测数据相匹配的数据流时，按照预设匹配策略确认与监测数据相匹配的数据流。所述预设匹配策略包括以下子步骤：

子步骤1：基于监测数据的监测类型，确认能够支持该监测类型数据传输的所有数据流类型；

子步骤2：智能评估该监测数据的传输影响条件；所述传输影响条件包括传输信号条件、传输分量条件等。具体地，在评估传输信号条件时，基于监测数据上传至服务器的历史过程信息，对该监测数据的上传速率和上传连贯度进行评估，并基于上传速率和上传连贯度进一步判定传输信号条件。当上传速率和上传连贯度均较高时，则判定传输信号条件为优，当上传速率和上传连贯度均较低时，则判定传输信号条件为差。在传输信号条件为优的情况下，无需再对子步骤1中选出的数据流类型做筛除。在传输信号条件为差的情况下，则对子步骤1中选出的协议类型再做筛除，保留上报频率更高的数据流类型，并从中选取上报频率最高者进行数据传输，本方案这样设置，有助于弥补传输信号条件差带来的传输效率损失。

可选的，在评估传输条件时，还采集该监测数据对应的监测设备所在地的环境数据，所述环境数据主要为气候环境数据，若监测设备所在地存在气候隐患（例如，处于台风、暴雨天气中，或即将被台风、暴雨天气影响），即使此前判定的传输信号条件为优，仍然按照传输信号条件为差处理。这样设置，可一定程度上弥补后续可能因气候隐患、传输信号差而导致的数据传输受阻问题。

在评估传输分量条件时，则根据该监测数据上传至服务器的历史过程信息，对该监测数据的预上传数据总量进行预估，得到数据量预估值；并根据预估值对传输分量条件进行评估。当预估值大于1GB时，则判定传输分量条件为高，对该监测数据采取省略式传输；当预估值小于1GB时，则判定传输分类条件为低，对该监测数据进行正常传输。所述省略式传输为：依据子步骤1选出的协议，选取两个适配的数据流（即选取两个参考数组），其中一个数据流仅对该监测数据的关键要素进行即刻上报。另一个数据流则对该监测数据进行正常传输。以图像传输为例，即前者即刻上报压缩图像数据，后者上报原图像数据。

本实施例提供的一种多数据流服务器，相比于实施例一，为监测数据匹配的数据流更为精准，适配度更高。并且能够根据监测数据的上传过程信息，对监测数据适配数据流与传输方式进行适应性地自动调整，保证数据流匹配的动态精准性，相比于常规服务器中，严格限定数据的传输通道的做法，在不同的外界因素影响下，监测数据对于传输协议、传输方式的要求其实是不一样的，此情况下，为监测数据限定的传输通道极可能无法满足该监测数据的实际的传输需求，以致于数据处理效果不佳。而本方案的数据传输更灵活，数据流匹配方式更灵活，数据流匹配的考量项目更充分，不仅仅是考量了监测数据本身，更综合考量了监测数据本身上传时受到的影响条件，能够在短时间内匹配得到最适合的数据流，能够保证达到更优的数据处理效果。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (7)

1.一种多数据流服务器，其特征在于，包括数据采集模块和数据处理模块；

所述数据采集模块用于采集不同设备的监测数据，并传输给数据处理模块；

所述数据处理模块内预设有多个参考数组，所述参考数组用于存放数据流；不同的参考数组对应用于存放不同类型的数据流；且各参考数组彼此独立；各数据流支持的连接协议不同；每个数据流均为一个结构体，所述结构体的组成成员包括服务器地址、连接协议、监测类型以及数据上报频率；

所述数据处理模块包括解析子模块和传输子模块；所述解析子模块用于解析监测数据并判定监测数据所属的监测类型；解析子模块还用于将监测数据解析转换为可读形式；

所述传输子模块用于按照监测类型并基于参考数组，查找与监测数据相匹配的数据流，并依据数据流将监测数据打包为待传输格式，并调用与监测数据相匹配的数据流进行数据传输；所述传输子模块与数据中心建立通信连接；

所述传输子模块在查找、调用与监测数据相匹配的数据流时，按照预设匹配策略确认与监测数据相匹配的数据流；所述预设匹配策略包括以下子步骤：子步骤1：基于监测数据的监测类型，确认能够支持该监测类型数据传输的所有数据流类型；子步骤2：智能评估该监测数据的传输影响条件；所述传输影响条件包括传输信号条件和传输分量条件。

2.根据权利要求1所述的一种多数据流服务器，其特征在于，所述设备包括GNSS传感器、加速度传感器、倾角传感器以及雨量传感器。

3.根据权利要求1所述的一种多数据流服务器，其特征在于，所述连接协议包括TCP协议、MQTT协议、NTRIP协议和HTTP协议。

4.根据权利要求1所述的一种多数据流服务器，其特征在于，所述上报频率包括5s/次、10s/次、15s/次和60s/次。

5.根据权利要求1所述的一种多数据流服务器，其特征在于，还包括数据流配置模块；所述数据流配置模块用于查询监测数据匹配的数据流。

6.根据权利要求5所述的一种多数据流服务器，其特征在于，所述数据流配置模块还用于编辑配置结构体。

7.根据权利要求1所述的一种多数据流服务器，其特征在于，还包括自检模块；所述自检模块用于验证数据流匹配是否正确；所述自检模块还包括调整子模块；所述调整子模块用于在验证确认数据流匹配错误时，智能调整为监测数据匹配的数据流类型。

Images