CN114036216A - 一种数据处理方法、装置和存储介质 - Google Patents

Abstract

本申请提供一种数据处理方法、装置和存储介质，涉及计算机技术领域，用于解决数据处理效率较低的技术问题。该方法包括：在获取电子设备的目标设备标识和电子设备通过目标通信协议发送的原始数据后，可以基于目标通信协议的协议类型和目标设备标识，对原始数据执行数据转换处理，以得到待处理数据。数据转换处理用于将数据格式不同的数据转换为格式相同的数据。并且，可以从预先建立好的数据处理规则中，选取与目标设备标识对应的目标规则。数据处理规则用于对与待处理数据的数据格式相同的数据进行数据处理。从而可以基于目标规则，对待处理数据进行数据处理。本申请提高了数据处理的效率。

Description

一种数据处理方法、装置和存储介质

技术领域

本申请属于计算机技术领域，尤其涉及一种数据处理方法、装置和存储介质。

背景技术

目前，为了满足复杂物联网场景下的业务需求，一个数据处理平台一般会接入多种类型的物联网设备。这些物联网设备支持的通信协议一般不相同。这样，物联网设备通过不同通信协议向物联网管理平台发送的数据的数据结构一般也不相同。

现有的数据处理平台，一般是建立与每一种数据结构对应的处理规则，从而处理这些物联网设备上报的不同数据结构的数据。

但是，这种对于不同数据结构的数据分别进行处理的方式，数据处理过程繁琐，降低了数据处理的效率。

发明内容

本申请提供一种数据处理方法、装置和存储介质，用于解决数据处理效率较低的问题。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供一种数据处理方法，包括：在获取电子设备的目标设备标识和电子设备通过目标通信协议发送的原始数据后，可以基于目标通信协议的协议类型和目标设备标识，对原始数据执行数据转换处理，以得到待处理数据。数据转换处理用于将数据格式不同的数据转换为格式相同的数据。并且，可以从预先建立好的数据处理规则中，选取与目标设备标识对应的目标规则。数据处理规则用于对与待处理数据的数据格式相同的数据进行数据处理。从而可以基于目标规则，对待处理数据进行数据处理。

可选的，基于目标通信协议的协议类型和目标设备标识，对原始数据执行数据转换处理，以得到待处理数据的方法，具体包括：根据目标通信协议的协议类型对应的解析规则，提取原始数据中的关键字段；读取预先建立好的设备标识与数据定义的对应关系，确定与目标设备标识对应的目标定义；以预设数据格式存储关键字段和目标定义，并确定为待处理数据。

可选的，数据处理规则包括：数据转换规则、数据过滤规则、数据判断规则和数据输出规则。从预先建立好的数据处理规则中，选取与目标设备标识对应的目标规则的方法，具体包括：读取预先建立好的设备标识与预设规则的对应关系，确定与目标设备标识对应的目标规则；预设规则为数据转换规则、数据过滤规则、数据判断规则和数据输出规则中的至少一个或多个的任意组合。

可选的，该数据处理方法，还包括：获取多个通信协议的协议规范；多个通信协议的协议版本不同或者协议类型不同；基于多个通信协议的协议规范，生成与多个通信协议一一对应的多个通信接口；一个通信接口用于通过与一个通信接口对应的通信协议进行数据传输。

可选的，该数据处理方法，还包括：当多个通信协议包括目标通信协议时，接收电子设备发送的鉴权信息；根据鉴权信息，对电子设备进行鉴权。

可选的，该数据处理方法，还包括：当对电子设备鉴权成功时，根据目标设备标识确定电子设备的分类信息；分类信息用于确定登录账户的查阅权限。

第二方面，提供一种数据处理装置，包括：获取单元和处理单元；获取单元，用于获取电子设备的目标设备标识和电子设备通过目标通信协议发送的原始数据；处理单元，用于基于目标通信协议的协议类型和获取单元获取到的目标设备标识，对原始数据执行数据转换处理，以得到待处理数据；数据转换处理用于将数据格式不同的数据转换为格式相同的数据；处理单元，用于从预先建立好的数据处理规则中，选取与获取单元获取到的目标设备标识对应的目标规则；数据处理规则用于对与待处理数据的数据格式相同的数据进行数据处理；处理单元，用于基于目标规则，对待处理数据进行数据处理。

可选的，处理单元，具体用于：根据目标通信协议的协议类型对应的解析规则，提取原始数据中的关键字段；读取预先建立好的设备标识与数据定义的对应关系，确定与目标设备标识对应的目标定义；以预设数据格式存储关键字段和目标定义，并确定为待处理数据。

可选的，数据处理规则包括：数据转换规则、数据过滤规则、数据判断规则和数据输出规则。处理单元，具体用于：读取预先建立好的设备标识与预设规则的对应关系，确定与目标设备标识对应的目标规则；预设规则为数据转换规则、数据过滤规则、数据判断规则和数据输出规则中的至少一个或多个的任意组合。

可选的，获取单元，还用于：获取多个通信协议的协议规范；多个通信协议的协议版本不同或者协议类型不同；基于多个通信协议的协议规范，生成与多个通信协议一一对应的多个通信接口；一个通信接口用于通过与一个通信接口对应的通信协议进行数据传输。

可选的，处理单元，还用于：当多个通信协议包括目标通信协议时，接收电子设备发送的鉴权信息；根据鉴权信息，对电子设备进行鉴权。

可选的，处理单元，还用于：当对电子设备鉴权成功时，根据目标设备标识确定电子设备的分类信息；分类信息用于确定登录账户的查阅权限。

第三方面，提供一种数据处理装置，包括存储器和处理器；存储器用于存储计算机执行指令，处理器与存储器通过总线连接；当数据处理装置运行时，处理器执行存储器存储的计算机执行指令，以使数据处理装置执行如第一方面的数据处理方法。

该数据处理装置可以是网络设备，也可以是网络设备中的一部分装置，例如网络设备中的芯片系统。该芯片系统用于支持网络设备实现第一方面及其任意一种可能的实现方式中所涉及的功能，例如，接收、确定、分流上述数据处理方法中所涉及的数据和/或信息。该芯片系统包括芯片，也可以包括其他分立器件或电路结构。

第四方面，提供一种计算机可读存储介质，其特征在于，计算机可读存储介质包括计算机执行指令，当计算机执行指令在计算机上运行时，使得计算机执行如第一方面的数据处理方法。

需要说明的是，上述计算机指令可以全部或者部分存储在第一计算机可读存储介质上。其中，第一计算机可读存储介质可以与数据处理装置的处理器封装在一起的，也可以与数据处理装置的处理器单独封装，本申请对此不作限定。

在本申请中，上述数据处理装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似，属于本申请权利要求及其等同技术的范围之内。

本申请的这些方面或其他方面在以下的描述中会更加简明易懂。

本申请提供的技术方案至少带来以下有益效果：

基于上述任一方面，本申请中，在获取电子设备的目标设备标识和电子设备通过目标通信协议发送的原始数据后，可以基于目标通信协议的协议类型和目标设备标识，对原始数据执行数据转换处理，以得到待处理数据，并且可以从预先建立好的数据处理规则中，选取与目标设备标识对应的目标规则。这样一来，在接收到多个电子设备发送的不同格式的原始数据后，可以将多种不同数据格式的原始数据转换为统一数据格式的待处理数据，并通过针对于统一数据格式的数据处理规则进行数据处理。相比现有技术需要针对不同的数据格式建立多种不同的数据处理规则，本申请实施例提高了数据处理的效率。

附图说明

图1为本申请实施例提供的一种数据处理系统的结构示意图；

图2为本申请实施例提供的通信装置的一种硬件结构示意图；

图3为本申请实施例提供的通信装置的又一种硬件结构示意图；

图4为本申请实施例提供的一种数据处理方法的流程示意图一；

图5为本申请实施例提供的一种数据处理方法的流程示意图二；

图6为本申请实施例提供的一种数据处理方法的流程示意图三；

图7为本申请实施例提供的一种数据处理方法的流程示意图四；

图8为本申请实施例提供的一种数据处理方法的流程示意图五；

图9为本申请实施例提供的一种数据处理方法的流程示意图六；

图10为本申请实施例提供的一种数据处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

为了便于清楚描述本申请实施例的技术方案，在本申请实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。

此外，本申请实施例和权利要求书及附图中的术语“包括”和“具有”不是排他的。例如，包括了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，还可以包括没有列出的步骤或模块。

如背景技术中所述，现有的数据处理平台，一般是建立与每一种数据结构对应的处理规则，从而处理这些物联网设备上报的不同数据结构的数据。

但是，这种对于不同数据结构的数据分别进行处理的方式，数据处理过程繁琐，降低了数据处理的效率。

针对上述问题，本申请实施例提供了一种数据处理方法，在获取电子设备的目标设备标识和电子设备通过目标通信协议发送的原始数据后，可以基于目标通信协议的协议类型和目标设备标识，对原始数据执行数据转换处理，以得到待处理数据，并且可以从预先建立好的数据处理规则中，选取与目标设备标识对应的目标规则。这样一来，在接收到多个电子设备发送的不同格式的原始数据后，可以将多种不同数据格式的原始数据转换为统一数据格式的待处理数据，并通过针对于统一数据格式的数据处理规则进行数据处理。相比现有技术需要针对不同的数据格式建立多种不同的数据处理规则，本申请实施例提高了数据处理的效率。

该数据处理方法适用于数据处理系统。图1示出了该数据处理系统100的一种结构。如图1所示，该数据处理系统100包括：数据处理服务器101、电子设备102和协议获取服务器103。数据处理服务器101可以和电子设备102之间通信连接。数据处理服务器101也可以和协议获取服务器103之间通信连接。

可选的，图1中的数据处理服务器101可以同时连接多个电子设备。

为了便于理解，本申请主要以数据处理服务器101连接一个电子设备为例进行说明。

可选的，图1中的数据处理服务器101可以是协议获取服务器103内的功能模块，也可以是与协议获取服务器103独立设置，用于对数据进行处理的电子设备。

可选的，当数据处理服务器101是与协议获取服务器103独立设置，用于对数据进行处理的电子设备时，该电子设备可以是终端。该终端为指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。无线终端可以经无线接入网(radio access network，RAN)与一个或多个核心网进行通信。无线终端可以是移动终端，如具有移动终端的计算机，也可以是便携式、袖珍式、手持式、计算机内置的移动装置，它们与无线接入网交换语言和/或数据，例如，手机、平板电脑、笔记本电脑、上网本、个人数字助理(personal digital assistant，PDA)。本申请实施例对此不作任何限制。

可选的，当数据处理服务器101是与协议获取服务器103独立设置，用于对数据进行处理的电子设备时，该电子设备还可以是服务器。当电子设备为服务器时，该电子设备可以是协议获取服务器103内部用于进行数据处理的功能模块，也可以与协议获取服务器103相互独立设置的独立服务器，本申请对此不作具体限定。

为了便于理解，本申请主要以数据处理服务器101和协议获取服务器103独立设置为例进行说明。

容易理解的是，当数据处理服务器101为协议获取服务器103内部的功能模块时，数据处理服务器101和协议获取服务器103之间的通信方式为服务器内部模块之间的通信。这种情况下，二者之间的通信流程与“数据处理服务器101和协议获取服务器103相互独立的情况下，二者之间的通信流程”相同。

可选的，图1中的电子设备102可以是具有特定功能(例如测量温湿度等环境指标、采集视频等互网络数据和控制继电器等电路开关等功能)的物联网设备，还可以是终端。该终端为指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。无线终端可以经无线接入网(radio accessnetwork，RAN)与一个或多个核心网进行通信。无线终端可以是移动终端，如具有移动终端的计算机，也可以是便携式、袖珍式、手持式、计算机内置的移动装置，它们与无线接入网交换语言和/或数据，例如，手机、平板电脑、笔记本电脑、上网本、个人数字助理(personaldigital assistant，PDA)。本申请实施例对此不作任何限制。

协议获取服务器103用于收集并向数据处理服务器101提供多个协议版本不同或者协议类型不同的通信协议的协议规范等信息。

可选的，协议获取服务器103可以是单独的一个服务器，或者，也可以是由多个服务器构成的服务器集群。部分实施方式中，服务器集群还可以是分布式集群。本申请实施例对此不作任何限制。

数据处理系统100中的数据处理服务器101、电子设备102和协议获取服务器103的基本硬件结构类似，都包括图2或图3所示通信装置所包括的元件。下面以图2和图3所示的通信装置为例，介绍数据处理服务器101、电子设备102和协议获取服务器103的硬件结构。

如图2所示，为本申请实施例提供的通信装置的一种硬件结构示意图。该通信装置包括处理器21，存储器22、通信接口23、总线24。处理器21，存储器22以及通信接口23之间可以通过总线24连接。

处理器21是通信装置的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器21可以是一个通用中央处理单元(central processing unit，CPU)，也可以是其他通用处理器等。其中，通用处理器可以是微处理器或者是任何常规的处理器等。

作为一种实施例，处理器21可以包括一个或多个CPU，例如图2中所示的CPU0和CPU1。

存储器22可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

一种可能的实现方式中，存储器22可以独立于处理器21存在，存储器22可以通过总线24与处理器21相连接，用于存储指令或者程序代码。处理器21调用并执行存储器22中存储的指令或程序代码时，能够实现本申请下述实施例提供的数据处理方法。

在本申请实施例中，对于数据处理服务器101、电子设备102和协议获取服务器103而言，存储器22中存储的软件程序不同，所以数据处理服务器101、电子设备102和协议获取服务器103实现的功能不同。关于各设备所执行的功能将结合下面的流程图进行描述。

另一种可能的实现方式中，存储器22也可以和处理器21集成在一起。

通信接口23，用于通信装置与其他设备通过通信网络连接，所述通信网络可以是以太网，无线接入网，无线局域网(wireless local area networks，WLAN)等。通信接口23可以包括用于接收数据的接收单元，以及用于发送数据的发送单元。

总线24，可以是工业标准体系结构(industry standard architecture，ISA)总线、外部设备互连(peripheral component interconnect，PCI)总线或扩展工业标准体系结构(extended industry standard architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图2中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

需要指出的是，图2中示出的结构并不构成对该通信装置的限定，除图2所示部件之外，该通信装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

图3示出了本申请实施例中通信装置的另一种硬件结构。如图3所示，通信装置可以包括处理器31以及通信接口32。处理器31与通信接口32耦合。

处理器31的功能可以参考上述处理器21的描述。此外，处理器31还具备存储功能，可以起上述存储器22的功能。

通信接口32用于为处理器31提供数据。该通信接口32可以是通信装置的内部接口，也可以是通信装置对外的接口(相当于通信接口23)。

需要指出的是，图2(或图3)中示出的结构并不构成对通信装置的限定，除图2(或图3)所示部件之外，该通信装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图4所示，为本申请实施例提供的一种数据处理方法的流程示意图。该数据处理方法应用于数据处理服务器，数据处理服务器归属于图1所示的数据处理服务器、电子设备和协议获取服务器组成的数据处理系统。该数据处理方法包括：S401-S404。

S401、数据处理服务器获取电子设备的目标设备标识和电子设备通过目标通信协议发送的原始数据。

具体的，当应用场景中需要部署具有特定功能(例如测量温湿度的环境指标、采集视频等互网络数据和控制继电器等电路开关等功能)的电子设备以满足业务需求时，数据处理服务器可以和该电子设备之间基于该电子设备支持的目标通信协议进行数据传输。后续，电子设备可以通过目标通信协议向数据处理服务器发送原始数据。相应的，数据处理服务器可以获取电子设备通过目标通信协议发送的原始数据，并获取电子设备的目标设备标识。

可选的，数据处理服务器可以预先为每台电子设备生成设备标识，并通过显示装置显示每台电子设备的设备标识，以便于工作人员查看并录入每台电子设备的存储模块。设备标识用于唯一的确定电子设备的身份。

可选的，数据处理服务器生成的设备标识可以是通用唯一识别码(universallyunique identifier，UUID)。

可选的，数据处理服务器和电子设备基于目标通信协议进行数据传输时，可以对传输的数据进行加密。加密的方式可以是对称加密，例如高级加密标准(advancedencryption standard，AES)和数据加密标准(data encryption standard，DES)等加密方式，本申请实施例对此不作限定。

可选的，数据处理服务器和电子设备基于目标通信协议进行数据传输时，数据处理服务器和电子设备均可以主动生成连接断开消息，并向对端发送连接管理消息，用以停止数据传输。

可选的，原始数据的数据类型可以是文本类型、视频类型和图像类型等，本申请实施例对此不作限定。

S402、数据处理服务器基于目标通信协议的协议类型和目标设备标识，对原始数据执行数据转换处理，以得到待处理数据。

具体的，在获取电子设备的目标设备标识和电子设备通过目标通信协议发送的原始数据后，数据处理服务器可以基于目标通信协议的协议类型和目标设备标识，对原始数据执行数据转换处理，以得到待处理数据。

其中，数据转换处理用于将数据格式不同的数据转换为格式相同的数据。

可以理解的，在现行通信协议规范要求下，不同通信协议所采用的数据传输格式一般不同。为了便于进行数据处理，数据处理服务器可以对接收到的原始数据执行数据转换处理，以得到数据格式相同的待处理数据。

示例性的，预设数据处理服务器获取到A电子设备基于a协议发送的原始数据1、B电子设备基于b协议发送的原始数据2和C电子设备基于c协议发送的原始数据3，待处理数据的数据格式为d。这种情况下，原始数据1的数据格式为与a协议对应的数据格式、原始数据2的数据格式为与b协议对应的数据格式和原始数据3的数据格式为与c协议对应的数据格式。

数据处理服务器可以对原始数据1、原始数据2和原始数据3执行数据转换处理，以得到与原始数据1对应的数据格式为d的待处理数据1、与原始数据2对应的数据格式为d的待处理数据2和与原始数据3对应的数据格式为d的待处理数据3。

可选的，数据处理服务器获取电子设备通过目标通信协议发送的原始数据时，还可以确定获取原始数据的当前时刻。后续，在得到待处理数据后，数据处理服务器可以将获取到的原始数据的当前时刻确定为待处理数据的报文时间，以用于对待处理数据进行数据处理。

S403、数据处理服务器从预先建立好的数据处理规则中，选取与目标设备标识对应的目标规则。

具体的，在获取电子设备的目标设备标识后，数据处理服务器可以从预先建立好的数据处理规则中，选取与目标设备标识对应的目标规则。

其中，数据处理规则用于对与待处理数据的数据格式相同的数据进行数据处理。

可选的，数据处理规则可以包括数据转换规则、数据过滤规则、数据判断规则和数据输出规则。数据处理规则还可以包括其他用于对数据进行数据处理的规则，本申请实施例对此不作限定。

可选的，数据转换规则可以基于JavaScript、python等编程语言的代码对数据进行逻辑处理，并且可以将逻辑处理后的数据转换为预设格式进行输出。

可选的，数据过滤规则可以用于根据预设过滤条件，对输入的数据进行筛选，并输出满足预设过滤条件的数据。预设过滤条件可以是输入的数据中的一个或多个字段的值是否超出门限范围等。

可选的，数据判断规则可以用于根据预设判断条件对输入的数据进行判断，并将判断结果以是或否的形式输出。

可选的，数据输出规则可以用于匹配与数据转换规则、数据过滤规则和数据判断规则中的任意一个规则输出的结果相对应的处理动作。处理动作可以分为内部动作和外部动作。

其中，内部动作可以是用于对某个和/或某类电子设备添加告警信息的告警生成动作，清除某个和/或某类电子设备的告警信息的告警清除动作，延迟预设时间的延迟处理动作，记录数据及与数据对应的处理动作的日志记录动作等动作，本申请实施例对此不作限定。

外部动作可以是通过配置简单邮件传输协议(simple mail transfer protocol，SMTP)服务器地址及其他信息进行邮件发送的邮件发送动作，通过配置短信供应商接口及密钥等信息进行短信发送的短信发送动作，通过进行消息队列服务器及topic配置等向消息队列推送内容的内容推送动作等动作，本申请实施例对此不作限定。

需要说明的是，上述步骤S402和步骤S403的编码只是为了便于说明，并不对其实际执行顺序构成限定。例如，可以先执行S402,再执行S403；也可以先执行S403,再执行S402；还可以同时执行S402和S403。

S404、数据处理服务器基于目标规则，对待处理数据进行数据处理。

具体的，在得到待处理数据和选取与目标设备标识对应的目标规则后，数据处理服务器可以基于目标规则，对待处理数据进行数据处理。

示例性的，预设电子设备为用于对烟雾浓度进行测试的烟感设备，用字母A表示该烟感设备的UUID，数据处理服务器选取到与该烟感设备UUID(即A)对应的目标规则B为数据判断规则和数据输出规则的组合。其中，数据判断规则为判断输入数据的是否超出预设阈值，若超出预设阈值则输出“是”。数据输出规则为当接收到来自数据判断规则输出的“是”时，则为待处理数据对应的电子设备添加烟雾浓度过高的告警信息；当接收到来自数据判断规则输出的“否”时，则为待处理数据对应的电子设备添加烟雾浓度正常的告警信息。

后续，数据处理服务器接收到该烟感设备的原始数据，并对原始数据执行数据转换处理得到待处理数据后，可以将待处理数据输入目标规则B。目标规则B判断待处理数据中的烟雾浓度值小于预设阈值，并为该烟感设备添加烟雾浓度正常的告警信息。

在一种可以实现的方式中，结合图4，如图5所述，上述S402中，数据处理服务器基于目标通信协议的协议类型和目标设备标识，对原始数据执行数据转换处理，以得到待处理数据的方法，具体包括：S501-S503。

S501、数据处理服务器根据目标通信协议的协议类型对应的解析规则，提取原始数据中的关键字段。

具体的，在获取电子设备的目标设备标识和电子设备通过目标通信协议发送的原始数据后，数据处理服务器可以根据目标通信协议的协议类型对应的解析规则，提取原始数据中的关键字段。

其中，关键字段可以是原始数据的数据包中的净载数据。

可以理解的，数据的数据格式与数据通信协议的协议类型相对应，数据处理服务器可以根据数据通信协议的协议类型匹配与该数据对应的解析规则，从而解析数据以提取关键字段。

示例性的，预设电子设备的目标通信协议的协议类型为传输控制协议(transmission control protocol，TCP)，则数据处理服务器可以根据与TCP协议对应的解析规则，解析原始数据以提取关键字段。

S502、数据处理服务器读取预先建立好的设备标识与数据定义的对应关系，确定与目标设备标识对应的目标定义。

具体的，在提取原始数据中的关键字段后，数据处理服务器可以读取预先建立好的设备标识与数据定义的对应关系，确定与目标设备标识对应的目标定义。

在实际应用中，数据处理服务器可以与多种用于实现不同功能的电子设备进行数据传输。则可以由人工凭经验将用于实现相同和/或相似功能的电子设备划分为一种电子设备，为每一种电子设备添加数据定义，并与每台电子设备的设备标识对应的录入数据处理服务器的存储模块。

其中，数据定义可以用于表示与原始数据中的关键字段对应的特性和属性。

S503、数据处理服务器以预设数据格式存储关键字段和目标定义，并确定为待处理数据。

具体的，在确定与目标设备标识对应的目标定义后，数据处理服务器可以预设数据格式存储关键字段和目标定义，并确定为待处理数据。

可选的，预设数据格式可以是对象简谱格式(java script object notation,JSON)，也可以是其他数据格式，本申请实施例对此不作限定。

在一种可以实现的方式中，结合图4，如图6所述，上述S403中，数据处理服务器从预先建立好的数据处理规则中，选取与目标设备标识对应的目标规则的方法，具体包括：S601。

S601、数据处理服务器读取预先建立好的设备标识与预设规则的对应关系，确定与目标设备标识对应的目标规则。

具体的，在获取电子设备的目标设备标识后，数据处理服务器可以读取预先建立好的设备标识与预设规则的对应关系，确定与目标设备标识对应的目标规则。

其中，预设规则为数据转换规则、数据过滤规则、数据判断规则和数据输出规则中的至少一个或多个的任意组合。

示例性的，预设规则A可以是数据输出规则，预设规则B可以是先执行数据过滤规则，再执行数据判断规则，最后执行数据输出规则，预设规则C可以是先执行数据判断规则，再执行数据过滤规则，最后执行数据输出规则。

可选的，一个预设规则可以包括用于标识预设规则开始的开始部分，用于处理数据的至少一个数据处理规则或多个数据处理规则的任意组合的数据处理部分，用于连接各个数据处理规则的链条部分，用于标识预设规则结束的结束部分等部分，本申请实施例对此不作限定。

可选的，当预设规则为多个数据处理规则的任意组合时，多个数据处理规则之间的流程控制可以采用基于activity的流程控制。

可选的，一个预设规则结束时，可以通过日志记录组件log4j记录关于该预设规则的执行过程及输出结果的日志。

在一种可以实现的方式中，结合图4，如图7所述，该数据处理方法，还包括：S701-S702。

S701、数据处理服务器获取多个通信协议的协议规范。

具体的，为了满足复杂应用场景的业务需求，数据处理服务器需要和多个支持不同通信协议的电子设备之间通信连接。这种情况下，数据处理服务器可以获取多个通信协议的协议规范。

其中，多个通信协议的协议版本不同或者协议类型不同。

可选的，协议解析服务器中可以预先存储有多个通信协议的协议规范。当需要获取多个通信协议的协议规范时，数据处理服务器可以向协议解析服务器发送用于获取多个通信协议的协议规范的请求消息。协议解析服务器响应于请求消息，读取多个通信协议的协议规范，并发送给数据处理服务器。相应的，数据处理服务器可以接受来自协议解析服务器的多个通信协议的协议规范。

S702、数据处理服务器基于多个通信协议的协议规范，生成与多个通信协议一一对应的多个通信接口。

具体的，在获取多个通信协议的协议规范后，数据处理服务器可以基于多个通信协议的协议规范，生成与多个通信协议一一对应的多个通信接口。

其中，一个通信接口用于通过与一个通信接口对应的通信协议进行数据传输。

在实际应用中，生成与多个通信协议一一对应的多个通信接口的方式，可以是采用开源的netty网络框架进行。对netty网络框架支持的超文本传输协议(hyper texttransfer protocol，HTTP)、消息队列遥测传输协议(message queuing telemetrytransport,MQTT)、用户数据报协议(user datagram protocol，UDP)和TCP协议等协议，按照这些协议规范要求的数据包格式及通信模式等进行编程开发，以得到与HTTP、MQTT、UDP和TCP等协议分别对应的通信接口。

生成与多个通信协议一一对应的多个通信接口的方式，还可以是采用开源的leshan网络框架进行。对leshan网络框架支持的受限应用协议(constrained applicationprotocol，COAP)、轻量级M2M协议(lightweight machine to machine，LWM2M)等协议，按照这些协议规范要求的数据包格式及通信模式等进行编程开发，以得到与COAP和LWM2M等协议分别对应的通信接口。

在一种可以实现的方式中，结合图7，如图8所述，该数据处理方法，还包括：S801-S802。

S801、当多个通信协议包括目标通信协议时，数据处理服务器接收电子设备发送的鉴权信息。

具体的，在数据处理服务器需要和支持目标通信协议的电子设备之间通信连接时，若多个通信协议包括目标通信协议，电子设备可以通过与目标通信协议对应的通信接口向数据处理服务器发送鉴权信息。相应的，数据处理服务器可以接收电子设备发送的鉴权信息。

可选的，鉴权信息可以包括电子设备的设备标识和与电子设备的设备标识唯一对应的密码。

可选的，在预先为每台电子设备生成设备标识时，数据处理服务器还可以为每台电子设备生成与每台电子设备的设备标识唯一对应的密码，用于完成电子设备的鉴权等。

接着，数据处理服务器可以将设备标识和与设备标识一一对应的密码存入存储模块。同时，数据处理服务器还可以通过显示装置显示每台电子设备的设备标识和与每台电子设备的设备标识唯一对应的密码，以便于工作人员查看并录入每台电子设备的存储模块。

可选的，数据处理服务器可以采用16位随机字符串的方式生成密码。

S802、数据处理服务器根据鉴权信息，对电子设备进行鉴权。

具体的，在接收电子设备发送的鉴权信息后，数据处理服务器可以根据鉴权信息，对电子设备进行鉴权。

可选的，在对电子设备进行鉴权时，数据处理服务器可以读取预先存储在存储模块内的与电子设备对应的鉴权信息，若与接收到的电子设备发送的鉴权信息一致，则确定鉴权成功，若与接收到的电子设备发送的鉴权信息不一致，则确定鉴权失败。

在一种可以实现的方式中，结合图8，如图9所述，该数据处理方法，还包括：S901。

S901、当对电子设备鉴权成功时，数据处理服务器根据目标设备标识确定电子设备的分类信息。

具体的，当对电子设备鉴权成功时，数据处理服务器可以根据目标设备标识确定电子设备的分类信息。

其中，分类信息用于确定登录账户的查阅权限。

可选的，对于登录账户的查阅权限控制策略可以采用适配器模式(AdapterPattern))进行实现。

可选的，登录账户的查阅权限可以包括全量数据权限、部门数据权限、部门及子部门数据权限、个人数据权限和自定义数据权限等权限。

可选的，全量数据权限可以用于查阅与数据处理服务器建立连接的所有电子设备的原始数据。

可选的，部门数据权限可以用于查阅带有部门标识的所有电子设备的原始数据。其中，部门标识用于表示使用登录账户的工作人员所在的部门。

可选的，部门及子部门数据权限可以用于查阅带有部门级联标识的所有电子设备的原始数据。部门级联标识用于表示使用登录账户的工作人员所在的部门及所在部门所有子部门。

可选的，个人数据权限，可以用于查阅使用登录账户的工作人员在电子设备上自行添加的数据。

可选的，自定义数据权限，可以用于查阅与登录账户的角色对应的电子设备的原始数据。这种方式下，登录账户可以拥有一种或多种角色，一个电子设备可以对应于多个角色。

需要说明的是，为了实现对于电子设备的精细化管理，数据处理服务器可以为功能相同的电子设备，和与这些电子设备的功能相关的电子设备添加相同的类别标识，并将这些电子设备的目标设备标识和类别标识对应存储在数据处理服务器的存储模块。其中，一个电子设备的目标设备标识可以对应于多个类别标识。后续，可以设置每个工作人员的登录账户可以查阅的电子设备的类别标识，以使得每个工作人员登录账户后，查阅登录账户对应的类别标识的电子设备发送的原始数据。

示例性的，预设数据处理服务器连接有用于测量a位置温度的电子设备A、用于测量b位置温度的电子设备B、用于测量湿度的电子设备C和用于监测电路通断状态的电子设备D。则可以将电子设备A、B、C和D分为第一类电子设备，与第一类电子设备对应的工作人员可以查看全部电子设备发送的原始数据。还可以将功能相同的电子设备A和B，和与电子设备A和B的测温功能相关的用于测量湿度的电子设备C划分为第二类电子设备，与第二类电子设备对应的工作人员可以查看电子设备A、B和C发送的原始数据。

本申请实施例中，数据处理服务器在获取电子设备的目标设备标识和电子设备通过目标通信协议发送的原始数据后，可以基于目标通信协议的协议类型和目标设备标识，对原始数据执行数据转换处理，以得到待处理数据，并且可以从预先建立好的数据处理规则中，选取与目标设备标识对应的目标规则。这样一来，在接收到多个电子设备发送的不同格式的原始数据后，可以将多种不同数据格式的原始数据转换为统一数据格式的待处理数据，并通过针对于统一数据格式的数据处理规则进行数据处理。相比现有技术需要针对不同的数据格式建立多种不同的数据处理规则，本申请实施例提高了数据处理的效率。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对数据处理服务器进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。可选的，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

如图10所示，为本申请实施例提供的一种数据处理装置的结构示意图。该数据处理装置应用于数据处理服务器，可以用于执行如图4至图9所示的数据处理方法。图10所示数据处理装置包括：获取单元1001和处理单元1002。

获取单元1001，用于获取电子设备的目标设备标识和电子设备通过目标通信协议发送的原始数据。例如，结合图4，获取单元1001可以用于执行S401。

处理单元1002，用于基于目标通信协议的协议类型和获取单元1001获取到的目标设备标识，对原始数据执行数据转换处理，以得到待处理数据。数据转换处理用于将数据格式不同的数据转换为格式相同的数据。例如，结合图4，处理单元1002可以用于执行S402。

处理单元1002，用于从预先建立好的数据处理规则中，选取与获取单元1001获取到的目标设备标识对应的目标规则。数据处理规则用于对与待处理数据的数据格式相同的数据进行数据处理。例如，结合图4，处理单元1002可以用于执行S403。

处理单元1002，用于基于目标规则，对待处理数据进行数据处理。例如，结合图4，处理单元1002可以用于执行S404。

可选的，处理单元1002，具体用于：

根据目标通信协议的协议类型对应的解析规则，提取原始数据中的关键字段。例如，结合图5，处理单元1002可以用于执行S501。

读取预先建立好的设备标识与数据定义的对应关系，确定与目标设备标识对应的目标定义。例如，结合图5，处理单元1002可以用于执行S502。

以预设数据格式存储关键字段和目标定义，并确定为待处理数据。例如，结合图5，处理单元1002可以用于执行S503。

可选的，数据处理规则包括：数据转换规则、数据过滤规则、数据判断规则和数据输出规则。处理单元1002，具体用于：

读取预先建立好的设备标识与预设规则的对应关系，确定与目标设备标识对应的目标规则。预设规则为数据转换规则、数据过滤规则、数据判断规则和数据输出规则中的至少一个或多个的任意组合。例如，结合图6，处理单元1002可以用于执行S601。

可选的，获取单元1001，还用于：

获取多个通信协议的协议规范。多个通信协议的协议版本不同或者协议类型不同。例如，结合图7，获取单元1001可以用于执行S701。

基于多个通信协议的协议规范，生成与多个通信协议一一对应的多个通信接口。一个通信接口用于通过与一个通信接口对应的通信协议进行数据传输。例如，结合图7，获取单元1001可以用于执行S702。

可选的，处理单元1002，还用于：

当多个通信协议包括目标通信协议时，接收电子设备发送的鉴权信息。例如，结合图8，处理单元1002可以用于执行S801。

根据鉴权信息，对电子设备进行鉴权。例如，结合图8，处理单元1002可以用于执行S802。

可选的，处理单元1002，还用于：

当对电子设备鉴权成功时，根据目标设备标识确定电子设备的分类信息。分类信息用于确定登录账户的查阅权限。例如，结合图9，处理单元1002可以用于执行S901。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种数据处理方法，其特征在于，包括：

获取电子设备的目标设备标识和所述电子设备通过目标通信协议发送的原始数据；

基于所述目标通信协议的协议类型和所述目标设备标识，对所述原始数据执行数据转换处理，以得到待处理数据；所述数据转换处理用于将数据格式不同的数据转换为格式相同的数据；

从预先建立好的数据处理规则中，选取与所述目标设备标识对应的目标规则；所述数据处理规则用于对与所述待处理数据的数据格式相同的数据进行数据处理；

基于所述目标规则，对所述待处理数据进行数据处理。

2.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述目标通信协议的协议类型和所述目标设备标识，对所述原始数据执行数据转换处理，以得到待处理数据，包括：

根据所述目标通信协议的协议类型对应的解析规则，提取所述原始数据中的关键字段；

读取预先建立好的设备标识与数据定义的对应关系，确定与所述目标设备标识对应的目标定义；

以预设数据格式存储所述关键字段和所述目标定义，并确定为所述待处理数据。

3.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理规则包括：数据转换规则、数据过滤规则、数据判断规则和数据输出规则；所述从预先建立好的数据处理规则中，选取与所述目标设备标识对应的目标规则，包括：

读取预先建立好的设备标识与预设规则的对应关系，确定与所述目标设备标识对应的目标规则；所述预设规则为所述数据转换规则、所述数据过滤规则、所述数据判断规则和所述数据输出规则中的至少一个或多个的任意组合。

4.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法，还包括：

获取多个通信协议的协议规范；所述多个通信协议的协议版本不同或者协议类型不同；

基于所述多个通信协议的协议规范，生成与所述多个通信协议一一对应的多个通信接口；一个通信接口用于通过与所述一个通信接口对应的通信协议进行数据传输。

5.根据权利要求4所述的数据处理方法，其特征在于，所述数据处理方法，还包括：

当所述多个通信协议包括所述目标通信协议时，接收所述电子设备发送的鉴权信息；

根据所述鉴权信息，对所述电子设备进行鉴权。

6.根据权利要求5所述的数据处理方法，其特征在于，所述数据处理方法，还包括：

当对所述电子设备鉴权成功时，根据所述目标设备标识确定所述电子设备的分类信息；所述分类信息用于确定登录账户的查阅权限。

7.一种数据处理装置，其特征在于，包括：获取单元和处理单元；

所述获取单元，用于获取电子设备的目标设备标识和所述电子设备通过目标通信协议发送的原始数据；

所述处理单元，用于基于所述目标通信协议的协议类型和所述获取单元获取到的所述目标设备标识，对所述原始数据执行数据转换处理，以得到待处理数据；所述数据转换处理用于将数据格式不同的数据转换为格式相同的数据；

所述处理单元，用于从预先建立好的数据处理规则中，选取与所述获取单元获取到的所述目标设备标识对应的目标规则；所述数据处理规则用于对与所述待处理数据的数据格式相同的数据进行数据处理；

所述处理单元，用于基于所述目标规则，对所述待处理数据进行数据处理。

8.根据权利要求7所述的数据处理装置，其特征在于，所述处理单元，具体用于：

根据所述目标通信协议的协议类型对应的解析规则，提取所述原始数据中的关键字段；

读取预先建立好的设备标识与数据定义的对应关系，确定与所述目标设备标识对应的目标定义；

以预设数据格式存储所述关键字段和所述目标定义，并确定为所述待处理数据。

9.根据权利要求7所述的数据处理装置，其特征在于，所述数据处理规则包括：数据转换规则、数据过滤规则、数据判断规则和数据输出规则；所述处理单元，具体用于：

读取预先建立好的设备标识与预设规则的对应关系，确定与所述目标设备标识对应的目标规则；所述预设规则为所述数据转换规则、所述数据过滤规则、所述数据判断规则和所述数据输出规则中的至少一个或多个的任意组合。

10.根据权利要求7所述的数据处理装置，其特征在于，所述获取单元，还用于：

获取多个通信协议的协议规范；所述多个通信协议的协议版本不同或者协议类型不同；

基于所述多个通信协议的协议规范，生成与所述多个通信协议一一对应的多个通信接口；一个通信接口用于通过与所述一个通信接口对应的通信协议进行数据传输。

11.根据权利要求10所述的数据处理装置，其特征在于，所述处理单元，还用于：

当所述多个通信协议包括所述目标通信协议时，接收所述电子设备发送的鉴权信息；

根据所述鉴权信息，对所述电子设备进行鉴权。

12.根据权利要求11所述的数据处理装置，其特征在于，所述处理单元，还用于：

当对所述电子设备鉴权成功时，根据所述目标设备标识确定所述电子设备的分类信息；所述分类信息用于确定登录账户的查阅权限。

13.一种数据处理装置，其特征在于，包括存储器和处理器；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过总线连接；当所述数据处理装置运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述数据处理装置执行如权利要求1-6任一项所述的数据处理方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机执行指令，当所述计算机执行指令在计算机上运行时，使得所述计算机执行如权利要求1-6任一项所述的数据处理方法。

Images