[go: up one dir, main page]

CN119336801A - 实时分析任务生成的方法、装置、设备及计算机存储介质 - Google Patents

实时分析任务生成的方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN119336801A
CN119336801A CN202411347191.9A CN202411347191A CN119336801A CN 119336801 A CN119336801 A CN 119336801A CN 202411347191 A CN202411347191 A CN 202411347191A CN 119336801 A CN119336801 A CN 119336801A
Authority
CN
China
Prior art keywords
field
real
sql
data
layer architecture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202411347191.9A
Other languages
English (en)
Inventor
龚雪菲
刘晓
邓文祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile IoT Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile IoT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile IoT Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202411347191.9A priority Critical patent/CN119336801A/zh
Publication of CN119336801A publication Critical patent/CN119336801A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种实时分析任务生成的方法、装置、设备及计算机存储介质，涉及物联网技术领域。该方法包括：获取待分析数据流、外层架构、内层架构、聚合条件参数和动态输出字段；根据消息类型与外层架构的关系确定待分析数据流的外层架构，基于外层架构解析待分析数据流中的产品字段和动态字段集合；根据产品字段与内层架构的关系确定内层架构并基于内层架构、动态字段集合和动态输出字段解析出动态字段集合中的动态输出字段数据；基于内层架构、外层架构、产品字段、动态输出字段数据、聚合条件参数和SQL语句生成规则，生成实时分析任务。本申请实施例基于两层架构生成分析任务，可以根据配置信息的变化调整，提高了任务生成的灵活性和扩展性。

Description

实时分析任务生成的方法、装置、设备及计算机存储介质
技术领域
本申请属于物联网技术领域，尤其涉及一种实时分析任务生成的方法、装置、设备及计算机存储介质。
背景技术
物联网平台对设备数据进行分析时，由于设备的数据量较大以及设备信息复杂等原因，设备数据分析一般采用离线批量处理。但随着物联网平台对设备数据需要实时分析的场景越来越多，设备数据的实时分析愈发重要。
现有的实时分析任务生成时需要用户按照自己的需求，为每种设备编写基于特定的数据模型和报文的实时分析代码，如果新设备加入或现有设备的数据模型和报文发生变化时，需要人手动重新编写或修改代码，生成实时分析任务的灵活性和扩展性较差。
发明内容
本申请实施例提供一种实时分析任务生成的方法、装置、设备及计算机存储介质，以解决现有技术的实时分析任务生成方法的灵活性和扩展性较差的问题。
第一方面，本申请实施例提供一种实时分析任务生成的方法，该方法包括：
获取待分析数据流和配置信息，配置信息包括输入信息、处理信息和输出信息，输入信息包括外层架构、内层架构，处理信息包括聚合条件参数，输出信息包括动态输出字段；
根据数据流的消息类型与外层架构的关系确定待分析数据流的外层架构，并基于外层架构解析出待分析数据流中的产品字段和动态字段集合；
根据产品字段与内层架构的关系确定内层架构，并基于内层架构、动态字段集合和动态输出字段解析出动态字段集合中的动态输出字段数据；
基于内层架构、外层架构、产品字段、动态输出字段数据、聚合条件参数和预设的结构化查询SQL语句生成规则，确定SQL语句；
将SQL语句发送至计算引擎执行，生成实时分析任务。
第二方面，本申请实施例提供了一种实时分析任务生成的装置，该装置包括：
获取模块，用于获取待分析数据流和配置信息，配置信息包括输入信息、处理信息和输出信息，输入信息包括外层架构、内层架构，处理信息包括聚合条件参数，输出信息包括动态输出字段；
解析模块，用于根据数据流的消息类型与外层架构的关系确定待分析数据流的外层架构，并基于外层架构解析出待分析数据流中的产品字段和动态字段集合；
解析模块，还用于根据产品字段与内层架构的关系确定内层架构，并基于内层架构、动态字段集合和动态输出字段解析出动态字段集合中的动态输出字段数据；
确定模块，用于基于内层架构、外层架构、产品字段、动态输出字段数据、聚合条件参数和预设的结构化查询SQL语句生成规则，确定SQL语句；
生成模块，用于将SQL语句发送至计算引擎执行，生成实时分析任务。
第三方面，本申请实施例提供了一种终端设备，该设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现如第一方面的实时分析任务生成的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面的实时分析任务生成的方法。
第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行如第一方面的实时分析任务生成的方法。
本申请实施例提供一种实时分析任务生成的方法、装置、设备及计算机存储介质，该方法首先获取待分析数据流和配置信息，配置信息包括输入信息、处理信息和输出信息，输入信息包括外层架构、内层架构，处理信息包括聚合条件参数，输出信息包括动态输出字段。根据待分析数据流的消息类型与外层架构类型的关系确定外层架构，并基于外层架构解析出待分析数据流中的产品字段和动态字段集合；使得系统能够灵活地处理不同格式的数据流，增强了系统的通用性和扩展性。根据产品字段与内层架构的关系确定内层架构，并基于内层架构、动态字段集合和动态输出字段解析出动态字段集合中的动态输出字段数据；通过解析出产品字段和动态字段集合，可以处理动态变化的属性或事件数据，允许系统适应不断变化的数据特征。基于内层架构、外层架构、产品字段、动态输出字段数据和聚合条件参数确定结构化查询SQL语句。将SQL语句发送至计算引擎执行，生成实时分析任务。使用两层架构结合，外层架构用于处理固定不变的结构数据字段，内层架构用于处理动态变化的属性或事件数据，基于两层架构确定SQL语句，可以根据实时数据流和配置信息的变化即时调整，从而实现了实时分析任务的动态生成，提高了实时分析任务生成的灵活性和扩展性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的实时分析任务生成的方法的流程示意图；
图2是本申请实施例提供的配置信息获取的方法的流程示意图；
图3是本申请实施例提供的确定SQL语句的方法的流程示意图；
图4是本申请实施例提供的实时分析任务生成的装置的结构示意图；
图5是本申请实施例提供的终端设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
现有技术的物联网平台对设备数据进行实时分析时，通常使用静态分析方法。首先需要开发者根据自己的需求编写实时任务的代码，并将任务提交到实时计算引擎进行计算，一旦编写完成并部署，就很难根据设备数据模型或报文的变化进行动态调整。在新设备加入或数据模型发生变化时需要用户逐一为新设备编写分析任务或修改代码，增加了人力成本和系统更新的复杂性，尤其是在设备种类繁多、数据模型复杂的情况下，维护成本显著增加，缺乏对新设备加入或数据模型变化的自适应能力。实时分析任务生成方法的灵活性和扩展性较差。
为了解决现有技术，本申请实施例提供了一种实时分析任务生成的方法、装置、设备及计算机存储介质，该方法首先获取待分析数据流和配置信息，配置信息包括输入信息、处理信息和输出信息，输入信息包括外层架构、内层架构，处理信息包括聚合条件参数，输出信息包括动态输出字段。根据待分析数据流的消息类型与外层架构类型的关系确定外层架构，并基于外层架构解析出待分析数据流中的产品字段和动态字段集合；使得系统能够灵活地处理不同格式的数据流，增强了系统的通用性和扩展性。根据产品字段与内层架构的关系确定内层架构，并基于内层架构、动态字段集合和动态输出字段解析出动态字段集合中的动态输出字段数据；通过解析出产品字段和动态字段集合，可以处理动态变化的属性或事件数据，允许系统适应不断变化的数据特征。基于内层架构、外层架构、产品字段、动态输出字段数据和聚合条件参数确定结构化查询SQL语句。将SQL语句发送至计算引擎执行，生成实时分析任务。使用两层架构结合，外层架构用于处理固定不变的结构数据字段，内层架构用于处理动态变化的属性或事件数据，基于两层架构确定SQL语句，可以根据实时数据流和配置信息的变化即时调整，从而实现了实时分析任务的动态生成，提高了实时分析任务生成的灵活性和扩展性。
下面结合附图对本申请实施例所提供的实时分析任务生成的方法进行介绍。
图1示出了本申请一个实施例提供的实时分析任务生成的方法的流程示意图。如图1所示，该方法可以包括以下步骤：S101至S105。
S101，获取待分析数据流和配置信息，配置信息包括输入信息、处理信息和输出信息，输入信息包括外层架构、内层架构，处理信息包括聚合条件参数，输出信息包括动态输出字段。
在一些实施例中，可以通过配置文件、数据库或管理界面动态定义和管理配置的输入信息、处理信息和输出信息。不同用户进行配置信息的配置时，只能选择该用户具有权限的数据库对应的存储地址。
在一些实施例中，输入信息还可以包括项目、产品、设备范围、消息类型和属性字段，其中消息类型可以分为属性和事件两种。处理信息还可以包括条件设置、分组设置和窗口计算设置。其中，条件设置可以为支持根据属性数据类型选择处理条件，例如整形数据支持大于、大于等于、小于、小于等于、不等于。输出信息还可以包括存储地址和存储时效。
用户可以根据不同数据流和业务的需求进行配置信息的设置，通过配置信息中的输入信息、处理信息和输出信息，能够实现对数据处理流程的灵活控制，根据不同需求进行定制化配置。当数据源或分析需求发生变化时，只需更新配置信息而无需修改底层代码，从而提高了系统的可扩展性和可维护性。
S102，根据数据流的消息类型与外层架构的关系确定待分析数据流的外层架构，并基于外层架构解析出待分析数据流中的产品字段和动态字段集合。
在一些实施例中，外层架构用于定义数据流中固定不变的结构数据字段。其中，外层架构可以包括项目字段、产品字段、消息类型等固定字段。
外层架构处理固定不变的结构数据字段，可以将原始数据流转换为结构化数据，减少处理步骤中的不必要数据，便于后续的分析处理。
S103，根据产品字段与内层架构的关系确定内层架构，并基于内层架构、动态字段集合和动态输出字段解析出动态字段集合中的动态输出字段数据。
在一些实施例中，内层架构用于定义数据流中动态变化的属性或事件数据。
通过内层架构处理动态变化的属性或事件数据，允许系统适应不同的数据结构和类型。
S104，基于内层架构、外层架构、产品字段、动态输出字段数据、聚合条件参数和预设的结构化查询SQL语句生成规则，确定SQL语句。
通过使用双层架构确定SQL语句，系统能够适应数据结构的变化，无需人工干预即可处理新的或更改的数据字段，使得系统能够快速响应数据变化，提高了数据实时分析的自动化程度。
S105，将SQL语句发送至计算引擎执行，生成实时分析任务。
在一些实施例中，通过弗林克容器编排平台(Flink Native Kubernetes)实现实时分析任务的动态分配。当有多个任务，每个任务有多个任务管理器(TaskManager)的需求时，可以动态提供TaskManager资源，解决资源伸缩问题。
首先获取待分析数据流和配置信息，配置信息包括输入信息、处理信息和输出信息，输入信息包括外层架构、内层架构，处理信息包括聚合条件参数，输出信息包括动态输出字段。根据待分析数据流的消息类型与外层架构类型的关系确定外层架构，并基于外层架构解析出待分析数据流中的产品字段和动态字段集合；使得系统能够灵活地处理不同格式的数据流，增强了系统的通用性和扩展性。根据产品字段与内层架构的关系确定内层架构，并基于内层架构、动态字段集合和动态输出字段解析出动态字段集合中的动态输出字段数据；通过解析出产品字段和动态字段集合，可以处理动态变化的属性或事件数据，允许系统适应不断变化的数据特征。基于内层架构、外层架构、产品字段、动态输出字段数据和聚合条件参数确定结构化查询SQL语句。将SQL语句发送至计算引擎执行，生成实时分析任务。使用两层架构结合，外层架构用于处理固定不变的结构数据字段，内层架构用于处理动态变化的属性或事件数据，基于两层架构确定SQL语句，可以根据实时数据流和配置信息的变化即时调整，从而实现了实时分析任务的动态生成，提高了实时分析任务生成的灵活性和扩展性。
在一些实施例中，待分析数据流的数据上报消息格式如表1所示：
表1数据上报消息格式
data为设备消息的具体内容，包含了外层架构的相关属性或者事件信息，外层架构格式如表2所示：
表2外层架构结构
对于外层架构，其外层数据字段键值(key)是固定的动态字段集合(params)，对应的值为产品的属性参数，会随着产品的而变化。通过外层schema以及产品模型schema两层模型叠加，构成动态解析数据前置条件。
在一些实施例中，获取待分析数据流，可以包括：
获取待分析数据流的数据源地址；
根据数据源地址和预设连接器的关系选择目标连接器；
基于目标连接器从待分析数据流的数据源地址对应的数据源获取待分析数据流。
通过根据数据源地址和预设连接器的关系选择目标连接器，系统能够适配多种数据源，从而满足不同数据源类型的数据获取请求。
在一些实施例中，数据源可以包括兔子消息队列(RabbitMQ)或者卡夫卡消息队列(Kafka)等实时消息中间件。使用兔子消息队列连接器(RabbitMQ Connector)或卡夫卡消息队列连接器(Kafka Connector)，分别与或者卡夫卡消息队列等实时消息中间件连接并获取待分析数据流。
在一些实施例中，如图2所示，获取配置信息，可以包括：S201至S202。
S201，获取用户在可视化界面选择的输入信息、处理信息和输出信息标识。
S202，根据输入信息、处理信息和输出信息标识获取对应的输入信息、处理信息和输出信息。
将实时分析任务的复杂过程通过图像化编排方式动态生成实时任务，该方式无需开发代码，用户可以通过拖放、点击等简单操作快速完成配置，相比于传统的命令行或代码配置，大大加快了配置速度。
在一些实施例中，不同任务的输入信息一致，但是需要的处理不相同时，可以在输入信息对应的节点上配置多个包含处理信息的节点，每个处理信息对应节点需要配置相应的输出信息节点；具有相同的输入信息和处理，但是输出信息不同时，可以在处理信息对应节点后配置多个输出信息节点。其中处理节点后面必须连接输出节点，输入节点后面必须连接处理节点或者输出节点。
在一些实施例中，如图3所示，配置信息还包括窗口计算模式、窗口时间，基于内层架构、外层架构、产品字段、动态输出字段数据、聚合条件参数和预设的结构化查询SQL语句生成规则，确定SQL语句，可以包括以下步骤：S301至S304。
S301，根据外层架构、动态字段集合、产品字段和SQL语句生成规则构建SQL语句框架。
在一些实施例中，当消息类型为属性上报时，上报动态字段构建SQL语句框架时，需要用多级嵌套结构解析出有效动态字段(params)、项目字段、产品字段等，但内层字段无法解析，因此需根据后续内层的schema进行解析。
S302，根据内层架构、动态输出字段数据和SQL语句生成规则生成内层SQL语句片段，并与SQL语句框架拼接，得到SQL查询语句。
在一些实施例中，在一个示例中，动态输出字段为温度时，拼接的sql语句可以为cast(data['params']['temp']['value']as bigint)as temp。
S303，根据窗口计算模式、窗口时间和SQL语句生成规则生成时间处理SQL语句片段，并与SQL查询语句拼接得到拼接时间处理SQL语句片段后的SQL查询语句。
在一些实施例中，窗口计算模式可以包括滚动窗口计算或滑动窗口计算。滚动窗口计算为将数据流划分为固定大小的、不重叠的窗口；滑动窗口为将数据流划分为固定大小、相邻窗口之间存在重叠的窗口。
在一些实施例中，窗口时间可以包括事件时间或处理时间。事件时间是事件实际发生的时间，通常由数据本身携带的时间戳表示；处理时间是数据被处理的时间。
在一个示例中，当窗口时间为处理时间时，生成的时间处理sql语句片段可以为DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-ddHH:mm:ss')as insert_time。
S304，根据聚合条件参数和SQL语句生成规则生成处理SQL语句，并与拼接时间处理SQL语句片段后的SQL查询语句拼接，得到SQL语句。
在一些实施例中，聚合条件参数包括需要聚合的动态字段、聚合方法以及聚合结果名称。
在一些实施例中，聚合方法可以包括求和、求最小值、求最大值、求平均值和计数。
在一个示例中，需要聚合的动态字段为温度，聚合方法为求最大值，聚合结果为温度，生成的处理SQL语句可以为max(cast(data['params']['temp']['value']as bigint))as temp。
将SQL语句分解为个独立的片段，不同片段根据运行时的数据和配置动态生成，可以快速适应数据结构和业务需求的变化。自动生成SQL语句，减少了手动编写和调试SQL语句的工作量，提高了实时分析任务生成的灵活性。
在一些实施例中，配置信息还包括项目字段，在将SQL语句发送至计算引擎，生成实时分析任务之后，该方法还可以包括：
拼接项目字段、产品字段和窗口时间生成存储表名；
根据存储表名、项目字段对应的预设数据库类型和数据库地址创建数据库表，以用于存储实时分析任务的执行结果。
通过动态拼接字段生成存储表名，能够灵活地适应不同项目、产品和时间窗口的实时分析需求。通过预设数据库类型和地址，有助于实现数据的隔离管理，减少了数据混淆的风险和提高数据查询的效率。
在一些实施例中，在拼接项目字段、产品字段和窗口时间生成存储表名之后，该方法还可以包括：通过哈希算法，将存储表名转换生成短表名，将短表名设置为新的存储表名。
将存储表名转换为短表名，可以占用更少的存储空间，同时减少数据库解析和处理的时间。通过使用哈希算法生成段表名，确保了表名的唯一性。
在一些实施例中，数据库表根据预设时间周期性进行数据清理，提高存储空间的重复利用率。
在一些实施例中，待分析数据流按照预设规则分组存储，将SQL语句发送至计算引擎执行，生成实时分析任务，可以包括：
根据待分析数据流的存储分组与计算引擎的关系，将SQL语句发送至该存储分组对应的计算引擎执行，生成实时分析任务。
在一些实施例中，通过弗林克任务管理器Flink TaskManager实时监听消息中间件并将从消息中间件获取的待分析数据流存储到预设的存储分组中。
通过对待分析数据流分组来保证只有一个计算引擎使用同一份数据，避免数据的重复处理。
在一些实施例中，通过弗林克检查点Flink Checkpoints，周期性的保存实时分析任务的任务状态，在执行任务失败时，可以自动重启任务并通过最近时间的检查点恢复，实现了任务的计算状态保存以及容错处理，保证数据出现异常后，可以实现数据的修正。
图4示出了本申请实施例提供的一种实时分析任务生成的装置400，如图4所示，该装置可以包括：
获取模块401，用于获取待分析数据流和配置信息，配置信息包括输入信息、处理信息和输出信息，输入信息包括外层架构、内层架构，处理信息包括聚合条件参数，输出信息包括动态输出字段；
解析模块402，用于根据数据流的消息类型与外层架构的关系确定待分析数据流的外层架构，并基于外层架构解析出待分析数据流中的产品字段和动态字段集合；
相应的，解析模块402，还用于根据产品字段与内层架构的关系确定内层架构，并基于内层架构、动态字段集合和动态输出字段解析出动态字段集合中的动态输出字段数据；
确定模块403，用于基于内层架构、外层架构、产品字段、动态输出字段数据、聚合条件参数和预设的结构化查询SQL语句生成规则，确定SQL语句；
生成模块404，用于将SQL语句发送至计算引擎执行，生成实时分析任务。
在一些实施例中，获取模块401，还用于获取待分析数据流的数据源地址；
确定模块403，还用于根据数据源地址和预设连接器的关系选择目标连接器；
获取模块401，还用于基于目标连接器从待分析数据流的数据源地址对应的数据源获取待分析数据流。
在一些实施例中，获取模块401，还用于获取用户在可视化界面选择的输入信息、处理信息和输出信息标识；
获取模块401，还用于根据输入信息、处理信息和输出信息标识获取对应的输入信息、处理信息和输出信息。
在一些实施例中，配置信息还包括窗口计算模式、窗口时间，实时分析任务生成的装置400，还可以包括：
生成模块404，还用于根据外层架构、动态字段集合、产品字段和SQL语句生成规则构建SQL语句框架；
拼接模块，用于根据内层架构、动态输出字段数据和SQL语句生成规则生成内层SQL语句片段，并与SQL语句框架拼接，得到SQL查询语句；
拼接模块，还用于根据窗口计算模式、窗口时间和SQL语句生成规则生成时间处理SQL语句片段，并与SQL查询语句拼接得到拼接时间处理SQL语句片段后的SQL查询语句；
拼接模块，还用于根据聚合条件参数和SQL语句生成规则生成处理SQL语句，并与拼接时间处理SQL语句片段后的SQL查询语句拼接，得到SQL语句。
在一些实施例中，配置信息还包括项目字段，在将SQL语句发送至计算引擎，生成实时分析任务之后，实时分析任务生成的装置400，还可以包括：
拼接模块，还用于拼接项目字段、产品字段和窗口时间生成存储表名；
存储模块，用于根据存储表名、项目字段对应的预设数据库类型和数据库地址创建数据库表，以用于存储实时分析任务的执行结果。
在一些实施例中，生成模块404，还用于根据待分析数据流的存储分组与计算引擎的关系，将SQL语句发送至该存储分组对应的计算引擎执行，生成实时分析任务。
图4所示的装置中的各个模块可以实现图1中各个步骤，并达到相应的技术效果，为简洁描述在此不再赘述。
图5示出了本申请实施例提供的终端设备的硬件结构示意图。
终端设备可以包括处理器501以及存储有计算机程序指令的存储器502。
具体地，上述处理器501可以包括中央处理器(Central Processing Unit，CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器502可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器502可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在一个实例中，存储器502可以包括可移除或不可移除(或固定)的介质，或者存储器502是非易失性固态存储器。存储器502可在综合网关容灾设备的内部或外部。
在一个实例中，存储器502可以包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本公开的实时分析任务生成的方法所描述的操作。
处理器501通过读取并执行存储器502中存储的计算机程序指令，以实现图1所示实施例中的实时分析任务生成的方法。
在一个示例中，终端设备还可包括通信接口503和总线504。其中，如图5所示，处理器501、存储器502、通信接口503通过总线504连接并完成相互间的通信。
通信接口503，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线504包括硬件、软件或两者，将终端设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(IndustryStandard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线504可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的实时分析任务生成的方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种实时分析任务生成的方法。
本申请实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理其执行时实现上述实施例中的任意一种实时分析任务生成的方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者文本段。程序或者文本段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、只读存储器(Read-Only Memory，ROM)、闪存、可擦除只读存储器(Erasable ReadOnly Memory，EROM)、软盘、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、光盘、硬盘、光纤介质、射频(Radio Frequency，RF)链路等等。文本段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种实时分析任务生成的方法，其特征在于，包括：
获取待分析数据流和配置信息，所述配置信息包括输入信息、处理信息和输出信息，所述输入信息包括外层架构、内层架构，所述处理信息包括聚合条件参数，所述输出信息包括动态输出字段；
根据数据流的消息类型与外层架构的关系确定待分析数据流的外层架构，并基于外层架构解析出待分析数据流中的产品字段和动态字段集合；
根据所述产品字段与内层架构的关系确定内层架构，并基于内层架构、动态字段集合和动态输出字段解析出动态字段集合中的动态输出字段数据；
基于内层架构、外层架构、产品字段、动态输出字段数据、聚合条件参数和预设的结构化查询SQL语句生成规则，确定SQL语句；
将所述SQL语句发送至计算引擎执行，生成实时分析任务。
2.根据权利要求1所述的实时分析任务生成的方法，其特征在于，所述获取待分析数据流，包括：
获取待分析数据流的数据源地址；
根据数据源地址和预设连接器的关系选择目标连接器；
基于所述目标连接器从待分析数据流的数据源地址对应的数据源获取待分析数据流。
3.根据权利要求1所述的实时分析任务生成的方法，其特征在于，获取配置信息，包括：
获取用户在可视化界面选择的输入信息、处理信息和输出信息标识；
根据所述输入信息、处理信息和输出信息标识获取对应的输入信息、处理信息和输出信息。
4.根据权利要求1所述的实时分析任务生成的方法，其特征在于，所述配置信息还包括窗口计算模式、窗口时间，所述基于内层架构、外层架构、产品字段、动态输出字段数据、聚合条件参数和预设的结构化查询SQL语句生成规则，确定SQL语句，包括：
根据外层架构、动态字段集合、产品字段和SQL语句生成规则构建SQL语句框架；
根据内层架构、动态输出字段数据和SQL语句生成规则生成内层SQL语句片段，并与SQL语句框架拼接，得到SQL查询语句；
根据窗口计算模式、窗口时间和SQL语句生成规则生成时间处理SQL语句片段，并与SQL查询语句拼接得到拼接时间处理SQL语句片段后的SQL查询语句；
根据聚合条件参数和SQL语句生成规则生成处理SQL语句，并与拼接时间处理SQL语句片段后的SQL查询语句拼接，得到SQL语句。
5.根据权利要求4所述的实时分析任务生成的方法，其特征在于，所述配置信息还包括项目字段，在将所述SQL语句发送至计算引擎，生成实时分析任务之后，所述方法还包括：
拼接项目字段、产品字段和窗口时间生成存储表名；
根据存储表名、项目字段对应的预设数据库类型和数据库地址创建数据库表，以用于存储实时分析任务的执行结果。
6.根据权利要求1所述的实时分析任务生成的方法，其特征在于，所述待分析数据流按照预设规则分组存储，将所述SQL语句发送至计算引擎执行，生成实时分析任务，包括：
根据待分析数据流的存储分组与计算引擎的关系，将SQL语句发送至该存储分组对应的计算引擎执行，生成实时分析任务。
7.一种实时分析任务生成的装置，其特征在于，所述装置包括：
获取模块，用于获取待分析数据流和配置信息，所述配置信息包括输入信息、处理信息和输出信息，所述输入信息包括外层架构、内层架构，所述处理信息包括聚合条件参数，所述输出信息包括动态输出字段；
解析模块，用于根据数据流的消息类型与外层架构的关系确定待分析数据流的外层架构，并基于外层架构解析出待分析数据流中的产品字段和动态字段集合；
解析模块，还用于根据所述产品字段与内层架构的关系确定内层架构，并基于内层架构、动态字段集合和动态输出字段解析出动态字段集合中的动态输出字段数据；
确定模块，用于基于内层架构、外层架构、产品字段、动态输出字段数据、聚合条件参数和预设的结构化查询SQL语句生成规则，确定SQL语句；
生成模块，用于将所述SQL语句发送至计算引擎执行，生成实时分析任务。
8.一种终端设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1-6任意一项所述的实时分析任务生成的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的实时分析任务生成的方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如权利要求1-6任意一项所述的实时分析任务生成的方法。
CN202411347191.9A 2024-09-25 2024-09-25 实时分析任务生成的方法、装置、设备及计算机存储介质 Pending CN119336801A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411347191.9A CN119336801A (zh) 2024-09-25 2024-09-25 实时分析任务生成的方法、装置、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411347191.9A CN119336801A (zh) 2024-09-25 2024-09-25 实时分析任务生成的方法、装置、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN119336801A true CN119336801A (zh) 2025-01-21

Family

ID=94264843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411347191.9A Pending CN119336801A (zh) 2024-09-25 2024-09-25 实时分析任务生成的方法、装置、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN119336801A (zh)

Similar Documents

Publication Publication Date Title
CN106874247B (zh) 一种报表生成方法及装置
CN111339073A (zh) 实时数据处理方法、装置、电子设备及可读存储介质
CN111061678B (zh) 业务数据处理方法、装置、计算机设备和存储介质
CN111104214B (zh) 一种工作流应用方法及装置
CN109359139A (zh) 数据同步方法、系统、电子设备及计算机可读存储介质
CN112204527A (zh) 用于处理多工程系统环境中的工程数据的方法和系统
CN111652658A (zh) 画像融合方法、装置、电子设备及计算机可读存储介质
CN115167351A (zh) 一种控制器功能更新方法、系统、车辆和服务器
CN110413975A (zh) 一种基于模板的报警渲染方法和装置
CN111338869B (zh) 配置参数管理方法、装置、设备及存储介质
CN114928574B (zh) 信息发送方法、装置、电子设备和计算机可读介质
CN115329007A (zh) 数据库之间的数据同步方法、系统、电子设备及存储介质
CN114237602A (zh) 规则引擎构建方法、装置、设备及计算机存储介质
CN115470355A (zh) 轨道交通信息查询方法、装置、电子设备和存储介质
WO2022041279A1 (zh) 物联网中的设备管理方法、装置、计算机设备及存储介质
CN119336801A (zh) 实时分析任务生成的方法、装置、设备及计算机存储介质
WO2025001183A1 (zh) 数据处理方法、电子设备和存储介质
CN115277421B (zh) 配置信息推送方法、装置、电子设备和计算机可读介质
CN114218313B (zh) 数据管理方法、装置、电子设备、存储介质及产品
CN115186738B (zh) 模型训练方法、装置和存储介质
CN116471183A (zh) 数据获取的方法、装置、设备和计算机存储介质
CN116185389A (zh) 一种代码生成方法、装置、电子设备及介质
CN116341508A (zh) 报文模板的动态配置方法、装置、计算机设备及存储介质
CN115757304A (zh) 一种日志存储方法、装置、系统、电子设备及存储介质
CN110493326B (zh) 基于zookeeper管理集群配置文件的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination