CN117235167B - 一种应用于etl系统的任务流动态配置方法及系统 - Google Patents

Abstract

本申请提供了一种应用于ETL系统的任务流动态配置方法及系统，属于ETL系统的技术领域，用于解决相关技术中ETL系统的效率较低的问题。在该方法及系统中，获取ETL系统的任务节点的依赖关系以及数据源表为空还是有业务数据；确定连接空的数据源表的根任务节点以及仅依赖于连接空的数据源表的根任务节点的任务节点为无意义节点；在任务节点的依赖关系中去除无意义节点，形成任务节点的第一依赖关系，第一依赖关系的任务流供ETL系统执行。在ETL系统应用时，能够实现任务节点的依赖关系的自动配置，去除依赖关系中无意义节点，得到第一依赖关系供ETL系统执行，避免了ETL系统执行无意义节点造成的资源浪费，有利于提高ETL系统的效率。

Description

一种应用于ETL系统的任务流动态配置方法及系统

技术领域

本申请涉及ETL系统的技术领域，尤其涉及一种应用于ETL系统的任务流动态配置方法及系统。

背景技术

ETL系统一般负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或者数据集市中，成为联机分析处理、数据挖掘的基础。

分布的、异构数据源来源于不同的数据源表，在ETL系统的实际应用过程中，某些数据源表在某些时间可能为空，在这种情况下，针对这些空的数据源表的抽取数据源的任务将变的毫无意义，这个问题不仅影响到改任务本身，还会传播到任务流中所有直接或间接依赖于这些数据源表的数据处理任务，导致任务流中大量的任务在无数据的情况下无意义的执行，浪费了计算资源，创建了无用的数据连接，并对数据源表造成了不必要的负载。

发明内容

本申请提供了一种应用于ETL系统的任务流动态配置方法及系统，其能够提高ETL系统的效率。

第一方面，本申请提供了一种应用于ETL系统的任务流动态配置方法。该方法包括：

获取ETL系统的任务流信息以及数据源表的数据情况信息，所述任务流信息包括任务节点的依赖关系以及根任务节点连接的数据源表，所述数据情况信息反映数据源表为空或者有业务数据；

确定连接空的数据源表的根任务节点以及仅依赖于连接空的数据源表的根任务节点的任务节点为无意义节点；

在任务节点的依赖关系中去除无意义节点，形成任务节点的第一依赖关系，第一依赖关系的任务流供ETL系统执行。

通过采用上述技术方案，在ETL系统应用时，能够实现任务节点的依赖关系的自动配置，去除依赖关系中无意义节点，得到第一依赖关系供ETL系统执行，避免了ETL系统执行无意义节点造成的资源浪费，有利于提高ETL系统的效率。

进一步地，所述第一依赖关系每隔预设的更新间隔时长更新一次。

进一步地，还包括：

获取所有数据源表的情况变动记录，所述情况变动记录为数据源表由空变为有业务数据或者由有业务数据变为空；

确定同一数据源表两次情况变动记录之间的时间差值；

判断所有时间差值中的最小值是否小于预设的更新时长阈值；

若是，则以更新时长阈值为所述更新间隔时长；

若否，则以时间差值中的最小值为所述更新间隔时长。

进一步地，还包括：

根据所述情况变动记录分析数据源表的数据情况变动趋势；

在识别无意义节点时，根据数据情况变动趋势判断空的数据源表的数据情况信息是否会在所述更新间隔时长内变化；

若是，则在空的数据源表中增加持续时间不大于更新间隔时间的标识数据，使数据源表的数据情况信息被改变为有业务数据。

第二方面，本申请提供了一种应用于ETL系统的任务流动态配置系统，该系统包括：

数据获取模块，用于获取ETL系统的任务流信息以及数据源表的数据情况信息，所述任务流信息包括任务节点的依赖关系以及根任务节点连接的数据源表，所述数据情况信息反映数据源表为空或者有业务数据；

节点识别模块，用于确定连接空的数据源表的根任务节点以及仅依赖于连接空的数据源表的根任务节点的任务节点为无意义节点；以及

依赖配置模块，用于在任务节点的依赖关系中去除无意义节点，形成任务节点的第一依赖关系，第一依赖关系的任务流供ETL系统执行。

进一步地，所述第一依赖关系每隔预设的更新间隔时长更新一次。

进一步地，还包括时长确定模块；

所述时长确定模块被配置为：

获取所有数据源表的情况变动记录，所述情况变动记录为数据源表由空变为有业务数据或者由有业务数据变为空；

确定同一数据源表两次情况变动记录之间的时间差值；

判断所有时间差值中的最小值是否小于预设的更新时长阈值；

若是，则以更新时长阈值为所述更新间隔时长；

若否，则以时间差值中的最小值为所述更新间隔时长。

进一步地，还包括趋势分析模块；所述趋势分析模块用于根据所述情况变动记录分析数据源表的数据情况变动趋势；

所述节点识别模块被进一步配置为：在识别无意义节点时，根据数据情况变动趋势判断空的数据源表的数据情况信息是否会在所述更新间隔时长内变化；

若是，则在空的数据源表中增加持续时间不大于更新间隔时间的标识数据，使数据源表的数据情况信息被改变为有业务数据。

综上所述，本申请至少包含以下有益效果：

1.提供了一种应用于ETL系统的任务流动态配置方法及系统，其能够自动为ETL系统配置第一依赖关系，减少ETL系统的资源浪费，提高ETL系统的效率；

2.确定第一依赖关系的更新间隔时长的方式较为合理，既有利于保障第一依赖关系能够及时更新、避免错过数据源表由空变为有业务数据的时间，又能够避免第一依赖关系过于高频次的更新带来的ETL系统的资源浪费；

3.根据数据源表的数据情况变动趋势来确定数据源表是否会在更新间隔时长内变化，将更新间隔时长内会由空变为有业务数据的数据源表增加标识数据使其为非空，有利于避免错过数据源表由空变为有业务数据的时间。

应当理解，发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本申请实施例中的一种应用于ETL系统的任务流动态配置方法的流程图；

图2示出了任务节点的依赖关系的原理图；

图3示出了任务节点的第一依赖关系的原理图；

图4示出了本申请实施例中的一种应用于ETL系统的任务流动态配置系统的方框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

在现代商业智能（BI）和数据仓库建设中，ETL（Extract-Transform-Load，数据抽取、转换、装载）流程起到了关键的作用，负责将数据从多个业务、多个维度的数据源表提取、进行必要的转换和处理，最终加载到目标数据库中。ETL系统不仅仅是数据仓库建设的核心，而且也对数据处理流程的有效性和效率至关重要。

在典型的ETL系统中，任务不是孤立运行的，而是根据业务需求和任务之间的依赖关系组成任务流。这个任务流是一个关注特定业务流程的集合，它链接多个数据源表。每个数据源表关联一个业务、一个维度的数据，如业务类型（业务名称、业务所处行业等）、数据时段（近小时、天、周、月、季度、年等）。当然，一个数据源表也可能表现为一个数据汇总表中某些业务维度字段的数据，从数据汇总表中通过业务维度字段可以筛选得到数据源表。

在实际的业务中，可能会因为业务的周期性、老业务的逐步下线或者新业务流量尚未到来等原因，导致缺少某个业务、某个维度的数据，即某个数据源表为空。这会导致某些任务无法从数据源表中提取到有效数据，某些直接或间接依赖于这些任务的任务也将变的没有意义，ETL系统会浪费大量的计算资源，并且增加了无用的数据连接，增加了数据源表或数据汇总表的负载，使ETL系统的效率较低、可靠性较差。

相关问题的解决方案一般为，在确认某个数据源表不会产生新的数据后，人为的重新配置ETL系统的任务依赖关系，在这之前，无数据、无意义的任务可能会长时间、无意义的执行。

基于以上问题，本申请提供了一种应用于ETL系统的任务流动态配置方法及系统，其能够自动配置ETL系统的任务依赖关系，避免无数据、无意义的任务长时间、无意义的执行，提高ETL系统的工作效率和可靠性。

第一方面，本申请提供了一种应用于ETL系统的任务流动态配置方法。

图1示出了本申请实施例中的一种应用于ETL系统的任务流动态配置方法的流程图。该方法应用于ETL系统的服务器，该方法具体包括以下步骤：

S110：获取ETL系统的任务流信息以及数据源表的数据情况信息。

所述任务流信息包括任务节点的依赖关系以及根任务节点连接的数据源表。具体来说，任务流信息一般预先配置于ETL系统的服务器，其包含被关注的所有任务节点以及这些任务节点的依赖关系，并且包含根任务节点与数据源表的链接关系，即根任务节点从哪一数据源表中抽取数据。

图2示出了任务节点的依赖关系的原理图。其中，“task**”表示任务节点，“task1*”表示根任务节点；连线表示任务节点的依赖关系，其中，连线两端箭头指向的任务节点依赖于连线另一端的任务节点，例如“task22”依赖于“task11”和“task12”。

所述数据情况信息反映数据源表为空或者有业务数据，即ETL系统可以识别数据源表，以确定数据源表中是否存在业务数据，若数据源表中存在业务数据，则数据源表的数据情况信息为有业务数据，若数据源表中不存在业务数据，则数据源表的数据情况信息为空。

S120：确定连接空的数据源表的根任务节点以及仅依赖于连接空的数据源表的根任务节点的任务节点为无意义节点。

以图2中任务节点的依赖关系为基础，若“task13”和“task14”链接的数据源表均为空，则根任务节点“task13”和“task14”为无意义节点。且仅依赖于“task13”和“task14”的任务节点例如“task24”和“task25”等也为无意义节点。如此即可在确定无意义的根任务节点后，确定所有的无意义任务节点。

S130：在任务节点的依赖关系中去除无意义节点，形成任务节点的第一依赖关系。

图3示出了任务节点的第一依赖关系的原理图。结合前例，若根任务节点“task13”和“task14”为无意义节点，则去除根任务节点“task13”和“task14”以及仅依赖于“task13”和“task14”的任务节点后，得到的第一依赖关系如图3所示。

得到的第一依赖关系的任务流供ETL系统执行。

为了实现任务流信息中任务节点的依赖关系自动更新，以便于任务节点的依赖关系更能够跟随数据源表的数据情况信息的变化，进一步地，所述第一依赖关系每隔预设的更新间隔时长更新一次。

当然，为了避免任务流信息的更新频率过高，导致任务节点的依赖关系的更新占用ETL系统的服务器过多的计算资源，进一步地，该方法还包括：

获取所有数据源表的情况变动记录，所述情况变动记录为数据源表由空变为有业务数据或者由有业务数据变为空；

确定同一数据源表两次情况变动记录之间的时间差值；

判断所有时间差值中的最小值是否小于预设的更新时长阈值；

若是，则以更新时长阈值为所述更新间隔时长；

若否，则以时间差值中的最小值为所述更新间隔时长。

在一个示例中，数据源表的情况变动记录可以为ETL系统的使用者（一般为单个企业主体）过往使用ETL系统过程中数据源表的情况变动记录。

在另一个示例中，也可以使ETL系统的服务器连接至互联网，获取ETL系统的数据源表的情况变动记录大数据，当然，一般仅利用数据源表的情况变动记录大数据近预设时长的部分。

进一步地，在更新间隔时长确定后，为了避免数据情况信息变动的时间更短的数据源表被错过，该方法还包括：

根据所述情况变动记录分析数据源表的数据情况变动趋势；

在识别无意义节点时，根据数据情况变动趋势判断空的数据源表的数据情况信息是否会在所述更新间隔时长内变化；

若是，则在空的数据源表中增加持续时间不大于更新间隔时间的标识数据，使数据源表的数据情况信息被改变为有业务数据。

此处的数据源表的情况变动记录为ETL系统的服务器连接至互联网后，获取的ETL系统的数据源表的情况变动记录大数据，本步骤的方法中，根据情况变动记录分析数据源表的数据情况变动趋势一般仅利用近第一预设时长的情况变动大数据，第一预设时长长于更新间隔时长，具体可选择为一百倍更新间隔时长，分析数据源表在之后更新间隔时长内的数据情况变动趋势。

数据情况变动趋势基于趋势分析模型确定，该趋势分析模型由人为利用大数据训练得到。数据情况变动趋势的规律一般十分明显，例如某些季节性业务的业务数据的数据源表仅在特定季节会出现业务数据，其他季节为空，再例如某些业务的业务数据的数据源表出现数据激增，则说明这些业务的关联业务的数据源表即便为空、也会在短时间内产生业务数据等等。总之，利用趋势分析模型可以分析第一预设时长内的情况变动大数据，得到每一数据源表在当前时刻之后更新间隔时长内的数据情况变动趋势，进而能够确定在之后更新间隔时长内会由空变为有业务数据的数据源表。

若基于前述逻辑判断空的数据源表在更新间隔时长内可能由空变为有业务数据，则在这些空的数据源表中增加持续时间不大于更新间隔时间的标识数据，此处具体选择为持续时间等于一半的更新间隔时长，包含标识数据的数据源表即便不包含业务数据也会被识别为有业务数据。

通过采用上述技术方案，可以再ETL系统应用时能够实现任务节点的依赖关系的自动、定时配置，使ETL系统执行的任务流信息中的任务节点依赖关系为第一依赖关系，避免ETL系统执行无意义任务节点造成的资源浪费，有利于提高ETL系统的效率，也避免了对数据源表的非必要负载，进而降低数据源表过载崩溃的可能，有利于提高ETL系统的可靠性。同时，根据数据情况变动记录在特殊的空的数据源表中增加标识数据，也能够避免ETL系统错过数据源表因为定时更新导致的错过某些数据源表由空变为由业务数据的过程。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

以上是关于方法实施例的介绍，以下通过系统实施例，对本申请实施例所述方案进行进一步说明。

第二方面，本申请提供了一种应用于ETL系统的任务流动态配置系统。该系统可以被实现为ETL系统的服务器。

图4示出了本申请实施例中的一种应用于ETL系统的任务流动态配置系统的方框图。该系统具体包括：

数据获取模块210，用于获取ETL系统的任务流信息以及数据源表的数据情况信息，所述任务流信息包括任务节点的依赖关系以及根任务节点连接的数据源表，所述数据情况信息反映数据源表为空或者有业务数据；

节点识别模块220，用于确定连接空的数据源表的根任务节点以及仅依赖于连接空的数据源表的根任务节点的任务节点为无意义节点；以及

依赖配置模块230，用于在任务节点的依赖关系中去除无意义节点，形成任务节点的第一依赖关系，第一依赖关系的任务流供ETL系统执行。

进一步地，所述第一依赖关系每隔预设的更新间隔时长更新一次。

进一步地，还包括时长确定模块240；

所述时长确定模块240被配置为：

获取所有数据源表的情况变动记录，所述情况变动记录为数据源表由空变为有业务数据或者由有业务数据变为空；

确定同一数据源表两次情况变动记录之间的时间差值；

判断所有时间差值中的最小值是否小于预设的更新时长阈值；

若是，则以更新时长阈值为所述更新间隔时长；

若否，则以时间差值中的最小值为所述更新间隔时长。

进一步地，还包括趋势分析模块250；所述趋势分析模块250用于根据所述情况变动记录分析数据源表的数据情况变动趋势；

所述节点识别模块220被进一步配置为：在识别无意义节点时，根据数据情况变动趋势判断空的数据源表的数据情况信息是否会在所述更新间隔时长内变化；

若是，则在空的数据源表中增加持续时间不大于更新间隔时间的标识数据，使数据源表的数据情况信息被改变为有业务数据。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

综上所述，本申请至少包含以下有益效果：

1.提供了一种应用于ETL系统的任务流动态配置方法及系统，其能够自动为ETL系统配置第一依赖关系，减少ETL系统的资源浪费，提高ETL系统的效率；

2.确定第一依赖关系的更新间隔时长的方式较为合理，既有利于保障第一依赖关系能够及时更新、避免错过数据源表由空变为有业务数据的时间，又能够避免第一依赖关系过于高频次的更新带来的ETL系统的资源浪费；

3.根据数据源表的数据情况变动趋势来确定数据源表是否会在更新间隔时长内变化，将更新间隔时长内会由空变为有业务数据的数据源表增加标识数据使其为非空，有利于避免错过数据源表由空变为有业务数据的时间。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (4)

1.一种应用于ETL系统的任务流动态配置方法，其特征在于，包括：

获取ETL系统的任务流信息以及数据源表的数据情况信息，所述任务流信息包括任务节点的依赖关系以及根任务节点连接的数据源表，所述数据情况信息反映数据源表为空或者有业务数据；

确定连接空的数据源表的根任务节点以及仅依赖于连接空的数据源表的根任务节点的任务节点为无意义节点；

在任务节点的依赖关系中去除无意义节点，形成任务节点的第一依赖关系，第一依赖关系的任务流供ETL系统执行；

所述第一依赖关系每隔预设的更新间隔时长更新一次；

所述方法还包括：

获取所有数据源表的情况变动记录，所述情况变动记录为数据源表由空变为有业务数据或者由有业务数据变为空；

确定同一数据源表两次情况变动记录之间的时间差值；

判断所有时间差值中的最小值是否小于预设的更新时长阈值；

若是，则以更新时长阈值为所述更新间隔时长；

若否，则以时间差值中的最小值为所述更新间隔时长。

2.根据权利要求1所述的一种应用于ETL系统的任务流动态配置方法，其特征在于，还包括：

根据所述情况变动记录分析数据源表的数据情况变动趋势；

在识别无意义节点时，根据数据情况变动趋势判断空的数据源表的数据情况信息是否会在所述更新间隔时长内变化；

若是，则在空的数据源表中增加持续时间不大于更新间隔时间的标识数据，使数据源表的数据情况信息被改变为有业务数据。

3.一种应用于ETL系统的任务流动态配置系统，其特征在于，包括：

数据获取模块（210），用于获取ETL系统的任务流信息以及数据源表的数据情况信息，所述任务流信息包括任务节点的依赖关系以及根任务节点连接的数据源表，所述数据情况信息反映数据源表为空或者有业务数据；

节点识别模块（220），用于确定连接空的数据源表的根任务节点以及仅依赖于连接空的数据源表的根任务节点的任务节点为无意义节点；以及

依赖配置模块（230），用于在任务节点的依赖关系中去除无意义节点，形成任务节点的第一依赖关系，第一依赖关系的任务流供ETL系统执行；

所述第一依赖关系每隔预设的更新间隔时长更新一次；

还包括时长确定模块（240）；

所述时长确定模块（240）被配置为：

获取所有数据源表的情况变动记录，所述情况变动记录为数据源表由空变为有业务数据或者由有业务数据变为空；

确定同一数据源表两次情况变动记录之间的时间差值；

判断所有时间差值中的最小值是否小于预设的更新时长阈值；

若是，则以更新时长阈值为所述更新间隔时长；

若否，则以时间差值中的最小值为所述更新间隔时长。

4.根据权利要求3所述的一种应用于ETL系统的任务流动态配置系统，其特征在于，还包括趋势分析模块（250）；所述趋势分析模块（250）用于根据所述情况变动记录分析数据源表的数据情况变动趋势；

所述节点识别模块（220）被进一步配置为：在识别无意义节点时，根据数据情况变动趋势判断空的数据源表的数据情况信息是否会在所述更新间隔时长内变化；

若是，则在空的数据源表中增加持续时间不大于更新间隔时间的标识数据，使数据源表的数据情况信息被改变为有业务数据。