CN110249312B - 用于将数据集成作业从源框架转换到目标框架的方法和系统 - Google Patents

Abstract

本文公开了用于将数据集成作业从一个框架转换到目标框架的技术。转换工具接收包括多个组件的数据集成作业。每一组件执行分配的任务。第一数据集成作业属于给定的框架。转换工具接收将所述数据集成作业转换为目标框架的数据集成作业的请求。响应于所述请求，转换工具通过确定目标框架中的对应组件是否可用于数据集成作业的每一组件来转换数据集成作业。转换工具将组件转换为对应组件，并将新的数据集成作业存储在数据存储器中。

Description

用于将数据集成作业从源框架转换到目标框架的方法和系统

技术领域

本公开的实施例通常涉及数据处理，更具体地，涉及将处理作业从一个框架转换到另一框架。

背景技术

组织可以出于各种目的处理大量数据，例如分析、库存和营销。可以对大数据进行统计分析，以确定可以通知组织决策的趋势。通常，组织可以设计数据集成工作流程(这里也称为“作业”)，所述工作流程包括用于将各种来源的数据组合成数据的统一视图的任务。例如，提取-转换-加载(ETL)作业通常采用来自同构或异构源的一组数据作为输入，格式化数据以供后续分析，并将数据存储在目标数据存储器中。

随着数据集成技术的发展，已经有许多用于处理大量数据的不同框架。例如，MapReduce是一种编程模型，它使用给定数据集上的Map和Reduce函数的组合并行处理大型数据集，以生成一组有用的数据用于分析。作为另一示例，一些集群计算框架可以小批量摄取数据并且在那些小批量上进行弹性分布式数据集(RDD)转换。

考虑到诸如给定数据类型、作业复杂性和数据量的最快处理时间等因素，开发者可以选择适于所需数据集成作业的框架。但是，鉴于可用于处理大量数据的不同数量的框架，开发者可能无法立即确定要使用哪个框架。例如，对于给定的数据集成作业，标准Java框架可能比使用MapReduce框架执行更快地产生结果。或者，鉴于底层数据的大小，批处理流作业可能最有效地使用资源来处理数据。

因此，开发者可能希望针对给定的数据集成作业试用不同的框架。但是，开发者可能需要为每一框架手动创建作业。此外，开发者可能想要将数据集成作业从一个系统迁移到另一系统，无论系统是否在不同的框架下执行作业。因此，开发者需要使用所述框架重新编码作业。因为每一框架可能具有完全不同的底层组件，所以一个框架中的数据集成作业相对于另一框架中的相同数据集成作业将具有不同的复杂性。因此，在另一框架中重新创建数据集成作业可能是一个耗时且容易出错的过程。

发明内容

本文提供的一个实施例描述了一种用于将数据集成作业从源框架转换到目标框架的方法。所述方法通常包括：接收将第一框架的第一数据集成作业转换为第二框架的第二数据集成作业的请求。第一数据集成作业包括多个组件。每一组件执行分配的任务作为第一数据集成作业的一部分。响应于所述请求，所述方法通常执行以下步骤：对于第一数据集成作业的每一组件：确定与第一数据集成作业中的组件对应的第二框架中的组件是否可用。如果可用，则生成将要包括在第二数据集成作业中的经转换组件。如果不可用，则标记组件以供查看。第二数据集成作业存储在数据存储器中。

本文提供的另一实施例描述了一种存储指令的计算机可读存储介质。当在处理器上执行时，所述指令执行将数据集成作业从源框架转换到目标框架的操作。所述操作本身通常包括：接收将第一框架的第一数据集成作业转换为第二框架的第二数据集成作业的请求。第一数据集成作业包括多个组件。每一组件执行分配的任务作为第一数据集成作业的一部分。响应于所述请求，所述操作通常执行以下步骤：对于第一数据集成作业的每一组件：确定与第一数据集成作业中的组件对应的第二框架中的组件是否可用。如果可用，则生成将要包括在第二数据集成作业中的经转换组件。如果不可用，则标记组件以供查看。第二数据集成作业存储在数据存储器中。

本文提供的又一实施例描述了一种系统，所述系统具有处理器和内存。内存存储程序代码。当在处理器上执行时，所述程序代码执行将数据集成作业从源框架转换到目标框架的操作。所述操作本身通常包括：接收将第一框架的第一数据集成作业转换为第二框架的第二数据集成作业的请求。第一数据集成作业包括多个组件。每一组件执行分配的任务作为第一数据集成作业的一部分。响应于所述请求，所述操作通常执行以下步骤：对于第一数据集成作业的每一组件：确定与第一数据集成作业中的组件对应的第二框架中的组件是否可用。如果可用，则生成将要包括在第二数据集成作业中的经转换组件。如果不可用，则标记组件以供查看。第二数据集成作业存储在数据存储器中。

附图说明

因此，可以详细地理解本公开的上述特征的方式，可以通过参考实施例获得上文简要概述的本公开的更具体的描述，其中一些实施例在附图中示出。然而，应注意，附图仅示出了示例性实施例，因此不应视为限制其范围，可允许其他同等有效的实施例。

图1图示根据一个实施例的示例性计算环境。

图2图示根据一个实施例的相对于图1描述的转换工具的概念图。

图3图示根据一个实施例的通用作业定义模型的概念图。

图4图示根据一个实施例的一种用于将给定框架的数据集成作业转换为另一框架的数据处理作业的方法。

图5图示根据一个实施例的一种经设置以将给定框架的数据处理作业转换为另一框架的数据集成作业的示例性计算系统。

为方便理解，在可能的情况下，使用相同的附图标记来表示附图中共有的相同元件。可以预期的是，一个实施例的元件和特征可以有利地并入其他实施例中而无需进一步叙述。

具体实施方式

本文提供的实施例公开了用于将数据集成作业从一个框架(例如，标准Java框架、MapReduce框架、批处理框架等)转换到另一框架的技术。实施例提供了一种集成开发环境(IDE)应用，其允许开发者设计数据集成作业，所述数据集成作业包括用于接收一组输入数据、处理数据和基于处理的数据生成输出的多个任务。

在一个实施例中，IDE应用提供转换工具，所述转换工具使用统一作业定义模型将给定框架的数据集成作业之间的底层源代码、图形流描述和连接元数据转换到另一框架的作业。统一作业定义模型可包括各种框架的定义，例如标准Java框架、MapReduce框架、批处理框架和流处理框架。

如下进一步描述，转换工具可以使用作业定义模型来转换数据集成作业。例如，转换工具可以针对作业定义模型分析输入作业的每一组件。转换工具识别目标框架的相应组件。如果已识别，则转换工具将此组件转换为对应组件。

图1图示根据一个实施例的计算环境100。如图所示，计算环境100包括各自经由网络125(例如，因特网)互连的开发者系统105、数据处理系统110、输入数据存储器115和输出数据存储器120。

通常，数据处理系统110包括处理应用112。处理应用112执行数据集成作业，所述数据集成作业包括要作为工作流程执行的各种任务，所述工作流程用于从输入数据存储器115(和其他数据源)检索数据，处理数据(例如，转换待进一步分析的数据)并将处理后的数据加载到输出数据存储器120中。例如，数据集成作业可以是在某些数据处理框架(例如MapReduce)下执行的提取-转换-加载(ETL)处理作业。

在一个实施例中，开发者可以设计将由处理应用112执行的数据集成作业。具体地，开发者系统105包括允许开发者设计数据集成作业109的IDE应用106。例如，IDE应用106可以提供包括用于给定数据集成作业的画布的图形用户界面(GUI)。开发者可以将设计组件和连接器的图形表示拖到画布上以创建给定的数据集成作业109。

每一组件执行与此组件相关的底层函数。例如，用于文件输入路径的组件可以包括在数据集成作业109中检索文件输入路径的源代码。开发者可以链接给定组件与另一组件以创建用于数据集成作业109的流程。在IDE应用106下创建的作业存储在建模框架下。建模框架存储与给定数据集成作业109有关的信息，例如图形流描述和连接元数据。

IDE应用106支持各种数据处理框架。示例框架包括Java、Apache Hadoop、ApacheSpark等。当创建数据处理作业109时，开发者可以选择框架之一，并且IDE应用106检索与此框架相关联的组件和连接器。在一些情况下，开发者可能希望将一个框架(例如，MapReduce)的给定数据集成作业109转移到另一框架(例如，Apache Spark)的相应数据集成作业109。

为此，IDE应用106包括自动地将数据集成作业109转换到各种框架的转换工具107。例如，开发者可以通过GUI访问转换工具107，并选择特定数据处理框架的期望数据集成作业109。开发者还可以选择要转换数据集成作业109的目标框架。在一个实施例中，转换工具107包括作业定义模型108，其是为所有支持的框架的每一组件提供定义(例如，类和对象定义)的统一模型。作业定义模型108可以将跨框架的共同定义映射到彼此。

图2图示根据一个实施例的转换工具107的概念图。如图所示，转换工具107包括检索组件205、生成组件210、评估组件215、转换组件220、存储组件225和作业定义模型108。

通常，检索组件205接收将数据集成作业109从一个框架转换到另一框架的请求。检索组件205可以从数据存储器中检索数据集成作业109本身以及从IDE应用109的模型框架检索与作业有关的信息。此信息可以包括一种类型的数据集成作业、底层框架、图形流描述、连接器元数据等。生成组件210初始化包括原始数据集成作业109中提供的内容的新数据处理作业109文件。生成组件210可以更新文件的属性，以使得框架元数据指定目标框架。

评估组件215可以分析数据集成作业109的每一组件，以识别组件中指定的参数、值和变量。进一步地，评估组件215可以出于转换的目的确定目标框架中的对应组件。例如，标准数据集成框架中的tFileInputDelimited组件可对应于Apache Spark中的tFileInputDelimited组件。

进一步地，评估组件215可以评估任何额外的转换策略以识别是否应该对组件进行任何特殊转换。例如，标准数据集成作业中的tRedshiftConnection组件(用于启动与服务器的Redshift JDBC连接)可能通常在Apache Spark中没有对应组件。相反，策略可以指定应将tRedShiftConnection转换为Apache Spark中的tRedshiftConfiguration组件。

评估组件215还可以确定对应组件对于数据集成作业109中的给定组件是不可用的。

转换组件220接收评估组件215中给定分析组件的结果。然后，转换组件220可以将变量、值等从原始组件复制到相应组件。转换组件220还可以检索此组件的相应图形表示以在GUI中呈现。在评估组件215不能识别对应组件的情况下，转换组件220可以标记底层组件以供开发者查看。进而，开发者可以确定用于目标框架的适当组件。例如，响应于标记底层组件以供查看，IDE应用106可以经由图形用户界面向开发者呈现经标记组件。进而，开发者可以评估经标记组件以确定适当组件。一旦确定，开发者可以通过IDE应用106指定对应组件，IDE应用106进而接收规格并将组件转换为指定的组件。

存储组件225将得到的数据集成作业109保存到数据存储器，例如，开发者系统105上的本地磁盘、云存储位置等。此外，开发者可以通过IDE应用106的GUI查看得到的数据集成作业109并(例如，对由转换组件220标记的组件)进行任何进一步的修改。

图3图示根据一个实施例的示例性通用作业定义模型300的概念图。IDE应用106包括可以转换成各种运行时的通用作业定义模型。例如，所述模型可以包括Java中的标准作业、MapReduce作业、Spark Batch作业、Spark流作业及Java中的Storm作业。

在一个实施例中，IDE应用106使用建模框架(例如，Eclipse建模框架)来存储与给定作业有关的信息。此信息包括图形流程描述、连接元数据等。建模框架允许IDE应用将模型保存和恢复为作业。在建模框架中，作业通常基于称为ProcessItem的主类，如305处所示。

Big Data Batch作业基于扩展了ProcessItem类的称为MapReduceProcessItem的建模框架类。作业的定义包括在ProcessType对象中(在310处示出)。Big Data Streaming作业基于扩展了ProcessItem类的称为StormProcessItem的建模框架类。作业的定义包括在ProcessType对象310中。

注意，在转换任何作业时，默认情况下，组件的设置保持不变，因为所有变量都得到维护。因此，在包括组件的类中发生主要变化。作业由一系列称为子作业的有向无环图组成。子作业可能包括多个组件。

图4图示根据一个实施例的用于将给定框架的数据集成作业转换为另一框架的数据处理作业的方法400。如图所示，方法400开始于步骤405，其中检索组件205接收将数据集成作业从一个框架转换到另一框架的请求。所述请求可以包括数据集成作业文件、描述数据集成作业的底层框架的元数据和目标框架。例如，请求可以指定将数据集成作业从MapReduce框架转换到Apache Spark框架。检索组件205可以从存储器中检索数据处理作业109以及与存储在模型框架中的数据处理作业109相关联的任何元数据。

在步骤410，生成组件210初始化包括原始数据集成作业的内容(组件、连接器等)的新数据集成作业文件。生成组件210还可以(例如，在新文件的元数据中)指定数据集成作业文件输入目标框架。

在步骤415，方法400为新数据集成作业的每一组件进入循环。在步骤420，评估组件215确定组件在目标框架中是否具有对应组件。评估组件215可以通过评估作业定义模型108来进行确定。在步骤425，评估组件215确定对应组件是否可用。评估组件215可以将确定结果发送到转换组件220。如果对应组件可用，则转换组件220将原始组件转换为对应组件。转换组件220可以使用从原始组件检索的变量和值来填入组件的参数。

如果没有对应组件可用，则在步骤430，评估组件215评估转换策略以确定是否存在可用于此特定组件的任何特殊转换规则。如果是，则在步骤435，转换组件220将规则应用于此组件。否则，在步骤440，转换组件220可以标记组件以供开发者查看。

在步骤445，存储组件225将新数据集成作业保存到存储位置(例如，开发者系统105中的本地磁盘、云存储位置、文件服务器等)。

图5图示根据一个实施例的示例性计算系统500，所述计算系统500经设置以将给定框架的数据处理作业转换为另一框架的数据集成作业。如图所示，计算系统500包括，但不限于，中央处理单元(CPU)505、网络接口515、内存520和存储器530，各自连接到总线517。计算系统500还可以包括将I/O装置512(例如，键盘、鼠标和显示装置)连接到计算系统500的I/O装置接口510。进一步地，在本公开的上下文中，计算系统500中示出的计算元件可以对应于物理计算系统(例如，数据中心中的系统)或可以是在计算云内执行的虚拟计算实例。

CPU 505检索并执行存储在内存520中的编程指令，以及存储和检索驻留在内存520中的应用数据。互连件517用于在CPU 505、I/O装置接口510、存储器530、网络接口515和内存520之间传输编程指令和应用数据。注意，包括CPU 505以代表单一CPU、多个CPU、具有多个处理核的单一CPU等。并且通常包括内存520以代表随机存取内存。存储器530可以是磁盘驱动器存储装置。尽管示出为单一单元，但是存储器530可以是固定和/或可移动存储装置的组合，诸如固定盘驱动器、可移动内存卡或光存储器，网络附加存储器(NAS)或存储区域网络(SAN)。

说明性地，内存520包括IDE应用522。存储器530包括作业定义模型532和一或多个数据集成作业534。IDE应用522本身包括转换工具523，所述转换工具523经设置以将指定数据集成作业534从一个框架转换到另一框架。为此，转换工具523可以针对作业定义模型532分析数据集成作业534的各个组件。作业定义模型532为每一框架的组件提供统一的定义。转换工具523可以将每一组件转换为框架中的对应组件，或者在不存在对应组件的情况下根据规则执行特殊转换。得到的数据集成作业534通常维持其原始流程结构。

本公开的一个实施例被实现为用于计算机系统的程序产品。程序产品的程序定义了实施例(包括本文描述的方法)的功能，并且可以包括在各种计算机可读存储介质上。计算机可读存储介质的实例包括：(i)永久存储信息的不可写存储介质(例如，计算机内的只读存储装置，诸如光学介质驱动器可读的CD-ROM或DVD-ROM盘)；和(ii)存储可变信息的可写存储介质(例如，软盘驱动器或硬盘驱动器内的软盘)。当承载指示本发明的功能的计算机可读指令时，这种计算机可读存储介质是本公开的实施例。其他示例媒体包括通信媒体，通过所述通信媒体将信息传送到计算机，例如通过计算机或电话网络，包括无线通信网络。

通常，执行以实现本公开的实施例的例程可以是操作系统或特定应用、组件、程序、模块、对象或指令序列的一部分。本公开的计算机程序通常包括多个指令，这些指令将由本地计算机转换成机器可读格式并因此转换成可执行指令。此外，程序由变量和数据结构组成，这些变量和数据结构可以驻留在程序本地，或可以在内存或存储装置中找到。另外，可以基于应用来识别本文描述的各种程序，所述程序在本公开的特定实施例中实现以用于应用。然而，应当理解，随后的任何特定程序术语仅仅是为了方便，因此本公开不应限于仅用于由这种术语识别和/或暗示的任何特定应用。

总之，本文提供的实施例公开了用于将数据集成作业从一个框架转换到另一框架的技术。有利地，这种转换允许开发者较为轻松地将复杂的数据集成作业转移到其他框架。这样做为开发者提供了多种选项，用于确定在部署给定作业时使用哪个框架，而无需在不同的框架中手动重新编码相同的作业。

附录中提供了将一个框架的数据集成作业转换为另一框架的数据集成作业的其他示例。

虽然前述内容针对本公开的实施例，但是在不脱离本公开的基本范围的情况下，可以设计本公开的其他和进一步的实施例，并且本公开的范围由所附权利要求书确定。

Claims (14)

1.一种用于将数据集成作业从源框架转换到目标框架的方法，所述方法包括：

接收将第一框架的第一数据集成作业转换为第二框架的第二数据集成作业的请求，所述第一数据集成作业包括多个作业组件，其中每一作业组件执行分配的任务作为所述第一数据集成作业的一部分；

响应于所述请求，确定与所述第一数据集成作业中的所述多个作业组件中的一个作业组件相对应的所述第二框架中的对应组件不可用于所述第二框架的作业定义模型，

标记所述作业组件以供查看；

响应于标记所述作业组件以供查看，接收与所述作业组件相对应的所述第二框架的目标组件的规格；

基于所述第二框架的所述目标组件来生成经转换组件；

将所述经转换组件添加至所述第二数据集成作业中；以及

将所述第二数据集成作业存储在数据存储器中。

2.根据权利要求1所述的方法，进一步包括：在标记所述作业组件以供查看时：

通过应用呈现所述作业组件。

3.根据权利要求1所述的方法，其中基于所述第二框架的所述目标组件来生成经转换组件包括：

识别与所述对应组件相关联的一或多个转换规则；以及

将所述识别的一或多个转换规则应用于所述对应组件。

4.根据权利要求1所述的方法，其中所述作业定义模型将所述第一框架转换为所述第二框架。

5.根据权利要求1所述的方法，其中所述请求包括对应于所述第一数据集成作业的文件、描述所述第一框架的元数据和所述第二框架的规格。

6.根据权利要求1所述的方法，进一步包括：

通过图形用户界面呈现所述第二数据集成作业；

接收对所述第二数据集成作业中的至少一第一组件的一或多个修改的选择；以及

基于所述一或多个修改来转换所述至少一第一组件。

7.根据权利要求1所述的方法，其中基于所述目标组件来生成所述经转换组件包括：

将来自所述第一数据集成作业中的所述作业组件的参数填入所述经转换组件。

8.一种用于将数据集成作业从源框架转换到目标框架的系统，所述系统包括：

处理器；以及

内存，所述内存存储程序代码，其中当在所述处理器上执行时，所述程序代码执行将数据集成作业从源框架转换到目标框架的操作，所述操作包括：

接收将第一框架的第一数据集成作业转换为第二框架的第二数据集成作业的请求，所述第一数据集成作业包括多个作业组件，其中每一作业组件执行分配的任务作为所述第一数据集成作业的一部分；

响应于所述请求，确定与所述第一数据集成作业中的所述多个作业组件中的一个作业组件相对应的所述第二框架中的对应组件不可用于所述第二框架的作业定义模型，

标记所述作业组件以供查看；

响应于标记所述作业组件以供查看，接收与所述作业组件相对应的所述第二框架的目标组件的规格；

基于所述第二框架的所述目标组件来生成经转换组件；

将所述经转换组件添加至所述第二数据集成作业中；以及

将所述第二数据集成作业存储在数据存储器中。

9.根据权利要求8所述的系统，其中所述操作进一步包括：在标记所述作业组件以供查看时：

通过应用呈现所述作业组件。

10.根据权利要求8所述的系统，其中基于所述第二框架的所述目标组件来生成经转换组件包括：

识别与所述目标组件相关联的一或多个转换规则；以及

将所述识别的一或多个转换规则应用于所述目标组件。

11.根据权利要求8所述的系统，其中所述请求包括对应于所述第一数据集成作业的文件、描述所述第一框架的元数据和所述第二框架的规格。

12.根据权利要求8所述的系统，其中所述操作进一步包括：

通过图形用户界面呈现所述第二数据集成作业；

接收对所述第二数据集成作业中的至少一第一组件的一或多个修改的选择；以及

基于所述一或多个修改来转换所述至少一第一组件。

13.根据权利要求8所述的系统，其中基于所述目标组件来生成所述经转换组件包括：

将来自所述第一数据集成作业中的所述作业组件的参数填入所述经转换组件。

14.一种存储指令的计算机可读介质，其中当在处理器上执行时，所述指令执行将数据集成作业从源框架转换到目标框架的操作，所述操作包括：

接收将第一框架的第一数据集成作业转换为第二框架的第二数据集成作业的请求，所述第一数据集成作业包括多个作业组件，其中每一作业组件执行分配的任务作为所述第一数据集成作业的一部分；

响应于所述请求，确定与所述第一数据集成作业中的所述多个作业组件中的一个作业组件相对应的所述第二框架中的对应组件不可用于所述第二框架的作业定义模型，

标记所述作业组件以供查看；

响应于标记所述作业组件以供查看，接收与所述作业组件相对应的所述第二框架的目标组件的规格；

基于所述第二框架的所述目标组件来生成经转换组件；

将所述经转换组件添加至所述第二数据集成作业中；以及

将所述第二数据集成作业存储在数据存储器中。