CN102236672A - 一种数据导入方法及装置 - Google Patents

Abstract

本发明公开了一种数据导入方法，包括以下步骤：获取来自业务系统的业务文件，根据所述业务文件生成静态元数据并接入所述业务系统对应的目标数据库；使用所述静态元数据对所述目标数据库中的业务数据进行格式转换，并将格式转换后的数据导入到目标数据存储区。通过使用本发明，提高了数据导入的准确性、易用性和效率。本发明同样公开了一种应用上述方法的装置。

Description

一种数据导入方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据导入方法及装置。

背景技术

在企业信息化建设的过程中，由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其他经济和人为因素等的影响，导致企业在发展过程中积累了大量采用不同存储方式的业务数据，且业务数据采用的数据管理系统也大不相同，从简单的文件数据库到复杂的网络数据库，构成了企业的异构数据源。

异构数据源是指不同的数据库管理系统之间的数据，企业数据源异构性主要表现在：

1.系统异构，即数据源所依赖的业务应用系统、数据库管理系统乃至操作系统之间的不同构成了系统异构。

2.模式异构，即数据源在存储模式上的不同。存储模式主要包括关系模式、对象模式、对象关系模式和文档嵌套模式，其中，关系模式(关系数据库)为主流存储模式。同时，即便是同一类存储模式，模式结构可能也存在着差异。例如，不同的关系数据管理系统的数据类型等方面并不是完全一致的，如DB2、Oracle、Sybase、Informix、SQL Server和Foxpro等。

3.来源异构，即企业内部数据源和外部数据源之间的异构。

为了方便管理异构数据源中的数据，通常使用ETL(ExtractionTransformation Loading，抽取转换加载)过程将分布的、异构数据源中的数据(如关系数据和平面数据文件等)抽取到临时中间层，并进行清洗、转换和集成，最后加载到数据仓库(Data Warehouse)或数据集市中，成为联机分析处理、数据挖掘的基础。

ETL是指从源系统中提取数据，转换数据为标准格式，并加载数据到目标数据存储区的过程，该目标数据存储区通常为数据仓库。其中，数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。ETL屏蔽复杂的业务逻辑，管理简洁的元数据(Meta Data)，并实施导入数据仓库的过程，从而为各种基于数据仓库的分析和应用提供了统一的数据接口。其中，元数据是关于数据仓库的数据，指在数据仓库建设过程中所产生的有关数据源定义、目标定义和转换规则等相关的关键数据。

现有技术中，需要针对每种业务人工配置元数据，并进行相应的数据库建表和增加分区等操作，从而生成后台可运行的程序插件，最后开始运行ETL过程。

发明人在实现本发明的过程中，发现现有技术至少存在以下缺陷：

在互联网公司业务多、变化快的环境下，手工配置极为繁琐，以至于几乎是不可能完成的任务；操作零散不易管理，在多数据源、异构环境下需要数次登录复杂环境配置；缺少指引性的前后逻辑关系处理和集成测试，前后配置存在不兼容的情况只能推迟到实施阶段才能发现；配置错误时的失败处理繁琐，不能跳过正确部分直接从错误现场即时恢复。

发明内容

本发明提供了一种数据导入方法及装置，提高了数据导入的准确性、易用性和效率。

本发明提供了一种数据导入方法，包括以下步骤：

获取来自业务系统的业务文件，根据所述业务文件生成静态元数据并接入所述业务系统对应的目标数据库；

使用所述静态元数据对所述目标数据库中的业务数据进行格式转换，并将格式转换后的数据导入到目标数据存储区。

优选地，所述业务文件中包含业务元数据，

所述根据所述业务文件生成静态元数据，包括：

根据所述业务元数据对应的业务匹配关系进行业务适配，推导出所述静态元数据。

优选地，所述接入所述业务系统对应的目标数据库，包括：

根据所述静态元数据进行数据源适配，获取所述目标数据库的位置，根据所述位置登录所述目标数据库，并在所述目标数据库中执行建表操作，得到存储所述业务数据的数据表项。

优选地，所述在目标数据库中执行建表操作，包括：

根据数据库规则和用户提供的基本建表语句拼装系统信息，得到最终建表语句，使用所述最终建表语句执行建表操作。

优选地，所述得到存储所述业务数据的数据表项之后，还包括：

为所述数据表项增加分区，并赋予用户对所述数据表项的使用权限。

优选地，所述使用所述静态元数据对所述目标数据库中的业务数据进行格式转换，并将格式转换后的数据导入到目标数据存储区，包括：

通过与所述业务文件对应的后台插件模板使用所述静态元数据，生成可运行程序插件，并将所述可运行程序插件部署到对应的运行位置；

在所述运行位置执行所述可运行程序插件，对所述目标数据库中的业务数据进行格式转换，并将格式转换后的数据导入到目标数据存储区。

本发明还提供了一种数据导入装置，包括：

获取模块，用于获取来自业务系统的业务文件；

生成模块，用于根据获取模块获取的所述业务文件生成静态元数据；

接入模块，用于根据所述获取模块获取的业务文件接入所述业务系统对应的目标数据库；

导入模块，用于使用所述生成模块生成的静态元数据对所述接入模块接入的目标数据库中的业务数据进行格式转换，并将格式转换后的数据导入到目标数据存储区。

优选地，所述业务文件中包含业务元数据，

所述生成模块，用于根据所述业务元数据对应的业务匹配关系进行业务适配，推导出所述静态元数据。

优选地，所述接入模块，用于根据所述静态元数据进行数据源适配，获取所述目标数据库的位置，根据所述位置登录所述目标数据库，并在所述目标数据库中执行建表操作，得到存储所述业务数据的数据表项。

优选地，所述接入模块，具体用于根据数据库规则和用户提供的基本建表语句拼装系统信息，得到最终建表语句，使用所述最终建表语句执行建表操作。

优选地，所述接入模块，还用于为所述数据表项增加分区，并赋予用户对所述数据表项的使用权限。

优选地，所述导入模块，用于通过与所述业务文件对应的后台插件模板使用所述静态元数据，生成可运行程序插件，并将所述可运行程序插件部署到对应的运行位置；在所述运行位置执行所述可运行程序插件，对所述目标数据库中的业务数据进行格式转换，并将格式转换后的数据导入到目标数据存储区。

与现有技术相比，本发明具有以下优点：本发明提供了一种数据自动接入数据仓库系统的解决方案，根据配置信息和程序信息对ETL过程中的元数据管理、插件生成和部署，数据库环境准备均能实现自动化，由后台程序完成建表、程序生成和部署，并在完成后可直接实施ETL过程，不需人工干预，在业务复杂、接入需求多的环境下可提供简单接口和快速响应，加快了数据仓库的接入响应速度，降低了管理成本，提高了数据导入的准确性、易用性和效率。另外，使用检查点机制完成工作流功能，完成接入过程中的重要事件后创建检查点，在接入的异常情况时，在检查点处检查持久化信息和现场错误恢复，做到查错效率最大化和恢复代价最小化，可以改善流程运转和失败恢复过程。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对本发明或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中的一种数据导入方法流程图；

图2为本发明应用场景中的数据导入系统架构示意图；

图3为本发明应用场景中的数据导入流程图；

图4为本发明中一种的数据导入装置结构示意图。

具体实施方式

针对现有技术中手工配置繁琐、处理步骤和场所零散的问题，本发明提供的技术方案中，以工作流的方式实现数据接入过程中的元数据生成、数据库建表、增加分区和赋权，以及对各种业务进行适配等功能，后台自动生成并部署运行程序，可支持多数据库、分布式系统等多种数据源和数据终点。在企业级数据仓库业务复杂、元数据庞杂、各种程序和插件繁琐易错的环境下，给出了大批量数据频繁接入且不需人工干预的新型解决方案。

本发明提供的技术方案中，提炼出针对业务可变的最小子集，以填写XML(Extensible Markup Language，可扩展标记语言)文件形式提供，后台处理该XML文件并对业务做各种适配，登录到不同场景完成配置和部署，并根据处理结果自动导出元数据。另外，针对错误恢复和逻辑耦合的问题，本发明通过设计工作流系统串联各步骤，能够在数据导入失败时方便地从断点查错和执行断点恢复。

下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明中的一种数据导入方法流程图，包括以下步骤：

步骤101，获取来自业务系统的业务文件，根据所述业务文件生成静态元数据并接入所述业务系统对应的目标数据库。

具体地，在获取来自业务系统的业务文件之后，还可以对该业务文件进行校验，并在校验通过后存储该业务文件。其中，业务文件可以为包含业务元数据的XML文件，可以根据该业务元数据对应的业务匹配关系进行业务适配，推导出静态元数据。

在根据业务文件生成静态元数据之后，还可以生成第一检查点，并在导入数据失败时通过第一检查点确定静态元数据成功生成。

在推导出静态元数据后，可以根据该静态元数据进行数据源适配，获取目标数据库的位置，根据该位置登录目标数据库，并在目标数据库中执行建表操作，得到存储业务数据的数据表项。具体地，可以根据数据库规则和用户提供的基本建表语句拼装系统信息，得到最终建表语句，使用该最终建表语句执行建表操作。在得到存储业务数据的数据表项之后，还可以为该数据表项增加分区，并赋予用户对数据表项的使用权限。随后，还可以生成第二检查点，并在导入数据失败时通过该第二检查点确定数据表项成功生成。在生成第二检查点之后，还可以将静态元数据和业务元数据持久化保存到中央元数据库中；生成第三检查点，并在导入数据失败时通过第三检查点确定元数据成功生成。

步骤102，使用静态元数据对目标数据库中的业务数据进行格式转换，并将格式转换后的数据导入到目标数据存储区。

具体地，可以通过与业务文件对应的后台插件模板使用静态元数据，生成可运行程序插件，并将该可运行程序插件部署到对应的运行位置；在该运行位置执行可运行程序插件，对目标数据库中的业务数据进行格式转换，并将格式转换后的数据导入到目标数据存储区。在运行位置执行可运行程序插件之后，还可以根据可运行程序插件和静态元数据导出运行环境信息，将该运行环境信息持久化保存到后台配置表中；生成第四检查点，并在导入数据失败时通过第四检查点确定所述运行环境信息成功导出。

本发明提供了一种数据自动接入数据仓库系统的解决方案，根据配置信息和程序信息对ETL过程中的元数据管理、插件生成和部署，数据库环境准备均能实现自动化，由后台程序完成建表、程序生成和部署，并在完成后可直接实施ETL过程，不需人工干预，在业务复杂、接入需求多的环境下可提供简单接口和快速响应，加快了数据仓库的接入响应速度，降低了管理成本，提高了数据导入的准确性、易用性和效率。

如图2所示，为本发明应用场景中的数据导入系统架构示意图，包括XML获取和校验模块、静态元数据生成模块、环境处理模块、中央元数据库、插件生成模块、插件部署模块、运行元数据导出模块和工作流引擎。

其中，XML获取和校验模块可以用于根据指定位置和名称获取XML文件，并校验其中的必填项是否填写以及填写的数值是否满足预设规则。

静态元数据生成模块可以用于根据从XML文件中得到的基本字段值以及业务匹配关系推导出需要的静态元数据值，根据数据仓库环境推导出需要的接口机、冷备机等环境元数据信息，并将上述信息导出到文件系统，待下一步使用。

环境处理模块可以用于根据元数据中数据源的环境选择合适的命令，根据目标数据库的位置连接到正确的数据库，结合用户提交的基本建表语句，拼装表空间、存储参数、表分区类型和添加表分区语句等信息，在目标数据库执行建表操作，并调用存储过程对新建表赋予使用权限。

中央元数据库可以用于持久化正确的元数据信息，并在和后台程序交互时交付该元数据的使用。

插件生成模块可以用于获取正确的元数据信息，并根据后台插件模板使用该元数据信息，自动生成可在现网直接运行的程序插件。

插件部署模块可以用于将生成的后台程序部署到合适的运行位置。

运行元数据导出模块可以用于管理插件生成模块生成的程序插件，部署插件过程中生成的元数据，配置运行环境和登记日志信息。

工作流引擎可以用于在完成一个阶段任务时，持久化信息并建立检查点；在数据导入失败时，提供检查点检查机制和直接从错误现场恢复的功能。

以下结合上述应用场景，对本发明中的数据导入方法进行详细、具体的描述。

如图3所示，为本发明应用场景中的数据导入流程图，具体包括以下步骤：

步骤301，基于数据仓库ETL规则，依次获取最小规则配置的XML文件。

步骤302，对XML文件进行校验，将该XML文件中的可用信息存储到一个数据结构中。

步骤303，后台进行业务适配，在ETL框架内选择合适的接口和冷备类型，并自动完成配置，生成并导出可用的静态元数据。

步骤304，生成第一检查点。

步骤305，根据配置规则和静态元数据，对相应的主机或分布式系统进行适配，登录到用户所要接入的数据库。

步骤306，后台根据用户提供的建表语句结合数据库规则，拼装系统信息，得到最终建表语句，完成建表操作。

步骤307，根据数据仓库特性为建好的表增加分区，并赋予用户使用权限，生成第二检查点。

步骤308，将导出的静态元数据进行持久化保存，生成第三检查点。

步骤309，根据模板生成后台可运行的程序插件，并部署该程序插件到运行环境中。

步骤310，根据生成的程序插件和已有的静态元数据，导出程序插件运行时环境所需的运行环境信息，持久化该信息到后台配置表中，生成第四检查点。

步骤311，判断数据导入是否成功，如果成功，则执行步骤301；否则，执行步骤312。

步骤312，通过设置的检查点确定数据导入失败处，并在数据导入失败处提示失败信息。

具体地，可以通过上述步骤中生成的各个检查点判断检查点之前的步骤是否成功执行，以确定数据导入失败处。例如，当通过第一检查点判断第一检查点之前的步骤执行，且通过第二检查点判断第二检查点之前的步骤执行失败是，可以确定数据导入失败处在第一检查点和第二检查点之间。确定数据导入失败处后，可以通过邮件的方式将失败信息通知相关人员。

步骤313，修复错误后，从检查点处继续数据导入过程。

具体地，在数据导入失败处修复错误后，从工作流中最后一个判断成功的检查点处继续进行数据导入。

需要说明的是，本发明方法可以根据实际需要对各个步骤顺序进行调整。

本发明提供了一种数据自动接入数据仓库系统的解决方案，根据配置信息和程序信息对ETL过程中的元数据管理、插件生成和部署，数据库环境准备均能实现自动化，由后台程序完成建表、程序生成和部署，并在完成后可直接实施ETL过程，不需人工干预，在业务复杂、接入需求多的环境下可提供简单接口和快速响应，加快了数据仓库的接入响应速度，降低了管理成本，提高了数据导入的准确性、易用性和效率。另外，使用检查点机制完成工作流功能，完成接入过程中的重要事件后创建检查点，在接入的异常情况时，在检查点处检查持久化信息和现场错误恢复，做到查错效率最大化和恢复代价最小化，可以改善流程运转和失败恢复过程。

本发明在上述实施方式中提供了数据导入的方法和应用场景，相应地，本发明还提供了应用上述数据导入的方法的装置。

如图4所示，为本发明中一种的数据导入装置结构示意图，包括：

获取模块410，用于获取来自业务系统的业务文件。

生成模块420，用于根据获取模块410获取的所述业务文件生成静态元数据。

接入模块430，用于根据获取模块410获取的业务文件接入业务系统对应的目标数据库。

导入模块440，用于使用生成模块420生成的静态元数据对接入模块430接入的目标数据库中的业务数据进行格式转换，并将格式转换后的数据导入到目标数据存储区。

上述的装置，还可以进一步包括：

校验模块450，用于对获取模块410获取的业务文件进行校验，并在校验通过后存储所述业务文件。

其中，业务文件中包含业务元数据。上述生成模块420，用于根据所述业务元数据对应的业务匹配关系进行业务适配，推导出所述静态元数据。

上述的装置，还可以进一步包括：

第一检查模块460，用于在生成模块420根据所述业务文件生成静态元数据之后，生成第一检查点，并在导入数据失败时通过所述第一检查点判断所述静态元数据是否成功生成。

上述接入模块430，用于根据所述静态元数据进行数据源适配，获取所述目标数据库的位置，根据所述位置登录所述目标数据库，并在所述目标数据库中执行建表操作，得到存储所述业务数据的数据表项。

上述接入模块430，具体用于根据数据库规则和用户提供的基本建表语句拼装系统信息，得到最终建表语句，使用所述最终建表语句执行建表操作。

上述接入模块430，还用于为所述数据表项增加分区，并赋予用户对所述数据表项的使用权限。

上述的装置，还可以进一步包括：

第二检查模块470，用于在所述接入模块430赋予用户对所述数据表项的使用权限之后，生成第二检查点，并在导入数据失败时通过所述第二检查点判断所述数据表项是否成功生成。

上述生成模块420，还用于将所述静态元数据和所述业务元数据持久化保存到中央元数据库中。

上述的装置，还可以进一步包括：

第三检查模块480，用于在所述生成模块420将所述静态元数据和所述业务元数据持久化保存到中央元数据库中之后，生成第三检查点，并在导入数据失败时通过所述第三检查点判断元数据成功生成。

上述导入模块440，用于通过与所述业务文件对应的后台插件模板使用所述静态元数据，生成可运行程序插件，并将所述可运行程序插件部署到对应的运行位置；在所述运行位置执行所述可运行程序插件，对所述目标数据库中的业务数据进行格式转换，并将格式转换后的数据导入到目标数据存储区。

上述生成模块420，还用于根据所述可运行程序插件和所述静态元数据导出运行环境信息，将所述运行环境信息持久化保存到后台配置表中。

上述的装置，还可以进一步包括：

第四检查模块490，用于在所述生成模块420将所述运行环境信息持久化保存到后台配置表中之后，生成第四检查点，并在导入数据失败时通过所述第四检查点判断所述运行环境信息成功导出。

本发明提供了一种数据自动接入数据仓库系统的解决方案，根据配置信息和程序信息对ETL过程中的元数据管理、插件生成和部署，数据库环境准备均能实现自动化，由后台程序完成建表、程序生成和部署，并在完成后可直接实施ETL过程，不需人工干预，在业务复杂、接入需求多的环境下可提供简单接口和快速响应，加快了数据仓库的接入响应速度，降低了管理成本，提高了数据导入的准确性、易用性和效率。另外，使用检查点机制完成工作流功能，完成接入过程中的重要事件后创建检查点，在接入的异常情况时，在检查点处检查持久化信息和现场错误恢复，做到查错效率最大化和恢复代价最小化，可以改善流程运转和失败恢复过程。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以集成于一体，也可以分离部署；可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (12)

1.一种数据导入方法，其特征在于，包括以下步骤：

获取来自业务系统的业务文件，根据所述业务文件生成静态元数据并接入所述业务系统对应的目标数据库；

使用所述静态元数据对所述目标数据库中的业务数据进行格式转换，并将格式转换后的数据导入到目标数据存储区。

2.如权利要求1所述的方法，其特征在于，所述业务文件中包含业务元数据，

所述根据所述业务文件生成静态元数据，包括：

根据所述业务元数据对应的业务匹配关系进行业务适配，推导出所述静态元数据。

3.如权利要求1所述的方法，其特征在于，所述接入所述业务系统对应的目标数据库，包括：

根据所述静态元数据进行数据源适配，获取所述目标数据库的位置，根据所述位置登录所述目标数据库，并在所述目标数据库中执行建表操作，得到存储所述业务数据的数据表项。

4.如权利要求3所述的方法，其特征在于，所述在目标数据库中执行建表操作，包括：

根据数据库规则和用户提供的基本建表语句拼装系统信息，得到最终建表语句，使用所述最终建表语句执行建表操作。

5.如权利要求3所述的方法，其特征在于，所述得到存储所述业务数据的数据表项之后，还包括：

为所述数据表项增加分区，并赋予用户对所述数据表项的使用权限。

6.如权利要求1所述的方法，其特征在于，所述使用所述静态元数据对所述目标数据库中的业务数据进行格式转换，并将格式转换后的数据导入到目标数据存储区，包括：

通过与所述业务文件对应的后台插件模板使用所述静态元数据，生成可运行程序插件，并将所述可运行程序插件部署到对应的运行位置；

在所述运行位置执行所述可运行程序插件，对所述目标数据库中的业务数据进行格式转换，并将格式转换后的数据导入到目标数据存储区。

7.一种数据导入装置，其特征在于，包括：

获取模块，用于获取来自业务系统的业务文件；

生成模块，用于根据获取模块获取的所述业务文件生成静态元数据；

接入模块，用于根据所述获取模块获取的业务文件接入所述业务系统对应的目标数据库；

导入模块，用于使用所述生成模块生成的静态元数据对所述接入模块接入的目标数据库中的业务数据进行格式转换，并将格式转换后的数据导入到目标数据存储区。

8.如权利要求7所述的装置，其特征在于，所述业务文件中包含业务元数据，

所述生成模块，用于根据所述业务元数据对应的业务匹配关系进行业务适配，推导出所述静态元数据。

9.如权利要求7所述的装置，其特征在于，

所述接入模块，用于根据所述静态元数据进行数据源适配，获取所述目标数据库的位置，根据所述位置登录所述目标数据库，并在所述目标数据库中执行建表操作，得到存储所述业务数据的数据表项。

10.如权利要求9所述的装置，其特征在于，

所述接入模块，具体用于根据数据库规则和用户提供的基本建表语句拼装系统信息，得到最终建表语句，使用所述最终建表语句执行建表操作。

11.如权利要求9所述的装置，其特征在于，

所述接入模块，还用于为所述数据表项增加分区，并赋予用户对所述数据表项的使用权限。

12.如权利要求7所述的装置，其特征在于，

所述导入模块，用于通过与所述业务文件对应的后台插件模板使用所述静态元数据，生成可运行程序插件，并将所述可运行程序插件部署到对应的运行位置；在所述运行位置执行所述可运行程序插件，对所述目标数据库中的业务数据进行格式转换，并将格式转换后的数据导入到目标数据存储区。

Images