CN101388038A - 数据抽取、转换和加载的执行方法和装置 - Google Patents
数据抽取、转换和加载的执行方法和装置 Download PDFInfo
- Publication number
- CN101388038A CN101388038A CNA2008101720199A CN200810172019A CN101388038A CN 101388038 A CN101388038 A CN 101388038A CN A2008101720199 A CNA2008101720199 A CN A2008101720199A CN 200810172019 A CN200810172019 A CN 200810172019A CN 101388038 A CN101388038 A CN 101388038A
- Authority
- CN
- China
- Prior art keywords
- etl
- task
- time
- formation
- carries out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 title claims description 7
- 238000011068 loading method Methods 0.000 claims abstract description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 103
- 230000007613 environmental effect Effects 0.000 claims description 65
- 238000004321 preservation Methods 0.000 claims description 25
- 238000012163 sequencing technique Methods 0.000 claims description 20
- 238000012423 maintenance Methods 0.000 claims description 14
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 3
- 108010001267 Protein Subunits Proteins 0.000 claims description 2
- 230000000737 periodic effect Effects 0.000 abstract 3
- 238000013075 data extraction Methods 0.000 abstract 1
- 238000013501 data transformation Methods 0.000 abstract 1
- 230000009466 transformation Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000002354 daily effect Effects 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000012467 final product Substances 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种数据抽取、转换和加载ETL的执行方法和装置。该方法包括：满足ETL任务的执行触发条件时，获取当前时间；将所述当前时间作为所述ETL任务的执行时间插入ETL执行队列；根据所述ETL执行队列执行ETL任务。通过使用本发明，将周期性ETL的执行时间和一次性ETL的执行时间统一通过队列进行维护，可同时通过周期性ETL方式或一次性ETL来触发ETL的执行，克服了现有技术中只能单一实现周期性ETL或一次性ETL的缺陷，加强了ETL执行与用户的交互性，增加了ETL执行的灵活性。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种ETL(Extraction TransformationLoading，数据抽取、转换和加载)的执行方法和装置。
背景技术
ETL是构建数据仓库中极其重要的一个部分。其按照预先设计好的规则，提供对不同数据源的数据进行抽取，转换，清洗的功能，集成和净化来自于多个不同系统的数据，最后将转换完的数据增量或全部载入目标数据库中。ETL的处理过程示意图如图1所示，其从不同的异构数据源流得到向统一的目标数据，作为联机分析处理、数据挖掘的基础。
执行ETL时，需要预先配置好其上下文环境，在到达执行时间后，开始启动ETL过程。现有技术中，对于ETL一般可分为周期性ETL和一次性ETL，在通过用户界面或是配置文件预先配置好执行时间后，周期性ETL根据执行时间周期性执行；一次性ETL根据只执行一次，当到达了预定的执行时间后，启动ETL过程。
现有技术中的ETL执行方式存在如下缺陷：对于周期性ETL，只能按照预定的时间执行，而无法在不固定的时间点实时执行，因此缺乏灵活性。对于一次性ETL，在预定时间执行一次后，后续不会再执行，因此不能根据需要多次执行。
发明内容
本发明提供一种数据抽取、转换和加载的执行方法和装置，用于在ETL执行中同时实现周期性ETL和一次性ETL。
本发明提供一种数据抽取、转换和加载ETL的执行方法，包括：
满足ETL任务的执行触发条件时，获取当前时间；
将所述当前时间作为所述ETL任务的执行时间插入ETL执行队列；
根据所述ETL执行队列执行ETL任务。
其中，所述ETL任务的执行触发条件包括手动触发、或事件触发。
其中，所述将当前时间作为所述ETL任务的执行时间插入ETL执行队列包括：
判断所述ETL执行队列是否为空，为空时则将所述当前时间作为所述ETL任务的执行时间插入到所述ETL执行队列的队首；
所述ETL执行队列不为空时，根据所述当前时间、以及所述ETL执行队列中的已有时间，按照时间先后顺序将所述当前时间作为所述ETL任务的执行时间插入到所述ETL执行队列中的对应位置。
其中，所述根据ETL执行队列执行ETL任务包括：
获取所述ETL执行队列中具有最先时间顺序的时间；
当前时间等于或晚于所述具有最先时间顺序的时间时，获取上一次ETL任务执行的上下文环境；
根据所述获取到的上下文环境执行ETL任务。
其中，所述根据获取到的上下文环境执行ETL后，还包括：
ETL执行完毕后，保存本次ETL执行的上下文环境；
将所述具有最先时间顺序的时间从所述ETL执行队列中删除。
其中，所述满足ETL任务的执行触发条件时，获取当前时间前，还包括：
设置ETL任务，所述ETL任务中包括至少一个任务保存项，所述每一任务保存项中包括上下文环境；对各所述任务保存项的上下文环境综合后得到所述ETL任务执行的上下文环境。
其中，所述ETL任务中包括的每一个任务保存项，均属于预先设置的系统保存项；对于所述ETL任务中包括的不属于系统保存项的任务保存项进行删除。
其中，所述ETL执行的上下文环境至少包括：本次执行时间、本次抽取到的原始数据的ID、本次加载目的数据的ID中的一种或多种。
本发明提供一种ETL的执行装置，包括：
时间获取单元，用于在判断满足ETL任务的执行触发条件时，获取当前时间；
队列维护单元，用于将所述时间获取单元获取的当前时间作为所述ETL任务的执行时间插入ETL执行队列；
队列执行单元，用于根据所述队列维护单元维护的ETL执行队列执行ETL任务。
其中，所述队列维护单元包括：
第一判断子单元，用于判断所述ETL执行队列是否为空；
时间插入子单元，用于在所述第一判断子单元判断所述ETL执行队列为空时，将所述当前时间插入到所述ETL执行队列的队首；在所述第一判断子单元判断所述ETL执行队列不为空时，根据所述当前时间、以及所述ETL执行队列中的已有时间，按照时间先后顺序将所述当前时间作为所述ETL任务的执行时间插入到所述ETL执行队列中的对应位置。
其中，所述队列执行单元包括：
时间获取子单元，用于获取所述ETL执行队列中具有最先时间顺序的时间；
上下文环境获取子单元，用于在所述时间获取子单元获取的当前时间等于或晚于所述具有最先时间顺序的时间时，获取上一次ETL任务执行的上下文环境；
执行子单元，用于根据所述上下文环境获取子单元获取到的上下文环境执行ETL任务。
其中，所述队列执行单元还包括：上下文环境存储子单元，用于在所述执行子单元的ETL执行完毕后，保存本次ETL执行的上下文环境；
所述队列维护单元还包括：时间删除子单元，用于在所述队列执行单元的ETL执行完毕后，将所述具有最先时间顺序的时间从所述ETL执行队列中删除。
其中，所述执行装置还包括：
ETL任务设置单元，用于设置ETL任务，所述ETL任务中包括至少一个任务保存项，所述每一任务保存项中包括上下文环境；对各所述任务保存项的上下文环境综合后得到所述ETL任务执行的上下文环境。
其中，还包括：
系统保存项设置单元，用于设置多个任务保存项；
ETL任务检查单元，用于检查所述ETL任务设置单元设置的ETL任务中包括的每一个任务保存项是否属于预先设置的系统保存项；对于所述ETL任务中包括的不属于系统保存项的任务保存项进行删除。
与现有技术相比，本发明具有以下优点：
通过使用本发明，将周期性ETL的执行时间和一次性ETL的执行时间统一通过队列进行维护，可同时通过周期性ETL方式或一次性ETL来触发ETL的执行，克服了现有技术中只能单一实现周期性ETL或一次性ETL的缺陷，加强了ETL执行与用户的交互性，增加了ETL执行的灵活性。另外，通过保存每一次ETL执行的上下文环境(包括周期性ETL的执行上下文环境及一次性ETL的上下文环境)，使一次性ETL的执行不会影响到周期性ETL的执行，也不会影响ETL结果数据的准确性。
附图说明
图1是现有技术中ETL的处理过程示意图；
图2是本发明中ETL执行方法的流程图；
图3是本发明中ETL触发条件监控方法的流程图；
图4是本发明中ETL执行方法的流程图；
图5是本发明中ETL执行装置的结构示意图；
图6是本发明中ETL执行装置的另一结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提供一种ETL的执行方法，如图2所示，包括：
步骤s201、满足ETL任务的执行触发条件时，获取当前时间。
步骤s202、将当前时间作为该ETL任务的执行时间插入ETL执行队列。
步骤s203、根据ETL执行队列执行ETL任务。
通过使用本发明，将周期性ETL的执行时间和一次性ETL的执行时间统一通过队列进行维护，可同时通过周期性ETL方式或一次性ETL来触发ETL的执行，克服了现有技术中只能单一实现周期性ETL或一次性ETL的缺陷，加强了ETL执行与用户的交互性，增加了ETL执行的灵活性。
本发明的ETL执行方法中，系统以ETL任务为单位执行。为了设置ETL任务，本发明中首先设置一系列需要保存的上下文环境保存项，以下称为任务保存项。为了维护任务保存项，对每个任务保存项通过一个唯一的标识ID作为标识，并将各任务保存项的集合作为系统保存项。系统保存项中包括每个任务保存项及其对应的ID，例如使用如表1所示的结构维护系统保存项：
表1 系统保存项的结构
| 标识ID | 任务保存项 |
| [ID1] | 任务保存项1 |
| [ID2] | 任务保存项2 |
| … | … |
| [IDN] | 任务保存项N |
该系统保存项中包括了ETL系统所有可能的任务保存项，如果ETL系统需要扩展，只需要在系统保存项添加新的任务保存项即可。
根据上述系统保存项中的任务保存项，即可进行ETL任务的设置。设置ETL任务时，每个ETL任务中包括至少一个任务保存项。例如，对于ETL任务A，可能包括任务保存项1、任务保存项2以及任务保存项3；对于ETL任务B，可能包括任务保存项4；对于ETL任务C，可能包括任务保存项1以及任务保存项5。由于每一任务保存项中包括上下文环境，因此对各任务保存项的上下文环境综合后即可得到该ETL任务执行的上下文环境，该上下文环境包括ETL执行的时间点，本次抽取到的原始数据的ID，本次加载目的数据的ID等等
在进行ETL任务的设置后，系统会对已设置的ETL任务中的任务保存项进行检查。为了确保ETL任务执行的可控性，需要确保ETL任务中包括的每一个任务保存项均属于预先设置的系统保存项，即为系统保存项的子集；对于已设置的ETL任务中包括的不属于系统保存项的任务保存项进行删除，并通过适当的方式(如告警、记录日志)通知用户。
基于上述ETL任务的设置方法，本发明提供的ETL的执行方法中，包括对ETL触发条件的监控进程、以及ETL的执行进程两部分。以下分别对这两部分流程分别进行说明。
首先对ETL触发条件的监控进行介绍，对ETL触发条件进行监控的目的在于，当需要执行一次性ETL时，触发ETL任务的执行并将触发的当前时间作为该ETL任务的执行时间添加到ETL执行队列中，添加的位置由当前ETL执行队列中已有的内容确定。该执行队列中的每个值表示不同ETL任务的执行时间，以下的流程中，假设按照时间顺序在ETL执行队列中维护不同的时间，时间越早在ETL执行队列中的位置越靠前。则对ETL触发条件的监控流程如图3所示，包括以下步骤：
步骤s301、触发ETL执行；在满足ETL执行触发条件(如用户手动触发，事件触发等)时，触发ETL立即执行。
步骤s302、获取当前时间A；接收到ETL立即执行指令后，获取当前时间A作为ETL的执行时间。
步骤s303、查询ETL执行队列。
步骤s304、判断ETL执行队列是否为空，是则进行步骤s305，否则进行步骤s306。
步骤s305、执行队列为空，将A插入执行队列；流程结束。
步骤s306、从队首开始，依次获取执行队列中的每一个值B。
步骤s307、比较A和B的关系，A≤B(即当前时间A早于B表示的时间)时进行步骤s308，A>B(即当前时间A晚于B表示的时间)时进行步骤s309。存在当前时间A晚于B表示的时间的情况的原因在于，在当前时间A之前的B所表示的时间有ETL执行，在当前时间A插入执行队列时该ETL尚未执行完毕，导致B所表示的时间尚未从执行队列中删除。因此，可能存在当前时间A晚于B表示的时间的情况。
步骤s308、将A插入到ETL执行队列中B的位置之前；流程结束。
步骤s309、判断B是否是ETL执行队列中的最后一个值，是则进行步骤s310，否则进行步骤s306。
步骤s310、将A插入到ETL执行队列的最后；流程结束。
首先对ETL的执行进行介绍，根据ETL执行队列执行ETL的原理在于，周期性检测当前时间与ETL执行队列中时间顺序最靠前的时间的关系，当前时间到达或超过ETL执行队列中时间顺序最靠前的时间时，开始执行ETL，ETL执行完毕后，将ETL执行队列中时间顺序最靠前的时间从ETL队列中删除。另外，在每次ETK执行过程中，获取上一次ETL执行的上下文环境用于ETL的执行；在每次ETK执行完毕后，存储本次ETL执行的上下文环境。具体的，该ETL的执行流程如图4所示，包括：
步骤s401、从队首开始，依次获取执行队列中的每一个值C。
步骤s402、比较C和当前时间D的关系，C>D(即C表示的时间晚于当前时间D)则进行步骤s403，C≤D(即C表示的时间早于或到达当前时间D)则进行步骤s404。
步骤s403、等待5s，进行步骤s401。这里以5s为一个周期为例，具体的时间可以根据需要进行设置。
步骤s404、获取上一次ETL任务执行的上下文环境。
步骤s405、执行ETL任务；获取上一次ETL任务执行的上下文环境后，ETL任务在上一次的基础上开始执行，该ETL任务的执行包括：执行ETL任务中包括的每一任务保存项。
步骤s406、保存ETL任务的上下文环境；本次ETL任务执行完成后，将本次ETL任务执行的上下文环境(如ETL本次执行的时间点，本次抽取到的原始数据的ID，本次加载目的数据的ID等等)保存，供下次ETL任务执行使用。
步骤s407、删除执行队列中第一个值，进行步骤s403。通过该步骤，将ETL执行队列中时间顺序最靠前的时间从ETL队列中删除。
本发明中还提供一种ETL的执行装置，如图5所示，包括：
时间获取单元10，用于在判断满足ETL任务的执行触发条件时，获取当前时间；该ETL任务的执行触发条件包括手动触发、或事件触发。
队列维护单元20，用于将时间获取单元10获取的当前时间作为该ETL任务的执行时间插入ETL执行队列。
队列执行单元30，用于根据队列维护单元10维护的ETL执行队列执行ETL任务。
本发明的ETL的执行装置中，如图6所示，还可以具有以下结构：
其中，队列维护单元20可以进一步包括：
第一判断子单元21，用于判断ETL执行队列是否为空。
时间插入子单元22，用于在第一判断子单元21判断ETL执行队列为空时，将当前时间作为该ETL任务的执行时间插入到ETL执行队列的队首；在第一判断子单元21判断ETL执行队列不为空时，根据当前时间、以及ETL执行队列中的已有时间，按照时间先后顺序将当前时间作为该ETL任务的执行时间插入到ETL执行队列中的对应位置。
时间删除子单元23，用于在队列执行单元30的ETL任务执行完毕后，将具有最先时间顺序的时间从ETL执行队列中删除。
其中，队列执行单元30可以进一步包括：
时间获取子单元31，用于获取ETL执行队列中具有最先时间顺序的时间。
上下文环境获取子单元32，用于在时间获取子单元31获取的当前时间等于或晚于具有最先时间顺序的时间时，获取上一次ETL任务执行的上下文环境。
执行子单元33，用于根据上下文环境获取子单元32获取到的上下文环境执行ETL任务。
上下文环境存储子单元34，用于在执行子单元33的ETL任务执行完毕后，保存本次ETL任务执行的上下文环境。
该ETL的执行装置中还可以包括：
ETL任务设置单元40，用于设置ETL任务，每个ETL任务中包括至少一个任务保存项，每一任务保存项中包括上下文环境；对各任务保存项的上下文环境综合后即可得到该ETL任务执行的上下文环境。其中，ETL任务执行的上下文环境至少包括：本次执行的时间、本次抽取到的原始数据的ID、本次加载目的数据的ID中的一种或多种。队列执行单元30将根据该设置执行ETL任务。同时，时间获取单元10可以根据该设置判断是否满足ETL任务的执行触发条件。
系统保存项设置单元50，用于设置多个任务保存项，这些任务保存项构成了系统中所有可能的上下文环境保存项，不同的任务保存项可以通过不同的标识进行区分。在需要对ETL中的上下文环境进行扩展时，只需对系统保存项设置单元50中的任务保存项进行扩展、添加新的任务保存项即可即可。
ETL任务检查单元60，用于检查ETL任务设置单元40设置的ETL任务中包括的每一个任务保存项是否属于系统保存项设置单元50中预先设置的系统保存项。为了保证所有ETL任务可控，对于ETL任务中包括的不属于系统保存项的任务保存项进行删除。
以下描述一个本发明中ETL执行方法的具体应用场景。
假设某公司统计员工访问网站的日报表，可配置成周期性ETL，如在每天的凌晨1点统计前一天的所有数据，形成前一天的日报表。如果在今天下午4点需要查看4点前员工访问网站的日报表，则需要触发立即执行ETL，将4点前的数据汇集成日报表，并保存原始数据的ID及执行时间作为上下文环境。在明天凌晨1点启动周期性ETL，取得今天4点执行完成时的上下文环境，从该位置继续执行。使用这种方案，不会影响结果数据的准确性，实现了立即执行ETL与周期性ETL的融合。
使用本发明提供的方法和装置时，可同时通过周期性ETL方式或一次性ETL来触发ETL的执行，克服了现有技术中只能单一实现周期性ETL或一次性ETL的缺陷，加强了ETL执行与用户的交互性，增加了ETL执行的灵活性。另外，通过保存每一次ETL执行的上下文环境(包括周期性ETL的执行上下文环境及一次性ETL的上下文环境)，使一次性ETL的执行不会影响到周期性ETL的执行，也不会影响ETL结果数据的准确性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (14)
1、一种数据抽取、转换和加载ETL的执行方法，其特征在于，包括：
满足ETL任务的执行触发条件时，获取当前时间；
将所述当前时间作为所述ETL任务的执行时间插入ETL执行队列；
根据所述ETL执行队列执行ETL任务。
2、如权利要求1所述的方法，其特征在于，所述ETL任务的执行触发条件包括手动触发、或事件触发。
3、如权利要求1所述的方法，其特征在于，所述将当前时间作为所述ETL任务的执行时间插入ETL执行队列包括：
判断所述ETL执行队列是否为空，为空时则将所述当前时间作为所述ETL任务的执行时间插入到所述ETL执行队列的队首；
所述ETL执行队列不为空时，根据所述当前时间、以及所述ETL执行队列中的已有时间，按照时间先后顺序将所述当前时间作为所述ETL任务的执行时间插入到所述ETL执行队列中的对应位置。
4、如权利要求1所述的方法，其特征在于，所述根据ETL执行队列执行ETL任务包括：
获取所述ETL执行队列中具有最先时间顺序的时间；
当前时间等于或晚于所述具有最先时间顺序的时间时，获取上一次ETL任务执行的上下文环境；
根据所述获取到的上下文环境执行ETL任务。
5、如权利要求4所述的方法，其特征在于，所述根据获取到的上下文环境执行ETL后，还包括：
ETL执行完毕后，保存本次ETL执行的上下文环境；
将所述具有最先时间顺序的时间从所述ETL执行队列中删除。
6、如权利要求1至5中任一项所述的方法，其特征在于，所述满足ETL任务的执行触发条件时，获取当前时间前，还包括：
设置ETL任务，所述ETL任务中包括至少一个任务保存项，所述每一任务保存项中包括上下文环境；对各所述任务保存项的上下文环境综合后得到所述ETL任务执行的上下文环境。
7、如权利要求6所述的方法，其特征在于，所述ETL任务中包括的每一个任务保存项，均属于预先设置的系统保存项；对于所述ETL任务中包括的不属于系统保存项的任务保存项进行删除。
8、如权利要求4或5所述的方法，其特征在于，所述ETL执行的上下文环境至少包括：本次执行时间、本次抽取到的原始数据的ID、本次加载目的数据的ID中的一种或多种。
9、一种ETL的执行装置，其特征在于，包括：
时间获取单元，用于在判断满足ETL任务的执行触发条件时，获取当前时间；
队列维护单元，用于将所述时间获取单元获取的当前时间作为所述ETL任务的执行时间插入ETL执行队列；
队列执行单元，用于根据所述队列维护单元维护的ETL执行队列执行ETL任务。
10、如权利要求9所述的装置，其特征在于，所述队列维护单元包括：
第一判断子单元，用于判断所述ETL执行队列是否为空；
时间插入子单元，用于在所述第一判断子单元判断所述ETL执行队列为空时，将所述当前时间插入到所述ETL执行队列的队首；在所述第一判断子单元判断所述ETL执行队列不为空时，根据所述当前时间、以及所述ETL执行队列中的已有时间，按照时间先后顺序将所述当前时间作为所述ETL任务的执行时间插入到所述ETL执行队列中的对应位置。
11、如权利要求9所述的装置，其特征在于，所述队列执行单元包括：
时间获取子单元，用于获取所述ETL执行队列中具有最先时间顺序的时间；
上下文环境获取子单元，用于在所述时间获取子单元获取的当前时间等于或晚于所述具有最先时间顺序的时间时，获取上一次ETL任务执行的上下文环境；
执行子单元，用于根据所述上下文环境获取子单元获取到的上下文环境执行ETL任务。
12、如权利要求11所述的装置，其特征在于，
所述队列执行单元还包括：上下文环境存储子单元，用于在所述执行子单元的ETL执行完毕后，保存本次ETL执行的上下文环境；
所述队列维护单元还包括：时间删除子单元，用于在所述队列执行单元的ETL执行完毕后，将所述具有最先时间顺序的时间从所述ETL执行队列中删除。
13、如权利要求9至12中任一项所述的装置，其特征在于，所述执行装置还包括：
ETL任务设置单元，用于设置ETL任务，所述ETL任务中包括至少一个任务保存项，所述每一任务保存项中包括上下文环境；对各所述任务保存项的上下文环境综合后得到所述ETL任务执行的上下文环境。
14、如权利要求13所述的装置，其特征在于，还包括：
系统保存项设置单元，用于设置多个任务保存项；
ETL任务检查单元，用于检查所述ETL任务设置单元设置的ETL任务中包括的每一个任务保存项是否属于预先设置的系统保存项；对于所述ETL任务中包括的不属于系统保存项的任务保存项进行删除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008101720199A CN101388038B (zh) | 2008-10-28 | 2008-10-28 | 数据抽取、转换和加载的执行方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008101720199A CN101388038B (zh) | 2008-10-28 | 2008-10-28 | 数据抽取、转换和加载的执行方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101388038A true CN101388038A (zh) | 2009-03-18 |
| CN101388038B CN101388038B (zh) | 2011-01-05 |
Family
ID=40477457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008101720199A Active CN101388038B (zh) | 2008-10-28 | 2008-10-28 | 数据抽取、转换和加载的执行方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101388038B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533407B (zh) * | 2009-04-10 | 2010-09-29 | 中国科学院软件研究所 | 一种etl流程中异常数据检测方法 |
| CN103019691A (zh) * | 2012-11-20 | 2013-04-03 | 北京思特奇信息技术股份有限公司 | 一种etl作业关系图的转化方法及其实现系统 |
| CN103473360A (zh) * | 2013-09-26 | 2013-12-25 | 浪潮齐鲁软件产业有限公司 | 一种大数据智能抽取的管理方法 |
| WO2016107137A1 (zh) * | 2014-12-31 | 2016-07-07 | 华为技术有限公司 | 基于影响分析的任务重做的方法、影响分析计算装置及一键重置装置 |
| CN103268228B (zh) * | 2013-05-28 | 2016-08-17 | 上海林康医疗信息技术有限公司 | 一种应用于医疗行为监管平台的中间件 |
| CN107545140A (zh) * | 2017-08-31 | 2018-01-05 | 上海德衡数据科技有限公司 | 一种智能化区域急救医疗集成数据中心系统原型 |
| CN107563117A (zh) * | 2017-08-31 | 2018-01-09 | 上海德衡数据科技有限公司 | 一种基于软件定义的智能化区域急救医疗集成数据中心系统原型 |
| CN107609336A (zh) * | 2017-10-09 | 2018-01-19 | 上海德衡数据科技有限公司 | 一种基于软件定义的智能化区域移动医疗元数据集成数据中心系统原型 |
| CN109997126A (zh) * | 2016-11-27 | 2019-07-09 | 亚马逊科技公司 | 事件驱动提取、变换、加载（etl）处理 |
| CN111178028A (zh) * | 2019-12-11 | 2020-05-19 | 深圳金赋科技有限公司 | 一种财务数据的清洗方法、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100487700C (zh) * | 2006-07-11 | 2009-05-13 | 阿里巴巴集团控股有限公司 | 数据仓库中的数据处理方法及系统 |
| US7600049B2 (en) * | 2006-09-14 | 2009-10-06 | International Business Machines Corporation | Method, system, and computer program product for timing operations of different durations in a multi-processor, multi-control block environment |
-
2008
- 2008-10-28 CN CN2008101720199A patent/CN101388038B/zh active Active
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533407B (zh) * | 2009-04-10 | 2010-09-29 | 中国科学院软件研究所 | 一种etl流程中异常数据检测方法 |
| CN103019691A (zh) * | 2012-11-20 | 2013-04-03 | 北京思特奇信息技术股份有限公司 | 一种etl作业关系图的转化方法及其实现系统 |
| CN103019691B (zh) * | 2012-11-20 | 2016-08-10 | 北京思特奇信息技术股份有限公司 | 一种etl作业关系图的转化方法及其实现系统 |
| CN103268228B (zh) * | 2013-05-28 | 2016-08-17 | 上海林康医疗信息技术有限公司 | 一种应用于医疗行为监管平台的中间件 |
| CN103473360A (zh) * | 2013-09-26 | 2013-12-25 | 浪潮齐鲁软件产业有限公司 | 一种大数据智能抽取的管理方法 |
| US10204012B2 (en) | 2014-12-31 | 2019-02-12 | Huawei Technologies Co., Ltd. | Impact analysis-based task redoing method, impact analysis calculation apparatus, and one-click resetting apparatus |
| WO2016107137A1 (zh) * | 2014-12-31 | 2016-07-07 | 华为技术有限公司 | 基于影响分析的任务重做的方法、影响分析计算装置及一键重置装置 |
| CN109997126A (zh) * | 2016-11-27 | 2019-07-09 | 亚马逊科技公司 | 事件驱动提取、变换、加载（etl）处理 |
| CN109997126B (zh) * | 2016-11-27 | 2024-01-23 | 亚马逊科技公司 | 事件驱动提取、变换、加载（etl）处理 |
| US11941017B2 (en) | 2016-11-27 | 2024-03-26 | Amazon Technologies, Inc. | Event driven extract, transform, load (ETL) processing |
| CN107545140A (zh) * | 2017-08-31 | 2018-01-05 | 上海德衡数据科技有限公司 | 一种智能化区域急救医疗集成数据中心系统原型 |
| CN107563117A (zh) * | 2017-08-31 | 2018-01-09 | 上海德衡数据科技有限公司 | 一种基于软件定义的智能化区域急救医疗集成数据中心系统原型 |
| CN107609336A (zh) * | 2017-10-09 | 2018-01-19 | 上海德衡数据科技有限公司 | 一种基于软件定义的智能化区域移动医疗元数据集成数据中心系统原型 |
| CN111178028A (zh) * | 2019-12-11 | 2020-05-19 | 深圳金赋科技有限公司 | 一种财务数据的清洗方法、设备及存储介质 |
| CN111178028B (zh) * | 2019-12-11 | 2024-06-04 | 深圳金赋科技有限公司 | 一种财务数据的清洗方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101388038B (zh) | 2011-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101388038B (zh) | 数据抽取、转换和加载的执行方法和装置 | |
| Wang et al. | Performance prediction for apache spark platform | |
| FI3382551T3 (fi) | Hajautettu laitteistojäljitys | |
| CN107688488B (zh) | 一种基于元数据的任务调度的优化方法及装置 | |
| CN102521712B (zh) | 一种流程实例数据处理方法和装置 | |
| CN106354817B (zh) | 一种日志的处理方法及装置 | |
| CN103377127A (zh) | 网页产品的开发测试系统、测试方法及装置 | |
| CN107515874A (zh) | 一种分布式非关系型数据库中同步增量数据的方法与设备 | |
| CN102681938A (zh) | 一种内存泄漏检测方法及装置 | |
| CN102681894A (zh) | 一种多任务并发调度方法及系统 | |
| CN103425564A (zh) | 一种智能手机软件使用预测方法 | |
| CN105718307A (zh) | 进程管理方法及进程管理装置 | |
| CN110532428A (zh) | 热词配置方法、装置、设备和存储介质 | |
| CN103744730A (zh) | 一种任务调度方法和装置 | |
| CN101162491A (zh) | 基于代码切片的虚拟执行系统与方法 | |
| CN104298671B (zh) | 数据统计分析方法及装置 | |
| CN103400074A (zh) | 一种隐藏进程的检测方法及装置 | |
| CN106933857B (zh) | 一种数据仓库中任务的调度方法、装置 | |
| CN107463555B (zh) | 删除中间层数据的方法、系统和装置 | |
| CN102521397B (zh) | 一种数据传输方法 | |
| CN102073690A (zh) | 一种支持历史Key信息的内存数据库 | |
| KR101666440B1 (ko) | 환형큐 기반의 인-메모리 데이터베이스 시스템에서의 데이터 처리방법 | |
| US20090327020A1 (en) | Intelligent task Deactivation In Project Scheduling Application | |
| CN108427599A (zh) | 异步任务统一处理方法、装置及存储介质 | |
| CN105630997A (zh) | 一种数据并行处理方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No. Patentee after: Xinhua three Technology Co., Ltd. Address before: 310053 Hangzhou hi tech Industrial Development Zone, Zhejiang province science and Technology Industrial Park, No. 310 and No. six road, HUAWEI, Hangzhou production base Patentee before: Huasan Communication Technology Co., Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180720 Address after: 450000 Grand View B18 building, 166 Du Ying Street, hi tech Industrial Development Zone, Zhengzhou, Henan Patentee after: Xinhua three major data Technology Co., Ltd. Address before: 310052 Changhe Road, Binjiang District, Hangzhou, Zhejiang Province, No. 466 Patentee before: Xinhua three Technology Co., Ltd. |