CN103136231B - 一种异构数据库间的数据同步方法及系统 - Google Patents

Abstract

一种异构数据库间的数据同步方法及系统，两个异构数据库分别为同一应用级事务的相关控制数据设置相同的唯一标识，源数据库触发采用唯一标识的应用级事务的相关控制源数据的修改，将修改信息设置在源数据库中源数据同步表中，数据同步执行系统中的源数据库同步进程读取源数据同步表中的该修改信息，转换为标准文本文件存储，数据同步执行系统中目标数据库同步进程读取标准文本文件，转换为采用唯一标识的应用级事务的相关控制目标数据的修改信息，写入到目标数据库中的目标数据同步表，调用该目标数据同步表中该相关控制目标数据的修改信息后，对该目标数据库中所存储的相关目标数据修改。本发明使得不同数据存储结构的数据库之间进行数据同步。

Description

一种异构数据库间的数据同步方法及系统

技术领域

本发明涉及数据库领域，特别涉及一种异构数据库间的数据同步方法及系统。

背景技术

随着数据库技术的发展，出现了不同数据存储结构的数据库，如何将不同数据存储结构的数据库中的数据进行同步，成为了一个亟待解决的问题。

举一个具体例子说明，比如业务支撑系统(CRM)数据库和业务运营支撑系统(BOSS)数据库之间进行数据同步，该数据为支持事务控制的数据同步。CRM主要负责实现用户在各渠道的业务受理与开通，BOSS主要负责实现对用户的计费。当BOSS要对用户进行计费时，BOSS数据库就需要从CRM数据库中获取用户的应用级事务的控制信息，比如用户的业务订购关系、用户代付关系、用户与集团的关系等。BOSS数据库和CRM数据库相互独立，相互之间的数据不能共享，因此，就需要一种数据同步方法，将CRM数据库中的数据同步到BOSS数据库中。

为了使得数据同步成功，CRM数据库和BOSS数据库采用相同的数据存储结构，也就是设置相同的表结构，当CRM数据库中的表项字段被修改后，该修改信息被数据同步执行系统获取到，数据同步执行系统指示BOSS数据库执行相同的表项字段修改，数据同步执行系统通常采用结构化查询语言(SQL)完成上述过程，在数据同步执行系统对BOSS数据库中的相关表项字段修改后，无法对数据表项修改进行撤销。

为了使得数据同步执行系统在进行数据同步时，都可以查询CRM数据库和BOSS数据库，CRM数据库和BOSS数据库都可以识别数据同步执行系统发送的SQL消息，因此，需要CRM数据库和BOSS数据库为相同存储结构和相同版本的数据库。

采用上述方式实现CRM数据库和BOSS数据库的数据同步过程，就需要保证这两个数据库具有相同存储结构及相同版本，这会存在一些缺点：一个应用级事务的相关控制数据需要分解为多个数据库事务，也就对应CRM数据库中的多个表项，同步到BOSS数据库时也对应多个数据库事务。当CRM数据库要修改某一应用级事务的相关控制数据时，就需要在CRM数据库中修改多个表项，这时，在BOSS数据库中也需要对应的修改多个表项，比较繁琐且容易出错。另外，由于一个应用级事务相关控制数据同步到BOSS数据库中时，被拆分为多个表项，而这多个表项并没有表明相关的应用级事务，且BOSS数据库也没有对同步前的数据进行保存，所以当要进行应用级事务相关控制数据的撤销时，也难以简单地完全撤销。

因此，目前还没有一种异构数据库间的数据同步方法及系统。

发明内容

有鉴于此，本发明提供一种异构数据库间的数据同步方法，该方法能够使得不同数据存储结构的数据库之间进行数据同步。

本发明还提供一种异构数据库件的数据同步系统，该系统能够使得不同数据存储结构的数据库之间进行数据同步。

为达到上述目的，本发明实施的技术方案具体是这样实现的：

一种异构数据库间的数据同步方法，在数据同步执行系统中设置源数据库同步进程及目标数据库同步进程，将源数据库和目标数据库存储的同一应用级事务的相关控制数据设置相同的唯一标识，该方法还包括：

源数据库的触发器触发源数据库中的应用级事务的相关控制源数据的修改，将具有该应用级事务唯一标识的该应用级事务的相关控制源数据的修改信息写入到源数据同步表中；

源数据库同步进程读取该源数据同步表中的该应用级事务的相关控制源数据的修改信息，将该源数据同步表中的该应用级事务的相关控制源数据的修改信息，进行标准文本的转换后得到标准文本文件存储在数据同步执行系统中；

目标数据库同步进程读取并解析标准文本文件，将该标准文本文件转换为目标数据库识别的具有该应用级事务唯一标识的该应用级事务的相关控制目标数据的修改信息后，写入到目标数据库中的目标数据同步表中，调用该应用级事务的相关控制目标数据的修改信息，对该目标数据库中所存储的具有该应用级事务唯一标识的相关目标数据进行修改。

一种异构数据库间的数据同步系统，该系统包括：源数据库、数据同步执行系统及目标数据库，其中，

源数据库，设置源适配器和触发器，用于采用设置的触发器触发对唯一标识的应用级事务的相关控制源数据的修改后，通过源适配器被数据同步执行系统中的源数据库同步进程的调用，将修改信息存储到设置的源数据同步表中后，由源数据库同步进程从源数据同步表中读取；

数据同步执行系统，包括源数据库同步进程和目标数据库同步进程，用于采用源数据库同步进程调用源数据库，采用唯一标识的应用级事务的相关控制源数据的修改信息存储到源数据同步表，读取该源数据同步表中的该修改信息，进行标准文本的转换后得到标准文本文件存储在数据同步执行系统中；采用目标数据库同步进程读取并解析标准文本文件后，将该标准文本文件转换为目标数据库识别的采用唯一标识的应用级事务的相关控制目标数据的修改信息后，写入到目标数据库中的目标数据同步表中，调用目标数据同步表中的修改信息对该目标数据库中所存储的相关目标数据进行修改；

目标数据库，设置目标适配器，通过目标适配器被数据同步执行系统中的目标数据库同步进程的调用，将采用唯一标识的应用级事务的相关控制目标数据的修改信息，写入目标数据同步表中，根据目标数据同步表中该相关控制目标数据的修改信息后，对该目标数据库中所存储的相关目标数据进行修改。

由上述方案可以看出，本发明在两个异构数据库中分别为同一应用级事务的相关控制数据设置相同的唯一标识，在数据同步执行系统中设置源数据库同步进程及目标数据库同步进程，源数据库触发采用唯一标识的应用级事务的相关控制源数据的修改后，将修改信息设置在源数据库中的源数据同步表中，然后源数据库同步进程读取该源数据同步表中的该修改信息，进行标准文本的转换后得到标准文本文件存储在数据同步执行系统中，目标数据库同步进程读取并解析标准文本文件后，将该标准文本文件转换为目标数据库识别的采用唯一标识的应用级事务的相关控制目标数据的修改信息后，写入到目标数据库中的目标数据同步表中，再调用该目标数据同步表中的该相关控制目标数据的修改信息后，对该目标数据库中所存储的相关目标数据进行修改。由于本发明在数据同步执行系统中存在两个不同的同步进程，分别对存储结构不同的采用唯一标识的应用级事务的相关控制源数据的修改信息进行标准文本的转换，及将标准文本转换为采用唯一标识的应用级事务的相关控制目标数据的修改信息，这样，就可以使得不同数据存储结构的数据库之间进行数据同步。

附图说明

图1为本发明提供的一种异构数据库间的数据同步方法流程图；

图2为本发明提供一种异构数据库间的数据同步系统结构示意图；

图3为本发明提供的一种异构数据库间的数据同步方法实施例示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明作进一步详细说明。

从背景技术可以看出，为了实现数据库之间的数据同步存在着很多缺点的根本原因是需要源数据库和目标数据库采用相同版本且相同存储结构的数据库，因此，如何实现不同存储结构的数据库之间的数据同步成为了克服背景技术中缺点的关键所在。

因此，本发明在两个异构数据库中分别为同一应用级事务的相关控制数据设置相同的唯一标识，在数据同步执行系统中设置源数据库同步进程及目标数据库同步进程，源数据库触发采用唯一标识的应用级事务的相关控制源数据的修改后，将修改信息设置在源数据库中的源数据同步表中，然后源数据库同步进程读取该源数据同步表中的该修改信息，进行标准文本的转换后得到标准文本文件存储在数据同步执行系统中，目标数据库同步进程读取并解析标准文本文件后，将该标准文本文件转换为目标数据库识别的采用唯一标识的应用级事务的相关控制目标数据的修改信息后，写入到目标数据库中的目标数据同步表中，再调用该目标数据同步表中的该相关控制目标数据的修改信息后，对该目标数据库中所存储的相关目标数据进行修改。

由于本发明在数据同步执行系统中存在两个不同的同步进程，分别对存储结构不同的采用唯一标识的应用级事务的相关控制源数据的修改信息进行标准文本的转换，及将标准文本转换为采用唯一标识的应用级事务的相关控制目标数据的修改信息，这样，就可以使得不同数据存储结构的数据库之间进行数据同步。

在本发明中，在源数据库中设置有触发器，用于在采用唯一标识的应用级事务的相关控制源数据要修改时，数据同步执行系统采用该触发器触发采用唯一标识的应用级事务的相关控制源数据的修改后，将该修改信息设置在源数据库中的源数据同步表中。

在本发明中，源数据库中还设置了源适配器，用于与数据同步执行系统的源数据库同步进程相匹配，进行相关控制源数据的修改信息存取。

在本发明中，目标数据库还设置了目标适配器，用于与数据同步执行系统的目标数据库同步进程相匹配，进行相关控制目标数据的修改信息存取。

图1为本发明提供的一种异构数据库间的数据同步方法流程图，在数据同步执行系统中设置源数据库同步进程及目标数据库同步进程，将源数据库和目标数据库存储的同一应用级事务的相关控制数据设置相同的唯一标识，该方法还包括：

步骤101、源数据库的触发器触发源数据库中的应用级事务的相关控制源数据的修改，将具有该应用级事务唯一标识的该应用级事务的相关控制源数据的修改信息写入到源数据同步表中；

在这里，修改信息包括了该应用级事务的唯一标识，比如序列号OID，相关控制源数据变化内容及变化方式，该源数据同步表中对该应用级事务的相关控制源数据的修改同步流水的唯一标识是相同的；

在这里，变化方式为增加、删除、修改或撤销等；

步骤102、源数据库同步进程读取该源数据同步表中的该应用级事务的相关控制源数据的修改信息；

在这里，源数据库配置有源适配器，可以直接与源数据库同步进程进行数据交互；

步骤103、源数据库同步进程将该源数据同步表中的该应用级事务的相关控制源数据的修改信息，进行标准文本的转换后得到标准文本文件存储在数据同步执行系统中；

步骤104、目标数据库同步进程读取并解析标准文本文件，将该标准文本文件转换为目标数据库识别的该应用级事务的相关控制目标数据的修改信息后，写入到目标数据库中的目标数据同步表中；

在这里，目标数据库配置有目标适配器，可以直接与目标数据库同步进程进行数据交互；

步骤105、目标数据库同步进程调用该应用级事务的相关控制目标数据的修改信息，对该目标数据库中所存储的具有该应用级事务唯一标识的相关目标数据进行修改；

在这里，这个过程也是通过目标适配器完成的；

在这里，目标数据库同步进程结合目标数据库的业务逻辑解析，将修改信息解析为数据更新动作，在目标数据修改前，会将目标数据修改前的值、目标数据修改后的值及对应的唯一标识同步到所设置的日志表中。

这时，如果源数据库对该应用级事务的相关控制源数据的修改撤销，则数据同步执行系统发起携带唯一标识的该应用级事务的相关控制目标数据的修改撤销指令给目标数据库，这时，目标数据库就可以查询所设置的日志表，根据唯一标识确定该应用级事务的相关控制目标数据的修改撤销，恢复为原来的目标数据。

这样，就完成了异构数据库之间的数据同步。

当目标数据库的目标数据修改完成后，该方法还可以包括：

步骤106、目标数据库同步进程生成数据同步应答文件，文件中包括了该应用级事务的唯一标识和应答代码，用于向源数据库反馈数据同步结果；

步骤107、源数据库同步进程读取数据同步应答文件；

步骤108、源数据库同步进程解析所读取的数据同步应答文件，根据该文件中的该应用级事务的唯一标识更新源数据库中的源数据同步表内相关控制源数据的修改信息中的流水状态，并更新流水代码，表示同步完成。

图2为本发明提供一种异构数据库间的数据同步系统结构示意图，包括：源数据库、数据同步执行系统及目标数据库，其中，

源数据库，设置源适配器和触发器，用于采用设置的触发器触发采用唯一标识的应用级事务的相关控制源数据的修改后，通过源适配器被数据同步执行系统中的源数据库同步进程的调用，将修改信息存储到设置的源数据同步表中后，由源数据库同步进程从源数据同步表中读取；

数据同步执行系统，包括源数据库同步进程和目标数据库同步进程，用于采用源数据库同步进程调用源数据库，采用唯一标识的应用级事务的相关控制源数据的修改信息存储到源数据同步表，读取该源数据同步表中的该修改信息，进行标准文本的转换后得到标准文本文件存储在数据同步执行系统中；采用目标数据库同步进程读取并解析标准文本文件后，将该标准文本文件转换为目标数据库识别的采用唯一标识的应用级事务的相关控制目标数据的修改信息后，写入到目标数据库中的目标数据同步表中，调用目标数据同步表中的修改信息对该目标数据库中所存储的相关目标数据进行修改；

目标数据库，设置目标适配器，通过目标适配器被数据同步执行系统中的目标数据库同步进程的调用，将采用唯一标识的应用级事务的相关控制目标数据的修改信息，写入目标数据同步表中，根据目标数据同步表中该相关控制目标数据的修改信息后，对该目标数据库中所存储的相关目标数据进行修改。

在该系统中，所述数据同步执行系统，还用于采用目标数据库同步进程生成数据同步应答文件，文件中包括了该应用级事务的唯一标识和应答代码；采用源数据库同步进程读取并解析数据同步应答文件，根据该文件中的该应用级事务的唯一标识更新源数据库中的源数据同步表内相关控制源数据的修改信息中的流水状态及流水代码；

所述源数据库，还用于根据源数据库同步进程的调用，将源数据同步表内相关控制源数据的修改信息中的流水状态及流水代码进行更新。

在该系统中，所述数据同步执行系统，还用于采用目标数据库同步进程在目标数据修改前，将目标数据修改前的值、目标数据修改后的值及对应的唯一标识同步到所设置的日志表中，可以进行目标数据修改的撤销。

以下举一个具体实施例说明本发明，假设源数据库为CRM数据库，目标数据库为BOSS数据库，CRM数据库采用的数据存储结构与BOSS数据库采用的数据存储结构不同。

在该实施例中，假设应用级事务的修改为对某一用户停机事务修改为该用户的复机事务，在CRM数据库中，涉及该应用级事务的相关控制源数据保存在源表1中，即源状态表，标识该用户的状态为停机，以及在源表2中，即余额表，标识该用户的余额为-20元，源表1和源表2的该用户都用唯一标识进行标识。

在将该用户停机事务修改为该用户的复机事务时，如图3所示，CRM数据库触发器触发修改，将源表1中的该用户状态更改为复机，将源表2中的该用户的余额修改为40元，然后将对应该用户标识的相关控制源数据的修改信息，包括进行该用户的状态修改及余额修改，存储到源数据同步表中。

数据同步执行系统中的源数据库同步进程通过CRM数据库的适配器调用源数据同步表，获取到对应该用户标识的相关控制源数据的修改信息，然后进行标准文本转换，得到对应该用户标识的相关控制源数据的修改信息的标准文本文件。

数据同步执行系统中的目标数据库同步进程读取对应该用户标识的相关控制源数据的修改信息的标准文本文件，进行转换，转换为对应该用户标识的相关控制目标数据的修改信息，存储到目标数据同步表中。

数据同步执行系统中的目标数据库同步进程从目标数据同步表中获取到对应该用户标识的相关控制目标数据的修改信息，该修改信息为更改目标表1中的对应该用户标识的状态及余额，则将目标表1中的对应该用户标识的状态由“0”修改为“1”，表示由停机更改为复机，然后将余额修改从“-20.00元”修改为“+40.00元”，然后将修改前后的目标表1中的目标数据都存储在日志表中，以便后续可以撤销修改。

在修改完成后，数据同步执行系统中的目标数据库同步进程还可以生成数据同步应答文件，包括该用户标识及应答代码，源数据库同步进程读取后，对源数据同步表中的该用户标识的修改信息中的状态进行更新，并更新应答代码。

本发明通过数据同步进程适配器的使用，可以支持异构数据库之间的数据同步；本发明在异构数据库间传输的为修改信息，包括修改内容及修改方式，使得源数据库的同步数据生成、目标数据库对同步数据的解析和执行逻辑都是分离的，保证源数据库和目标数据库可以采用不同的数据存储方式；本发明采用唯一标识标识具有多个相关控制数据的应用级事务，在异构数据库之间同步应用级事务的修改或撤销时，保证相关控制数据的修改或撤销的一致性。

以上举较佳实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种异构数据库间的数据同步方法，其特征在于，在数据同步执行系统中设置源数据库同步进程及目标数据库同步进程，将源数据库和目标数据库存储的同一应用级事务的相关控制数据设置相同的唯一标识，该方法还包括：

源数据库的触发器触发源数据库中的应用级事务的相关控制源数据的修改，将具有该应用级事务唯一标识的该应用级事务的相关控制源数据的修改信息写入到源数据同步表中；

源数据库同步进程读取该源数据同步表中的该应用级事务的相关控制源数据的修改信息，将该源数据同步表中的该应用级事务的相关控制源数据的修改信息，进行标准文本的转换后得到标准文本文件存储在数据同步执行系统中；

目标数据库同步进程读取并解析标准文本文件，将该标准文本文件转换为目标数据库识别的具有该应用级事务唯一标识的该应用级事务的相关控制目标数据的修改信息后，写入到目标数据库中的目标数据同步表中，调用该应用级事务的相关控制目标数据的修改信息对该目标数据库中所存储的具有该应用级事务唯一标识的相关目标数据进行修改；

所述源数据库设置有源适配器，源数据库同步进程读取该源数据同步表中的该应用级事务的相关控制源数据的修改信息是通过该源适配器进行的；

所述目标数据库设置有目标适配器，目标数据库将具有该应用级事务唯一标识的该应用级事务的相关控制目标数据的修改信息写入到目标数据库中的目标数据同步表是通过该目标适配器进行的，所述调用该应用级事务的相关控制目标数据的修改信息，对该目标数据库中所存储的具有该应用级事务唯一标识的相关目标数据进行修改是通过该目标适配器进行的。

2.如权利要求1所述的方法，其特征在于，所述该应用级事务的相关控制源数据的修改信息包括该应用级事务的唯一标识、相关控制源数据变化内容及变化方式。

3.如权利要求1或2所述的方法，其特征在于，该方法还包括：

目标数据库同步进程在目标数据修改前，将目标数据修改前的值、目标数据修改后的值及对应的唯一标识同步到所设置的日志表中。

4.如权利要求1或2所述的方法，其特征在于，该方法还包括：

目标数据库同步进程生成数据同步应答文件，文件中包括了该应用级事务的应用级事务的唯一标识和应答代码；

源数据库同步进程读取数据同步应答文件后解析，根据该文件中的该应用级事务的唯一标识更新源数据库中的源数据同步表内相关控制源数据的修改信息中的流水状态并更新流水代码。

5.一种异构数据库间的数据同步系统，其特征在于，该系统包括：源数据库、数据同步执行系统及目标数据库，其中，

源数据库，设置源适配器和触发器，用于采用设置的触发器触发对唯一标识的应用级事务的相关控制源数据的修改，修改信息通过源适配器被数据同步执行系统中的源数据库同步进程调用，存储到设置的源数据同步表中后，由源数据库同步进程从源数据同步表中读取；

数据同步执行系统，包括源数据库同步进程和目标数据库同步进程，用于采用源数据库同步进程调用源数据库，把采用唯一标识的应用级事务的相关控制源数据的修改信息存储到源数据同步表，读取该源数据同步表中的该修改信息进行标准文本的转换后得到标准文本文件，将所述标准文本文件存储在数据同步执行系统中；采用目标数据库同步进程读取并解析标准文本文件后，将该标准文本文件转换为目标数据库识别的采用唯一标识的应用级事务的相关控制目标数据的修改信息后，写入到目标数据库中的目标数据同步表中，调用目标数据同步表中的修改信息对该目标数据库中所存储的相关目标数据进行修改；

目标数据库，设置目标适配器，通过目标适配器被数据同步执行系统中的目标数据库同步进程的调用，将采用唯一标识的应用级事务的相关控制目标数据的修改信息写入目标数据同步表中，根据目标数据同步表中该相关控制目标数据的修改信息对该目标数据库中所存储的相关目标数据进行修改。

6.如权利要求5所述的系统，其特征在于，所述数据同步执行系统，还用于采用目标数据库同步进程生成数据同步应答文件，文件中包括了该应用级事务的唯一标识和应答代码；采用源数据库同步进程读取并解析数据同步应答文件，根据该文件中的该应用级事务的唯一标识更新源数据库中的源数据同步表内相关控制源数据的修改信息中的流水状态及流水代码；

所述源数据库，还用于根据源数据库同步进程的调用，将源数据同步表内相关控制源数据的修改信息中的流水状态及流水代码进行更新。

7.如权利要求5或6所述的系统，其特征在于，所述数据同步执行系统，还用于采用目标数据库同步进程在目标数据修改前，将目标数据修改前的值、目标数据修改后的值及对应的应用级事务的唯一标识同步到所设置的日志表中。