CN105183898A - 数据同步方法和数据同步系统 - Google Patents

Abstract

本发明实施例提出一种数据同步方法和数据同步系统，用于将原始数据库中的数据同步至目标数据库，所述原始数据库包括至少一个存储数据，每一个所述存储数据包括内容位，所述数据同步方法包括：在所述原始数据库中设置标记数据；在修改其中一个存储数据的一个内容位时，在对应的所述标记数据中设置标记位；以及扫描所述标记数据，当扫描出该标记位时，根据该标记位将对应的该内容位的内容写入所述目标数据库。本发明的数据同步方法和同步系统，对修改后的存储数据进行标记，方法简单，提高了跨数据库的数据同步的效率，同时标记位所占的内存小，实现了数据同步的实时性和一致性，性价比高，同时具有减少数据同步量、提高同步效率的优点。

Description

数据同步方法和数据同步系统

技术领域

本发明涉及数据库领域，具体涉及一种数据同步方法和数据同步系统。

背景技术

现如今，跨数据库之间的数据同步目前存在两种问题：

1)依赖其他中间系统，使得同步系统过于复杂，导致系统不稳定。系统出现bug的时候，系统的调试工程量大，时间效率低；

2)依赖较为复杂的技术保证数据的实时性和一致性。技术过于复杂，难以优化编译生成高效目标代码。程序执行效率低，代码重构时间成本高，整个程序设计方案并不是经济有效的。

因此，本领域需要提出一种简单高效的数据同步方法，保证数据同步的实时性和一致性，同时也一定程度上减少了数据的同步量。

发明内容

本发明提出一种数据同步方法，用于将原始数据库中的数据同步至目标数据库，所述原始数据库包括至少一个存储数据，每一个所述存储数据包括内容位，其特征在于，所述数据同步方法包括：

在所述原始数据库中设置标记数据；

当其中一个存储数据的一个内容位被修改时，在对应的所述标记数据中设置标记位；以及

扫描所述标记数据，当扫描出该标记位时，根据该标记位将对应的该内容位的内容写入所述目标数据库。

在一实施例中，所述标记数据与所述存储数据具有相同的格式，当其中一个存储数据的一个内容位被修改时，在对应的所述标记数据中设置标记位的步骤进一步包括：

根据所修改的内容位所在的地址，在所述对应的标记数据的相同地址中设置标记位。

在一实施例中，所述地址为根据所述内容位的行位和列位确定的数据位置。

在一实施例中，所述原始数据库包括数据表格，所述存储数据为存储列族，在所述原始数据库中设置标记数据的步骤包括：

在每个数据表格中新建标记列族。

在一实施例中，当其中一个存储数据的一个内容位被修改时，在对应的所述标记数据中设置标记位的步骤包括：

针对所述内容位所在的存储列族的行和列，在所述标记列族的相同行及相同列中设置标记位，以标记所述内容位是否改动。

在一实施例中，根据该标记位将对应的该内容位的内容写入所述目标数据库的步骤之后，还包括：

删除所述内容位对应的标记位。

在一实施例中，所述原始数据库为HBase数据库，所述目标数据库为MongoDB数据库。

在一实施例中，所述标记位为写入标记位和/或删除标记位。

本发明一实施例还提出一种数据同步系统，用于将原始数据库中的数据同步至目标数据库，所述原始数据库包括至少一个存储数据，每一个所述存储数据包括内容位，所述数据同步系统包括：

内存分配单元，用于在所述原始数据库中设置用以存储标记数据的内存；

写入单元：用于当其中一个存储数据的一个内容位被修改时，在对应的所述标记数据中写入标记位；

扫描发送单元：用于扫描该内存中是否存在标记位，并在扫描出所述标记位时，根据该标记位将对应的该内容位的内容写入所述目标数据库。

在一实施例中，还包括：

删除单元，用于将同步成功后的内容位对应的标记位删除。

在一实施例中，所述标记数据与所述存储数据具有相同的格式，所述写入单元根据所修改的内容位所在的地址，在所述对应的标记数据的相同地址中设置所述标记位。

在一实施例中，所述存储数据为存储列族，所述内存分配单元在所述原始数据库中的一个数据表格中新建一个标记列族；所述写入单元还针对所述存储列族的每行和每列，在所述标记列族的相同行及相同列中设置所述标记位，以标记所述内容位是否改动。

在一实施例中，所述标记位为写入标记位和/或删除标记位。

本发明一实施例还提出一种数据同步系统，用于将原始数据库中的数据同步至目标数据库，所述原始数据库包括至少一个存储数据，每一个所述存储数据包括内容位，一内存分配单元用于在所述原始数据库中设置用以存储标记数据的内存；一写入单元用于当其中一个存储数据的一个内容位被修改时，在对应的所述标记数据中写入标记位，其特征在于，该数据同步系统包括：

扫描发送单元：用于扫描该内存中是否存在标记位，并在扫描出所述标记位时，根据该标记位将对应的该内容位的内容写入所述目标数据库；以及

删除单元，用于将同步成功后的内容位对应的标记位删除。

通过上述描述可知，相比于现有技术，本发明至少具有如下优点：

1)使用标记位对数据库中修改后的存储数据进行标记，方法简单，替代了比较复杂的技术方案，提高了数据同步的效率。

2)标记位所占内存可以忽略不计，以极小的内存换取数据同步的实时性和一致性，性价比高。

3)由于在数据库中每个修改操作的标记位可以只维护一份，同时对相同内容位的进行多次修改时，以最后一次修改操作为准而对数据进行一次同步，减少了数据同步量，提高了同步效率。

4)当标记位对应的内容位的数据成功同步到目标数据库时，删除该标记位；当同步失败时，对该标记位不做任何处理，直至数据同步成功才将该标记位删除。此方法提高了系统同步准确率。

5)不依赖其他中间系统，适用范围更广。

附图说明

图1所示为本发明一实施例的数据同步方法的流程图。

图2所示为本发明一实施例的原始数据库中存储的至少一个存储数据的数据格式图。

图3所示为对应于图2的存储数据的标记数据的数据格式图。

图4所示为本发明一实施例的数据同步方法的步骤流程图。

图5所示为本发明一实施例的数据同步系统的模块图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的设备和方法的部分例子。

图1所示为本发明一实施例的数据同步方法的示意图。本发明所要解决的问题是跨数据库的数据同步问题，具体说来，在原始数据库和目标数据库之间建立同步的途径。这一方法不仅简单高效，不仅能够保证数据同步的实时性和一致性，同时也一定程度上减少了数据的同步量。

本发明一实施例提出的数据同步方法用于将原始数据库中的数据同步到目标数据库，其中该原始数据库包括至少一个存储数据，每一个存储数据包括内容位，该同步方法包括如下流程：

步骤1，在原始数据库中设置标记数据；

步骤2，当其中一个存储数据的一个内容位被修改时，在对应的所述标记数据中设置标记位；以及

步骤3，扫描所述标记数据，根据该标记位将对应的该内容位的内容写入所述目标数据库。

对应地，本发明一实施例提出一种数据同步系统，用于将原始数据库中的数据同步至目标数据库，所述原始数据库包括至少一个存储数据，每一个所述存储数据包括内容位，所述数据同步系统包括：

内存分配单元，用于在所述原始数据库中设置用以存储标记数据的内存；

写入单元：用于当其中一个存储数据的一个内容位被修改时，在对应的所述标记数据中写入标记位；

扫描发送单元：用于扫描该内存中是否存在标记位，并在扫描出所述标记位时，根据该标记位将对应的该内容位的内容写入所述目标数据库。

以下结合附图和具体实施例，对本发明的方案进行具体说明。

图2所示为本发明一实施例的原始数据库中存储的至少一个存储数据的数据格式图。如图2所示，在本实施例中，该存储数据中包括地址和内容位，二者一一对应，例如，地址是由该数据格式中的行标(rowkey)和列标(c1、c2、c3、c4等)组成，每一个内容位的位置均可以由地址确定，例如，(rowKey＝00001，column(d1)＝c2)这一地址对应的内容位的内容为“杰克”；(rowKey＝00002，column(d1)＝c3)这一地址对应的内容位为“22”。因此，在同一个存储数据中，每一个内容位具有唯一对应的地址。该原始数据库中存储有一个或多个内容位及地址。

图3所示为本发明一实施例的原始数据库中存储的标记数据的数据格式图。这里的“相互对应的数据格式”是指每一个标记位具有唯一对应的地址，并且通过该地址可以查询到存储数据中的内容位，即，通过列族d1的内容位可以获知其地址，通过该地址在列族d2中可以查询到对应地址的标记位，反之亦然。简而言之，标记位、地址和内容位三者唯一对应。

例如，根据图3列族d2的(rowKey＝00001，column＝c2)这一地址，可以对应到put/delete标记，同时可以根据这一地址在存储数据中查询到对应的内容位“杰克”。

在上述步骤中，可以先在原始数据库中开辟一块内存区域，用于存储标记数据，这一步骤可以通过java程序来执行，也可以通过其他方式，本发明并不特别限定。

在步骤1中，该标记数据与前述的存储数据可以具有相互对应的数据格式，该标记数据包括至少一个地址和标记位，该地址和该标记位一一对应。

在步骤3中，可以扫描标记数据，判断每一个标记数据是否等于特定数值。在这一步骤中，以图3为例，使用者可以设置put/delete标记，例如当步骤2中存储数据的内容位经过修改，则对应的标记位可被修改为“1”或者其他特定数值，以便检测器(observer)进行扫描。在其他实施例中，所述put/Delete标记也可以为任意数据，当检测器检测到该数据时，进行下一步骤。这一步骤可以由检测器执行，也可以由其他硬件或软件执行，并不特别限定。

在步骤3中，扫描标记数据，根据该标记位将对应的内容写入目标数据库中，即检测到标记数据等于特定数值时，根据标记位唯一对应的地址，确定存储数据中对应的内容位，并将该内容位写入目标数据库中。本实施例以目标数据库为MongoDB数据库为例，步骤3中确定的内容位被同步至MongoDB数据库中。

上述实施例中，原始数据库和目标数据库均为非关系型数据库。然而在其他实施例中，原始数据库和目标数据库的类型并不特别限定，例如可以为关系型数据库、非关系型数据库等。

在其他实施例中，例如原始数据库为HBase这一分布式的、面向列的开源数据库，可以在HBase的不同列设置标记位，以标记对应的内容位的数据是否改动，然后将改动列的数据同步到其他数据库。具体的，根据要同步数据而在HBase相同的行中新的列族中维护一块具有相同列名的标记位，且每行数据块中每个列的标记位只有一份。通过程序定时扫描标记位，再根据标记位的列名找到该列的数据并将数据同步到其他的数据库。标记位很小且可以存储在内存中，因而能够在近乎实时的时间来同步数据到其它数据库；数据只有成功同步到其它数据库才会删除对应的标记位，保证数据库之间的数据一致性；每次进行数据同步时都只同步最新修改的数据，减少了数据的同步量。

进一步地，内容位存储的数据和对应的标记位可以放在同一张表的不同列族中存储,也可以放在不同表但是相同列族中存储,每次对存储数据的修改(put/delete)操作都会在对应的标记位中标记(只保存一个标记值,新标记会将旧标记覆盖),而检测器(Observer)以一定间隔扫描这些标记位,将标记位对应的每行(rowKey决定)修改列的内容同步到其它数据库。

图4为本发明一实施例的数据同步方法的流程图。如图4所示，在一实施例中，步骤1即“在原始数据库中设置标记数据”的步骤具体为：

在原始数据库中开辟一块内存区域，在该内存区域中新建相应于每一个存储数据表格的标记数据表格。

具体地，当原始数据库为HBase数据库时，该步骤为：在每个HBase表都新建一个列族(d)，维护一块内存区域，针对每行数据的每列，都在列族(d)中相同行相应列中标记是否改动(只保存一份)。这一步骤可称为“系统初始化”。

在一实施例中，步骤2即“在修改其中一个存储数据的一个内容位时，在对应的所述标记数据中设置标记位”的步骤具体为：

每次对存储数据进行写入或删除操作时，需要在标记数据中的相应位置更新对应于该内容位的标记位，每个标记位在内存中只维护一份，因此可以同时进行多个写入、删除的操作，以最后一次操作为准。

具体地，当原始数据库为HBase数据库时，该步骤为：每次对HBase进行put或者delete操作的时候，需要在列族(d)中相应行相应列中更新标记位，而每个标记位在内存中都只维护一份，因此同时进行多个put或者delete操作时，以最后一个put或者delete操作为准。这一步骤可以称为“标记位更新”。

在一实施例中，步骤3即“扫描所述标记数据，根据该标记位将对应的该内容位的内容写入所述目标数据库”的步骤具体为：

每隔一定时间间隔，扫描原始数据库中的标记位，对于发生变动的标记位，根据其地址取出存储数据的对应的内容位，将该内容位同步到其他数据库。

具体地，当原始数据库为HBase数据库时，该步骤为：每隔一定的时间间隔(间隔大小取决于系统对实时性要求的高低)扫描HBase中不同表中列族(d)的标记位。对于发生变动的标记位，根据它对应行的rowKey以及列名取出该行特定列的内容，然后再将取出的数据同步到其他数据库。这一步骤可以称为“数据的同步”。

在一实施例中，当同步结束之后，该方法还包括：

步骤4’：删除所述内容位对应的标记位。具体地，当原始数据库为HBase数据库时，该步骤为：当该标记位对应的数据成功同步到其他数据库时，然后再将该标记位删除，减少检测器(Observer)每轮扫描的数据量；当该标记位对应的数据同步到其他数据库失败时，对该标记位不做任何处理，检测器(Observer)下轮再次扫描到该标记位时，再重新将该标记位对应的数据同步到其他数据库，以此类推，直至数据被成功同步到其他数据库才将该标记位删除。这样每个处理阶段都只专注自己的处理职责，而不用关注其他的处理过程。

在一实施例中，如图1所示，当同步结束之后，该方法还包括：

步骤4：将同步成功的消息发送至使用方。

图5为本发明一实施例的数据同步系统的模块图。如图5所示，本发明另一实施例还提出一种数据同步系统，用于将原始数据库中的数据同步至目标数据库，所述原始数据库包括至少一个存储数据，每一个所述存储数据包括内容位，所述数据同步系统包括：

内存分配单元10，用于在原始数据库中设置内存，供存储标记数据；

写入单元20：用于当其中一个存储数据的一个内容位被修改时，在对应的标记数据中写入标记位；

扫描发送单元30：用于扫描该内存中是否存在标记位，并在扫描出所述标记位时，根据该标记位将对应的该内容位的内容写入所述目标数据库。

在本发明数据同步系统的一实施例中，所述存储数据为存储列族时，所述内存分配单元10在每一个数据表格中新建一个标记列族。

在本发明数据同步系统的一实施例中，该写入单元20根据所修改的内容位的地址，在对应的标记数据的相同地址中设置标记位。进一步地，所述地址为根据所述内容位的行位和列位确定的数据位置。

在本发明数据同步系统的一实施例中，所述写入单元20还可以针对所述存储列族的每行的每列，在所述标记列族的相同行及相同列中标记是否改动。进一步地，如果不改动，则不设置标记位。

在本发明数据同步系统的一实施例中，还包括：

删除单元40，用于将同步成功后的内容位对应的标记位删除。

在本发明数据同步系统的一实施例中，还包括：

报告单元，用于在同步成功之后发送同步成功消息给使用方。

在本发明数据同步系统的一实施例中，原始数据库可以为HBase数据库，目标数据库可以为MongoDB数据库。

在本发明数据同步系统的一实施例中，所述标记位为写入标记位和/或删除标记位。

如图5中线框中所示，本发明再一实施例提出一种数据同步系统，用于在原始数据库和目标数据库之间同步数据。其中，原始数据库中存储有存储数据和标记数据，一内存分配单元10用于在所述原始数据库中设置用以存储标记数据的内存；一写入单元20在该存储数据的一内容位中写入数据，并在写入数据时在对应于存储数据的标记数据中设置标记位，该数据同步系统包括：

扫描发送单元30：用于扫描该内存中是否存在标记位，并在扫描出所述标记位时，根据该标记位将对应的该内容位的内容写入所述目标数据库；以及

删除单元40，用于将同步成功后的内容位对应的标记位删除。

通过上述描述可知，相比于现有技术，本发明至少具有如下优点：

1)使用标记位对数据库中修改后的存储数据进行标记，方法简单，替代了比较复杂的技术方案，提高了数据同步的效率。

当原始数据库为HBase数据库时，使用标记位对HBase中每行数据的列的修改进行标记，方法简单，提高了HBase中数据同步的效率。在不影响HBase性能和不修改HBase内核的前提下，实现了将HBase数据实时同步到其他数据库，有效解决数据库中读写分离模型中数据不一致性和非实时性。

2)标记位所占内存可以忽略不计，以极小的内存换取数据同步的实时性和一致性，性价比高。

3)由于在数据库中每个修改操作的标记位都只维护一份，同时对相同内容位的进行多次修改时，以最后一次修改操作为准而对数据进行一次同步，减少了数据同步量，提高了同步效率。

当原始数据库为HBase数据库时，由于在HBase中每个修改操作的标记位都只维护一份，同时对相同列的进行多次修改时，以最后一次修改操作为准而对数据进行一次同步，减少了数据同步量，提高了同步效率。

4)当标记位对应的数据成功同步到目标数据库时，然后删除该标记位；当同步失败时，对该标记位不做任何处理，直至数据同步成功才将该标记位删除。此方法提高了系统同步准确率。

5)不依赖其他中间系统，适用范围更广。

本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本申请的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (14)

1.一种数据同步方法，用于将原始数据库中的数据同步至目标数据库，所述原始数据库包括至少一个存储数据，每一个所述存储数据包括内容位，其特征在于，所述数据同步方法包括：

在所述原始数据库中设置标记数据；

当其中一个存储数据的一个内容位被修改时，在对应的所述标记数据中设置标记位；以及

扫描所述标记数据，当扫描出该标记位时，根据该标记位将对应的该内容位的内容写入所述目标数据库。

2.如权利要求1所述的数据同步方法，其特征在于，所述标记数据与所述存储数据具有相同的格式，当其中一个存储数据的一个内容位被修改时，在对应的所述标记数据中设置标记位的步骤进一步包括：

根据所修改的内容位所在的地址，在所述对应的标记数据的相同地址中设置标记位。

3.如权利要求2所述的数据同步方法，其特征在于，所述地址为根据所述内容位的行位和列位确定的数据位置。

4.如权利要求1所述的数据同步方法，其特征在于，所述原始数据库包括数据表格，所述存储数据为存储列族，在所述原始数据库中设置标记数据的步骤包括：

在每个数据表格中新建标记列族。

5.如权利要求4所述的数据同步方法，其特征在于，当其中一个存储数据的一个内容位被修改时，在对应的所述标记数据中设置标记位的步骤包括：

针对所述内容位所在的存储列族的行和列，在所述标记列族的相同行及相同列中设置标记位，以标记所述内容位是否改动。

6.如权利要求1所述的数据同步方法，其特征在于，根据该标记位将对应的该内容位的内容写入所述目标数据库的步骤之后，还包括：

删除所述内容位对应的标记位。

7.如权利要求4所述的数据同步方法，其特征在于，所述原始数据库为HBase数据库，所述目标数据库为MongoDB数据库。

8.如权利要求1所述的数据同步方法，其特征在于，所述标记位为写入标记位和/或删除标记位。

9.一种数据同步系统，用于将原始数据库中的数据同步至目标数据库，所述原始数据库包括至少一个存储数据，每一个所述存储数据包括内容位，所述数据同步系统包括：

内存分配单元，用于在所述原始数据库中设置用以存储标记数据的内存；

写入单元：用于当其中一个存储数据的一个内容位被修改时，在对应的所述标记数据中写入标记位；

扫描发送单元：用于扫描该内存中是否存在标记位，并在扫描出所述标记位时，根据该标记位将对应的该内容位的内容写入所述目标数据库。

10.如权利要求9所述的数据同步系统，其特征在于，还包括：

删除单元，用于将同步成功后的内容位对应的标记位删除。

11.如权利要求9所述的数据同步系统，其特征在于，所述标记数据与所述存储数据具有相同的格式，所述写入单元根据所修改的内容位所在的地址，在所述对应的标记数据的相同地址中设置所述标记位。

12.如权利要求11所述的数据同步系统，其特征在于，

所述存储数据为存储列族，所述内存分配单元在所述原始数据库中的一个数据表格中新建一个标记列族；所述写入单元还针对所述存储列族的每行和每列，在所述标记列族的相同行及相同列中设置所述标记位，以标记所述内容位是否改动。

13.如权利要求9所述的数据同步系统，其特征在于，所述标记位为写入标记位和/或删除标记位。

14.一种数据同步系统，用于将原始数据库中的数据同步至目标数据库，所述原始数据库包括至少一个存储数据，每一个所述存储数据包括内容位，一内存分配单元用于在所述原始数据库中设置用以存储标记数据的内存；一写入单元用于当其中一个存储数据的一个内容位被修改时，在对应的所述标记数据中写入标记位，其特征在于，该数据同步系统包括：

扫描发送单元：用于扫描该内存中是否存在标记位，并在扫描出所述标记位时，根据该标记位将对应的该内容位的内容写入所述目标数据库；以及

删除单元，用于将同步成功后的内容位对应的标记位删除。