CN101226527B - 双核库数据同步方法 - Google Patents
双核库数据同步方法 Download PDFInfo
- Publication number
- CN101226527B CN101226527B CN2007100510610A CN200710051061A CN101226527B CN 101226527 B CN101226527 B CN 101226527B CN 2007100510610 A CN2007100510610 A CN 2007100510610A CN 200710051061 A CN200710051061 A CN 200710051061A CN 101226527 B CN101226527 B CN 101226527B
- Authority
- CN
- China
- Prior art keywords
- data
- synchronization
- task
- double
- synchronous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000001360 synchronised effect Effects 0.000 claims abstract description 25
- 230000001960 triggered effect Effects 0.000 claims abstract description 7
- 230000008676 import Effects 0.000 claims description 15
- 230000003203 everyday effect Effects 0.000 claims description 7
- 238000007726 management method Methods 0.000 claims description 5
- 230000003442 weekly effect Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims 6
- 238000013500 data storage Methods 0.000 claims 1
- 238000009795 derivation Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract 1
- 230000000737 periodic effect Effects 0.000 description 7
- 238000013524 data verification Methods 0.000 description 4
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种双核库数据同步方法，其特征在于：双核库包括数据仓库和前台应用库；所述双核库将经营分析系统用户访问的数据存储在数据仓库中，同时存储了同样一份存在前台应用库中，当经营分析系统用户访问时采用多层机制；所述多层机制为：当先访问前台应用库失败时，经营分析系统自动切换访问数据仓库，数据仓库和前台应用库两库之间的数据按照数据本身的周期性通过同步系统进行实时同步；本发明实现了同步操作的多种周期性，可以定时同步、循环同步，也可按条件触发同步，能方便按任务进行管理，管理需要同步的数据；避免了数据库自身同步机制带来的较大系统资源消耗；方便监控同步操作；每次同步操作可重复进行，不影响结果的准确性；除了系统自动同步外，还可以手工启动某一次同步操作。
Description
技术领域
本发明涉及计算机数据库技术领域，特别是一种双核库数据同步方法。
背景技术
目前通信行业，特别是运营商所使用的经营分析系统(面向企业运营的统一数据信息平台，为全网业务、客户服务、市场营销、经营决策、业务实施等工作提供了有效的支撑的系统)的仓库数据和大部分前台展示数据都存放在数据仓库中，但是这种方式存在如下问题：
1、仓库主机发生故障，将导致前台应用系统不可访问，影响前台系统的可用性；
2、仓库主机一旦运行较大的后台程序，则前台应用系统访问缓慢，影响前台访问效率；
3、何前台数据的处理程序运行时，都将更新前台数据表，如果调度不适当，这些处理程序将会导致用户对前台访问失败，直观感觉则是系统不稳定；
4、访问前台数据时一旦出错，直接在前台展示出来，而且往往是系统层面的，用户体验不好。
为改善以上所存在的问题，需要在数据库方面做出相应的技术改进。
发明内容
本发明为解决上述问题通过双核库数据同步方法构建一个独立的前台应用库，将前台访问的数据从物理上独立出来，单独存放在一个前台应用库中，并于按照数据本身的周期特性进行准实时的同步访问数据仓库，使得前台数据在整个系统中存在两份。
本发明的技术方案如下：
双核库数据同步方法，其特征在于：双核库包括数据仓库和前台应用库；所述双核库将经营分析系统用户访问的数据存储在数据仓库中，同时存储了同样一份存在前台应用库中，当经营分析系统用户访问时采用多层机制；所述多层机制为：当先访问前台应用库失败时，经营分析系统自动切换访问数据仓库，数据仓库和前台应用库两库之间的数据按照数据本身的周期性通过同步系统进行实时同步。
所述前台应用库指经营分析系统用户直接访问的数据库。
所述同步系统是在仓库和前台应用库之间根据数据本身的周期性进行数据同步。
所述同步系统包含对同步数据项的配置策略、配置策略解释程序，所述配置策略解释程序包括调度主进程、内部时钟进程、日志管理进程、同步任务执行程序、数据导入程序、数据导出程序。
所述调度主进程指完成所有同步任务进程的调度和控制；所述同步任务进程完成具体同步任务中各数据项的同步；所述配置策略指记录同步数据项的数据所在位置、数据筛选条件、同步方法(追加同步、覆盖同步)、周期策略等；所述日志管理进程指同步过程中各系统信息的输出和日志内容的定期删除。
所述实时同步的流程如下：
A、首先读取要同步数据项的周期策略，轮询判断该数据项是否已满足其周期策略；
B、当该数据项满足其周期策略时，触发同步任务，所述同步任务分别包含数据导出和数据导入两个任务；
C、步骤B中所述的数据导出任务首先判断要同步的是源数据库中的哪些数据表、哪些纪录；同时在目标数据库中创建该源数据表的模板表，当目标数据库中不存在目标数据表时，则通过模板表创建目标数据表，最后将源数据表的数据导出到数据文件；
D、步骤B中所述的数据导入任务首先判断同步到的目标表、目标表的位置，然后导入步骤C的数据文件到目标数据表，最后通过数据校验进程进行同步校验。
所述同步数据项的周期策略指每隔n秒触发一次(n＞10s)，或者每隔n秒强制触发一次(n＞10s)，或者每天hh点mm分触发一次，或者每周周w的hh点mm分触发一次，或者每月dd日hh点mm分触发一次，或者某/每日hh点mm分后每隔n秒触发一次等等。
所述数据校验进程指将目标数据表的内容与数据文件的内容进行比较。
所述数据导入任务和数据导出任务是通过数据导入程序、数据导出程序执行的，当数据导入程序、数据导出程序执行时，程序中的同步状态控制模块记录同步任务执行的状态；所述状态包括成功、失败、进行中、执行完成但存在警告四种状态；所述同步状态和同步周期策略共同决定同步任务的重复执行方式。
本发明的有益效果如下：
本发明实现了同步操作的多种周期性，可以按日、周、月定时同步、循环同步，也可以按条件触发同步，能够方便地按任务进行管理，管理需要同步的数据；
避免了数据库自身同步机制带来的较大的系统资源消耗；
能够方便地监控同步操作，并有详细的日志记录；
每次同步操作可重复进行，不影响结果的准确性；
除了系统自动同步外，还可以手工启动某一次同步操作；
可以在不同主机上的不同数据库之间实现同步；
同步具有事务性，每次同步要么完全成功要么完全失败，每次未成功的同步对下次同步没有数据上的影响；
同步操作尽量小地影响前台系统的正常运行，不存在因同步导致前台系统不能访问的情况；
同步操作不能无限制占用主机资源，应当控制同时进行的同步操作数量。
附图说明
图1为本发明的同步流程图
图2为本发明的系统结构图
图3为本发明的原理图
具体实施方式
双核库数据同步方法，双核库包括数据仓库和前台应用库；所述双核库将经营分析系统用户访问的数据存储在数据仓库中，同时存储了同样一份存在前台应用库中，当经营分析系统用户访问时采用多层机制；所述多层机制为：当先访问前台应用库失败时，经营分析系统自动切换访问数据仓库，数据仓库和前台应用库两库之间的数据按照数据本身的周期性通过同步系统进行实时同步。
所述前台应用库指经营分析系统用户直接访问的数据库。
所述同步系统是在仓库和前台应用库之间根据数据本身的周期性进行数据同步。
所述同步系统包含对同步数据项的配置策略、配置策略解释程序，所述配置策略解释程序包括调度主进程、内部时钟进程、日志管理进程、同步任务执行程序、数据导入程序、数据导出程序。
所述调度主进程指完成所有同步任务进程的调度和控制；所述同步任务进程完成具体同步任务中各数据项的同步；所述配置策略指记录同步数据项的数据所在位置、数据筛选条件、同步方法(追加同步、覆盖同步)、周期策略等；所述日志管理进程指同步过程中各系统信息的输出和日志内容的定期删除。
所述实时同步的流程如下：
A、首先读取要同步数据项的周期策略，轮询判断该数据项是否已满足其周期策略；
B、当该数据项满足其周期策略时，触发同步任务，所述同步任务分别包含数据导出和数据导入两个任务；
C、步骤B中所述的数据导出任务首先判断要同步的是源数据库中的哪些数据表、哪些纪录；同时在目标数据库中创建该源数据表的模板表，当目标数据库中不存在目标数据表时，则通过模板表创建目标数据表，最后将源数据表的数据导出到数据文件；
D、步骤B中所述的数据导入任务首先判断同步到的目标表、目标表的位置，然后导入步骤C的数据文件到目标数据表，最后通过数据校验进程进行同步校验。
所述同步数据项的周期策略指每隔n秒触发一次(n＞10s)，或者每隔n秒强制触发一次(n＞10s)，或者每天hh点mm分触发一次，或者每周周w的hh点mm分触发一次，或者每月dd日hh点mm分触发一次，或者某/每日hh点mm分后每隔n秒触发一次等等，如下表周期策略的规则说明：
| 周期策略 | 格式 | 说明 |
| 按天执行 | Sche_type＝DaySche_dt＝*:hh:mm | 每天hh:mm开始执行 |
| 按周执行 | Sche_type＝weekSche_dt＝w1，w2...，w3:hh:mm | 每周的周w1，周w2的hh:mm开始执行 |
| 按月执行 | Sche_type＝monthSche_dt＝m1:hh:mm | 每月m1日的hh:mm开始执行 |
| 按周期执行 | Sche_type＝cycSche_dt＝ss | 按n秒的间隔周期性执行 |
| 按周期强制执行 | Sche_type＝cyc-force | 和cys方式不同在于：按n秒 |
所述数据校验进程指将目标数据表的内容与数据文件的内容进行比较，比如对目标数据表和数据文件的记录数进行比较。
所述数据导入任务和数据导出任务是通过数据导入程序、数据导出程序执行的，当数据导入程序、数据导出程序执行时，程序中的同步状态控制模块记录同步任务执行的状态；所述状态包括成功、失败、进行中、执行完成但存在警告四种状态；所述同步状态和同步周期策略共同决定同步任务的重复执行方式。
Claims (6)
1.双核库数据同步方法，其特征在于：双核库包括数据仓库和前台应用库；所述双核库将经营分析系统用户访问的数据存储在数据仓库中，同时存储了同样一份在前台应用库中，当经营分析系统用户访问时采用多层机制；所述多层机制为：当先访问前台应用库失败时，经营分析系统自动切换访问数据仓库，数据仓库和前台应用库两库之间的数据按照数据本身的周期性通过同步系统进行实时同步；
所述实时同步的流程如下：
A、首先读取要同步数据项的周期策略，轮询判断该数据项是否已满足其周期策略；
B、当该数据项满足其周期策略时，触发同步任务，所述同步任务分别包含数据导出和数据导入两个任务；
C、步骤B中所述的数据导出任务首先判断要同步的是源数据库中的哪些数据表、哪些纪录；同时在目标数据库中创建该源数据表的模板表，当目标数据库中不存在目标数据表时，则通过模板表创建目标数据表，最后将源数据表的数据导出到数据文件；
D、步骤B中所述的数据导入任务首先判断同步的目标数据表、目标数据表的位置，然后导入步骤C的数据文件到目标数据表，最后通过数据校验进程进行同步校验。
2.根据权利要求1所述双核库数据同步方法，其特征在于：所述前台应用库指经营分析系统用户直接访问的数据库。
3.根据权利要求1所述双核库数据同步方法，其特征在于：所述同步系统包含对同步数据项的配置策略、配置策略解释程序，所述配置策略解释程序包括调度主进程、内部时钟进程、日志管理进程、同步任务执行程序、数据导入程序、数据导出程序。
4.根据权利要求1所述双核库数据同步方法，其特征在于：所述同步数据项的周期策略指每隔n秒触发一次，或者每隔n秒强制触发一次，或者每天hh点mm分触发一次，或者每周周w的hh点mm分触发一次，或者每月dd日hh点mm分触发一次，或者某/每日hh点mm分后每隔n秒触发一次，其中n＞10。
5.根据权利要求1所述双核库数据同步方法，其特征在于：所述数据校验进程指将目标数据表的内容与数据文件的内容进行比较。
6.根据权利要求1所述双核库数据同步方法，其特征在于：所述数据导入任务和数据导出任务是通过数据导入程序、数据导出程序执行的，当数据导入程序、数据导出程序执行时，程序中的同步状态控制模块记录同步任务执行的状态；所述状态包括成功、失败、进行中、执行完成但存在警告四种状态；所述同步状态和同步周期策略共同决定同步任务的重复执行方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007100510610A CN101226527B (zh) | 2007-12-28 | 2007-12-28 | 双核库数据同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007100510610A CN101226527B (zh) | 2007-12-28 | 2007-12-28 | 双核库数据同步方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101226527A CN101226527A (zh) | 2008-07-23 |
| CN101226527B true CN101226527B (zh) | 2011-06-08 |
Family
ID=39858529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007100510610A Active CN101226527B (zh) | 2007-12-28 | 2007-12-28 | 双核库数据同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101226527B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184192A (zh) * | 2011-04-19 | 2011-09-14 | 中兴通讯股份有限公司 | 数据定时同步方法及系统 |
| CN103297329B (zh) * | 2013-06-26 | 2016-09-07 | 北京金和软件股份有限公司 | 一种异构系统间消息的准实时双向同步方法 |
| CN105338051B (zh) * | 2014-08-15 | 2018-09-18 | 阿里巴巴集团控股有限公司 | 一种数据同步方法及设备 |
| CN107741950A (zh) * | 2017-09-05 | 2018-02-27 | 北京趣拿软件科技有限公司 | 数据同步任务的处理方法、装置、处理器及服务端 |
| CN109597687B (zh) * | 2018-10-31 | 2020-11-13 | 东软集团股份有限公司 | 数据同步的资源分配方法、装置、存储介质和电子设备 |
| CN111061798B (zh) * | 2019-12-23 | 2024-03-08 | 杭州雷数科技有限公司 | 可配置化数据传输及监控方法、设备及介质 |
| CN116361304A (zh) * | 2023-03-31 | 2023-06-30 | 西安热工研究院有限公司 | 数据库点目录实时更新方法、系统、电子设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1729455A (zh) * | 2003-04-10 | 2006-02-01 | 国际商业机器公司 | 数据处理系统内从失败的恢复 |
| US7254640B2 (en) * | 2002-04-09 | 2007-08-07 | Vigilos, Inc. | System for providing fault tolerant data warehousing environment by temporary transmitting data to alternate data warehouse during an interval of primary data warehouse failure |
| CN101075304A (zh) * | 2006-05-18 | 2007-11-21 | 河北全通通信有限公司 | 电信行业基于数据仓库的决策支持系统的构造方法 |
-
2007
- 2007-12-28 CN CN2007100510610A patent/CN101226527B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7254640B2 (en) * | 2002-04-09 | 2007-08-07 | Vigilos, Inc. | System for providing fault tolerant data warehousing environment by temporary transmitting data to alternate data warehouse during an interval of primary data warehouse failure |
| CN1729455A (zh) * | 2003-04-10 | 2006-02-01 | 国际商业机器公司 | 数据处理系统内从失败的恢复 |
| CN101075304A (zh) * | 2006-05-18 | 2007-11-21 | 河北全通通信有限公司 | 电信行业基于数据仓库的决策支持系统的构造方法 |
Non-Patent Citations (5)
| Title |
|---|
| 张英海等.数据仓库技术在SDH配置管理中的运用.北京邮电大学学报23 2.2000,23(2),77-81. |
| 张英海等.数据仓库技术在SDH配置管理中的运用.北京邮电大学学报23 2.2000,23(2),77-81. * |
| 梁洁敏.银行数据仓库系统的设计与实现.中国优秀硕士学位论文全文数据库.2005,40-44. * |
| 陈作霞等.异地容灾系统和数据仓库中数据同步的设计及其关键技术实现.计算机应用研究24 5.2007,24(5),229-230、233. |
| 陈作霞等.异地容灾系统和数据仓库中数据同步的设计及其关键技术实现.计算机应用研究24 5.2007,24(5),229-230、233. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101226527A (zh) | 2008-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230185790A1 (en) | Dynamic aggregate generation and updating for high performance querying of large datasets | |
| CN107844388B (zh) | 从备份系统流式恢复数据库 | |
| JP5577350B2 (ja) | 効率的なデータ同期化のための方法及びシステム | |
| US20200401606A1 (en) | Database replication based on data access scores | |
| US10599459B2 (en) | Entity database distributed replication | |
| EP2929467B1 (en) | Integrating event processing with map-reduce | |
| JP2023546249A (ja) | トランザクション処理方法、装置、コンピュータ機器及びコンピュータプログラム | |
| JP5047806B2 (ja) | データ・ウェアハウジングのための装置および方法 | |
| US11288002B2 (en) | System and method for providing high availability data | |
| US8417991B2 (en) | Mitigating reduction in availability level during maintenance of nodes in a cluster | |
| CN101226527B (zh) | 双核库数据同步方法 | |
| US10248709B2 (en) | Promoted properties in relational structured data | |
| CN109643310B (zh) | 用于数据库中数据重分布的系统和方法 | |
| US10599676B2 (en) | Replication control among redundant data centers | |
| CN110019251A (zh) | 一种数据处理系统、方法及设备 | |
| US11841845B2 (en) | Data consistency mechanism for hybrid data processing | |
| US11226985B2 (en) | Replication of structured data records among partitioned data storage spaces | |
| CN117321583A (zh) | 用于混合数据处理的存储引擎 | |
| US20060190460A1 (en) | Method and mechanism of handling reporting transactions in database systems | |
| US20160378285A1 (en) | Automatic Detection of Semantics | |
| CN107066330B (zh) | 模块化数据分布计划生成方法及系统 | |
| Davisson et al. | Transparent Migration from Datastore to Firestore | |
| CN119271750A (zh) | 数据仓库的数据处理方法、装置、设备、介质和程序产品 | |
| CN117763041A (zh) | 应用于数据汇聚的数据表结构同步方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |