CN102043859A

CN102043859A - 数据更新方法及装置

Info

Publication number: CN102043859A
Application number: CN 201010608358
Authority: CN
Inventors: 宋涛
Original assignee: Yonyou Software Co Ltd
Current assignee: Yonyou Software Co Ltd
Priority date: 2010-12-27
Filing date: 2010-12-27
Publication date: 2011-05-04

Abstract

本发明提供了一种数据更新方法，包括：步骤102，将每次对原始表中的指定数据进行的操作产生的增量数据分别存储在暂存表中；步骤104，根据所述增量数据对所述原始表中的所述指定数据的值进行更新。本发明还提供了一种数据更新装置。通过本发明提供的技术方案，可以在高并发操作产生的情况下保证数据的及时更新，提高系统的运行效率，保证系统数据的一致性、安全、不丢失。

Description

数据更新方法及装置

技术领域

本发明涉及应用系统中的数据更新方法，尤其涉及一种数据更新方法及装置。

背景技术

在应用系统中有一类数据是通过其他数据汇总得到的，例如企业中的账户余额，库存中的剩余商品数量等，在高并发网络应用中这种数据因为交易的进行而经常被修改。

当前的应用系统解决这种问题主要有以下几种方法：

1)利用数据库事务保持数据更新一致性。每个交易对热点数据的更新都是通过SQL直接按照增量更新，利用数据库事务特性保证更新的互斥、保证数据更新的一致性。这种方式的问题是，如果有大量的并发业务同时请求更新同一条数据，例如10000笔收款交易同时请求修改账户余额，那么所有的更新将串行执行，系统的性能将大大降低。这种方式可以很好的保证系统数据的一致性，但性能难于保证。

2)使用缓存机制。将热点数据缓存到内存中，每个交易通过内存更新数据不进行昂贵的数据库操作。这种更新方式可以在一定程度上提高了数据更新的效率，但是为了避免出现并发更新导致的数据错误，缓存数据的更新也需要提供锁的机制控制并发，这样在并发量增加时也会形成瓶颈。另外，缓存数据的更新事务复杂。一个交易更新了缓存数据后可能回滚，需要提供相应的回退机制退回此交易对缓存数据的更新。另外，并发情况下缓存可能存在不一致读的情况。缓存还存在致命的问题，就是数据持久化的问题，如果数据更新到缓存而缓存没有持久化之前服务器崩溃，将造成不可弥补的数据丢失。

3)异步调用方式。将需要更新热点数据的操作推后执行，在交易提交后再异步执行更新操作。这种方式可以提高执行的效率，但是真正更新热点数据的压力没有减轻，热点数据的更新依然是热点，读取热点数据的操作将受影响，并且并发很高的情况下会导致数据不能及时完成更新情况。另外，异步调用方式可能在服务器崩溃时导致数据丢失问题。

因此，需要一种数据更新方法，可以在高并发操作产生的情况下保证数据的及时更新，提高系统的运行效率，保证系统数据的一致性、安全、不丢失。

发明内容

有鉴于此，本发明所要解决的技术问题在于，提供一种数据更新方法和装置，可以在高并发操作产生的情况下保证数据的及时更新，提高系统的运行效率，保证系统数据的一致性、安全、不丢失。

本发明提供了一种数据更新方法，包括：步骤102，将每次对原始表中的指定数据进行的操作产生的增量数据分别存储在暂存表中；步骤104，根据所述增量数据对所述原始表中的所述指定数据的值进行更新。通过该技术方案，通过暂存表使用所有增量数据对指定数据更新，可以提高系统运行的效率，保证系统数据的安全。

在上述技术方案中，优选地，在所述步骤102中，在对所述指定数据的操作被取消时，将所取消的操作产生的增量数据的相反数作为新的增量数据进行存储。通过该技术方案，简化了数据更新的算法和操作，同时提高了运行效率，保证数据的安全。

在上述技术方案中，优选地，所述步骤104包括：将所存储的对所述指定数据的所有操作产生的增量数据求和，并使用求和的结果对所述指定数据的值进行更新。通过该技术方案，可以实现仅用一次操作来对指定数据更新，提高了数据更新的效率。

在上述技术方案中，优选地，所述更新包括：将所述求和的结果与所述指定数据的值之间的和作为所述指定数据的值。

在上述技术方案中，优选地，在所述更新未完成，且所述用户对所述指定数据查询时，将所述求和的结果与所述指定数据的值之间的和提供给用户。本技术方案中，即将所述指定数据在原始表以及暂存表中的数据进行相加，作为用户的查询结果。

在上述技术方案中，优选地，所述步骤104还包括：定时或在对所述原始表的预定操作完成之后，对位于所述原始表中的所述指定数据进行更新，并在更新之后，将所述暂存表中的所述增量数据删除。通过该技术方案，可以实现对数据的定时更新，同时还可以提高数据运行的效率。

通过本发明提供的数据更新方法，可以在高并发操作产生的下保证数据的及时更新，提高系统的运行效率，保证系统数据的一致性、安全、不丢失。

本发明还提供了一种数据更新装置，包括：暂存模块，将每次对原始表中的指定数据进行的操作产生的增量数据分别存储在暂存表中；更新模块，根据所述增量数据对所述原始表中的所述指定数据的值进行更新。通过该技术方案，通过暂存表使用所有增量数据对指定数据更新，可以提高系统运行的效率，保证系统数据的安全。

在上述技术方案中，优选地，在对所述指定数据的操作被取消时，所述暂存模块还将所取消的述操作产生的增量数据的相反数作为新的增量数据进行存储。通过该技术方案，简化了数据更新的算法和操作，同时提高了运行效率，保证数据的安全。

在上述技术方案中，优选地，所述更新模块将所存储的对所述指定数据的所有操作产生的增量数据求和，并使用求和的结果对所述指定数据的值进行更新。通过该技术方案，可以实现仅用一次操作来对指定数据更新，提高了数据更新的效率。

在上述技术方案中，优选地，所述更新模块将所述求和的结果与所述指定数据的值之间的和作为所述指定数据的值。

在上述技术方案中，优选地，所述更新模块定时或在对所述原始表的预定操作完成之后，对位于所述原始表中的所述指定数据进行更新，并在更新之后，由所述暂存模块将所述暂存表中的所述增量数据删除。通过该技术方案，可以实现对数据的定时更新，同时还可以提高数据运行的效率。

通过本发明提供的数据更新装置，可以在高并发操作产生的情况下保证数据的及时更新，提高系统的运行效率，保证系统数据的一致性、安全、不丢失。

附图说明

图1示出了根据本发明的实施例的数据更新方法流程图；

图2示出了根据本发明的实施例的数据更新装置的框图；

图3示出了根据本发明的实施例的数据更新方法的数据更新流程图；

图4示出了根据本发明的实施例的数据更新方法的保持数据一致性的流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

图1示出了根据本发明的实施例的数据更新方法流程图。

如图1所示，本发明提供了一种数据更新方法，包括：步骤102，将每次对原始表中的指定数据进行的操作产生的增量数据分别存储在暂存表中；步骤104，根据增量数据对原始表中的指定数据的值进行更新。通过该技术方案，通过暂存表使用所有增量数据对指定数据更新，可以提高系统运行的效率，保证系统数据的安全。

在上述技术方案中，在步骤102中，在对指定数据的操作被取消时，将所取消的操作产生的增量数据的相反数作为新的增量数据进行存储。通过该技术方案，简化了数据更新的算法和操作，同时提高了运行效率，保证数据的安全。

在上述技术方案中，在步骤104包括：将所存储的对指定数据的所有操作产生的增量数据求和，并使用求和的结果对指定数据的值进行更新。通过该技术方案，可以实现仅用一次操作来对指定数据更新，提高了数据更新的效率。

在上述技术方案中，更新包括：将求和的结果与指定数据的值之间的和作为指定数据的值。

在上述技术方案中，在所述更新未完成，且所述用户对所述指定数据查询时，将所述求和的结果与所述指定数据的值之间的和提供给用户。本技术方案中，即将所述指定数据在原始表以及暂存表中的数据进行相加，作为用户的查询结果。

在上述技术方案中，步骤104还包括：定时或在对所述原始表的预定操作完成之后，对位于原始表中的指定数据进行更新，并在更新之后，将暂存表中的增量数据删除。通过该技术方案，可以实现对数据的定时更新，同时还可以提高数据运行的效率。

通过本发明提供的数据更新方法，可以在高并发操作产生的情况下保证数据的及时更新，提高系统的运行效率，保证系统数据的一致性、安全、不丢失。

图2示出了根据本发明的实施例的数据更新装置的框图。

如图2所示，本发明提供了一种数据更新装置200，包括：暂存模块202，将每次对原始表中的指定数据进行的操作产生的增量数据分别存储在暂存表中；更新模块204，根据所述增量数据对所述原始表中的所述指定数据的值进行更新。通过该技术方案，通过暂存表使用所有增量数据对指定数据更新，可以提高系统运行的效率，保证系统数据的安全。

在上述技术方案中，在对指定数据的操作被取消时，暂存模块202还将所取消的述操作产生的增量数据的相反数作为新的增量数据进行存储。通过该技术方案，简化了数据更新的算法和操作，同时提高了运行效率，保证数据的安全。

在上述技术方案中，更新模块204将所存储的对指定数据的所有操作产生的增量数据求和，并使用求和的结果对指定数据的值进行更新。通过该技术方案，可以实现仅用一次操作来对指定数据更新，提高了数据更新的效率。

在上述技术方案中，更新模块204将求和的结果与指定数据的值之间的和作为指定数据的值。

在上述技术方案中，更新模块204定时或在对所述原始表的预定操作完成之后，对位于原始表中的指定数据进行更新，并在更新之后，由暂存模块202将所述暂存表中的增量数据删除。通过该技术方案，可以实现对数据的定时更新，同时还可以提高数据运行的效率。

下面结合图3和图4进一步详细说明本发明的实施例的技术方案。

图3示出了根据本发明的实施例的数据更新方法的数据更新流程图。

如图3所示，本方案主要利用数据库技术来实现一致性和效率。主要思路是将热点数据分散，将更新热点数据的操作变更为对增量数据的操作，这样可以保证增加操作没有竞争，可以保证操作效率。同时，保存到数据库中增量数据的事务与交易操作是同一事务，不存在数据不一致情况。另外，通过对热点数据的查询服务的修改，可以保证数据更新及时反应的效果。最后通过定时任务服务定时将增量数据汇总合并后保证数据的一致性。其流程图如图3所示，包括：

步骤302，收集交易中数据变化增量，这样将更新热点数据的操作变更为对增量数据的操作，保证操作效率；

步骤304，将数据变化增量在交易事务中insert到暂存中心，这样便于对指定数据进行更新；

步骤306，定时任务将暂存数据同步到原始数据表中，通过定时任务服务定时地将增量数据汇总合并后保证数据的一致性。

本发明的技术方案主要有以下几个方面：

第一为数据库的设计

通过设计与热点关键数据相似的暂存表结构来分散数据访问。暂存表结构包括热点数据的主要信息和发生事件信息以及交易唯一标识。例如账户余额的表结构如下所示(假定表名称为accountbal)：

账户(account)	余额(balance)

对应的暂存表结构如下所示(假定表名为accountbalbuf)。

交易唯一标识(id)	账户(account)	金额变动(delta)	操作时间(optime)

其中交易唯一标识为每一笔业务的区分，金额变动为本次交易影响账户余额的增量，操作时间为此次交易记录的保存时间。以上各属性括号中的字段代表字段名称。账户余额的更新使用如下语句：update accountbalset balance＝balance+@mny where account＝@acc；向暂存表中增加增量数据的语句：insert into accountbalbuf(id，account，delta，optime)values(‘trans000001’，’A0001’，100，’2010-09-0315:21:32’)。

第二为数据的更新与查询

交易发生对数据的修改，在一个交易中，需要更改热点数据的数值，按照以下步骤完成：

1)确定交易中对数据的更新增量内容，是记录数值增加的用正数表示，使记录减少的用负数表示；

2)如果存在对一个对象的多个修改要求情况合并相同对象要求的增量数据，否则分别记录；

3)取代update原始表中的记录，将所有步骤2得到的增量数据insert到暂存表中，次操作在交易事务中提交。

当交易取消对数据的修改时，交易取消操作不使用delete删除交易对数据的影响，将交易取消作为以交易的增量相反数为增量的新交易处理，过程同上交易发生对数据的修改所述。

当查询数据时，需要同时包括原始表中的数据和暂存表中的数据，将两个表中的数据相加作为最终结果。例如上例中的账户余额的查询将修改为select sum(balance)from(select banance from accountbal whereaccount＝@acc union all select sum(delta)balance from accountbalbuf whereaccount＝@acc)；这样可以保证已提交的交易数据可以被体现为更新后的结果。

第三为保证数据的一致性

本方案提供定时任务服务，在一定的时间间隔(例如1分钟)进行暂存表数据向原始表同步(扫描时间间隔可以配置以满足不同业务发生频度间隔要求)，具体的操作流程如图4所示，包括：

步骤402，定时服务查询暂存表，判断暂存表中是否存在发生数据，如果不存在发生数据，则不进行操作；如果存在发生数据，则进入下一步；

步骤404，查询原始数据表中是否存在对应数据；

步骤406，如果原始表中存在对应数据，则将增量数据汇总后更新到原始表中；

步骤408，如果原始表中不存在对应数据，说明是首次出现，则形成insert语句将暂存表中的数据汇总后增加到原始表中；

步骤410，更新完成后，删除暂存表中对应数据。

为了避免定时服务任务执行时出现并发错误导致删除未同步数据，需要在查询和删除语句中添加时间条件加以控制。扫描语句为：selectaccount，sum(delda)from accountbalbuf where optime＜@currtime；删除语句为delete from accountbalbuf where optime＜@currtime，其中检查语句和删除语句中的@currtime为同一个时间点。

以上结合附图和表格对本发明的实施例的技术方案进行了详细描述，通过本发明提供的数据更新方法和装置，可以在高并发操作产生的情况下既保证运行效率，又能保证数据安全不丢失，并且在高并发情况下得到和单用户场景相同的运行效率，从而大大提高了系统的可用性。本发明可以很好地支持多种业务导致的热点数据的增加和减少操作，适用于多种有高并发更新操作的场景。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种数据更新方法，其特征在于，包括：

步骤102，将每次对原始表中的指定数据进行的操作产生的增量数据分别存储在暂存表中；

步骤104，根据所述增量数据对所述原始表中的所述指定数据的值进行更新。

2.根据权利要求1所述的数据更新方法，其特征在于，在所述步骤102中，在对所述指定数据的操作被取消时，将所取消的操作产生的增量数据的相反数作为新的增量数据进行存储。

3.根据权利要求1所述的数据更新方法，其特征在于，所述步骤104包括：将所存储的对所述指定数据的所有操作产生的增量数据求和，并使用求和的结果对所述指定数据的值进行更新。

4.根据权利要求3所述的数据更新方法，其特征在于，所述更新包括：

将所述求和的结果与所述指定数据的值之间的和作为所述指定数据的值。

5.根据权利要求1至4任一项所述的数据更新方法，其特征在于，所述步骤104还包括：定时或在对所述原始表的预定操作完成之后，对位于所述原始表中的所述指定数据进行更新，并在更新之后，将所述暂存表中的所述增量数据删除。

6.一种数据更新装置，其特征在于，包括：

暂存模块，将每次对原始表中的指定数据进行的操作产生的增量数据分别存储在暂存表中；

更新模块，根据所述增量数据对所述原始表中的所述指定数据的值进行更新。

7.根据权利要求6所述的数据更新装置，其特征在于，在对所述指定数据的操作被取消时，所述暂存模块还将所取消的述操作产生的增量数据的相反数作为新的增量数据进行存储。

8.根据权利要求6所述的数据更新装置，其特征在于，所述更新模块将所存储的对所述指定数据的所有操作产生的增量数据求和，并使用求和的结果对所述指定数据的值进行更新。

9.根据权利要求8所述的数据更新装置，其特征在于，所述更新模块将所述求和的结果与所述指定数据的值之间的和作为所述指定数据的值。

10.根据权利要求6至9任一项所述的数据更新方法，其特征在于，所述更新模块定时或在对所述原始表的预定操作完成之后，对位于所述原始表中的所述指定数据进行更新，并在更新之后，由所述暂存模块将所述暂存表中的所述增量数据删除。