CN101364217B - 数据库中数据维护方法、设备及其系统 - Google Patents
数据库中数据维护方法、设备及其系统 Download PDFInfo
- Publication number
- CN101364217B CN101364217B CN2007100757083A CN200710075708A CN101364217B CN 101364217 B CN101364217 B CN 101364217B CN 2007100757083 A CN2007100757083 A CN 2007100757083A CN 200710075708 A CN200710075708 A CN 200710075708A CN 101364217 B CN101364217 B CN 101364217B
- Authority
- CN
- China
- Prior art keywords
- database
- daily record
- attended operation
- data
- physical medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据库技术,公开了一种数据库中数据维护方法、设备及其系统,在创建、修改或删除数据时,在不影响或尽量少影响内存数据库性能的情况下,能够保证该内存数据库的可靠性。本发明中,接收对内存数据库的维护操作请求,根据内存数据库的数据维护操作请求,生成记录该操作的维护操作日志,根据维护操作日志,指示基于非易失性物理介质的数据库进行数据维护操作。内存数据库所在的服务器,与指示基于非易失性物理介质的数据库进行数据维护操作的服务器,是两个独立的服务器。
Description
技术领域
本发明涉及数据库技术,特别涉及数据库中数据维护技术。
背景技术
随着网络技术的进步,越来越多的用户对快速数据和事务处理服务提出更高的要求。电信和金融服务市场等许多行业都迫切需要可以提供实时服务的商业数据管理系统。然而,传统的基于磁盘的数据库管理系统已经不能够满足如此大量、高速的处理要求。为了突破这种由于数据库瓶颈而造成的性能上的限制,新型的高效内存数据库管理系统为用户提供了有效的解决方案。与传统的磁盘数据库相比,内存数据库具有极高的数据存取速度和极强的并发访问能力。
目前,在现有技术中,为了保证数据库的可靠性,很多软件系统开发的专用内存数据库,一般依附于基于非易失性物理介质的数据库(即商业物理数据库),不做完善持久化机制,只提供查询功能。数据维护操作采用直接操作基于非易失性物理介质的数据库,再刷新内存数据库,或同步更新基于非易失性物理介质的数据库和内存数据库。从而保证更新的数据不会因为服务器意外掉电或者宕机等原因丢失数据。
然而,本发明的发明人发现,在用户更新数据时,不是直接更新基于非易失性物理介质的数据库,就是内存数据库和基于非易失性物理介质的数据库进行同步更新,这样对于应用来说,由于非易失性物理介质的数据库处理数据的速度不是很快,因此如果需要进行大量数据操作的时候,其低下的性能将影响到性能要求高的系统(如电信在线计费系统等)。
发明内容
本发明实施方式要解决的主要技术问题是提供一种数据库中数据维护方法、设备及其系统,使得在创建、修改或删除数据时,在不影响或尽量少影响内存数据库性能的情况下,能够保证该内存数据库的可靠性。
为解决上述技术问题,本发明的实施方式提供了一种数据库中数据维护方法,包括以下步骤:
接收对内存数据库的维护操作请求;
根据内存数据库的数据维护操作请求,生成记录该操作的维护操作日志,所述维护操作日志包括对所述操作的表标识、字段标识、是否为带事务操作的记录;
根据维护操作日志,指示基于非易失性物理介质的数据库进行数据维护操作。
本发明的实施方式还提供了一种数据库中数据维护系统,包括:
接收单元,用于接收对内存数据库的维护操作请求;
生成单元,用于根据接收单元收到的对内存数据库的维护操作请求,生成记录该操作的维护操作日志,所述维护操作日志包括对所述操作的表标识、字段标识、是否为带事务操作的记录;
指示单元,用于根据生成单元生成的维护操作日志,指示基于非易失性物理介质的数据库进行数据维护操作。
本发明的实施方式还提供了一种数据维护设备,包括:
接收单元,用于接收对内存数据库的维护操作请求;
生成单元,用于根据接收单元收到的对内存数据库的维护操作请求,生 成记录该操作的维护操作日志,所述维护操作日志包括对所述操作的表标识、字段标识、是否为带事务操作的记录;
指示单元,用于根据生成单元生成的维护操作日志,指示基于非易失性物理介质的数据库进行数据维护操作。
本发明实施方式与现有技术相比,主要效果在于:
能够及时地从内存数据库中把用户更新的数据持久化到了基于非易失性物理介质的数据库中,使得在不影响或尽量少影响内存数据库性能的情况下(尤其是在创建、修改或删除数据时),能够保证该内存数据库的可靠性,改善了目前内存数据库的高效和可靠性不能并存的局面。
附图说明
图1是根据本发明第一实施方式的数据库中数据维护方法示意图;
图2是根据本发明第一实施方式的数据库中数据维护方法流程图;
图3是根据本发明第二实施方式的数据库中数据维护方法流程图;
图4是根据本发明第三实施方式的数据库中数据维护系统结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明的第一实施方式涉及一种数据库中数据维护方法,在本实施方式中,如图1所示,当用户请求对内存数据库进行数据维护操作(包括数据的增加、删除或修改)时,接收对内存数据库的维护操作请求,生成记录该操作的维护操作日志,并缓存到内存数据库逻辑日志中,再由数据持久化服务 进程对内存数据库逻辑日志文件中的各维护操作日志进行解析,并将解析后的数据持久化到基于非易失性物理介质的数据库。其中,基于非易失性物理介质的数据库通常是基于硬盘的数据库,不过也可以是基于磁带、闪存、或光存储介质的数据库等。
下面对本实施方式的一种数据库中数据维护方法的流程进行具体说明,如图2所示。
在步骤201中,接收用户的对内存数据库进行数据维护操作的请求,并且由内存数据库所在的服务器生成记录该操作的维护操作日志。为描述方便,本实施方式中将内存数据库所在的服务器称为第一服务器。具体的说,当用户请求对内存数据库进行数据维护操作(包括数据的增加、删除或修改)时,由第一服务器接收该用户的对内存数据库进行数据维护操作的请求,并根据用户的数据维护操作请求及时地生成用户维护操作日志,以记录用户进行的数据维护操作。其中,维护操作日志中记录了当前用户操作的表标识、字段标识、数据维护操作的内存地址以及是否带有事务操作等信息。
接着,进入步骤202,对维护操作日志进行缓存,即生成内存数据库逻辑日志,并将该日志从第一服务器传输到第二服务器。其中,第二服务器是指示基于非易失性物理介质的数据库进行数据维护操作的服务器。由于采用了两个独立的服务器,进一步保证了当前内存数据库所在服务器的性能。
接着,进入步骤203,由第二服务器中的数据持久化服务进程判断当前读取的维护操作日志中记录的操作是否为带事务操作,如果是带事务操作,则进入步骤207,如果是不带事务操作,则进入步骤204。其中,数据持久化服务进程是一个内存数据库后台进程。
具体地说,数据持久化服务进程逐条读取每个内存数据库逻辑日志文件中的维护操作日志记录,通过当前读取的维护操作日志中是否为带事务操作的记录判断维护操作日志中记录的操作是否为带事务操作,如果是带事务操 作,则进入步骤207,否则进入步骤204。
在步骤204中,数据持久化服务进程判断所操作的表是否需要进行同步,如果不需要进行同步,则进入步骤206;如果需要进行同步,则进入步骤205。其中,同步是指内存数据库中的数据持久化到基于非易失性物理介质的数据库。
具体地说,数据持久化服务进程根据维护操作日志中记录用户操作的表标识,去查询数据库表字典表(DBTable Dict)中定义的表名,判断该表是否需要同步,如果需要同步,则进入步骤205;否则,进入步骤206。其中,数据库表字典表定义了用户表的表名、表标识以及是否需要同步等定义。
在步骤205中,第二服务器指示基于非易失性物理介质的数据库进行数据维护操作。具体地说,在判定需要同步后,根据字段类型信息以及维护操作日志中记录的操作数据的内存地址拼装出实际需要同步的数据,然后再根据拼装出的数据所对应的数据表字段字典(DBField_Dict)表中定义的数据类型以及字段名,和数据库表字典中定义的表名进行拼装,得到标准SQL语句,再把用的户更新数据持久化到基于非易失性物理介质的数据库中。
在步骤206中,数据持久化服务进程删除维护操作日志,也就是说,在数据持久化服务进程判定所操作的表不需要进行同步后,直接将该维护操作日志删除。
不难发现,由于对内存数据库的数据维护操作,通过维护操作日志,在基于非易失性物理介质的数据库中也作了相应的维护,即及时地从内存数据库中把用户更新的数据持久化到了基于非易失性物理介质的数据库中,使得在不影响内存数据库性能的情况下,能够保证该内存数据库的可靠性,改善了目前内存数据库的高效和可靠性不能并存的局面。并且在将数据持久化到基于非易失性物理介质的数据库前,先进行表级的判断,从而过滤掉不用持久化的数据,使数据持久化的性能得到了提高。
在步骤207中,数据持久化服务进程批量读取与操作属于同一事务的所有操作,并对事务的状态进行判断。具体地说,由数据持久化服务进程判定当前读取的操作为带事务的操作后,批量读取与该操作属于同一事务的所有操作,并对该事务的状态进行判断,如果该事务尚未提交,则进入步骤208;如果该事务已回滚,则进入步骤209;如果该事务已提交,则进入步骤210。
在步骤208中,数据持久化服务进程忽略对批量读取的各操作的维护操作日志的处理,也就是说,如果操作所属的事务尚未提交,则不对批量读取的各操作的维护操作日志进行处理。
在步骤209中,数据持久化服务进程删除批量读取的各操作的维护操作日志,也就是说,如果操作所属的事务已回滚时,不将批量读取的各操作持久化到基于非易失性物理介质的数据库。当然,也可以通过忽略对批量读取的各操作的维护操作日志的处理,不将批量读取的各操作持久化到基于非易失性物理介质的数据库。
在步骤210中,数据持久化服务进程对批量读取的各操作分别执行表同步判断,并根据判断结果对该日志进行处理,其中,表同步判断就是判断对所操作的表是否需要同步。具体地说,如果操作所属的事务已经提交,则对批量读取的各操作分别执行表同步判断,如果判定所操作的表需要同步时,则由第二服务器指示基于非易失性物理介质的数据库进行数据维护操作,如果判定所操作的表不需要同步时,则由数据持久化进程删除维护操作日志。
由此可见,在对事务进行处理时,需要先对该事务的状态进行判断,只有在该事务已提交的状态下,再根据批量读取的与该事务相关的各操作,分别进行所操作的表是否需要同步的判断,以减少无效操作。比如说,可以避免对已回滚的事务的各操作,在基于非易失性物理介质的数据库中进行无效的数据维护操作。
需要说明的是,本实施方式中,通过缓存的维护操作日志中记录的操作 的表标识来判断所操作的表是否需要同步到基于非易失性物理介质的数据库,但在实际应用中,也可以根据用户配置来判断第二服务器的中央处理器的占用率,进而决定是否需要同步到基于非易失性物理介质的数据库。
另外,值得一提的是,由于当数据持久化服务进程与内存数据库处于两个不同的服务器时,可以极大地降低对内存数据库所在服务器的性能消耗,因此本实施方式中是以数据持久化服务进程所在的服务器,与内存数据库所在的服务器为两个不同的服务器为例进行说明的,但在实际应用中,数据持久化服务进程也可以与内存数据库处于同一个服务器。
本发明的第二实施方式同样涉及一种数据库中数据维护方法,本实施方式与第一实施方式大致相同,其区别在于,在第一实施方式中,数据持久化服务进程在判定所操作的表需要同步后,直接指示基于非易失性物理介质的数据库进行数据维护操作;而在本实施方式中,在判定所操作的表需要同步后,数据持久化服务进程再根据维护操作日志中记录的维护操作的字段标识去查询数据表字段字典表中定义的该表对应需要进行数据同步的字段,进一步判断所操作的字段是否需要同步到基于非易失性物理介质的数据库中,如果需要同步,则指示基于非易失性物理介质的数据库进行数据维护操作;如果不需要同步,则删除维护操作日志。具体流程如图3所示。
本实施方式中从步骤301至步骤304与第一实施方式中的步骤201至步骤204完全相同,在此不再详述。
在步骤305中,数据持久化服务进程判断所操作的字段是否需要同步,如果需要,则进入步骤307,否则,进入步骤306。具体地说,数据持久化服务进程在判定所操作的表需要同步后,再根据维护操作日志中记录的维护操作的字段标识去查询数据表字段字典表中定义的该表对应需要进行数据同步的字段,判断所操作的字段是否需要同步到基于非易失性物理介质的数据库中,如果需要同步,则进入步骤307,否则,进入步骤306。
在步骤306中,数据持久化服务进程删除维护操作日志,也就是说,在数据持久化服务进程判定所操作的字段不需要进行同步后,直接将该维护操作日志删除。
在步骤307中,第二服务器指示基于非易失性物理介质的数据库进行数据维护操作。本步骤与步骤205相同,在此不再赘述。
由此可见,在本实施方式中,先判断所操作的表是否需要同步到该基于非易失性物理介质的数据库,如果需要,再进一步判断所操作的字段是否需要同步到该基于非易失性物理介质的数据库中,如果需要,则再指示基于非易失性物理介质的数据库进行数据维护操作。也就是说,本发明的实施方式可以根据用户的需求定制表级或者字段级的数据持久化,从而过滤掉不用持久化的数据,为数据持久化带来了很大的灵活性,以及性能的提高。
本实施方式的步骤308至步骤311分别与第一实施方式的步骤207至步骤210相类似,在此不再赘述。
值得一提的是,上述各实施方式中的全部或部分步骤也可以通过程序指令指示相关硬件完成。
本发明的第三实施方式涉及一种数据库中数据维护系统,如图4所示,包括:接收单元,用于接收对内存数据库的维护操作请求;生成单元,用于根据该接收单元收到的对内存数据库的维护操作请求,生成记录该操作的维护操作日志,生成的维护操作日志包括对操作的表标识、字段标识、是否为带事务操作的记录;指示单元,用于根据生成单元生成的维护操作日志,指示基于非易失性物理介质的数据库进行数据维护操作。
由于及时地从内存数据库中把用户更新的数据持久化到了基于非易失性物理介质的数据库中,使得在不影响内存数据库性能的情况下,能够保证该内存数据库的可靠性,改善了目前内存数据库的高效和可靠性不能并存的局面。
该数据库中数据维护系统中还可以包括:缓存单元,用于对生成的维护操作日志进行缓存。该生成单元将生成的维护操作日志输入到该缓存单元,由该缓存单元将缓存的维护操作日志传输到该指示单元。
本实施方式中的接收单元、生成单元和缓存单元可以位于内存数据库所在的第一服务器,指示单元可以位于第二服务器中。通过采用两个独立的服务器,进一步保证了当前内存数据库所在服务器的性能。
在该第二服务器中还可以包括:第一判断单元,用于根据缓存的维护操作日志中记录的操作的表标识,判断所操作的表是否需要同步到基于非易失性物理介质的数据库;指示单元在第一判断单元判定所操作的表需要同步时,指示基于非易失性物理介质的数据库进行数据维护操作;删除控制单元,用于在第一判断单元判定所操作的表不需要同步时,删除维护操作日志。
在该第二服务器中还可以包括:第二判断单元,用于在第一判断单元判定所操作的表需要同步时,根据维护操作日志中记录的操作的字段标识,判断所操作的字段是否需要同步到基于非易失性物理介质的数据库,并在判定需要同步时,通知指示单元指示基于非易失性物理介质的数据库进行数据维护操作;该删除控制单元还用于在第二判断单元判定所操作的字段不需要同步时,删除维护操作日志。
由此可见,先判断所操作的表是否需要同步到该基于非易失性物理介质的数据库,如果需要,可以进一步判断所操作的字段是否需要同步到该基于非易失性物理介质的数据库中,如果需要,则再指示基于非易失性物理介质的数据库进行数据维护操作。也就是说,可以根据用户的需求定制表级或者字段级的数据持久化,从而过滤掉不用持久化的数据,为数据持久化带来了很大的灵活性,以及性能的提高。
在该第二服务器中还可以包括:第三判断单元,用于判断缓存的维护操作日志中记录的操作是否为带事务操作,并在判定该操作为不带事务操作时, 指示第一判断单元直接进行所操作的表是否需要同步的判断;批量读取单元,用于在第三判断单元判定缓存的维护操作日志中记录的操作为带事务操作时,批量读取与该操作属于同一事务的所有操作;第四判断单元,用于判断操作所属的事务的状态;事务处理单元,用于在第四判断单元判定该事务的状态为已提交时,指示第一判断单元对批量读取单元所读取的各操作,分别进行所操作的表是否需要同步的判断;在第四判断单元判定事务的状态为已回滚时,删除批量读取单元所读取的各操作的维护操作日志,或忽略对批量读取的各操作的维护操作日志的处理;在第四判断单元判定事务的状态为尚未提交时,忽略对批量读取单元所读取的各操作的维护操作日志的处理。
不难发现,在对事务进行处理时,需要先对该事务的状态进行判断,只有在该事务已提交的状态下,再根据批量读取的与该事务相关的各操作,分别进行所操作的表是否需要同步的判断,以减少无效操作。比如说,可以避免对已回滚的事务的各操作,在基于非易失性物理介质的数据库中进行无效的数据维护操作。
另外,值得一提的是,本实施方式中的各单元可以是逻辑单元,在实际应用中,可以有各种不同的物理实现方式。
需要说明的是,本实施方式中是以接收单元和生成单元,与指示单元位于不同的服务器中进行说明的,但在实际应用中,接收单元、生成单元,和指示单元也可以均位于同一服务器中。
综上所述,在本发明的实施方式中,接收对内存数据库的维护操作请求,根据对内存数据库的维护操作请求,生成记录该操作的维护操作日志,并根据生成的维护操作日志,指示基于非易失性物理介质的数据库进行数据维护操作。由于对内存数据库的数据维护操作,通过维护操作日志,在基于非易失性物理介质的数据库中也作了相应的维护,即及时地从内存数据库中把用户更新的数据持久化到了基于非易失性物理介质的数据库中,使得在不影响 内存数据库性能的情况下,能够保证该内存数据库的可靠性,改善了目前内存数据库的高效和可靠性不能并存的局面。
内存数据库所在的服务器,与指示基于非易失性物理介质的数据库进行数据维护操作的服务器,是两个独立的服务器,进一步保证了当前内存数据库所在服务器的性能。
在指示基于非易失性物理介质的数据库进行数据维护操作之前中,先判断所操作的表是否需要同步到该基于非易失性物理介质的数据库,如果需要,则再指示基于非易失性物理介质的数据库进行数据维护操作,否则删除该维护操作日志。进一步地,可以在判定所操作的表需要同步到该基于非易失性物理介质的数据库后,进一步判断所操作的字段是否需要同步到该基于非易失性物理介质的数据库中,如果需要,则再指示基于非易失性物理介质的数据库进行数据维护操作,否则删除该维护操作日志。也就是说,可以根据用户的需求定制表级或者字段级的数据持久化,从而过滤掉不用持久化的数据,为数据持久化带来了很大的灵活性,以及性能的提高。
在对事务进行处理时,需要先对该事务的状态进行判断,只有在该事务已提交的状态下,再根据批量读取的与该事务相关的各操作,分别进行所操作的表是否需要同步的判断,以减少无效操作。例如,可以避免对已回滚的事务的各操作,在基于非易失性物理介质的数据库中进行无效的数据维护操作。
虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围,不脱离本发明的保护范围。
Claims (14)
1.一种数据库中数据维护方法,其特征在于,包括以下步骤:
接收对内存数据库的维护操作请求;
根据内存数据库的数据维护操作请求,生成记录该操作的维护操作日志,所述维护操作日志包括对所述操作的表标识、字段标识、是否为带事务操作的记录;
根据所述维护操作日志,指示基于非易失性物理介质的数据库进行数据维护操作。
2.根据权利要求1所述的数据库中数据维护方法,其特征在于,在所述指示基于非易失性物理介质的数据库进行数据维护操作的步骤之前,还包括以下步骤:
对生成的所述维护操作日志进行缓存;
在所述指示基于非易失性物理介质的数据库进行数据维护操作的步骤中,根据被缓存的所述维护操作日志,指示基于非易失性物理介质的数据库进行数据维护操作。
3.根据权利要求2所述的数据库中数据维护方法,其特征在于,在所述对维护操作日志进行缓存的步骤,和所述指示基于非易失性物理介质的数据库进行数据维护操作的步骤之间,还包括以下步骤:
所述内存数据库所在的第一服务器,将缓存的所述维护操作日志传输到第二服务器中;
由所述第二服务器执行所述指示基于非易失性物理介质的数据库进行数据维护操作的步骤。
4.根据权利要求1所述的数据库中数据维护方法,其特征在于,在所述指示基于非易失性物理介质的数据库进行数据维护操作的步骤之前,还包括以下步骤:
根据所述维护操作日志中记录的所述操作的表标识,判断所操作的表是否需要同步到所述基于非易失性物理介质的数据库;
如果所操作的表需要同步,则执行所述指示基于非易失性物理介质的数据库进行数据维护操作的步骤。
5.根据权利要求4所述的数据库中数据维护方法,其特征在于,在所述判定所操作的表需要同步后,执行所述指示基于非易失性物理介质的数据库进行数据维护操作的步骤之前,还包括以下步骤:
根据所述维护操作日志中记录的所述操作的字段标识,进一步判断所操作的字段是否需要同步到所述基于非易失性物理介质的数据库中,如果需要同步,则执行所述指示基于非易失性物理介质的数据库进行数据维护操作的步骤。
6.根据权利要求4或5所述的数据库中数据维护方法,其特征在于,该方法还包括以下步骤:
批量读取与所述操作属于同一事务的所有操作;
如果所述操作所属的事务已提交,则对所述批量读取的各操作,分别执行所述判断所操作的表是否需要同步的步骤;
如果所述操作所属的事务已回滚,则删除所述批量读取的各操作的维护操作日志,或忽略对所述批量读取的各操作的维护操作日志的处理;
如果所述操作所属的事务尚未提交,则忽略对所述批量读取的各操作的维护操作日志的处理。
7.根据权利要求4或5所述的数据库中数据维护方法,其特征在于,如果所述维护操作日志中记录的操作为不带事务操作,则直接执行所述判断所操作的表是否需要同步的步骤。
8.一种数据库中数据维护系统,其特征在于,包括:
接收单元,用于接收对内存数据库的维护操作请求;
生成单元,用于根据所述接收单元收到的对内存数据库的维护操作请求,生成记录该操作的维护操作日志,所述维护操作日志包括对所述操作的表标识、字段标识、是否为带事务操作的记录;
指示单元,用于根据所述生成单元生成的维护操作日志,指示基于非易失性物理介质的数据库进行数据维护操作。
9.根据权利要求8所述的数据库中数据维护系统,其特征在于,还包括缓存单元,用于对生成的所述维护操作日志进行缓存;
所述生成单元将生成的维护操作日志输入到所述缓存单元,由该缓存单元将缓存的维护操作日志传输到所述指示单元。
10.根据权利要求9所述的数据库中数据维护系统,其特征在于,
所述接收单元、生成单元和缓存单元位于所述内存数据库所在的第一服务器,所述指示单元位于第二服务器中。
11.根据权利要求8所述的数据库中数据维护系统,其特征在于,还包括:
第一判断单元,用于根据所述生成单元生成的维护操作日志中记录的所述操作的表标识,判断所操作的表是否需要同步到所述基于非易失性物理介质的数据库;
所述指示单元在所述第一判断单元判定所操作的表需要同步时,进行所述指示;
删除控制单元,用于在所述第一判断单元判定所操作的表不需要同步时,删除所述维护操作日志。
12.根据权利要求11所述的数据库中数据维护系统,其特征在于,第二判断单元,用于在所述第一判断单元判定所操作的表需要同步时,根据所述维护操作日志中记录的所述操作的字段标识,判断所操作的字段是否需要同步到所述基于非易失性物理介质的数据库,并在判定需要同步时,通知所述指示单元进行所述指示;
所述删除控制单元还用于在所述第二判断单元判定所操作的字段不需要同步时,删除所述维护操作日志。
13.根据权利要求11或12所述的数据库中数据维护系统,其特征在于,还包括:
第三判断单元,用于判断所述生成单元生成的维护操作日志中记录的操作是否为带事务操作,并在判定该操作为不带事务操作时,指示所述第一判断单元直接进行所操作的表是否需要同步的判断;
批量读取单元,用于在所述第三判断单元判定维护操作日志中记录的操作为带事务操作时,批量读取与该操作属于同一事务的所有操作;
第四判断单元,用于判断所述操作所属的事务的状态;
事务处理单元,用于在所述第四判断单元判定所述事务的状态为已提交时,指示所述第一判断单元对所述批量读取单元所读取的各操作,分别进行所操作的表是否需要同步的判断;在所述第四判断单元判定所述事务的状态为已回滚时,删除所述批量读取单元所读取的各操作的维护操作日志,或忽略对所述批量读取的各操作的维护操作日志的处理;在所述第四判断单元判定所述事务的状态为尚未提交时,忽略对所述批量读取单元所读取的各操作的维护操作日志的处理。
14.一种数据维护设备,其特征在于,包括:
接收单元,用于接收对内存数据库的维护操作请求;
生成单元,用于根据所述接收单元收到的对内存数据库的维护操作请求,生成记录该操作的维护操作日志,所述维护操作日志包括对所述操作的表标识、字段标识、是否为带事务操作的记录;
指示单元,用于根据所述生成单元生成的维护操作日志,指示基于非易失性物理介质的数据库进行数据维护操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007100757083A CN101364217B (zh) | 2007-08-08 | 2007-08-08 | 数据库中数据维护方法、设备及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007100757083A CN101364217B (zh) | 2007-08-08 | 2007-08-08 | 数据库中数据维护方法、设备及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101364217A CN101364217A (zh) | 2009-02-11 |
CN101364217B true CN101364217B (zh) | 2011-06-22 |
Family
ID=40390588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007100757083A Active CN101364217B (zh) | 2007-08-08 | 2007-08-08 | 数据库中数据维护方法、设备及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101364217B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106936862A (zh) * | 2015-12-29 | 2017-07-07 | 优信拍(北京)信息科技有限公司 | 数据同步方法、装置及系统 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102929983B (zh) * | 2012-10-18 | 2016-11-16 | 京信通信系统(中国)有限公司 | 嵌入式数据库同步到flash数据库的方法和装置 |
CN103838757B (zh) * | 2012-11-26 | 2017-06-09 | 腾讯科技(深圳)有限公司 | 对用户的长关系链数据的处理系统和方法 |
CN104035938A (zh) * | 2013-03-07 | 2014-09-10 | 阿里巴巴集团控股有限公司 | 一种性能持续集成数据处理的方法及装置 |
CN103268351B (zh) * | 2013-05-31 | 2017-05-03 | 网易(杭州)网络有限公司 | 一种数据同步方法和设备 |
CN104424392A (zh) * | 2013-09-10 | 2015-03-18 | 上海联影医疗科技有限公司 | 医疗系统的维护方法和装置 |
CN104714957B (zh) * | 2013-12-13 | 2018-11-23 | 阿里巴巴集团控股有限公司 | 一种表结构的变更方法及装置 |
CN105373541B (zh) * | 2014-08-22 | 2019-03-22 | 博雅网络游戏开发(深圳)有限公司 | 数据库的数据操作请求的处理方法和系统 |
CN104462353B (zh) * | 2014-12-04 | 2017-12-22 | 北京国双科技有限公司 | 数据库批量同步处理方法及装置 |
CN106484565B (zh) * | 2016-09-22 | 2019-06-28 | 华为数字技术(成都)有限公司 | 多数据中心间的数据同步方法及相关设备 |
CN106506661A (zh) * | 2016-11-18 | 2017-03-15 | 浪潮软件集团有限公司 | 一种动态返回数据的方法、服务端及系统 |
CN109996089B (zh) * | 2019-02-20 | 2021-09-28 | 视联动力信息技术股份有限公司 | 一种处理操作日志的方法、系统以及一种流媒体服务器 |
CN110941623A (zh) * | 2019-11-12 | 2020-03-31 | 北京达佳互联信息技术有限公司 | 数据的同步方法及装置 |
CN114048182A (zh) * | 2021-10-13 | 2022-02-15 | 上海那一科技有限公司 | 一种将数据通过请求日志的形式持久化到内存数据库中的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040065464A (ko) * | 2003-01-14 | 2004-07-22 | 삼성전자주식회사 | 데이터베이스 관리시스템의 이중화 장치 및 방법 |
CN1619545A (zh) * | 2000-10-09 | 2005-05-25 | 最佳收益有限公司 | 数据处理方法和装置 |
CN1821978A (zh) * | 2006-01-16 | 2006-08-23 | 深圳创维-Rgb电子有限公司 | 在嵌入系统的非易失存储器中进行数据操作的方法 |
CN1858745A (zh) * | 2006-04-05 | 2006-11-08 | 华为技术有限公司 | 实现内存数据和数据库数据事务一致性的处理方法 |
-
2007
- 2007-08-08 CN CN2007100757083A patent/CN101364217B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1619545A (zh) * | 2000-10-09 | 2005-05-25 | 最佳收益有限公司 | 数据处理方法和装置 |
KR20040065464A (ko) * | 2003-01-14 | 2004-07-22 | 삼성전자주식회사 | 데이터베이스 관리시스템의 이중화 장치 및 방법 |
CN1821978A (zh) * | 2006-01-16 | 2006-08-23 | 深圳创维-Rgb电子有限公司 | 在嵌入系统的非易失存储器中进行数据操作的方法 |
CN1858745A (zh) * | 2006-04-05 | 2006-11-08 | 华为技术有限公司 | 实现内存数据和数据库数据事务一致性的处理方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106936862A (zh) * | 2015-12-29 | 2017-07-07 | 优信拍(北京)信息科技有限公司 | 数据同步方法、装置及系统 |
CN106936862B (zh) * | 2015-12-29 | 2019-11-01 | 优信拍(北京)信息科技有限公司 | 数据同步方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN101364217A (zh) | 2009-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101364217B (zh) | 数据库中数据维护方法、设备及其系统 | |
CN111143389B (zh) | 事务执行方法、装置、计算机设备及存储介质 | |
CN111563102A (zh) | 缓存更新方法、服务器、系统及存储介质 | |
CN108319654B (zh) | 计算系统、冷热数据分离方法及装置、计算机可读存储介质 | |
CN101493826B (zh) | 基于web应用的数据库系统及其数据管理方法 | |
CN101233497B (zh) | 收益管理系统和方法 | |
CN101183322B (zh) | 延迟日志生成的方法及其设备 | |
CN100590620C (zh) | 用于使记录在分区之间移动的系统和方法 | |
CN103390041A (zh) | 一种基于中间件提供数据服务的方法和系统 | |
CN102955792A (zh) | 一种实时全文搜索引擎事务处理的实现方法 | |
WO2022095366A1 (zh) | 基于Redis的数据读取方法、装置、设备及可读存储介质 | |
CN110737682A (zh) | 一种缓存操作方法、装置、存储介质和电子设备 | |
US20130304707A1 (en) | Data Archiving Approach Leveraging Database Layer Functionality | |
US20130318059A1 (en) | Transfer of data from transactional data sources to partitioned databases in restartable environment | |
WO2020238860A1 (zh) | 分布式文件批处理方法、装置、与可读存储介质 | |
CN115470243A (zh) | 一种数据处理加速的方法与装置 | |
CN101853278A (zh) | 数据存储系统应用方法 | |
CN111506628A (zh) | 数据处理方法及装置 | |
CN116628033A (zh) | 缓存预热和数据处理的方法、服务装置、电子设备及介质 | |
CN117076426A (zh) | 基于流批一体化的交通智能引擎系统构建方法及装置 | |
EP3082050A1 (en) | Mass data fusion storage method and system | |
CN115905174A (zh) | 数据库表灵动分合的方法、装置、存储介质及应用服务器 | |
CN111913973A (zh) | 一种数据同步方法、装置及存储介质 | |
CN113886500A (zh) | 一种数据处理方法、装置、服务器以及存储介质 | |
JP5222171B2 (ja) | データベース管理方法およびデータベース管理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |