[go: up one dir, main page]

CN107329853A - 数据库集群的备份方法、备份系统及电子设备 - Google Patents

数据库集群的备份方法、备份系统及电子设备 Download PDF

Info

Publication number
CN107329853A
CN107329853A CN201710445491.4A CN201710445491A CN107329853A CN 107329853 A CN107329853 A CN 107329853A CN 201710445491 A CN201710445491 A CN 201710445491A CN 107329853 A CN107329853 A CN 107329853A
Authority
CN
China
Prior art keywords
backup
data
cluster
target
base cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710445491.4A
Other languages
English (en)
Inventor
沈中雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Micro Candle Information Technology Co Ltd
Original Assignee
Shanghai Micro Candle Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Micro Candle Information Technology Co Ltd filed Critical Shanghai Micro Candle Information Technology Co Ltd
Priority to CN201710445491.4A priority Critical patent/CN107329853A/zh
Publication of CN107329853A publication Critical patent/CN107329853A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80Database-specific techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供数据库集群的备份方法、备份系统及电子设备。对于获取的每个待备份的目标数据库集群,通过该目标数据库集群的集群标识查找与之对应关联的备份策略和备份执行程序并作为目标备份策略和目标备份执行程序。随之,判断该目标备份执行程序与该目标数据库集群中预存的原始备份执行程序是否一致。若不一致,则将该目标备份执行程序覆盖该原始备份执行程序,从而令该目标数据库集群运行该目标备份执行程序,并按照该目标备份策略完成相应的备份操作。本发明有助于实现对多个数据库集群的备份管理,运维成本低,并且,通过对多个数据库集群的统一管理,也有助于根据实际情况及时地对备份策略进行调整,大大提高了备份效率。

Description

数据库集群的备份方法、备份系统及电子设备
技术领域
本发明涉及数据库备份领域,特别是涉及数据库集群的备份方法、备份系统、及包括这种备份系统的电子设备。
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
背景技术
随着公司业务规模的逐渐扩大,公司项目数量的逐渐增多,数据库集群会从几十个到上百个,数据和日志的备份问题就显的尤为重要。
对于数据库集群,传统的备份方式是选择集群中的一个节点,在该节点上部署备份脚本,集群在本地进行备份之后,再将备份文件传输到共享存储区域中(如:NFS网络文件系统,Network File System)。然而,当集群的数量非常庞大时,在每个集群的节点上分别部署备份脚本是一件工作量异常繁重的任务,运维成本十分高昂。另外,在需要维护这些任务的时候,技术人员需要分别登录这些节点,无法对这些节点进行统一管理,进而无法综合地统计分析各个节点的备份情况。
发明内容
鉴于以上所述现有技术的缺点,本发明提供了新型的数据库集群备份方法、备份系统、及包括这种备份系统的电子设备,从而解决了现有技术中无法实现对多个数据库集群的备份工作进行统一管理等问题。
为了解决上述的以及其他潜在的技术问题,本发明的实施例提供了一种数据库集群的备份方法,应用于与至少一个数据库集群通信连接的服务端,其中,所述服务端中预存有:所述至少一个数据库集群的集群标识、与所述至少一个集群标识一一对应关联的至少一项备份策略、以及与所述至少一项备份策略一一对应关联的至少一个备份执行程序,所述方法包括:获取待备份的至少一个数据库集群作为目标数据库集群;对于每个所述目标数据库集群,根据所述目标数据库集群的集群标识查找与之对应关联的备份策略和备份执行程序,分别作为目标备份策略和目标备份执行程序;判断所述目标备份执行程序与所述目标数据库集群中预存的原始备份执行程序是否一致;若否,则将所述目标备份执行程序覆盖所述原始备份执行程序,以供所述目标数据库集群运行所述目标备份执行程序,并按照所述目标备份策略完成相应的备份操作。
于本发明的一实施例中,每个所述数据库集群分别包括:主数据库节点和至少一个从数据库节点,其中,每个所述数据库集群的备份执行程序分别存储于各所述数据库集群的其中一个从数据库节点中。
于本发明的一实施例中,所述备份策略的内容包括:备份方式、备份时间、备份文件是否压缩、备份文件保留时间中的一种或多种组合。
于本发明的一实施例中,所述服务端中还预存有:所述至少一个数据库集群的备份记录;所述获取待备份的至少一个数据库集群作为目标数据库集群,还包括:根据所述备份记录获取未进行过备份、和/或备份失败的数据库集群,以作为目标数据库集群。
于本发明的一实施例中,所述获取待备份的至少一个数据库集群,所述方法还包括:获取预设时间间隔内待备份的至少一个数据库集群。
于本发明的一实施例中,所述判断目标备份执行程序与所述目标数据库集群中预存的原始备份执行程序是否一致是通过哈希算法实现的。
于本发明的一实施例中,所述目标数据库集群的主数据库中包括:二进制日志文件,所述方法还包括:以增量备份的方式备份所述二进制日志文件。
于本发明的一实施例中,所述方法还包括:以预设周期内的任一时间点对所述二进制日志文件进行备份。
于本发明的一实施例中,所述至少一个数据库集群还通信连接有至少一个网络文件系统,所述方法还包括:将完成所述备份操作产生的备份文件存储于所述至少一个网络文件系统中。
于本发明的一实施例中,所述方法还包括:记录所述至少一个目标数据库集群的备份过程信息,并对所述备份过程信息按类别进行统计。
于本发明的一实施例中,所述类别包括:备份文件数据量大小及备份时长;所述按类别统计还包括:根据每个所述目标数据库集群的备份文件数据量大小和备份时长分别计算各所述目标数据库集群的备份网络流量值。
于本发明的一实施例中,在计算出各所述备份网络流量值之后,所述方法还包括:通过各所述备份网络流量值调整下一次对各所述目标数据库集群的备份时间点。
为了解决上述的以及其他潜在的技术问题,本发明的另一实施例提供了一种数据库集群的备份系统,应用于与至少一个数据库集群通信连接的服务端,其中,所述服务端中预存有:所述至少一个数据库集群的集群标识、与所述至少一个集群标识一一对应关联的至少一项备份策略、以及与所述至少一项备份策略一一对应关联的至少一个备份执行程序,所述系统包括:获取模块,用于获取待备份的至少一个数据库集群作为目标数据库集群;查询模块,用于对于每个所述目标数据库集群,根据所述目标数据库集群的集群标识查找与之对应关联的备份策略和备份执行程序,分别作为目标备份策略和目标备份执行程序;处理模块,用于判断所述目标备份执行程序与所述目标数据库集群中预存的原始备份执行程序是否一致;若否,则将所述目标备份执行程序覆盖所述原始备份执行程序,并令所述目标数据库集群运行所述目标备份执行程序,且按照所述目标备份策略完成相应的备份操作。
于本发明的一实施例中,每个所述数据库集群分别包括:主数据库节点和至少一个从数据库节点,其中,每个所述数据库集群的备份执行程序分别存储于各所述数据库集群的其中一个从数据库节点中。
于本发明的一实施例中,所述备份策略的内容包括:备份方式、备份时间、备份文件是否压缩、备份文件保留时间中的一种或多种组合。
于本发明的一实施例中,所述服务端中还预存有:所述至少一个数据库集群的备份记录;所述获取待备份的至少一个数据库集群作为目标数据库集群,还包括:根据所述备份记录获取未进行过备份、和/或备份失败的数据库集群,以作为目标数据库集群。
于本发明的一实施例中,所述获取待备份的至少一个数据库集群,还包括:获取预设时间间隔内待备份的至少一个数据库集群。
于本发明的一实施例中,所述判断目标备份执行程序与所述目标数据库集群中预存的原始备份执行程序是否一致是通过哈希算法实现的。
于本发明的一实施例中,所述目标数据库集群的主数据库中包括:二进制日志文件,所述处理模块还用于:以增量备份的方式备份所述二进制日志文件。
于本发明的一实施例中,所述处理模块还用于:以预设周期内的任一时间点对所述二进制日志文件进行备份。
于本发明的一实施例中,所述至少一个数据库集群还通信连接有至少一个网络文件系统,所述处理模块还用于:将完成所述备份操作产生的备份文件通过所述通信模块发送至所述至少一个网络文件系统中进行存储。
于本发明的一实施例中,所述处理模块还用于:记录所述至少一个目标数据库集群的备份过程信息,并对所述备份过程信息按类别进行统计。
于本发明的一实施例中,所述类别包括:备份文件数据量大小及备份时长;所述按类别统计还包括:根据每个所述目标数据库集群的备份文件数据量大小和备份时长分别计算各所述目标数据库集群的备份网络流量值。
于本发明的一实施例中,所述处理模块还用于:在计算出各所述备份网络流量值之后,通过各所述备份网络流量值调整下一次对各所述目标数据库集群的备份时间点。
为了解决上述的以及其他潜在的技术问题,本发明的又一实施例提供了一种电子设备,包括:如上所述的数据库集群的备份系统。
如上所述,本发明的数据库集群备份方法、备份系统及包括该备份系统的电子设备,能够统一管理备份策略与备份执行程序,极大地减少了运维成本,有效地提升了工作效率,并且,还可以为统计所有集群的信息、分析备份数据的增量、评估剩余存储空间等提供可能。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1显示为本发明一实施例中的应用数据库集群备份方法及系统的通信系统架构的示意图。
图2显示为本发明一实施例中的数据库集群的备份方法的流程图。
图3显示为本发明一实施例中的数据库集群的备份系统的模块图。
图4A显示为本发明一实施例中的包含数据库集群的备份系统的电子设备的结构示意图。
图4B显示为本发明一实施例中的电子设备实现的硬件结构示意图。
元件标号说明
101 服务端
102 数据库集群
1021 主数据库
1022 从数据库
103 网络文件系统
300 数据库集群的备份系统
301 获取模块
302 查询模块
303 处理模块
400 电子设备
401 存储器
402 通信器
403 处理器
S201~S204 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
图1展示了本发明一实施例中的通信系统架构。服务端101通信连接有至少一个数据库集群102,用于对每个所述数据库集群102的数据和日志文件(如:binlog二进制日志文件)进行备份,优选的,所述服务端101能通过SSH免密码的方式访问每个所述数据库集群102。此外,每个所述数据库集群102还通信连接有至少一个网络文件系统,用于存储各所述数据库集群102备份后产生的备份文件。
所述服务端101的类型包括但不限于物理服务器、云服务器等电子设备,内部预先存储有每个所述数据库集群102的有关信息,例如:每个集群的主数据库信息、从数据库信息、备份标识信息、备份时间信息、备份类型信息、压缩类型信息等等。特别的,所述服务端101除了存储有每个所述数据库集群102的基本信息之外,还包括以诸如列表等形式存储的:所述至少一个数据库集群102的集群标识、与所述至少一个集群标识一一对应的至少一项备份策略、以及与所述至少一项备份策略一一对应的至少一个备份执行程序,其中,所述备份策略的内容可以包括:备份方式(如:完全备份、增量备份、差异备份等)、备份时间、备份文件是否压缩、备份文件保留时间等,所述备份执行程序可以是备份脚本。
需要说明的是,所述服务端101可以是独立的服务器设备,还可以为多个服务器设备所组成的服务器组,例如:所述服务端101包括:数据服务器和调度服务器,其中,所述数据服务器用于存储如上所述的各项信息,所述调度服务器则通过调用所述数据服务器中的有关信息来实现本发明的数据库集群的备份方法,既减轻了各服务器的压力,同时又提高了方法的执行效率。
承接上述,所述数据库集群102可以是MySQL数据库集群,每个所述数据库集群102都由主数据库节点1021和至少一个从数据库节点1022组成。在一实施方式中,每个所述数据库集群102的备份执行程序都存储于各自集群的一个从数据库节点1022中,也就是说,各所述数据库集群102的备份操作是由各自的一个从数据库节点1022来完成的。
图2提供一种数据库集群备份方法的实施例,该方法可应用于例如图1实施例中的服务端101。所述方法主要包括如下步骤:
步骤S201:获取待备份的至少一个数据库集群作为目标数据库集群,例如,从所述服务端中获取所述至少一个数据库集群的备份记录,从所述备份记录中获取未进行过备份、和/或备份失败的数据库集群,以作为目标数据库集群。进一步的,本步骤还可以为:获取预设时间间隔内待备份的至少一个数据库集群作为目标数据库集群,例如:获取当天时间范围内的未进行过备份、备份失败的数据库集群等。
步骤S202:对于每个所述目标数据库集群,根据所述目标数据库集群的集群标识查找与之对应的备份策略和备份执行程序,分别作为目标备份策略和目标备份执行程序。
步骤S203:判断所述目标备份执行程序与所述目标数据库集群中预存的原始备份执行程序是否一致。若判断结果为不一致,则执行步骤S204;若判断结果为一致,则可以不执行步骤S204中的覆盖操作,直接令所述目标数据库集群根据所述原始备份执行程序开始备份。进一步的,判断所述目标备份执行程序与所述原始备份执行程序是否一致是通过哈希算法(如:MD5算法)实现的,例如:分别计算所述目标备份执行程序的哈希值与所述原始备份执行程序的哈希值并将这两个哈希值进行比对,若比对结果为一致,则判定所述目标备份执行程序与所述原始备份执行程序是一致的。
步骤S204:将所述目标备份执行程序覆盖所述原始备份执行程序,从而令所述目标数据库集群运行所述目标备份执行程序,并按照所述目标备份策略完成相应的备份操作。
在一实施方式中,在执行所述步骤S203之前,还可以先判断所述目标数据库集群中是否存储有原始备份执行程序,若有,则执行步骤S203;若无,则将所述目标备份执行程序复制到所述目标数据库集群中即可。
由于每个所述数据库集群每天会产生多个日志文件,每个日志文件1G左右,本实施例除了包括上述的对每个所述数据库集群的数据进行备份之外,还包括对每个所述数据库集群的日志文件进行备份的步骤,包括:在预设周期内的任一时间点对日志文件进行增量备份,例如:每天对所述日志文件备份一次,具体的时间点可以随意指定,默认对每个所述数据库集群的主数据库节点进行备份,备份的起点是从前一天备份文件的下一个文件开始进行。
作为对上述实施例的进一步改进,本发明的数据库集群的备份方法还包括:所述服务端记录以上所述的对数据库集群的数据备份和日志备份的所有过程信息,并对备份的过程信息按类别进行统计,例如:统计出每个所述目标数据库集群的备份文件数据量大小、备份时长、磁盘空间剩余量等,进一步再根据每个所述目标数据库集群的备份文件数据量大小和备份时长计算出各所述目标数据库集群的备份网络流量值。将这些统计值汇总成报表,或者以柱状图等方式展现,便能让数据库集群管理者直观地了解备份结果。
由于各所述目标数据库集群的备份数据量大小不同,备份时间也会不一致,备份后将备份文件存储到NFS时会受到网络流量的影响。作为对上述实施例的另一种改进,在对所述过程信息进行统计分析之后,所述方法还包括:通过各所述备份网络流量值调整下一次对各所述目标数据库集群的备份时间点,以让对各个所述目标数据库集群的备份所对应的网络流量相对平均。
请参阅图3,与上述方法实施例原理相似的是,本发明还提供数据库集群的备份系统实施例。由于前述实施例中的各项技术特征可以应用于本系统实施例,因而不再重复赘述。
本实施例提供的备份系统300搭载于例如图1实施例的服务端101中,主要包括:获取模块301、查询模块302、处理模块303。
所述获取模块301用于获取待备份的至少一个数据库集群作为目标数据库集群。所述查询模块302用于对于每个所述目标数据库集群,根据所述目标数据库集群的集群标识查找与之对应关联的备份策略和备份执行程序,分别作为目标备份策略和目标备份执行程序。所述处理模块303用于判断所述目标备份执行程序与所述目标数据库集群中预存的原始备份执行程序是否一致;若否,则将所述目标备份执行程序覆盖所述原始备份执行程序,并令所述目标数据库集群运行所述目标备份执行程序,且按照所述目标备份策略完成相应的备份操作。
在一实施方式中,所述处理模块303还用于:在预设周期内的任一时间点对日志文件进行备份(如:完全备份、增量备份、差异备份等)、记录对数据库集群的数据备份和日志备份的所有过程信息,并对备份的过程信息按类别进行统计或显示等。
在另一实施方式中,所述处理模块303还用于:在对所述过程信息进行统计分析之后,通过各所述备份网络流量值调整下一次对各所述目标数据库集群的备份时间点,以让对各个所述目标数据库集群的备份所对应的网络流量相对平均。
请参阅图4A,与上述方法实施例和系统实施例原理相似的是,本发明还提供一种电子设备400,其可以是实现例如图1实施例中服务端101的物理服务器,特别的,所述电子设备400中搭载有前述任一实施方式的备份系统300。由于前述方法实施例和系统实施例中的技术特征都可以应用于本设备实施例,因而不再重复赘述。
如图4B所示,所述电子设备400中包括:存储器401(如:RAM、ROM等)、通信器402(如:有线/无线网络的通信电路等)、处理器403(如:CPU等),其中,所述存储器401、所述通信器402和所述处理器403通过一条或多条通信总线或信号线实现连接。所述存储器401中存储有程序,所述处理器403用于执行该些程序从而实现:如图2所示的数据库集群的备份方法实施例的功能、以及如图3所示的数据库集群的备份系统实施例中各模块的功能。
具体的,所述存储器401中还存储有每个所述数据库集群的有关信息,例如:每个集群的主数据库信息、从数据库信息、备份标识信息、备份时间信息、备份类型信息、压缩类型信息等等。特别的,所述存储器401除了存储有每个所述数据库集群的基本信息之外,还包括以诸如列表等形式存储的:所述至少一个数据库集群的集群标识、与所述至少一个集群标识一一对应的至少一项备份策略、以及与所述至少一项备份策略一一对应的至少一个备份执行程序,其中,所述备份策略的内容可以包括:备份方式(如:完全备份、增量备份、差异备份等)、备份时间、备份文件是否压缩、备份文件保留时间等,所述备份执行程序可以是备份脚本。
所述处理器403通过所述通信器402获取待备份的至少一个数据库集群作为目标数据库集群。然后,对于每个所述目标数据库集群,根据所述目标数据库集群的集群标识查找与之对应关联的备份策略和备份执行程序,分别作为目标备份策略和目标备份执行程序。随后,判断所述目标备份执行程序与所述目标数据库集群中预存的原始备份执行程序是否一致;若否,则通过所述通信器402发送所述目标备份执行程序至所述目标数据库集群中以覆盖所述原始备份执行程序,并令所述目标数据库集群运行所述目标备份执行程序,且按照所述目标备份策略完成相应的备份操作。
在一实施方式中,所述处理器403还用于:在预设周期内的任一时间点对日志文件进行增量备份,记录对数据库集群的数据备份和日志备份的所有过程信息,并对备份的过程信息按类别进行统计并生成显示图像等。
在另一实施方式中,所述处理器403还用于:在对所述过程信息进行统计分析之后,通过各所述备份网络流量值调整下一次对各所述目标数据库集群的备份时间点,以让对各个所述目标数据库集群的备份所对应的网络流量相对平均。
综上所述,本发明的数据库集群的备份方法、备份系统及电子设备,能够对各个数据库集群的备份进行统一管理,各个数据库集群的备份过程互补干扰,在提高备份效率的同时,还能综合分析各个数据库集群的备份情况,为技术人员提供直观而可靠的备份管理方案,有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (25)

1.一种数据库集群的备份方法,其特征在于,应用于与至少一个数据库集群通信连接的服务端,其中,所述服务端中预存有:所述至少一个数据库集群的集群标识、与所述至少一个集群标识一一对应关联的至少一项备份策略、以及与所述至少一项备份策略一一对应关联的至少一个备份执行程序,所述方法包括:
获取待备份的至少一个数据库集群作为目标数据库集群;
对于每个所述目标数据库集群,根据所述目标数据库集群的集群标识查找与之对应关联的备份策略和备份执行程序,分别作为目标备份策略和目标备份执行程序;
判断所述目标备份执行程序与所述目标数据库集群中预存的原始备份执行程序是否一致;
若否,则将所述目标备份执行程序覆盖所述原始备份执行程序,以供所述目标数据库集群运行所述目标备份执行程序,并按照所述目标备份策略完成相应的备份操作。
2.根据权利要求1所述的数据库集群的备份方法,其特征在于,每个所述数据库集群分别包括:主数据库节点和至少一个从数据库节点,其中,每个所述数据库集群的备份执行程序分别存储于各所述数据库集群的其中一个从数据库节点中。
3.根据权利要求1所述的数据库集群的备份方法,其特征在于,所述备份策略的内容包括:备份方式、备份时间、备份文件是否压缩、及备份文件保留时间中的一种或多种组合。
4.根据权利要求1所述的数据库集群的备份方法,其特征在于,所述服务端中还预存有:所述至少一个数据库集群的备份记录;所述获取待备份的至少一个数据库集群作为目标数据库集群,还包括:根据所述备份记录获取未进行过备份、和/或备份失败的数据库集群,以作为目标数据库集群。
5.根据权利要求1或4所述的数据库集群的备份方法,其特征在于,所述获取待备份的至少一个数据库集群,还包括:获取预设时间间隔内待备份的至少一个数据库集群。
6.根据权利要求1所述的数据库集群的备份方法,其特征在于,所述判断目标备份执行程序与所述目标数据库集群中预存的原始备份执行程序是否一致是通过哈希算法实现的。
7.根据权利要求2所述的数据库集群的备份方法,其特征在于,所述目标数据库集群的主数据库中包括:二进制日志文件;所述方法还包括:以增量备份的方式备份所述二进制日志文件。
8.根据权利要求7所述的数据库集群的备份方法,其特征在于,还包括:以预设周期内的任一时间点对所述二进制日志文件进行备份。
9.根据权利要求1所述的数据库集群的备份方法,其特征在于,所述至少一个数据库集群还通信连接有至少一个网络文件系统;所述方法还包括:将完成所述备份操作产生的备份文件存储于所述至少一个网络文件系统中。
10.根据权利要求9所述的数据库集群的备份方法,其特征在于,还包括:记录所述至少一个目标数据库集群的备份过程信息,并对所述备份过程信息按类别进行统计。
11.根据权利要求10所述的数据库集群的备份方法,其特征在于,所述类别包括:备份文件数据量大小及备份时长;所述按类别统计还包括:根据每个所述目标数据库集群的备份文件数据量大小和备份时长分别计算各所述目标数据库集群的备份网络流量值。
12.根据权利要求11所述的数据库集群的备份方法,其特征在于,在计算出各所述备份网络流量值之后,所述方法还包括:通过各所述备份网络流量值调整下一次对各所述目标数据库集群的备份时间点。
13.一种数据库集群的备份系统,其特征在于,应用于与至少一个数据库集群通信连接的服务端,其中,所述服务端中预存有:所述至少一个数据库集群的集群标识、与所述至少一个集群标识一一对应关联的至少一项备份策略、以及与所述至少一项备份策略一一对应关联的至少一个备份执行程序,所述系统包括:
获取模块,用于获取待备份的至少一个数据库集群作为目标数据库集群;
查询模块,用于对于每个所述目标数据库集群,根据所述目标数据库集群的集群标识查找与之对应关联的备份策略和备份执行程序,分别作为目标备份策略和目标备份执行程序;
处理模块,用于判断所述目标备份执行程序与所述目标数据库集群中预存的原始备份执行程序是否一致;若否,则将所述目标备份执行程序覆盖所述原始备份执行程序,并令所述目标数据库集群运行所述目标备份执行程序,且按照所述目标备份策略完成相应的备份操作。
14.根据权利要求13所述的数据库集群的备份系统,其特征在于,每个所述数据库集群分别包括:主数据库节点和至少一个从数据库节点,其中,每个所述数据库集群的备份执行程序分别存储于各所述数据库集群的其中一个从数据库节点中。
15.根据权利要求13所述的数据库集群的备份系统,其特征在于,所述备份策略的内容包括:备份方式、备份时间、备份文件是否压缩、及备份文件保留时间中的一种或多种组合。
16.根据权利要求13所述的数据库集群的备份系统,其特征在于,所述服务端中还预存有:所述至少一个数据库集群的备份记录;所述获取待备份的至少一个数据库集群作为目标数据库集群,还包括:根据所述备份记录获取未进行过备份、和/或备份失败的数据库集群,以作为目标数据库集群。
17.根据权利要求13或16所述的数据库集群的备份系统,其特征在于,所述获取待备份的至少一个数据库集群,还包括:获取预设时间间隔内待备份的至少一个数据库集群。
18.根据权利要求13所述的数据库集群的备份系统,其特征在于,所述判断目标备份执行程序与所述目标数据库集群中预存的原始备份执行程序是否一致是通过哈希算法实现的。
19.根据权利要求14所述的数据库集群的备份系统,其特征在于,所述目标数据库集群的主数据库中包括:二进制日志文件,所述处理模块还用于:以增量备份的方式备份所述二进制日志文件。
20.根据权利要求19所述的数据库集群的备份系统,其特征在于,所述处理模块还用于:以预设周期内的任一时间点对所述二进制日志文件进行备份。
21.根据权利要求13所述的数据库集群的备份系统,其特征在于,所述至少一个数据库集群还通信连接有至少一个网络文件系统,所述处理模块还用于:将完成所述备份操作产生的备份文件通过所述通信模块发送至所述至少一个网络文件系统中进行存储。
22.根据权利要求21所述的数据库集群的备份系统,其特征在于,所述处理模块还用于:记录所述至少一个目标数据库集群的备份过程信息,并对所述备份过程信息按类别进行统计。
23.根据权利要求22所述的数据库集群的备份系统,其特征在于,所述类别包括:备份文件数据量大小及备份时长;所述按类别统计还包括:根据每个所述目标数据库集群的备份文件数据量大小和备份时长分别计算各所述目标数据库集群的备份网络流量值。
24.根据权利要求23所述的数据库集群的备份系统,其特征在于,所述处理模块还用于:在计算出各所述备份网络流量值之后,通过各所述备份网络流量值调整下一次对各所述目标数据库集群的备份时间点。
25.一种电子设备,其特征在于,包括:如权利要求13至24中任一所述的数据库集群的备份系统。
CN201710445491.4A 2017-06-13 2017-06-13 数据库集群的备份方法、备份系统及电子设备 Pending CN107329853A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710445491.4A CN107329853A (zh) 2017-06-13 2017-06-13 数据库集群的备份方法、备份系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710445491.4A CN107329853A (zh) 2017-06-13 2017-06-13 数据库集群的备份方法、备份系统及电子设备

Publications (1)

Publication Number Publication Date
CN107329853A true CN107329853A (zh) 2017-11-07

Family

ID=60194622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710445491.4A Pending CN107329853A (zh) 2017-06-13 2017-06-13 数据库集群的备份方法、备份系统及电子设备

Country Status (1)

Country Link
CN (1) CN107329853A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108121793A (zh) * 2017-12-20 2018-06-05 北京搜狐新媒体信息技术有限公司 一种数据库备份部署方法及装置
CN108334561A (zh) * 2018-01-05 2018-07-27 深圳供电局有限公司 一种跨站点远程复制实现方法
CN112003744A (zh) * 2020-08-14 2020-11-27 苏州浪潮智能科技有限公司 一种云平台服务集群的备份恢复方法及系统
CN113297009A (zh) * 2021-05-25 2021-08-24 深圳前海微众银行股份有限公司 一种信息备份方法、设备、平台及存储介质
CN113791935A (zh) * 2021-09-06 2021-12-14 广州宝云信息科技有限公司 一种数据备份方法、网络节点及系统
CN113806121A (zh) * 2021-02-09 2021-12-17 京东科技控股股份有限公司 实例备份异常检测方法、装置及电子设备、存储介质
CN114116326A (zh) * 2021-10-21 2022-03-01 海南车智易通信息技术有限公司 一种数据存储容灾方法及系统
CN114780296A (zh) * 2022-05-09 2022-07-22 马上消费金融股份有限公司 数据库集群的数据备份方法、装置及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101309167A (zh) * 2008-06-27 2008-11-19 华中科技大学 基于集群备份的容灾系统及方法
CN103812691A (zh) * 2014-01-14 2014-05-21 浪潮电子信息产业股份有限公司 一种集群负载均衡系统的日志统计系统及方法
CN103902617A (zh) * 2012-12-28 2014-07-02 华为技术有限公司 分布式数据库同步方法和系统
CN104239166A (zh) * 2014-09-11 2014-12-24 武汉噢易云计算有限公司 一种对运行中虚拟机实现文件备份的方法
CN104317803A (zh) * 2014-09-23 2015-01-28 厦门美柚信息科技有限公司 数据库集群的数据存取结构和方法
CN106294713A (zh) * 2016-08-09 2017-01-04 深圳中兴网信科技有限公司 基于增量日志解析的数据同步方法和数据同步装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101309167A (zh) * 2008-06-27 2008-11-19 华中科技大学 基于集群备份的容灾系统及方法
CN103902617A (zh) * 2012-12-28 2014-07-02 华为技术有限公司 分布式数据库同步方法和系统
CN103812691A (zh) * 2014-01-14 2014-05-21 浪潮电子信息产业股份有限公司 一种集群负载均衡系统的日志统计系统及方法
CN104239166A (zh) * 2014-09-11 2014-12-24 武汉噢易云计算有限公司 一种对运行中虚拟机实现文件备份的方法
CN104317803A (zh) * 2014-09-23 2015-01-28 厦门美柚信息科技有限公司 数据库集群的数据存取结构和方法
CN106294713A (zh) * 2016-08-09 2017-01-04 深圳中兴网信科技有限公司 基于增量日志解析的数据同步方法和数据同步装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108121793A (zh) * 2017-12-20 2018-06-05 北京搜狐新媒体信息技术有限公司 一种数据库备份部署方法及装置
CN108334561A (zh) * 2018-01-05 2018-07-27 深圳供电局有限公司 一种跨站点远程复制实现方法
CN112003744A (zh) * 2020-08-14 2020-11-27 苏州浪潮智能科技有限公司 一种云平台服务集群的备份恢复方法及系统
CN113806121A (zh) * 2021-02-09 2021-12-17 京东科技控股股份有限公司 实例备份异常检测方法、装置及电子设备、存储介质
CN113806121B (zh) * 2021-02-09 2024-05-17 京东科技控股股份有限公司 实例备份异常检测方法、装置及电子设备、存储介质
CN113297009A (zh) * 2021-05-25 2021-08-24 深圳前海微众银行股份有限公司 一种信息备份方法、设备、平台及存储介质
CN113791935A (zh) * 2021-09-06 2021-12-14 广州宝云信息科技有限公司 一种数据备份方法、网络节点及系统
CN113791935B (zh) * 2021-09-06 2023-10-24 广州宝云信息科技有限公司 一种数据备份方法、网络节点及系统
CN114116326A (zh) * 2021-10-21 2022-03-01 海南车智易通信息技术有限公司 一种数据存储容灾方法及系统
CN114780296A (zh) * 2022-05-09 2022-07-22 马上消费金融股份有限公司 数据库集群的数据备份方法、装置及系统
CN114780296B (zh) * 2022-05-09 2024-06-25 马上消费金融股份有限公司 数据库集群的数据备份方法、装置及系统

Similar Documents

Publication Publication Date Title
CN107329853A (zh) 数据库集群的备份方法、备份系统及电子设备
CN110543464B (zh) 一种应用于智慧园区的大数据平台及操作方法
US10459903B2 (en) Comparing data stores using hash sums on disparate parallel systems
CN108428141B (zh) 一种基于erp系统与区块链的食品溯源信息管理系统
CN110225095B (zh) 一种数据处理方法、装置及系统
CN107819627A (zh) 系统故障处理方法及服务器
CN110069495A (zh) 数据存储方法、装置和终端设备
CN105631026A (zh) 一种安全数据分析系统
CN109120428B (zh) 一种用于风控分析的方法及系统
CN113553374A (zh) 一种去中心化分布式大数据区块链信息存储系统
US20190180057A1 (en) Fingerprint-based configuration typing and classification
CN107622064A (zh) 一种数据读取方法及系统
CN112035471A (zh) 一种事务处理方法及计算机设备
CN116383189A (zh) 业务数据的处理方法、装置、计算机设备、存储介质
CN112039893B (zh) 私密交易处理方法、装置、电子设备及可读存储介质
US10331484B2 (en) Distributed data platform resource allocator
CN110913397B (zh) 短信校验方法、装置、存储介质和计算机设备
CN107885634B (zh) 监控中异常信息的处理方法和装置
CN112860780A (zh) 数据导出方法、装置和终端设备
CN117726435B (zh) 一种影像数据管理方法及系统
CN113672479A (zh) 一种数据共享方法、装置及计算机设备
CN118170804A (zh) 一种监管报送数据处理方法、装置以及计算机设备
CN115470256A (zh) 一种留痕数据管理、追溯、稽查系统和方法
CN118138806B (zh) 视频过滤方法、装置、设备、存储介质和计算机程序产品
CN116701522B (zh) 档案保管柜分类数据可视化方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20210518

AD01 Patent right deemed abandoned