[go: up one dir, main page]

CN114385657A - 数据存储方法、装置及存储介质 - Google Patents

数据存储方法、装置及存储介质 Download PDF

Info

Publication number
CN114385657A
CN114385657A CN202210039175.8A CN202210039175A CN114385657A CN 114385657 A CN114385657 A CN 114385657A CN 202210039175 A CN202210039175 A CN 202210039175A CN 114385657 A CN114385657 A CN 114385657A
Authority
CN
China
Prior art keywords
data
storage
query
hot
cold storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210039175.8A
Other languages
English (en)
Inventor
方飞
黄跃文
吕昊航
黎勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Hangzhou Youxing Technology Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Hangzhou Youxing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Hangzhou Youxing Technology Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202210039175.8A priority Critical patent/CN114385657A/zh
Publication of CN114385657A publication Critical patent/CN114385657A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据存储方法、装置及存储介质，该方法通过对热库中的待处理数据表，创建查询并发线程，进而，基于该查询并发线程，确定上述待处理数据表中每一数据表的相关配置，并根据该相关配置，将上述热库中的相关数据复制到冷库，并在上述热库中删除满足预设删除条件的数据。其中，无须大量的改造业务系统代码，因此只需投入很少的人力成本就可以完成冷热库分离。而且，本申请实施例可以被多个业务接入，具有通用能力，更进一步的提高效率，减少人力成本。另外，本申请实施例可以在数据迁移过程中随时调整相关数据，以保证数据迁移不会影响业务系统正常的服务能力，可以做到平滑迁移。

Description

数据存储方法、装置及存储介质
技术领域
本申请涉及数据存储技术领域，尤其涉及一种数据存储方法、装置及存储介质。
背景技术
数据量激增带来存储需求的不断提高，导致单个数据库出现性能瓶颈。为了解决该问题，现有对数据库进行冷库和热库分离来优化存储空间，将近期产生、高频访问的热数据存储在热库，过去产生、不常访问的冷数据存储在冷库。
相关技术中，现有在进行冷库和热库分离时，通常基于双写、数据库日志同步等进行数据迁移。以双写为例，双写的步骤是：业务系统将原数据库全量数据备份到冷库；将产生的数据双写到两个库；删除原数据库历史数据。
但是，现有在进行冷库和热库分离时，数据迁移需要改造业务系统代码，需要各个业务各自定制，导致工程周期长、人工成本高。
发明内容
为解决现有技术中存在的问题，本申请提供一种数据存储方法、装置及存储介质。
第一方面，本申请实施例提供一种数据存储方法，所述方法包括：
根据热库中的待处理数据表，创建查询并发线程，其中，所述待处理数据表中的每一个数据表分别对应所述查询并发线程中的一个线程；
基于所述查询并发线程，确定所述待处理数据表中每一数据表的相关配置；
根据所述待处理数据表中每一数据表的相关配置，从所述待处理数据表中获取满足预设迁移条件的目标数据表；
基于所述目标数据表，将所述热库中的相关数据复制到冷库，并根据复制到所述冷库的所述热库中的相关数据，在所述热库中删除满足预设删除条件的数据。
在一种可能的实现方式中，所述基于所述目标数据表，将所述热库中的相关数据复制到冷库，包括：
获取所述目标数据表中的各个迁移基准字段，所述各个迁移基准字段中的每一迁移基准字段用于唯一标识所述目标数据表中的一条数据；
在所述冷库中查询所述各个迁移基准字段对应的数据；
根据查询结果，将所述热库中的相关数据复制到所述冷库。
在一种可能的实现方式中，所述根据查询结果，将所述热库中的相关数据复制到所述冷库，包括：
若所述冷库中没有迁移基准字段i对应的数据，则将所述迁移基准字段i对应的数据复制到所述冷库，其中，所述迁移基准字段i为所述各个迁移基准字段中的任意一个迁移基准字段，i＝1,…,n，n等于所述各个迁移基准字段的数目；
若所述冷库中有所述迁移基准字段i对应的数据，则将所述冷库中所述迁移基准字段i对应的数据与所述热库中所述迁移基准字段i对应的数据进行比较，若比较不同，则基于所述热库中所述迁移基准字段i对应的数据，更新所述冷库中所述迁移基准字段i对应的数据。
在一种可能的实现方式中，所述根据热库中的待处理数据表，创建查询并发线程，包括：
根据所述待处理数据表，为所述待处理数据表中的每一个数据表创建查询锁和游标值，其中，所述查询锁包括锁标识和锁状态，所述游标值包括由关键字(key)-值(value)组成的映射表，key表示游标字段，value表示当前的游标值；
根据所述待处理数据表中的每一个数据表创建的查询锁和游标值，以及预设分片大小和预设分片游标字段，创建所述查询并发线程，其中，所述预设分片大小表示每次读取数据条数，所述预设分片游标字段用于标识所述查询并发线程中每个线程读取的数据。
在一种可能的实现方式中，在所述基于所述目标数据表，将所述热库中的相关数据复制到冷库，并根据复制到所述冷库的所述热库中的相关数据，在所述热库中删除满足预设删除条件的数据之后，还包括：
获取数据查询请求，并基于所述数据查询请求，从所述热库中查询数据；
根据所述热库返回的值的类型，确定是否在所述冷库进行补偿查询；
若在所述冷库进行补偿查询，则根据从所述冷库的补偿查询结果，确定所述数据查询请求对应的目标数据。
在一种可能的实现方式中，所述根据所述热库返回的值的类型，确定是否在所述冷库进行补偿查询，包括：
若所述热库返回的值的类型为单条数据，则判断所述热库返回的值是否为空，若所述热库返回的值为空，则确定在所述冷库进行补偿查询；
若所述热库返回的值的类型为多条数据，则确定在所述冷库进行补偿查询。
在一种可能的实现方式中，在所述根据从所述冷库的补偿查询结果，确定所述数据查询请求对应的目标数据之前，还包括：
若所述热库返回的值的类型为多条数据，所述热库返回的值不为空，则将所述热库返回的值与所述冷库的补偿查询结果进行比较；
所述根据从所述冷库的补偿查询结果，确定所述数据查询请求对应的目标数据，包括：
若比较结果为所述热库返回的值和所述冷库的补偿查询结果有重复的，则对所述热库返回的值和所述冷库的补偿查询结果，进行去重处理；
基于去重处理后的所述热库返回的值和所述冷库的补偿查询结果，获得所述数据查询请求对应的目标数据。
第二方面，本申请实施例提供一种数据存储装置，所述装置包括：
线程创建模块，用于根据热库中的待处理数据表，创建查询并发线程，其中，所述待处理数据表中的每一个数据表分别对应所述查询并发线程中的一个线程；
配置确定模块，用于基于所述查询并发线程，确定所述待处理数据表中每一数据表的相关配置；
数据获取模块，用于根据所述待处理数据表中每一数据表的相关配置，从所述待处理数据表中获取满足预设迁移条件的目标数据表；
存储处理模块，用于基于所述目标数据表，将所述热库中的相关数据复制到冷库，并根据复制到所述冷库的所述热库中的相关数据，在所述热库中删除满足预设删除条件的数据。
在一种可能的实现方式中，所述存储处理模块，具体用于：
获取所述目标数据表中的各个迁移基准字段，所述各个迁移基准字段中的每一迁移基准字段用于唯一标识所述目标数据表中的一条数据；
在所述冷库中查询所述各个迁移基准字段对应的数据；
根据查询结果，将所述热库中的相关数据复制到所述冷库。
在一种可能的实现方式中，所述存储处理模块，具体用于：
若所述冷库中没有迁移基准字段i对应的数据，则将所述迁移基准字段i对应的数据复制到所述冷库，其中，所述迁移基准字段i为所述各个迁移基准字段中的任意一个迁移基准字段，i＝1,…,n，n等于所述各个迁移基准字段的数目；
若所述冷库中有所述迁移基准字段i对应的数据，则将所述冷库中所述迁移基准字段i对应的数据与所述热库中所述迁移基准字段i对应的数据进行比较，若比较不同，则基于所述热库中所述迁移基准字段i对应的数据，更新所述冷库中所述迁移基准字段i对应的数据。
在一种可能的实现方式中，所述线程创建模块，具体用于：
根据所述待处理数据表，为所述待处理数据表中的每一个数据表创建查询锁和游标值，其中，所述查询锁包括锁标识和锁状态，所述游标值包括由key-value组成的映射表，key表示游标字段，value表示当前的游标值；
根据所述待处理数据表中的每一个数据表创建的查询锁和游标值，以及预设分片大小和预设分片游标字段，创建所述查询并发线程，其中，所述预设分片大小表示每次读取数据条数，所述预设分片游标字段用于标识所述查询并发线程中每个线程读取的数据。
在一种可能的实现方式中，还包括数据查询模块，用于在所述存储处理模块基于所述目标数据表，将所述热库中的相关数据复制到冷库，并根据复制到所述冷库的所述热库中的相关数据，在所述热库中删除满足预设删除条件的数据之后，获取数据查询请求，并基于所述数据查询请求，从所述热库中查询数据；
根据所述热库返回的值的类型，确定是否在所述冷库进行补偿查询；
若在所述冷库进行补偿查询，则根据从所述冷库的补偿查询结果，确定所述数据查询请求对应的目标数据。
在一种可能的实现方式中，所述数据查询模块，具体用于：
若所述热库返回的值的类型为单条数据，则判断所述热库返回的值是否为空，若所述热库返回的值为空，则确定在所述冷库进行补偿查询；
若所述热库返回的值的类型为多条数据，则确定在所述冷库进行补偿查询。
在一种可能的实现方式中，所述数据查询模块，具体用于：
若所述热库返回的值的类型为多条数据，所述热库返回的值不为空，则将所述热库返回的值与所述冷库的补偿查询结果进行比较；
若比较结果为所述热库返回的值和所述冷库的补偿查询结果有重复的，则对所述热库返回的值和所述冷库的补偿查询结果，进行去重处理；
基于去重处理后的所述热库返回的值和所述冷库的补偿查询结果，获得所述数据查询请求对应的目标数据。
第三方面，本申请实施例提供一种数据存储系统，包括：
处理器；
存储器；以及
计算机程序；
其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如第一方面所述的方法的指令。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行第一方面所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行第一方面所述的方法。
本申请实施例提供的数据存储方法、装置及存储介质，该方法通过对热库中的待处理数据表，创建查询并发线程，进而，基于该查询并发线程，确定上述待处理数据表中每一数据表的相关配置，并根据该相关配置，从上述待处理数据表中获取满足预设迁移条件的目标数据表，从而，基于该目标数据表，将上述热库中的相关数据复制到冷库，并根据复制到上述冷库的上述热库中的相关数据，在上述热库中删除满足预设删除条件的数据。其中，无须大量的改造业务系统代码，因此只需投入很少的人力成本就可以完成冷热库分离。而且，本申请实施例可以被多个业务接入，具有通用能力，更进一步的提高效率，减少人力成本。另外，本申请实施例可以在数据迁移过程中随时调整相关数据，以保证数据迁移不会影响业务系统正常的服务能力，可以做到平滑迁移。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据存储系统架构示意图；
图2为本申请实施例提供的一种数据存储方法的流程示意图；
图3为本申请实施例提供的另一种数据存储方法的流程示意图；
图4为本申请实施例提供的一种数据存储示意图；
图5为本申请实施例提供的一种数据存储装置的结构示意图；
图6为本申请实施例提供的另一种数据存储装置的结构示意图；
图7A为本申请实施例提供的一种数据存储系统的基本硬件架构示意图；
图7B为本申请实施例提供的一种数据存储系统的基本硬件架构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
现有很多互联网企业在业务初期做系统设计时往往采用单个数据库设计，随着业务的发展，产生的业务数据越来越多，导致数据库达到性能瓶颈，存在数据查询变慢甚至有系统奔溃的风险。然而绝大部分业务都有热数据和冷数据的特点，其中热数据为近期产生的数据，查询量大，冷数据为过去产生的数据，查询量很小。因此对数据库进行冷库和热库分离是解决单个数据库性能瓶颈的有效解决方案。
相关技术中，现有在进行冷库和热库分离时，通常基于双写、数据库日志同步等进行数据迁移。以双写为例，双写的步骤是：业务系统将原数据库全量数据备份到冷库；将产生的数据双写到两个库；删除原数据库历史数据。但是，以上在进行冷库和热库分离时，数据迁移需要改造业务系统代码，需要各个业务各自定制，导致工程周期长、人工成本高。
为了解决上述问题，本申请实施例提出一种数据存储方法，通过对热库中的待处理数据表，创建查询并发线程，进而，基于该查询并发线程，确定上述待处理数据表中每一数据表的相关配置，并根据该相关配置，将上述热库中的相关数据复制到冷库，并在上述热库中删除满足预设删除条件的数据，解决现有在进行冷库和热库分离时，数据迁移需要改造业务系统代码，需要各个业务各自定制，导致工程周期长、人工成本高的问题。
可选地，本申请实施例提供的数据存储方法可以应用于如图1所示的数据存储系统中。在图1中，该系统可以包括接收装置101、处理装置102和显示装置103。
在具体实现过程中，接收装置101可以是输入/输出接口，也可以是通信接口，可以用于接收热库和冷库的相关信息。
处理装置102可以通过上述接收装置101获取上述热库中的待处理数据表，进而，为这些待处理数据表，创建查询并发线程，然后基于该查询并发线程，确定上述待处理数据表中每一数据表的相关配置，根据该相关配置，将上述热库中的相关数据复制到冷库，并在上述热库中删除满足预设删除条件的数据。其中，无须大量的改造业务系统代码，因此只需投入很少的人力成本就可以完成冷热库分离。而且，上述处理装置102可以被多个业务接入，具有通用能力，更进一步的提高效率，减少人力成本。另外，上述处理装置102可以在数据迁移过程中随时调整相关数据，以保证数据迁移不会影响业务系统正常的服务能力，可以做到平滑迁移。
显示装置103可以用于对上述冷库和热库分离过程等进行显示。
显示装置还可以是触摸显示屏，用于在显示的上述内容的同时接收用户指令，以实现与用户的交互。
应理解，上述处理装置可以通过读取存储器中的指令并执行指令的方式实现，也可以通过芯片电路实现。
上述系统仅为一种示例性系统，具体实施时，可以根据应用需求设置。
可以理解的是，本申请实施例描述的系统架构是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
下面以几个实施例为例对本申请的技术方案进行描述，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请实施例提供的一种数据存储方法的流程示意图，本实施例的执行主体可以为图1中的处理装置，具体执行主体可以根据实际应用场景确定，本申请实施例对此不做特别限制。如图2所示，本申请实施例提供的数据存储方法可以包括如下步骤：
S201：根据热库中的待处理数据表，创建查询并发线程，其中，上述待处理数据表中的每一个数据表分别对应上述查询并发线程中的一个线程。
这里，上述处理装置在根据热库中的待处理数据表，创建查询并发线程之前，可以获取相应的配置信息，例如获取定时任务配置表、基础配置表和规则配置表。
其中，上述定时任务配置表用于配置在指定的时间段执行数据迁移任务，如下述表1所示，表中字段有身份标识号(Identity document，id)(任务的唯一标识)、基础配置的id、启动状态(控制数据迁移任务的全局开关，如果状态为真(true)表示迁移任务开启，否则为关闭)、执行时间(可以指定迁移任务的执行时间段，具体可以根据实际情况确定，例如指定执行迁移任务的时间段在业务流量的低谷期)、并发线程数(可以根据实际情况调整)、分片大小(每次读取数据条数)、分片游标字段(配合分片大小使用，若配置了并发线程数大于1，则需要设置分片游标字段用于标识并发线程中每个线程读取的数据，以确保每个线程读取热库数据时不会重复读取)。
表1定时任务配置表
id 基础配置id 启动状态 执行时间 并发线程数 分片大小 分片游标字段
1 1 true 22:00-06:00 4 100 id
2 2 true 00:00-00:00 4 200 id
上述基础配置表可以如下述表2所示，包括id(唯一标识)、需要被迁移的热库名、登录账号、登录密码；数据迁移至冷库名、登录账号、登录密码；关联规则配置id列表(因为一个数据库内有多张表，因此一条基础配置关联了多张表规则)。
表2基础配置表
Figure BDA0003469508630000091
上述规则配置表可以如下述表3所示，id(唯一标识)、表名(例如热库中待处理数据表)、开关(为库中每张表设置开关，可以灵活控制不同表的不同迁移需求)、迁移基准字段(用于标识唯一一条数据的字段)、迁移条件(可以根据实际情况设置，如表中举例：“now-create_time>30天”表示数据的创建时间在30天以前就可以把数据从热库复制到冷库，“id<N”表示数据表中字段id的值小于N的就可以把该数据从热库复制到冷库)、删除条件(用于将数据复制到冷库之后删除热库数据操作，同样可以根据实际情况设置，如表中举例：“bill_status in(10,20)”表示表中字段bill_status如果为10或者20的情况下才可以删除数据)。
表3规则配置表
Figure BDA0003469508630000101
示例性的，上述处理装置可以根据上述配置信息，例如上述定时任务配置表、基础配置表和规则配置表，执行后续处理，如根据热库中的待处理数据表，创建查询并发线程。具体的，上述处理装置可以根据上述基础配置表中的信息登录热库和冷库，根据规则配置表中的信息，确定热库中待处理数据表，根据上述定时任务配置表中的启动状态和执行时间执行后续处理等。
在本申请实施例中，上述处理装置在根据热库中的待处理数据表，创建查询并发线程时，也考虑上述定时任务配置表、基础配置表和规则配置表，如根据上述待处理数据表，为上述待处理数据表中的每一个数据表创建查询锁和游标值，其中，该查询锁包括锁标识和锁状态，该游标值包括由key-value组成的映射表，key表示游标字段，value表示当前的游标值；然后，根据上述待处理数据表中的每一个数据表创建的查询锁和游标值，以及上述分片大小和分片游标字段，创建上述查询并发线程，其中，上述预设分片大小表示每次读取数据条数，上述预设分片游标字段用于标识查询并发线程中每个线程读取的数据。
其中，锁标识(lock_表名)、锁状态(0-表示未锁定，1-表示锁定)。
S202：基于上述查询并发线程，确定上述待处理数据表中每一数据表的相关配置。
这里，上述处理装置启动上述查询并发线程，从而，基于上述查询并发线程，确定上述待处理数据表中每一数据表的所有相关配置。
示例性的，上述处理装置启动上述查询并发线程，可以如表4的数据表tableA的具体示例所示。其中，tableA的锁标识为lock_tableA，状态0，tableA的游标值，key为tableA_id，value为0。
具体的，上述处理装置启动上述查询并发线程可以包括：1、启动线程读取待处理数据表的相关配置；如果表的规则配置中开关关闭则线程退出，不执行后续步骤，如果开关开启进入下一步；2、读取查询锁中“lock_表名”的锁状态，如果为0则表示锁空闲，将锁状态设置为1，占用线程设置为该线程名，进入下一步；如果锁状态为1表示锁被占用，则重复2继续获取锁；3、根据“表名_游标字段”查询游标值；4、根据查询游标查询下一个分片的数据，举例子：当前游标是100、分片大小是50则查询数据为从101开始的50条数据，mysql中为：select*from tableName where id>100limit 50；5、从查出来的数据中取出分片游标字段对应的最大值并更新缓存中对应key的游标值，更新成功后释放对应的查询锁，进入后续处理。此时其他线程可以获得该查询锁，并重复上述步骤1-5。
表4
Figure BDA0003469508630000111
Figure BDA0003469508630000121
S203：根据上述待处理数据表中每一数据表的相关配置，从上述待处理数据表中获取满足预设迁移条件的目标数据表。
其中，上述预设迁移条件可以根据实际情况确定，例如上述规则配置表中的迁移条件“now-create_time>30天”表示数据的创建时间在30天以前就可以把数据从热库复制到冷库，“id<N”表示数据表中字段id的值小于N的就可以把该数据从热库复制到冷库等。
上述处理装置基于上述待处理数据表中每一数据表的相关配置，以及上述迁移条件，从上述待处理数据表中确定目标数据表，该目标数据表中包含满足上述迁移条件的数据。
S204：基于上述目标数据表，将上述热库中的相关数据复制到冷库，并根据复制到上述冷库的上述热库中的相关数据，在上述热库中删除满足预设删除条件的数据。
这里，上述处理装置可以获取上述目标数据表中的各个迁移基准字段，该各个迁移基准字段中的每一迁移基准字段用于唯一标识上述目标数据表中的一条数据，然后在上述冷库中查询上述各个迁移基准字段对应的数据，从而，根据查询结果，将上述热库中的相关数据复制到上述冷库。
示例性的，如果上述冷库中没有迁移基准字段i对应的数据，则上述处理装置可以将迁移基准字段i对应的数据复制到上述冷库，其中，迁移基准字段i为上述各个迁移基准字段中的任意一个迁移基准字段，i＝1,…,n，n等于上述各个迁移基准字段的数目。如果上述冷库中有迁移基准字段i对应的数据，则上述处理装置可以将上述冷库中迁移基准字段i对应的数据与上述热库中迁移基准字段i对应的数据进行比较，若比较不同，则基于上述热库中迁移基准字段i对应的数据，更新上述冷库中迁移基准字段i对应的数据。
例如，以上述预设迁移条件为“now-create_time>30天”为例，上述处理装置从上述待处理数据表中过滤出包含创建时间在30天以前的数据的目标数据表，然后获取迁移基准字段，通过这些迁移基准字段去冷库中查询。举例：假设迁移基准字段为“id”，热库中该字段是值为1到100；则查询冷库的语句为：“select*from cold_DB_name.tableName whereid in(1,2,3,....,100)；”。如果热库有冷库没有，则上述处理装置可以将该热库数据加入到冷库的列表中insertList。如果热库有冷库也有，则上述处理装置可以对比每一个字段的值，如果有差异的则将该热库数据添加到待更新列表中updateList，所有数据处理完毕后进入下一步。最后，上述处理装置将insertList中的数据插入到冷库，将updateList中的数据插入到冷库。
另外，在将上述热库中的相关数据复制到冷库之后，可以根据复制到上述冷库的上述热库中的相关数据，在上述热库中删除满足预设删除条件的数据。其中，上述预设删除条件可以根据实际情况确定，例如上述规则配置表中的“now-create_time>60天andorder_status＝10”表示需要过滤出数据创建时间在60天以前，且“order_status”字段值等于10的数据。
示例性的，上述处理装置可以获取复制到上述冷库的上述热库中的相关数据的各个迁移基准字段，根据该各个迁移基准字段和上述预设删除条件，在上述热库中删除相关数据。
其中，上述冷库和上述热库可以根据实际情况确定，例如上述处理装置将热库A中的数据复制到冷库A，基于复制到冷库A的热库A中的相关数据，在热库A中删除满足预设删除条件的数据。
本申请实施例通过对热库中的待处理数据表，创建查询并发线程，进而，基于该查询并发线程，确定上述待处理数据表中每一数据表的相关配置，并根据该相关配置，从上述待处理数据表中获取满足预设迁移条件的目标数据表，从而，基于该目标数据表，将上述热库中的相关数据复制到冷库，并根据复制到上述冷库的上述热库中的相关数据，在上述热库中删除满足预设删除条件的数据。其中，无须大量的改造业务系统代码，因此只需投入很少的人力成本就可以完成冷热库分离。而且，本申请实施例可以被多个业务接入，具有通用能力，更进一步的提高效率，减少人力成本。另外，本申请实施例可以在数据迁移过程中随时调整相关数据，以保证数据迁移不会影响业务系统正常的服务能力，可以做到平滑迁移。
另外，上述处理装置在基于上述目标数据表，将上述热库中的相关数据复制到冷库，并根据复制到上述冷库的上述热库中的相关数据，在上述热库中删除满足预设删除条件的数据之后，还提供数据查询功能，如接入冷库查询组件，获取数据查询请求，并基于该数据查询请求，拼接冷热数据，确定该数据查询请求对应的目标数据，可以用无业务系统代码侵入的方式完成冷库的查询，提供了冷库查询的通用解决方案。图3为本申请实施例提出的另一种数据存储方法的流程示意图。如图3所示，该方法包括：
S301：根据热库中的待处理数据表，创建查询并发线程，其中，上述待处理数据表中的每一个数据表分别对应上述查询并发线程中的一个线程。
S302：基于上述查询并发线程，确定上述待处理数据表中每一数据表的相关配置。
S303：根据上述待处理数据表中每一数据表的相关配置，从上述待处理数据表中获取满足预设迁移条件的目标数据表。
S304：基于上述目标数据表，将上述热库中的相关数据复制到冷库，并根据复制到上述冷库的上述热库中的相关数据，在上述热库中删除满足预设删除条件的数据。
S305：获取数据查询请求，并基于该数据查询请求，从上述热库中查询数据。
S306：根据上述热库返回的值的类型，确定是否在上述冷库进行补偿查询。
这里，如果上述热库返回的值的类型为单条数据，则上述处理装置可以判断上述热库返回的值是否为空，如果上述热库返回的值为空，则确定在上述冷库进行补偿查询。如果热库返回的值的类型为多条数据(如列表)，则上述处理装置可以确定在上述冷库进行补偿查询。
在本申请实施例中，如果上述热库返回的值的类型是单条数据，则上述处理装置可以判断返回值是否为空，如果不为空直接基于热库中查询数据返回，如果为空则表示从热库中没有查到数据，需要去冷库做补偿查询，根据上述数据查询请求拼接冷库数据查询接口的入参，调用冷库数据查询接口得到结果后，基于该结果确定上述数据查询请求对应的目标数据。
如果上述热库返回的值的类型是多条数据，则上述处理装置可以判断返回值是否为空，如果为空，则根据上述数据查询请求拼接冷库数据查询接口的入参，基于冷库数据查询结果，确定上述数据查询请求对应的目标数据；如果不为空，调用冷库查询接口查询到冷库数据后，基于查询到的冷库数据和上述热库返回的值，确定上述数据查询请求对应的目标数据。
S307：若在上述冷库进行补偿查询，则根据从上述冷库的补偿查询结果，确定上述数据查询请求对应的目标数据。
示例性的，如果上述热库返回的值的类型为多条数据，上述热库返回的值不为空，则上述处理装置可以将上述热库返回的值与上述冷库的补偿查询结果进行比较，如果比较结果为上述热库返回的值和上述冷库的补偿查询结果有重复的，则对上述热库返回的值和上述冷库的补偿查询结果，进行去重处理，并基于去重处理后的上述热库返回的值和上述冷库的补偿查询结果，获得上述数据查询请求对应的目标数据。例如上述热库返回的值为hotList，其中数据有id为3，4，5五条数据，上述冷库的补偿查询结果为coldList有id为1，2，3，4四条数据，则重复数据3，4，去除coldList中的3，4，并将1，2拼接到hotList，获得上述数据查询请求对应的目标数据。
本申请实施例中，上述处理装置还提供数据查询功能，如接入冷库查询组件，获取数据查询请求，并基于该数据查询请求，拼接冷热数据，确定该数据查询请求对应的目标数据，可以用无业务系统代码侵入的方式完成冷库的查询，提供了冷库查询的通用解决方案。上述处理装置还可以通过对热库中的待处理数据表，创建查询并发线程，进而，基于该查询并发线程，确定上述待处理数据表中每一数据表的相关配置，并根据该相关配置，将上述热库中的相关数据复制到冷库，并在上述热库中删除满足预设删除条件的数据，解决现有在进行冷库和热库分离时，数据迁移需要改造业务系统代码，需要各个业务各自定制，导致工程周期长、人工成本高的问题。
这里，如图4所示，本申请实施例以热库A、冷库A、热库B和冷库B为例，提供一种数据存储的示意图，上述处理装置提供数据迁移、数据删除、数据查询等功能，其中，上述处理装置还具有定时任务配置、基础配置和规则配置功能。具体的，上述处理装置基于上述定时任务配置表提供定时任务配置功能，基于上述基础配置表提供基础配置功能，基于上述规则配置表提供规则配置功能。
上述处理装置首先基于上述定时任务配置、基础配置和规则配置功能进行信息配置，进而，基于配置的信息，为热库A(或热库B)中的待处理数据表创建查询并发线程，然后基于该查询并发线程，确定上述待处理数据表中每一数据表的相关配置，根据该相关配置提供上述数据迁移功能，例如将上述热库A(或热库B)中的相关数据复制到冷库A(或冷库B)，并基于复制到冷库A(或冷库B)中的数据提供上述数据删除功能，例如在上述热库A(或热库B)中删除满足预设删除条件的数据。
上述处理装置可以接入冷库查询组件，获取数据查询请求(如系统A或系统B需要查询数据)，并基于该数据查询请求，拼接冷热数据，确定该数据查询请求对应的目标数据，提供数据查询功能。
其中，无须大量的改造业务系统代码，因此只需投入很少的人力成本就可以完成冷热库分离。而且，本申请实施例可以被多个业务接入，具有通用能力，更进一步的提高效率，减少人力成本。另外，本申请实施例可以在数据迁移过程中随时调整相关数据，以保证数据迁移不会影响业务系统正常的服务能力，可以做到平滑迁移。本申请实施例还提供数据查询功能，可以用无业务系统代码侵入的方式完成冷库的查询，提供了冷库查询的通用解决方案。
对应于上文实施例的数据存储方法，图5为本申请实施例提供的数据存储装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。图5为本申请实施例提供的一种数据存储装置的结构示意图，该数据存储装置50包括：线程创建模块501、配置确定模块502、数据获取模块503以及存储处理模块504。这里的数据存储装置可以是上述处理装置本身，或者是实现处理装置的功能的芯片或者集成电路。这里需要说明的是，线程创建模块、配置确定模块、数据获取模块以及存储处理模块的划分只是一种逻辑功能的划分，物理上两者可以是集成的，也可以是独立的。
其中，线程创建模块501，用于根据热库中的待处理数据表，创建查询并发线程，其中，所述待处理数据表中的每一个数据表分别对应所述查询并发线程中的一个线程。
配置确定模块502，用于基于所述查询并发线程，确定所述待处理数据表中每一数据表的相关配置。
数据获取模块503，用于根据所述待处理数据表中每一数据表的相关配置，从所述待处理数据表中获取满足预设迁移条件的目标数据表。
存储处理模块504，用于基于所述目标数据表，将所述热库中的相关数据复制到冷库，并根据复制到所述冷库的所述热库中的相关数据，在所述热库中删除满足预设删除条件的数据。
在一种可能的实现方式中，所述存储处理模块504，具体用于：
获取所述目标数据表中的各个迁移基准字段，所述各个迁移基准字段中的每一迁移基准字段用于唯一标识所述目标数据表中的一条数据；
在所述冷库中查询所述各个迁移基准字段对应的数据；
根据查询结果，将所述热库中的相关数据复制到所述冷库。
在一种可能的实现方式中，所述存储处理模块504，具体用于：
若所述冷库中没有迁移基准字段i对应的数据，则将所述迁移基准字段i对应的数据复制到所述冷库，其中，所述迁移基准字段i为所述各个迁移基准字段中的任意一个迁移基准字段，i＝1,…,n，n等于所述各个迁移基准字段的数目；
若所述冷库中有所述迁移基准字段i对应的数据，则将所述冷库中所述迁移基准字段i对应的数据与所述热库中所述迁移基准字段i对应的数据进行比较，若比较不同，则基于所述热库中所述迁移基准字段i对应的数据，更新所述冷库中所述迁移基准字段i对应的数据。
在一种可能的实现方式中，所述线程创建模块501，具体用于：
根据所述待处理数据表，为所述待处理数据表中的每一个数据表创建查询锁和游标值，其中，所述查询锁包括锁标识和锁状态，所述游标值包括由key-value组成的映射表，key表示游标字段，value表示当前的游标值；
根据所述待处理数据表中的每一个数据表创建的查询锁和游标值，以及预设分片大小和预设分片游标字段，创建所述查询并发线程，其中，所述预设分片大小表示每次读取数据条数，所述预设分片游标字段用于标识所述查询并发线程中每个线程读取的数据。
本申请实施例提供的装置，可用于执行上述图2所述方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。
图6为本申请实施例提供的另一种数据存储装置的结构示意图，在图5所示实施例基础上，上述数据存储装置50还包括：数据查询模块505。
其中，在一种可能的实现方式中，数据查询模块505，用于在所述存储处理模块504基于所述目标数据表，将所述热库中的相关数据复制到冷库，并根据复制到所述冷库的所述热库中的相关数据，在所述热库中删除满足预设删除条件的数据之后，获取数据查询请求，并基于所述数据查询请求，从所述热库中查询数据；
根据所述热库返回的值的类型，确定是否在所述冷库进行补偿查询；
若在所述冷库进行补偿查询，则根据从所述冷库的补偿查询结果，确定所述数据查询请求对应的目标数据。
在一种可能的实现方式中，所述数据查询模块505，具体用于：
若所述热库返回的值的类型为单条数据，则判断所述热库返回的值是否为空，若所述热库返回的值为空，则确定在所述冷库进行补偿查询；
若所述热库返回的值的类型为多条数据，则确定在所述冷库进行补偿查询。
在一种可能的实现方式中，所述数据查询模块505，具体用于：
若所述热库返回的值的类型为多条数据，所述热库返回的值不为空，则将所述热库返回的值与所述冷库的补偿查询结果进行比较；
若比较结果为所述热库返回的值和所述冷库的补偿查询结果有重复的，则对所述热库返回的值和所述冷库的补偿查询结果，进行去重处理；
基于去重处理后的所述热库返回的值和所述冷库的补偿查询结果，获得所述数据查询请求对应的目标数据。
本申请实施例提供的装置，可用于执行上述图3所示方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。
可选地，图7A和7B示意性地提供本申请所述数据存储系统的一种可能的基本硬件架构示意图。
参见图7A和7B，数据存储系统700包括至少一个处理器701以及通信接口703。进一步可选的，还可以包括存储器702和总线704。
其中，数据存储系统700中，处理器701的数量可以是一个或多个，图7A和7B仅示意了其中一个处理器701。可选地，处理器701，可以是中央处理器(central processingunit，CPU)、图形处理器(graphics processing unit，GPU)或者数字信号处理器(digitalsignal processor，DSP)。如果数据存储系统700具有多个处理器701，多个处理器701的类型可以不同，或者可以相同。可选地，数据存储系统700的多个处理器701还可以集成为多核处理器。
存储器702存储计算机指令和数据；存储器702可以存储实现本申请提供的上述数据存储方法所需的计算机指令和数据，例如，存储器702存储用于实现上述数据存储方法的步骤的指令。存储器702可以是以下存储介质的任一种或任一种组合：非易失性存储器(例如只读存储器(ROM)、固态硬盘(SSD)、硬盘(HDD)、光盘)，易失性存储器。
通信接口703可以为所述至少一个处理器提供信息输入/输出。也可以包括以下器件的任一种或任一种组合：网络接口(例如以太网接口)、无线网卡等具有网络接入功能的器件。
可选的，通信接口703还可以用于数据存储系统700与其它计算设备或者终端进行数据通信。
进一步可选的，图7A和7B用一条粗线表示总线704。总线704可以将处理器701与存储器702和通信接口703连接。这样，通过总线704，处理器701可以访问存储器702，还可以利用通信接口703与其它计算设备或者终端进行数据交互。
在本申请中，数据存储系统700执行存储器702中的计算机指令，使得数据存储系统700实现本申请提供的上述数据存储方法，或者使得数据存储系统700部署上述的数据存储装置。
从逻辑功能划分来看，示例性的，如图7A所示，存储器702中可以包括线程创建模块501、配置确定模块502、数据获取模块503以及存储处理模块504。这里的包括仅仅涉及存储器中所存储的指令被执行时可以分别实现线程创建模块、配置确定模块、数据获取模块以及存储处理模块的功能，而不限定是物理上的结构。
示例性的，如图7B所示，存储器702中可以包括数据查询模块505。这里的包括仅仅涉及存储器中所存储的指令被执行时可以实现数据查询模块的功能，而不限定是物理上的结构。
另外，上述的数据存储系统除了可以像上述图7A和7B通过软件实现外，也可以作为硬件模块，或者作为电路单元，通过硬件实现。
本申请提供一种计算机可读存储介质，所述计算机程序产品包括计算机指令，所述计算机指令指示计算设备执行本申请提供的上述数据存储方法。
本申请提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行上述数据存储方法。
本申请提供一种芯片，包括至少一个处理器和通信接口，所述通信接口为所述至少一个处理器提供信息输入和/或输出。进一步，所述芯片还可以包含至少一个存储器，所述存储器用于存储计算机指令。所述至少一个处理器用于调用并运行该计算机指令，以执行本申请提供的上述数据存储方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

Claims (10)

1.一种数据存储方法，其特征在于，包括：
根据热库中的待处理数据表，创建查询并发线程，其中，所述待处理数据表中的每一个数据表分别对应所述查询并发线程中的一个线程；
基于所述查询并发线程，确定所述待处理数据表中每一数据表的相关配置；
根据所述待处理数据表中每一数据表的相关配置，从所述待处理数据表中获取满足预设迁移条件的目标数据表；
基于所述目标数据表，将所述热库中的相关数据复制到冷库，并根据复制到所述冷库的所述热库中的相关数据，在所述热库中删除满足预设删除条件的数据。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标数据表，将所述热库中的相关数据复制到冷库，包括：
获取所述目标数据表中的各个迁移基准字段，所述各个迁移基准字段中的每一迁移基准字段用于唯一标识所述目标数据表中的一条数据；
在所述冷库中查询所述各个迁移基准字段对应的数据；
根据查询结果，将所述热库中的相关数据复制到所述冷库。
3.根据权利要求2所述的方法，其特征在于，所述根据查询结果，将所述热库中的相关数据复制到所述冷库，包括：
若所述冷库中没有迁移基准字段i对应的数据，则将所述迁移基准字段i对应的数据复制到所述冷库，其中，所述迁移基准字段i为所述各个迁移基准字段中的任意一个迁移基准字段，i＝1,…,n，n等于所述各个迁移基准字段的数目；
若所述冷库中有所述迁移基准字段i对应的数据，则将所述冷库中所述迁移基准字段i对应的数据与所述热库中所述迁移基准字段i对应的数据进行比较，若比较不同，则基于所述热库中所述迁移基准字段i对应的数据，更新所述冷库中所述迁移基准字段i对应的数据。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据热库中的待处理数据表，创建查询并发线程，包括：
根据所述待处理数据表，为所述待处理数据表中的每一个数据表创建查询锁和游标值，其中，所述查询锁包括锁标识和锁状态，所述游标值包括由关键字-值组成的映射表，关键字表示游标字段，值表示当前的游标值；
根据所述待处理数据表中的每一个数据表创建的查询锁和游标值，以及预设分片大小和预设分片游标字段，创建所述查询并发线程，其中，所述预设分片大小表示每次读取数据条数，所述预设分片游标字段用于标识所述查询并发线程中每个线程读取的数据。
5.根据权利要求1至3中任一项所述的方法，其特征在于，在所述基于所述目标数据表，将所述热库中的相关数据复制到冷库，并根据复制到所述冷库的所述热库中的相关数据，在所述热库中删除满足预设删除条件的数据之后，还包括：
获取数据查询请求，并基于所述数据查询请求，从所述热库中查询数据；
根据所述热库返回的值的类型，确定是否在所述冷库进行补偿查询；
若在所述冷库进行补偿查询，则根据从所述冷库的补偿查询结果，确定所述数据查询请求对应的目标数据。
6.根据权利要求5所述的方法，其特征在于，所述根据所述热库返回的值的类型，确定是否在所述冷库进行补偿查询，包括：
若所述热库返回的值的类型为单条数据，则判断所述热库返回的值是否为空，若所述热库返回的值为空，则确定在所述冷库进行补偿查询；
若所述热库返回的值的类型为多条数据，则确定在所述冷库进行补偿查询。
7.根据权利要求6所述的方法，其特征在于，在所述根据从所述冷库的补偿查询结果，确定所述数据查询请求对应的目标数据之前，还包括：
若所述热库返回的值的类型为多条数据，所述热库返回的值不为空，则将所述热库返回的值与所述冷库的补偿查询结果进行比较；
所述根据从所述冷库的补偿查询结果，确定所述数据查询请求对应的目标数据，包括：
若比较结果为所述热库返回的值和所述冷库的补偿查询结果有重复的，则对所述热库返回的值和所述冷库的补偿查询结果，进行去重处理；
基于去重处理后的所述热库返回的值和所述冷库的补偿查询结果，获得所述数据查询请求对应的目标数据。
8.一种数据存储装置，其特征在于，包括：
线程创建模块，用于根据热库中的待处理数据表，创建查询并发线程，其中，所述待处理数据表中的每一个数据表分别对应所述查询并发线程中的一个线程；
配置确定模块，用于基于所述查询并发线程，确定所述待处理数据表中每一数据表的相关配置；
数据获取模块，用于根据所述待处理数据表中每一数据表的相关配置，从所述待处理数据表中获取满足预设迁移条件的目标数据表；
存储处理模块，用于基于所述目标数据表，将所述热库中的相关数据复制到冷库，并根据复制到所述冷库的所述热库中的相关数据，在所述热库中删除满足预设删除条件的数据。
9.一种数据存储系统，其特征在于，包括：
处理器；
存储器；以及
计算机程序；
其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如权利要求1-7任一项所述的方法的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行权利要求1-7任一项所述的方法。
CN202210039175.8A 2022-01-13 2022-01-13 数据存储方法、装置及存储介质 Pending CN114385657A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210039175.8A CN114385657A (zh) 2022-01-13 2022-01-13 数据存储方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210039175.8A CN114385657A (zh) 2022-01-13 2022-01-13 数据存储方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114385657A true CN114385657A (zh) 2022-04-22

Family

ID=81202351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210039175.8A Pending CN114385657A (zh) 2022-01-13 2022-01-13 数据存储方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114385657A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115544096A (zh) * 2022-11-22 2022-12-30 深圳市东信时代信息技术有限公司 数据查询方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999537A (zh) * 2011-09-19 2013-03-27 阿里巴巴集团控股有限公司 一种数据迁移系统和方法
CN104536994A (zh) * 2014-12-11 2015-04-22 北京京东尚科信息技术有限公司 通用的数据迁移方法和装置
CN110989937A (zh) * 2019-12-06 2020-04-10 浪潮电子信息产业股份有限公司 一种数据存储方法、装置、设备及计算机可读存储介质
CN113051271A (zh) * 2021-03-26 2021-06-29 郑州阿帕斯数云信息科技有限公司 一种冷热数据分离方法、装置及其设备
CN113448939A (zh) * 2020-03-24 2021-09-28 北京有限元科技有限公司 数据归档存储的方法、装置以及存储介质
CN113742318A (zh) * 2021-09-14 2021-12-03 央视国际网络无锡有限公司 一种关系型数据库之间大数据迁移的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999537A (zh) * 2011-09-19 2013-03-27 阿里巴巴集团控股有限公司 一种数据迁移系统和方法
CN104536994A (zh) * 2014-12-11 2015-04-22 北京京东尚科信息技术有限公司 通用的数据迁移方法和装置
CN110989937A (zh) * 2019-12-06 2020-04-10 浪潮电子信息产业股份有限公司 一种数据存储方法、装置、设备及计算机可读存储介质
CN113448939A (zh) * 2020-03-24 2021-09-28 北京有限元科技有限公司 数据归档存储的方法、装置以及存储介质
CN113051271A (zh) * 2021-03-26 2021-06-29 郑州阿帕斯数云信息科技有限公司 一种冷热数据分离方法、装置及其设备
CN113742318A (zh) * 2021-09-14 2021-12-03 央视国际网络无锡有限公司 一种关系型数据库之间大数据迁移的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115544096A (zh) * 2022-11-22 2022-12-30 深圳市东信时代信息技术有限公司 数据查询方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US11288267B2 (en) Pluggable storage system for distributed file systems
US11119678B2 (en) Transactional operations in multi-master distributed data management systems
KR102141234B1 (ko) 분산된 데이터 스토어 내의 버젼형 계층 데이터 구조
WO2019109854A1 (zh) 分布式数据库数据处理方法、装置、存储介质及电子装置
US11151081B1 (en) Data tiering service with cold tier indexing
CN112685223B (zh) 基于文件类型的文件备份
US10262024B1 (en) Providing consistent access to data objects transcending storage limitations in a non-relational data store
CN111651424B (zh) 一种数据处理方法、装置、数据节点及存储介质
CN109684270A (zh) 数据库归档方法、装置、系统、设备及可读存储介质
US7908302B1 (en) In-place splitting and merging of files
US10067943B2 (en) Reducing read operations and branches in file system policy checks
CN113296891B (zh) 基于平台的多场景知识图谱处理方法及装置
US10783073B2 (en) Chronologically ordered out-of-place update key-value storage system
WO2020192663A1 (zh) 一种数据管理方法及相关设备
JP2021529379A (ja) 検索サーバの集中型ストレージ
US10467190B2 (en) Tracking access pattern of inodes and pre-fetching inodes
JP2019537097A (ja) Ｉノードのアクセスパターンの追跡及びｉノードの先取り
US11429311B1 (en) Method and system for managing requests in a distributed system
CN114385657A (zh) 数据存储方法、装置及存储介质
WO2024011932A1 (zh) 一种文件管理方法及相关设备
CN115858496A (zh) 一种数据迁移的方法和装置
CN115878587A (zh) 实例创建方法、装置、电子设备及可读存储介质
US11886439B1 (en) Asynchronous change data capture for direct external transmission
CN114416655A (zh) Hive文件处理方法及装置、计算机设备与存储介质
CN111886590A (zh) 多进程环境中的索引管理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination