CN106708819A - 一种数据缓存的预热方法及其装置 - Google Patents

Abstract

本申请提供一种数据缓存的预热方法及其装置，所述方法包括：接收用户请求；根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例；按照所述复制比例，将数据源中用户请求对应的数据复制到缓存中。本申请能够在高性能、高并发的情况下完成缓存预热工作，且无需人工干预，对系统负载无影响。

Description

一种数据缓存的预热方法及其装置

技术领域

本申请涉及信息技术领域，尤其涉及一种数据缓存的预热方法及其装置。

背景技术

在数据处理过程中，通常会存在访问量大，用户并发访问高的数据。为了减小系统响应时间，缓解系统及数据库压力，对于数据结果采用缓存的方式来提高系统性能，减少系统压力。在数据请求之前将数据写入缓存，被称之为缓存预热。但是缓存预热通常需要人工干预模拟生成用户请求对应的数据并加载到缓存中供用户使用，需要实施的工作量比较大。。

发明内容

有鉴于此，本申请提供一种数据缓存的预热方法及其装置，其能够在高性能、高并发的情况下完成缓存预热工作，且无需人工干预，对系统负载无影响。

本申请提供一种一种数据缓存的预热方法，所述方法包括：

接收用户请求；

根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例；

按照所述复制比例，将数据源中用户请求对应的数据复制到缓存中。

在本申请一具体实现中，所述流量复制控制信号为根据用户请求对应的数据量获得。

在本申请一具体实现中，所述根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例为：

接收第一流量复制控制信号和第二流量复制控制信号，所述第一流量复制控制信号对应第一数据量，所述第二流量复制信号对应第二数据量，第一数据量大于第二数据量时，第一流量复制信号的复制比例高于第二流量复制信号的复制比例。

在本申请一具体实现中，所述根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例为：

根据接收的流量复制控制信号，逐渐线性的调整对所述用户请求对应的数据的复制比例。

在本申请一具体实现中，所述根据接收的流量复制控制信号，逐渐线性的调整对所述用户请求对应的数据的复制比例为：

根据接收的流量复制控制信号，逐渐线性的提高对所述用户请求对应的数据的复制比例。

在本申请一具体实现中，所述按照所述复制比例，将数据源中用户请求对应的数据复制到缓存中为：

从数据源中获取所述用户请求对应的数据，将符合复制比例的所述用户请求对应的数据复制到缓存中；或者，

从数据源中获取符合复制比例的所述用户请求对应的数据，并将所获取的数据复制到缓存中。

在本申请一具体实现中，所述方法还包括：

如查询缓存中并未存储用户请求对应的数据，从数据源加载用户请求对应的数据，并将所述用户请求对应的数据复制到缓存。

对应于上述方法，本申请还提供一种数据缓存的预热装置，所述装置包括：

请求接收模块，用于接收用户请求；

比例确定模块，用于根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例；

数据复制模块，用于按照所述复制比例，将数据源中用户请求对应的数据复制到缓存中。

在本申请一具体实现中，所述流量复制控制信号为根据用户请求对应的数据量获得。

在本申请一具体实现中，所述比例确定模块具体用于接收第一流量复制控制信号和第二流量复制控制信号，所述第一流量复制控制信号对应第一数据量，所述第二流量复制信号对应第二数据量，第一数据量大于第二数据量时，第一流量复制信号的复制比例高于第二流量复制信号的复制比例。

在本申请一具体实现中，所述比例确定模块具体用于根据接收的流量复制控制信号，逐渐线性的调整对所述用户请求对应的数据的复制比例。

在本申请一具体实现中，所述比例确定模块具体用于根据接收的流量复制控制信号，逐渐线性的提高对所述用户请求对应的数据的复制比例。

在本申请一具体实现中，所述数据复制模块具体用于从数据源中获取所述用户请求对应的数据，将符合复制比例的所述用户请求对应的数据复制到缓存中；或者，

从数据源中获取符合复制比例的所述用户请求对应的数据，并将所获取的数据复制到缓存中。

在本申请一具体实现中，所述装置还包括：

数据查询模块，用于如查询缓存中并未存储用户请求对应的数据，从数据源加载用户请求对应的数据，并将所述用户请求对应的数据复制到缓存。

由以上技术方案可见，本申请接收用户请求，并从数据源中获得用户请求对应的数据。进而根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例，按照所述复制比例，将数据源中用户请求对应的数据复制到缓存中。因此，本申请在缓存预热过程中，不需要人工干预模拟生成用户请求的数据，对系统当前负载无影响。本申请缓存预热是根据用户请求对应的数据确定将哪些数据复制到缓存中，提高了预先写入的数据包含用户请求对应的数据的概率，进而提高了缓存的命中率，改善了缓存效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是数据缓存的预热方法及其装置所应用分布式服务器的硬件结构图；

图2是本申请数据缓存的预热方法一实施例的流程图；

图3是本申请数据缓存的预热方法另一实施例的流程图；

图4是本申请数据缓存的预热装置一实施例的结构图；

图5是本申请数据缓存的预热装置另一实施例的结构图；

图6是本申请数据缓存的预热一应用场景的示意图。

具体实施方式

本申请接收用户请求，并从数据源中获得用户请求对应的数据。进而根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例，按照所述复制比例，将数据源中用户请求对应的数据复制到缓存中。因此，本申请在缓存预热过程中，不需要人工干预模拟生成用户请求的数据，对系统当前负载无影响。本申请缓存预热是根据用户请求对应的数据确定将哪些数据复制到缓存中，提高了预先写入的数据包含用户请求对应的数据的概率，进而提高了缓存的命中率，改善了缓存效果。

当然，实施本申请的任一技术方案必不一定需要同时达到以上所述的所有优点。

为了使本领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请提供一种数据缓存的预热方法，应用于底层数据系统。本申请应用于分布式服务器，参看图1，分布式服务器1的硬件结构包括控制器11、存储器12以及其他硬件13。

参看图2，本申请所述方法2包括：

S1、接收用户请求。

由于缓存工作机制是接收用户请求后，先从缓存中获取用户请求对应的数据。如果无法获取到用户请求对应的数据，则从数据源的数据库中获取用户请求对应的数据。因此，对于缓存预热而言，如果缓存中预先写入的数据包含用户请求对应的数据的概率较低，则表明缓存的命中率较低，缓存效果较差。

本申请接收用户请求，因此，本申请在缓存预热过程中，不需要人工干预，模拟生成用户请求的数据，对系统当前负载无影响。

S2、根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例。

为了避免缓存预热中数据源的数据库以及系统压力过大，在本申请一具体实现中，所述流量复制控制信号为根据用户请求对应的数据量获得。本申请根据用户请求对应的数据量的大小，产生流量复制控制信号，确定对所述用户请求对应的数据的复制比例。所述根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例为：接收第一流量复制控制信号和第二流量复制控制信号，所述第一流量复制控制信号对应第一数据量，所述第二流量复制信号对应第二数据量，第一数据量大于第二数据量时，第一流量复制信号的复制比例高于第二流量复制信号的复制比例。即，用户请求对应的数据量大，流量复制控制信号确定对所述用户请求对应的数据的复制比例高；用户请求对应的数据量小，流量复制控制信号确定对所述用户请求对应的数据的复制比例低。

本申请缓存预热是根据用户请求对应的数据确定将哪些数据复制到缓存中，提高了预先写入的数据包含用户请求对应的数据的概率，进而提高了缓存的命中率，改善了缓存效果。

在本申请另一具体实施例中，为了保证缓存预热更加平滑，所述根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例为：

根据接收的流量复制控制信号，逐渐线性的调整对所述用户请求对应的数据的复制比例。

由于缓存在刚开始预热时，数据源的数据库压力及系统压力极大，在严重的情况下导致系统崩溃，在本申请再一具体实施例中，所述根据接收的流量复制控制信号，逐渐线性的调整对所述用户请求对应的数据的复制比例为：

根据接收的流量复制控制信号，逐渐线性的提高对所述用户请求对应的数据的复制比例。

因此，本申请逐渐线性的提高将数据源的数据库中用户请求对应的数据的复制比例，避免了缓存预热初，数据源的数据库压力及系统压力过大造成的系统崩溃。

S3、按照所述复制比例，将数据源中用户请求对应的数据复制到缓存中。

本申请按照所述逐渐线性提高的所述用户请求对应的数据的复制比例，将数据源中用户请求对应的数据复制到缓存中。

在本申请一具体实现中，本申请从数据源中获取所述用户请求对应的数据，将符合复制比例的所述用户请求对应的数据复制到缓存中。

在本申请另一具体实现中，本申请从数据源中获取符合复制比例的所述用户请求对应的数据，并将所获取的数据复制到缓存中。

因此，本申请能够在高性能、高并发的情况下完成缓存预热工作，其对系统的原有性能无影响。本申请能够实现不增大数据源压力，且平滑、安全、高命中的缓存预热。

参看图3，所述方法3包括上述步骤S1——S3外，还包括步骤：

S4、如查询缓存中并未存储用户请求对应的数据，从数据源加载用户请求对应的数据，并将所述用户请求对应的数据复制到缓存。

在缓存处理机制中，如果缓存中无法获取到用户请求对应的数据，则从数据源的数据库中加载用户请求对应的数据。为了保证之后接收到相同的用户请求时，缓存中可以获取到用户请求对应的数据，则将所述用户请求对应的数据复制到缓存。

对应于上述方法，本申请还提供一种数据缓存的预热的装置，本申请应用于分布式服务器，参看图1，分布式服务器1的硬件结构包括控制器11、存储器12以及其他硬件13。

参看图4，本申请所述装置4包括：

请求接收模块41，用于接收用户请求。

比例确定模块42，用于根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例。

数据复制模块43，用于按照所述复制比例，将数据源中用户请求对应的数据复制到缓存中。

由于缓存工作机制是接收用户请求后，先从缓存中获取用户请求对应的数据。如果无法获取到用户请求对应的数据，则从数据源的数据库中获取用户请求对应的数据。因此，对于缓存预热而言，如果缓存中预先写入的数据包含用户请求对应的数据的概率较低，则表明缓存的命中率较低，缓存效果较差。

本申请接收用户请求，因此，本申请在缓存预热过程中，不需要人工干预模拟生成用户请求的数据，对系统当前负载无影响。

为了避免缓存预热中数据源的数据库以及系统压力过大，在本申请一具体实现中，所述流量复制控制信号为根据用户请求对应的数据量获得。本申请根据用户请求对应的数据量的大小，产生流量复制控制信号，确定对所述用户请求对应的数据的复制比例。所述比例确定模块42具体用于接收第一流量复制控制信号和第二流量复制控制信号，所述第一流量复制控制信号对应第一数据量，所述第二流量复制信号对应第二数据量，第一数据量大于第二数据量时，第一流量复制信号的复制比例高于第二流量复制信号的复制比例。即，用户请求对应的数据量大，流量复制控制信号确定对所述用户请求对应的数据的复制比例高；用户请求对应的数据量小，流量复制控制信号确定对所述用户请求对应的数据的复制比例低。

本申请缓存预热是根据用户请求对应的数据确定将哪些数据复制到缓存中，提高了预先写入的数据包含用户请求对应的数据的概率，进而提高了缓存的命中率，改善了缓存效果。

在本申请另一具体实施例中，为了保证缓存预热更加平滑，所述比例确定模块42具体用于根据接收的流量复制控制信号，逐渐线性的调整对所述用户请求对应的数据的复制比例。

由于缓存在刚开始预热时，数据源的数据库压力及系统压力极大，在严重的情况下导致系统崩溃，在本申请再一具体实施例中，所述比例确定模块42具体用于根据接收的流量复制控制信号，逐渐线性的提高对所述用户请求对应的数据的复制比例。

因此，本申请逐渐线性的提高将数据源的数据库中用户请求对应的数据的复制比例，避免了缓存预热初，数据源的数据库压力及系统压力过大造成的系统崩溃。

本申请按照所述逐渐线性提高的所述用户请求对应的数据的复制比例，将数据源中用户请求对应的数据复制到缓存中。

在本申请一具体实现中，本申请数据复制模块43具体用于从数据源中获取所述用户请求对应的数据，将符合复制比例的所述用户请求对应的数据复制到缓存中。

在本申请另一具体实现中，本申请数据复制模块43具体用于从数据源中获取符合复制比例的所述用户请求对应的数据，并将所获取的数据复制到缓存中。

因此，本申请能够在高性能、高并发的情况下完成缓存预热工作，其对系统的原有性能无影响。本申请能够实现不增大数据源压力，且平滑、安全、高命中的缓存预热。

参看图5，所述装置5包括：请求接收模块41、比例确定模块42、数据复制模块43，还包括：

数据查询模块44，用于当查询缓存中并未存储用户请求对应的数据，从数据源加载用户请求对应的数据，并将所述用户请求对应的数据复制到缓存。

在缓存处理机制中，如果缓存中无法获取到用户请求对应的数据，则从数据源的数据库中加载用户请求对应的数据。为了保证之后接收到相同的用户请求时，缓存中可以获取到用户请求对应的数据，则将所述用户请求对应的数据复制到缓存。

下面通过本申请实施例的一具体应用场景来进一步说明本申请实现。

参看图6，数据处理中的缓存预热系统，包括缓存61，数据源的数据库62，其具体处理流程包括：

接收用户请求，并从数据源的数据库61中获得用户请求对应的数据。

本申请接收用户请求，从数据源中获得用户请求对应的数据。因此，本申请在缓存预热过程中，不需要人工干预模拟生成用户请求的数据，对系统当前负载无影响。并且，本申请缓存预热是根据用户请求对应的数据确定将哪些数据复制到缓存中，提高了预先写入的数据包含用户请求对应的数据的概率，进而提高了缓存的命中率，改善了缓存效果。

系统根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例。

所述流量复制控制信号根据接收的流量复制控制信号，逐渐线性的提高对所述用户请求对应的数据的复制比例。

因此，本申请逐渐线性的提高将数据源的数据库中用户请求对应的数据的复制比例，避免了缓存预热初，数据源的数据库压力及系统压力过大造成的系统崩溃。

按照所述复制比例，将数据源中用户请求对应的数据复制到缓存中。

因此，本申请能够在高性能、高并发的情况下完成缓存预热工作，其对系统的原有性能无影响。本申请能够实现不增大数据源压力，且平滑、安全、高命中的缓存预热。

本申请的实施例所提供的装置可通过计算机程序实现。本领域技术人员应该能够理解，上述的单元以及模块划分方式仅是众多划分方式中的一种，如果划分为其他单元或模块或不划分块，只要信息对象的具有上述功能，都应该在本申请的保护范围之内。

本领域的技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (14)

1.一种数据缓存的预热方法，其特征在于，所述方法包括：

接收用户请求；

根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例；

按照所述复制比例，将数据源中用户请求对应的数据复制到缓存中。

2.根据权利要求1所述的方法，其特征在于，所述流量复制控制信号为根据用户请求对应的数据量获得。

3.根据权利要求2所述的方法，其特征在于，所述根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例为：

接收第一流量复制控制信号和第二流量复制控制信号，所述第一流量复制控制信号对应第一数据量，所述第二流量复制信号对应第二数据量，第一数据量大于第二数据量时，第一流量复制信号的复制比例高于第二流量复制信号的复制比例。

4.根据权利要求3所述的方法，其特征在于，所述根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例为：

根据接收的流量复制控制信号，逐渐线性的调整对所述用户请求对应的数据的复制比例。

5.根据权利要求4所述的方法，其特征在于，所述根据接收的流量复制控制信号，逐渐线性的调整对所述用户请求对应的数据的复制比例为：

根据接收的流量复制控制信号，逐渐线性的提高对所述用户请求对应的数据的复制比例。

6.根据权利要求1所述的方法，其特征在于，所述按照所述复制比例，将数据源中用户请求对应的数据复制到缓存中为：

从数据源中获取所述用户请求对应的数据，将符合复制比例的所述用户请求对应的数据复制到缓存中；或者，

从数据源中获取符合复制比例的所述用户请求对应的数据，并将所获取的数据复制到缓存中。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如查询缓存中并未存储用户请求对应的数据，从数据源加载用户请求对应的数据，并将所述用户请求对应的数据复制到缓存。

8.一种数据缓存的预热装置，其特征在于，所述装置包括：

请求接收模块，用于接收用户请求；

比例确定模块，用于根据接收的流量复制控制信号，确定对所述用户请求对应的数据的复制比例；

数据复制模块，用于按照所述复制比例，将数据源中用户请求对应的数据复制到缓存中。

9.根据权利要求8所述的装置，其特征在于，所述流量复制控制信号为根据用户请求对应的数据量获得。

10.根据权利要求9所述的装置，其特征在于，所述比例确定模块具体用于接收第一流量复制控制信号和第二流量复制控制信号，所述第一流量复制控制信号对应第一数据量，所述第二流量复制信号对应第二数据量，第一数据量大于第二数据量时，第一流量复制信号的复制比例高于第二流量复制信号的复制比例。

11.根据权利要求10所述的装置，其特征在于，所述比例确定模块具体用于根据接收的流量复制控制信号，逐渐线性的调整对所述用户请求对应的数据的复制比例。

12.根据权利要求11所述的装置，其特征在于，所述比例确定模块具体用于根据接收的流量复制控制信号，逐渐线性的提高对所述用户请求对应的数据的复制比例。

13.根据权利要求8所述的装置，其特征在于，所述数据复制模块具体用于从数据源中获取所述用户请求对应的数据，将符合复制比例的所述用户请求对应的数据复制到缓存中；或者，

从数据源中获取符合复制比例的所述用户请求对应的数据，并将所获取的数据复制到缓存中。

14.根据权利要求9所述的装置，其特征在于，所述装置还包括：

数据查询模块，用于如查询缓存中并未存储用户请求对应的数据，从数据源加载用户请求对应的数据，并将所述用户请求对应的数据复制到缓存。