CN114374652B - 热磁存储和蓝光存储之间的数据传输限速方法及装置 - Google Patents

Abstract

本发明涉及一种热磁存储和蓝光存储之间的数据传输限速方法及装置，所述方法包括确定租户的任务等级，根据任务等级设置限速配置项；限速配置项用于限制带宽速度；当需要数据传输时，根据限速配置项从令牌桶中获取令牌；其中，令牌桶以预设的时间间隔填充预设个数的令牌，每个令牌代表允许传输预设字节数的数据；当获取到足够的令牌时，开始数据传输。本发明的目的在于解决对租户级别和任务等级的限速，当用户传输对象时，会根据租户获取到的限速速值进行传输，传输速度不会超过这个限速速值，租户在创建归档任时，可以配置归档任务的权重，目前为用户提供了高中低三个权重选项，权重高的任务，传输速度就快一些。

Description

热磁存储和蓝光存储之间的数据传输限速方法及装置

技术领域

本发明属于数据通讯技术领域，具体涉及一种热磁存储和蓝光存储之间的数据传输限速方法及装置。

背景技术

S3理论上是一个全球存储区域网络(SAN)，它表现为一个超大的硬盘，可以在其中存储和检索数字资产。S3存储和检索的资产被称为对象。对象存储在存储段(bucket)中，可以用硬盘进行类比：对象就像是文件，存储段就像是文件夹(或目录)。与硬盘一样，对象和存储段也可以通过统一资源标识符(Uniform Resource Identifier，URI)查找。

蓝光或称蓝光盘利用波长较短的蓝色激光读取和写入数据，并因此而得名。蓝光极大地提高了光盘的存储容量，对于光存储产品来说，蓝光提供了一个跳跃式发展的机会。

实际使用过程中，为了给租户限速，也减少网络上突发的流量，一般会通过令牌桶进行流量控制，令牌桶的原理是系统会以一个恒定的速度往桶里放入令牌，而如果请求需要被处理，则需要先从桶里获取一个令牌，当桶里没有令牌可取时，则拒绝服务。相关技术中，通过redis数据库和lua脚本代码利用令牌桶算法，确实可以很好解决并发过程中对租户限速问题，但是却不能满足人们对任务等级限速的需求。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种热磁存储和蓝光存储之间的数据传输限速方法及装置，以解决现有技术中利用令牌桶算法不能满足人们对任务等级限速的需求的问题。

为实现以上目的，本发明采用如下技术方案：一种热磁存储和蓝光存储之间的数据传输限速方法，包括：

确定租户的任务等级，根据所述任务等级设置限速配置项；所述限速配置项用于限制带宽速度；

当需要数据传输时，根据所述限速配置项从所述令牌桶中获取令牌；其中，所述令牌桶以预设的时间间隔填充预设个数的令牌，每个令牌代表允许传输预设字节数的数据；

当获取到足够的令牌时，开始数据传输。

进一步的，所述根据所述限速配置项从所述令牌桶中获取令牌，包括：

确定任务等级，所述任务等级包括高级、中级和低级；

根据高级、中级和低级的顺序从所述令牌桶拿取令牌，每次拿取令牌后，等待对应任务等级设置的对应等待时间，再次从所述令牌桶中拿取令牌；其中，每次拿到令牌数量是带宽速度的1％。

进一步的，当令牌桶已满无法继续放令牌时，停止添加新令牌；

当令牌桶已空无法拿取令牌时，拒绝服务。

进一步的，对于任务等级对应的等待时间，包括：

高级对应的等待时间小于中级对应的等待时间，中级对应的等待时间小于低级对应的等待时间。

进一步的，对应高级的等待时间为0.01秒，对应中级的等待时间为0.05秒，对应低级的等待时间为0.1秒。

进一步的，令牌桶中以预设时间放入对应带宽速度的令牌数量。

进一步的，所述限速配置项的带宽大于等于50M。

本申请实施例提供一种热磁存储和蓝光存储之间的数据传输限速装置，包括：

确定模块，用于确定租户级别及任务等级，根据所述租户级别及任务等级设置限速配置项；所述限速配置项用于限制带宽速度；

获取模块，用于当需要数据传输时，根据所述限速配置项从所述令牌桶中获取令牌；其中，所述令牌桶以预设的时间间隔填充预设个数的令牌，每个令牌代表允许传输预设字节数的数据；

传输模块，用于当获取到足够的令牌时，开始数据传输。

本申请实施例提供一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一实施例提供的热磁存储和蓝光存储之间的数据传输限速方法

本申请实施例提供一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述任一实施例提供的热磁存储和蓝光存储之间的数据传输限速方法。

本发明采用以上技术方案，能够达到的有益效果包括：

本发明提供一种热磁存储和蓝光存储之间的数据传输限速方法及装置，其通过在热磁存储与蓝光存储之间的数据传输路线上设置令牌桶，实现根据租户的任务等级进行限速，当用户传输对象时，根据租户获取到的限速速值进行传输，传输速度不会超过这个限速速值，租户在创建归档任务时，可以配置归档任务的等级，目前为用户提供了高中低三个等级选项，等级高的任务，传输速度就快一些。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明热磁存储和蓝光存储之间的数据传输限速方法步骤示意图；

图2为本发明令牌桶算法的原理示意图；

图3为本发明热磁存储和蓝光存储之间的数据传输限速方法流程示意图；

图4为本发明热磁存储和蓝光存储之间的数据传输限速装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

下面结合附图介绍本申请实施例中提供的一个具体的热磁存储和蓝光存储之间的数据传输限速方法及装置。

如图1所示，本申请实施例中提供的热磁存储和蓝光存储之间的数据传输限速方法，包括：

S101，确定租户的任务等级，根据所述任务等级设置限速配置项；所述限速配置项用于限制带宽速度；

首先针对租户的数据传输任务进行等级限定，然后根据任务等级进行限速配置项设置，其中限速配置项包括速度最大带宽，也就是说数据传输速度不能超过速度最大带宽，本申请中将速度最大带宽设置为50M，如果任务没有设置限速等级的话或者设置高于50M，则按照50M进行传输，不能高于速度最大带宽，也就是不能高于50M。

S102，当需要数据传输时，根据所述限速配置项从所述令牌桶中获取令牌；其中，所述令牌桶以预设的时间间隔填充预设个数的令牌，每个令牌代表允许传输预设字节数的数据；

具体的本申请中利用redis+Lua(数据库+脚本文件)实现令牌桶限速，如图2所示，图中水滴代表请求令牌，其以固定速率生成，每个传输请求都需要从令牌桶中取一个令牌；令牌桶算法较易理解，随着时间流逝，系统会按恒定1/QPS时间间隔(默认间隔为2s)往桶里加入令牌(如有个水龙头在不断的加水)，如果桶已经满了就不再加了。新请求来临时，会各自拿走一个令牌，如果没有令牌可拿了就阻塞或者拒绝服务。

令牌桶的另外一个好处是可以方便的改变速度。一旦需要提高速率，则按需提高放入桶中的令牌的速率。一般会定时(比如100毫秒)往桶中增加一定数量的令牌，有些变种算法则实时的计算应该增加的令牌的数量。

S103，当获取到足够的令牌时，开始数据传输。

获取到足够的令牌时，也就是满足了数据传输的字节数，此时开始数据传输，这样可以限制各个任务都会争抢传输，导致传输出现阻塞。

热磁存储和蓝光存储之间的数据传输限速方法的工作原理为：首先确定租户的任务等级，根据所述任务等级设置限速配置项；所述限速配置项用于限制带宽速度；当需要数据传输时，根据所述限速配置项从所述令牌桶中获取令牌；其中，所述令牌桶以预设的时间间隔填充预设个数的令牌，每个令牌代表允许传输预设字节数的数据；当获取到足够的令牌时，也就是被限速的对象需要抢到足够多的令牌才能开始数据传输。

一些实施例中，所述根据所述限速配置项从所述令牌桶中获取令牌，包括：

确定任务等级，所述任务等级包括高级、中级和低级；

根据高级、中级和低级的顺序从所述令牌桶拿取令牌，每次拿取令牌后，等待对应任务等级设置的对应等待时间，再次从所述令牌桶中拿取令牌；其中，每次拿到令牌数量是带宽速度的1％。

优选的，对于任务等级对应的等待时间，包括：

高级对应的等待时间小于中级对应的等待时间，中级对应的等待时间小于低级对应的等待时间。

可以理解的是，任务等级分为高级、中级和低级，对任务等级的设定可以根据实际情况进行设置，本申请在此不做限定；开始时，高级、中级和低级可以同时开始拿取令牌，也可以设置为以高级、中级和低级顺序开始拿取令牌桶中的令牌，但是每一个级别在拿取一次令牌后，均需要等待级别对应的等待时间后才能再次从令牌桶中拿取令牌，以此种方式再次进行限速。

优选的，对应高级的等待时间为0.01秒，对应中级的等待时间为0.05秒，对应低级的等待时间为0.1秒。可以理解的是，本申请中各个任务等级对应的时间还可以设置为其他时间，本申请在此不做限定。

具体如图3所示，本申请是对热磁存储与蓝光存储之间数据传输进行的限速，通过令牌桶限速，针对用于任务等级及对应的等待时间进行延时设置，实现了对租户任务级别的限速，当所有的文件被上传时，首先会去redis拿到令牌，拿到指定数量的令牌，文件才会被上传，实际上就是通过计算速度，对执行线程进行阻塞，达到限速的目的。

一些实施例中，当令牌桶已满无法继续放令牌时，停止添加新令牌；

当令牌桶已空无法拿取令牌时，拒绝服务。

具体的，如果令牌桶已经满了就不要再加了，请求来临时，会各自拿走一个令牌，如果令牌桶中已经没有令牌可拿了就会阻塞或者拒绝服务。

优选的，令牌桶以预设时间放入对应带宽速度的令牌数量。

具体的，一般会定时(比如100毫秒)往桶中增加一定数量的令牌，也可以实时的计算应该增加的令牌的数量。

作为一个具体的实施方式，本申请提供的技术方案对于限速方面，有个最大带宽的限速配置项，限速配置项不能低于50M，项目限速如果低于50M或者没有配置，就会按照最大带宽的配置项去限速。利用redis+Lua(数据库+脚本文件)实现令牌桶限速，每个令牌代表允许传输1Kb的数据，被限速的对象需要抢到足够多的令牌才能去上传，令牌桶中每秒放入对应带宽速度的令牌数量，所有并发的任务去桶中抢令牌，任务限速的优先级高、中和低，对应每次从桶中拿一次令牌后需要等待的时间，依次为0.01s、0.05s、0.1s。让传输在除了令牌桶阻塞程序外，还会依据任务等级对传输过程进行阻塞以实现限速，桶中每秒的令牌会分成100份，每秒最多从桶中拿100次令牌，避免频繁修改数据库，每次拿到的令牌数量就是带宽速度的1％，直至拿到足够的令牌结束限速，开始传输。

本申请使用redis进行限流，能够解决了分布式环境下多实例所导致的并发问题。因为使用redis设置的计时器和计数器均是全局唯一的，不管多少个节点，它们使用的都是同样的计时器和计数器，因此可以做到非常精准的流控。

如图3所示，本申请提供一种热磁存储和蓝光存储之间的数据传输限速装置，包括：

确定模块401，用于确定租户级别及任务等级，根据所述租户级别及任务等级设置限速配置项；所述限速配置项用于限制带宽速度；

获取模块402，用于当需要数据传输时，根据所述限速配置项从所述令牌桶中获取令牌；其中，所述令牌桶以预设的时间间隔填充预设个数的令牌，每个令牌代表允许传输预设字节数的数据；

传输模块403，用于当获取到足够的令牌时，开始数据传输。

本申请提供的热磁存储和蓝光存储之间的数据传输限速装置的工作原理为，确定模块401确定租户级别及任务等级，根据所述租户级别及任务等级设置限速配置项；所述限速配置项用于限制带宽速度；获取模块402当需要数据传输时，根据所述限速配置项从所述令牌桶中获取令牌；其中，所述令牌桶以预设的时间间隔填充预设个数的令牌，每个令牌代表允许传输预设字节数的数据；传输模块403当获取到足够的令牌时，开始数据传输.

一些实施例中，所述获取模块，包括：

确定单元，用于确定任务等级，所述任务等级包括高级、中级和低级；

拿取单元，用于根据高级、中级和低级的顺序从所述令牌桶拿取令牌，每次拿取令牌后，等待对应任务等级设置的对应等待时间，再次从所述令牌桶中拿取令牌；其中，每次拿到令牌数量是带宽速度的1％。

一些实施例中，高级对应的等待时间小于中级对应的等待时间，中级对应的等待时间小于低级对应的等待时间。

本申请实施例提供一种计算机设备，存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行确定租户的任务等级，根据所述任务等级设置限速配置项；所述限速配置项用于限制带宽速度；当需要数据传输时，根据所述限速配置项从所述令牌桶中获取令牌；其中，所述令牌桶以预设的时间间隔填充预设个数的令牌，每个令牌代表允许传输预设字节数的数据；当获取到足够的令牌时，开始数据传输。

本申请实施例提供一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行确定租户的任务等级，根据所述任务等级设置限速配置项；所述限速配置项用于限制带宽速度；当需要数据传输时，根据所述限速配置项从所述令牌桶中获取令牌；其中，所述令牌桶以预设的时间间隔填充预设个数的令牌，每个令牌代表允许传输预设字节数的数据；当获取到足够的令牌时，开始数据传输。

综上所述，本发明提供一种热磁存储和蓝光存储之间的数据传输限速方法及装置，所述方法包括确定租户的任务等级，根据任务等级设置限速配置项；限速配置项用于限制带宽速度；当需要数据传输时，根据限速配置项从令牌桶中获取令牌；其中，令牌桶以预设的时间间隔填充预设个数的令牌，每个令牌代表允许传输预设字节数的数据；当获取到足够的令牌时，开始数据传输。本发明的目的在于解决对租户级别和任务等级的限速，当用户传输对象时，会根据租户获取到的限速速值进行传输，传输速度不会超过这个限速速值，租户在创建归档任时，可以配置归档任务的权重，目前为用户提供了高中低三个权重选项，权重高的任务，传输速度就快一些。

可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种热磁存储和蓝光存储之间的数据传输限速方法，其特征在于，包括：

确定租户的任务等级，根据所述任务等级设置限速配置项；所述限速配置项用于限制带宽速度；

当需要数据传输时，根据所述限速配置项从令牌桶中获取令牌；其中，所述令牌桶以预设的时间间隔填充预设个数的令牌，每个令牌代表允许传输预设字节数的数据；

当获取到足够的令牌时，开始数据传输；

所述根据所述限速配置项从所述令牌桶中获取令牌，包括：

确定任务等级，所述任务等级包括高级、中级和低级；

根据高级、中级和低级的顺序从所述令牌桶拿取令牌，每次拿取令牌后，等待对应任务等级设置的对应等待时间，再次从所述令牌桶中拿取令牌；其中，每次拿到令牌数量是带宽速度的1%；

当令牌桶已满无法继续放令牌时，停止添加新令牌；

当令牌桶已空无法拿取令牌时，拒绝服务；

对于任务等级对应的等待时间，包括：

高级对应的等待时间小于中级对应的等待时间，中级对应的等待时间小于低级对应的等待时间；

对应高级的等待时间为0.01秒，对应中级的等待时间为0.05秒，对应低级的等待时间为0.1秒。

2.根据权利要求1所述的方法，其特征在于，

令牌桶以预设时间放入对应带宽速度的令牌数量。

3.根据权利要求1所述的方法，其特征在于，

所述限速配置项的带宽大于等于50M。

4.一种热磁存储和蓝光存储之间的数据传输限速装置，其特征在于，包括：

确定模块，用于确定租户级别及任务等级，根据所述租户级别及任务等级设置限速配置项；所述限速配置项用于限制带宽速度；

获取模块，用于当需要数据传输时，根据所述限速配置项从令牌桶中获取令牌；其中，所述令牌桶以预设的时间间隔填充预设个数的令牌，每个令牌代表允许传输预设字节数的数据；

所述根据所述限速配置项从所述令牌桶中获取令牌，包括：

确定任务等级，所述任务等级包括高级、中级和低级；

根据高级、中级和低级的顺序从所述令牌桶拿取令牌，每次拿取令牌后，等待对应任务等级设置的对应等待时间，再次从所述令牌桶中拿取令牌；其中，每次拿到令牌数量是带宽速度的1%；

当令牌桶已满无法继续放令牌时，停止添加新令牌；

当令牌桶已空无法拿取令牌时，拒绝服务；

对于任务等级对应的等待时间，包括：

高级对应的等待时间小于中级对应的等待时间，中级对应的等待时间小于低级对应的等待时间；

对应高级的等待时间为0.01秒，对应中级的等待时间为0.05秒，对应低级的等待时间为0.1秒；

传输模块，用于当获取到足够的令牌时，开始数据传输。

5.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至3中任一项所述的热磁存储和蓝光存储之间的数据传输限速方法。

6.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至3中任一项所述的热磁存储和蓝光存储之间的数据传输限速方法。