CN112769788A - 计费业务数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开公开了一种计费业务数据处理方法、装置、电子设备及存储介质，其中，计费业务数据处理方法，应用于单链路通信支撑系统，该方法可以包括：将单次请求消息中同一用户的多个业务的使用数据进行拆分处理，得到多个单项业务数据块；将多个单项业务数据块进行打包，得到数据包，并根据拆分处理规则建立乱序数据传递协议；根据乱序数据传递协议建立点对点的数据连接，并发送数据包。该方法解决了现有通信方式的各种局限，充分利用X86集群的高并发计算能力，实现4G大流量、大带宽、高吞吐下的在线计费的低延迟、高可靠通信保障。

Description

计费业务数据处理方法、装置、电子设备及存储介质

技术领域

本公开涉及通信技术领域，具体涉及一种计费业务数据处理方法、装置、电子设备及存储介质。

背景技术

在移动互联网与物联网告诉发展的当下，各类业务都离不开数据流量的承载，4G网络带来了接近有线网络的大带宽使在线视频、交互通话等成为可能。高速的流量对计费系统带来了新的挑战，流量消耗速率越快对计费系统的处理及时性要求也就越高，否则将导致用户产生更多的欠费。在线计费即是一种高实时交互型的计费模式，通过计费系统与网络设备的实时交互实现准实时的计费与通信控制。

在线计费系统与网元设备之间存在高频度的网络交互是计费依据传递的核心通道，而网络设备因为设备自身硬件限制采用有限的数个链路进行通信，在流量业务不断发展下，单个链路的通信压力越来越大。

同时因X86集群架构已成为绝对主流，X86架构下采用多物理CPU内核技术提高整体计算性能，但是单核性能有限且存在瓶颈，单个链路使用一个CPU内核的100％资源提供服务在高压力下仍然捉襟见肘，无法满足在线计费对于通信及时性的要求。

发明内容

本公开实施例的目的是提供一种计费业务数据处理方法、装置、电子设备及存储介质，以至少解决现有单个链路的通信压力越来越大的问题。

本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种计费业务数据处理方法，应用于单链路通信支撑系统，该方法可以包括：

将单次请求消息中同一用户的多个业务的使用数据进行拆分处理，得到多个单项业务数据块；

将多个单项业务数据块进行打包，得到数据包，并根据拆分处理规则建立乱序数据传递协议；

根据乱序数据传递协议建立点对点的数据连接，并发送数据包。

进一步地，将单次请求消息中同一用户的多个业务的使用数据进行拆分处理，得到多个单项业务数据块，包括：

提取单次请求消息中同一用户的多个业务中的每个数据块，得到多个数据块；

对多个数据块中每个数据块进行信息标识，得到多个单项业务数据块。

进一步地，信息标识包括：

标识数据范围；

标识业务序号；及

标识第一校验段。

进一步地，将多个单项业务数据块进行打包，得到数据包，包括：

将多个单项业务数据块进行打包，得到打包数据；

标识打包数据的业务序号和第二校验段，得到数据包。

进一步地，第二校验段包括：数据包拆分后的单项业务数据块总数和业务数据块列表。

进一步地，发送数据包，具体包括：

利用令牌桶算法发送数据包。

进一步地，上述方法还包括：

从令牌分配处获取令牌，并根据令牌获取令牌对应桶中数据包；

当获取完毕桶中数据时，释放令牌，以使令牌回到令牌池中。

根据本公开实施例的第二方面，提供一种计费业务数据处理装置，应用于单链路通信支撑系统，该装置可以包括：

拆分模块，用于将单次请求消息中同一用户的多个业务的使用数据进行拆分处理，得到多个单项业务数据块；

打包模块，用于将多个单项业务数据块进行打包，得到数据包；

乱序规则建立模块，用于根据拆分处理规则建立乱序数据传递协议；

发送模块，用于根据乱序数据传递协议建立点对点的数据连接，并发送数据包。

根据本公开实施例的第三方面，提供一种电子设备，该电子设备可以包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，处理器被配置为执行指令，以实现如实施例第一方面的计费业务数据处理方法。

根据本公开实施例的第四方面，提供一种存储介质，当存储介质中的指令由信息处理装置或者服务器的处理器执行时，以使信息处理装置或者服务器实现如实施例第一方面的计费业务数据处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本公开实施例通过将单次请求消息中同一用户的多个业务的使用数据进行拆分处理，得到多个单项业务数据块；将多个单项业务数据块进行打包，得到数据包，并根据拆分处理规则建立乱序数据传递协议；根据乱序数据传递协议建立点对点的数据连接，并发送数据包。该方法解决了现有通信方式的各种局限，充分利用X86集群的高并发计算能力，实现4G大流量、大带宽、高吞吐下的在线计费的低延迟、高可靠通信保障。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限值本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的计费业务数据处理方法流程示意图；

图2是根据一示例性实施例示出的乱序数据传递示意图；

图3是根据一示例性实施例示出的乱序数据中数据结构示意图；

图4是根据一示例性实施例示出的虚拟队列访问示意图；

图5是根据一示例性实施例示出的点对点数据传递示意图；

图6是根据一示例性实施例示出的令牌桶算法数据传输示意图；

图7是根据一示例性实施例示出的计费业务数据处理结构示意框图；

图8是根据一示例性实施例示出的电子设备结构示意图；

图9是根据一示例性实施例示出的电子设备硬件结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

常用的通信与处理的分离方式存在一定的局限性，无法充分发挥X86设备的性能，且存在如下缺点：

1、数据通信句柄访问具备阻塞特性，同一时间仅能进行读写中的一种操作，对数据吞吐能力造成了一定的影响；

2、数据吞吐的事件通知仍然为单核处理，在高频、海量、小包通信时存在性能瓶颈影响整体吞吐效率

3、业务处理耗时远大于I/O读写耗时，业务处理线程仍然存在处理瓶颈无法充分利用X86集群的计算能力。

如图1所示，在本公开实施例的第一方面，提供一种计费业务数据处理方法，应用于单链路通信支撑系统，包括：

步骤100：将单次请求消息中同一用户的多个业务的使用数据进行拆分处理，得到多个单项业务数据块；

步骤200：将多个单项业务数据块进行打包，得到数据包，并根据拆分处理规则建立乱序数据传递协议；

步骤300：根据乱序数据传递协议建立点对点的数据连接，并发送数据包。

上述实施例方法通过将单次请求消息中同一用户的多个业务的使用数据进行拆分处理，得到多个单项业务数据块；将多个单项业务数据块进行打包，得到数据包，并根据拆分处理规则建立乱序数据传递协议；根据乱序数据传递协议建立点对点的数据连接，并发送数据包。该方法解决了现有通信方式的各种局限，充分利用X86集群的高并发计算能力，实现4G大流量、大带宽、高吞吐下的在线计费的低延迟、高可靠通信保障。

在本公开的一些可选实施例中，步骤100，将单次请求消息中同一用户的多个业务的使用数据进行拆分处理，得到多个单项业务数据块，包括：

步骤110：提取单次请求消息中同一用户的多个业务中的每个数据块，得到多个数据块；

步骤120：对多个数据块中每个数据块进行信息标识，得到多个单项业务数据块。

在本公开的一些可选实施例中，信息标识包括：

标识数据范围；

标识业务序号；及

标识第一校验段。

在本公开一具体实施场景中，基于在线计费请求的业务消息特征，单次请求消息中包含一个用户的多个业务的使用数据。利用单个用户数据计费处理并无严格顺序要求，乱序处理对最终准确性无影响的特征。如图2所示，将通信数据模型转换为若干个单项业务的数据块。每个数据块包含自身的数据范围、序号、校验段等信息，实现单个业务数据块的独立性、可校验、可乱序传输特性，如图3所示。

本实施例中采用了基于计费请求业务数据块的乱序持续双向通信协议，解决阻塞式读写访问的通信效率较低的问题。

在本公开的一些可选实施例中，步骤200，将多个单项业务数据块进行打包，得到数据包，包括：

步骤210：将多个单项业务数据块进行打包，得到打包数据；

步骤220：标识打包数据的业务序号和第二校验段，得到数据包。

在本公开的一些可选实施例中，第二校验段包括：数据包拆分后的单项业务数据块总数和业务数据块列表。

在本实施例中增加完整性校验，完整性校验的实现主要通过数据头中的业务序号+校验段信息实现，业务序号对应原始数据内容中的唯一数据请求，校验段中包含该数据包拆分后的子数据块总数及该业务数据块的唯一序号。例如，原始数据包＝原始数据包唯一序号+业务数据块总数+业务数据块列表。

在本公开一具体实施例中，如图4所示，采用了直接数据访问技术，减少了网卡、协议、内存中数据的转换消耗，提升吞吐性能；本方法的虚拟队列是基于计费请求数据块乱序双向通信协议的一种数据传递方式，如图5所示，通过客户端与服务端在IP网络中形成点对点数据连接，连接状态通过客户端与服务端配合进行控制，通路中采用前述乱序数据传递协议进行点对点数据通信。该协议替代策略为直接内存访问提供了数据模型的传输基础。

上述实施例中，通过网卡驱动层改造：

1、支撑IP层的点对点链路的建立、维持、状态管理；

2、实现在该通信模式下网络数据向内存缓存区直接复制；

3、提供应用API直接访问内存缓存区获取数据。

在本公开的一些可选实施例中，步骤300，发送数据包，具体包括：

利用令牌桶算法发送数据包。

在本公开的一些可选实施例中，上述方法还包括：

步骤400：从令牌分配处获取令牌，并根据令牌获取令牌对应桶中数据包；

步骤500：当获取完毕桶中数据时，释放令牌，以使令牌回到令牌池中。

在本公开一具体实施例中，采用了基于在线计费通信协议特征的计费任务异步分解技术，实现了多业务请求处理并行化，实现了多线程高并发数据处理。充分利用了物理设备多核心多线程并行处理特性，大幅提升了数据处理与吞吐效率。如图6所示，令牌分配基于桶数量进行并发控制，桶释放时获得令牌、线程空闲时分配令牌；消费线程从令牌分配处获取令牌，由于令牌很轻量获取速度很快；线程基于令牌在对应桶中获取数据进行处理，获取完毕后则释放令牌；令牌回到令牌池中供后续分配使用；令牌池方法可实现多线程多桶的n*n的高并发数据获取处理，同时可通过控制令牌发放速度实现限流，提升资源控制能力，以此获得并发处理能力与管控能力的同步提升。

上述实施例方法，面向在线计费业务请求的混合乱序数据传输协议，该协议是实现高效单链路数据传输的基础，为内存直接访问提供了协议支撑。内存直接访问技术，利用面向在线计费业务的专用通信协议结合驱动层面优化实现网络缓存至系统内存的直接复制，提升了数据访问效率。基于任务桶的并发处理技术，面向在线计费业务可乱序处理特征，利用任务桶及令牌池实现了高效任务分发与并行处理。

该方法与传统技术相比，涉及对数据结构的设计，采用了基于业务特征构造的乱序双向通信协议，有更高的数据传输效率；采用虚拟队列，利用直接内存复制技术，解决了通信句柄阻塞访问效率低下的问题；通过任务桶与令牌池机制实现了更加高效的并发任务处理，充分利用了多内核X86架构服务器的计算资源。

如图7所示，在本公开实施例的第二方面，提供一种计费业务数据处理装置，应用于单链路通信支撑系统，包括：

拆分模块，用于将单次请求消息中同一用户的多个业务的使用数据进行拆分处理，得到多个单项业务数据块；

打包模块，用于将多个单项业务数据块进行打包，得到数据包；

乱序规则建立模块，用于根据拆分处理规则建立乱序数据传递协议；

发送模块，用于根据乱序数据传递协议建立点对点的数据连接，并发送数据包。

上述实施例装置通过拆分模块将单次请求消息中同一用户的多个业务的使用数据进行拆分处理，得到多个单项业务数据块，利用打包模块将多个单项业务数据块进行打包，得到数据包，并根据拆分处理规则建立乱序数据传递协议，乱序规则建立模块根据乱序数据传递协议建立点对点的数据连接，并利用发送模块发送数据包。该方法解决了现有通信方式的各种局限，充分利用X86集群的高并发计算能力，实现4G大流量、大带宽、高吞吐下的在线计费的低延迟、高可靠通信保障。

本申请实施例中的计费业务数据处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的计费业务数据处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的计费业务数据处理装置能够实现图1至图6的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选的，如图8所示，本申请实施例还提供一种电子设备800，包括处理器801，存储器802，存储在存储器802上并可在所述处理器801上运行的程序或指令，该程序或指令被处理器801执行时实现上述计费业务数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图9为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、以及处理器910等部件。

本领域技术人员可以理解，电子设备900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

应理解的是，本申请实施例中，输入单元904可以包括图形处理器(GraphicsProcessing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071，也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器909可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器910可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述计费业务数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述计费业务数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种计费业务数据处理方法，其特征在于，应用于单链路通信支撑系统，包括：

将单次请求消息中同一用户的多个业务的使用数据进行拆分处理，得到多个单项业务数据块；

将所述多个单项业务数据块进行打包，得到数据包，并根据拆分处理规则建立乱序数据传递协议；

根据所述乱序数据传递协议建立点对点的数据连接，并发送所述数据包。

2.根据权利要求1所述的方法，其特征在于，所述将单次请求消息中同一用户的多个业务的使用数据进行拆分处理，得到多个单项业务数据块，包括：

提取单次请求消息中同一用户的多个业务中的每个数据块，得到多个数据块；

对所述多个数据块中每个数据块进行信息标识，得到多个单项业务数据块。

3.根据权利要求2所述的方法，其特征在于，所述信息标识包括：

标识数据范围；

标识业务序号；及

标识第一校验段。

4.根据权利要求1所述的方法，其特征在于，所述将所述多个单项业务数据块进行打包，得到数据包，包括：

将所述多个单项业务数据块进行打包，得到打包数据；

标识所述打包数据的业务序号和第二校验段，得到数据包。

5.根据权利要求4所述的方法，其特征在于，所述第二校验段包括：所述数据包拆分后的单项业务数据块总数和业务数据块列表。

6.根据权利要求1所述的方法，其特征在于，所述发送所述数据包，具体包括：

利用令牌桶算法发送所述数据包。

7.根据权利要求6所述的方法，其特征在于，所述上述方法还包括：

从令牌分配处获取令牌，并根据所述令牌获取所述令牌对应桶中数据包；

当获取完毕所述桶中数据时，释放所述令牌，以使所述令牌回到令牌池中。

8.一种计费业务数据处理装置，其特征在于，应用于单链路通信支撑系统，包括：

拆分模块，用于将单次请求消息中同一用户的多个业务的使用数据进行拆分处理，得到多个单项业务数据块；

打包模块，用于将所述多个单项业务数据块进行打包，得到数据包；

乱序规则建立模块，用于根据拆分处理规则建立乱序数据传递协议；

发送模块，用于根据所述乱序数据传递协议建立点对点的数据连接，并发送所述数据包。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1-7中任一项所述的计费业务数据处理方法。

10.一种存储介质，其特征在于，当所述存储介质中的指令由信息处理装置或者服务器的处理器执行时，以使所述信息处理装置或者所述服务器实现如权利要求1-7中任一项所述的计费业务数据处理方法。

Images