CN111090666A - 一种数据处理方法、装置、系统及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开一种数据处理方法、装置、系统及计算机可读存储介质，属于计算机技术领域，方法包括根据用户发送的查询请求获取目标参数信息；根据目标参数信息在预设的参数与分库分表信息的映射关系中获取目标分库分表信息；根据目标分库分表信息生成对应的链接并根据链接获取目标数据。本发明将目标数据的参数信息与目标数据所存在的分库分表进行预关联，从而在请求目标数据时，可以根据预关联的信息获取分库分表信息，根据分库分表信息生成查询语句并且根据查询语句一次性地从数据库中获取全部的目标数据，而无需多次请求，因而提高了效率、节省了成本。

Description

一种数据处理方法、装置、系统及计算机可读存储介质

技术领域

本发明属于计算机技术领域，尤其涉及一种数据处理方法、装置、系统及计算机可读存储介质。

背景技术

目前，在作业系统的功能测试方面，作业流程的复杂性导致查询数据较多，需进行多次查询操作才能得到某作业流程的操作数据。如，对于某一电商平台，在查询其某个环节的业务数据时，技术人员需要安装数据库连接工具、配置数据库连接信息，并且编写复杂的SQL语句，因此需要很多的时间成本。

发明内容

为了解决现有技术的问题，本发明提出一种数据处理方法、装置、系统及计算机可读存储介质。本方法使得技术人员无需编写复杂的查询语句、无需反复配置数据库连接信息、无需通过多次查询就能获取全部的业务数据。

本发明实施例提供的具体技术方案如下：

第一方面，本发明提供一种数据处理方法，所述方法包括：

根据用户发送的查询请求获取目标参数信息；

根据所述目标参数信息在预设的参数与分库分表信息的映射关系中获取目标分库分表信息；

根据所述目标分库分表信息生成对应的链接并根据所述链接获取目标数据。

优选的，所述目标参数信息包括目标ID、与所述目标ID相关联的目标关键信息。

优选的，根据所述目标分库分表信息生成对应的请求链接并根据所述请求链接获取目标数据具体包括：

根据所述目标分库分表信息生成对应的SQL查询语句；

将所述SQL查询语句发送至对应的目标数据库服务器；

接收所述目标数据库服务器在目标数据库中获取及处理后返回的目标数据。

优选的，所述方法还包括：

根据所述目标分库分表信息在预存储的配置信息中获取目标数据库连接信息；

根据所述目标数据库连接信息，向对应的目标数据库服务器发送连接请求以实现与所述目标数据库的连接。

第二方面，本发明提供一种数据处理装置，所述装置包括：

分析模块，用于根据用户发送的查询请求获取目标参数信息；以及根据所述目标参数信息在预设的参数与分库分表信息的映射关系中获取目标分库分表信息；

处理模块，用于根据所述目标分库分表信息生成对应的链接并根据所述链接获取目标数据。

优选的，所述目标参数信息包括目标ID、与所述目标ID相关联的目标关键信息。

优选的，所述处理模块具体包括：

生成模块，用于根据所述目标分库分表信息生成对应的SQL查询语句；

发送模块，用于将所述SQL查询语句发送至对应的目标数据库服务器；

接收模块，用于接收所述目标数据库服务器在目标数据库中获取及处理后返回的目标数据。

优选的，所述装置还包括：

获取模块，用于根据所述目标分库分表信息在预存储的配置信息中获取目标数据库连接信息；

所述发送模块还用于根据所述目标数据库连接信息，向对应的目标数据库服务器发送连接请求以实现与所述目标数据库的连接。

第三方面，本发明提供一种计算机系统，包括：

一个或多个处理器；以及

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现实现如上述第一方面任一所述的方法。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面任一所述的方法。

本发明实施例具有如下有益效果：

本发明将目标数据的参数信息与目标数据所存在的分库分表进行预关联，从而在请求目标数据时，可以根据预关联的信息获取分库分表信息，根据分库分表信息生成查询语句并且根据查询语句一次性地从数据库中获取全部的目标数据，而无需多次请求，因而提高了效率、节省了成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种数据处理方法的应用环境图；

图2是本申请实施例一提供的目标页面及目标内容项展示图；

图3是本申请实施例一提供的目标数据展示图；

图4是本申请实施例二提供的一种数据处理方法的流程图；

图5是本申请实施例三提供的一种数据处理装置的结构示意图；

图6是本申请实施例四提供的一种计算机系统架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供一种数据处理方法，可以应用于如图1所示的应用环境中。其中，第一服务端12用于通过网络和第二服务端13、终端11进行通信，将接收到的终端11发送的请求处理后生成链接并通过接口将链接发送至第二服务端13，第二服务端13通过网络和数据库14进行通信，第二服务端13将从数据库14获取到的数据通过第一服务端12发送给终端11，终端11对接收到的数据进行渲染展示。第一服务端12、第二服务端13可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，第二服务端13可以用独立的服务端或者是多个服务端组成的服务端集群来实现。

实施例一

本申请提供了一种数据处理方法，应用于电商平台场景，具体包括如下步骤：

S21、当监测到用户登录成功时，获取目标页面数据并发送至客户端以使得客户端进行渲染展示；

其中，目标页面上包括目标内容项。

S22、获取根据用户已填写的目标内容项而生成的业务数据查询请求。

示例性的，如图2所示，用户在目标页面展示的目标内容项填写完毕后，点击提交后，便生成相应的查询请求。

S23、根据用户发送的业务数据查询请求获取目标参数信息。

其中，目标参数信息与用户已填写的目标内容项对应关联，目标参数信息包括目标ID、与目标ID关联的目标关键信息。

目标ID可以为订单号或包裹号，与目标ID关联的目标关键信息包括仓库信息、系统测试环境等。

S24、根据目标参数信息在预设的参数与分库分表信息的映射关系中获取目标分库分表信息。

示例性的，当系统测试环境为sit，订单号为SAPFM16041294000004，仓库号为891U时，其对应的目标分库分表信息为8库3表。

S25、根据目标分库分表信息生成对应的SQL查询语句，并根据SQL查询语句在目标数据库中获取目标数据。

具体的，该步骤可以包括：

S251、根据目标分库分表信息在预存储的配置信息中获取目标数据库连接信息；

其中，目标数据库连接信息包括url、用户名和密码。

S252、根据目标数据库连接信息，向对应的目标数据库服务器发送连接请求以实现与目标数据库的连接；

S253、根据目标分库分表信息生成对应的SQL查询语句；

示例性的，根据获取到的8库3表的信息，生成对应的SQL查询语句；其中，生成的SQL查询语句数量与分库数量对应。

S254、将SQL查询语句发送至对应的目标数据库服务器；

S255、接收目标数据库服务器在目标数据库中获取及处理后返回的目标数据。

图3展示了返回至客户端页面的目标数据的构成情况，对于系统测试环境为sit、订单号为SAPFM16041294000004、仓库号为891U的订单，其商品类型、货主信息、数量、库存、状态等目标数据都能根据上述步骤S21～S25得到。

除了在电商平台，在其他平台，如社交平台，对于技术人员来说，在对系统测试时也存在此类问题，即，也会存在如上述出现的需要多次查询操作才能得到完整的个人信息等情形。

实施例二

基于上述情况，如图4所示，提供了一种数据处理方法，包括：

S41、根据用户发送的查询请求获取目标参数信息。

其中，目标参数信息目标ID、与所述目标ID相关联的目标关键信息。

如对于电商平台，目标ID可以为订单号或包裹号，与目标ID关联的目标关键信息包括仓库信息、系统测试环境等。

S42、根据目标参数信息在预设的参数与分库分表信息的映射关系中获取目标分库分表信息。

S43、根据目标分库分表信息生成对应的链接并根据链接获取目标数据。

其中，生成的SQL查询语句数量与分库数量对应。

具体的，该步骤可以包括：

S431、根据目标分库分表信息在预存储的配置信息中获取目标数据库连接信息；

其中，目标数据库连接信息包括url、用户名和密码。

S432、根据目标数据库连接信息，向对应的目标数据库服务器发送连接请求以实现与目标数据库的连接；

S433、根据目标分库分表信息生成对应的SQL查询语句；

S434、将SQL查询语句发送至对应的目标数据库服务器；

S435、接收目标数据库服务器在目标数据库中获取及处理后返回的目标数据。

其中，目标数据库可以为本地数据库，也可以为外部系统数据库。只要目标数据库连接信息已被预存储至配置信息，不管是本地数据库还是外部系统数据库均能实现目标数据库连接及目标数据获取。

本方案将目标数据的参数信息与目标数据所存在的分库分表进行预关联，从而在请求目标数据时，可以根据预关联的信息获取分库分表信息，根据分库分表信息生成查询语句并且根据查询语句一次性地从数据库中获取全部的目标数据，而无需多次请求，因而提高了效率、节省了成本。

实施例三

如图5所示，一种数据处理装置，包括：

分析模块51，用于根据用户发送的查询请求获取目标参数信息；以及根据目标参数信息在预设的参数与分库分表信息的映射关系中获取目标分库分表信息；

处理模块52，用于根据目标分库分表信息生成对应的链接并根据所述链接获取目标数据。

优选的，所述目标参数信息包括目标ID、与所述目标ID相关联的目标关键信息。

优选的，所述处理模块52具体包括：

生成模块521，用于根据所述目标分库分表信息生成对应的SQL查询语句；

发送模块522，用于将所述SQL查询语句发送至对应的目标数据库服务器；

接收模块523，用于接收所述目标数据库服务器在目标数据库中获取及处理后返回的目标数据。

优选的，所述装置还包括：

获取模块53，用于根据所述目标分库分表信息在预存储的配置信息中获取目标数据库连接信息；

所述发送模块522还用于根据所述目标数据库连接信息，向对应的目标数据库服务器发送连接请求以实现与所述目标数据库的连接。

实施例四

如图6所示，一种计算机系统，包括：

一个或多个处理器；以及

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现实现如上述实施例二的方法。

其中，图6示例性的展示出了计算机系统的架构，具体可以包括处理器62，视频显示适配器64，磁盘驱动器66，输入/输出接口68，网络接口610，以及存储器612。上述处理器62、视频显示适配器64、磁盘驱动器66、输入/输出接口68、网络接口610，与存储器612之间可以通过通信总线614进行通信连接。

其中，处理器62可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。

存储器612可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器612可以存储用于控制计算机系统60运行的操作系统616，用于控制计算机系统的低级别操作的基本输入输出系统(BIOS)618。另外，还可以存储网页浏览器620，数据存储管理系统622等等。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器612中，并由处理器62来调用执行。

输入/输出接口68用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

网络接口610用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

通信总线614包括一通路，在设备的各个组件(例如处理器62、视频显示适配器64、磁盘驱动器66、输入/输出接口68、网络接口610，与存储器612之间传输信息。

另外，该计算机系统还可以从虚拟资源对象领取条件信息数据库中获得具体领取条件的信息，以用于进行条件判断，等等。

需要说明的是，尽管上述设备仅示出了处理器62、视频显示适配器64、磁盘驱动器66、输入/输出接口68、网络接口610，存储器612，通信总线614等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。

实施例五

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例二所述的方法。

本领域内的技术人员应明白，本发明实施例中的实施例可提供为方法、系统、或计算机程序产品。因此，本发明实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例中是参照根据本发明实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例中范围的所有变更和修改。另外，上述实施例提供的计算机可读存储介质、计算机系统、数据处理装置与数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

根据用户发送的查询请求获取目标参数信息；

根据所述目标参数信息在预设的参数与分库分表信息的映射关系中获取目标分库分表信息；

根据所述目标分库分表信息生成对应的链接并根据所述链接获取目标数据。

2.根据权利要求1所述的方法，其特征在于，所述目标参数信息包括目标ID、与所述目标ID相关联的目标关键信息。

3.根据权利要求1或2所述的方法，其特征在于，根据所述目标分库分表信息生成对应的请求链接并根据所述请求链接获取目标数据具体包括：

根据所述目标分库分表信息生成对应的SQL查询语句；

将所述SQL查询语句发送至对应的目标数据库服务器；

接收所述目标数据库服务器在目标数据库中获取及处理后返回的目标数据。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述目标分库分表信息在预存储的配置信息中获取目标数据库连接信息；

根据所述目标数据库连接信息，向对应的目标数据库服务器发送连接请求以实现与所述目标数据库的连接。

5.一种数据处理装置，其特征在于，所述装置包括：

分析模块，用于根据用户发送的查询请求获取目标参数信息；以及根据所述目标参数信息在预设的参数与分库分表信息的映射关系中获取目标分库分表信息；

处理模块，用于根据所述目标分库分表信息生成对应的链接并根据所述链接获取目标数据。

6.根据权利要求5所述的装置，其特征在于，所述目标参数信息包括目标ID、与所述目标ID相关联的目标关键信息。

7.根据权利要求5或6所述的装置，其特征在于，所述处理模块具体包括：

生成模块，用于根据所述目标分库分表信息生成对应的SQL查询语句；

发送模块，用于将所述SQL查询语句发送至对应的目标数据库服务器；

接收模块，用于接收所述目标数据库服务器在目标数据库中获取及处理后返回的目标数据。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

获取模块，用于根据所述目标分库分表信息在预存储的配置信息中获取目标数据库连接信息；

所述发送模块还用于根据所述目标数据库连接信息，向对应的目标数据库服务器发送连接请求以实现与所述目标数据库的连接。

9.一种计算机系统，其特征在于，包括：

一个或多个处理器；以及

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1～4任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～4任意一项所述的方法。

Images