CN109492138A - 一种数据查询处理方法及系统 - Google Patents

Abstract

本发明公开了一种数据查询处理方法及系统，该方法包括：对获取的查询请求进行标准化处理，获得目标查询请求；根据预设请求配置表，对所述目标查询请求进行配置，获得数据查询条件；执行所述数据查询条件，获得查询结果，并根据所述查询请求中的数据返回类型，对所述查询结果进行处理，获得输出结果。本发明基于参数配置统一进行数据查询处理，实现了快速响应不同业务查询请求的目的。

Description

一种数据查询处理方法及系统

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据查询处理方法及系统。

背景技术

伴随着大数据时代的到来，用户查询各种相关数据的需求也越来越大。在实际的数据查询业务需求实现的过程中，对于一个业务查询需求，往往是根据一个业务需求就要开发一套从接收查询请求的前端页面到后端数据库查询、返回的完整的程序代码。

当查询需求发生变更时，则需要对相关数据进行重新调整、组包和部署，以便产生一个新的程序代码适用于改变的查询需求。当涉及较大改造并重新生成代码时，会浪费大量的人力成本，并且由于人工修改还可能提高功能隐患出现的风险，可见现有的数据查询处理无法满足不同业务查询请求的快速处理的要求。

发明内容

针对于上述问题，本发明提供一种数据查询处理方法及系统，基于参数配置统一进行数据查询处理，实现了快速响应不同业务查询请求的目的。

为了实现上述目的，本发明提供了如下技术方案：

一种数据查询处理方法，该方法包括：

对获取的查询请求进行标准化处理，获得目标查询请求；

根据预设请求配置表，对所述目标查询请求进行配置，获得数据查询条件；

执行所述数据查询条件，获得查询结果，并根据所述查询请求中的数据返回类型，对所述查询结果进行处理，获得输出结果。

可选地，所述对获取的查询请求进行标准化处理，获得目标查询请求，包括：

对获取的查询请求进行解析，获得查询请求信息集合，其中，所述查询请求信息集合包括请求界面信息、查询条件信息、展示项信息和数据返回类型；

依据预设标准化条件，分别对所述查询请求信息集合中的信息进行标准化处理，获得目标查询请求。

可选地，所述根据预设请求配置表，对所述目标查询请求进行配置，获得数据查询条件，包括：

对所述目标查询请求进行解析，获得解析信息，其中，所述解析信息包括请求界面信息、展示项信息、查询条件信息和数据返回类型；

依据预设请求配置表，对所述解析信息进行验证，并对验证后的信息进行配置，获得与各个验证后的信息相匹配的配置参数；

对各个所述配置参数进行拼接处理，获得数据查询条件。

可选地，该方法还包括：

判断所述查询请求中的处理模式是否为满足异步处理请求，如果是，则根据所述数据查询条件，执行异步处理，获得查询结果。

可选地，所述根据所述数据查询条件，执行异步处理，获得查询结果，包括：

获取所述数据查询条件的优先级信息；

根据所述优先级信息，确定处理线程；

根据所述处理线程，执行数据查询处理，获得查询结果。

可选地，所述执行所述数据查询条件，获得查询结果，并根据所述查询请求中的数据返回类型，对所述查询结果进行处理，获得输出结果，包括：

对所述查询请求中进行解析获得数据返回类型，根据所述数据返回类型判断是否需要将查询结果进行分页显示，如果是，则对所述数据查询条件进行拆分，获得查询子条件；

分别执行所述查询子条件，获得子查询结果；

将所述子查询结果匹配不同的输出界面，并输出所述子查询结果。

可选地，所述预设请求配置表包括：

请求界面配置表、数据配置表、显示要素配置表和查询条件配置表。

一种数据查询处理系统，该系统包括：

请求标准化单元，用于对获取的查询请求进行标准化处理，获得目标查询请求；

请求配置单元，用于根据预设请求配置表，对所述目标查询请求进行配置，获得数据查询条件；

请求处理单元，用你有执行所述数据查询条件，获得查询结果，并根据所述查询请求中的数据返回类型，对所述查询结果进行处理，获得输出结果。

可选地，所述请求标准化单元包括：

第一解析子单元，用于对获取的查询请求进行解析，获得查询请求信息集合，其中，所述查询请求信息集合包括请求界面信息、查询条件信息、展示项信息和数据返回类型；

标准化处理子单元，用于依据预设标准化条件，分别对所述查询请求信息集合中的信息进行标准化处理，获得目标查询请求。

可选地，所述请求配置单元包括：

第二解析子单元，用于对所述目标查询请求进行解析，获得解析信息，其中，所述解析信息包括请求界面信息、展示项信息、查询条件信息和数据返回类型；

配置子单元，用于依据预设请求配置表，对所述解析信息进行验证，并对验证后的信息进行配置，获得与各个验证后的信息相匹配的配置参数；

拼接子单元，用于对各个所述配置参数进行拼接处理，获得数据查询条件。

相较于现有技术，本发明提供了一种数据查询处理方法及系统，该方法对获取的查询请求进行标准化处理，并根据预设请求配置表，对所述目标查询请求进行配置，获得数据查询条件，这样使得不同业务的查询请求可以进行统一的参数配置，使得查询请求能够符合当前查询程序代码的要求，因此即使不同的查询请求也可以采用同一套查询代码进行处理，并且根据所述查询请求中的数据返回类型，对所述查询结果进行处理，获得输出结果，能够使得查询结果更加满足用户的需求，因此基于参数配置统一进行数据查询处理，实现了快速响应不同业务查询请求的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据查询处理方法的流程示意图；

图2为本发明实施例提供的一种查询请求配置方法的流程示意图；

图3为本发明实施例提供的一种数据查询处理系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在本发明实施例中提供了一种数据查询处理方法，参见图1，该方法包括：

S101、对获取的查询请求进行标准化处理，获得目标查询请求。

具体的，该过程可以包括如下内容：

对获取的查询请求进行解析，获得查询请求信息集合，其中，所述查询请求信息集合包括请求界面信息、查询条件信息、展示项信息和数据返回类型；

依据预设标准化条件，分别对所述查询请求信息集合中的信息进行标准化处理，获得目标查询请求。

对查询请求的标准化，一般用户查询或导出数据的请求可分为以下几部分：请求界面信息即请求来源页面、查询条件信息、展示项信息即请求元素项，例如需要返回哪些字段；数据返回类型，例如返回视图，具体的以什么形式返回，如前端页面、Excel、Csv等，需要根据这些信息对查询请求进行标准化处理，以实现获得的查询请求更加满足通用处理的需求。

例如，目前常见的基于Java语言的WEB应用系统数据查询及导出功能的输入，大多使用JavaBaen进行请求数据，基于本发明的技术方案可以利用Java语言的反射机制，结合参数配置，实现对不同Bean的通用支持，即仅需在数据库进行相应Bean的参数信息配置，即可支持相应类的Bean作为请求输入。

S102、根据预设请求配置表，对所述目标查询请求进行配置，获得数据查询条件。

在对标准化后的查询请求即目标查询请求需要进行相关信息配置，以使得获得的数据查询条件更加满足当前执行代码，具体的，需要解析该目标请求中给出的相应请求信息，结合数据库内预设请求配置表内相应的参数配置，明确数据查询条件，即该数据查询条件中会包括查询条件、查询输出项内容。以该数据查询条件作为查询语句进行后续的数据查询过程。

S103、执行所述数据查询条件，获得查询结果，并根据所述查询请求中的数据返回类型，对所述查询结果进行处理，获得输出结果。

以数据查询条件作为查询语句执行数据查询处理，获得查询结果，此时，并不直接输出该查询结果，要根据查询请求中的数据返回类型对查询结果进行处理，例如，查询结果的展现形式、数据格式、视图模式等，然后才将满足数据返回类型的查询结果进行输出，即获得输出结果。

本发明提供了一种数据查询处理方法，该方法对获取的查询请求进行标准化处理，并根据预设请求配置表，对所述目标查询请求进行配置，获得数据查询条件，这样使得不同业务的查询请求可以进行统一的参数配置，使得查询请求能够符合当前查询程序代码的要求，因此即使不同的查询请求也可以采用同一套查询代码进行处理，并且根据所述查询请求中的数据返回类型，对所述查询结果进行处理，获得输出结果，能够使得查询结果更加满足用户的需求，因此基于参数配置统一进行数据查询处理，实现了快速响应不同业务查询请求的目的。

在上述实施例的基础上，在本发明的另一实施例中还包括了一种查询请求配置方法，参见图2，该方法包括：

S201、对所述目标查询请求进行解析，获得解析信息；

其中，所述解析信息包括请求界面信息、展示项信息、查询条件信息和数据返回类型；

S202、依据预设请求配置表，对所述解析信息进行验证，并对验证后的信息进行配置，获得与各个验证后的信息相匹配的配置参数；

S203、对各个所述配置参数进行拼接处理，获得数据查询条件。

需要说明的是，预设请求配置表包括：请求界面配置表、数据配置表、显示要素配置表和查询条件配置表。

具体的，依据请求界面配置表检查请求界面信息中包含的请求界面是否存在，并关联数据配置表，确定该请求所涉及数据表范围；依据显示要输配置表检查所请求的元素是否进行配置，并获取元素对应表中的列及显示顺序信息；依据查询条件配置表检查询条件是否配置，并获取查询条件所涉及字段。从而可以依据请求中的信息，结合界面、表、元素、条件配置参数，拼接生成查询语句。

具体的，在查询请求中包括的主要字段有请求ID、界面ID、显示要素、查询条件、请求类型、请求结果、请求状态(例如，0代表未处理，1代表处理中，2代表处理完毕，3代表处理过程中出错)、处理结果展现类型、请求机构、是否包含下级机构、备注信息、请求生成时间、请求开始处理时间、处理完毕时间、创建用户信息等。其中，较为重要的字段包括：请求ID、界面ID、显示要素、查询条件、请求类型，请求ID表示唯一一个请求标识；界面ID表示请求来源于哪个前端界面；显示要素表示该请求需返回哪些字段，多个要素间以固定分隔符分隔；查询条件表示请求所涉查询条件，以key：value形式存储，多项间以固定分隔符分隔；请求类型表示返回的视图类型，如前端页面、Excel、Csv等等。

在对请求处理过程中的核心是依据各个配置表，对请求进行校验、解析，生成具体的数据查询sql。在获得数据结果进行输出时需要根据配置界面输出，例如可以支持端页面、Excel、Csv、Txt四种，在实现过程中，应用Java面向接口编程模式，后续可不断扩展所支持的输出视图类型。

具体的，在本发明的另一实施例中还提供了一种对查询结果进行格式处理的方法，包括：

对所述查询请求中进行解析获得数据返回类型，根据所述数据返回类型判断是否需要将查询结果进行分页显示，如果是，则对所述数据查询条件进行拆分，获得查询子条件；

分别执行所述查询子条件，获得子查询结果；

将所述子查询结果匹配不同的输出界面，并输出所述子查询结果。

例如，考虑Execl格式单个sheet的数据量限制，系统可参数设置伐值，如超出某一范围，即采用分页查询输出模式，分sheet、文本进行输出。

需要说明的是，在本发明实施例中对查询请求进行处理时，不仅包括了同步处理方式还包括了异步处理方式，即：

判断所述查询请求中的处理模式是否为满足异步处理请求，如果是，则根据所述数据查询条件，执行异步处理，获得查询结果。

例如，考虑到前端响应速度及系统日常压力，该方法支持异步请求处理机制，当用户设定为异步请求或通过参数阈值判定该用户所请求的数据量超出限额时，将转为异步模式进行导出，将请求保存至请求表内，由后台守护进行依序处理。目前可配置请求的优先级，守护进程将依据优先级结合请求时间，进行请求处理，同时，可通过参数伐值，实时控制并发处理请求量，以满足日常运维的需求(如夜间批量执行间隔时，可将请求阈值调高，加速处理，批量执行时或日间联机压力较大时，调低并发，保证正常联机及批量作业正常)。

具体的，在进行守护进程处理时，需要读取相关参数，判断是否需要进行守护，如果是，则更新线程池状态(清理完毕的作业，释放线程池空余线程数)，然后判断线程池是否有空余，如果有空余，则查询下一个待执行请求。此时，需要判断是否有待执行请求，如果是，则创建新线程，执行请求，否则可以依据配置的休眠时间进行休眠，守护进程结束。

若将该方法应用在外汇收支申报及外汇账户申报产品中使用，主要包含前端联机查询、后台批量守护处理两部分，前端联机查询处理用户小数据量的请求(请求量可依据实际情况进行阈值配置)，后台批量守护处理用户发起的异步请求或前端联机查询处理过程中发生的大数据量转异步的请求。目前已使用该方法的查询功能已有47个。

本发明通过分析查询功能的共性特征，标准化查询请求，使不同功能使用同一代码成为可能，(使用同一套查询代码成为可能)且目前已在生产上运行，已配置47套查询功能。本发明能够快速响应用户关于查询请求的相关需求变更，新增查询字段、返回字段、返回视图类型等，可通过参数配置版本迅速响应，且无需停止前端服务应用，不影响业务日常其他功能使用。对于可配置化的查询、导出功能实现，请求标准化、解析、生成可执行的查询语句是该部分的核心与基础。对于请求同步与异步双重的支持，是后续大数据查询与导出所必须的，同时支持同步与异步公用同一套配置与代码的做法，可最大程度保证请求结果的一致性。

对应的，参见图3，一种数据查询处理系统，其特征在于，该系统包括：

请求标准化单元301，用于对获取的查询请求进行标准化处理，获得目标查询请求；

请求配置单元302，用于根据预设请求配置表，对所述目标查询请求进行配置，获得数据查询条件；

请求处理单元303，用你有执行所述数据查询条件，获得查询结果，并根据所述查询请求中的数据返回类型，对所述查询结果进行处理，获得输出结果。

本发明提供了一种数据查询处理系统，在请求标准化单元中对获取的查询请求进行标准化处理，并在请求配置单元和请求处理单元中根据预设请求配置表，对所述目标查询请求进行配置，获得数据查询条件，这样使得不同业务的查询请求可以进行统一的参数配置，使得查询请求能够符合当前查询程序代码的要求，因此即使不同的查询请求也可以采用同一套查询代码进行处理，并且根据所述查询请求中的数据返回类型，对所述查询结果进行处理，获得输出结果，能够使得查询结果更加满足用户的需求，因此基于参数配置统一进行数据查询处理，实现了快速响应不同业务查询请求的目的。

在上述实施例的基础上，所述请求标准化单元包括：

第一解析子单元，用于对获取的查询请求进行解析，获得查询请求信息集合，其中，所述查询请求信息集合包括请求界面信息、查询条件信息、展示项信息和数据返回类型；

标准化处理子单元，用于依据预设标准化条件，分别对所述查询请求信息集合中的信息进行标准化处理，获得目标查询请求。

可选地，所述请求配置单元包括：

第二解析子单元，用于对所述目标查询请求进行解析，获得解析信息，其中，所述解析信息包括请求界面信息、展示项信息、查询条件信息和数据返回类型；

配置子单元，用于依据预设请求配置表，对所述解析信息进行验证，并对验证后的信息进行配置，获得与各个验证后的信息相匹配的配置参数；

拼接子单元，用于对各个所述配置参数进行拼接处理，获得数据查询条件。

在上述实施例的基础上，该系统还包括：

处理模式判断单元，用于判断所述查询请求中的处理模式是否为满足异步处理请求，如果是，则根据所述数据查询条件，执行异步处理，获得查询结果。

对应的，所述处理模式判断单元包括：

优先级获取子单元，用于获取所述数据查询条件的优先级信息；

线程确定子单元，用于根据所述优先级信息，确定处理线程；

执行子单元，用于根据所述处理线程，执行数据查询处理，获得查询结果。

可选地，所述请求处理单元包括：

判断子单元，用于对所述查询请求中进行解析获得数据返回类型，根据所述数据返回类型判断是否需要将查询结果进行分页显示，如果是，则对所述数据查询条件进行拆分，获得查询子条件；

条件执行子单元，用于分别执行所述查询子条件，获得子查询结果；

输出子单元，用于将所述子查询结果匹配不同的输出界面，并输出所述子查询结果。

对应的，所述预设请求配置表包括：

请求界面配置表、数据配置表、显示要素配置表和查询条件配置表。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据查询处理方法，其特征在于，该方法包括：

对获取的查询请求进行标准化处理，获得目标查询请求；

根据预设请求配置表，对所述目标查询请求进行配置，获得数据查询条件；

执行所述数据查询条件，获得查询结果，并根据所述查询请求中的数据返回类型，对所述查询结果进行处理，获得输出结果。

2.根据权利要求1所述的方法，其特征在于，所述对获取的查询请求进行标准化处理，获得目标查询请求，包括：

对获取的查询请求进行解析，获得查询请求信息集合，其中，所述查询请求信息集合包括请求界面信息、查询条件信息、展示项信息和数据返回类型；

依据预设标准化条件，分别对所述查询请求信息集合中的信息进行标准化处理，获得目标查询请求。

3.根据权利要求2所述的方法，其特征在于，所述根据预设请求配置表，对所述目标查询请求进行配置，获得数据查询条件，包括：

对所述目标查询请求进行解析，获得解析信息，其中，所述解析信息包括请求界面信息、展示项信息、查询条件信息和数据返回类型；

依据预设请求配置表，对所述解析信息进行验证，并对验证后的信息进行配置，获得与各个验证后的信息相匹配的配置参数；

对各个所述配置参数进行拼接处理，获得数据查询条件。

4.根据权利要求3所述的方法，其特征在于，该方法还包括：

判断所述查询请求中的处理模式是否为满足异步处理请求，如果是，则根据所述数据查询条件，执行异步处理，获得查询结果。

5.根据权利要求4所述的方法，其特征在于，所述根据所述数据查询条件，执行异步处理，获得查询结果，包括：

获取所述数据查询条件的优先级信息；

根据所述优先级信息，确定处理线程；

根据所述处理线程，执行数据查询处理，获得查询结果。

6.根据权利1所述的方法，其特征在于，所述执行所述数据查询条件，获得查询结果，并根据所述查询请求中的数据返回类型，对所述查询结果进行处理，获得输出结果，包括：

对所述查询请求中进行解析获得数据返回类型，根据所述数据返回类型判断是否需要将查询结果进行分页显示，如果是，则对所述数据查询条件进行拆分，获得查询子条件；

分别执行所述查询子条件，获得子查询结果；

将所述子查询结果匹配不同的输出界面，并输出所述子查询结果。

7.根据权利要求3所述的方法，其特征在于，所述预设请求配置表包括：

请求界面配置表、数据配置表、显示要素配置表和查询条件配置表。

8.一种数据查询处理系统，其特征在于，该系统包括：

请求标准化单元，用于对获取的查询请求进行标准化处理，获得目标查询请求；

请求配置单元，用于根据预设请求配置表，对所述目标查询请求进行配置，获得数据查询条件；

请求处理单元，用你有执行所述数据查询条件，获得查询结果，并根据所述查询请求中的数据返回类型，对所述查询结果进行处理，获得输出结果。

9.根据权利要求8所述的系统，其特征在于，所述请求标准化单元包括：

第一解析子单元，用于对获取的查询请求进行解析，获得查询请求信息集合，其中，所述查询请求信息集合包括请求界面信息、查询条件信息、展示项信息和数据返回类型；

标准化处理子单元，用于依据预设标准化条件，分别对所述查询请求信息集合中的信息进行标准化处理，获得目标查询请求。

10.根据权利要求9所述的系统，其特征在于，所述请求配置单元包括：

第二解析子单元，用于对所述目标查询请求进行解析，获得解析信息，其中，所述解析信息包括请求界面信息、展示项信息、查询条件信息和数据返回类型；

配置子单元，用于依据预设请求配置表，对所述解析信息进行验证，并对验证后的信息进行配置，获得与各个验证后的信息相匹配的配置参数；

拼接子单元，用于对各个所述配置参数进行拼接处理，获得数据查询条件。