CN111382226B - 一种数据库查询检索方法、装置和电子设备 - Google Patents

Abstract

本发明公开了一种数据库查询检索方法、装置和电子设备，方法包括：从表结构不同的多个数据库表中获取数据并根据获取的数据对应生成全文搜索引擎Elasticsearch的索引；利用所述全文搜索引擎Elasticsearch接收包含索引模板标识的查询检索请求；根据所述索引模板标识在预先建立的多个索引模板中查找到对应的索引模板，在所述索引模板中指示的一个或多个不同的索引中进行查询检索，得到查询检索结果。本发明实施例的技术方案解决了跨业务、跨数据库等查询检索时性能差、效率低的问题，并且查询功能免开发，节约了人力和时间。

Description

一种数据库查询检索方法、装置和电子设备

技术领域

本发明涉及数据库技术领域，具体涉及一种数据库查询检索方法、装置和电子设备。

背景技术

目前在企业的业务系统中，大多使用数据库进行数据存储，数据库有Qracle、SQLServer、MySQL等很多种。每个业务系统中，都会根据业务功能划分，分别设计对应功能的库表，进行具体业务数据的增删改查。其中，查询功能是每个业务系统的业务模块必不可少的功能，需要耗费时间和人力进行开发，开发难度大。另外，如果涉及多个业务系统或不同数据库语言的多种数据库，传统的数据库查询方式的性能差、效率低。

发明内容

本发明提供了一种数据库查询检索方法、装置和电子设备，解决了数据库查询检索性能差、效率低的问题，并且查询功能免开发，节约了人力和时间。

根据本申请的一个方面，提供了一种数据库查询检索方法，包括：

从表结构不同的多个数据库表中获取数据并根据获取的数据对应生成全文搜索引擎Elasticsearch的索引；

利用所述全文搜索引擎Elasticsearch接收包含索引模板标识的查询检索请求；

根据所述索引模板标识在预先建立的多个索引模板中查找到对应的索引模板，在所述索引模板中指示的一个或多个不同的索引中进行查询检索，得到查询检索结果。

根据本申请的另一个方面，提供了一种数据库查询检索装置，包括：

索引生成模块，用于从表结构不同的多个数据库表中获取数据并根据获取的数据对应生成全文搜索引擎Elasticsearch的索引；

请求接收模块，用于利用所述全文搜索引擎Elasticsearch接收包含索引模板标识的查询检索请求；

查询检索模块，用于根据所述索引模板标识在预先建立的多个索引模板中查找到对应的索引模板，在所述索引模板中指示的一个或多个不同的索引中进行查询检索，得到查询检索结果。

根据本申请的又一个方面，提供了一种电子设备，所述电子设备包括：存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的程序指令，所述程序指令被所述处理器执行时能够实现本申请一个方面所述的方法。

应用本发明实施例的数据库查询检索方法，从表结构不同的多个数据库表中获取数据并根据获取的数据对应生成全文搜索引擎Elasticsearch的索引，利用全文搜索引擎Elasticsearch接收包含索引模板标识的查询检索请求，根据索引模板标识在预先建立的多个索引模板中查找到对应的索引模板，在索引模板中指示的一个或多个不同的索引中进行查询检索，得到查询检索结果。从而，利用Elasticsearch非结构化特性，实现跨业务、跨数据库、跨系统的统一查询检索，提高了查询的性能和效率，并且查询功能免开发，节约了人力和时间，方便大规模推广应用。

附图说明

图1是本发明一个实施例的数据库查询检索方法的流程示意图；

图2是本发明另一个实施例的数据库查询检索方法流程图；

图3是本发明一个实施例的数据库查询检索装置的框图；

图4是本发明一个实施例的电子设备的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的设计构思在于：针对现有技术的数据库查询检索需要单独开发查询模块，费事费力，并且在跨系统、跨数据库查询时效率低，实时性较差等问题，提出一种数据库查询检索方案，本发明实施例的查询检索方案基于全文搜索引擎Elasticsearch实现，通过从表结构不同的多个数据库表中获取数据并根据获取的数据对应生成全文搜索引擎Elasticsearch的索引，利用全文搜索引擎Elasticsearch接收查询检索请求，在索引中进行查询检索得到查询检索结果，实现跨业务、跨数据库、跨系统的统一查询搜索，并且查询功能免开发，节约了人力和时间成本。

为便于理解，这里对搜索引擎Elasticsearch进行简要说明。Elasticsearch是一个分布式可扩展的实时搜索和分析引擎，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，它不仅包括了全文搜索功能，还可以进行以下工作：分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。实时分析的分布式搜索引擎，可以扩展到上百台服务器，处理大量的结构化或非结构化数据。

Elasticsearch是面向文档型数据库，一条数据在这里就是一个文档，用JSON作为文档序列化的格式。Elasticsearch有几个比较重要的概念，下面分别进行说明：索引(index)，索引是Elasticsearch的一个逻辑存储，可以理解为关系型数据库中的数据库，Elasticsearch可以把索引数据存放到一台服务器上，也可以分片后存到多台服务器上，每个索引有一个或多个分片，每个分片可以有多个副本。索引类型(index_type)，在Elasticsearch中，一个索引对象可以存储多个不同用途的对象，通过索引类型可以区分单个索引中的不同对象，可以理解为关系型数据库中的表，每个索引类型可以有不同的结构，但是不同的索引类型不能为相同的属性设置不同的类型。文档(document)，存储在Elasticsearch中的主要实体叫文档，可以理解为关系型数据库中表的一行记录，每个文档由多个字段(可以理解为关系型数据库中表的一列)构成，Elasticsearch是一个非结构化的数据库，每个文档可以有不同的字段，并且有一个唯一的标识符。映射(mapping)，Elasticsearch默认动态创建索引和索引类型的映射，Elasticsearch提供了RESTful API，可以通过post请求，创建索引的映射。

本发明实施例中重点是利用Elasticsearch非结构化的特点，解决跨业务、跨数据库查询检索性能低的问题。

图1是本发明一个实施例的数据库查询检索方法的流程示意图，参见图1，本实施例的数据库查询检索方法，包括下列步骤：

步骤S101，从表结构不同的多个数据库表中获取数据并根据获取的数据对应生成全文搜索引擎Elasticsearch的索引；

步骤S102，利用所述全文搜索引擎Elasticsearch接收包含索引模板标识的查询检索请求；

步骤S103，根据所述索引模板标识在预先建立的多个索引模板中查找到对应的索引模板，在所述索引模板中指示的一个或多个不同的索引中进行查询检索，得到查询检索结果。

由图1所示可知，本发明实施例的数据库查询检索方法从表结构不同的多个数据库表中获取数据并根据获取的数据对应生成全文搜索引擎Elasticsearch的索引，后续在Elasticsearch接收到包含索引模板标识的查询检索请求时，根据索引模板标识在预先建立的多个索引模板中查找到对应的索引模板，进而在索引模板中指示的一个或多个不同的索引中进行查询检索得到查询检索结果，从而与现有技术相比，能够在不同的业务系统、不同的表结构的数据库表中实现统一查询检索并提高了查询检索的效率，而且，不需要单独针对不同业务系统的查询功能模块，节省了企业的人力和时间成本，满足了需求。

总体上，本发明实施例的数据库查询检索方法的实现思路是：编写需要查询的具体业务系统数据库表的SQL语句脚本，通过Logstahs准确实时同步到Elasticsearch搜索引擎的索引库，然后根据索引库中的索引组合生成不同的索引模板供查询时使用(Logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台，可以用它来统一对应用程序日志进行收集管理)。最后，结合用于页面呈现的Velocity模板引擎，实现单个业务表或多个业务表、多个业务系统、多种数据库语言的统一查询检索，并避免了针对不同业务系统单独开发查询模块。

图2是本发明另一个实施例的数据库查询检索方法流程图，下面结合图2对本发明实施例的数据库查询检索方法的实现步骤进行说明。

参见图2，总的来看从上至下包括：步骤一，在Elasticsearch搜索引擎中接收查询检索请求。

查询请求中包括索引模板标识，比如，部分业务库索引模板(即，跨数据库索引模板)，全文搜索索引模板，单数据库索引模板以及单数据表索引模板，其中，全文搜索索引模板中包括全部索引的标识，跨数据库索引模板中包括不同数据库的数据库表对应的索引的标识，单数据库索引模板包括同一个数据库中不同数据库表对应的索引的标识。

需要说明的是，本实施例中根据查询需要进行业务组合生成Elasticsearch索引模板，查询请求不同，使用的索引模板也不同。

步骤二，查询同步到Elasticsearch中的所有业务系统的数据库表。

参见图2，根据索引模板指示的索引，在索引库中找到对应的索引，比如索引1、索引2，索引3。这里的索引是根据业务系统的数据库表对应生成的。索引生成的过程包括：

步骤2.1，预先编写的包含数据库表查询SQL语句的SQL脚本。

比如，将每个需要进行查询检索的业务库1，2，……n中所有业务表(比如表1，表2，表3)的SQL(Structured Query Language，结构化查询语言，简称SQL)查询语句编写成SQL脚本。

步骤2.2、配置Logstahs并启动；

这里，先获取表结构不同的多个数据库表所属业务系统的数据库的配置信息，再利用Logstash根据数据库的配置信息从对应数据库的数据库表中获取数据，对获取的数据进行解析和过滤处理后对应存储到全文搜索引擎Elasticsearch的索引中。

参见图2，Logstash获取数据可以通过预先编写的包含数据库表查询SQL语句的SQL脚本从对应数据库的数据库表中获取数据。具体实现时，在Logstahs中配置涉及具体业务系统的数据库配置信息，如：数据库链接、驱动、账号、密码等，并在Logstahs中配置业务系统对应的数据库表与Elasticsearch的索引库的映射关系。

启动配置好的Logstahs，Logstahs启动后可以自动实时同步配置好的数据库表数据，即保持Elasticsearch的索引与业务系统对应的数据库表的数据一致。

Logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，本实施例只用到它的同步数据的功能，如将Oralce数据库中的数据同步到Elasticsearch中。

步骤三，页面呈现查询检索结果。

本实施例中将查询检索结果发送至模板引擎，使所述模板引擎读取页面模板并根据所述查询检索结果及页面模板生成页面。

参见图2，根据Elasticsearch索引模板结合Velocity模板引擎实现可定制化的查询检索结果页面呈现。具体的，本发明实施例中将查询检索结果发送至模板引擎，使模板引擎读取页面模板(参见图2，页面模板为多个，可根据需求进行设定)并根据查询检索结果及页面模板生成页面，实现了个性化页面呈现，满足了实际需求。这里的模板引擎比如Velocity模板引擎，Velocity是一个基于Java的模板引擎框架，提供的模板语言可以使用在Java中定义的对象和变量上，在不使用JSP的情况下，可以用Velocity让HTML具有动态内容的特性。

至此，本发明实施例的数据库查询检索方法支持单独业务查询检索功能不同业务功能的统一搜索比如跨业务、跨数据库、跨系统的统一查询检索，支持统一检索不同结构的表数据。并通过Logstash同步数据，监控数据库数据实时变化，确保了查询的及时性和准确性。最后，避免了针对不同业务系统的查询功能单独开发，节约了时间和人力。

与前述数据库查询检索方法同属于一个技术构思，本发明实施例还提供了一种数据库查询检索装置，图3是本发明一个实施例的数据库查询检索装置的框图，参见图3，本实施例的数据库查询检索装置300包括：

索引生成模块301，用于从表结构不同的多个数据库表中获取数据并根据获取的数据对应生成全文搜索引擎Elasticsearch的索引；

请求接收模块302，用于利用所述全文搜索引擎Elasticsearch接收包含索引模板标识的查询检索请求；

查询检索模块303，用于根据所述索引模板标识在预先建立的多个索引模板中查找到对应的索引模板，在所述索引模板中指示的一个或多个不同的索引中进行查询检索，得到查询检索结果。

这里的预先建立的索引模板包括：全文搜索索引模板、跨数据库索引模板、单数据库索引模板以及单数据表索引模板，其中，全文搜索索引模板中包括全部索引的标识，跨数据库索引模板中包括不同数据库的数据库表对应的索引的标识，单数据库索引模板包括同一个数据库中不同数据库表对应的索引的标识。

在本发明的一个实施例中，数据库查询检索装置300还包括：页面呈现模块，用于将查询检索结果发送至模板引擎，使所述模板引擎读取页面模板并根据所述查询检索结果及页面模板生成页面。

在本发明的一个实施例中，索引生成模块301，具体用于获取表结构不同的多个数据库表所属业务系统的数据库的配置信息，利用Logstash根据数据库的配置信息从对应数据库的数据库表中获取数据，对获取的数据进行解析和过滤处理后对应存储到全文搜索引擎Elasticsearch的索引中。

在本发明的一个实施例中，索引生成模块301用于利用Logstash通过预先编写的包含数据库表查询SQL语句的SQL脚本从对应数据库的数据库表中获取数据。

需要说明的是，图3所示的数据库查询检索装置的各模块的工作过程的举例说明与前述方法实施例中各步骤的举例解释说明一致，因此可以参见前述实施例中的说明，这里不再赘述。

图4是本发明一个实施例的电子设备的结构示意图。如图4所示，该电子设备包括存储器401和处理器402，存储器401和处理器402之间通过内部总线403通讯连接，存储器401存储有能够被处理器402执行的程序指令，程序指令被处理器402执行时能够实现上述的数据库查询检索方法。

此外，上述的存储器401中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明的另一个实施例提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，正如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围以权利要求的保护范围为准。

Claims (7)

1.一种数据库查询检索方法，其特征在于，包括：

从表结构不同的多个数据库表中获取数据并根据获取的数据对应生成全文搜索引擎Elasticsearch的索引；

利用所述全文搜索引擎Elasticsearch接收包含索引模板标识的查询检索请求；

根据所述索引模板标识在预先建立的多个索引模板中查找到对应的索引模板，在所述索引模板中指示的一个或多个不同的索引中进行查询检索，得到查询检索结果；所述预先建立的索引模板包括：全文搜索索引模板、跨数据库索引模板、单数据库索引模板以及单数据表索引模板，其中，全文搜索索引模板中包括全部索引的标识，跨数据库索引模板中包括不同数据库的数据库表对应的索引的标识，单数据库索引模板包括同一个数据库中不同数据库表对应的索引的标识；将所述全文搜索引擎Elasticsearch的索引组合生成不同的索引模板供查询时使用；

所述从表结构不同的多个数据库表中获取数据并根据获取的数据对应生成全文搜索引擎Elasticsearch的索引包括：

获取表结构不同的多个数据库表所属业务系统的数据库的配置信息，利用Logstash根据数据库的配置信息从对应数据库的数据库表中获取数据，对获取的数据进行解析和过滤处理后对应存储到全文搜索引擎Elasticsearch的索引中。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

将查询检索结果发送至模板引擎，使所述模板引擎读取页面模板并根据所述查询检索结果及页面模板生成页面。

3.根据权利要求1所述的方法，其特征在于，所述利用Logstash根据数据库的配置信息从对应数据库的数据库表中获取数据包括：

利用Logstash通过预先编写的包含数据库表查询SQL语句的SQL脚本从对应数据库的数据库表中获取数据。

4.一种数据库查询检索装置，其特征在于，包括：

索引生成模块，用于从表结构不同的多个数据库表中获取数据并根据获取的数据对应生成全文搜索引擎Elasticsearch的索引；

请求接收模块，用于利用所述全文搜索引擎Elasticsearch接收包含索引模板标识的查询检索请求；

查询检索模块，用于根据所述索引模板标识在预先建立的多个索引模板中查找到对应的索引模板，在所述索引模板中指示的一个或多个不同的索引中进行查询检索，得到查询检索结果；所述预先建立的索引模板包括：全文搜索索引模板、跨数据库索引模板、单数据库索引模板以及单数据表索引模板，其中，全文搜索索引模板中包括全部索引的标识，跨数据库索引模板中包括不同数据库的数据库表对应的索引的标识，单数据库索引模板包括同一个数据库中不同数据库表对应的索引的标识；将所述全文搜索引擎Elasticsearch的索引组合生成不同的索引模板供查询时使用；

其中，所述索引生成模块，具体用于获取表结构不同的多个数据库表所属业务系统的数据库的配置信息，利用Logstash根据数据库的配置信息从对应数据库的数据库表中获取数据，对获取的数据进行解析和过滤处理后对应存储到全文搜索引擎Elasticsearch的索引中。

5.根据权利要求4所述的装置，其特征在于，该装置还包括：页面呈现模块，用于将查询检索结果发送至模板引擎，使所述模板引擎读取页面模板并根据所述查询检索结果及页面模板生成页面。

6.根据权利要求4所述的装置，其特征在于，所述索引生成模块，用于利用Logstash通过预先编写的包含数据库表查询SQL语句的SQL脚本从对应数据库的数据库表中获取数据。

7.一种电子设备，其特征在于，所述电子设备包括：存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的程序指令，所述程序指令被所述处理器执行时能够实现权利要求1-3任一项所述的方法。