CN113761016B - 数据查询方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种数据查询方法、装置、设备及存储介质，通过获取用户的数据查询请求，该数据查询请求包括：包含有目标数据库标识和字段值的索引约束参数，由于搜索引擎中保存有按照索引约束参数存储的目标数据库的数据信息，因而，根据上述索引约束参数，在搜索引擎中进行数据查询，确定出目标数据库标识对应目标数据库中目标查询字段值处的目标数据，最后输出该数据查询请求对应的目标数据。该技术方案中，数据库中的数据与搜索引擎中的数据一致，从而采用搜索引擎的检索功能进行数据查询时，提高了检索效率。

Description

数据查询方法、装置、设备及存储介质

技术领域

本申请实施例涉及大数据技术领域，尤其涉及一种数据查询方法、装置、设备及存储介质。

背景技术

随着网络技术的迅速发展，基于Web环境的互联网应用越来越广泛，企业信息化的过程中各种应用都架设在Web平台上，由此出现了大量的Web应用系统的开发需求，而这些Web应用系统的数据需要通过Web平台上的数据库进行存储。

现有技术中，Web平台上的数据库存储Web应用系统的数据时，一般通过大量的表单来完成数据的保存。因而，在后续进行数据查询时，需要调用大量的查询接口，基于各种条件在数据库的表单中执行数据的精准查询和模糊查询。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：在数据库的表单中进行查询时，特别是针对大数据量的多字段的模糊查询，由于数据量大，模糊匹配的字段比较多，会存在数据查询效率低的问题。

发明内容

本申请实施例提供一种数据查询方法、装置、设备及存储介质，用以解决现有数据库中数据查询效率低的问题。

根据本申请的第一方面，本申请实施例提供一种数据查询方法，包括：

获取用户的数据查询请求，所述数据查询请求包括：包含有目标数据库标识和目标查询字段值的索引约束参数；

根据所述索引约束参数，在搜索引擎中进行数据查询，确定出所述目标数据库标识对应目标数据库中目标查询字段值处的目标数据，所述搜索引擎中保存有按照所述索引约束参数存储的所述目标数据库的数据信息；

输出所述数据查询请求对应的目标数据。

在第一方面的一种可能设计中，所述索引约束参数还包括：目标查询数据表标识；

所述根据所述索引约束参数，在搜索引擎中进行数据查询，确定出所述目标数据库标识对应目标数据库中目标查询字段值处的目标数据，包括：

根据所述目标数据库标识，在所述搜索引擎中，定位到所述目标数据库对应的数据表集合；

根据所述目标查询数据表标识，在所述目标数据库对应的数据表集合中，定位到目标查询数据表；

在所述目标查询数据表中进行查询，确定所述目标查询字段值处的目标数据。

可选的，所述索引约束参数还包括：目标查询字段标识；

所述在所述目标查询数据表中进行查询，确定所述目标查询字段值处的目标数据，包括：

根据所述目标查询字段标识，在所述目标查询数据表中进行查询，定位到目标查询字段；

在所述目标查询字段中进行查询，确定所述目标查询字段值对应的目标数据。

在第一方面的另一种可能设计中，在所述获取用户的数据查询请求之前，所述方法还包括：

获取针对所述目标数据库的数据处理请求，所述数据处理请求包括：待处理数据和所述索引约束参数；

基于预配置的所述数据库表结构和所述索引约束参数，将所述待处理数据插入到所述目标数据库中，生成数据库日志；

通过消息中间件，将所述数据库日志传输至消息服务模块；

利用所述消息服务模块对所述数据库日志进行处理，得到所述目标数据库的数据更新信息；

基于所述数据更新信息，更新所述搜索引擎中所述目标数据库的数据信息。

可选的，所述基于预配置的所述数据库表结构和所述索引约束参数，将所述待处理数据插入到所述目标数据库中，生成数据库日志，包括：

根据所述索引约束参数，确定出目标处理数据表以及所述目标处理数据表中的目标处理字段；

基于所述数据库表结构的配置信息，将所述待处理数据动态保存到所述目标数据库中，生成所述数据库日志。

可选的，所述利用所述消息服务模块对所述数据库日志进行处理，得到所述目标数据库的数据更新信息，包括：

利用所述消息服务模块，将所述数据库日志转换成对象表示的目标处理数据；

根据所述数据库日志的消息类型，将所述目标处理数据包装成所述消息类型对应的事件；

根据所述事件的类型，确定所述事件对应的事件处理单元；

利用所述事件对应的事件处理单元对所述目标处理数据进行处理，得到所述目标数据库的数据更新信息。

根据本申请的第二方面，本申请实施例提供一种数据查询装置，包括：

获取模块，用于获取用户的数据查询请求，所述数据查询请求包括：包含有目标数据库标识和目标查询字段值的索引约束参数；

处理模块，用于根据所述索引约束参数，在搜索引擎中进行数据查询，确定出所述目标数据库标识对应目标数据库中目标查询字段值处的目标数据，所述搜索引擎中保存有按照所述索引约束参数存储的所述目标数据库的数据信息；

输出模块，用于输出所述数据查询请求对应的目标数据。

在第二方面的一种可能设计中，所述索引约束参数还包括：目标查询数据表标识；所述处理模块，具体用于：

根据所述目标数据库标识，在所述搜索引擎中，定位到所述目标数据库对应的数据表集合；

根据所述目标查询数据表标识，在所述目标数据库对应的数据表集合中，定位到目标查询数据表；

在所述目标查询数据表中进行查询，确定所述目标查询字段值处的目标数据。

可选的，所述索引约束参数还包括：目标查询字段标识；

所述处理模块，用于在所述目标查询数据表中进行查询，确定所述目标查询字段值处的目标数据，具体为：

所述处理模块，具体用于根据所述目标查询字段标识，在所述目标查询数据表中进行查询，定位到目标查询字段，在所述目标查询字段中进行查询，确定所述目标查询字段值对应的目标数据。

在第二方面的另一种可能设计中，所述获取模块，还用于获取针对所述目标数据库的数据处理请求，所述数据处理请求包括：待处理数据和所述索引约束参数；

所述处理模块，还用于：

基于预配置的所述数据库表结构和所述索引约束参数，将所述待处理数据插入到所述目标数据库中，生成数据库日志；

通过消息中间件，将所述数据库日志传输至消息服务模块；

利用所述消息服务模块对所述数据库日志进行处理，得到所述目标数据库的数据更新信息；

基于所述数据更新信息，更新所述搜索引擎中所述目标数据库的数据信息。

可选的，所述处理模块，用于基于预配置的所述数据库表结构和所述索引约束参数，将所述待处理数据插入到所述目标数据库中，生成数据库日志，具体为：

所述处理模块，具体用于根据所述索引约束参数，确定出目标处理数据表以及所述目标处理数据表中的目标处理字段，基于所述数据库表结构的配置信息，将所述待处理数据动态保存到所述目标数据库中，生成所述数据库日志。

可选的，所述处理模块，用于利用所述消息服务模块对所述数据库日志进行处理，得到所述目标数据库的数据更新信息，具体为：

所述处理模块，具体用于：

利用所述消息服务模块，将所述数据库日志转换成对象表示的目标处理数据；

根据所述数据库日志的消息类型，将所述目标处理数据包装成所述消息类型对应的事件；

根据所述事件的类型，确定所述事件对应的事件处理单元；

利用所述事件对应的事件处理单元对所述目标处理数据进行处理，得到所述目标数据库的数据更新信息。

根据本申请的第三方面，本申请实施例提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面及各可能设计所述的方法。

根据本申请的第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述第一方面及各可能设计所述的方法。

根据本申请的第五方面，本申请实施例提供一种计算机程序产品，包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行上述第一方面及各可能设计所述的方法。

本申请实施例提供的数据查询方法、装置、设备及存储介质，通过获取用户的数据查询请求，该数据查询请求包括：包含有目标数据库标识和字段值的索引约束参数，由于搜索引擎中保存有按照索引约束参数存储的目标数据库的数据信息，因而，根据上述索引约束参数，在搜索引擎中进行数据查询，确定出目标数据库标识对应目标数据库中目标查询字段值处的目标数据，最后输出该数据查询请求对应的目标数据。该技术方案中，数据库中的数据与搜索引擎中的数据一致，从而采用搜索引擎的检索功能进行数据查询时，提高了检索效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1A为本申请实施例提供的数据查询方法的一种应用场景示意图；

图1B为本申请实施例提供的数据查询方法的另一种应用场景示意图；

图2为本申请实施例提供的数据查询方法实施例一的流程示意图；

图3为本申请实施例提供的数据查询方法实施例二的流程示意图；

图4为本申请实施例提供的数据查询方法实施例三的流程示意图；

图5为本申请实施例中数据库表结构的示意图；

图6为本申请实施例提供的数据查询方法实施例四的流程示意图；

图7为本实施例中消息服务模块的结构示意图；

图8为本申请实施例提供的数据查询装置实施例的结构示意图；

图9为本申请实施例提供的电子设备实施例的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

首先对本申请实施例所涉及的名词进行解释：

数据库：是一个按照数据结构来组织、存储和管理数据的计算机软件系统，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。数据库的类型包括：关系型数据库和非关系型数据库。其中，关系型数据库的存储格式可以直观地反映实体间的关系，常见的关系型数据库有Mysql，SqlServer等。非关系型数据库指的是分布式的、非关系型的、不保证遵循ACID原则的数据存储系统，其中，ACID是指数据库事务正确执行的四个基本要素的缩写，包含：原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)。

在本申请的实施例中，数据库包括并不限于：sqlserver、mysql、oracle、redis、hbase等存储系统。

搜索引擎：是根据用户需求与一定算法，运用特定策略从互联网检索出指定信息并反馈给用户的一门检索技术。其中，搜索方式是搜索引擎的一个关键环节，大致可分为四种：全文搜索引擎、元搜索引擎、垂直搜索引擎和目录搜索引擎，它们各有特点并适用于不同的搜索环境。

其中，全文搜索引擎是利用爬虫程序抓取互联网上所有相关文章予以索引的搜索方式。它的工作原理是计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。一般网络用户适用于全文搜索引擎。这种搜索方式方便、简捷，并容易获得所有相关信息。但搜索到的信息过于庞杂，因此用户需要逐一浏览并甄别出所需信息。

现在主流的全文搜索引擎包括但不限于：elasticsearch、solr、lucene。

消息队列中间件：是大型系统中的重要组件，已经逐渐成为企业系统内部通信的核心手段，它具有松耦合、异步消息、流量削峰、可靠投递、广播、流量控制、最终一致性等一系列功能，已经成为异步远程过程调用(remote procedure call，RPC)的主要手段之一。目前，常见的消息队列中间件有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ等。

由上述背景技术的内容可知，在数据库的表单中进行查询时，特别是针对大数据量的多字段的模糊查询，由于数据量大，模糊匹配的字段比较多，会存在数据查询效率低的问题，针对该问题，发明人发现：如果将对数据库的数据增加、数据修改、数据删除等操作映射到搜索引擎，并利用搜索引擎的检索替代数据库的查询，能够解决大数据量下多字段模糊查询响应慢的问题，从而提升了web应用的响应速度。

进一步的，通过配置数据库表结构，能够提供增加、修改、删除、查询等维度的http接口来提升开发效率和研发质量。

具体的，本申请的技术方案为：当搜索引擎中保存有按照索引约束参数存储的目标数据库的数据信息时，在电子设备获取到用户的数据查询请求时，便可以根据该数据查询请求中包含有目标数据库标识的索引约束参数，在搜索引擎中进行数据查询，便能够确定出数据查询请求对应的目标数据。即，将目标数据库的数据信息映射到搜索引擎时，能够确保数据库与搜索引擎数据一致，从而在采用搜索引擎的检索功能来替换数据库的模糊查询时，可以确保在特大数据量(百亿级)下仍然能提供出色的多字段模糊查询性能，提高了检索效率。

下面在介绍本申请的技术方案之前，首先介绍一下本申请技术方案的应用场景。图1A为本申请实施例提供的数据查询方法的一种应用场景示意图。如图1A所示，该场景示意图中可以包括：用户终端11和电子设备12。其中，该电子设备12可以包括：配置模块121、数据库122、消息中间件123、消息服务模块124和搜索引擎125。

可选的，当用户针对数据库有数据处理请求时，可以通过操作用户终端11向电子设备12提交数据处理请求，该电子设备12的配置模块121能够获取到该数据处理请求，并根据预置的数据库结构、该数据处理请求中携带的索引约束参数和待处理数据动态的更新该数据库122中存储的数据信息，从而产生数据库日志，并将该数据库日志通过消息中间件123传输至消息服务模块124中，消息服务模块124对接收到的数据库日志进行处理，并将数据库122的数据更新信息更新到搜索引擎125中。

相应的，当用户有数据查询请求时，该用户可以通过用户终端11向电子设备12发送数据查询请求，这样电子设备12的搜索引擎125可以直接获取到该数据查询请求，并基于该数据查询请求中携带待查询数据的索引约束参数，在搜索引擎中进行数据查询，能够直接确定出数据查询请求对应的目标数据，并执行数据导出过程。

图1B为本申请实施例提供的数据查询方法的另一种应用场景示意图。图1B与图1A的区别在于，用户可以直接操作电子设备12，例如，电子设备12具有用户操作界面120。因而，用户针对数据库有数据处理请求或数据查询请求时，可以直接操作该用户操作界面120，以使得该电子设备12通过该用户操作界面120获取到数据处理请求或数据查询请求。

可以理解的是，图1B中的电子设备12与图1A中的电子设备包括的各组成部分可以相同，在图1B所示的应用场景中，该电子设备12也可以包括：配置模块121、数据库122、消息中间件123、消息服务模块124和搜索引擎125。关于各组成的作用可以参见图1A所示应用场景中的记载，此处不再赘述。

需要说明的是，图1A和图1B仅是本申请实施例提供的两种示例性的应用场景示意图，各应用场景包括的设备可以根据实际需求设定，此处不再赘述。

可选的，本申请实施例提供的数据查询方法以图1A或图1B所示场景示意图中的电子设备作为执行主体进行解释说明。通常情况下，该电子设备是服务器，也可以是专用于存储数据的数据存储设备，例如，终端设备，本申请实施例并不对其进行限定。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2为本申请实施例提供的数据查询方法实施例一的流程示意图。如图2所示，该数据查询方法可以包括如下步骤：

S201、获取用户的数据查询请求，该数据查询请求包括：包含有目标数据库标识和字段值的索引约束参数。

作为一种示例，当用户有数据查询需求时，用户可以直接操作电子设备发出数据查询请求。例如，当电子设备具有用户操作界面时，用户可以通过操作该用户操作界面发出数据查询请求；当电子设备具有语音接收功能时，也可以通过语音发出数据查询请求，以便电子设备利用具有的语音接收功能获取该数据查询请求。

作为另一种示例，当电子设备与用户终端连接时，用户可以通过用户终端向电子设备发送数据查询请求，以电子设备获取到该数据查询请求。

本实施例并不对电子设备获取数据查询请求的方式进行限定，其可以根据实际需求确定，此处不作赘述。

在实际应用中，由于索引约束参数是按照数据库的标识、数据表的标识(也称，数据表的别名)、字段的标识(也称，字段别名)(可选的)和字段值等格式存储的，基于不同的索引约束参数可以定位到不同的数据库、不同的字段以及不同的字段值，进而确定出不同数据库中的数据信息。因而，在本实施例中，为了使得用户准确定位到待查询的目标数据，用户发出的数据查询请求中需要携带索引约束信息，且该索引约束信息可以包含目标数据库标识和目标查询字段值。

S202、根据上述索引约束参数，在搜索引擎中进行数据查询，确定出目标数据库标识对应目标数据库中目标查询字段值处的目标数据，该搜索引擎中保存有按照索引约束参数存储的目标数据库的数据信息。

示例性的，电子设备的搜索引擎中保存有按照不同索引约束参数存储的不同数据库的数据信息，该搜索引擎中的数据可以是按照倒排索引的方式存储的，所以，在电子设备执行数据检索时，首先对索引约束参数进行解析，确定出索引约束参数至少包括的目标数据库标识和目标查询字段值，然后基于该目标数据库标识和目标查询字段值在搜索引擎中进行全文检索，进而获取数据查询请求对应的目标数据。

关于该步骤的具体实现可参见下述图3所示实施例中的记载，此处不再赘述。

S203、输出该数据查询请求对应的目标数据。

作为一种示例，当电子设备具有用户操作界面时，可以将该数据查询请求对应的目标数据显示在该用户操作界面上，从而呈现给用户。

作为另一种示例，电子设备还可以将该数据查询请求对应的目标数据发送给用户终端，以使用户终端将确定的目标数据呈现给用户。

本申请实施例提供的数据查询方法，通过获取用户的数据查询请求，该数据查询请求包括：包含有目标数据库标识和字段值的索引约束参数，由于搜索引擎中保存有按照索引约束参数存储的目标数据库的数据信息，因而，根据上述索引约束参数，在搜索引擎中进行数据查询，确定出目标数据库标识对应目标数据库中目标查询字段值处的目标数据，最后输出该数据查询请求对应的目标数据。该技术方案中，数据库中的数据与搜索引擎中的数据一致，从而采用搜索引擎的检索功能进行数据查询时，提高了检索效率。

示例性的，在本申请实施例的一种可能设计中，上述索引约束参数还包括：目标查询数据表标识、目标查询字段值。此时，上述S202可以通过如下图3所示的实施例实现。

图3为本申请实施例提供的数据查询方法实施例二的流程示意图。如图3所示，上述S202可以通过如下步骤实现：

S301、根据目标数据库标识，在搜索引擎中，定位到目标数据库对应的数据表集合。

在本实施例中，电子设备的搜索引擎中存储有多个数据库的数据，每个数据库有一个标识，而且每个数据库的数据存储至搜索引擎时是按照数据库的标识、数据表的标识(也称，数据表的别名)、字段的标识(也称，字段别名)(可选的)和字段值等格式的索引约束参数存储的，因而，电子设备获取到数据查询请求，首先从数据查询请求中解析到目标数据库标识，然后基于该目标数据库标识在搜索引擎中定位到目标数据库对应的数据表集合。

S302、根据该目标查询数据表标识，在目标数据库对应的数据表集合中，定位到目标查询数据表。

可选的，每个数据库的数据可能存储到多个数据表中，因而，从索引约束参数中确定出目标查询数据表标识后，便可以在目标数据库对应的数据表集合中进行搜索查询，进而定位待查询的目标查询数据表。

在本申请的一种示例中，电子设备可以直接在目标查询数据表中进行查询，确定目标查询字段值处的目标数据。例如，在索引约束参数不包括目标查询字段标识时，电子设备可以直接基于目标查询字段值在目标查询数据表中进行查询，直接定位到目标查询字段值处，从而获取到目标查询字段值处的目标数据。

在本申请的另一种示例中，在索引约束参数还包括：目标查询字段标识时，在目标查询数据表中进行查询确定目标查询字段值处的目标数据可以通过如下步骤实现；

S303、根据目标查询字段标识，在上述目标查询数据表中进行查询，定位到目标查询字段。

在本步骤中，在索引约束参数包括目标查询字段标识时，电子设备可以根据该目标查询字段标识，定位到目标查询数据表中的目标查询字段，从而为获取到目标数据奠定基础。

S304、在目标查询字段中进行查询，确定目标查询字段值对应的目标数据。

示例性的，搜索引擎中数据是按照索引约束参数(key)存储的，不同的Key对应不同的数据索引信息，因而，在定位到目标查询字段时，电子设备可以定位到目标查询字段值所在的位置，从而获取到该目标查询字段值对应的目标数据。

本申请实施例提供的数据查询方法，若索引约束参数包括目标数据库标识、目标查询数据表标识和目标字段值，则根据目标数据库标识，在搜索引擎中，可以定位到目标数据库对应的数据表集合，进而根据目标查询数据表标识，在目标数据库对应的数据表集合中，定位到目标查询数据表，并在目标查询数据表中进行查询，能够确定目标查询字段值处的目标数据；进一步的，若索引约束参数还包括目标查询字段标识，则首先根据目标查询字段标识，在目标查询数据表中进行查询，定位到目标查询字段，再在目标查询字段中进行查询，确定目标查询字段值对应的目标数据。该技术方案，基于索引约束参数可以在搜索引擎可以查询到目标数据，避免了在数据库中的模糊查询方式，提高了数据查询效率。

示例性的，在本申请实施例的一种可能设计中，电子设备能够基于数据查询请求中携带的索引约束参数在搜索引擎中执行数据查询的前提是搜索引擎中存储有相关数据信息，因而，在上述S201之前，该技术方案还需要包括数据处理的过程，例如，数据存储、更新、删除等操作。

可选的，图4为本申请实施例提供的数据查询方法实施例三的流程示意图。如图4所示，在上述S201之前，该方法还可以包括如下步骤：

S401、获取针对目标数据库的数据处理请求，该数据处理请求包括：待处理数据和索引约束参数。

作为一种示例，在用户针对目标数据库具有数据操作需求(例如，数据存储、更新、删除等操作)时，可以通过操作电子设备发出数据处理请求。作为另一种示例，当用户在终端设备上操作web应用时，也会产生一定的数据，相应的生成数据处理请求，以便基于这些数据对该web应用对应的数据库进行更新。

可以理解的是，为了使得电子设备确定出处理的对象，数据处理请求中会包括待处理数据。为了确保待处理数据的处理位置，该数据处理请求中还会包括索引约束参数，该索引约束参数携带数据表的标识、字段标识和字段值等。

S402、基于预配置的数据库表结构和上述索引约束参数，将待处理数据插入到目标数据库中，生成数据库日志。

在本申请的实施例中，电子设备中设置有配置模块，该配置模块的核心功能就是将数据库表结构存储起来，以便电子设备对数据库的数据处理，例如，查询、导出、插入、修改、删除等操作。

例如，当用户需要向数据库中存储数据时，电子设备在获取到用户提交的待处理数据时，可以根据预配置的数据库表结构，将待处理数据动态保存到数据库中，从而生成数据库日志。

示例性的，该S402具体可以通过如下步骤实现：

A1、根据索引约束参数，确定出目标处理数据表以及目标处理数据表中的目标处理字段；

A2、基于数据库表结构的配置信息，将待处理数据动态保存到目标数据库中，生成所述数据库日志。

可选的，电子设备的配置模块获取到数据处理请求后，从数据处理请求中提取出索引约束参数，然后从索引约束参数中提取出数据表标识和字段标识，从而找到目标处理数据表，并定位到数据表对应的目标处理字段，最后基于数据库表结构，将数据处理请求中的待处理数据存储到目标处理数据表、以及目标处理数据表中的目标处理字段上，进而实现了数据的存储，相应的，该目标数据库会产生数据库日志。

示例性的，图5为本申请实施例中数据库表结构的示意图。如图5所示，配置模块以数据库中的数据表为中心，分别配置有数据表的字段信息、查询条件、查询结构和导出任务等信息。

其中，数据表是指记录数据库中用于配置接口的数据表名，并具有指定的别名(即，标识)；

字段是指记录数据库中数据表对应的字段名、字段别名、字段类型等；

导出任务是指记录用户导出数据的任务；

查询条件是指存储导出任务、查询任务需要的条件名称，包括字段标识、查询条件字段的别名等；

查询结果是指存储导出任务、查询任务需要返回的字段标识，字段别名等。

在本实施例中，通过配置图5所示的数据表，可以动态的对数据表中的数据进行处理，也可以经过一些简单的配置，快速提供出增加、修改、删除、查询等维度的http接口，这样能够较好地解决不同系统(可能是功能不同、开发语言不同、服务商不同等等，但都是基于http服务的系统)之间的交互需求，从而为后续的数据查询奠定了基础。

S403、通过消息中间件，将数据库日志传输至消息服务模块。

在本实施例中，当数据库中的数据变更时，均会生成数据库日志并输出，为了使得搜索引擎存储的目标数据库的数据与目标数据库中数据一致，电子设备在生成数据库日志后，可以将该数据库日志提取到消息中间件，进而通过消息中间件传输至消息服务模块，以便消息服务模块对数据库日志处理后保存到搜索引擎。

可选的，消息中间件也称消息队列中间件，用于应用之间的数据通信，具有松耦合、异步消息、流量削峰、可靠投递、广播、流量控制、最终一致性等一系列功能，是企业内部通信的核心手段。因而，本实施例中，利用消息中间件传输数据库日志能够保证消息服务模块顺利进行数据分析和处理。

S404、利用消息服务模块对数据库日志进行处理，得到目标数据库的数据更新信息。

可选的，由于JS对象简谱(java script object notation，JSON)具有简洁和清晰的层次结构，使得JSON成为理想的数据交换语言，该JSON是一种轻量级的数据交换格式，其采用完全独立于编程语言的文本格式来存储和表示数据，具有易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率的功能。所以，消息服务模块在获取到数据库日志后，可以将数据库日志解析成JSON数据，并将JSON数据保存到搜索引擎中。

可以理解的是，在本实施例中，消息服务模块对数据库日志进行处理生成的JSON数据为目标数据库的数据更新信息，此处不再赘述。

S405、基于上述数据更新信息，更新搜索引擎中目标数据库的数据信息。

在本步骤中，电子设备在得到目标数据库的数据更新信息后，可以将其更新到搜索引擎中，以便搜索引擎中的数据与目标数据库的数据一致。

例如，消息服务模块从消息中间件接收到数据库日志(该数据库日志可以是数据插入日志，也可以是数据更新日志，还可以是数据删除日志，本实施例不对其进行限定)，将数据库日志还原成真实的更新数据信息，并写入搜索引擎中，以便搜索引擎提供准确的检索服务。

本申请实施例提供的数据查询方法，通过获取针对目标数据库的数据处理请求，基于预配置的数据库表结构和索引约束参数，将待处理数据插入到目标数据库中，生成数据库日志，通过消息中间件，将数据库日志传输至消息服务模块，再利用消息服务模块对数据库日志进行处理，得到目标数据库的数据更新信息，最后基于数据更新信息，更新搜索引擎中目标数据库的数据信息。该技术方案中，通过将数据库生成的数据库日志映射到搜索引擎，可以确保数据库与搜索引擎的数据一致，从而在后续采用搜索引擎的检索功能来替换数据库的模糊查询时，能够确保在特大数据量(百亿级)下仍然能提供出色的数据查询性能。

进一步的，在本申请的实施例中，消息服务模块主要用于从消息中间件接收数据库日志，并将数据库日志还原成真实数据，从而得到目标数据库的数据更新信息，并写入到搜索引擎以提供检索服务。

示例性的，在上述图4所示实施例的基础上，图6为本申请实施例提供的数据查询方法实施例四的流程示意图。如图6所示，上述S404可以通过如下步骤实现：

S601、利用消息服务模块，将数据库日志转换成对象表示的目标处理数据。

在本申请的实施例中，由于对象表示的文本格式能够完全独立于编程语言来存储和表示数据。因而，电子设备利用消息服务模块在接收到数据库日志时，可以将其转换成对象表示的目标处理数据，例如，JSON格式的数据，进而基于数据库日志的消息类型执行不同的处理操作。

S602、根据数据库日志的消息类型，将目标处理数据包装成消息类型对应的事件。

可选的，在本实施例中，消息服务模块可以对数据库日志进行分析，确定出该数据库日志的消息类型，进而基于该数据库日志的消息类型将上述S601中转换得到的目标处理数据包装成不同的事件，以便后续根据事件类型转到不同的处理单元进行处理。

S603、根据事件的类型，确定事件对应的事件处理单元。

可选的，在本申请的实施例中，消息服务模块可以包括处理不同事件类型的事件处理单元，这样电子设备可以根据上述事件的类型，例如，插入事件、更新事件、删除事件等，确定处理事件的事件处理单元，例如，插入事件处理单元、更新事件处理单元和删除事件处理单元等。

S604、利用该事件对应的事件处理单元对目标处理数据进行处理，得到目标数据库的数据更新信息。

可选的，消息服务模块在确定出事件对应的事件处理单元后，便可以启动对应的事件处理单元执行数据处理，例如，利用插入事件处理单元处理插入事件，利用更新事件处理单元处理更新事件，利用删除事件处理单元处理删除事件等，在事件处理单元处理完成目标处理数据时，便可以得到目标数据库的数据更新信息。

示例性的，图7为本实施例中消息服务模块的结构示意图。如图7所示，搞消息服务模块可以包括消息接收单元、事件处理单元路由、事件封装单元、事件注册单元、事件处理单元等。其中，事件处理单元又可以根据事件类型分为不同类型的事件处理单元。例如，在事件的类型包括插入事件、更新事件和删除事件时，该事件处理单元可以包括插入事件处理单元、更新事件处理单元和删除事件单元等。

在图7所示的结构示意图中，在电子设备正常工作时，消息服务模块启动，且消息服务模块包括的所有事件处理单均注册到事件注册单元中，以便事件注册单元对所有的事件处理单元进行管理。

可选的，消息服务模块的消息接收单元与上述的消息中间件连接，并能够从消息中间件接收数据库日志，并将其传输至事件处理单元路由进行数据转换，得到对象表示的目标处理数据，该事件处理单元路由将目标处理数据传输至事件封装单元，由事件封装单元将目标处理数据包装成消息类型对应的事件，确定出事件对应的任务标识，例如，插入事件、更新事件或删除事件等，再根据任务标识，通过事件处理单元路由将该事件传输至事件处理单元，并分配给该任务标识对应的事件处理单元进行处理，得到目标数据库的数据更新信息。

本申请实施例提供的数据查询方法，利用消息服务模块将数据库日志转换成对象表示的目标处理数据，根据数据库日志的消息类型，将目标处理数据包装成消息类型对应的事件，根据该事件的类型，确定该事件对应的事件处理单元，最后利用事件对应的事件处理单元对目标处理数据进行处理，得到目标数据库的数据更新信息。该技术方案中，消息服务模块通过区分事件和事件处理单元，能够在保证数据处理的精度和处理效率。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图8为本申请实施例提供的数据查询装置实施例的结构示意图。参照图8所述，该数据查询装置可以包括：

获取模块801，用于获取用户的数据查询请求，所述数据查询请求包括：包含有目标数据库标识和目标查询字段值的索引约束参数；

处理模块802，用于根据所述索引约束参数，在搜索引擎中进行数据查询，确定出所述目标数据库标识对应目标数据库中目标查询字段值处的目标数据，所述搜索引擎中保存有按照所述索引约束参数存储的所述目标数据库的数据信息；

输出模块803，用于输出所述数据查询请求对应的目标数据。

在本申请实施例的一种可能设计中，所述索引约束参数还包括：目标查询数据表标识；

处理模块802，具体用于：

根据所述目标数据库标识，在所述搜索引擎中，定位到所述目标数据库对应的数据表集合；

根据所述目标查询数据表标识，在所述目标数据库对应的数据表集合中，定位到目标查询数据表；

在所述目标查询数据表中进行查询，确定所述目标查询字段值处的目标数据。

可选的，所述索引约束参数还包括：目标查询字段标识；

处理模块802，用于在所述目标查询数据表中进行查询，确定所述目标查询字段值处的目标数据，具体为：

所述处理模块802，具体用于根据所述目标查询字段标识，在所述目标查询数据表中进行查询，定位到目标查询字段，在所述目标查询字段中进行查询，确定所述目标查询字段值对应的目标数据。

在本申请实施例的另一种可能设计中，获取模块801，还用于获取针对所述目标数据库的数据处理请求，所述数据处理请求包括：待处理数据和所述索引约束参数；

所述处理模块802，还用于：

基于预配置的所述数据库表结构和所述索引约束参数，将所述待处理数据插入到所述目标数据库中，生成数据库日志；

通过消息中间件，将所述数据库日志传输至消息服务模块；

利用所述消息服务模块对所述数据库日志进行处理，得到所述目标数据库的数据更新信息；

基于所述数据更新信息，更新所述搜索引擎中所述目标数据库的数据信息。

可选的，所述处理模块802，用于基于预配置的所述数据库表结构和所述索引约束参数，将所述待处理数据插入到所述目标数据库中，生成数据库日志，具体为：

所述处理模块802，具体用于根据所述索引约束参数，确定出目标处理数据表以及所述目标处理数据表中的目标处理字段，基于所述数据库表结构的配置信息，将所述待处理数据动态保存到所述目标数据库中，生成所述数据库日志。

可选的，所述处理模块802，用于利用所述消息服务模块对所述数据库日志进行处理，得到所述目标数据库的数据更新信息，具体为：

所述处理模块802，具体用于：

利用所述消息服务模块，将所述数据库日志转换成对象表示的目标处理数据；

根据所述数据库日志的消息类型，将所述目标处理数据包装成所述消息类型对应的事件；

根据所述事件的类型，确定所述事件对应的事件处理单元；

利用所述事件对应的事件处理单元对所述目标处理数据进行处理，得到所述目标数据库的数据更新信息。

本申请实施例提供的装置，可用于执行上述方法实施例所述的技术方案，其实现原理和技术效果类似，在此不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。

图9为本申请实施例提供的电子设备实施例的结构示意图。如图9所示，该电子设备可以包括：处理器901、存储器902、通信接口903和系统总线904，所述存储器902和所述通信接口903通过所述系统总线904与所述处理器901连接并完成相互间的通信，所述存储器902用于存储计算机指令，所述通信接口903用于和其他设备进行通信，所述处理器901执行所述计算机指令时实现如上述方法实施例所述的技术方案。

可选的，在本申请的实施例中，该电子设备还可以包括用户操作界面905，该用户操作界面905可以用于接收用户的数据查询请求或其他数据处理请求。

在该图9中，上述的处理器901可以是通用处理器，包括中央处理器CPU、网络处理器(network processor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

存储器902可能包含随机存取存储器(random access memory，RAM)，也可能包括只读存储器(read-only memory，RAM)，还可能包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

通信接口903用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。

系统总线904可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

根据本申请的实施例，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如上述方法实施例所述的技术方案。

根据本申请的实施例，本申请实施例还提供一种运行指令的芯片，所述芯片用于执行上述方法实施例所述的技术方案。

根据本申请的实施例，本申请还提供了一种计算机程序产品，包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (13)

1.一种数据查询方法，其特征在于，包括：

获取用户的数据查询请求，所述数据查询请求包括：包含有目标数据库标识和目标查询字段值的索引约束参数；

根据所述索引约束参数，在搜索引擎中进行数据查询，确定出所述目标数据库标识对应目标数据库中目标查询字段值处的目标数据，所述搜索引擎中保存有按照所述索引约束参数存储的所述目标数据库的数据信息；

输出所述数据查询请求对应的目标数据；

在所述获取用户的数据查询请求之前，所述方法还包括：

获取针对所述目标数据库的数据处理请求，所述数据处理请求包括：待处理数据和所述索引约束参数；

基于预配置的数据库表结构和所述索引约束参数，将所述待处理数据插入到所述目标数据库中，生成数据库日志；

通过消息中间件，将所述数据库日志传输至消息服务模块；

利用所述消息服务模块对所述数据库日志进行处理，得到所述目标数据库的数据更新信息；

基于所述数据更新信息，更新所述搜索引擎中所述目标数据库的数据信息，以使搜索引擎中的数据信息与目标数据库的数据一致。

2.根据权利要求1所述的方法，其特征在于，所述索引约束参数还包括：目标查询数据表标识；

所述根据所述索引约束参数，在搜索引擎中进行数据查询，确定出所述目标数据库标识对应目标数据库中目标查询字段值处的目标数据，包括：

根据所述目标数据库标识，在所述搜索引擎中，定位到所述目标数据库对应的数据表集合；

根据所述目标查询数据表标识，在所述目标数据库对应的数据表集合中，定位到目标查询数据表；

在所述目标查询数据表中进行查询，确定所述目标查询字段值处的目标数据。

3.根据权利要求2所述的方法，其特征在于，所述索引约束参数还包括：目标查询字段标识；

所述在所述目标查询数据表中进行查询，确定所述目标查询字段值处的目标数据，包括：

根据所述目标查询字段标识，在所述目标查询数据表中进行查询，定位到目标查询字段；

在所述目标查询字段中进行查询，确定所述目标查询字段值对应的目标数据。

4.根据权利要求1所述的方法，其特征在于，所述基于预配置的所述数据库表结构和所述索引约束参数，将所述待处理数据插入到所述目标数据库中，生成数据库日志，包括：

根据所述索引约束参数，确定出目标处理数据表以及所述目标处理数据表中的目标处理字段；

基于所述数据库表结构的配置信息，将所述待处理数据动态保存到所述目标数据库中，生成所述数据库日志。

5.根据权利要求1所述的方法，其特征在于，所述利用所述消息服务模块对所述数据库日志进行处理，得到所述目标数据库的数据更新信息，包括：

利用所述消息服务模块，将所述数据库日志转换成对象表示的目标处理数据；

根据所述数据库日志的消息类型，将所述目标处理数据包装成所述消息类型对应的事件；

根据所述事件的类型，确定所述事件对应的事件处理单元；

利用所述事件对应的事件处理单元对所述目标处理数据进行处理，得到所述目标数据库的数据更新信息。

6.一种数据查询装置，其特征在于，包括：

获取模块，用于获取用户的数据查询请求，所述数据查询请求包括：包含有目标数据库标识和目标查询字段值的索引约束参数；

处理模块，用于根据所述索引约束参数，在搜索引擎中进行数据查询，确定出所述目标数据库标识对应目标数据库中目标查询字段值处的目标数据，所述搜索引擎中保存有按照所述索引约束参数存储的所述目标数据库的数据信息；

输出模块，用于输出所述数据查询请求对应的目标数据；

所述获取模块，还用于获取针对所述目标数据库的数据处理请求，所述数据处理请求包括：待处理数据和所述索引约束参数；

所述处理模块，还用于：

基于预配置的数据库表结构和所述索引约束参数，将所述待处理数据插入到所述目标数据库中，生成数据库日志；

通过消息中间件，将所述数据库日志传输至消息服务模块；

利用所述消息服务模块对所述数据库日志进行处理，得到所述目标数据库的数据更新信息；

基于所述数据更新信息，更新所述搜索引擎中所述目标数据库的数据信息，以使搜索引擎中的数据信息与目标数据库的数据一致。

7.根据权利要求6所述的装置，其特征在于，所述索引约束参数还包括：目标查询数据表标识；所述处理模块，具体用于：

根据所述目标数据库标识，在所述搜索引擎中，定位到所述目标数据库对应的数据表集合；

根据所述目标查询数据表标识，在所述目标数据库对应的数据表集合中，定位到目标查询数据表；

在所述目标查询数据表中进行查询，确定所述目标查询字段值处的目标数据。

8.根据权利要求7所述的装置，其特征在于，所述索引约束参数还包括：目标查询字段标识；

所述处理模块，用于在所述目标查询数据表中进行查询，确定所述目标查询字段值处的目标数据，具体为：

所述处理模块，具体用于根据所述目标查询字段标识，在所述目标查询数据表中进行查询，定位到目标查询字段，在所述目标查询字段中进行查询，确定所述目标查询字段值对应的目标数据。

9.根据权利要求6所述的装置，其特征在于，所述处理模块，用于基于预配置的所述数据库表结构和所述索引约束参数，将所述待处理数据插入到所述目标数据库中，生成数据库日志，具体为：

所述处理模块，具体用于根据所述索引约束参数，确定出目标处理数据表以及所述目标处理数据表中的目标处理字段，基于所述数据库表结构的配置信息，将所述待处理数据动态保存到所述目标数据库中，生成所述数据库日志。

10.根据权利要求6所述的装置，其特征在于，所述处理模块，用于利用所述消息服务模块对所述数据库日志进行处理，得到所述目标数据库的数据更新信息，具体为：

所述处理模块，具体用于：

利用所述消息服务模块，将所述数据库日志转换成对象表示的目标处理数据；

根据所述数据库日志的消息类型，将所述目标处理数据包装成所述消息类型对应的事件；

根据所述事件的类型，确定所述事件对应的事件处理单元；

利用所述事件对应的事件处理单元对所述目标处理数据进行处理，得到所述目标数据库的数据更新信息。

11.一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述权利要求1-5任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-5任一项所述的方法。

13.一种计算机程序产品，包括：计算机程序，其特征在于，所述计算机程序被处理器执行时用于实现如权利要求1-5任一项所述的方法。