CN108664560A - 数据查询方法、装置、计算机设备及计算机可读存储介质 - Google Patents

Abstract

本发明实施例提供了一种数据查询方法、装置、计算机设备及计算机可读存储介质，其中，该方法包括：接收数据查询需求；根据所述数据查询需求所请求的查询的特性，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法；采用选择的查询方法根据所述数据查询需求进行数据查询。该方案可以针对不同数据查询需求选择有优势的查询方法进行查询，有利于提供较快的查询速度，同时，有利于为高纬度数据间的自由查询提供可能性。

Description

数据查询方法、装置、计算机设备及计算机可读存储介质

技术领域

本发明涉及数据挖掘技术领域，特别涉及一种数据查询方法、装置、计算机设备及计算机可读存储介质。

背景技术

商业企业在数据挖掘的过程中，往往需要面对数以百计的维度和灵活的数据查询，同时，查询速度作为重要的衡量数据挖掘系统的指标之一，也成为每个企业建立数据挖掘系统核心考虑因素。现有数据挖掘系统通常采用两种不同的方法进行数据挖掘工作，一种为ROLAP，一种为MOLAP。

ROLAP即以关系型数据(二维表)作为基础的数据挖掘方法，该方法以维度表和事实表组织模型，为查询提供了相对宽泛的可能性，并在查询空间复杂度上具有极大的优势，且模型较为灵活。但随着数据的不断增加，可能造成查询的复杂度较为昂贵，响应时间较慢，尤其多分析主题之间的交叉查询可能造成系统负担过重。

MOLAP即基于Cube形式的商业智能信息组织，在查询效率上表现异常突出。但是，因为该方法是基于Cube形式的商业智能信息组织，所以在存储空间上非常容易造成存储爆炸，即存储的复杂度以指数形式增长。同时Cube的生成需要大量的计算量，尤其面对维度较高的模型而言，其Cube的生成需要大量的时间。

发明内容

本发明实施例提供了一种数据查询方法，以解决现有技术中数据查询速度慢、高纬度数据间查询受局限的技术问题。该方法包括：

接收数据查询需求；

根据所述数据查询需求所请求的查询的特性，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法；

采用选择的查询方法根据所述数据查询需求进行数据查询。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的数据查询方法。以解决现有技术中数据查询速度慢、高纬度数据间查询受局限的技术问题。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的数据查询方法的计算机程序。以解决现有技术中数据查询速度慢、高纬度数据间查询受局限的技术问题。

本发明实施例还提供了一种数据查询装置，以解决现有技术中数据查询速度慢、高纬度数据间查询受局限的技术问题。该装置包括：

需求接收模块，用于接收数据查询需求；

选择模块，用于根据所述数据查询需求所请求的查询的特性，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法；

查询模块，用于采用选择的查询方法根据所述数据查询需求进行数据查询。

在本发明实施例中，针对每个数据查询需求，根据数据查询需求所请求的查询的特性，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法，比如，针对根据数据查询需求所请求的查询的特性，在关系型联机分析处理方法和多维联机分析处理方法中选择一种相对更有优势处理上述查询的查询方法，进而采用选择的查询方法来进行数据查询，使得可以有效平衡ROLAP(关系型联机分析处理方法)和MOLAP(多维联机分析处理方法)的优势和劣势，针对不同数据查询需求选择有优势的查询方法进行查询，在数据挖掘具有一定应用模式和场景模式的情况下，有利于提供较快的查询速度，同时，有利于为高纬度数据间的自由查询提供可能性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是本发明实施例提供的一种数据查询方法的流程图；

图2是本发明实施例提供的一种数据查询装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在本发明实施例中，提供了一种数据查询方法，如图1所示，该方法包括：

步骤101：接收数据查询需求；

步骤102：根据所述数据查询需求所请求的查询的特性，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法；

步骤103：采用选择的查询方法根据所述数据查询需求进行数据查询。

由图1所示的流程可知，在本发明实施例中，针对每个数据查询需求，根据数据查询需求所请求的查询的特性，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法，比如，针对根据数据查询需求所请求的查询的特性，在关系型联机分析处理方法和多维联机分析处理方法中选择一种相对更有优势处理上述查询的查询方法，进而采用选择的查询方法来进行数据查询，使得可以有效平衡ROLAP(关系型联机分析处理方法)和MOLAP(多维联机分析处理方法)的优势和劣势，针对不同数据查询需求选择有优势的查询方法进行查询，在数据挖掘具有一定应用模式和场景模式的情况下，有利于提供较快的查询速度，同时，有利于为高纬度数据间的自由查询提供可能性。

具体实施时，可以通过以下两种方式在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法。

例如，第一种方式是：解析所述数据查询需求，获取参数信息，其中，所述参数信息表示所述数据查询需求所请求的查询的特性；然后，基于所述参数信息在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法。

具体的，在所述多维联机分析处理方法支持所述参数信息的计算时，选择所述多维联机分析处理方法根据所述数据查询需求进行数据查询；否则，选择所述关系型联机分析处理方法根据所述数据查询需求进行数据查询，其中，所述参数信息包括查询结果展示的维度和指标、参与过滤的维度以及参与聚合的维度和指标。该参数信息可以由独立的元数据管理系统来管理。

第二种方式是：在所述关系型联机分析处理方法和所述多维联机分析处理方法均支持所述数据查询需求的查询时，针对所述数据查询需求所请求的查询，计算分别采用所述关系型联机分析处理方法和所述多维联机分析处理方法处理所述查询各自所需的成本，然后，根据所需成本的大小，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法。

具体的，可以在采用所述关系型联机分析处理方法处理所述查询所需的成本大于采用所述多维联机分析处理方法处理所述查询所需的成本的2倍时，选择所述多维联机分析处理方法来处理上述查询。

具体实施时，可以通过以下方法来计算分别采用所述关系型联机分析处理方法和所述多维联机分析处理方法处理所述查询各自所需的成本。

例如，通过以下公式计算采用所述关系型联机分析处理方法处理所述查询所需的成本：

A＝查询时间*(CPU消耗时间+用户等待时间)

其中，A是采用所述关系型联机分析处理方法处理所述查询所需的成本；查询时间是采用所述关系型联机分析处理方法处理所述查询所需的查询时间；CPU消耗时间是采用所述关系型联机分析处理方法处理所述查询时CPU所需时间；用户等待时间是采用所述关系型联机分析处理方法处理所述查询之前所述查询的用户需要等待的时间；

通过以下公式计算采用所述多维联机分析处理方法处理所述查询所需的成本：

B＝存储时间+生成时间

其中，B是采用所述多维联机分析处理方法处理所述查询所需的成本；存储时间是采用所述多维联机分析处理方法处理所述查询时存储查询模型所需的时间；生成时间采用所述多维联机分析处理方法处理所述查询时生成查询模型所需的时间。

具体实施时，可以将计算得到的上述两种查询方法对应的成本都折算为货币单位，可以按照主流云计算平台计算价格，例如，人员消耗以10倍于CPU时间计算。

具体实施时，在计算上述两种查询方法对应的成本时，可以基于历史查询信息(例如，过去60天内的查询信息)来获取上述查询所涉及的查询时间、CPU消耗时间、用户等待时间、存储时间以及生成时间等参数，进而基于这些参数计算成本。

具体实施时，为了有效维护MOLAP所维护的容量和初始化计算强度，MOLAP中的CUBE应尽力维护总体数量和单CUBE的维度数，其中，维度数已经由容量成本得以维护，CUBE总数由以上成本计算中30天内0.8倍ROLAP模拟成本来决定，该模拟成本由历史上查询ROLAP中的查询成本来平均获得。

具体实施时，在实际使用过程中，MOLAP将遭遇冷启动情况，即MOLAP在初始化中将不包含任何数据查询模型，为此，根据实际需要，MOLAP中可以预先由分析师预制一些数据查询模型，以此作为初始化的一个组成部分。为提高后续的查询效率提供一个先验场景。

具体实施时，在采用选择的查询方法根据所述数据查询需求进行数据查询的过程中，收集查询日志，即查询所使用的纬度和指标及消耗时间等信息将被记录，以便分析查询，还可以根据查询日志来优化未来的模型设计。

具体实施时，所述数据查询需求可以通过SQL语言实现输入，即上述数据查询方法支持采用SQL语言输入数据查询需求。

以下是上述数据查询方法的示例，MOLAP以Elastic Search实现为例，ROLAP以Amazon Webservice中的Redshift实现为例，该数据查询方法包括以下步骤：

1)收到数据查询需求后，记录数据查询需求；

2)将数据查询需求对象化，提取查询结果需要展示的维度和指标、需要参与过滤的维度以及需要参与聚合的维度和指标；

3)将获取的维度和指标与MOLAP中的存有维度组合进行对比，以确认在MOLAP中存有获取的维度和指标的可能性；

4)如果获取的维度和指标存在于MOLAP中，则在MOLAP中处理查询并获取结果；

5)如果获取的维度和指标不存在于MOLAP中，通知客户端，并在ROLAP中处理查询；

6)如果获取的维度和指标存在于MOLAP中且ROLAP也支持该数据查询需求，计算该查询分别在ROLAP中和MOLAP中处理各自所需要的成本；

7)当ROLAP处理该数据查询需求所需的成本大于MOLAP处理该数据查询需求所需的成本的2倍时，选择MOLAP处理该数据查询需求。

在本实施例中还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的数据查询方法。

在本实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的数据查询方法的计算机程序。

基于同一发明构思，本发明实施例中还提供了一种数据查询装置，如下面的实施例所述。由于数据查询装置解决问题的原理与数据查询方法相似，因此数据查询装置的实施可以参见数据查询方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是本发明实施例的数据查询装置的一种结构框图，如图2所示，该装置包括：

需求接收模块201，用于接收数据查询需求；

选择模块202，用于根据所述数据查询需求所请求的查询的特性，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法；

查询模块203，用于采用选择的查询方法根据所述数据查询需求进行数据查询。

在一个实施例中，上述选择模块，包括：

解析单元，用于解析所述数据查询需求，获取参数信息，其中，所述参数信息表示所述数据查询需求所请求的查询的特性；

第一选择单元，用于基于所述参数信息在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法。

在一个实施例中，第一选择单元，具体用于在所述多维联机分析处理方法支持所述参数信息的计算时，选择所述多维联机分析处理方法根据所述数据查询需求进行数据查询；否则，选择所述关系型联机分析处理方法根据所述数据查询需求进行数据查询，其中，所述参数信息包括查询结果展示的维度和指标、参与过滤的维度以及参与聚合的维度和指标。

在一个实施例中，上述选择模块，包括：

计算单元，用于在所述关系型联机分析处理方法和所述多维联机分析处理方法均支持所述数据查询需求的查询时，针对所述数据查询需求所请求的查询，计算分别采用所述关系型联机分析处理方法和所述多维联机分析处理方法处理所述查询各自所需的成本；

第二选择单元，用于根据所需成本的大小，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法。

在一个实施例中，第二选择单元，具体用于在采用所述关系型联机分析处理方法处理所述查询所需的成本大于采用所述多维联机分析处理方法处理所述查询所需的成本的2倍时，选择所述多维联机分析处理方法。

在一个实施例中，计算单元具体用于，通过以下公式计算采用所述关系型联机分析处理方法处理所述查询所需的成本：

A＝查询时间*(CPU消耗时间+用户等待时间)

其中，A是采用所述关系型联机分析处理方法处理所述查询所需的成本；查询时间是采用所述关系型联机分析处理方法处理所述查询所需的查询时间；CPU消耗时间是采用所述关系型联机分析处理方法处理所述查询时CPU所需时间；用户等待时间是采用所述关系型联机分析处理方法处理所述查询之前所述查询的用户需要等待的时间；

通过以下公式计算采用所述多维联机分析处理方法处理所述查询所需的成本：

B＝存储时间+生成时间

其中，B是采用所述多维联机分析处理方法处理所述查询所需的成本；存储时间是采用所述多维联机分析处理方法处理所述查询时存储查询模型所需的时间；生成时间采用所述多维联机分析处理方法处理所述查询时生成查询模型所需的时间。

在一个实施例中，所述数据查询需求是通过SQL语言实现输入的。

本发明实施例实现了如下技术效果：在本发明实施例中，针对每个数据查询需求，根据数据查询需求所请求的查询的特性，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法，比如，针对根据数据查询需求所请求的查询的特性，在关系型联机分析处理方法和多维联机分析处理方法中选择一种相对更有优势处理上述查询的查询方法，进而采用选择的查询方法来进行数据查询，使得可以有效平衡ROLAP(关系型联机分析处理方法)和MOLAP(多维联机分析处理方法)的优势和劣势，针对不同数据查询需求选择有优势的查询方法进行查询，在数据挖掘具有一定应用模式和场景模式的情况下，有利于提供较快的查询速度，同时，有利于为高纬度数据间的自由查询提供可能性。

显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据查询方法，其特征在于，包括：

接收数据查询需求；

根据所述数据查询需求所请求的查询的特性，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法；

采用选择的查询方法根据所述数据查询需求进行数据查询。

2.如权利要求1所述的数据查询方法，其特征在于，根据所述数据查询需求所请求的查询的特性，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法，包括：

解析所述数据查询需求，获取参数信息，其中，所述参数信息表示所述数据查询需求所请求的查询的特性；

基于所述参数信息在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法。

3.如权利要求2所述的数据查询方法，其特征在于，基于所述参数信息在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法，包括：

在所述多维联机分析处理方法支持所述参数信息的计算时，选择所述多维联机分析处理方法根据所述数据查询需求进行数据查询；否则，选择所述关系型联机分析处理方法根据所述数据查询需求进行数据查询，其中，所述参数信息包括查询结果展示的维度和指标、参与过滤的维度以及参与聚合的维度和指标。

4.如权利要求1所述的数据查询方法，其特征在于，根据所述数据查询需求所请求的查询的特性，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法，包括：

在所述关系型联机分析处理方法和所述多维联机分析处理方法均支持所述数据查询需求的查询时，针对所述数据查询需求所请求的查询，计算分别采用所述关系型联机分析处理方法和所述多维联机分析处理方法处理所述查询各自所需的成本；

根据所需成本的大小，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法。

5.如权利要求4所述的数据查询方法，其特征在于，根据所需成本的大小，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法，包括：

在采用所述关系型联机分析处理方法处理所述查询所需的成本大于采用所述多维联机分析处理方法处理所述查询所需的成本的2倍时，选择所述多维联机分析处理方法。

6.如权利要求4所述的数据查询方法，其特征在于，计算分别采用所述关系型联机分析处理方法和所述多维联机分析处理方法处理所述查询各自所需的成本，包括：

通过以下公式计算采用所述关系型联机分析处理方法处理所述查询所需的成本：

A＝查询时间*(CPU消耗时间+用户等待时间)

其中，A是采用所述关系型联机分析处理方法处理所述查询所需的成本；查询时间是采用所述关系型联机分析处理方法处理所述查询所需的查询时间；CPU消耗时间是采用所述关系型联机分析处理方法处理所述查询时CPU所需时间；用户等待时间是采用所述关系型联机分析处理方法处理所述查询之前所述查询的用户需要等待的时间；

通过以下公式计算采用所述多维联机分析处理方法处理所述查询所需的成本：

B＝存储时间+生成时间

其中，B是采用所述多维联机分析处理方法处理所述查询所需的成本；存储时间是采用所述多维联机分析处理方法处理所述查询时存储查询模型所需的时间；生成时间采用所述多维联机分析处理方法处理所述查询时生成查询模型所需的时间。

7.如权利要求1至6中任一项所述的数据查询方法，其特征在于，所述数据查询需求是通过SQL语言实现输入的。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的数据查询方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7任一项所述的数据查询方法的计算机程序。

10.一种数据查询装置，其特征在于，包括：

需求接收模块，用于接收数据查询需求；

选择模块，用于根据所述数据查询需求所请求的查询的特性，在关系型联机分析处理方法和多维联机分析处理方法中选择一种与所述特性相匹配的查询方法；

查询模块，用于采用选择的查询方法根据所述数据查询需求进行数据查询。