CN110083627B - 数据处理方法、系统、计算机设备和存储介质 - Google Patents

Abstract

本发明涉及数据处理技术领域，提供一种数据处理方法、系统、计算机设备和存储介质，应用于包括ElasticSearch和服务器集群的应用系统。数据处理方法包括：接收数据查询请求，获取数据查询请求的各查询维度；检索各查询维度是否预存于ElasticSearch中，基于已预存的查询维度生成第一类查询维度，未预存的查询维度生成第二类查询维度；根据第一类查询维度从ElasticSearch索引数据标识，根据数据标识从服务器集群中查询基础数据，响应查询请求；获取第二类查询维度的查询次数，将查询次数超过预设值的第二类查询维度同步至ElasticSearch。本发明通过在ElasticSearch中预存查询维度和相关数据标识实现快速响应查询请求，并根据查询情况灵活变更ElasticSearch中的查询维度，以适应查询需求，实现灵活高效的数据查询。

Description

数据处理方法、系统、计算机设备和存储介质

技术领域

本发明涉及数据处理技术领域，具体地说，涉及一种数据处理方法、系统、计算机设备和存储介质。

背景技术

在大型应用系统中，存储有海量数据，随着业务的发展，数据不断新增。后台运营对数据有各种各样复杂的查询需求，查询条件也会随着业务发展不断变更。在这种情况下，对数据处理带来以下问题：

一方面，现有的应用系统多是基于数据库进行查询，在复杂的查询条件下，查询的数据需要在海量数据里筛选，数据量大，联表多，且依赖于系统生成查询代码，造成代码冗余，查询性能差，响应时间慢；

另一方面，当查询条件发生变更时，对系统修改的代价比较大，需要添加查询字段，修改查询代码，整体刷新数据库，修改数据同步脚本；

另外，随着数据不断新增，新增数据的同步与查询解耦困难，导致系统不灵活，性能差。

可见，在查询需求复杂，查询条件不断变更，同时数据不断新增的情况下，如何保证查询响应时间，灵活应对需求变更，同时实现数据新增与查询解耦成为问题。

需要说明的是，在上述背景技术部分申请的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种数据处理方法、系统、计算机设备和存储介质，能够快速响应查询请求，灵活应对需求变更，同时实现数据新增与查询解耦。

根据本发明的一个方面，提供一种数据处理方法，应用于包括ElasticSearch和服务器集群的应用系统，所述数据处理方法包括：接收数据查询请求，获取所述数据查询请求的各查询维度；检索各所述查询维度是否预存于所述ElasticSearch中，基于已预存的查询维度生成第一类查询维度，未预存的查询维度生成第二类查询维度；根据所述第一类查询维度从所述ElasticSearch索引数据标识，根据所述数据标识从所述服务器集群中查询基础数据，响应所述查询请求；以及，获取所述第二类查询维度的查询次数，将查询次数超过预设值的第二类查询维度同步至所述ElasticSearch。

优选地，上述的数据处理方法中，所述将查询次数超过预设值的第二类查询维度同步至所述ElasticSearch，包括：基于所述查询次数超过预设值的第二类查询维度生成第一新增维度，从所述服务器集群中获取所述第一新增维度的基础数据，生成所述第一新增维度的数据标识；将所述第一新增维度及其数据标识同步至所述ElasticSearch中，并建立根据所述第一新增维度获取其数据标识的索引。

优选地，上述的数据处理方法中，通过多线程同步递增将所述第一新增维度及其数据标识同步至所述ElasticSearch中。

优选地，上述的数据处理方法还包括：接收维度新增请求，获取所述维度新增请求的第二新增维度；从所述服务器集群中获取所述第二新增维度的基础数据，生成所述第二新增维度的数据标识；将所述第二新增维度及其数据标识同步至所述ElasticSearch中，并建立根据所述第二新增维度获取其数据标识的索引。

优选地，上述的数据处理方法中，通过多线程同步递增将所述第二新增维度及其数据标识同步至所述ElasticSearch中。

优选地，上述的数据处理方法还包括：接收数据新增请求，获取所述数据新增请求的新增数据；将所述新增数据存储至所述服务器集群，并对所述新增数据处理生成新增查询数据，通过RocketMQ将所述新增查询数据更新至所述ElasticSearch中。

优选地，上述的数据处理方法中，所述通过RocketMQ将所述新增查询数据更新至所述ElasticSearch中，包括：获取所述新增查询数据的数据维度，向所述RocketMQ发送所述新增查询数据及其数据维度；监听所述RocketMQ，判断所述ElasticSearch中是否预存有所述数据维度；若是则根据所述新增查询数据更新所述ElasticSearch中所述数据维度的数据标识，若否则根据所述新增查询数据及其数据维度，在所述ElasticSearch中新增所述数据维度及其数据标识。

根据本发明的另一个方面，提供一种数据处理系统，应用于包括ElasticSearch和服务器集群的应用系统，所述数据处理系统包括：请求解析模块，用于接收数据查询请求，获取所述数据查询请求的各查询维度，检索各所述查询维度是否预存于所述ElasticSearch中，基于已预存的查询维度生成第一类查询维度，未预存的查询维度生成第二类查询维度；数据查询模块，用于根据所述第一类查询维度从所述ElasticSearch索引数据标识，根据所述数据标识从所述服务器集群中查询基础数据，响应所述查询请求；以及第一同步模块，用于获取所述第二类查询维度的查询次数，将查询次数超过预设值的第二类查询维度同步至所述ElasticSearch。

优选地，上述的数据处理系统中，所述请求解析模块还用于接收维度新增请求，获取所述维度新增请求的第二新增维度，所述数据处理系统还包括：第二同步模块，用于从所述服务器集群中获取所述第二新增维度的基础数据，生成所述第二新增维度的数据标识，将所述第二新增维度及其数据标识同步至所述ElasticSearch中，并建立根据所述第二新增维度获取其数据标识的索引。

优选地，上述的数据处理系统中，所述请求解析模块还用于接收数据新增请求，获取所述数据新增请求的新增数据，所述数据处理系统还包括：数据更新模块，用于将所述新增数据存储至所述服务器集群，并对所述新增数据处理生成新增查询数据，通过RocketMQ将所述新增查询数据更新至所述ElasticSearch中。

根据本发明的另一个方面，提供一种计算机设备，包括：处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的数据处理方法的步骤。

根据本发明的另一个方面，提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述的数据处理方法的步骤。

本发明的有益效果在于：

本发明将应用系统的数据流分流一部分查询需要用到的数据到ElasticSearch中，在ElasticSearch中预存查询维度和相关数据标识，将数据查询以微服务形式剥离出应用系统，基于ElasticSearch的查询灵活性和性能远远高于基于数据库的查询，实现数据查询请求的快速响应；

根据查询情况灵活变更ElasticSearch中的查询维度，将查询次数多的查询维度主动同步至ElasticSearch中，以适应查询需求的复杂度和不断变化，实现灵活高效的数据查询。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本发明的实施例中应用系统的架构示意图；

图2示出本发明的实施例中数据处理方法的步骤示意图；

图3示出本发明的实施例中同步第二类查询维度的步骤示意图；

图4示出本发明的实施例中处理维度新增请求的步骤示意图；

图5示出本发明的实施例中处理数据新增请求的步骤示意图；

图6示出本发明的实施例中数据处理系统的模块示意图；

图7示出本发明的实施例中计算机设备的结构示意图；

图8示出本发明的实施例中计算机可读存储介质的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

本发明的数据处理方法应用于包括ElasticSearch和服务器集群的应用系统，图1示意出应用系统的架构，参照图1所示，应用系统2具有位于底层的基础服务层21和面向用户的应用层22，在基础服务层21和应用层22之间还可以包括中间层等架构。本发明的应用系统包括ElasticSearch和服务器集群，ElasticSearch是一个基于Lucene的搜索服务器，提供分布式多用户能力的全文搜索引擎，可部署于应用系统的应用层22。应用层22直接面向客户需求，与客户端1交互，以用户界面为用户提供所需的各项应用服务，图中并未示意出应用层22中部署的各项应用服务，用户可以根据业务需要灵活部署。基础服务层21为应用服务提供计算和存储等资源，其中可以包括实现计算和存储的计算服务器、数据库服务器等，如图中标示的服务器a、服务器b…服务器n等。在本发明的应用系统2中，部署于基础服务层21的服务器集群中的各个服务器中存储有应用系统2的各项应用服务的基础数据。本发明通过流式架构，将应用系统2的基础数据分流一部分查询需要用到的数据至ElasticSearch中，在ElasticSearch中预存一些常用的查询维度和相关数据标识，将基础数据的查询与其他服务(如变更、新增等)剥离开来，由于基于ElasticSearch的查询灵活性和性能远远高于基于数据库的查询，实现利用ElasticSearch使各种查询请求的实现变得轻量化，访问的效率得以提高，也使查询维度的变更变得便捷化。

图2示意出数据处理方法的步骤，结合图2所示，在一些实施例中，本发明的数据处理方法包括：

S10、接收数据查询请求，获取数据查询请求的各查询维度。

查询维度是数据查询请求携带的各个查询条件。服务器集群中存储的基础数据具有成千上百个数据维度，用户可以基于任意想要查询的数据维度，发起数据查询请求。例如，用户通过客户端1发起了一个查询条件为“查询用户A11 4月份发往北京、并经过天津中转的发货信息”的数据查询请求，则经过解析，获取到该数据查询请求的查询维度包括用户名称“A11”、时间“4月份”、目的地“北京”、中转地“天津”以及发货“发货信息”。其中用户名称、时间、目的地、中转地、发货对应查询维度，“A11”、“4月份”、“北京”、“天津”、“发货信息”可以作为该数据查询请求的各个查询维度下的数据标识。

S20、检索各查询维度是否预存于ElasticSearch中，基于已预存的查询维度生成第一类查询维度，未预存的查询维度生成第二类查询维度。

为快速响应查询请求，提高查询灵活度，在应用系统中引入ElasticSearch，并将应用系统中存储于服务器集群的基础数据分流一部分查询需要用到的数据至ElasticSearch中。具体来说，可以分流出经常被查询的一些数据维度的基础数据，预存至ElasticSearch中。如上所述，服务器集群中存储有成千上百个数据维度的海量基础数据，可以从中分流出若干高频率查询的数据维度的基础数据，存储至ElasticSearch中，并建立索引，形成预存于ElasticSearch中的查询维度及相关数据标识。当接收到数据查询请求时，检索数据查询请求的各查询维度是否预存于ElasticSearch中，若已预存则可以通过ElasticSearch索引查询，提高查询响应速度；若未预存则需要从服务器集群中查询。

例如，ElasticSearch中预存有用户名称、时间、发货、目的地四个查询维度(实际应用时ElasticSearch中可预存多个查询维度，本实施例为简便说明，仅列举出其中四个)。以上述数据查询请求“查询用户A11 4月份发往北京、并经过天津中转的发货信息”为例，检索该数据查询请求中各个查询维度是否预存于ElasticSearch中，基于已预存的查询维度生成第一类查询维度，包括用户名称、时间、发货和目的地；基于未预存的查询维度生成第二类查询维度，包括中转地。

S30、根据第一类查询维度从ElasticSearch索引数据标识，根据数据标识从服务器集群中查询基础数据，响应查询请求。

其中，数据标识即查询维度的数据信息，用来唯一标识需要查询的数据，是需要查询的数据的主键ID。根据数据查询请求的查询维度，先从ElasticSearch中索引数据标识，再根据数据标识批量从服务器集群中查询详细的基础数据，可以使查询高效便捷，缩短响应时间。

在获取基础数据时，可以根据数据标识获取到初始的基础数据，再从初始的基础数据中筛选出与数据查询请求对应的待查询数据，形成响应数据返回客户端1。例如，仍以上述数据查询请求“查询用户A11 4月份发往北京、并经过天津中转的发货信息”为例，根据第一类查询维度从ElasticSearch索引该数据查询请求的数据标识，如获取到数据标识为“A11+4月份+目的地北京+发货信息”，根据该数据标识从服务器集群中查询到初始的基础数据。接着，从该些初始的基础数据中筛选出经过天津中转的发货信息，并经过整理、过滤等处理步骤，生成该数据查询请求的响应数据。

通过ElasticSearch索引的数据查询方式，避免了从服务器集群的海量基础数据中遍历查询，可以在多个复杂的查询维度下快速精准查询，缩短查询耗时，提高查询效率。

S40、获取第二类查询维度的查询次数，将查询次数超过预设值的第二类查询维度同步至ElasticSearch。

第二类查询维度是数据查询请求携带的，未预存在ElasticSearch中的查询条件。由于未预存在ElasticSearch中，因此与该第二类查询维度对应的数据无法通过ElasticSearch索引进行查询，需要如上所述，从按照ElasticSearch索引方式查询到的符合第一类查询维度的初始的基础数据中筛选。当一第二类查询维度的查询次数超过预设值，表明该第二类查询维度是高频查询维度，因此将该第二类查询维度同步至ElasticSearch中，以方便针对该第二类查询维度的基础数据的快速查询。

通过将查询次数超过预设值的第二类查询维度同步至ElasticSearch，可以实现根据查询情况灵活变更ElasticSearch中的查询维度，以适应查询需求的复杂度和不断变化，实现灵活高效的数据查询。

图3示出同步第二类查询维度的步骤，结合图3所示，在一个实施例中，将查询次数超过预设值的第二类查询维度同步至ElasticSearch，包括：

S402、基于查询次数超过预设值的第二类查询维度生成第一新增维度。例如，根据对各个第二类查询维度的查询次数的统计发现，一第二类查询维度“中转地”被多次查询，超过了系统设定的预设值，则根据该第二类查询维度“中转地”生成第一新增维度。

S404、从服务器集群中获取第一新增维度的基础数据，生成第一新增维度的数据标识。从服务器集群中获取到与该第一新增维度“中转地”相关的基础数据，生成该第一新增维度“中转地”的数据标识。

S406、将该第一新增维度及其数据标识同步至ElasticSearch中，并在ElasticSearch中建立根据该第一新增维度获取其数据标识的索引。从而，下一次当客户端发起包含“中转地”这一查询维度的数据查询请求，则可以通过ElasticSearch索引的查询方式进行基础数据的查询，无需再从海量基础数据中遍历查询，提高查询效率。

并且，基于第二类查询维度的同步数据流和基于第一类查询维度的查询数据流是两条独立的数据流，相互之间不会影响，实现了维度新增和数据查询的解耦。通过ElasticSearch可以灵活变更查询维度，无需修改查询代码。可以通过触发同步脚本创建一个新的同步数据流将第二类查询维度及其数据标识从服务器集群同步至ElasticSearch，从而灵活便捷地适应查询需求的不断变更。

进一步的，在优选的实施例中，通过多线程同步递增的方式将第一新增维度及其数据标识同步至ElasticSearch中。例如，当从服务器集群的基础数据中获取到的第一新增维度的基础数据量巨大，不加限流地同步至ElasticSearch中有可能造成系统堵塞和崩溃，则采用多线程同步递增的方式，基于需要同步的数据量以预设的线程单位数进行递增。例如触发脚本按20、30、40、50个线程的递增并发同步数据，每一批同步200次，使ElasticSearch有充分的时间扩容，实现数据的弹性同步。

图4示意出处理维度新增请求的步骤，结合图4所示，在一些实施例中，数据处理方法还包括：

S502、接收维度新增请求，获取维度新增请求的第二新增维度。

维度新增请求是由后台发起的，例如业务人员根据业务发展，需要在ElasticSearch中新增一项查询维度，以方便用户针对该查询维度进行数据查询，则通过后台发起维度新增请求。接收到维度新增请求后，经解析获取其第二新增维度。第二新增维度可以包括一个或多个数据维度。例如，随着业务的发展，收货业务不断新增，则可以通过后台发起携带第二新增维度“收货”的维度新增请求。

S504、从服务器集群中获取第二新增维度的基础数据，生成第二新增维度的数据标识。以第二新增维度“收货”为例，从服务器集群中获取与收货相关的基础数据，形成收货维度的数据标识。

S506、将第二新增维度及其数据标识同步至ElasticSearch中，并建立根据该第二新增维度获取其数据标识的索引。例如，将收货维度及其数据标识同步至ElasticSearch中，并建立索引，则后续当客户端发起携带收货维度的数据查询请求时，就可以通过ElasticSearch索引的查询方式实现精准查询和快速响应。

与上述同步第一新增维度同理，处理维度新增请求的数据流(即同步第二新增维度的数据流)和响应数据查询请求的数据流是各自独立的数据流，相互之间不会影响，实现维度新增和数据查询的解耦。通过ElasticSearch灵活变更查询维度，无需修改查询代码。本发明也可以对ElasticSearch中的查询维度进行修改和删除，均可以采用独立数据流的方式与数据查询解耦。利用ElasticSearch，可以灵活地对查询维度进行变更。

并且，在优选的实施例中，同样通过多线程同步递增的方式将第二新增维度及其数据标识同步至ElasticSearch中。例如，当需要新增的第二新增维度包含多个数据维度，对应的基础数据量巨大，则采用多线程同步递增的方式，基于需要同步的数据量以预设的线程单位数进行递增。例如触发脚本按20、30、40、50个线程的递增并发同步数据，每一批同步200次，使ElasticSearch有充分的时间扩容，实现数据的弹性同步。

图5示意出处理数据新增请求的步骤，结合图5所示，在一些实施例中，数据处理方法还包括：

S602、接收数据新增请求，获取数据新增请求的新增数据。新增数据是指，随着应用服务的使用、新增等，应用系统产生的新的数据。

S604、将新增数据存储至服务器集群。应用系统产生新增数据后，首先会将新增数据存储在基础服务层的对应服务器中。

S606、对新增数据处理生成新增查询数据，通过RocketMQ将新增查询数据更新至ElasticSearch中。为使新增数据被及时地查询、分析、处理，需要为新增数据建立Elasticsearch索引。首先对新增数据处理生成新增查询数据，如从新增数据中筛选出查询需要用到的数据，生成新增查询数据。

进一步的，通过RocketMQ将新增查询数据更新至ElasticSearch中，包括：获取新增查询数据的数据维度，向RocketMQ发送新增查询数据及其数据维度；监听RocketMQ，判断ElasticSearch中是否预存有数据维度；若是则根据新增查询数据更新ElasticSearch中数据维度的数据标识，若否则根据新增查询数据及其数据维度，在ElasticSearch中新增数据维度及其数据标识。从而，当新增数据被查询时，能通过其对应的Elasticsearch索引快速精准定位到对应服务器中的基础数据。其中，RocketMQ是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式特点。本实施例中的RocketMQ是应用系统的一个公用消息队列，通过公用的RocketMQ，保证消费端利用一个线程去消费该新增消息，避免重复消费。在应用系统产生新增数据时，通过RocketMQ实现数据流解耦，避免新增数据的更新影响查询数据流和同步数据流。

综上，本发明提供的基于ElasticSearch和RocketMQ的流式架构的应用系统，在ElasticSearch中预存查询维度和相关数据标识，使数据处理方法通过ElasticSearch索引的查询方式快速响应数据查询请求，提高查询效率，可以根据查询情况灵活变更ElasticSearch中的查询维度，适应多种查询需求，并将数据同步与查询解耦，在产生新增数据时通过RocketMQ实现数据新增与查询的解耦，从而实现海量数据的灵活查询、弹性同步和高效更新。

本发明实施例还提供一种数据处理系统，应用于包括ElasticSearch和服务器集群的应用系统，例如图1所示的应用系统2。图6示意出数据处理系统的模块组成，参照图6所示，数据处理系统30包括：

请求解析模块301，用于接收数据查询请求，获取数据查询请求的各查询维度，检索各查询维度是否预存于ElasticSearch中，基于已预存的查询维度生成第一类查询维度，未预存的查询维度生成第二类查询维度。例如，请求解析模块301可用于执行上述各个数据处理方法实施例中描述的与数据查询请求的解析相关的步骤，如步骤S10和S20。

数据查询模块303，用于根据第一类查询维度从ElasticSearch索引数据标识，根据数据标识从服务器集群中查询基础数据，响应查询请求。例如，数据查询模块303可用于执行上述各个数据处理方法实施例中描述的与基础数据的查询相关的步骤，如步骤S30。

第一同步模块305，用于获取第二类查询维度的查询次数，将查询次数超过预设值的第二类查询维度同步至ElasticSearch。例如，第一同步模块305可用于执行上述各个数据处理方法实施例中描述的与第二类查询维度的同步相关的步骤，如步骤S40。

上述数据处理系统30通过数据查询模块303，以ElasticSearch索引的数据查询方式实现快速精准查询，提高查询效率；通过第一同步模块305将查询次数超过预设值的第二类查询维度同步至ElasticSearch，实现根据查询情况灵活变更ElasticSearch中的查询维度，以适应查询需求的复杂度和不断变化。

进一步的，在优选的实施例中，请求解析模块301还用于接收维度新增请求，获取维度新增请求的第二新增维度，数据处理系统30还包括：第二同步模块307，用于从服务器集群中获取第二新增维度的基础数据，生成第二新增维度的数据标识，将第二新增维度及其数据标识同步至ElasticSearch中，并建立根据第二新增维度获取其数据标识的索引。例如，第二同步模块307可用于执行上述各个数据处理方法实施例中描述的与第二新增维度的同步相关的步骤，如步骤S502～506。

进一步的，在优选的实施例中，请求解析模块301还用于接收数据新增请求，获取数据新增请求的新增数据，数据处理系统30还包括：数据更新模块309，用于将新增数据存储至服务器集群，并对新增数据处理生成新增查询数据，通过RocketMQ将新增查询数据更新至ElasticSearch中。例如，数据更新模块309可用于执行上述各个数据处理方法实施例中描述的与新增数据的处理相关的步骤，如步骤S502～506。

综上，本发明提供的数据处理系统通过数据解析模块解析应用系统的各种数据处理请求，通过数据查询模块的ElasticSearch索引查询实现数据的精准查询和快速响应，通过第一同步模块和第二同步模块根据查询情况灵活变更ElasticSearch中的查询维度，并将数据同步与查询解耦，通过数据更新模块在应用系统产生新增数据时通过RocketMQ实现数据新增与查询的解耦，从而实现海量数据的灵活查询、弹性同步和高效更新。

本发明实施例还提供一种计算机设备，包括处理器和存储器，存储器中存储有可执行指令，处理器被配置为经由执行可执行指令来执行上述实施例中的数据处理方法的步骤。

如上所述，本发明的计算机设备能够处理应用系统的各种数据请求，通过ElasticSearch索引查询实现数据的精准查询和快速响应，可以根据查询情况灵活变更ElasticSearch中的查询维度，并将数据同步与查询解耦，当应用系统产生新增数据时通过RocketMQ实现数据新增与查询的解耦，从而实现海量数据的灵活查询、弹性同步和高效更新。

图7是本发明实施例中计算机设备的结构示意图，应当理解的是，图7仅仅是示意性地示出各个模块，这些模块可以是虚拟的软件模块或实际的硬件模块，这些模块的合并、拆分及其余模块的增加都在本发明的保护范围之内。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

下面参照图7来描述本发明的计算机设备400。图7显示的计算机设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机设备400以通用计算设备的形式表现。计算机设备400的组件可以包括但不限于：至少一个处理单元410、至少一个存储单元420、连接不同平台组件(包括存储单元420和处理单元410)的总线430、显示单元440等。

其中，存储单元存储有程序代码，程序代码可以被处理单元410执行，使得处理单元410执行上述实施例中描述的数据处理方法的步骤。例如，处理单元410可以执行如图2至图5所示的步骤。

存储单元420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)4201和/或高速缓存存储单元4202，还可以进一步包括只读存储单元(ROM)4203。

存储单元420还可以包括具有一组(至少一个)程序模块4205的程序/实用工具4204，这样的程序模块4205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

计算机设备400也可以与一个或多个外部设备500(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该计算机设备400交互的设备通信，和/或与使得该计算机设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口450进行。并且，计算机设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器460可以通过总线430与计算机设备400的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述实施例描述的数据处理方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行上述实施例描述的数据处理方法的步骤。

如上所述，本发明的计算机可读存储介质能够处理应用系统的各种数据请求，通过ElasticSearch索引查询实现数据的精准查询和快速响应，可以根据查询情况灵活变更ElasticSearch中的查询维度，并将数据同步与查询解耦，当应用系统产生新增数据时通过RocketMQ实现数据新增与查询的解耦，从而实现海量数据的灵活查询、弹性同步和高效更新。

图8是本发明的计算机可读存储介质的结构示意图。参考图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (12)

1.一种数据处理方法，应用于包括ElasticSearch和服务器集群的应用系统，其特征在于，所述应用系统具有位于底层的基础服务层和面向用户的应用层，所述服务器集群部署于所述基础服务层，所述ElasticSearch部署于所述应用层，所述数据处理方法包括：

接收数据查询请求，获取所述数据查询请求的各查询维度；

检索各所述查询维度是否预存于所述ElasticSearch中，基于已预存的查询维度生成第一类查询维度，未预存的查询维度生成第二类查询维度；

根据所述第一类查询维度从所述ElasticSearch索引数据标识，根据所述数据标识从所述服务器集群中查询基础数据，并自所述基础数据中筛选出与所述第二类查询维度对应的基础数据，响应所述查询请求；以及

获取所述第二类查询维度的查询次数，将查询次数超过预设值的第二类查询维度同步至所述ElasticSearch。

2.如权利要求1所述的数据处理方法，其特征在于，所述将查询次数超过预设值的第二类查询维度同步至所述ElasticSearch，包括：

基于所述查询次数超过预设值的第二类查询维度生成第一新增维度，从所述服务器集群中获取所述第一新增维度的基础数据，生成所述第一新增维度的数据标识；

将所述第一新增维度及其数据标识同步至所述ElasticSearch中，并建立根据所述第一新增维度获取其数据标识的索引。

3.如权利要求2所述的数据处理方法，其特征在于，通过多线程同步递增将所述第一新增维度及其数据标识同步至所述ElasticSearch中。

4.如权利要求1所述的数据处理方法，其特征在于，还包括：

接收维度新增请求，获取所述维度新增请求的第二新增维度；

从所述服务器集群中获取所述第二新增维度的基础数据，生成所述第二新增维度的数据标识；

将所述第二新增维度及其数据标识同步至所述ElasticSearch中，并建立根据所述第二新增维度获取其数据标识的索引。

5.如权利要求4所述的数据处理方法，其特征在于，通过多线程同步递增将所述第二新增维度及其数据标识同步至所述ElasticSearch中。

6.如权利要求1所述的数据处理方法，其特征在于，还包括：

接收数据新增请求，获取所述数据新增请求的新增数据；

将所述新增数据存储至所述服务器集群，并对所述新增数据处理生成新增查询数据，通过RocketMQ将所述新增查询数据更新至所述ElasticSearch中。

7.如权利要求6所述的数据处理方法，其特征在于，所述通过RocketMQ将所述新增查询数据更新至所述ElasticSearch中，包括：

获取所述新增查询数据的数据维度，向所述RocketMQ发送所述新增查询数据及其数据维度；

监听所述RocketMQ，判断所述ElasticSearch中是否预存有所述数据维度；

若是则根据所述新增查询数据更新所述ElasticSearch中所述数据维度的数据标识，若否则根据所述新增查询数据及其数据维度，在所述ElasticSearch中新增所述数据维度及其数据标识。

8.一种数据处理系统，应用于包括ElasticSearch和服务器集群的应用系统，其特征在于，所述应用系统具有位于底层的基础服务层和面向用户的应用层，所述服务器集群部署于所述基础服务层，所述ElasticSearch部署于所述应用层，所述数据处理系统包括：

请求解析模块，用于接收数据查询请求，获取所述数据查询请求的各查询维度，检索各所述查询维度是否预存于所述ElasticSearch中，基于已预存的查询维度生成第一类查询维度，未预存的查询维度生成第二类查询维度；

数据查询模块，用于根据所述第一类查询维度从所述ElasticSearch索引数据标识，根据所述数据标识从所述服务器集群中查询基础数据，并自所述基础数据中筛选出与所述第二类查询维度对应的基础数据，响应所述查询请求；以及

第一同步模块，用于获取所述第二类查询维度的查询次数，将查询次数超过预设值的第二类查询维度同步至所述ElasticSearch。

9.如权利要求8所述的数据处理系统，其特征在于，所述请求解析模块还用于接收维度新增请求，获取所述维度新增请求的第二新增维度，所述数据处理系统还包括：

第二同步模块，用于从所述服务器集群中获取所述第二新增维度的基础数据，生成所述第二新增维度的数据标识，将所述第二新增维度及其数据标识同步至所述ElasticSearch中，并建立根据所述第二新增维度获取其数据标识的索引。

10.如权利要求8所述的数据处理系统，其特征在于，所述请求解析模块还用于接收数据新增请求，获取所述数据新增请求的新增数据，所述数据处理系统还包括：

数据更新模块，用于将所述新增数据存储至所述服务器集群，并对所述新增数据处理生成新增查询数据，通过RocketMQ将所述新增查询数据更新至所述ElasticSearch中。

11.一种计算机设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的数据处理方法的步骤。

12.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7任一项所述的数据处理方法的步骤。

Images