CN108319608A - 访问日志存储查询的方法、装置及系统 - Google Patents
访问日志存储查询的方法、装置及系统 Download PDFInfo
- Publication number
- CN108319608A CN108319608A CN201710033494.7A CN201710033494A CN108319608A CN 108319608 A CN108319608 A CN 108319608A CN 201710033494 A CN201710033494 A CN 201710033494A CN 108319608 A CN108319608 A CN 108319608A
- Authority
- CN
- China
- Prior art keywords
- keyword
- log
- access
- key
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 abstract description 9
- 238000004590 computer program Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于nosql数据库和文件系统的访问日志存储查询的方法、装置及系统,能够减少关系型数据库的压力,不影响正常业务的处理。该方法包括:获取用户输入的查询关键字,利用所述查询关键字生成关键字key,其中,所述关键字key包括查询关键字和关键字标识;通过将所述关键字key与预设的日志服务器中预先建立的nosql数据库中存储的关键字key匹配,获取所述关键字key对应的值value;根据所述值value获取对应的日志文件,并根据所述查询关键字从所述日志文件中获取对应的访问日志,显示所述访问日志。
Description
技术领域
本发明涉及互联网信息技术领域,具体涉及一种基于nosql数据库和文件系统的访问日志存储查询的方法、装置及系统。
背景技术
随着社会信息化程度不断提高,访问系统的渠道不断增多,系统所记录的渠道访问日志也将大量增加,加之系统模块不断增多,对关系型数据库访问也不断增多,这对关系数据库提出了更多的要求,尤其是在数据库连接数、存储等资源限制时。
访问日志的存储都是以关系型数据库为主,以湖南BOSS为例,每天日志量约3000W,占用表空间约为90G,按日志保存45天计算需要表空间4050G,在日志存储和查询时占用大量其他数据库资源如内存、CPU。
由此可知,使用关系型数据库存储和检索访问日志会占用大量数据库资源,而且在业务高峰期,日志存储和查询时耗用的内存、CPU会影响正常业务访问数据库的效率,降低用户对系统服务评价。
发明内容
针对现有技术存在的不足和缺陷,本发明提供一种基于nosql数据库和文件系统的访问日志存储查询的方法、装置及系统
一方面,本发明实施例提出一种基于nosql数据库和文件系统的访问日志存储查询的方法,包括:
获取用户输入的查询关键字,利用所述查询关键字生成关键字key,其中,所述关键字key包括查询关键字和关键字标识;
通过将所述关键字key与预设的日志服务器中预先建立的nosql数据库中存储的关键字key匹配,获取所述关键字key对应的值value,其中,所述nosql数据库中存储有关键字key及其对应的值value,所述nosql数据库中存储的每一个关键字key包括从一条用于渠道访问系统的访问日志中提取的一个关键字和该关键字对应的关键字标识,所述用于渠道访问系统的访问日志以多个日志文件的形式存储在所述日志服务器的文件系统,所述关键字key对应的值value为该关键字对应的访问日志所在的日志文件的文件名;
根据所述值value获取对应的日志文件,并根据所述查询关键字从所述日志文件中获取对应的访问日志,显示所述访问日志。
可选地,所述根据所述查询关键字从所述日志文件中获取对应的访问日志,包括:
遍历所述日志文件中的每一条访问日志,提取该访问日志的关键字,将所述查询关键字与提取到的关键字进行比较,若所述查询关键字与一个提取到的关键字相同,则确定该访问日志为所述对应的访问日志。
可选地,所述关键字key的形式为关键字标识_关键字。
可选地,若所述关键字为访问流水号,所述关键字对应的关键字标识为TRANSID;和/或
若所述关键字为手机号,所述关键字对应的关键字标识为serialNumber。
另一方面,本发明实施例提出一种基于nosql数据库和文件系统的访问日志存储查询的装置,包括:
生成单元,用于获取用户输入的查询关键字,利用所述查询关键字生成关键字key,其中,所述关键字key包括查询关键字和关键字标识;
匹配单元,用于通过将所述关键字key与预设的日志服务器中预先建立的nosql数据库中存储的关键字key匹配,获取所述关键字key对应的值value,其中,所述nosql数据库中存储有关键字key及其对应的值value,所述nosql数据库中存储的每一个关键字key包括从一条用于渠道访问系统的访问日志中提取的一个关键字和该关键字对应的关键字标识,所述渠道访问系统的访问日志以多个日志文件的形式存储在所述日志服务器的文件系统,所述关键字key对应的值value为该关键字对应的访问日志所在的日志文件的文件名;
获取单元,用于根据所述值value获取对应的日志文件,并根据所述查询关键字从所述日志文件中获取对应的访问日志,显示所述访问日志。
可选地,所述获取单元,具体用于:
遍历所述日志文件中的每一条访问日志,提取该访问日志的关键字,将所述查询关键字与提取到的关键字进行比较,若所述查询关键字与一个提取到的关键字相同,则确定该访问日志为所述对应的访问日志。
可选地,所述关键字key的形式为关键字标识_关键字。
可选地,若所述关键字为访问流水号,所述关键字对应的关键字标识为TRANSID;和/或
若所述关键字为手机号,所述关键字对应的关键字标识为serialNumber。
另一方面,本发明实施例提出一种基于nosql数据库和文件系统的访问日志存储查询的系统,包括:
前述任一项所述的装置、日志服务器和用于渠道访问系统的接入模块;其中,
所述接入模块,用于将渠道访问所述用于渠道访问系统的访问日志记录在多个日志文件中;
所述日志服务器,用于获取所述多个日志文件,将所述多个日志文件存储在文件系统,提取所述多个日志文件中每条访问日志的关键字,识别该关键字对应的关键字标识,根据该关键字和该关键字标识生成关键字key,将该条访问日志所在的日志文件的文件名作为该关键字key对应的值value,将该关键字key及其对应的值value存储在nosql数据库中。
可选地,所述接入模块,具体用于按照预设的周期生成所述多个日志文件。
本发明实施例提供的基于nosql数据库和文件系统的访问日志存储查询的方法、装置及系统,脱离关系型数据库,访问日志存储在日志服务器的文件系统,以每条日志的关键字及对应的关键字标识为key,详细日志所在的文件名为value存储在日志服务器的nosql数据库中,通过查询nosql数据库找到访问日志所在的文件,再通过文件找到详细日志并显示,整个方案通过nosql数据库和文件系统的日志存储查询机制,减少了关系型数据库的压力、不再影响正常业务的处理,另外,本方案扩展更容易、平滑:文件系统只需磁盘括容就可以,而nosql数据库比如redis集群,只需新增节点即可。
附图说明
图1为本发明基于nosql数据库和文件系统的访问日志存储查询的方法一实施例的流程示意图;
图2为本发明基于nosql数据库和文件系统的访问日志存储查询的装置一实施例的结构示意图;
图3为本发明电子设备一实施例的结构示意图;
图4为本发明基于nosql数据库和文件系统的访问日志存储查询的系统一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参看图1,本实施例公开一种基于nosql数据库和文件系统的访问日志存储查询的方法,包括:
S1、获取用户输入的查询关键字,利用所述查询关键字生成关键字key,其中,所述关键字key包括查询关键字和关键字标识;
需要说明的是,若待查询的访问日志可以提供多种能唯一标识该访问日志的关键字,则可进行多种条件查询,即可以根据待查询的访问日志所包含的唯一标识关键字的类型在用户输入界面设置对应每一唯一标识关键字类型的查询关键字输入框。比如,对于某一用于渠道访问系统,若其访问日志含有能唯一标识该访问日志的流水号,则若以流水号作为关键字,可以在用户输入界面设置流水号输入框,以使用户输入流水号,并根据用户输入的流水号查询访问日志。当然若用于渠道访问系统的访问日志含有能唯一标识该访问日志的手机号,则可以以手机号作为关键字,此时可以在用户输入界面设置手机号输入框,以使用户输入手机号,并根据用户输入的手机号查询访问日志。
S2、通过将所述关键字key与预设的日志服务器中预先建立的nosql数据库中存储的关键字key匹配,获取所述关键字key对应的值value,其中,所述nosql数据库中存储有关键字key及其对应的值value,所述nosql数据库中存储的每一个关键字key包括从一条用于渠道访问系统的访问日志中提取的一个关键字和该关键字对应的关键字标识,所述用于渠道访问系统的访问日志以多个日志文件的形式存储在所述日志服务器的文件系统,所述关键字key对应的值value为该关键字对应的访问日志所在的日志文件的文件名;
可以理解的是,所述nosql数据库中存储有从访问日志提取出的能唯一标识该访问日志的所有关键字和该关键字对应的关键字标识组成的至少一个关键字key。关键字key的形式可以为关键字标识_关键字,当然也可以为其它形式,比如关键字-关键字标识等,此处不再赘述。所述关键字标识用于标识所述关键字的类型。比如,若关键字为流水号,则关键字标识可以为TRANSID;若关键字为手机号,则关键字标识可以为serialNumber。
S3、根据所述值value获取对应的日志文件,并根据所述查询关键字从所述日志文件中获取对应的访问日志,显示所述访问日志。
本发明实施例提供的基于nosql数据库和文件系统的访问日志存储查询的方法,脱离关系型数据库,访问日志存储在日志服务器的文件系统,以每条日志的关键字及对应的关键字标识为key,详细日志所在的文件名为value存储在日志服务器的nosql数据库中,通过查询nosql数据库找到访问日志所在的文件,再通过文件找到详细日志并显示,整个方案通过nosql数据库和文件系统的日志存储查询机制,减少了关系型数据库的压力、不再影响正常业务的处理,另外,本方案扩展更容易、平滑:文件系统只需磁盘括容就可以,而nosql数据库比如redis集群,只需新增节点即可。
在前述方法实施例的基础上,所述根据所述查询关键字从所述日志文件中获取对应的访问日志,可以包括如下的图中未示出的步骤:
遍历所述日志文件中的每一条访问日志,提取该访问日志的关键字,将所述查询关键字与提取到的关键字进行比较,若所述查询关键字与一个提取到的关键字相同,则确定该访问日志为所述对应的访问日志。
可以理解的是,可以通过控制访问日志存储的日志文件的大小来保证访问日志的查询速度在可接受的范围内。
参看图2,本实施例公开一种基于nosql数据库和文件系统的访问日志存储查询的装置,包括:
生成单元1,用于获取用户输入的查询关键字,利用所述查询关键字生成关键字key,其中,所述关键字key包括查询关键字和关键字标识;
匹配单元2,用于通过将所述关键字key与预设的日志服务器中预先建立的nosql数据库中存储的关键字key匹配,获取所述关键字key对应的值value,其中,所述nosql数据库中存储有关键字key及其对应的值value,所述nosql数据库中存储的每一个关键字key包括从一条用于渠道访问系统的访问日志中提取的一个关键字和该关键字对应的关键字标识,所述渠道访问系统的访问日志以多个日志文件的形式存储在所述日志服务器的文件系统,所述关键字key对应的值value为该关键字对应的访问日志所在的日志文件的文件名;
本实施例中,所述关键字key的形式可以为关键字标识_关键字。若所述关键字为访问流水号,所述关键字对应的关键字标识可以为TRANSID;若所述关键字为手机号,所述关键字对应的关键字标识可以为serialNumber。
获取单元3,用于根据所述值value获取对应的日志文件,并根据所述查询关键字从所述日志文件中获取对应的访问日志,显示所述访问日志。
本实施例中,所述获取单元,具体可以用于:
遍历所述日志文件中的每一条访问日志,提取该访问日志的关键字,将所述查询关键字与提取到的关键字进行比较,若所述查询关键字与一个提取到的关键字相同,则确定该访问日志为所述对应的访问日志。
上述装置可以执行前述任意一种基于nosql数据库和文件系统的访问日志存储查询的方法,因而可以解决相同的技术问题,达到同样的技术效果。
综上,本发明实施例提供的基于nosql数据库和文件系统的访问日志存储查询的装置,脱离关系型数据库,访问日志存储在日志服务器的文件系统,以每条日志的关键字及对应的关键字标识为key,详细日志所在的文件名为value存储在日志服务器的nosql数据库中,通过查询nosql数据库找到访问日志所在的文件,再通过文件找到详细日志并显示,整个方案通过nosql数据库和文件系统的日志存储查询机制,减少了关系型数据库的压力、不再影响正常业务的处理,另外,本方案扩展更容易、平滑:文件系统只需磁盘括容就可以,而nosql数据库比如redis集群,只需新增节点即可。
图3示出了本发明实施例提供的一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括:至少一个处理器101、至少一个存储器102和总线103;其中,
所述处理器101、存储器102通过所述总线103完成相互间的通信;
所述存储器102存储有可被所述处理器101执行的程序指令,所述处理器101可以调用所述程序指令,以执行上述方法实施例所提供的方法,例如包括:获取用户输入的查询关键字,利用所述查询关键字生成关键字key,其中,所述关键字key包括查询关键字和关键字标识;通过将所述关键字key与预设的日志服务器中预先建立的nosql数据库中存储的关键字key匹配,获取所述关键字key对应的值value,其中,所述nosql数据库中存储有关键字key及其对应的值value,所述nosql数据库中存储的每一个关键字key包括从一条用于渠道访问系统的访问日志中提取的一个关键字和该关键字对应的关键字标识,所述用于渠道访问系统的访问日志以多个日志文件的形式存储在所述日志服务器的文件系统,所述关键字key对应的值value为该关键字对应的访问日志所在的日志文件的文件名;根据所述值value获取对应的日志文件,并根据所述查询关键字从所述日志文件中获取对应的访问日志,显示所述访问日志。
本发明实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述方法实施例所提供的方法,例如包括:获取用户输入的查询关键字,利用所述查询关键字生成关键字key,其中,所述关键字key包括查询关键字和关键字标识;通过将所述关键字key与预设的日志服务器中预先建立的nosql数据库中存储的关键字key匹配,获取所述关键字key对应的值value,其中,所述nosql数据库中存储有关键字key及其对应的值value,所述nosql数据库中存储的每一个关键字key包括从一条用于渠道访问系统的访问日志中提取的一个关键字和该关键字对应的关键字标识,所述用于渠道访问系统的访问日志以多个日志文件的形式存储在所述日志服务器的文件系统,所述关键字key对应的值value为该关键字对应的访问日志所在的日志文件的文件名;根据所述值value获取对应的日志文件,并根据所述查询关键字从所述日志文件中获取对应的访问日志,显示所述访问日志。
本发明实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述方法实施例所提供的方法,例如包括:获取用户输入的查询关键字,利用所述查询关键字生成关键字key,其中,所述关键字key包括查询关键字和关键字标识;通过将所述关键字key与预设的日志服务器中预先建立的nosql数据库中存储的关键字key匹配,获取所述关键字key对应的值value,其中,所述nosql数据库中存储有关键字key及其对应的值value,所述nosql数据库中存储的每一个关键字key包括从一条用于渠道访问系统的访问日志中提取的一个关键字和该关键字对应的关键字标识,所述用于渠道访问系统的访问日志以多个日志文件的形式存储在所述日志服务器的文件系统,所述关键字key对应的值value为该关键字对应的访问日志所在的日志文件的文件名;根据所述值value获取对应的日志文件,并根据所述查询关键字从所述日志文件中获取对应的访问日志,显示所述访问日志。
参看图4,本实施例公开一种基于nosql数据库和文件系统的访问日志存储查询的系统,包括:
前述任一实施例所述的装置(即图4中的查询引擎)、日志服务器5和用于渠道访问系统的接入模块6;其中,
所述接入模块6,用于将渠道访问所述用于渠道访问系统的访问日志记录在多个日志文件中;
如图4所示,在渠道访问用于渠道访问系统时,用于渠道访问系统的接入模块会把访问日志记录在日志文件中,具体可按时间周期生成日志文件,比如每分钟生成一个日志文件,以将访问日志存储在较小的日志文件中,便于保证后续访问日志查询的效率。
所述日志服务器5,用于获取所述多个日志文件,将所述多个日志文件存储在文件系统,提取所述多个日志文件中每条访问日志的关键字,识别该关键字对应的关键字标识,根据该关键字和该关键字标识生成关键字key,将该条访问日志所在的日志文件的文件名作为该关键字key对应的值value,将该关键字key及其对应的值value存储在nosql数据库中。
本实施例中,日志服务器在获取接入模块所在主机上的日志文件后,会解析文件中的内容,提取每条访问日志的唯一标识关键字,以“关键字标识_关键字”为key,文件名为value存储在nosql数据库中。用户若要查询访问日志,则可以在用户输入界面输入查询关键字,由查询引擎根据查询关键字生成关键字key,通过关键字key从nosql数据库中获取到对应的日志文件名,继而获取到对应的日志文件,解析该日志文件,再根据查询关键字获取对应日志的详细信息,最终把详细日志展示在查询界面上。
本发明实施例提供的基于nosql数据库和文件系统的访问日志存储查询的系统,脱离关系型数据库,访问日志存储在日志服务器的文件系统,以每条日志的关键字及对应的关键字标识为key,详细日志所在的文件名为value存储在日志服务器的nosql数据库中,通过查询nosql数据库找到访问日志所在的文件,再通过文件找到详细日志并显示,整个方案通过nosql数据库和文件系统的日志存储查询机制,减少了关系型数据库的压力、不再影响正常业务的处理,另外,本方案扩展更容易、平滑:文件系统只需磁盘括容就可以,而nosql数据库比如redis集群,只需新增节点即可。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的说明书中,说明了大量具体细节。然而能够理解的是,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。类似地,应当理解,为了精简本发明公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释呈反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面,也不局限于任何单一的实施例,也不局限于这些方面和/或实施例的任意组合和/或置换。而且,可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种基于nosql数据库和文件系统的访问日志存储查询的方法,其特征在于,包括:
获取用户输入的查询关键字,利用所述查询关键字生成关键字key,其中,所述关键字key包括查询关键字和关键字标识;
通过将所述关键字key与预设的日志服务器中预先建立的nosql数据库中存储的关键字key匹配,获取所述关键字key对应的值value,其中,所述nosql数据库中存储有关键字key及其对应的值value,所述nosql数据库中存储的每一个关键字key包括从一条用于渠道访问系统的访问日志中提取的一个关键字和该关键字对应的关键字标识,所述用于渠道访问系统的访问日志以多个日志文件的形式存储在所述日志服务器的文件系统,所述关键字key对应的值value为该关键字对应的访问日志所在的日志文件的文件名;
根据所述值value获取对应的日志文件,并根据所述查询关键字从所述日志文件中获取对应的访问日志,显示所述访问日志。
2.根据权利要求1所述的方法,其特征在于,所述根据所述查询关键字从所述日志文件中获取对应的访问日志,包括:
遍历所述日志文件中的每一条访问日志,提取该访问日志的关键字,将所述查询关键字与提取到的关键字进行比较,若所述查询关键字与一个提取到的关键字相同,则确定该访问日志为所述对应的访问日志。
3.根据权利要求1所述的方法,其特征在于,所述关键字key的形式为关键字标识_关键字。
4.根据权利要求1所述的方法,其特征在于,若所述关键字为访问流水号,所述关键字对应的关键字标识为TRANSID;和/或
若所述关键字为手机号,所述关键字对应的关键字标识为serialNumber。
5.一种基于nosql数据库和文件系统的访问日志存储查询的装置,其特征在于,包括:
生成单元,用于获取用户输入的查询关键字,利用所述查询关键字生成关键字key,其中,所述关键字key包括查询关键字和关键字标识;
匹配单元,用于通过将所述关键字key与预设的日志服务器中预先建立的nosql数据库中存储的关键字key匹配,获取所述关键字key对应的值value,其中,所述nosql数据库中存储有关键字key及其对应的值value,所述nosql数据库中存储的每一个关键字key包括从一条用于渠道访问系统的访问日志中提取的一个关键字和该关键字对应的关键字标识,所述渠道访问系统的访问日志以多个日志文件的形式存储在所述日志服务器的文件系统,所述关键字key对应的值value为该关键字对应的访问日志所在的日志文件的文件名;
获取单元,用于根据所述值value获取对应的日志文件,并根据所述查询关键字从所述日志文件中获取对应的访问日志,显示所述访问日志。
6.根据权利要求5所述的装置,其特征在于,所述获取单元,具体用于:
遍历所述日志文件中的每一条访问日志,提取该访问日志的关键字,将所述查询关键字与提取到的关键字进行比较,若所述查询关键字与一个提取到的关键字相同,则确定该访问日志为所述对应的访问日志。
7.根据权利要求5所述的装置,其特征在于,所述关键字key的形式为关键字标识_关键字。
8.根据权利要求5所述的装置,其特征在于,若所述关键字为访问流水号,所述关键字对应的关键字标识为TRANSID;和/或
若所述关键字为手机号,所述关键字对应的关键字标识为serialNumber。
9.一种基于nosql数据库和文件系统的访问日志存储查询的系统,其特征在于,包括:
权利要求5至8任一项所述的装置、日志服务器和用于渠道访问系统的接入模块;其中,
所述接入模块,用于将渠道访问所述用于渠道访问系统的访问日志记录在多个日志文件中;
所述日志服务器,用于获取所述多个日志文件,将所述多个日志文件存储在文件系统,提取所述多个日志文件中每条访问日志的关键字,识别该关键字对应的关键字标识,根据该关键字和该关键字标识生成关键字key,将该条访问日志所在的日志文件的文件名作为该关键字key对应的值value,将该关键字key及其对应的值value存储在nosql数据库中。
10.根据权利要求9所述的系统,其特征在于,所述接入模块,具体用于按照预设的周期生成所述多个日志文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710033494.7A CN108319608A (zh) | 2017-01-16 | 2017-01-16 | 访问日志存储查询的方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710033494.7A CN108319608A (zh) | 2017-01-16 | 2017-01-16 | 访问日志存储查询的方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108319608A true CN108319608A (zh) | 2018-07-24 |
Family
ID=62892029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710033494.7A Pending CN108319608A (zh) | 2017-01-16 | 2017-01-16 | 访问日志存储查询的方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108319608A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110309110A (zh) * | 2019-05-24 | 2019-10-08 | 深圳壹账通智能科技有限公司 | 一种大数据日志监控方法及装置、存储介质和计算机设备 |
CN110389989A (zh) * | 2019-07-15 | 2019-10-29 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置及设备 |
CN111008183A (zh) * | 2019-11-19 | 2020-04-14 | 武汉极意网络科技有限公司 | 一种用于业务风控日志数据的存储方法及系统 |
CN111488386A (zh) * | 2020-04-14 | 2020-08-04 | 北京易数科技有限公司 | 数据查询方法和装置 |
CN111966677A (zh) * | 2020-06-28 | 2020-11-20 | 北京百度网讯科技有限公司 | 数据报表的处理方法、装置、电子设备及存储介质 |
CN112084249A (zh) * | 2020-09-11 | 2020-12-15 | 浙江立元科技有限公司 | 一种访问记录提取方法及装置 |
WO2021057383A1 (zh) * | 2019-09-23 | 2021-04-01 | 深圳前海微众银行股份有限公司 | 日志查询方法、装置、设备及计算机可读存储介质 |
CN114840412A (zh) * | 2022-03-25 | 2022-08-02 | 网宿科技股份有限公司 | 测试工具的运行方法、电子设备及存储介质 |
CN115687457A (zh) * | 2022-11-07 | 2023-02-03 | 西安电子科技大学 | 基于均匀访问频率的数据访问模式保护的范围查询方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102193917A (zh) * | 2010-03-01 | 2011-09-21 | 中国移动通信集团公司 | 一种数据处理和查询方法和装置 |
CN104252536A (zh) * | 2014-09-16 | 2014-12-31 | 福建新大陆软件工程有限公司 | 一种基于hbase的上网日志数据查询方法及装置 |
CN104281672A (zh) * | 2014-09-28 | 2015-01-14 | 网神信息技术(北京)股份有限公司 | 日志数据的处理方法和装置 |
CN105138592A (zh) * | 2015-07-31 | 2015-12-09 | 武汉虹信技术服务有限责任公司 | 一种基于分布式架构的日志数据存储和检索方法 |
-
2017
- 2017-01-16 CN CN201710033494.7A patent/CN108319608A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102193917A (zh) * | 2010-03-01 | 2011-09-21 | 中国移动通信集团公司 | 一种数据处理和查询方法和装置 |
CN104252536A (zh) * | 2014-09-16 | 2014-12-31 | 福建新大陆软件工程有限公司 | 一种基于hbase的上网日志数据查询方法及装置 |
CN104281672A (zh) * | 2014-09-28 | 2015-01-14 | 网神信息技术(北京)股份有限公司 | 日志数据的处理方法和装置 |
CN105138592A (zh) * | 2015-07-31 | 2015-12-09 | 武汉虹信技术服务有限责任公司 | 一种基于分布式架构的日志数据存储和检索方法 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110309110A (zh) * | 2019-05-24 | 2019-10-08 | 深圳壹账通智能科技有限公司 | 一种大数据日志监控方法及装置、存储介质和计算机设备 |
CN110389989A (zh) * | 2019-07-15 | 2019-10-29 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置及设备 |
CN110389989B (zh) * | 2019-07-15 | 2023-08-01 | 创新先进技术有限公司 | 一种数据处理方法、装置及设备 |
WO2021057383A1 (zh) * | 2019-09-23 | 2021-04-01 | 深圳前海微众银行股份有限公司 | 日志查询方法、装置、设备及计算机可读存储介质 |
CN111008183A (zh) * | 2019-11-19 | 2020-04-14 | 武汉极意网络科技有限公司 | 一种用于业务风控日志数据的存储方法及系统 |
CN111008183B (zh) * | 2019-11-19 | 2023-09-15 | 武汉极意网络科技有限公司 | 一种用于业务风控日志数据的存储方法及系统 |
CN111488386A (zh) * | 2020-04-14 | 2020-08-04 | 北京易数科技有限公司 | 数据查询方法和装置 |
CN111488386B (zh) * | 2020-04-14 | 2023-09-29 | 北京易数科技有限公司 | 数据查询方法和装置 |
CN111966677A (zh) * | 2020-06-28 | 2020-11-20 | 北京百度网讯科技有限公司 | 数据报表的处理方法、装置、电子设备及存储介质 |
CN111966677B (zh) * | 2020-06-28 | 2024-04-19 | 北京百度网讯科技有限公司 | 数据报表的处理方法、装置、电子设备及存储介质 |
CN112084249A (zh) * | 2020-09-11 | 2020-12-15 | 浙江立元科技有限公司 | 一种访问记录提取方法及装置 |
CN114840412A (zh) * | 2022-03-25 | 2022-08-02 | 网宿科技股份有限公司 | 测试工具的运行方法、电子设备及存储介质 |
CN115687457A (zh) * | 2022-11-07 | 2023-02-03 | 西安电子科技大学 | 基于均匀访问频率的数据访问模式保护的范围查询方法 |
CN115687457B (zh) * | 2022-11-07 | 2025-07-25 | 西安电子科技大学 | 基于均匀访问频率的数据访问模式保护的范围查询方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108319608A (zh) | 访问日志存储查询的方法、装置及系统 | |
CN103902632B (zh) | 键值存储系统中构建文件系统的方法、装置及电子设备 | |
CN107704202B (zh) | 一种数据快速读写的方法和装置 | |
WO2020215689A1 (zh) | 一种列存储文件的查询方法及查询装置 | |
CN106294603A (zh) | 文件存储方法及装置 | |
CN114077680B (zh) | 一种图数据的存储方法、系统及装置 | |
CN110532347A (zh) | 一种日志数据处理方法、装置、设备和存储介质 | |
US10936640B2 (en) | Intelligent visualization of unstructured data in column-oriented data tables | |
WO2014110940A1 (en) | A method, apparatus and system for storing, reading the directory index | |
WO2017161540A1 (zh) | 数据查询的方法、数据对象的存储方法和数据系统 | |
CN109063215B (zh) | 数据检索方法及装置 | |
US9754015B2 (en) | Feature rich view of an entity subgraph | |
CN106372266A (zh) | 一种基于切面和配置文件的云操作系统缓存及访问方法 | |
CN105468644B (zh) | 一种用于在数据库中进行查询的方法与设备 | |
EP3343395B1 (en) | Data storage method and apparatus for mobile terminal | |
CN116991897A (zh) | 一种基于磁盘存储的查询方法及装置 | |
CN116991860A (zh) | 基于Flink的Hudi表增量数据写入方法及装置 | |
CN108140022B (zh) | 数据查询方法和数据库系统 | |
CN106326317A (zh) | 数据处理方法及装置 | |
CN108874871B (zh) | 实时pnt服务数据溯源方法及装置 | |
CN112464049B (zh) | 号码详单下载方法、装置和设备 | |
CN110209680A (zh) | 基于Hive外部表的数据更新方法、装置、及电子装置 | |
CN114564621A (zh) | 一种关联数据的方法、装置、设备及可读存储介质 | |
CN107016050B (zh) | 数据处理方法及装置 | |
CN105184550B (zh) | 管理排期数据的方法、服务器及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180724 |
|
RJ01 | Rejection of invention patent application after publication |