[go: up one dir, main page]

CN107277104A - 一种网页访问数据的处理方法及无线路由器 - Google Patents

一种网页访问数据的处理方法及无线路由器 Download PDF

Info

Publication number
CN107277104A
CN107277104A CN201710306572.6A CN201710306572A CN107277104A CN 107277104 A CN107277104 A CN 107277104A CN 201710306572 A CN201710306572 A CN 201710306572A CN 107277104 A CN107277104 A CN 107277104A
Authority
CN
China
Prior art keywords
module
memory space
access data
file
transfer memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710306572.6A
Other languages
English (en)
Inventor
黄江伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Feixun Data Communication Technology Co Ltd
Original Assignee
Shanghai Feixun Data Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Feixun Data Communication Technology Co Ltd filed Critical Shanghai Feixun Data Communication Technology Co Ltd
Priority to CN201710306572.6A priority Critical patent/CN107277104A/zh
Publication of CN107277104A publication Critical patent/CN107277104A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/60—Router architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种网页访问数据的处理方法及无线路由器，包括：步骤S100当无线终端通过无线路由器发送网页访问请求信息时，获取所述网页访问请求信息对应的访问数据，并将所述访问数据存储于临时存储空间；步骤S200当达到预设发送条件时，将所述临时存储空间中存储的所述访问数据发送至中转存储空间存储，并清空所述临时存储空间；步骤S300当达到预设上报时间时，将所述中转存储空间中的所述访问数据对应的当前压缩文件上报至服务器，并清空所述中转存储空间。本发明有效避免了内核频繁上报消息而过度消耗CPU资源的问题，且提高了无线路由器的稳定性。

Description

一种网页访问数据的处理方法及无线路由器
技术领域
本发明涉及无线通信领域，尤其涉及一种网页访问数据的处理方法及无线路由器。
背景技术
随着互联网和无线网络的快速发展，形形色色的无线终端充斥着人们的生活，在这样的环境下，了解用户的上网行为对商业大数据分析和警方监督用户合法访问互联网显得尤为重要。
现有的获取用户上网行为的方式，大多是通过无线路由器收集用户的上网数据，并先将其存储在无线路由器的内核态中，之后再上传至服务器。这种方式占用了无线路由器珍贵的内核态，使无线路由器系统崩溃的风险大大增加。
也有的会每获取一条上网数据，就将获取的这条上网数据通过Netlink通信接口上报至无线路由器的用户态，之后再上传至服务器。这种频繁上报上网数据的方式导致无线路由器的CPU资源严重消耗，且Netlink通信接口在无线路由器中仅有固定的32个，占用了一个Netlink通信接口，会对无线路由器的吞吐量产生一定的影响，从而影响用户体验，
发明内容
本发明的目的是提供一种网页访问数据的处理方法及无线路由器，既能有效地收集用户上网的访问数据，又可以减少对无线路由器的资源消耗。
本发明提供的技术方案如下：
一种网页访问数据的处理方法，包括：步骤S100当无线终端通过无线路由器发送网页访问请求信息时，获取所述网页访问请求信息对应的访问数据，并将所述访问数据存储于临时存储空间；步骤S200当达到预设发送条件时，将所述临时存储空间中存储的所述访问数据发送至中转存储空间存储，并清空所述临时存储空间；步骤S300当达到预设上报时间时，将所述中转存储空间中的所述访问数据对应的当前压缩文件上报至服务器，并清空所述中转存储空间。
在上述技术方案中，有效避免了内核频繁上报消息而过度消耗CPU资源的问题。且将访问数据存储于中转存储空间(即用户态)，有效地提高了无线路由器的稳定性。定时将中转存储空间中的访问数据对应的当前压缩文件上报至服务器，并清空中转存储空间，既实现了数据采集反馈的功能，又防止无线路由器内存消耗过大，提高了无线路由器的稳定性。
进一步，所述步骤S200包括：步骤S210判断所述临时存储空间中是否还存在剩余存储空间；步骤S220当所述临时存储空间不存在所述剩余存储空间时，则执行步骤S250；步骤S250将所述临时存储空间中存储的所述访问数据发送至中转存储空间存储，并清空所述临时存储空间。
在上述技术方案中，临时存储空间的开辟，使访问数据可以以多条的形式上报至中转存储空间，降低CPU资源的占用率。
进一步，所述步骤S200还包括：步骤S230当所述临时存储空间还存在所述剩余存储空间时，则判断是否达到预设发送时间；步骤S240当达到所述预设发送时间时，则执行步骤S250。
在上述技术方案中，预设发送时间的设置主要是为了防止访问数据滞留在内存态中。
进一步，所述步骤S300包括：步骤S320根据所述中转存储空间中存储的所述访问数据，生成所述访问数据对应的访问文件；步骤S321压缩生成的所述访问文件，形成所述当前压缩文件；步骤S322将所述当前压缩文件上报至服务器，并清空所述中转存储空间。
在上述技术方案中，当前压缩文件形成之后，会将中转存储空间中存储的访问数据清空，方便后续从临时存储空间中发送过来的访问数据存储于中转存储空间中。
进一步，所述步骤S322之后还包括：步骤S323当所述当前压缩文件上报至所述服务器后，将所述当前压缩文件转换为历史压缩文件；所述步骤S300进一步包括：步骤S310将所述历史压缩文件删除。
在上述技术方案中，将上报后的压缩文件留到下一次上报时再删除，避免出现上报失败的情况。
本发明还提供一种无线路由器，包括：获取模块，用于当无线终端通过无线路由器发送网页访问请求信息时，获取所述网页访问请求信息对应的访问数据；临时存储模块，与所述获取模块电连接，所述临时存储模块用于存储所述获取模块获取的所述访问数据；以及，当所述访问数据发送至中转存储模块后，所述临时存储模块进一步用于将存储的所述访问数据清空；发送模块，与所述临时存储模块电连接，当达到预设发送条件时，所述发送模块将所述临时存储模块中存储的所述访问数据发送至中转存储模块；以及，当达到预设上报时间时，所述发送模块进一步用于将所述中转存储模块中的所述访问数据对应的当前压缩文件上报至服务器；中转存储模块，与所述发送模块电连接，所述中转存储模块用于存储所述发送模块发送的所述访问数据；以及，当所述当前压缩文件上报至服务器后，所述中转存储模块进一步用于将存储的所述访问数据清空。
在上述技术方案中，有效避免了内核频繁上报消息而过度消耗CPU资源的问题。且将访问数据存储于中转存储空间(即用户态)，有效地提高了无线路由器的稳定性。定时将中转存储空间中的访问数据对应的当前压缩文件上报至服务器，并清空中转存储空间，既实现了数据采集反馈的功能，又防止无线路由器内存消耗过大，提高了无线路由器的稳定性。
进一步，还包括：判断模块，与所述临时存储模块和所述发送模块电连接，所述判断模块用于判断所述临时存储模块中是否还存在剩余存储空间；所述发送模块，进一步用于当所述临时存储模块中不存在剩余存储空间时，所述发送模块将所述临时存储模块中存储的所述访问数据发送至中转存储模块。
进一步，所述判断模块，进一步用于当所述临时存储模块还存在所述剩余存储空间时，所述判断模块判断是否达到预设发送时间；所述发送模块，进一步用于当达到预设发送时间时，所述发送模块将所述临时存储模块中存储的所述访问数据发送至中转存储模块。
进一步，还包括：生成模块，与所述中转存储模块电连接，当达到预设上报时间时，所述生成模块用于根据所述中转存储模块中存储的所述访问数据，生成所述访问数据对应的访问文件；压缩模块，与所述生成模块和所述发送模块电连接，所述压缩模块用于压缩生成的所述访问文件，形成所述当前压缩文件；所述发送模块，进一步用于将所述当前压缩文件上报至服务器。
进一步，所述压缩模块，进一步用于当所述当前压缩文件上报至所述服务器后，所述压缩模块将所述当前压缩文件转换为历史压缩文件；所述网页访问数据的处理系统还包括：删除模块，与所述压缩模块电连接，当达到预设上报时间时，所述删除模块用于将所述历史压缩文件删除。
与现有技术相比，本发明的网页访问数据的处理方法及无线路由器有益效果在于：
临时存储空间(内核态)采集到的多条访问数据是一起上报至中转存储空间(用户态)，避免频繁上报至中转存储空间而导致大量占用CPU的资源。且利用Genelink通信接口实现访问数据从临时存储空间发送至中转存储空间，进一步有效避免了Netlink通信接口资源紧缺的问题。将访问数据存储于用户态，节省了内核态的存储空间，增加了无线路由器的系统稳定性。另外，定时将中转存储空间中的访问数据上报至服务器，并清空中转存储空间，防止内存消耗过大。此外，历史压缩文件会留到下一次达到预设上报时间时删除，避免上报至服务器出现错误的情况。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种网页访问数据的处理方法及无线路由器的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明网页访问数据的处理方法一个实施例的流程图；
图2是本发明网页访问数据的处理方法另一个实施例的流程图；
图3是本发明无线路由器一个实施例的结构示意图；
图4是本发明无线路由器另一个实施例的结构示意图。
附图标号说明：
10.获取模块，20.临时存储模块，30.发送模块，40.中转存储模块，50.判断模块，60.生成模块，70.压缩模块，80.删除模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
在本发明的一个实施例中，如图1所示，一种网页访问数据的处理方法，包括：步骤S100当无线终端通过无线路由器发送网页访问请求信息时，获取网页访问请求信息对应的访问数据，并将访问数据存储于临时存储空间；步骤S200当达到预设发送条件时，将临时存储空间中存储的访问数据发送至中转存储空间存储，并清空临时存储空间；步骤S300当达到预设上报时间时，将中转存储空间中的访问数据对应的当前压缩文件上报至服务器，并清空中转存储空间。
具体的，本实施是基于无线路由器实现的，通过无线路由器收集与它连接的各无线终端访问网页的访问数据，并上报至服务器，为后续的商业大数据分析等提供大数据样本。
无线终端可以为手机、平板电脑、笔记本电脑等无线终端。无线终端通过Wi-Fi连接至无线路由器发出的无线网络上，从而实现联网功能。
在无线路由器中加入网页访问数据收集功能，当此功能处于激活状态时，会实时监听无线终端发送的信息，当其发送的信息为网页访问请求信息时，就获取对应的访问数据。网页访问请求信息，可以理解为用户点击了网页链接，要打开对应的网页。而网页访问请求信息对应的访问数据包括：此网页的域名(和/或IP地址)、无线终端的物理地址(MediaAccess Control，MAC)、此网页访问请求信息的发送时间、当前无线终端连入无线路由的无线网络信息(即无线终端连入的SSID)等。
在内核态中开辟一个存储空间作为临时存储空间，此临时存储空间的存储大小可以不大，例如：1K。当其存满或达到预设发送时间时，可以立即将临时存储空间中存储的访问数据发送至中转存储空间，并清空临时存储空间，为后续获取的访问数据作准备。访问数据是以多条形式发送给中转存储空间，降低了发送频率，从而降低了无线路由器CPU的资源占用率。另外，将临时存储空间中的访问数据发送给中转存储空间时，是通过Genelink通信接口实现访问数据的发送，而不是采用Netlink通信接口。Netlink通信接口只有32个(即0到31)，数量有限，因此比较珍贵；而Genelink通信接口是一个特殊的Netlink通信接口，可以无限制地使用，能够彻底解决Netlink通信接口资源紧缺的问题。故，采用Genelink通信接口将临时存储空间中的访问数据发送给中转存储空间，进一步节省了无线路由器的资源。
在用户态开辟出一个存储空间作为中转存储空间，用来存储从临时存储空间发送过来的访问数据。将访问数据存储在中转存储空间(即，用户态)中，有效增加了无线路由器的稳定性。内核态(即内核空间)是各进程共享的空间，且内核态的空间有限，仅开辟一小块存储空间作为临时存储空间，当达到预设发送条件时，将访问数据存储于中转存储空间(即用户态)，可以有效地节省内核空间，且内核空间中如果出现错误会导致整个系统崩溃，而用户态中出现错误顶多就是一个进程退出，所以，信息存储在用户态能够有效地增加无线路由器的稳定性。
无线路由器向服务器上报是周期性的，因此，会有预设上报时间。这里的预设上报时间可以由工程师根据需求自行设置。这里的服务器可以为FTP服务器。另外，预设上报时间的设置也是为了让无线路由器定时清空其中转存储空间的访问数据，从而防止其内存消耗过大。
本实施例中，会将多条访问数据一起发送至中转存储空间存储，有效避免了内核频繁上报消息而过度消耗CPU资源的问题。且将访问数据存储于中转存储空间(即用户态)，有效地提高了无线路由器的稳定性。另外，将访问数据从临时存储空间发送至中转存储空间时，会采用Genelink通信接口，进一步节省了无线路由器的资源紧张的问题。定时将中转存储空间中的访问数据对应的当前压缩文件上报至服务器，并清空中转存储空间，既实现了数据采集反馈的功能，又防止无线路由器内存消耗过大，提高了无线路由器的稳定性。
优选地，步骤S200包括：步骤S210判断临时存储空间中是否还存在剩余存储空间；步骤S220当临时存储空间不存在剩余存储空间时，则执行步骤S250；步骤S250将临时存储空间中存储的访问数据发送至中转存储空间存储，并清空临时存储空间。
具体的，内核态中的临时存储空间容量较小，当很多无线终端连入无线网络时，可能未达到预设发送时间时，临时存储空间就存满了，为了能够顺利收集后续的访问数据，当临时存储空间存满时，可以立即将临时存储空间中的访问数据发送至中转存储空间。在发送完成后，清空临时存储空间，为后续获取的访问数据提供存储位置。
临时存储空间的开辟，使访问数据可以以多条的形式上报至中转存储空间，降低CPU资源的占用率。
优选地，步骤S200还包括：步骤S230当临时存储空间还存在剩余存储空间时，则判断是否达到预设发送时间；步骤S240当达到预设发送时间时，则执行步骤S250；当未达到预设发送时间时，则执行步骤S100。
具体的，预设发送时间可以由工程师根据需求自行设置，例如：500ms。预设发送时间的设置主要是为了防止访问数据滞留在内存态中。
当临时存储空间仅存储了少量访问数据、未存满，但达到了预设发送时间时，还是可以将临时存储空间中存储的访问数据发送至中转存储空间，避免这些少量访问数据的滞留、丢失。
优选地，步骤S300包括：步骤S320根据中转存储空间中存储的访问数据，生成访问数据对应的访问文件；步骤S321压缩生成的访问文件，形成当前压缩文件；步骤S322将当前压缩文件上报至服务器，并清空中转存储空间。
具体的，中转存储空间(即用户态)中存储的访问数据需要以文件的形式上报至服务器。因此，当达到了预设上报时间时，会将中转存储空间中的访问数据生成对应的访问文件。为了加快传输速度，会再将生成的访问文件压缩，成为当前压缩文件，再将此压缩文件上报至服务器。
当前压缩文件形成之后，会将中转存储空间中存储的访问数据清空，方便后续从临时存储空间中发送过来的访问数据存储于中转存储空间中。
优选地，步骤S322之后还包括：步骤S323当当前压缩文件上报至服务器后，将当前压缩文件转换为历史压缩文件；步骤S300进一步包括：步骤S310将历史压缩文件删除(步骤S310位于步骤S20之前)。
具体的，当达到预设上报时间时，会先将上一次的历史压缩文件删除。之所以将上报后的压缩文件留到下一次上报时再删除，是因为若设置上报当前压缩文件、删除当前压缩文件同时进行，可能会出现上报失败的情况(例如：可能还没有上报完，当前压缩文件就已经删除)；为了避免出现上报失败的情况，故，如此设置。
需要注意的是，历史压缩文件不存储于临时存储空间，也不存储于中转存储空间，在删除时，系统会根据历史压缩文件的名称寻找到它，然后将其删除。因此，将历史压缩文件留到下一次上报时删除，并不会影响访问数据获取、存储、上报的进程。
另外，历史压缩文件删除的顺序在生成当前压缩文件之前，是为了方便找到此历史压缩文件。
在本发明的另一个实施例中，如图2所示，一种网页访问数据的处理方法，包括：
步骤S100当无线终端通过无线路由器发送网页访问请求信息时，获取网页访问请求信息对应的访问数据，并将访问数据存储于临时存储空间。
步骤S200当达到预设发送条件时，将临时存储空间中存储的访问数据发送至中转存储空间存储，并清空临时存储空间；步骤S200包括：
步骤S210判断临时存储空间中是否还存在剩余存储空间；
步骤S220当临时存储空间不存在剩余存储空间时，则执行步骤S250；
步骤S230当临时存储空间还存在剩余存储空间时，则判断是否达到预设发送时间，当未达到预设发送时间时，则执行步骤S100；
步骤S240当达到预设发送时间时，则执行步骤S250；
步骤S250将临时存储空间中存储的访问数据发送至中转存储空间存储，并清空临时存储空间。
步骤S300当达到预设上报时间时，将中转存储空间中的访问数据对应的当前压缩文件上报至服务器，并清空中转存储空间；步骤S300包括：
步骤S310将历史压缩文件删除；
步骤S320根据中转存储空间中存储的访问数据，生成访问数据对应的访问文件；
步骤S321压缩生成的访问文件，形成当前压缩文件；
步骤S322将当前压缩文件上报至服务器，并清空中转存储空间；
步骤S323当当前压缩文件上报至服务器后，将当前压缩文件转换为历史压缩文件。
具体的，本实施例中临时存储空间(内核态)采集到的多条访问数据是一起上报至中转存储空间(用户态)，避免频繁上报至中转存储空间而导致大量占用CPU的资源。且利用Genelink通信接口实现访问数据从临时存储空间发送至中转存储空间，进一步有效避免了Netlink通信接口资源紧缺的问题。将访问数据存储于用户态，节省了内核态的存储空间，增加了无线路由器的系统稳定性。另外，定时将中转存储空间中的访问数据上报至服务器，并清空中转存储空间，防止内存消耗过大。此外，历史压缩文件会留到下一次达到预设上报时间时删除，避免上报至服务器出现错误的情况。
在本发明的另一个实施例中，一种网页访问数据的处理方法，其原理为：在netif_receive_skb函数中加入钩子函数以获取访问数据。例如：在/linux/net/core/dev.c中加入函数钩子
如果开启网页访问数据收集功能，cathpkt_hook＝cathpkt_handler；
void cathpkt_handler(struct sk_buff*skb)函数对skb数据包的各个字段进行分析，如果是http包且里面有GET头(即网页访问请求信息)，则获取skb数据包中的访问数据，例如：hosturl(域名和/或IP地址)、(无线终端的)MAC、timestramp和skb->dev->name(无线终端连入的SSID)。
然后把获取到的访问数据存入buf_ring(内存态中开辟的临时存储空间)里面，如果buf_ring中的访问数据存储满(例如：1K)了，则立即调用genetlink把访问数据发送到用户态进程(cathpkt)，如果没满则推迟500ms之后发送到cathpkt进程。
在cathpkt进程中调用genetlink库函数接收genetlink发上来的消息，解析并存储到一个数组(中转存储空间)中，该数组可存储1024条记录(也可以更多，由工程师根据需要进行设置)。在另一个实施例中，若此数据的空间用完，则不再存储(下次临时存储空间发送过来的访问数据替换最后一个存储空间中的数据)。
该用户态进程设置定时器(即预设上报时间)，先删除上次上报生成的压缩文件(即历史压缩文件)，如果本次收集到了无线终端的访问数据，则写入/tmp/目录下生成文件，然后加密压缩并用ftpput上报收集到的无线终端的访问数据给ftp服务器，且将数组已用空间清零(即：令用户态进程cathpkt中定义的全局变量current_collect_num＝0)，然后genetlink再上报上来的访问数据就可以再存储到数组中将上一次ftp上报前的数据覆盖，周而复始。
在本发明的另一个实施例中，如图3所示，一种无线路由器，包括：获取模块10，用于当无线终端通过无线路由器发送网页访问请求信息时，获取网页访问请求信息对应的访问数据；临时存储模块20，与获取模块电连接，临时存储模块用于存储获取模块获取的访问数据；以及，当访问数据发送至中转存储模块后，临时存储模块进一步用于将存储的访问数据清空；发送模块30，与临时存储模块电连接，当达到预设发送条件时，发送模块将临时存储模块中存储的访问数据发送至中转存储模块；以及，当达到预设上报时间时，发送模块进一步用于将中转存储模块中的访问数据对应的当前压缩文件上报至服务器；中转存储模块40，与发送模块电连接，中转存储模块用于存储发送模块发送的访问数据；以及，当当前压缩文件上报至服务器后，中转存储模块进一步用于将存储的访问数据清空。
具体的，本实施是基于无线路由器实现的，通过无线路由器收集与它连接的各无线终端访问网页的访问数据，并上报至服务器，为后续的商业大数据分析等提供大数据样本。
无线终端可以为手机、平板电脑、笔记本电脑等无线终端。无线终端通过Wi-Fi连接至无线路由器发出的无线网络上，从而实现联网功能。
在无线路由器中加入网页访问数据收集功能，当此功能处于激活状态时，会实时监听无线终端发送的信息，当其发送的信息为网页访问请求信息时，就获取对应的访问数据。网页访问请求信息，可以理解为用户点击了网页链接，要打开对应的网页。而网页访问请求信息对应的访问数据包括：此网页的域名(和/或IP地址)、无线终端的物理地址(MediaAccess Control，MAC)、此网页访问请求信息的发送时间、当前无线终端连入无线路由的无线网络信息(即无线终端连入的SSID)等。
在内核态中开辟一个存储空间作为临时存储空间，此临时存储空间的存储大小可以不大，例如：1K。当其存满或达到预设发送时间时，可以立即将临时存储空间中存储的访问数据发送至中转存储空间，并清空临时存储空间，为后续获取的访问数据作准备。访问数据是以多条形式发送给中转存储空间，降低了发送频率，从而降低了无线路由器CPU的资源占用率。另外，将临时存储空间中的访问数据发送给中转存储空间时，是通过Genelink通信接口实现访问数据的发送，而不是采用Netlink通信接口。Netlink通信接口只有32个(即0到31)，数量有限，因此比较珍贵；而Genelink通信接口是一个特殊的Netlink通信接口，可以无限制地使用，能够彻底解决Netlink通信接口资源紧缺的问题。故，采用Genelink通信接口将临时存储空间中的访问数据发送给中转存储空间，进一步节省了无线路由器的资源。
在用户态开辟出一个存储空间作为中转存储空间，用来存储从临时存储空间发送过来的访问数据。将访问数据存储在中转存储空间(即，用户态)中，有效增加了无线路由器的稳定性。内核态(即内核空间)是各进程共享的空间，且内核态的空间有限，仅开辟一小块存储空间作为临时存储空间，当达到预设发送条件时，将访问数据存储于中转存储空间(即用户态)，可以有效地节省内核空间，且内核空间中如果出现错误会导致整个系统崩溃，而用户态中出现错误顶多就是一个进程退出，所以，信息存储在用户态能够有效地增加无线路由器的稳定性。
无线路由器向服务器上报是周期性的，因此，会有预设上报时间。这里的预设上报时间可以由工程师根据需求自行设置。这里的服务器可以为FTP服务器。另外，预设上报时间的设置也是为了让无线路由器定时清空其中转存储空间的访问数据，从而防止其内存消耗过大。
本实施例中，会将多条访问数据一起发送至中转存储空间存储，有效避免了内核频繁上报消息而过度消耗CPU资源的问题。且将访问数据存储于中转存储空间(即用户态)，有效地提高了无线路由器的稳定性。另外，将访问数据从临时存储空间发送至中转存储空间时，会采用Genelink通信接口，进一步节省了无线路由器的资源紧张的问题。定时将中转存储空间中的访问数据对应的当前压缩文件上报至服务器，并清空中转存储空间，既实现了数据采集反馈的功能，又防止无线路由器内存消耗过大，提高了无线路由器的稳定性。
优选地，还包括：判断模块50，与临时存储模块和发送模块电连接，判断模块用于判断临时存储模块中是否还存在剩余存储空间；发送模块30，进一步用于当临时存储模块中不存在剩余存储空间时，发送模块将临时存储模块中存储的访问数据发送至中转存储模块。
具体的，内核态中的临时存储空间容量较小，当很多无线终端连入无线网络时，可能未达到预设发送时间时，临时存储空间就存满了，为了能够顺利收集后续的访问数据，当临时存储空间存满时，可以立即将临时存储空间中的访问数据发送至中转存储空间。在发送完成后，清空临时存储空间，为后续获取的访问数据提供存储位置。
临时存储空间的开辟，使访问数据可以以多条的形式上报至中转存储空间，降低CPU资源的占用率。
优选地，判断模块50，进一步用于当临时存储模块还存在剩余存储空间时，判断模块判断是否达到预设发送时间；发送模块30，进一步用于当达到预设发送时间时，发送模块将临时存储模块中存储的访问数据发送至中转存储模块。
具体的，预设发送时间可以由工程师根据需求自行设置，例如：500ms。预设发送时间的设置主要是为了防止访问数据滞留在内存态中。
当临时存储空间仅存储了少量访问数据、未存满，但达到了预设发送时间时，还是可以将临时存储空间中存储的访问数据发送至中转存储空间，避免这些少量访问数据的滞留、丢失。
优选地，还包括：生成模块60，与中转存储模块电连接，当达到预设上报时间时，生成模块用于根据中转存储模块中存储的访问数据，生成访问数据对应的访问文件；压缩模块70，与生成模块和发送模块电连接，压缩模块用于压缩生成的访问文件，形成当前压缩文件；发送模块30，进一步用于将当前压缩文件上报至服务器。
具体的，中转存储空间(即用户态)中存储的访问数据需要以文件的形式上报至服务器。因此，当达到了预设上报时间时，会将中转存储空间中的访问数据生成对应的访问文件。为了加快传输速度，会再将生成的访问文件压缩，成为当前压缩文件，再将此压缩文件上报至服务器。
当前压缩文件形成之后，会将中转存储空间中存储的访问数据清空，后续从临时存储空间中发送过来的访问数据会存储中转存储空间中。
优选地，压缩模块70，进一步用于当当前压缩文件上报至服务器后，压缩模块将当前压缩文件转换为历史压缩文件；网页访问数据的处理系统还包括：删除模块80，与压缩模块电连接，当达到预设上报时间时，删除模块用于将历史压缩文件删除。
具体的，当达到预设上报时间时，会先将上一次的历史压缩文件删除。之所以将上报后的压缩文件留到下一次上报时再删除，是因为若设置上报当前压缩文件、删除当前压缩文件同时进行，可能会出现上报失败的情况(例如：可能还没有上报完，当前压缩文件就已经删除)；为了避免出现上报失败的情况，故，如此设置。
需要注意的是，历史压缩文件不存储于临时存储空间，也不存储于中转存储空间，在删除时，系统会根据历史压缩文件的名称寻找到它，然后将其删除。因此，将历史压缩文件留到下一次上报时删除，并不会影响访问数据获取、存储、上报的进程。
另外，历史压缩文件删除的顺序在生成当前压缩文件之前，是为了方便找到此历史压缩文件。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种网页访问数据的处理方法，其特征在于，包括：
步骤S100当无线终端通过无线路由器发送网页访问请求信息时，获取所述网页访问请求信息对应的访问数据，并将所述访问数据存储于临时存储空间；
步骤S200当达到预设发送条件时，将所述临时存储空间中存储的所述访问数据发送至中转存储空间存储，并清空所述临时存储空间；
步骤S300当达到预设上报时间时，将所述中转存储空间中的所述访问数据对应的当前压缩文件上报至服务器，并清空所述中转存储空间。
2.如权利要求1所述的网页访问数据的处理方法，其特征在于，所述步骤S200包括：
步骤S210判断所述临时存储空间中是否还存在剩余存储空间；
步骤S220当所述临时存储空间不存在所述剩余存储空间时，则执行步骤S250；
步骤S250将所述临时存储空间中存储的所述访问数据发送至中转存储空间存储，并清空所述临时存储空间。
3.如权利要求2所述的网页访问数据的处理方法，其特征在于，所述步骤S200还包括：
步骤S230当所述临时存储空间还存在所述剩余存储空间时，则判断是否达到预设发送时间；
步骤S240当达到所述预设发送时间时，则执行步骤S250。
4.如权利要求1-3任一所述的网页访问数据的处理方法，其特征在于，所述步骤S300包括：
步骤S320根据所述中转存储空间中存储的所述访问数据，生成所述访问数据对应的访问文件；
步骤S321压缩生成的所述访问文件，形成所述当前压缩文件；
步骤S322将所述当前压缩文件上报至服务器，并清空所述中转存储空间。
5.如权利要求4所述的网页访问数据的处理方法，其特征在于：
所述步骤S322之后还包括：
步骤S323当所述当前压缩文件上报至所述服务器后，将所述当前压缩文件转换为历史压缩文件；
所述步骤S300进一步包括：
步骤S310将所述历史压缩文件删除。
6.一种无线路由器，其特征在于，包括：
获取模块，用于当无线终端通过无线路由器发送网页访问请求信息时，获取所述网页访问请求信息对应的访问数据；
临时存储模块，与所述获取模块电连接，所述临时存储模块用于存储所述获取模块获取的所述访问数据；以及，当所述访问数据发送至中转存储模块后，所述临时存储模块进一步用于将存储的所述访问数据清空；
发送模块，与所述临时存储模块电连接，当达到预设发送条件时，所述发送模块将所述临时存储模块中存储的所述访问数据发送至中转存储模块；以及，当达到预设上报时间时，所述发送模块进一步用于将所述中转存储模块中的所述访问数据对应的当前压缩文件上报至服务器；
中转存储模块，与所述发送模块电连接，所述中转存储模块用于存储所述发送模块发送的所述访问数据；以及，当所述当前压缩文件上报至服务器后，所述中转存储模块进一步用于将存储的所述访问数据清空。
7.如权利要求6所述的无线路由器，其特征在于，还包括：
判断模块，与所述临时存储模块和所述发送模块电连接，所述判断模块用于判断所述临时存储模块中是否还存在剩余存储空间；
所述发送模块，进一步用于当所述临时存储模块中不存在剩余存储空间时，所述发送模块将所述临时存储模块中存储的所述访问数据发送至中转存储模块。
8.如权利要求7所述的无线路由器，其特征在于：
所述判断模块，进一步用于当所述临时存储模块还存在所述剩余存储空间时，所述判断模块判断是否达到预设发送时间；
所述发送模块，进一步用于当达到预设发送时间时，所述发送模块将所述临时存储模块中存储的所述访问数据发送至中转存储模块。
9.如权利要求6-8任一所述的无线路由器，其特征在于，还包括：
生成模块，与所述中转存储模块电连接，当达到预设上报时间时，所述生成模块用于根据所述中转存储模块中存储的所述访问数据，生成所述访问数据对应的访问文件；
压缩模块，与所述生成模块和所述发送模块电连接，所述压缩模块用于压缩生成的所述访问文件，形成所述当前压缩文件；
所述发送模块，进一步用于将所述当前压缩文件上报至服务器。
10.如权利要求9所述的无线路由器，其特征在于：
所述压缩模块，进一步用于当所述当前压缩文件上报至所述服务器后，所述压缩模块将所述当前压缩文件转换为历史压缩文件；
所述网页访问数据的处理系统还包括：
删除模块，与所述压缩模块电连接，当达到预设上报时间时，所述删除模块用于将所述历史压缩文件删除。
CN201710306572.6A 2017-05-04 2017-05-04 一种网页访问数据的处理方法及无线路由器 Pending CN107277104A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710306572.6A CN107277104A (zh) 2017-05-04 2017-05-04 一种网页访问数据的处理方法及无线路由器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710306572.6A CN107277104A (zh) 2017-05-04 2017-05-04 一种网页访问数据的处理方法及无线路由器

Publications (1)

Publication Number Publication Date
CN107277104A true CN107277104A (zh) 2017-10-20

Family

ID=60073691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710306572.6A Pending CN107277104A (zh) 2017-05-04 2017-05-04 一种网页访问数据的处理方法及无线路由器

Country Status (1)

Country Link
CN (1) CN107277104A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632454A (zh) * 2018-03-29 2018-10-09 广东欧珀移动通信有限公司 信息处理方法和装置、计算机可读存储介质、终端
CN110177024A (zh) * 2019-05-06 2019-08-27 北京奇安信科技有限公司 热点设备的监控方法及客户端、服务端、系统
CN114154099A (zh) * 2021-12-07 2022-03-08 北京达佳互联信息技术有限公司 路由信息处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160034397A1 (en) * 2013-04-16 2016-02-04 Huawei Technologies Co., Ltd. Method and Apparatus for Processing Data and Computer System
CN105407481A (zh) * 2015-10-23 2016-03-16 上海斐讯数据通信技术有限公司 上网数据的获取方法
CN106027595A (zh) * 2016-04-25 2016-10-12 乐视控股（北京）有限公司 用于cdn节点的访问日志处理方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160034397A1 (en) * 2013-04-16 2016-02-04 Huawei Technologies Co., Ltd. Method and Apparatus for Processing Data and Computer System
CN105407481A (zh) * 2015-10-23 2016-03-16 上海斐讯数据通信技术有限公司 上网数据的获取方法
CN106027595A (zh) * 2016-04-25 2016-10-12 乐视控股（北京）有限公司 用于cdn节点的访问日志处理方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632454A (zh) * 2018-03-29 2018-10-09 广东欧珀移动通信有限公司 信息处理方法和装置、计算机可读存储介质、终端
CN108632454B (zh) * 2018-03-29 2021-06-25 Oppo广东移动通信有限公司 信息处理方法和装置、计算机可读存储介质、终端
CN110177024A (zh) * 2019-05-06 2019-08-27 北京奇安信科技有限公司 热点设备的监控方法及客户端、服务端、系统
CN110177024B (zh) * 2019-05-06 2021-10-01 奇安信科技集团股份有限公司 热点设备的监控方法及客户端、服务端、系统
CN114154099A (zh) * 2021-12-07 2022-03-08 北京达佳互联信息技术有限公司 路由信息处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
WO2021142609A1 (zh) 信息上报方法、装置、设备和存储介质
CN103902575B (zh) 一种图片信息加载方法及相关装置
CN108063818B (zh) 数据下载方法、装置、终端和计算机可读存储介质
CN108632309B (zh) 一种升级窄带物联网终端的方法及装置
CN106954248A (zh) 一种网络接入方法及装置
CN107277104A (zh) 一种网页访问数据的处理方法及无线路由器
CN110213092A (zh) 混合云的资源访问方法、平台管理设备、存储介质及装置
CN103631616B (zh) 图片快速加载及缓存方法与系统
CN108512937B (zh) 一种基于移动网络的计算机数据共享系统
CN103729440B (zh) 一种访问网站的方法及装置
CN105988941B (zh) 缓存数据处理方法和装置
CN112787828A (zh) 一种应用程序的流量统计方法、设备、移动电子设备
CN112422618A (zh) 位置感应数据上报方法、装置及系统
CN109240790B (zh) 一种多窗口管理方法、系统及安卓终端
CN102902593A (zh) 基于缓存机制的协议分发处理系统
CN114020208B (zh) 数据垃圾回收方法、装置、计算机设备以及存储介质
CN116594834A (zh) 一种用于多协议服务器的运维数据处理方法及装置
CN114040378A (zh) 应用的编排方法、装置、计算机设备和存储介质
CN107193496A (zh) 一种存储空间节省方法及装置
CN116629351B (zh) 数据处理方法及装置
CN112433779A (zh) 基于erp系统的应用站点预加载方法、设备和存储介质
CN116610643B (zh) 目录压缩下载过程的监控方法、装置及程序产品
CN104601527A (zh) 数据过滤的方法及装置
CN111356100B (zh) 移动广告流量智能分配方法及系统
CN116761206B (zh) 数据传输方法、装置、通信设备、介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171020