CN106209512A - 一种上报用户行为数据的方法及装置 - Google Patents

Abstract

本发明实施例公开了一种上报用户行为数据的方法及装置，包括：当终端接收到用户访问请求后，实时监测并接收所述用户的点击访问操作；根据所述用户的点击访问操作生成记录信息，并将所述记录信息发送给服务器。服务器接收到终端发送的记录信息后，将所述记录信息进行缓存；对所述记录信息进行分级处理，并将处理后的记录信息存入数据库。实现了不通过第三方工具即可有效完成用户访问行为的上报和统计的目的，同时解决浏览器缓存问题，由于不能识别中午代码导致的中文乱码问题和跨域访问的问题。

Description

一种上报用户行为数据的方法及装置

技术领域

本发明涉及数据处理技术领域，特别是指一种上报用户行为数据的方法及装置。

背景技术

现有技术中，在网站或者网页中，通常都是通过当前网页的超链接连接到更加详细的网页或者获取更加详细的信息，因此，对于监控或者运营商来说，统计用户在网页上的访问行为(点击行为、点击的次数以及点击的轨迹)，对于了解网站运营状况以及分析用户行为显得尤为重要。例如：统计网站被访问的次数、哪些用户访问哪些网站、用户对某一个网页的访问次数等等。

发明人在实现本发明的过程中发现，现有的网站或者网页一般是使用Ajax技术来做上报，Ajax是一种用于创建更好更快以及交互性更强的Web应用程序的技术。这种技术需要解决浏览器缓存问题，以及不能识别中文代码而导致的中文乱码问题和跨域访问的问题。某些第三方工具解决了Ajax上报的问题，但是需要把数据上报到第三方服务器上去分析和统计，可能造成数据泄露。同时，现有的网站或者网页上报的数据不能很好的进行实时计算。一般是存储到业务数据库中，后期进行抽取、转换、加载到数据仓库中，具有较长的时延。

发明内容

有鉴于此，本发明的目的在于提出一种能够有效完成用户访问行为的上报和统计的方法和装置。

第一方面，本发明实施例提供了一种上报用户行为数据的方法，包括：

当终端接收到用户访问请求后，实时监测并接收所述用户的点击访问操作；

根据所述用户的点击访问操作生成记录信息，并将所述记录信息发送给服务器。

第二方面，本发明实施例提供了一种上报用户行为数据的方法，包括：

接收到终端发送的记录信息后，将所述记录信息进行缓存；

对所述记录信息进行分级处理，并将处理后的记录信息存入数据库。

第三方面，本发明实施例还提供了一种上报用户行为数据的装置，包括：

访问操作监测和接收模块、记录信息生成模块和记录信息发送模块；

所述访问操作监测和接收模块终端用于实时监测并接收用户的访问操作；

所述记录信息生成模块用于根据所述用户的访问操作生成记录信息；

所述记录信息发送模块用于将所述记录信息发送给服务器。

第四方面，本发明实施例还提供了一种上报用户行为数据的装置，包括：缓存模块、处理模块和存储模块；

所述缓存模块用于对所述记录信息缓存；

所述处理模块用于对所述记录信息进行分级处理，并将分级处理后的记录信息存入所述存储模块；

所述存储模块用于存储所述分级处理后的记录信息。

从上面所述可以看出，本发明实施例提供的一种上报用户行为数据的方法及装置，包括：接收到用户访问请求后，实时监测并接收所述用户的点击访问操作；根据所述用户的点击访问操作生成记录信息，并将所述记录信息发送给服务器。服务器接收到终端发送的记录信息后，将所述记录信息进行缓存；对所述记录信息进行分级处理，并将处理后的记录信息存入数据库。实现了不通过第三方工具即可有效完成用户访问行为的上报和统计的目的，同时解决浏览器缓存问题，由于不能识别中文代码导致的中文乱码问题和跨域访问的问题。

附图说明

图1为本发明上报用户行为数据的方法的终端的一个实施例的示意图；

图2为本发明上报用户行为数据的方法的终端的一个实施例的详细流程图；

图3为本发明上报用户行为数据的方法的一个实施例的示意图；

图4所示，为本发明实施例上报用户行为数据的装置的组成结构示意图；

图5为本发明实施例上报用户行为数据的装置的组成结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

作为本发明的一个实施例，如图1所示，本发明上报用户行为数据的方法的终端的一个实施例的示意图。从图1中可以看出，本发明实施例提供的一种上报用户行为数据的方法，应用于终端，包括以下步骤：

步骤101：接收到用户访问请求后，监测并接收所述用户的点击访问操作。

当用户访问网页或者网站时，终端会接收到用户点击操作，并从接收到用户对网页或者网站的点击操作后开始，监测并接收所述用户后续的点击访问操作；

步骤102：根据用户的点击访问操作生成记录信息。

当监测到用户的访问网页或者网站的操作后，根据用户的访问网页或者网站的操作，生成对应的记录信息，所述记录信息包括用户访问的网页或者网站的地址、用户的访问轨迹，即从一个网页或者网站访问另一个网页或者网站的过程。

步骤103：将所述记录信息发送给服务器。

终端根据用户的访问网页或者网站的操作生成记录信息，并将所述记录信息发送给服务器。

实现了不通过第三方工具即可有效完成用户访问行为的上报和统计的目的，同时解决浏览器缓存问题，由于不能识别中文代码导致的中文乱码问题和跨域访问的问题。

作为本发明上报用户行为数据的方法的另一个实施例，在上述实施例的实时监测并接收用户的点击访问操作的步骤101之前还可以包括，在网页或网站中预先配置JS-SDK程序包，所述JS-SDK程序包用于完成用户的访问操作的的监测和接收。js-sdk是一种完全用java脚本语言书写的sdk开发工具包，他是面向服务的编程，它的编程速度效率是java编程的5-10倍，可快速的将用户的访问网页或者网站的操作生成代码。需要说明的是，本发明实施例的程序包但并不限于JS-SDK程序包。

作为本发明上报用户行为数据的方法的另一个实施例，当用户的访问目标网站或网页由第一域跳转到第二域时，所述JS-SDK程序包直接根据所述第一域中访问地址中的cookie信息获得用户账户信息，响应用户从当前访问的第一域跳转到第二域的操作，监测所述第二域和所述第一域是否属于同一用户账号；若属于同一用户账号，将所述第一域中的cookie信息发送至所述第二域。Cookie信息中包含用户的账号信息，根据cookie信息获取当前登陆用户的账号，进而将所述当前登陆用户的账号与第二域中的登陆账号进行对比，判断所述第一域中的当前登陆用户的账号和所述第二域中当前登陆用户的账号是否相同；若所述第一域中的当前登陆用户的账号和所述第二域中当前登陆用户的账号相同，则将所述cookie信息发送给所述第二域，这样，第二域就不需要从服务器中查询用户同一账号之前的访问操作即可知道该用户基于同一账号的访问轨迹，可实现快速的对用户的访问网页或者网站的操作进行统计，提高了实时性。

作为本发明上报用户行为数据的方法的再一个实施例，在上述实施例的步骤102根据用户的访问操作生成记录信息之后，还可以包括：

终端判断用户登录的网站或网页是否为海外网站或网页，若用户访问的网站或网页是为海外网站或网页，则将所述记录信息先发送至海外版后台接收服务器，以使所述海外版后台接收服务器将所述记录信息发送至大陆版后台接收服务器；

若用户访问的网站或网页不是海外网站或网页，则直接将所述记录信息发送至大陆版后台接收服务器。

通过本发明上述实施例的方法，实现了将海外用户的访问网页或者网站的操作和大陆用户的访问网页或者网站的操作统一统计。

如图2所示，为本发明上报用户行为数据的方法的一个实施例的详细流程图，应用于终端。从图中可以看出，本发明实施例包括以下步骤：

步骤201：在在网页或网站中预先配置JS-SDK程序包，所述JS-SDK程序包用于当接收到用户访问请求后，实时监测并接收所述用户的点击访问操作。

步骤202：监测用户点击操作，并生成记录信息。当预先配置JS-SDK程序包接收到用户的访问请求后，开始时刻监测用户点击操作，并根据用户的点击操作生成记录信息，将所述记录信息以HTTP请求的方式上报。

步骤203：当用户访问网页由第一域跳转到第二域时，响应用户从当前访问的第一域跳转到第二域的操作，监测所述第二域和所述第一域是否属于同一用户账号；

若属于同一用户账号，将所述第一域中的cookie信息发送至所述第二域。

步骤204：判断所述网页是否为海外网页，若是海外网页，则进入步骤205，若不是海外网页，则进入步骤206。

步骤205：

若用户访问的网站或网页是海外网站，则将所述记录信息先发送至海外版后台接收服务器，以使所述海外版后台接收服务器将所述记录信息发送至大陆版后台接收服务器。

步骤206：

若用户访问的网站或网页不是海外网站或网页，则直接将所述记录信息发送至大陆版后台接收服务器。

通过本发明实施的上述方法，完成了针对用户行为的上报，不仅实现了将海外用户的访问操作的记录信息和大陆用户的访问操作的记录信息统一发送给服务器，还解决了浏览器的缓存问题和跨域访问的问题，以及不能识别中文代码导致的中文乱码问题。

如图3所示，为本发明上报用户行为数据的方法的一个实施例的示意图，应用于服务器端。本发明实施例包括以下步骤：

步骤301：服务器接收终端发送的记录信息。

当终端根据用户的访问网页或者网站的操作生成记录信息后，不经过缓存将所述记录信息发送给服务器，服务器连续接收终端发送的所述记录信息。

步骤302：将记录信息在缓存模块中缓存，并发送至中间服务器。

服务器接收到终端发送的记录信息后，将记录信息在服务器中进行缓存，代替了将记录信息在用户登录的网页或者网站中缓存，从而解决了浏览器缓存问题。

步骤303：对记录信息分类处理。

将所述记录信息分类处理，可选地，利用storm cybertron程序对所述记录信息进行分类处理。步骤304：将分类处理后的记录信息存入数据库。

根据分类后记录信息的特征和作用，将所述记录信息分开存入不同的数据库。将写入HDFS的记录信息加载到Hive数据仓库；将数据量较小，实时性高直接存入mongoDB数据库，供业务方使用。

通过本发明实施例的上述方法，可将终端发送的记录信息经过分类处理后生成数据表，并将业务方需要的实时性高的数据提供给业务方，业务方可通过这类数据直观的获取需要的信息。同时，业务方也可以通过从Hive数据仓库调取记录信息，经过处理后也可以得到需要的信息根据上报和统计的记录信息可以得出网页的PV/UV、页面转化率等统计指标。

作为本发明的另一个实施例，上述实施例的步骤302还可以包括：

将所述记录信息在kafka集群中缓存，用于临时存储所述记录信息。所述kafka集群为开源的分布式的、冗余备份的、持久化存储的日志服务，利用kafka的高性能，缓存实时数据，再使用实时的流式计算框架storm来拉取kafka中的数据，进行实时的统计计算，可以得到当前1分钟之前的准实时统计结果，避免了较长时间的延迟。

作为本发明的另一个实施例，上述实施例的步骤303中将所述记录信息分为两类，具体包括：

一种是根据数据仓库的需要，把数据拆分成各个字段，写入HDFS。从HDFS加载的原始表会根据数据使用者的需求，进行ETL(抽取、转换、加载)，最终在数据仓库中形成一个或多个数据表。另外一种是写入HDFS记录信息用来加载到Hive数据仓库；将经过统计计算的数据量较小，实时性高的即时更新的结果，直接存入mongoDB数据库，供业务方使用。

业务方可通过这类数据直观的获取需要的信息。同时，业务方也可以通过从Hive数据仓库调取记录信息，经过处理后也可以得到需要的信息根据上报和统计的记录信息可以得出网页的PV/UV、页面转化率等统计指标。在本发明的另一方面，还提供一种上报用户行为数据的装置，应用于终端，如图4所示，为本发明上报用户行为数据的装置的终端的组成结构示意图。

包括：访问操作监测和接收模块401、记录信息生成模块402和记录信息发送模块403；

所述访问操作监测和接收模块401用于实时监测并接收用户的访问操作。

当用户访问网页或者网站时，终端中的所述访问操作监测和接收模块401会接收到用户点击操作，并从接收到用户对网页或者网站的点击操作后开始，监测并接收所述用户后续的点击访问操作。

所述记录信息生成模块402用于根据所述用户的访问操作生成记录信息。

当监测到用户的访问网页或者网站的操作后，所述记录信息生成模块402根据用户的访问网页或者网站的操作，生成对应的记录信息，所述记录信息包括用户访问的网页或者网站的地址、用户的访问轨迹，即从一个网页或者网站访问另一个网页或者网站的过程。

所述记录信息发送模块403用于将所述记录信息发送给服务器。

在所述记录信息生成模块402根据所述用户的访问操作生成记录信息后，所示记录信息发送模块403将所述记录信息发送给服务器。

本发明实施例的应用于终端的上报用户行为数据的装置，实现了不通过第三方工具即可有效完成用户访问行为的上报和统计的目的，同时解决浏览器缓存问题，由于不能识别中文代码导致的中文乱码问题和跨域访问的问题。

在本发明的另一方面，还提供一种上报用户行为数据的装置，应用于服务器端，如图5所示，为本发明上报用户行为数据的装置的服务器的组成结构示意图。

包括：缓存模块501、处理模块502和存储模块503；

所述缓存模块501用于对所述记录信息缓存。

当终端根据用户的访问网页或者网站的操作生成记录信息后，不经过缓存将所述记录信息发送给服务器，服务器连续接收终端发送的所述记录信息。服务器接收到终端发送的记录信息后，将所述记录信息在缓存模块中缓存。

所述处理模块502用于对所述记录信息进行分级处理，并将分级处理后的记录信息存入所述存储模块503。

当处理模块接收到缓存模块发送的记录信息后，将所述记录信息进行分类处理可选地，可利用storm cybertron程序对所述记录信息进行分类处理。

所述存储模块503用于存储所述分级处理后的记录信息。

根据分类后记录信息的特征和作用，将所述记录信息分开存入不同的数据库。将写入HDFS的记录信息加载到Hive数据仓库，将经过统计计算的数据量较小，实时性高的即时更新的结果，直接存入mongoDB数据库，供业务方使用。

通过本发明实施例的上述装置，可将终端发送的记录信息经过分类处理后生成数据表，并将业务方需要的实时性高的数据提供给业务方，业务方可通过这类数据直观的获取需要的信息。同时，业务方也可以通过从Hive数据仓库调取记录信息，经过处理后也可以得到需要的信息。本发明的上述实施例完成了针对用户行为的上报和统计，根据上报和统计的记录信息可以得出网页的PV/UV、页面转化率等统计指标。

作为本发明装置的另一个实施例，上述实施例中的所述处理模块具体用于：

根据数据仓库的需要，把数据拆分成各个字段，写入HDFS，用来加载到Hive数据仓库，从HDFS加载的原始表会根据数据使用者的需求，进行ETL(抽取、转换、加载)，最终在数据仓库中形成一个或多个数据表。其中，写入HDFS记录信息用来加载到Hive数据仓库，将经过统计计算的数据量较小，实时性高的即时更新的结果，直接存入mongoDB数据库，供业务方使用。或者将数据量较小，实时性高的，经过统计计算的即时更新的结果，直接存入mongoDB数据库，供业务方使用。业务方可通过这类数据直观的获取需要的信息。同时，业务方也可以通过从Hive数据仓库调取记录信息，经过处理后也可以得到需要的信息。本发明的上述实施例完成了针对用户行为的上报和统计，根据上报和统计的记录信息可以得出网页的PV/UV、页面转化率等统计指标。

本发明系统中所指的记录信息包括用户在网页上的点击行为、点击次数以及点击轨迹。

作为本发明装置的一个实施例，可选kafka集群作为缓存模块。所述kafka集群为开源的分布式的、冗余备份的、持久化存储的日志服务，用于对临时存储所述记录信息。利用kafka的高性能，缓存实时数据，再使用实时的流式计算框架storm来拉取kafka中的数据，进行实时的统计计算，可以得到当前1分钟之前的准实时统计结果，避免了较长时间的延迟。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出系统，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图系统的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种上报用户行为数据的方法，其特征在于，包括：

实时监测并接收用户的访问操作；

根据所述用户的访问操作生成记录信息，并将所述记录信息发送给服务器。

2.根据权利要求1所述的上报用户行为数据的方法，其特征在于，所述实时监测并接收用户的访问操作的步骤包括：预先配置JS-SDK程序包，所述JS-SDK程序包实时监测并接收所述用户的点击访问操作。

3.根据权利要求1所述的上报用户行为数据的方法，其特征在于，

响应用户从当前访问的第一域跳转到第二域的操作，监测所述第二域和所述第一域是否属于同一用户账号；

若属于同一用户账号，将所述第一域中的cookie信息发送至所述第二域。

4.根据权利要求1所述的上报用户行为数据的方法，其特征在于，在所述根据所述用户的访问操作生成记录信息之后，还包括：

判断用户访问的网站或网页是否为海外网站或网页；

若用户访问的网站或网页是海外网站，则将所述记录信息先发送至海外版后台接收服务器，以使所述海外版后台接收服务器将所述记录信息发送至大陆版后台接收服务器；

若用户访问的网站或网页不是海外网站或网页，则直接将所述记录信息发送至大陆版后台接收服务器。

5.一种上报用户行为数据的方法，其特征在于，包括：

服务器接收到终端发送的记录信息后，将所述记录信息进行缓存；

对所述记录信息进行分类处理；

将处理后的记录信息存入数据库。

6.根据权利要求5所述的上报用户行为数据的方法，其特征在于，所述对所述记录信息进行分类处理，将处理后的记录信息存入数据库的步骤包括：

将所述记录信息拆分成各个字段，写入HDFS，并加载到Hive数据仓库；

和/或，

对所述记录信息进行统计计算来获取实时更新的数据结果，将所述数据结果存入mongoDB数据库。

7.一种上报用户行为数据的装置，用于终端，其特征在于，包括：访问操作监测和接收模块、记录信息生成模块和记录信息发送模块；

所述访问操作监测和接收模块用于实时监测并接收用户的访问操作；

所述记录信息生成模块用于根据所述用户的访问操作生成记录信息；

所述记录信息发送模块用于将所述记录信息发送给服务器。

8.根据权利要求7所述的上报用户行为数据的装置，其特征在于，所述访问操作监测和接收模块还用于：

预先配置JS-SDK程序包，所述JS-SDK程序包实时监测并接收所述用户的点击访问操作。

9.根据权利要求7所述的上报用户行为数据的装置，其特征在于，所述访问操作监测和接收模块还用于：

响应用户从当前访问的第一域跳转到第二域的操作，监测所述第二域和所述第一域是否属于同一用户账号；

若属于同一用户账号，将所述第一域中的cookie信息发送至所述第二域。

10.根据权利要求7所述的上报用户行为数据的装置，其特征在于，所述记录信息生成模块还用于：

在根据所述用户的访问操作生成记录信息之后，判断用户访问的网站或网页是否为海外网站或网页；

若用户访问的网站或网页是海外网站，则将所述记录信息先发送至海外版后台接收服务器，以使所述海外版后台接收服务器将所述记录信息发送至大陆版后台接收服务器；

若用户访问的网站或网页不是海外网站或网页，则直接将所述记录信息发送至大陆版后台接收服务器。

11.一种上报用户行为数据的装置，其特征在于，包括：缓存模块、处理模块和存储模块；

所述缓存模块用于服务器接收到终端发送的记录信息后，对所述记录信息缓存；

所述处理模块用于对所述记录信息进行分级处理，并将分级处理后的记录信息存入所述存储模块；

所述存储模块用于存储所述分级处理后的记录信息。

12.根据权利要求11所述的上报用户行为数据的装置，其特征在于，所述处理模块具体用于：

将所述记录信息拆分成各个字段，写入HDFS，并加载到Hive数据仓库；

和/或，

对所述记录信息进行统计计算来获取实时更新的数据结果，将所述数据结果存入mongoDB数据库。