当前位置: 代码迷 >> 数据仓库 >> 数据仓库-征集用户访问日志
  详细解决方案

数据仓库-征集用户访问日志

热度:520   发布时间:2016-05-05 16:03:17.0
数据仓库--收集用户访问日志

最近在做数据仓库的技术方案设计。

?

首先需要的是收集网站日常的访问日志,主要可以用来确定用户访问的PV,UV等,甚至跟踪用户的访问轨迹等等。

?

查看了很多资料,主要介绍了两种方案:

?

1,基于客户端: 在每个页面 写上 统计代码JS ,JS把统计的参数请求给 日志服务器 (类似 google analysis ,百度统计)

?

2,基于服务端: 通过每台服务器日志进行收集和分析

?

关于这两种方案的优略,可以参考这篇文章:

http://javascript-reference.info/web-analytics-with-javascript-page-tagging-and-server-log-files-comparison-of-2-analytical-methods.htm

?

?

在我目前的需求来看,我打算采取前者 基于客户端的方案。我遇到的问题是,如何把全站的网页都加上我们自己的统计JS代码。

?

显然一个个页面加的话,保准人肉工作太多,难免出错。我打算从服务器端入手,让服务器动态的帮我加入统计JS

?

我们网站有三种服务器:


1,apache 作反向代理,请求 jetty 返回响应数据

?

2,nginx 处理静态资源

?

3,iis 部分老的网站是用 .net做的

?

经过网上的一番搜罗,查到了方案:

?


nginx:
http://wiki.nginx.org/NginxHttpSubModule

apache:
http://httpd.apache.org/docs/2.0/mod/mod_ext_filter.html

iis:
http://learn.iis.net/page.aspx/658/using-outbound-rules-to-add-web-analytics-tracking-code/?

那剩下的就还要解决服务器端的日志解析问题就可以了。