用户行为分析研究之数据采集
1.1用户行为分析的重要性
用户行为分析的重要性，我想做个网站的人都会用很清晰的认识，本来我想谈谈自己想法，但感觉自己毕竟还是做技术的，很难清晰的从商业价值的角度来分析它的重要性，因此放弃了想阐述自己意见的想法。当我第一次见到百度统计，和谷歌分析网站，就有那种惊鸿一瞥的激动，很想自己也能写出一套这样的网站，这也是我持续研究用户行为分析的初衷。
对于大型网站而言，网站响应速度是网站是否优秀一个重要衡量标准，下面我引用一些权威机构的统计数据来说明网站响应速度的重要性：
用户行为分析的前提就是能准确的采集到用户的相关数据，这就需要我们在网站页面里添加采集数据的代码，如果我们的采集代码写的不好，一定会对网站的性能产生一定的影响，更有甚者还会影响到网站的稳定性。因此设计一套性能卓越，安全性好，耦合度很低的日志采集程序是非常重要的。
这里我提供一套采集数据方案，方案详情如下：
我是做java的程序员，经常使用到的web应用服务器是tomact，jboss，weblogic等等，我这里为什么不使用这些我非常熟悉的web应用服务器，而去选择功能相对单一的apache或者是nginx呢？理由非常简单，因为apache和nginx速度更快，更加轻量级，这个经验来源于我做网站的经验，大型网站的服务端设计是很复杂的，但基本都有一个共同的原则：当用户一个请求提交到了服务端，服务端会先判断这个请求，如果请求的是一些对静态资源的访问（比如图片，不会变化的文字等），请求会直接提交到响应的静态资源服务器集群，这样速度会更快，而这些静态资源服务器基本都是apache或者是像nginx这样的轻量级web服务器集群。
1.3 采集系统之服务端
本地开发，我就不去搭建集群了，有兴趣的童鞋可以在网上查查相关的资料。本地开发我就搭建一个apache服务器。
服务器的开发非常简单，只要修改下apache下的conf文件（注意：我的开发平台是window7），代码如下：
<IfModule log_config_module>
LogFormat "%h %l %u %t [%{%Y-%m-%d %T}t] \"%r\" [%q] [%U] %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t [%{%Y-%m-%d %T}t] \"%r\" [%q] [%U] %>s %b" common
<IfModule logio_module>
# You need to enable mod_logio.c to use %I and %O
LogFormat "%h %l %u %t [%{%Y-%m-%d %T}t] \"%r\" [%q] [%U] %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %I %O" combinedio
</IfModule>
在htdocs文件夹里添加如下文件：
1) a.gif。（1*1像素的透明文件）
2) click.html。（用于记录点击日志）
3) error.html。（记录错误信息日志）
启动apache服务器，我们在浏览器录入如下地址：
http://127.0.0.1/a.gif?name=sharpxiajun&msg=test
在logs文件夹里找到2012_06_26.access.log文件，打开文件，我们会看到如下日志：
127.0.0.1 - - [26/Jun/2012:11:37:07 +0800] [2012-06-26 11:37:07] "GET /a.gif?name=sharpxiajun&msg=test HTTP/1.1" [?name=sharpxiajun&msg=test] [/a.gif] 200 43
访问请求被完整的记录下来了。
1.4 采集系统之客户端
采集系统的核心还是客户端的采集脚本，这里我会贴出完整的采集脚本以及测试页面，代码的详细解析我会在以后的博客里进行阐述。
我的采集脚本可以记录用户访问的日志，还能记录用户的点击日志，不过点击日志一般包含业务含义需要用户根据自己的需求去定义。代码如下：
up_beacon.js:
View Code
install_up_beacon.js文件，这个文件对外提供：
(function(window,document,undefined){
/*安装采集脚本的js程序*/
// upLogger对象是采集脚本对外提供的操作对象
if (window.upLogger){//如果不为空，直接返回，避免重复安装
return;
}
var cookieUtil = {//cookie操作工具类
setCookie:function(sName,sValue,oExpires,sPath,sDomain,bSecure){
var currDate = new Date(),
sExpires = typeof oExpires == 'undefined'?'':';expires=' + new Date(currDate.getTime() + (oExpires * 24 * 60 * 60* 1000)).toUTCString();
document.cookie = sName + '=' + sValue + sExpires + ((sPath == null)?'':(' ;path=' + sPath)) + ((sDomain == null)?'':(' ;domain=' + sDomain)) + ((bSecure == true)?' ; secure':'');
},
getCookie:function(sName){
var regRes = document.cookie.match(new RegExp("(^| )" + sName + "=([^;]*)(;|$)"));
return (regRes != null)?unescape(regRes[2]):'-';
}
};
var btsVal = cookieUtil.getCookie('b_t_s'),//b_t_s的cookie作用1.标识该页面是否已经安装了采集脚本；2.记录采集脚本的有效期
startTime = 0,
intervalTime = 3 * 24 * 60 * 60 * 1000,
currIntervalTime = new Date().getTime() - 1200000000000,
domainHead = (document.URL.substring(0,document.URL.indexOf('://'))) + '://';
if (btsVal != '-' && btsVal.indexOf('t') != -1){
var getBtsTime = btsVal.substring(btsVal.indexOf('t') + 1,btsVal.indexOf('x'));
getCurrInterVal = currIntervalTime - getBtsTime;
if (getCurrInterVal > intervalTime){
startTime = currIntervalTime;
cookieUtil.setCookie('b_t_s',btsVal.replace('t' + getBtsTime + 'x', 't' + currIntervalTime + 'x'), 10000, '/');
}else{
startTime = getBtsTime;
}
}else{
if (btsVal == '-'){
cookieUtil.setCookie('b_t_s','t' + currIntervalTime + 'x', 10000, '/');
}else{
cookieUtil.setCookie('b_t_s',btsVal + 't' + currIntervalTime + 'x', 10000, '/');
}
startTime = currIntervalTime;
}
document.write('<script src="' + domainHead + '127.0.0.1/up_beacon.js?' + startTime + '"><\/script>');//安装采集脚本
})(window,document);
下面是测试页面;
第一个测试页面：testbeacon.html，代码如下：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>beacon test page</title>
</head>
<script type="text/javascript" src="install_up_beacon.js"></script>
<body>
<h1>日志测试</h1>
<input type="button" value="Click Button" id="clickBtn" name="clickBtn" onclick="clickLog('testClickBtn','MyTest')"/>
</body>
</html>
<script type="text/javascript">
// 用户行为统计代码
function recordStaticLogerr(authId,type,msg){
if (window.upLogger){
upLogger.authId = authId;
upLogger.clickLog('type=' + type + '&clickTarget=' + msg);
}
}
// 记录click日志的方法
function clickLog(clog_msg,clog_type){
var clog_authId = 'sharpxiajun';
recordStaticLogerr(clog_authId,clog_type,clog_msg);
}
</script>
第二个测试页面：parent.html，代码如下：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>parent html</title>
</head>
<body>
<a href="testbeacon.html" target="_self">child.html</a>
</body>
</html>
1.5 测试结果
测试地址：
http://localhost/testbeacon.html
http://localhost/parent.html
我们查看cookies信息，如下图：
日志信息如下：
127.0.0.1 - - [26/Jun/2012:10:01:52 +0800] [2012-06-26 10:01:52] "GET /parent.html HTTP/1.1" [] [/parent.html] 304 -
127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /testbeacon.html HTTP/1.1" [] [/testbeacon.html] 304 -
127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /install_up_beacon.js HTTP/1.1" [] [/install_up_beacon.js] 304 -
127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /up_beacon.js?140675524644 HTTP/1.1" [?140675524644] [/up_beacon.js] 304 -
127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /a.gif?logUrl={/localhost/testbeacon.html}&logHisRefer={http://localhost/parent.html}&logParams={subIsNew=0}&logQuery={pageId=1340676114790-42900296489937289847295051780050&title=beacon%20test%20page&charset=UTF-8&sr=1280*1024}&ver=140675524644&time=1340676114791 HTTP/1.1" [?logUrl={/localhost/testbeacon.html}&logHisRefer={http://localhost/parent.html}&logParams={subIsNew=0}&logQuery={pageId=1340676114790-42900296489937289847295051780050&title=beacon%20test%20page&charset=UTF-8&sr=1280*1024}&ver=140675524644&time=1340676114791] [/a.gif] 200 43
127.0.0.1 - - [26/Jun/2012:10:02:01 +0800] [2012-06-26 10:02:01] "GET /click.html?type=MyTest&clickTarget=testClickBtn&pageId=1340676114790-42900296489937289847295051780050&authId=sharpxiajun&ver=140675524644&time=1340676121252 HTTP/1.1" [?type=MyTest&clickTarget=testClickBtn&pageId=1340676114790-42900296489937289847295051780050&authId=sharpxiajun&ver=140675524644&time=1340676121252] [/click.html] 200 310
大家看到了吧，请求都被记录下来，下面我们只要好好分析这些日志文件的信息就行了。
数据分析咨询请扫描二维码
若不方便扫码，搜微信号：CDAshujufenxi
数据分析在当今信息时代发挥着重要作用。单因素方差分析（One-Way ANOVA）是一种关键的统计方法，用于比较三个或更多独立样本组 ...
2025-04-25CDA持证人简介： 居瑜 ，CDA一级持证人国企财务经理，13年财务管理运营经验，在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-25在当今数字化时代，数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时，往往充满疑惑： 如何成为一名数据分析师？成为 ...
2025-04-24以下的文章内容来源于刘静老师的专栏，如果您想阅读专栏《刘静：10大业务分析模型突破业务瓶颈》，点击下方链接 https://edu.cda ...
2025-04-23大咖简介： 刘凯，CDA大咖汇特邀讲师，DAMA中国分会理事，香港金管局特聘数据管理专家，拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟，美国 NAU 大学计算机信息技术硕士， CDA数据分析师三级持证人，现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介：贺渲雯 ，CDA 数据分析师一级持证人，互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下，数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介：居瑜 ，CDA一级持证人，国企财务经理，13年财务管理运营经验，在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介： CDA持证人刘凌峰，CDA L1持证人，微软认证讲师（MCT）金山办公最有价值专家（KVP），工信部高级项目管理师，拥有 ...
2025-04-15持证人简介：CDA持证人黄葛英，ICF国际教练联盟认证教练，前字节跳动销售主管，拥有丰富的行业经验。在实际生活中，我们可能会 ...
2025-04-14在 Python 编程学习与实践中，Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本，集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展，数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据，帮助企业做出科 ...
2025-04-11持证人简介：CDA持证人黄葛英，ICF国际教练联盟认证教练，前字节跳动销售主管，拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》（下称《蓝皮书》）正式发布。《蓝皮书》指出，当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中，数据已经成为企业决策和运营的核心。每一位客户，每一次交易，都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进，企业生产运作过程中的在线数据变得更加丰富；而互联网、新零售等C端应用的丰富多彩，产 ...
2025-04-094月7日，美国关税政策对全球金融市场的冲击仍在肆虐，周一亚市早盘，美股股指、原油期货、加密货币、贵金属等资产齐齐重挫，市场 ...
2025-04-08背景 3月26日，科技圈迎来一则重磅消息，苹果公司宣布向浙江大学捐赠 3000 万元人民币，用于支持编程教育。 这一举措并非偶然， ...
2025-04-07在当今数据驱动的时代，数据分析能力备受青睐，数据分析能力频繁出现在岗位需求的描述中，不分岗位的任职要求中，会特意标出“熟 ...
2025-04-03
