大数据下的用户行为分析
1. Consumer behaviour is the study of when,why,how
and where people do or don't buy a product。
用户行为一般指用户通过中间资源,购买、使用和评价某种产品的记录。同时辅以用户、资源、产品自身及环境的信息。
用户行为记录一般可以表示一组属性的集合:{属性1,属性2,...,属性N}
2. 用户行为分析主要是研究对象用户的行为。数据来源包括用户的日志信息、用户主体信息和外界环境信息。通过特定的工具对用户在互联网/移动互联网上的行为进行记录,记录的信息通常称为用户日志。
数据内容:
(1)网站日志:用户在访问某个目标网站时,网站记录的用户相关行为信息;
(2)搜索引擎日志:搜索引擎日志系统所记录的用户在搜索引擎上的相关行为信息;
(3)用户浏览日志:通过特定的工具和途径记录用户所记录的用户在该搜索引擎上的相关行为信息;
(4)用户主体数据:如用户群的年龄、受教育程度、兴趣爱好等;
(5)外界环境数据:如移动互联网流量、手机上网用户增长、自费套餐等;
数据特点:
(1)大数据量/海量数据,big data;
(2)实时分析/准实时分析、离线分析;
(3)由于用户日志包含大量用户个人信息,为避免涉及过多的用户隐私,日志工具通常对用户个人信息进行加密,不涉及具体用户行为的细节内容,保护用户隐私;
(4)日志信息通常含有较多的噪音,因此,基于个人行为信息分析得到的结论常常存在着很大的不可靠性。
3. 用户行为分析平台主要面临海量数据处理困难、分析模型算法复杂、建设和运营成本高昂等方面的技术难点和挑战。
海量数据处理困难:
(1)问题:面临TB甚至PB级的海量数据,传统关系数据库存储尚可,但对OLAP分析效仿低下;
(2)难点:如何可实现可扩展的数据存储、灵活快捷的数据访问?
(3)思路:利用Nosql数据库解决大数据存储,通过水平扩展读写负载提高访问性能;
分析模型算法复杂:
(1)问题:分析需要运用预警预测、聚类、协同过滤等数据挖掘算法,算法的编程复杂度和计算复杂度都非常大;
(2)难点:如何实现分析模型,并提供实时高速的复杂分析;
(3)思路:改造开源的数据挖掘模型库,并运用Hadoop等并行计算框架;
建设和运维成本高昂:
(1)问题:传统数据库和分析软件进行海量数据分析将导致天价的软件授权许可费用;外部数据分析服务同样价格昂贵,并且面临安全性和灵活性局限;
(2)难点:如何低成本高效率的建设和运维系统?
(3)思路:基于可靠的开源解决方案构建独立自主经济灵活的分析平台。
4. Hadoop是基于Google有关大数据的论文实现的开源项目,最初的框架由Doug
Cutting在2005年提出,目前是由Apache维护的开源项目。从最初到现在,Hadoop系统在7年中开发完成了一系列重要的子项目,已经形成了一个涵盖数据存储、管理和分析功能的较为完整的大数据生态系统,成为大数据存储与处理领域地位最重要、应用最广泛的开源框架。
核心组件:
(1)MapReduce:
· Hadoop的分析式并行处理框架;
· 实现对HDFS上海量数据的批量分析;
(2)HDFS:
· Hadoop的一个分布式文件系统;
· 高容错性,部署在低廉商业硬件;
· 提供高吞吐量,适合批量处理;
Hadoop是运行在大量通常计算单位上提供海量数据存储与并行计算的平台框架:
· 基于x86集群水平可扩展;
· 基于MapReduce的并行计算能力;
· 设计规模:PB级的数据量,数千台计算节点;
5. Hadoop的优势:
(1)高可靠性:
· 按位存储和处理数据的能力值得信赖;
(2)高扩展性:
· 可以管理数以千计的存储和计算节点;
(3)高性能:
· 实现数千计算节点的并行计算;
(4)高容错性:
· 自动备份和自动失败任务重起;
Hadoop的不足:
(1)性能可优化:
· 与硬件的理论性能存在差距,具有优化空间;
(2)可扩展性和可靠性:
· 受单一Namenode,单一Jobtracker的设计严重制约,存在明显的单点故障源;
· 单一的Namenode的内容容量和性能有限,使得Hadoop集群的节点数量被限制到2000个左右,能支持的文件系统被限制在10-50PB,最多支持的文件数量大约为1.5亿;
(3)欠缺各种企业特性:
· 企业的个性化需求、定制化开发和可靠的运营维护服务;
企业版Hadoop改进主要方向:
(1)消除单点故障制约;
(2)改进MapReduce;
(3)完善数据管理和数据源整合;
(4)镜像、快照等容灾能力;
(5)可靠的服务支持;
6.
数据挖掘算法的编程复杂度和计算复杂度都非常大,往往称为制约分析项目按期完成的瓶颈,精细化运营分析平台利用支持Hadoop并行计算框架的开源数据挖掘模型数据库Mahout,实现了数据挖掘算法的快速实施和高效表现。基于这些经验,未来我们将研究整合其他的开源算法库(如Weka和R等),以及商业算法库,以保证分析的精确性和性能。
利用Mahout的聚类和协同过滤算法库的实现价值评估分析和智能推荐引擎。
7. 用户行为分析平台建立了大量的分析主题,分析结果的呈现能力对平台的应用效能影响重大。利用研制管理决策支持系统的经验,我们可以提供灵活可制定的报表编制和数据展现方式,并建立了主动推送和移动跨平台访问结合的数据访问能力,提高分析材料的生成和呈现速度。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14