大数据时代的用户行为研究
随着大数据行业的飞速发展,未来5-10年将是大数据产业的黄金增长期。2017年3月21日我国成立了首个聚焦数据流动的国家级实验室——大数据流通与交易国家工程实验室。2017年国内大数据技术和服务市场的复合年增长率预计将达27%,市场规模约320亿美元。设备指纹技术实现了对用户移动设备的精准识别,结合大数据用户研究,使得大数据在精准营销、智能推荐等诸多领域能够完美定位目标用户,实现信息的精准触达。大数据用户研究,不仅仅需要洞察用户特征、用户偏好,还需要评估用户间的关联度,建立用户社交网络。只有对用户全方位的洞察,才能提高定位目标用户的精度,提供大数据应用质量。
研究背景
极光大数据拥有海量的用户行为数据,能够为企业提供全行业诸多领域的综合解决方案。目前基于自有的大数据平台,极光大数据在精准营销、数字化运营、智能推荐等领域取得了丰硕的成果。而极光大数据在这些领域的成就,完全取决于极光高效率的大数据平台、丰富的数据资源、海量跨行业用户标签、以及经验丰富的团队。
目前大数据行业中对于用户的研究大多数集中于用户标签开发阶段。而极光大数据为了提升自己数据产品的质量和实力,在精准营销和智能推荐的实际案例中不仅使用了海量的客户标签,还将基于设备的用户相似性引入模型,以提高目标用户识别精度和广度,实际运用中也取得了非常好的效果。此外设备相似性为两两之间的相似性,对于较大用户体量的极光大数据来说,整个模型处理计算量非常庞大,性能和精度也是我们不断优化的关键点。
极光大数据研究方案
本文重点介绍基于极光海量数据,计算基于用户在移动互联网行为特征的用户行为相似性,以及基于用户线下地理位置轨迹的空间轨迹相似度。
1、 一人多机检测
极光大数据通过自有业务海量调用日志分析,对于用户设备及app建立了多维度的唯一性识别标识,通过设备的多维度识别交叉定位,发掘设备关联关系。
2、 用户行为相似性
极光大数据通过移动设备的用户行为相似性来衡量用户在移动设备上的使用行为相关程度,主要从2个方面来度量:
app安装特征相似度:
基于极光大数据平台的海量数据挖掘,构造用户app安装行为特征矩阵,使用广义Jaccard相关系数,计算用户app安装特征相似度。对于用户app安装特征,不同的app能够反映用户相似度的程度有很大差异,根据app的渗透率加权得到修正后的app安装特征相似度。
WiFi特征关联度:
基于极光大数据平台的海量数据,根据时间、空间、无线WiFi属性等信息进行清洗加工,建立用户WiFi使用特征矩阵;基于用户WiFi特征矩阵,对于不同时段设备间的WiFi特征,采用余弦相似度计算两两用户间的工作日WiFi使用特征关联度和周末WiFi使用特征关联度。
3、空间轨迹相似度
空间轨迹相似度(spatial trajectory similarity)算法的基本思想就是通过降维的手段将多维空间向量分解到同一维度上求解,通过解决平面问题来达到最终解决空间模型的目的。
两个轨迹间的相似度可以定义为:Sim(A,B) = (POIA∩POIB)/ (POIA∪POIB);
向量空间余弦相似度(Cosine Similarity):余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。余弦值越接近1,就表明夹角越接近0度,也就是两个向量越相似。
提取一段时间内的用户报点信息,按照时间序列处理,采用STS算法,计算两两设备间的空间轨迹相似度。
实证效果
1、app安装特征相似度:
对于某用户换机前后的两个设备,计算app安装特征相似度,使用app渗透率加权,两个移动设备的app安装特征相似度为:0.913,app安装特征相似性非常高。
两个设备安装app数量为120个以上,app安装重合度为72.8%,同时安装了渗透率低于5%的app应用有22个,渗透率低于1%的app有7个。由此可见,app的安装情况能在一定程度上反应设备之间的相似性。
2、 WiFi使用特征关联度:
基于两个设备的WiFi使用偏好情况,计算WiFi特征关联度,计算得出工作日WiFi使用特征关联度为0.35,周末WiFi使用特征关联度为0;
经过极光大量数据验证,工作日WiFi特征关联度大于0.25,为工作日关系较为密切的用户,比如同事关系;周末WiFi特征关联度大于50%,为周末关系较为密切的用户,比如亲人。
3、空间轨迹相似度
从极光大数据数据库中挑选3个空间轨迹较为相似的设备,其中设备A和设备C为同一用户的两个设备,设备A和设备B的位置轨迹比较相近,以设备A为基准,分别计算设备A和设备B、设备A和设备C的空间轨迹相似度。
上表中都是解析出的各轨迹对应的POI坐标值,按时间维度将三维空间轨迹解析到平面中,分别取各POI点的经度(id,lat)和维度(id,lng)计算轨迹间的余弦相似度。二者的平面轨迹图如下(红线表示设备A,蓝实线表示设备B,虚线表示设备C):
可以计算出COSlat(A,B)= 0.708, COSlng(A,B)= 0.784; COSlat(A,C)= 0.746, COSlng(A,C)= 0.819;
那么可以得到该设备A与设备B的相似度为0.746,与设备C的相似度为0.783。显然设备A和设备C的空间相似度较高。
总结
目前各个行业的大数据的应用越来越频繁,大数据精准营销、大数据运营、智能推荐等应用均取得显著的效果,而这些领域都要求企业对用户要有充分的了解,才能精准的定位目标人群。如何有效高质量的扩充目标群体用户,基于现有用户标签的基础上,用户相似性也是一个非常重要的信息。极光大数据基于设备的用户相似性能够在精准营销、智能推荐中发现很多的关联用户,能够一定程度上扩充关联目标人群,提升企业的营销效率和质量。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14