大数据时代的用户行为研究

随着大数据行业的飞速发展，未来5-10年将是大数据产业的黄金增长期。2017年3月21日我国成立了首个聚焦数据流动的国家级实验室——大数据流通与交易国家工程实验室。2017年国内大数据技术和服务市场的复合年增长率预计将达27%，市场规模约320亿美元。设备指纹技术实现了对用户移动设备的精准识别，结合大数据用户研究，使得大数据在精准营销、智能推荐等诸多领域能够完美定位目标用户，实现信息的精准触达。大数据用户研究，不仅仅需要洞察用户特征、用户偏好，还需要评估用户间的关联度，建立用户社交网络。只有对用户全方位的洞察，才能提高定位目标用户的精度，提供大数据应用质量。

研究背景

极光大数据拥有海量的用户行为数据，能够为企业提供全行业诸多领域的综合解决方案。目前基于自有的大数据平台，极光大数据在精准营销、数字化运营、智能推荐等领域取得了丰硕的成果。而极光大数据在这些领域的成就，完全取决于极光高效率的大数据平台、丰富的数据资源、海量跨行业用户标签、以及经验丰富的团队。

目前大数据行业中对于用户的研究大多数集中于用户标签开发阶段。而极光大数据为了提升自己数据产品的质量和实力，在精准营销和智能推荐的实际案例中不仅使用了海量的客户标签，还将基于设备的用户相似性引入模型，以提高目标用户识别精度和广度，实际运用中也取得了非常好的效果。此外设备相似性为两两之间的相似性，对于较大用户体量的极光大数据来说，整个模型处理计算量非常庞大，性能和精度也是我们不断优化的关键点。

极光大数据研究方案

本文重点介绍基于极光海量数据，计算基于用户在移动互联网行为特征的用户行为相似性，以及基于用户线下地理位置轨迹的空间轨迹相似度。

1、 一人多机检测

极光大数据通过自有业务海量调用日志分析，对于用户设备及app建立了多维度的唯一性识别标识，通过设备的多维度识别交叉定位，发掘设备关联关系。

2、 用户行为相似性

极光大数据通过移动设备的用户行为相似性来衡量用户在移动设备上的使用行为相关程度，主要从2个方面来度量：

app安装特征相似度：

基于极光大数据平台的海量数据挖掘，构造用户app安装行为特征矩阵，使用广义Jaccard相关系数，计算用户app安装特征相似度。对于用户app安装特征，不同的app能够反映用户相似度的程度有很大差异，根据app的渗透率加权得到修正后的app安装特征相似度。

WiFi特征关联度：

基于极光大数据平台的海量数据，根据时间、空间、无线WiFi属性等信息进行清洗加工，建立用户WiFi使用特征矩阵；基于用户WiFi特征矩阵，对于不同时段设备间的WiFi特征，采用余弦相似度计算两两用户间的工作日WiFi使用特征关联度和周末WiFi使用特征关联度。

3、空间轨迹相似度

空间轨迹相似度（spatial trajectory similarity）算法的基本思想就是通过降维的手段将多维空间向量分解到同一维度上求解，通过解决平面问题来达到最终解决空间模型的目的。

两个轨迹间的相似度可以定义为：Sim(A,B) = (POIA∩POIB)/ (POIA∪POIB)；

向量空间余弦相似度(Cosine Similarity)：余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似。

提取一段时间内的用户报点信息，按照时间序列处理，采用STS算法，计算两两设备间的空间轨迹相似度。

实证效果

1、app安装特征相似度：

对于某用户换机前后的两个设备，计算app安装特征相似度，使用app渗透率加权，两个移动设备的app安装特征相似度为：0.913，app安装特征相似性非常高。

两个设备安装app数量为120个以上，app安装重合度为72.8%，同时安装了渗透率低于5%的app应用有22个，渗透率低于1%的app有7个。由此可见，app的安装情况能在一定程度上反应设备之间的相似性。

2、 WiFi使用特征关联度：

基于两个设备的WiFi使用偏好情况，计算WiFi特征关联度，计算得出工作日WiFi使用特征关联度为0.35，周末WiFi使用特征关联度为0；

经过极光大量数据验证，工作日WiFi特征关联度大于0.25，为工作日关系较为密切的用户，比如同事关系；周末WiFi特征关联度大于50%，为周末关系较为密切的用户，比如亲人。

3、空间轨迹相似度

从极光大数据数据库中挑选3个空间轨迹较为相似的设备，其中设备A和设备C为同一用户的两个设备，设备A和设备B的位置轨迹比较相近，以设备A为基准，分别计算设备A和设备B、设备A和设备C的空间轨迹相似度。

上表中都是解析出的各轨迹对应的POI坐标值，按时间维度将三维空间轨迹解析到平面中，分别取各POI点的经度（id，lat）和维度(id,lng)计算轨迹间的余弦相似度。二者的平面轨迹图如下（红线表示设备A，蓝实线表示设备B，虚线表示设备C）：

可以计算出COSlat(A,B)= 0.708, COSlng(A,B)= 0.784; COSlat(A,C)= 0.746, COSlng(A,C)= 0.819;

那么可以得到该设备A与设备B的相似度为0.746，与设备C的相似度为0.783。显然设备A和设备C的空间相似度较高。

总结

目前各个行业的大数据的应用越来越频繁，大数据精准营销、大数据运营、智能推荐等应用均取得显著的效果，而这些领域都要求企业对用户要有充分的了解，才能精准的定位目标人群。如何有效高质量的扩充目标群体用户，基于现有用户标签的基础上，用户相似性也是一个非常重要的信息。极光大数据基于设备的用户相似性能够在精准营销、智能推荐中发现很多的关联用户，能够一定程度上扩充关联目标人群，提升企业的营销效率和质量。