DA弯道超车
2022-11-02 阅读量: 129
右键点击数据透视表，在弹出菜单中选择“数据透视表选项”，如图勾选 自动刷新
解决数据倾斜问题的方案方案一：过滤掉倾斜数据 当少量key重复次数特别多，如果这种key不是业务需要的key， 可以直接过滤掉。方案二：引入随机数 数据按照类型group by时，会将相同的key所需的数据拉取到一 个节点进行聚合，而当某组数据量过大时，会出现其他组已经计算完 成而当前任务未完成的情况。可以考虑加入随机数，将原来的一组key 强制拆分为多组进行聚合。
用户特征库开发 为进一步从多个维度丰富用户特征，挖掘用户的相关行为，除了开发用户标签体系外，一般还会开发用户的特征库。一方面为个性化 推荐、精准营销、商业分析等应用提供中间层数据，另一方面也可以削减不同算法在特征构建时的冗余加工。 简单来说，用户特征库就是对用户每一次的不同行为（如浏览、 收藏、搜索、购买等）及该行为对应的标签（或商品品类）进行详细 的记录，以便从用户的行为特征中挖掘用户的偏好。与
HBase简介 HBase是一个高性能、列存储、可伸缩、实时读写的分布式存储 系统，同样运行在HDFS之上。与Hive不同的是，HBase能够在数据 库上实时运行，而不是跑MapReduce任务，适合进行大数据的实时查 询。 画像系统中每天在Hive里跑出的结果集数据可同步到HBase数据 库，用于线上实时应用的场景。
事务事实表：用于描述业务过程，按业务过程的单一性或多业务 过程可进一步分为单事务事实表和多事务事实表。其中单事务事实表 分别记录每个业务过程，如下单业务记入下单事实表，支付业务记入 支付事实表。多事务事实表在同一个表中包含了不同业务过程，如下 单、支付、签收等业务过程记录在一张表中，通过新增字段来判断属 于哪一个业务过程。当不同业务过程有着相似性时可考虑将多业务过程放到多事务事实表中。
