DA弯道超车
2022-10-31 阅读量: 123
逻辑判断函数是用于对数据或给定的条件判断其真假。逻辑判断有AND、OR、NOT和IF、IFS函数,AND、OR、NOT只能根据逻辑判断的“真”或“假”返回TRUE或FALSE值,而IF函数可以根据逻辑判断的结果指定返回值。
解决数据倾斜问题的方案方案一:过滤掉倾斜数据 当少量key重复次数特别多,如果这种key不是业务需要的key, 可以直接过滤掉。方案二:引入随机数 数据按照类型group by时,会将相同的key所需的数据拉取到一 个节点进行聚合,而当某组数据量过大时,会出现其他组已经计算完 成而当前任务未完成的情况。可以考虑加入随机数,将原来的一组key 强制拆分为多组进行聚合。
用户特征库开发 为进一步从多个维度丰富用户特征,挖掘用户的相关行为,除了开发用户标签体系外,一般还会开发用户的特征库。一方面为个性化 推荐、精准营销、商业分析等应用提供中间层数据,另一方面也可以削减不同算法在特征构建时的冗余加工。 简单来说,用户特征库就是对用户每一次的不同行为(如浏览、 收藏、搜索、购买等)及该行为对应的标签(或商品品类)进行详细 的记录,以便从用户的行为特征中挖掘用户的偏好。与
事务事实表:用于描述业务过程,按业务过程的单一性或多业务 过程可进一步分为单事务事实表和多事务事实表。其中单事务事实表 分别记录每个业务过程,如下单业务记入下单事实表,支付业务记入 支付事实表。多事务事实表在同一个表中包含了不同业务过程,如下 单、支付、签收等业务过程记录在一张表中,通过新增字段来判断属 于哪一个业务过程。当不同业务过程有着相似性时可考虑将多业务过程放到多事务事实表中。
用户画像建设项目开发流程第一阶段:目标解读 在建立用户画像前,首先需要明确用户画像服务于企业的对象, 再根据业务方需求,明确未来产品建设目标和用户画像分析之后的预 期效果。 一般而言,用户画像的服务对象包括运营人员和数据分析人员。 不同业务方对用户画像的需求有不同的侧重点,就运营人员来说,他 们需要分析用户的特征、定位用户行为偏好,做商品或内容的个性化 推送以提高点击转化率,所以画像的侧重点就落在