大数据当然需要大量、海量的数据,但究竟是不是有些研究者和论者所说的无限数据,是一个重大疑问。
要懂得从大数据中还原数据真实,《决战大数据:驾驭未来商业的利器》一书传达的这个观点给笔者留下了深刻印象。大数据当然需要大量、海量的数据,但究竟是不是有些研究者和论者所说的无限数据,是一个重大疑问。信息搜集需要成本,还将面临用户隐私意识等障碍。更大的成本来源于存储和分析。
信息和数据分布从来就遵循幂律特点,如果数据挖掘以拒绝遗漏为原则,将产生大量的无意义劳动消耗,因为根据一部分数据其实就可以得出足够推导出80%-90%的结论。再者,大数据分析的重要意义在于改善实时分析,对数据搜集及处理速度有很高的要求,譬如电商企业不得不切实提高与用户的有效互动,要尽可能依据掌握并不全面的用户数据给出推荐,并就疑难及时响应。相反,如果数据处理和响应总带有迟滞性,企业希望搜集到足够的、全面的用户数据再给予响应,就必然错过时机。
海量数据还可能包含大量看上去彼此矛盾,甚至根本就带有误导性的数据内容。《决战大数据:驾驭未来商业的利器》一书的作者是阿里巴巴集团商业智能部副总裁、数据委员会会长车品觉,他在书中描绘了消费者通过智能手机等终端购物的一种常见场景:消费者早上看到某款好看的衣服,想要购买,在网上搜出大批量的相关商品;正在挑选时,被叫去开会,在开会时打开手机应用,发现了有诱惑力的促销广告,就下单购买了另外一类商品(比如手机)。
这起场景中,消费者先后使用了手机端和PC端,如果均保持同一个用户名的登录状态,其搜索数据和最终购买数据汇集在一起显然会让许多数据分析师抓狂。如果企业要求数据分析师从这些数据挖掘、还原用户的真实需求,难度可想而知。如果这一个消费者在手机端、PC端还使用不同用户名,又该搜集哪些、多少数据,才能做到辨识其身份?
车品觉指出,“大数据的真正价值是将数据用于形成主动收集数据的良性循环,以带动更多的数据进入这个自循环中”。要做到这一点必然是困难的,上述场景非常常见,直接原因是普通消费者使用互联网具有多场景,完全可能灵活的轮换使用PC端、手机端、智能穿戴设备等终端;往深了说,移动互联网时代,很多人的注意力是高度涣散的。许多时候,用户可能长时间停留于某个页面,这并不能表明其一定是在专心停留阅读,更大的可能在于消费者这时有事走开了,或者切换到别的终端界面。因此,数据挖掘分析必须承认这种手段的相对有效性、局限性。
书中提出,数据具有5大价值:识别与串联价值(根据大数据中的核心数据对用户真实身份、真实行为进行还原)、描述价值(在特定框架内找出核心用户、紧密购买行为数据)、时间价值(在特定时间段分析历史数据)、预测价值、产出数据的价值。这其中提到的特定框架,也就是说从海量数据中根据关联性,提取核心有用数据的范围。比如一个企业要判断是否继续使用导航网站的广告,就要明确导航网站引进的新老用户比、引进的新老用户的投入产出比和转化率、推断一旦撤去广告会带来的流失影响,还要对竞争对手进行行为分析预测(对方可能加强导航广告投入),这些限定因素将使得数据提取及后续分析就不会毫无章法。
这本书第二部分对阿里巴巴的大数据实践作了基本介绍。阿里巴巴成长到今天的规模,还能继续驾驭宏大的产品线和业务范围,电商行业内外有识之士都认为这应归功于阿里巴巴能够很好的实现数据化运营,可以通过海量数据成功实现即便是细小范围内的业务对比、细分及趋势预估。车品觉分享指出,阿里巴巴数据化运营落地是从“人”做起,利用好了“混、通、晒”三板斧。“混”就是让数据分析师与业务部门的人经常“混”在一起,这是确保两大部门培养商业和数字直觉的前提;“通”就是打通“混”的数据;在此基础上,让数据得以最有效的获取、使用、分享、协同、连接和组合,就是“晒”。
车品觉认为,2011年起,阿里巴巴已经开始从数据化运营向运营数据发展,形成了良性循环,走到了运营数据的外三板斧“存、管、用”。“存”指的是搜集并存储有效数据;“管”涵盖了数据的安全管理、让数据更趋准确稳定、更好运用数据等范畴;“用”,就是要从数据本身实现分裂和重组,推动颠覆性创新。书中就此对“用”这一层次,结合作者长期以来的从业实践及对京东、一号店等其他知名电商企业运营经验的观察,展开了颇为深入的梳理剖析。文章来源:CDA数据分析师培训官网
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14