京公网安备 11010802034615号
经营许可证编号:京B2-20210330
"为大数据“去魅” ——对《大数据时代》的一点反思
去逛一些大型商场,有时你会发现,啤酒旁边摆放的竟然是尿布。这种做法最先起源于沃尔玛,沃尔玛通过对超市人群购买行为的大量数据分析,发现男性来买啤酒的时候,通常也会买尿布。于是超市将尿布和啤酒摆放在一起出售,从而提高利润。
尿布与啤酒之间的奇妙关联,背后是大量数据的挖掘与分析。这个小小的案例体现的便是一种大数据思维。维克托迈尔舍恩伯格在《大数据时代》提出大数据思 维的三个原则:一、不是因果关系,而是相关性;二、样本=全部不是随即样本,而是全部数据;三、不是精确性,而是混杂性。也就是说,大数据经 由尽可能多的数据挖掘出那些我们平时根本无法察觉到的隐秘联系,轻松地知其然,即使我们完全不知其所以然。
大数据描绘了一个激动人心的未来,也难怪很长一段时间以来,大数据成为最热门的概念之一。人们对大数据的拥趸和美好想象,一方面是我们生活的世界正在 数据化:物联网上,购买行为的数据化;导航时,方位的数据化;微博微信上,沟通的数据化这为大数据时代提供了可能;另一方面,现代社会仍面临 着许多未解的难题,许多跨不过的障碍,人们期冀于大数据能够力挽狂澜,帮助现代人走出困境。
在这样的背景下,大数据正被不断神化。纽约时报专栏作者大卫布鲁克斯《大数据不能做什么?》很难得地发出了不同的声音。他指出大数据的几个缺陷。首 先,大数据擅长于分析关系的数量而非质量,因此它会忽略很多举足轻重的信息。比如社交网络的数据可以分辨出你的6个同事,你一天中有76%的时间会见他 们,却很难发现你一个一年只见两次面的童年伙伴。其次,大数据不懂背景。我们说一句话究竟是认真的还是开玩笑,是为了表达愤怒还是善意,这些要放在具体语 境分析,数据分析很难搞清楚这些。还比如大数据会带来大量毫无意义的伪相关;数据偏爱潮流,忽视创新;原始数据其实并不原始,原始数据往往会被扭曲,等 等。
除此,也有人以为,大数据最大的问题在于,它过分夸大了数据的作用,以为数据越多越好。事实上,我们最大的难题永远都不是如何获取数据,而是如何找到数据 之间的联系,近十年来概率模型应用的规模一再扩大,可准确率却停滞不前这个教训不该被忘记。啤酒与尿布只是最表层数据挖掘,真正的数据处理比谷歌翻译 复杂成千上万倍,但即便谷歌翻译已如此先进,你也别指望它信达雅。一个太平洋是水,加个大西洋也是一样的水,数据规模到达一定程度之后,继续 扩充的意义已经不大,没有发现关联,再多数据也百无一用,混杂性其实就是伪相关。
人人呼唤大数据,就像人人都呼唤要创新、要改革。然而,问题的难度永远在于:如何创新,如何改革。我们需要大数据思维为我们点亮思想的火花,但同时必须正 视寻找数据关联存在的巨大艰难。否则,大数据很容易成为一个空洞的原地打转的话语,徒然给了很多人打了鸡血般的鲁莽和热情,投入大量的人力物力财力,以为 挖到了一座金山,实际却是一堆无用的数据。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
箱线图(Box Plot)作为数据分布可视化的核心工具,能清晰呈现数据的中位数、四分位数、异常值等关键统计特征,广泛应用于数据分 ...
2026-01-28在回归分析、机器学习建模等数据分析场景中,多重共线性是高频数据问题——当多个自变量间存在较强的线性关联时,会导致模型系数 ...
2026-01-28数据分析的价值落地,离不开科学方法的支撑。六种核心分析方法——描述性分析、诊断性分析、预测性分析、规范性分析、对比分析、 ...
2026-01-28在机器学习与数据分析领域,特征是连接数据与模型的核心载体,而特征重要性分析则是挖掘数据价值、优化模型性能、赋能业务决策的 ...
2026-01-27关联分析是数据挖掘领域中挖掘数据间潜在关联关系的经典方法,广泛应用于零售购物篮分析、电商推荐、用户行为路径挖掘等场景。而 ...
2026-01-27数据分析的基础范式,是支撑数据工作从“零散操作”走向“标准化落地”的核心方法论框架,它定义了数据分析的核心逻辑、流程与目 ...
2026-01-27在数据分析、后端开发、业务运维等工作中,SQL语句是操作数据库的核心工具。面对复杂的表结构、多表关联逻辑及灵活的查询需求, ...
2026-01-26支持向量机(SVM)作为机器学习中经典的分类算法,凭借其在小样本、高维数据场景下的优异泛化能力,被广泛应用于图像识别、文本 ...
2026-01-26在数字化浪潮下,数据分析已成为企业决策的核心支撑,而CDA数据分析师作为标准化、专业化的数据人才代表,正逐步成为连接数据资 ...
2026-01-26数据分析的核心价值在于用数据驱动决策,而指标作为数据的“载体”,其选取的合理性直接决定分析结果的有效性。选对指标能精准定 ...
2026-01-23在MySQL查询编写中,我们习惯按“SELECT → FROM → WHERE → ORDER BY”的语法顺序组织语句,直觉上认为代码顺序即执行顺序。但 ...
2026-01-23数字化转型已从企业“可选项”升级为“必答题”,其核心本质是通过数据驱动业务重构、流程优化与模式创新,实现从传统运营向智能 ...
2026-01-23CDA持证人已遍布在世界范围各行各业,包括世界500强企业、顶尖科技独角兽、大型金融机构、国企事业单位、国家行政机关等等,“CDA数据分析师”人才队伍遵守着CDA职业道德准则,发挥着专业技能,已成为支撑科技发展的核心力量。 ...
2026-01-22在数字化时代,企业积累的海量数据如同散落的珍珠,而数据模型就是串联这些珍珠的线——它并非简单的数据集合,而是对现实业务场 ...
2026-01-22在数字化运营场景中,用户每一次点击、浏览、交互都构成了行为轨迹,这些轨迹交织成海量的用户行为路径。但并非所有路径都具备业 ...
2026-01-22在数字化时代,企业数据资产的价值持续攀升,数据安全已从“合规底线”升级为“生存红线”。企业数据安全管理方法论以“战略引领 ...
2026-01-22在SQL数据分析与业务查询中,日期数据是高频处理对象——订单创建时间、用户注册日期、数据统计周期等场景,都需对日期进行格式 ...
2026-01-21在实际业务数据分析中,单一数据表往往无法满足需求——用户信息存储在用户表、消费记录在订单表、商品详情在商品表,想要挖掘“ ...
2026-01-21在数字化转型浪潮中,企业数据已从“辅助资源”升级为“核心资产”,而高效的数据管理则是释放数据价值的前提。企业数据管理方法 ...
2026-01-21在数字化商业环境中,数据已成为企业优化运营、抢占市场、规避风险的核心资产。但商业数据分析绝非“堆砌数据、生成报表”的简单 ...
2026-01-20