数据的局限:大数据分析不能告诉你什么
大数据分析的拥护者竭尽全力地鼓吹“数据驱动”,明智的人应该谨慎对待,并明确两个问题。一,业务人员在制定特定决策时是否真正理解相关数据,是否曾经以实用且可行的方式向管理层展示了这些数据?二,是否所有决策都有必要在收集“所有数据”之后自动完成?
在《认清风险:如何作出好决策》(Risk Savvy: How to Make Good Decisions)中,德国柏林Max Planck人类发展研究所管理主管Gerd Gigerenzer阐述了公共环境中风险测量与决策过程的问题,他的观点同样适用于商业领域。
首先,我们看看Gigerenzer举的一些例子。它们说明了大多数人所获得的统计数据只是很小一部分,而且我们很容易因为数据的不正确性或明显误用而产生错误结论。
在911事件的一年时间里,成千上万的美国人放弃乘坐飞机,转而选择开车长途远行,因为他们害怕遇到相同的袭击。高速公路行驶距离因此增长了5%,而道路交通意外死亡人数在一年里逐月上升,已经超过了过去五年的平均水平。此外,粗略计算有约1,600人丧身交通意外,而航空旅客及空乘人员的伤亡人数只有256人,其中还包括911事件的伤亡数字。
由于对当时伤亡事件产生了主观反应,美国公众完全忽视了有效的统计风险测量结果,即飞机的安全系数要远远高于汽车。
1995年,英国医药安全委员会发布了一系列研究结果,服用第三代口服避孕药的人患血栓症的概率是普通人的两倍。这个研究结果很快传遍全世界。医生与药剂师向妇女传达了由预期结论得出的警告信息:意外怀孕与妊辰激增。接下来的一年时间里,仅仅在英格兰和威尔士流产案例预计增加了13,000人次。
尽管这些专家都经过科学和医学培训,但是他们严重忽视或忽略一个结果:绝对风险数量增加一倍才只有7000人次,也远远不及由怀孕与流产导致的血栓症风险。因此,相同的数据有两种描述方式:一是风险率相对增长100%,二是绝对增长数量为7,000。前者很容易占据新闻头条和引起公众跟风。而后者则不会造成太大影响,但是可能会避免很多痛苦。
Gigerenzer的书还有很多这样的故事,如果你有兴趣了解人们解读数字数据的方式及使用(或不使用)这些数字作为决策依据的方式,那么这本书很值得你阅读。事实是,即使经过科学训练,只有极少数人能够正确理解这个领域。因此,我们缺少区分不同风险表达方式及不确定性的能力,也缺乏一些帮助理解所得到结果的培训。对于世界上的一些概念,我们很容易陷入偏见或先入为主的错误理解方式。
当我们从“少量数据”世界(掌握简单算术就足够应付)过渡到充斥大数据统计的世界时,数据误解产生的危害也出现指数增长。无论自助服务商业智能有多厉害,它们也无法轻松扩展变成自助服务商业分析。业务用户(及许多数据科学家)都需要在理解和展示统计数据方面加强自身的能力。
除了技能问题,还有一个更根本的问题,而911事件关于航空旅行方式的态度改变就是一个最好的例子。我将这种现象称为商业不智能(Business unIntelligence),并且在我的同名图书中提出了这个术语。按照西方商业思维方式,智慧几乎可以完全等同于合理和理智思想,特别是在决策过程中。这忽略了大脑的现实情况及其思维过程,其中有90%的想法是无意识发生的。决策很少是由数据驱动的,特别是那些会对个人产生影响或需要快速响应的决策。
心理学家及诺贝尔经济学奖得主Daniel Kahneman在他写的书《快思考与慢思考》中阐述了这个话题,但是他落入唯理性主义者的圈套,后者认为无意识思维源于有意识思维。这样就得出了一些结论:我们很容易作出一些严重错误且非常容易受外界干扰的决策,而且总是在有意识地保护自己。或者更坏的情况是,一些专制政府可能且总是会“迫使”我们作出一些有利于自身的决策。
当然,自我意识也很重要。然而,如果认为我们新进化的小小前额可以或应该完全超越大多数大脑的长期进化但潜意识发生的感知,那么这是极其短视的。这种感知对于现实世界的决策过程有很多影响——形式包括内在感受、直觉、有根据的揣测和探索,而它们会忽略得到的大部分数据。如果只关注于收集和堆砌不断增多的数据,那么我们就有迷失的风险。
在不确定的世界里,有一些事件是无法预测的,基于数据分析出来的概率只能让人得到一个决策。2008年金融领域发生的事件表明,过份依赖于预测风险模型是灾难性的,因为有一些东西不在模型参数的覆盖范围之内。Gigerenzer指出:“问题在于不正确的风险测量:这些方法错误地假定不确定的世界里有已知的风险。因为这些计算为一个不确定的风险产生了精确的数字,因此它们会产生一个虚假的确定性。”
在决策过程中完全依赖数据驱动或分析工具本身具有内在的危险性。人类决策者所带来的价值是他能够看到环境和理解业务环境。这些洞察力并不能完全由参数来描述。当然,它们也来源于一些信息:思想认识中的旧记忆或新思维模式。但是,它们大多数都基于计算机科学远远无法理解的思维处理模型,计算机还完全无法模拟出思维。这是一个宝贵的东西。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14