
大数据的陷阱
14年李娜再度夺得大满贯,超越了张德培的华人大满贯纪录,非举国体制下的奇迹造就了举国的愉悦。在总结李娜成功因素的时候,也再次看到了这样的言论,“是大数据起到了重要的作用”。早在2013年美网期间,就有媒体说大数据深度介入赛事、颠覆体育的时代来临了。但在仔细看过了相关材料后,我们可以发现,大数据的作用仅仅是囿于赛事的外围,比如观众体验;并不能够轻易得出大数据在提升球员自身比赛能力方面会发挥显著效果的结论。这次李娜夺冠,最靠谱的解释就是李娜在卡洛斯的帮助下提大大提升了心理层面的战斗力。可以说在技术层面领先的前提下,李娜在整场比赛中很好地克服了节奏的问题,也就是说她具备了一颗冠军的心脏。而目前所说的大数据,无非是告诉球员一些不算具体的技术指标。在个人竞技比赛中,高手之间心理素质的较量远远重要于技术的比拼,否则也不会有“爆冷”一说。可以说,体育比赛的最大魅力就在于那些无法预知的“黑天鹅”。
2012年9月6日,代表亚洲网球至高水平的中国选手李娜在美国迎战名将小威廉姆斯。当时,IBM公司在综合了美网过去8年的全部比赛数据之后,为参赛球员制定了“Keys to the match”的比赛制胜策略。李娜一方获得赢球的关键包括3个指标:1、一发得分率超过69%;2、4-9拍相持中得分利率要超过48%;3、发球局30-30或40-40时得分率要超过67%。比赛结果是,李娜溃败。比赛结束后,IBM高调地宣布李娜仅仅完成了三项制胜策略中的一项,而小威廉姆斯则完成了自己三项制胜策略中的两项。于是,很多人就顺着IBM的思路去问,李娜为什么不照着IBM的策略去打球?
美国著名的博客纳特·西尔弗在《信号与噪音》中提出了一个命题,数据究竟是对于我们的未来有所帮助的信号,还是毫无意义的噪音。西尔弗成名于奥巴马选举期间。当时,奥巴马和罗姆尼的选战正在胶着,人们都看不出来谁有可能获胜。西尔弗用棒球的统计方法得出结论,奥巴马必胜。这一准确预测让他名声大噪。但是,西尔弗很快就开始反思,利用大数据获得成功预测的案例远没有失败的多。为何?为什么911的时候,美国政府会忽视将要有恐怖袭击的信息,就像当年的珍珠港事件一样?为什么握有大量数据的经济学家预测不出来经济危机?为什么美国职业棒球大联盟中,球探依然无法被数据所取代?
西尔弗在书中写到:“自从有了印刷机,我们的世界已经经历太多。信息不再那么稀有,我们拥有的信息太多,甚至多到无从下手,但是用的信息却寥寥无几。我们主观地、有选择地看待信息,但对信息的曲解却关注不够。我们以为自己需要信息,但其实我们真正需要的是知识。”
西尔弗的话已经说得很清楚,人的主观愿望是决定看到信号还是听到噪音的关键因素。当美国情报部门收到种种美国即将遭到恐怖袭击的信号时,他们并没有采用相关性思维将其联系起来。2010年,一位民主党议员给西尔弗打电话,让他告之自己能否保住席位。西尔弗说你有99%的机会,你应该把自己的竞选基金捐献给民主党相对弱势的地区,可是,这位议员并不愿意为了1%的风险去帮助别的议员。
当当事人的主观愿望不积极的时候,大数据对他们来说不过是噪音而已。同样,数据也会因为主观意愿具有欺骗性。《赌神》中,周润发扮演的赌神一直有一个转戒指的习惯。对手通过观看大量的录像发现了这一动作,并认定当赌神转动戒指的时候,就是他出千的时机。结果,在一场生死之战中,赌神欺骗了所有人。他在转动戒指后并没有出千,结果导致对手崩溃。如果按照今天的观点来看,对手在进行数据分析的时候,过于强调了直接的因果性,模型中缺少了变量。这个最大的变量就是当事人的心理状态。
这也是西尔弗一再强调的。西尔弗是美国本土知名的棒球统计专家,他打造的PECOTA系统被认为是最权威的棒球比赛统计工具。就在《点球成金》一书在美国大红大紫之后,球探这个职业一度陷入低谷,各个球队都疯狂地迷恋上了数据。然而,西尔弗认为事实证明,球探最后还是击败了数据。
数据系统的判断依赖的是历史数据,而球探除了依赖历史之外,还要依赖于现场判断。西尔弗举了红袜队明星佩德罗亚的例子。他说数据系统告诉自己,佩德罗亚会是很有潜力的新星。事情的发展也如他所料,但是当西尔弗靠近佩德罗亚的时候,才发现,佩德罗亚坚定的信念和专注力才是决定他在场上可以出色发挥的关键。而这两点,都是数据系统无法感知的。
说回到IBM为大满贯球员打造的制胜策略上。在和几位国内资深的网球评论员交流之后,发现大家对这个所谓的大数据系统除了觉得好玩之外,并没有实用的价值。首先,这套系统不能预测。其次,这种依赖于历史数据得出来的结论,早已被球员的教练团队烂熟于胸。对于李娜来说,教练员的任务不是把这些数据告诉她以便进行针对性训练,而是侧重于心理辅导。
而且,若要IBM为李娜设定的三个指标都达标的话,需要两大因素支持。首先是李娜的临场心理状态。打球不比下棋,想到的可能做不到。其次,在于对手的压迫程度。面对小威这样的力量型选手时,李娜的发挥空间会被大大压缩。而这两大因素又是紧密联系在一起的。
我们很多时候都会被误导,认为大数据的作用是让历史告诉未来。不然。甚至在网球这样的领域里,历史数据常常会成为陷阱。大数据之大,一方面在于原始数据库的规模之大,更在于实时流动量之大、数据来源之大。就像西尔弗所言,一个好的棒球预测系统必须具备三大要素:考虑球员表现的外在因素;区别看待运气和技术因素;了解球员的表现和年龄变化之间的关系。
有意思的是,在另一场女子网球比赛中,一位球员做到了IBM为其制定的三项指标中的两个,她却失败了。胜利的一方,只完成了一个指标。数据分析师培训
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
PyTorch 核心机制:损失函数与反向传播如何驱动模型进化 在深度学习的世界里,模型从 “一无所知” 到 “精准预测” 的蜕变,离 ...
2025-07-252025 年 CDA 数据分析师考纲焕新,引领行业人才新标准 在数字化浪潮奔涌向前的当下,数据已成为驱动各行业发展的核心要素。作为 ...
2025-07-25从数据到决策:CDA 数据分析师如何重塑职场竞争力与行业价值 在数字经济席卷全球的今天,数据已从 “辅助工具” 升级为 “核心资 ...
2025-07-25用 Power BI 制作地图热力图:基于经纬度数据的实践指南 在数据可视化领域,地图热力图凭借直观呈现地理数据分布密度的优势,成 ...
2025-07-24解析 insert into select 是否会锁表:原理、场景与应对策略 在数据库操作中,insert into select 是一种常用的批量数据插入语句 ...
2025-07-24CDA 数据分析师的工作范围解析 在数字化时代的浪潮下,数据已成为企业发展的核心资产之一。CDA(Certified Data Analyst)数据分 ...
2025-07-24从 CDA LEVEL II 考试题型看 Python 数据分析要点 在数据科学领域蓬勃发展的当下,CDA(Certified Data Analyst)认证成为众多从 ...
2025-07-23用 Python 开启数据分析之旅:从基础到实践的完整指南 在数据驱动决策的时代,数据分析已成为各行业不可或缺的核心能力。而 Pyt ...
2025-07-23鸢尾花判别分析:机器学习中的经典实践案例 在机器学习的世界里,有一个经典的数据集如同引路明灯,为无数初学者打开了模式识别 ...
2025-07-23解析 response.text 与 response.content 的核心区别 在网络数据请求与处理的场景中,开发者经常需要从服务器返回的响应中提取数 ...
2025-07-22解析神经网络中 Softmax 函数的核心作用 在神经网络的发展历程中,激活函数扮演着至关重要的角色,它们为网络赋予了非线性能力, ...
2025-07-22CDA数据分析师证书考取全攻略 一、了解 CDA 数据分析师认证 CDA 数据分析师认证是一套科学化、专业化、国际化的人才考核标准, ...
2025-07-22左偏态分布转正态分布:方法、原理与实践 左偏态分布转正态分布:方法、原理与实践 在统计分析、数据建模和科学研究中,正态分 ...
2025-07-22你是不是也经常刷到别人涨粉百万、带货千万,心里痒痒的,想着“我也试试”,结果三个月过去,粉丝不到1000,播放量惨不忍睹? ...
2025-07-21我是陈辉,一个创业十多年的企业主,前半段人生和“文字”紧紧绑在一起。从广告公司文案到品牌策划,再到自己开策划机构,我靠 ...
2025-07-21CDA 数据分析师的职业生涯规划:从入门到卓越的成长之路 在数字经济蓬勃发展的当下,数据已成为企业核心竞争力的重要来源,而 CD ...
2025-07-21MySQL执行计划中rows的计算逻辑:从原理到实践 MySQL 执行计划中 rows 的计算逻辑:从原理到实践 在 MySQL 数据库的查询优化中 ...
2025-07-21在AI渗透率超85%的2025年,企业生存之战就是数据之战,CDA认证已成为决定企业存续的生死线!据麦肯锡全球研究院数据显示,AI驱 ...
2025-07-2035岁焦虑像一把高悬的利刃,裁员潮、晋升无望、技能过时……当职场中年危机与数字化浪潮正面交锋,你是否发现: 简历投了10 ...
2025-07-20CDA 数据分析师报考条件详解与准备指南 在数据驱动决策的时代浪潮下,CDA 数据分析师认证愈发受到瞩目,成为众多有志投身数 ...
2025-07-18