京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据的陷阱
14年李娜再度夺得大满贯,超越了张德培的华人大满贯纪录,非举国体制下的奇迹造就了举国的愉悦。在总结李娜成功因素的时候,也再次看到了这样的言论,“是大数据起到了重要的作用”。早在2013年美网期间,就有媒体说大数据深度介入赛事、颠覆体育的时代来临了。但在仔细看过了相关材料后,我们可以发现,大数据的作用仅仅是囿于赛事的外围,比如观众体验;并不能够轻易得出大数据在提升球员自身比赛能力方面会发挥显著效果的结论。这次李娜夺冠,最靠谱的解释就是李娜在卡洛斯的帮助下提大大提升了心理层面的战斗力。可以说在技术层面领先的前提下,李娜在整场比赛中很好地克服了节奏的问题,也就是说她具备了一颗冠军的心脏。而目前所说的大数据,无非是告诉球员一些不算具体的技术指标。在个人竞技比赛中,高手之间心理素质的较量远远重要于技术的比拼,否则也不会有“爆冷”一说。可以说,体育比赛的最大魅力就在于那些无法预知的“黑天鹅”。
2012年9月6日,代表亚洲网球至高水平的中国选手李娜在美国迎战名将小威廉姆斯。当时,IBM公司在综合了美网过去8年的全部比赛数据之后,为参赛球员制定了“Keys to the match”的比赛制胜策略。李娜一方获得赢球的关键包括3个指标:1、一发得分率超过69%;2、4-9拍相持中得分利率要超过48%;3、发球局30-30或40-40时得分率要超过67%。比赛结果是,李娜溃败。比赛结束后,IBM高调地宣布李娜仅仅完成了三项制胜策略中的一项,而小威廉姆斯则完成了自己三项制胜策略中的两项。于是,很多人就顺着IBM的思路去问,李娜为什么不照着IBM的策略去打球?
美国著名的博客纳特·西尔弗在《信号与噪音》中提出了一个命题,数据究竟是对于我们的未来有所帮助的信号,还是毫无意义的噪音。西尔弗成名于奥巴马选举期间。当时,奥巴马和罗姆尼的选战正在胶着,人们都看不出来谁有可能获胜。西尔弗用棒球的统计方法得出结论,奥巴马必胜。这一准确预测让他名声大噪。但是,西尔弗很快就开始反思,利用大数据获得成功预测的案例远没有失败的多。为何?为什么911的时候,美国政府会忽视将要有恐怖袭击的信息,就像当年的珍珠港事件一样?为什么握有大量数据的经济学家预测不出来经济危机?为什么美国职业棒球大联盟中,球探依然无法被数据所取代?
西尔弗在书中写到:“自从有了印刷机,我们的世界已经经历太多。信息不再那么稀有,我们拥有的信息太多,甚至多到无从下手,但是用的信息却寥寥无几。我们主观地、有选择地看待信息,但对信息的曲解却关注不够。我们以为自己需要信息,但其实我们真正需要的是知识。”
西尔弗的话已经说得很清楚,人的主观愿望是决定看到信号还是听到噪音的关键因素。当美国情报部门收到种种美国即将遭到恐怖袭击的信号时,他们并没有采用相关性思维将其联系起来。2010年,一位民主党议员给西尔弗打电话,让他告之自己能否保住席位。西尔弗说你有99%的机会,你应该把自己的竞选基金捐献给民主党相对弱势的地区,可是,这位议员并不愿意为了1%的风险去帮助别的议员。
当当事人的主观愿望不积极的时候,大数据对他们来说不过是噪音而已。同样,数据也会因为主观意愿具有欺骗性。《赌神》中,周润发扮演的赌神一直有一个转戒指的习惯。对手通过观看大量的录像发现了这一动作,并认定当赌神转动戒指的时候,就是他出千的时机。结果,在一场生死之战中,赌神欺骗了所有人。他在转动戒指后并没有出千,结果导致对手崩溃。如果按照今天的观点来看,对手在进行数据分析的时候,过于强调了直接的因果性,模型中缺少了变量。这个最大的变量就是当事人的心理状态。
这也是西尔弗一再强调的。西尔弗是美国本土知名的棒球统计专家,他打造的PECOTA系统被认为是最权威的棒球比赛统计工具。就在《点球成金》一书在美国大红大紫之后,球探这个职业一度陷入低谷,各个球队都疯狂地迷恋上了数据。然而,西尔弗认为事实证明,球探最后还是击败了数据。
数据系统的判断依赖的是历史数据,而球探除了依赖历史之外,还要依赖于现场判断。西尔弗举了红袜队明星佩德罗亚的例子。他说数据系统告诉自己,佩德罗亚会是很有潜力的新星。事情的发展也如他所料,但是当西尔弗靠近佩德罗亚的时候,才发现,佩德罗亚坚定的信念和专注力才是决定他在场上可以出色发挥的关键。而这两点,都是数据系统无法感知的。
说回到IBM为大满贯球员打造的制胜策略上。在和几位国内资深的网球评论员交流之后,发现大家对这个所谓的大数据系统除了觉得好玩之外,并没有实用的价值。首先,这套系统不能预测。其次,这种依赖于历史数据得出来的结论,早已被球员的教练团队烂熟于胸。对于李娜来说,教练员的任务不是把这些数据告诉她以便进行针对性训练,而是侧重于心理辅导。
而且,若要IBM为李娜设定的三个指标都达标的话,需要两大因素支持。首先是李娜的临场心理状态。打球不比下棋,想到的可能做不到。其次,在于对手的压迫程度。面对小威这样的力量型选手时,李娜的发挥空间会被大大压缩。而这两大因素又是紧密联系在一起的。
我们很多时候都会被误导,认为大数据的作用是让历史告诉未来。不然。甚至在网球这样的领域里,历史数据常常会成为陷阱。大数据之大,一方面在于原始数据库的规模之大,更在于实时流动量之大、数据来源之大。就像西尔弗所言,一个好的棒球预测系统必须具备三大要素:考虑球员表现的外在因素;区别看待运气和技术因素;了解球员的表现和年龄变化之间的关系。
有意思的是,在另一场女子网球比赛中,一位球员做到了IBM为其制定的三项指标中的两个,她却失败了。胜利的一方,只完成了一个指标。数据分析师培训
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
机器学习的本质,是让模型通过对数据的学习,自主挖掘规律、实现预测与决策,而这一过程的核心驱动力,并非单一参数的独立作用, ...
2026-03-27在SQL Server数据库操作中,日期时间处理是高频核心需求——无论是报表统计中的日期格式化、数据筛选时的日期类型匹配,还是业务 ...
2026-03-27在CDA(Certified Data Analyst)数据分析师的能力体系与职场实操中,高维数据处理是高频且核心的痛点——随着业务场景的复杂化 ...
2026-03-27在机器学习建模与数据分析实战中,特征维度爆炸、冗余信息干扰、模型泛化能力差是高频痛点。面对用户画像、企业经营、医疗检测、 ...
2026-03-26在这个数据无处不在的时代,数据分析能力已不再是数据从业者的专属技能,而是成为了职场人、管理者、创业者乃至个人发展的核心竞 ...
2026-03-26在CDA(Certified Data Analyst)数据分析师的能力体系中,线性回归是连接描述性统计与预测性分析的关键桥梁,也是CDA二级认证的 ...
2026-03-26在数据分析、市场研究、用户画像构建、学术研究等场景中,我们常常会遇到多维度、多指标的数据难题:比如调研用户消费行为时,收 ...
2026-03-25在流量红利见顶、获客成本持续攀升的当下,营销正从“广撒网”的经验主义,转向“精耕细作”的数据驱动主义。数据不再是营销的辅 ...
2026-03-25在CDA(Certified Data Analyst)数据分析师的全流程工作中,无论是前期的数据探索、影响因素排查,还是中期的特征筛选、模型搭 ...
2026-03-25在当下数据驱动决策的职场环境中,A/B测试早已成为互联网产品、运营、营销乃至产品迭代优化的核心手段,小到一个按钮的颜色、文 ...
2026-03-24在统计学数据分析中,尤其是分类数据的分析场景里,卡方检验和显著性检验是两个高频出现的概念,很多初学者甚至有一定统计基础的 ...
2026-03-24在CDA(Certified Data Analyst)数据分析师的日常业务分析与统计建模工作中,多组数据差异对比是高频且核心的分析场景。比如验 ...
2026-03-24日常用Excel做数据管理、台账维护、报表整理时,添加备注列是高频操作——用来标注异常、说明业务背景、记录处理进度、补充关键 ...
2026-03-23作为业内主流的自助式数据可视化工具,Tableau凭借拖拽式操作、强大的数据联动能力、灵活的仪表板搭建,成为数据分析师、业务人 ...
2026-03-23在CDA(Certified Data Analyst)数据分析师的日常工作与认证考核中,分类变量的关联分析是高频核心场景。用户性别是否影响商品 ...
2026-03-23在数据工作的全流程中,数据清洗是最基础、最耗时,同时也是最关键的核心环节,无论后续是做常规数据分析、可视化报表,还是开展 ...
2026-03-20在大数据与数据驱动决策的当下,“数据分析”与“数据挖掘”是高频出现的两个核心概念,也是很多职场人、入门学习者容易混淆的术 ...
2026-03-20在CDA(Certified Data Analyst)数据分析师的全流程工作闭环中,统计制图是连接严谨统计分析与高效业务沟通的关键纽带,更是CDA ...
2026-03-20在MySQL数据库优化中,分区表是处理海量数据的核心手段——通过将大表按分区键(如时间、地域、ID范围)分割为多个独立的小分区 ...
2026-03-19在商业智能与数据可视化领域,同比、环比增长率是分析数据变化趋势的核心指标——同比(YoY)聚焦“长期趋势”,通过当前周期与 ...
2026-03-19