京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据的陷阱
14年李娜再度夺得大满贯,超越了张德培的华人大满贯纪录,非举国体制下的奇迹造就了举国的愉悦。在总结李娜成功因素的时候,也再次看到了这样的言论,“是大数据起到了重要的作用”。早在2013年美网期间,就有媒体说大数据深度介入赛事、颠覆体育的时代来临了。但在仔细看过了相关材料后,我们可以发现,大数据的作用仅仅是囿于赛事的外围,比如观众体验;并不能够轻易得出大数据在提升球员自身比赛能力方面会发挥显著效果的结论。这次李娜夺冠,最靠谱的解释就是李娜在卡洛斯的帮助下提大大提升了心理层面的战斗力。可以说在技术层面领先的前提下,李娜在整场比赛中很好地克服了节奏的问题,也就是说她具备了一颗冠军的心脏。而目前所说的大数据,无非是告诉球员一些不算具体的技术指标。在个人竞技比赛中,高手之间心理素质的较量远远重要于技术的比拼,否则也不会有“爆冷”一说。可以说,体育比赛的最大魅力就在于那些无法预知的“黑天鹅”。
2012年9月6日,代表亚洲网球至高水平的中国选手李娜在美国迎战名将小威廉姆斯。当时,IBM公司在综合了美网过去8年的全部比赛数据之后,为参赛球员制定了“Keys to the match”的比赛制胜策略。李娜一方获得赢球的关键包括3个指标:1、一发得分率超过69%;2、4-9拍相持中得分利率要超过48%;3、发球局30-30或40-40时得分率要超过67%。比赛结果是,李娜溃败。比赛结束后,IBM高调地宣布李娜仅仅完成了三项制胜策略中的一项,而小威廉姆斯则完成了自己三项制胜策略中的两项。于是,很多人就顺着IBM的思路去问,李娜为什么不照着IBM的策略去打球?
美国著名的博客纳特·西尔弗在《信号与噪音》中提出了一个命题,数据究竟是对于我们的未来有所帮助的信号,还是毫无意义的噪音。西尔弗成名于奥巴马选举期间。当时,奥巴马和罗姆尼的选战正在胶着,人们都看不出来谁有可能获胜。西尔弗用棒球的统计方法得出结论,奥巴马必胜。这一准确预测让他名声大噪。但是,西尔弗很快就开始反思,利用大数据获得成功预测的案例远没有失败的多。为何?为什么911的时候,美国政府会忽视将要有恐怖袭击的信息,就像当年的珍珠港事件一样?为什么握有大量数据的经济学家预测不出来经济危机?为什么美国职业棒球大联盟中,球探依然无法被数据所取代?
西尔弗在书中写到:“自从有了印刷机,我们的世界已经经历太多。信息不再那么稀有,我们拥有的信息太多,甚至多到无从下手,但是用的信息却寥寥无几。我们主观地、有选择地看待信息,但对信息的曲解却关注不够。我们以为自己需要信息,但其实我们真正需要的是知识。”
西尔弗的话已经说得很清楚,人的主观愿望是决定看到信号还是听到噪音的关键因素。当美国情报部门收到种种美国即将遭到恐怖袭击的信号时,他们并没有采用相关性思维将其联系起来。2010年,一位民主党议员给西尔弗打电话,让他告之自己能否保住席位。西尔弗说你有99%的机会,你应该把自己的竞选基金捐献给民主党相对弱势的地区,可是,这位议员并不愿意为了1%的风险去帮助别的议员。
当当事人的主观愿望不积极的时候,大数据对他们来说不过是噪音而已。同样,数据也会因为主观意愿具有欺骗性。《赌神》中,周润发扮演的赌神一直有一个转戒指的习惯。对手通过观看大量的录像发现了这一动作,并认定当赌神转动戒指的时候,就是他出千的时机。结果,在一场生死之战中,赌神欺骗了所有人。他在转动戒指后并没有出千,结果导致对手崩溃。如果按照今天的观点来看,对手在进行数据分析的时候,过于强调了直接的因果性,模型中缺少了变量。这个最大的变量就是当事人的心理状态。
这也是西尔弗一再强调的。西尔弗是美国本土知名的棒球统计专家,他打造的PECOTA系统被认为是最权威的棒球比赛统计工具。就在《点球成金》一书在美国大红大紫之后,球探这个职业一度陷入低谷,各个球队都疯狂地迷恋上了数据。然而,西尔弗认为事实证明,球探最后还是击败了数据。
数据系统的判断依赖的是历史数据,而球探除了依赖历史之外,还要依赖于现场判断。西尔弗举了红袜队明星佩德罗亚的例子。他说数据系统告诉自己,佩德罗亚会是很有潜力的新星。事情的发展也如他所料,但是当西尔弗靠近佩德罗亚的时候,才发现,佩德罗亚坚定的信念和专注力才是决定他在场上可以出色发挥的关键。而这两点,都是数据系统无法感知的。
说回到IBM为大满贯球员打造的制胜策略上。在和几位国内资深的网球评论员交流之后,发现大家对这个所谓的大数据系统除了觉得好玩之外,并没有实用的价值。首先,这套系统不能预测。其次,这种依赖于历史数据得出来的结论,早已被球员的教练团队烂熟于胸。对于李娜来说,教练员的任务不是把这些数据告诉她以便进行针对性训练,而是侧重于心理辅导。
而且,若要IBM为李娜设定的三个指标都达标的话,需要两大因素支持。首先是李娜的临场心理状态。打球不比下棋,想到的可能做不到。其次,在于对手的压迫程度。面对小威这样的力量型选手时,李娜的发挥空间会被大大压缩。而这两大因素又是紧密联系在一起的。
我们很多时候都会被误导,认为大数据的作用是让历史告诉未来。不然。甚至在网球这样的领域里,历史数据常常会成为陷阱。大数据之大,一方面在于原始数据库的规模之大,更在于实时流动量之大、数据来源之大。就像西尔弗所言,一个好的棒球预测系统必须具备三大要素:考虑球员表现的外在因素;区别看待运气和技术因素;了解球员的表现和年龄变化之间的关系。
有意思的是,在另一场女子网球比赛中,一位球员做到了IBM为其制定的三项指标中的两个,她却失败了。胜利的一方,只完成了一个指标。数据分析师培训
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
【核心关键词】大数据、零售商、消费者、供应链、运营、企业、产品、客户、数据模型、大数据平台、数据开发、系统运维、业务逻 ...
2026-06-26在物流配送、供应链履约、终端供货等业务场景中,送货率是衡量企业履约能力、服务质量、供应链稳定性的核心业务指标,直接关联客 ...
2026-06-26 很多数据分析师精通描述性统计,能熟练计算均值、中位数、标准差,但当被问到“用500个样本如何推断10万用户的真实满意度” ...
2026-06-26在数字化管理与数据化运营体系中,指标是连接原始数据与业务决策的核心载体。零散的原始数据只是无意义的数值堆砌,无法直接反映 ...
2026-06-25在Excel数据汇总、财务统计、业务复盘等日常办公场景中,经常需要完成逐行相乘、整体汇总求和的计算需求,最典型的场景就是:单 ...
2026-06-25 很多数据分析师沉迷于复杂的机器学习算法,却忽略了数据分析最基础也最核心的能力——描述性统计。事实上,80%的商业分析问 ...
2026-06-25【核心关键词】主数据、资产、供应商、现金流、企业、精细化、集团、数字化、中国、数据质量、数据管理、经营管理、地产行业、 ...
2026-06-24在数据分析、假设检验、AB测试、学术研究等统计场景中,显著水平(α)与P值(P-value)是判断统计结果是否具有统计学意义的两个 ...
2026-06-24小李刚入职了一家互联网公司的运营部门。第一次参加业务复盘会,运营主管问了一个看似简单的问题:“这个月新用户留存率下降了5 ...
2026-06-24在数字化转型全面渗透的产业背景下,数据分析已成为互联网、金融、零售、制造等几乎所有行业的核心岗位能力。很多初学者对数据分 ...
2026-06-23在企业并购、股权定价、投融资评估、资产核算等资本市场核心场景中,市场法是应用最广泛、市场认可度最高的企业价值评估方法。传 ...
2026-06-23 许多数据分析师精通Excel函数和SQL查询,但当面对一张上万行的销售明细表,要快速回答“哪个地区销量最高”“哪款产品增长最 ...
2026-06-23【核心关键词】运营、证书、金融、客户、产品、软件、销售额、量化、科技、数据分析、金融行业、证券类软件、业务流程、金融机 ...
2026-06-22在企业方案选型、产品迭代评审、供应商筛选、运营效果复盘等决策场景中,单一指标的优劣判断往往无法支撑科学决策。一套转化效果 ...
2026-06-22 很多数据分析师掌握了Excel函数、会写SQL查询,但当被问到“数据从哪里来”“数据加工有哪些步骤”“如何使用分析工具连接数 ...
2026-06-22【核心关键词】软件、洞察力、大数据、产品、经验、硬件、流量、创新、决策、数据安全、网络安全、数据分析、决策制定、数据挖 ...
2026-06-18在方案选型、效果复盘、产品评估、供应商筛选等各类业务决策场景中,仅凭单一指标下结论往往会陷入 “以偏概全” 的误区。多维度 ...
2026-06-18 很多数据分析师精通Excel单元格操作,但当被问到“表结构数据的基本处理单位是什么”“字段和记录的本质区别”“为什么表结 ...
2026-06-18在数据分析、用户运营与业务增长的工作体系中,漏斗拆解是最基础也最高频的问题定位方法。很多业务场景下,我们只能看到最终的转 ...
2026-06-17在数据库开发、数据清洗与报表统计场景中,数值类型转换为日期是高频刚需操作。业务系统常以 Unix 时间戳、整型日期(如20240617 ...
2026-06-17