所有的大数据都是有价值的吗
大数据不一定等同于好数据,且越来越多的专家也坚信这一点,大数据并不会自动产生好的分析结果。如果数据不完整、断章取义或者被破坏,可能会导致企业产生错误的决策,从而削弱企业的竞争力或影响用户个人日常生活。
美国哈佛大学教授、定量社会科学研究所主任——Gary King就曾因数据分析时断章取义,得出了错误的结果。他发起了一个大数据分析项目,即通过检测Twitter和其他社交媒体帖子中的“工作”、“失业”和“分类”等关键词,来预测美国的失业率。
通过使用情感分析的技术,该组织收集了包含这些关键字的tweet和其他社交媒体帖子,来查看这些帖子的增加或减少是否与每月失业率存在相关性。
在监测这些内容时,研究人员发现包含其中一个关键字(“工作”)的帖子数量急剧增加,但随后,他们发现这与失业率毫无关系,因为他们忽略了乔布斯(乔布斯的名字Jobs也有“工作”的意思)去世的消息。我们应从这个例子中吸取教训,不要完全依靠“神奇”的大数据来指导决策。
King表示,“jobs”的双重含义只是诸多类似事件之一,在这一领域工作的人都遇到过类似的经历。他说:“这些关键字列表在短期内可能可行,但从长远来看,往往会带来灾难性的失败。你可以通过添加额外的关键字来解决问题,但这需要大量的人力参与。”
你可以输入关键些到Bing Social页面,便会看到一些相关或者无关的东西。如果你不更改查询,随着时间的推移,你会发现含有这些关键词的话题正以某种方式逐渐偏离主题,有时候偏离比较小,有时候却很大。”
但King表示,总体而言,很多大数据分析都产生了有用的内容。Vantiv公司首席安全官兼高级副总裁Kim Jones表示,这不是一个新问题,但如果人们认为大量数据能够奇迹般地产生良好的分析结果,这个问题可能会变严重。他指出:“Jobs的例子是一个经典的案例,数据本身并不等同于智慧。”
King认为内容是关键。他是大数据分析公司Crimson Hexagon首席科学家兼联合创始人,用该公司市场营销执行副总裁Wayne St. Amand的话来说,该公司旨在为在线对话提供“内容、意义和结构”。
然而,越来越多没有内容的数据在推动决策过程。华尔街日报2月份曾报道,医疗保险公司使用大数据来为其用户创建个人资料文件。该公司追踪的信息之一是购买加大号衣服的历史记录,这可能会导致将转诊转为减肥的计划。
没有人会觉得鼓励人们更健康地生活是错误的事情,但是这方面涉及的隐私问题却令人不安。这个人购买加大号衣服可能是送给另一位家庭成员。而且这种隐私问题可能带来更严重的影响。《彭博商业周刊》在2008年曾报道过有人因购买处方药的历史记录,而被保险公司拒绝为其上医疗保险,而这个人买药的历史记录暴露这个人有轻微的心理健康问题。
Adam
Frank在博客中指出,在某些情况下,银行会因为用户在社交网站LinkedIn或者Facebook上的联系人的情况而拒绝用户的贷款。如果你的朋友赖账,你的信誉可能也会受到他们的信誉的影响。ACLU高级政策分析师Jay
Stanley指出,“信用卡公司有时会因为其他消费者的信贷历史记录而降低消费者的限额。”
Kim
Jones表示,从相关性得出结论,而不进行进一步分析,这给他本人也带来过麻烦。“在80年代后期和90年代初期,有数据显示,驾驶入门级豪华车,且年龄在20和27岁之间的西班牙裔和黑人男性最有可能是毒贩。而我正好符合这个标准,我是非裔美国人,年龄也在这个范围内,当时我开的正式这样的车,但我并不是毒贩。”
他表示,“我们不能只是依靠数据分析,那样可能会导致一些坏的结果。如果你忽略人类的分析因素,那么你的错误率将会非常高。”
简言之,大数据是一个工具,但不应该被视为解决方案。“它可以帮助你缩小范围,从数百万可能缩小到150左右,”Jones表示,“但是我们不能让计算机做一切判断,因为这最终可能会给你带来麻烦。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
数据分析在当今信息时代发挥着重要作用。单因素方差分析(One-Way ANOVA)是一种关键的统计方法,用于比较三个或更多独立样本组 ...
2025-04-25CDA持证人简介: 居瑜 ,CDA一级持证人国企财务经理,13年财务管理运营经验,在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-25在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-24以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《刘静:10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda ...
2025-04-23大咖简介: 刘凯,CDA大咖汇特邀讲师,DAMA中国分会理事,香港金管局特聘数据管理专家,拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03