京公网安备 11010802034615号
经营许可证编号:京B2-20210330
所有的大数据都是有价值的吗
大数据不一定等同于好数据,且越来越多的专家也坚信这一点,大数据并不会自动产生好的分析结果。如果数据不完整、断章取义或者被破坏,可能会导致企业产生错误的决策,从而削弱企业的竞争力或影响用户个人日常生活。

美国哈佛大学教授、定量社会科学研究所主任——Gary King就曾因数据分析时断章取义,得出了错误的结果。他发起了一个大数据分析项目,即通过检测Twitter和其他社交媒体帖子中的“工作”、“失业”和“分类”等关键词,来预测美国的失业率。
通过使用情感分析的技术,该组织收集了包含这些关键字的tweet和其他社交媒体帖子,来查看这些帖子的增加或减少是否与每月失业率存在相关性。
在监测这些内容时,研究人员发现包含其中一个关键字(“工作”)的帖子数量急剧增加,但随后,他们发现这与失业率毫无关系,因为他们忽略了乔布斯(乔布斯的名字Jobs也有“工作”的意思)去世的消息。我们应从这个例子中吸取教训,不要完全依靠“神奇”的大数据来指导决策。
King表示,“jobs”的双重含义只是诸多类似事件之一,在这一领域工作的人都遇到过类似的经历。他说:“这些关键字列表在短期内可能可行,但从长远来看,往往会带来灾难性的失败。你可以通过添加额外的关键字来解决问题,但这需要大量的人力参与。”
你可以输入关键些到Bing Social页面,便会看到一些相关或者无关的东西。如果你不更改查询,随着时间的推移,你会发现含有这些关键词的话题正以某种方式逐渐偏离主题,有时候偏离比较小,有时候却很大。”
但King表示,总体而言,很多大数据分析都产生了有用的内容。Vantiv公司首席安全官兼高级副总裁Kim Jones表示,这不是一个新问题,但如果人们认为大量数据能够奇迹般地产生良好的分析结果,这个问题可能会变严重。他指出:“Jobs的例子是一个经典的案例,数据本身并不等同于智慧。”
King认为内容是关键。他是大数据分析公司Crimson Hexagon首席科学家兼联合创始人,用该公司市场营销执行副总裁Wayne St. Amand的话来说,该公司旨在为在线对话提供“内容、意义和结构”。
然而,越来越多没有内容的数据在推动决策过程。华尔街日报2月份曾报道,医疗保险公司使用大数据来为其用户创建个人资料文件。该公司追踪的信息之一是购买加大号衣服的历史记录,这可能会导致将转诊转为减肥的计划。
没有人会觉得鼓励人们更健康地生活是错误的事情,但是这方面涉及的隐私问题却令人不安。这个人购买加大号衣服可能是送给另一位家庭成员。而且这种隐私问题可能带来更严重的影响。《彭博商业周刊》在2008年曾报道过有人因购买处方药的历史记录,而被保险公司拒绝为其上医疗保险,而这个人买药的历史记录暴露这个人有轻微的心理健康问题。
Adam
Frank在博客中指出,在某些情况下,银行会因为用户在社交网站LinkedIn或者Facebook上的联系人的情况而拒绝用户的贷款。如果你的朋友赖账,你的信誉可能也会受到他们的信誉的影响。ACLU高级政策分析师Jay
Stanley指出,“信用卡公司有时会因为其他消费者的信贷历史记录而降低消费者的限额。”
Kim
Jones表示,从相关性得出结论,而不进行进一步分析,这给他本人也带来过麻烦。“在80年代后期和90年代初期,有数据显示,驾驶入门级豪华车,且年龄在20和27岁之间的西班牙裔和黑人男性最有可能是毒贩。而我正好符合这个标准,我是非裔美国人,年龄也在这个范围内,当时我开的正式这样的车,但我并不是毒贩。”
他表示,“我们不能只是依靠数据分析,那样可能会导致一些坏的结果。如果你忽略人类的分析因素,那么你的错误率将会非常高。”
简言之,大数据是一个工具,但不应该被视为解决方案。“它可以帮助你缩小范围,从数百万可能缩小到150左右,”Jones表示,“但是我们不能让计算机做一切判断,因为这最终可能会给你带来麻烦。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在神经网络模型搭建中,“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活,导致回归任务输出异 ...
2025-12-05在机器学习落地过程中,“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据, ...
2025-12-05在CDA(Certified Data Analyst)数据分析师的能力模型中,“指标计算”是基础技能,而“指标体系搭建”则是区分新手与资深分析 ...
2025-12-05在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04在CDA(Certified Data Analyst)数据分析师的指标体系中,“通用指标”与“场景指标”并非相互割裂的两个部分,而是支撑业务分 ...
2025-12-04每到“双十一”,电商平台的销售额会迎来爆发式增长;每逢冬季,北方的天然气消耗量会显著上升;每月的10号左右,工资发放会带动 ...
2025-12-03随着数字化转型的深入,企业面临的数据量呈指数级增长——电商的用户行为日志、物联网的传感器数据、社交平台的图文视频等,这些 ...
2025-12-03在CDA(Certified Data Analyst)数据分析师的工作体系中,“指标”是贯穿始终的核心载体——从“销售额环比增长15%”的业务结论 ...
2025-12-03在神经网络训练中,损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜,却 ...
2025-12-02在CDA(Certified Data Analyst)数据分析师的日常工作中,“用部分数据推断整体情况”是高频需求——从10万条订单样本中判断全 ...
2025-12-02在数据预处理的纲量统一环节,标准化是消除量纲影响的核心手段——它将不同量级的特征(如“用户年龄”“消费金额”)转化为同一 ...
2025-12-02在数据驱动决策成为企业核心竞争力的今天,A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实 ...
2025-12-01在时间序列预测任务中,LSTM(长短期记忆网络)凭借对时序依赖关系的捕捉能力成为主流模型。但很多开发者在实操中会遇到困惑:用 ...
2025-12-01引言:数据时代的“透视镜”与“掘金者” 在数字经济浪潮下,数据已成为企业决策的核心资产,而CDA数据分析师正是挖掘数据价值的 ...
2025-12-01数据分析师的日常,常始于一堆“毫无章法”的数据点:电商后台导出的零散订单记录、APP埋点收集的无序用户行为日志、传感器实时 ...
2025-11-28在MySQL数据库运维中,“query end”是查询执行生命周期的收尾阶段,理论上耗时极短——主要完成结果集封装、资源释放、事务状态 ...
2025-11-28在CDA(Certified Data Analyst)数据分析师的工具包中,透视分析方法是处理表结构数据的“瑞士军刀”——无需复杂代码,仅通过 ...
2025-11-28在统计分析中,数据的分布形态是决定“用什么方法分析、信什么结果”的底层逻辑——它如同数据的“性格”,直接影响着描述统计的 ...
2025-11-27在电商订单查询、用户信息导出等业务场景中,技术人员常面临一个选择:是一次性查询500条数据,还是分5次每次查询100条?这个问 ...
2025-11-27