京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据时代的隐忧
维克托·迈尔·舍恩伯格教授在《大数据时代》中提出,在大数据时代,我们处理数据的理念要完成三大转变:要全体不要抽样,要效率不要绝对精确,要相关不要因果。大数据的力量如此耀眼,但我们必须避免被它的光芒诱惑,并善于发现它固有的瑕疵。
情况一:忽视小数据
19世纪60年代,日本人非常重视中国石油行业的发展。在中国官方对外播发的宣传中国工人阶级伟大精神的文章和照片中,日本信息专家逐渐摸清了中国大庆油田的具体方位、规模及产量。从而设计出适合中国大庆油田的采油设备,做好了充分的夺标准备,最终获得巨额订单,使西方石油大国目瞪口呆。小数据仍然会在一个相当长的时期内发挥重要作用。但小数据通常是弱信号,出现的频次低,往往被决策制定者们忽略。
情况二:误用大数据
如果我们问理发师,我们的头发是不是应该修剪一下,可能他甚至会让我们换个造型,无论抽查多少理发师样本,结果都是这样。我国企业正在摒弃以往“闭门造车”的管理模式,主动引导消费者群体参与其业务流程管理中的各项活动,并根据互动反馈完成产品优化创新。同样的,企业面向顾客的问卷调查中,顾客的意见我们是不是就该全盘接受呢?在经济生活中,人本质上还是自利的,他人的理性并不能成为我们的理性。很多调查结果的产生可能只是利益相关者希望通过企业这方面的改变获得更大的利益。
情况三:因果倒置
许多喜欢健身的人会选择游泳作为他们的塑身方式,理由很简单:游泳运动员的体形都是那么匀称协调。而事实的情况是,由于运动员们具有那样的身材体形,他们才会游出常人无法取得的成绩。另外,报刊上经常会有文章证明,良好的员工激励会创造更高的企业利润。果真如此吗?是不是因为员工所在的公司经营得好,才使得员工积极性更高呢?对数据间的因果关系不是必须首先厘清的。
情况四:错误因果
一位企业地区负责人,他将员工中最不积极的3%送进一个激励培训班,想以此来促进企业员工的积极性,下次调查时果然这些人中的一大半都不在最差的3%中了。可是,是激励班效果突出呢,还是仅仅因为原先那3%发挥失常绩效不高而现在恢复正常了呢?不论企业的利润、高层的领导能力还是员工的绩效水平,都不是常量,而是一个波动的过程,在低谷处即使没有外力作用也会回归均值。企业不能盲目地为提高的一点点绩效而欣喜,因为背后可能是不相关的成本付出和毫无意义的员工劳动。
情况五:看不到的因果
当海量的数据被企业所收集,当大数据的思想被应用到实践中去,一个尖锐的问题摆在我们眼前,如何看出数据的相关关系呢?很多数据不会以一种正相关或者负相关的简单方式存在。这时我们仍然需要运用“经验—猜想—验证”这一总结因果关系的经典流程。虽然这一时代“数据为王”,但人的价值就在于其基于对企业现象深刻理解所提炼出的关键要素。
当一个时代浪潮汹涌而来时,能够坚持理性看待和分析问题的精神是难能可贵的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
一、8个核心数据清洗函数 1. TRIM:一键清除多余空格(最常用) 作用:仅保留文本中"单词/字符之间的1个空格",删除开头、结尾 ...
2026-09-02数据分析的核心并非单纯操作工具、整理报表或绘制图表,而是依靠科学的思维逻辑挖掘数据价值、解释业务现象、指导经营决策。在完 ...
2026-09-02在社会经济、产业研究、区域治理与大数据实证分析中,面板数据是最具研究价值的数据类型。面板数据同时包含截面维度与时间维度信 ...
2026-09-02 很多数据分析师能熟练计算均值、标准差,但当被问到“如何用一张图让业务方3秒内看懂核心结论”“面对不同数据类型该怎么选 ...
2026-09-02在数据驱动决策的体系中,数据分析按照分析目的可分为描述性分析、诊断性分析、预测性分析与指导性分析四大类型。其中,诊断性分 ...
2026-09-01网络请求是Python爬虫开发、接口测试、数据拉取的核心基础功能,Python生态中主要依靠 urllib 和 requests 两大库实现HTTP请求操 ...
2026-09-01 很多数据分析师面对业务问题时,常常感到“知道要分析,却不知道用什么方法”。其实,数据分析并非无章可循——从三大基础范 ...
2026-09-01在数据库设计与业务数据维护中,自增ID是数据表最常用的主键字段,用于唯一标识每一条业务数据,正常状态下ID应保持连续递增。但 ...
2026-08-31在数理统计、数据分析、经济测算与日常量化评估中,平均值是刻画数据集中趋势、反映整体水平的基础核心指标。在实际应用中,最常 ...
2026-08-31在数据驱动的时代,数据分析早已不是“凭经验、靠感觉”的零散操作,而是一套具备固定逻辑、标准化流程的系统方法——这就是数据 ...
2026-08-31在大数据时代背景下,海量行业数据亟需通过专业化工具挖掘潜在价值,辅助企业业务决策、优化运营模式、规避经营风险。Python凭借 ...
2026-08-28SQL是数据分析领域最基础、最核心的工具,承担着取数、清洗、统计、分层、归因的全流程工作。不同于单纯的语法练习,实战化SQL数 ...
2026-08-28 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-08-28随着新零售模式的快速普及,零售行业从传统的“货品驱动”全面转向“用户驱动”。门店交易数据、线上消费记录、浏览轨迹、复购频 ...
2026-08-27在数据分析、爬虫采集、接口开发、数据归档等场景中,JSON与CSV是两种使用率最高的数据存储格式。JSON为键值对结构化格式,适配 ...
2026-08-27 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-08-27在数据分析工作中,时间序列是最常见的数据类型之一,订单时间、日志时间、交易时段、统计周期等数据均离不开时间处理。原始数据 ...
2026-08-26在数据分析与数据预处理工作中,原始数据普遍存在录入错误、系统故障、偶然极值等问题,极易产生异常数据。异常数据会严重干扰数 ...
2026-08-26 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-08-26在数理统计与数据分析领域,多因素方差分析与线性回归模型是研究变量关系、因素影响、数据差异规律的两大核心工具。二者均属于经 ...
2026-08-25