京公网安备 11010802034615号
经营许可证编号:京B2-20210330
应用大数据开展分析预测真的重要吗?
最近一段时间,笔者陆续看到一些非议大数据的文章,指出大数据的问题和局限性。但我看到的几乎所有文章,提出的问题都是针对应用大数据进行分析预测而言。其实,早在两年前,我就看到过一则所谓大数据的寓言。话说有一只小猪出生在猪圈里,从它出生起,每天就看到一些两条腿的动物在周围走来走去,给它送一些吃的喝的。小猪高兴的时候,就在泥里打滚;忧伤的时候,就趴在猪圈里看夕阳西下。经过对几百天的“大数据分析”,它得出结论“未来的日子也一定是这样的”。终于,一场血腥的杀戮终结了它的大数据分析。临死的时候,它恍然悟到“(此处省略两个字),大数据都是骗人的”。
其实,寓言都是人编写创作的,为的是说明作者的某种态度和观点。而这则寓言的作者显然回避了一些最为基本且重要的“剧情”,就是小猪的身边还有没有它的同类。如果有,那么小猪不可能不看到其他同类的下场;如果它忽视了,那只能说它的分析出了问题,忽视了几百天的时间内其它同类的命运。如果这只小猪真的是一只遗腹子、独生子女,前无古人后无来者,独自在猪圈里住了几百天,那么,还有什么其他方法能让它对自己的命运作出更加准确的预测吗?
当年,谷歌曾经准确地对禽流感疫情作出预测判断。但作为一个成功的案例却好景不长,此后,谷歌的预测不准了。于是,预测不准又成了“反面教材”。在今年第二期《统计研究》杂志上,秦磊和谢邦昌先生从数据源和统计分析方法的角度,对这个经典案例进行了剖析。而同样的道理是,即使谷歌后来的分析有各种问题,但不依据大数据做出的、比谷歌的预测更加精准的禽流感预测案例,有吗?
2014年9月,国家统计局举办全国统计系统建模大赛。统计科研所的参赛队伍利用百度关键词搜索,对北京的房价走势进行了预测。有媒体担心,统计部门如果做预测,就难免会将自己的实际数字往预测数据上靠,就难免带来数据的失真。其实,利用搜索大数据分析房价,一是为了在传统数据尚未出炉之前,对形势发展早一些做出预判;二是为了使评估传统数据质量时多了一个参照系。分析房价如此,分析预测其他方面的数据及趋势,意义同样如是。对于其他研究人员、专家学者、主管部门而言,应用大数据的意义或许主要就是分析和预测,至少目前是这样;但对政府统计部门和统计工作而言,应用大数据的意义绝非仅限于此,更为重要的,还是将大数据作为统计的重要数据源。
有些质疑的文章说,重视大数据的人,连什么是大数据也未必整得明白。其实,从麦肯锡报告到维基百科,从涂子沛先生的《大数据》到工信部的白皮书,对大数据的的定义都大同小异,概括起来就是三点:体量大,电子化产生,数据与技术的集成。在大数据改变着我们的生活、我们生活的改变又时时催生出新的大数据的今天,越来越多的大数据成为与我们核心指标的基础性数据。不将其恰如其分地纳入统计范围,我们的核心指标就面临失真的风险。
前不久,有媒体报道,阿里集团的年销售额已达3万亿元。这是什么概念呢?2015年全年,中国的社会消费品零售总额为30万亿元,国内生产总值是67.7万亿元。尽管不同指标间或有口径、范围的差异,但作为一家电商企业,阿里的市场份额和扩张速度还是可以由此窥豹一斑的。而除了龙头老大阿里之外,还有京东商城、1号店等诸多电商平台,规模和速度也不可小觑。网上零售的大数据将直接关系社会商品零售总额、行业增加值、居民消费价格指数、居民消费支出等诸多重要统计数据的准确程度。同样,当很多人团购成为习惯、当外卖攻陷校园、当没有一个人去影院买票却可以满场的时候,我们已经到了绝不能再固守原有统计渠道及方法的时候。面对大数据带来的改变,从法律法规到制度方法、到技术手段等诸多方面,变革真的迫在眉睫,真的刻不容缓。而这些,也真的比应用大数据开展分析预测更加重要和急迫。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
【核心关键词】埋点、产品、互联网、数据库、决策、数据分析、产品经理、商业模式、移动互联网、指标体系、运营模块、大数据平 ...
2026-07-22在高并发、大数据量的业务系统中,单表数据量达到千万级甚至亿级后,会出现查询性能骤降、索引维护成本飙升、存储扩容困难等问题 ...
2026-07-22 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-07-22在金融风控、企业运营、行业研究等数据分析场景中,大量数据以面板数据形态存在:例如多家分支机构连续多个季度的风险指标、多位 ...
2026-07-21 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-07-21一、活动介绍 2026暑期CDA备考冲刺季,为想利用假期拿证的你量身打造。考点胶囊内容搭配多重硬核福利,让你在旅行、实习、居家 ...
2026-07-21金融行业的运营风险贯穿业务全流程,涵盖交易欺诈、操作违规、流程漏洞、合规偏差、客户信用异常等多元场景,是银行、保险、证券 ...
2026-07-17财产保险作为金融行业的核心板块,涵盖车险、家财险、责任险、企财险等多元品类,是个人与企业抵御财产风险、经营风险的重要保障 ...
2026-07-17 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-07-17【核心关键词】模块、餐饮、客户、门店、企业、订单、供应链、多样化、产品、生产计划、数据分析、生产管理、物料管理、业务分 ...
2026-07-16在数字化分析时代,原始数据本身不具备业务价值,只有通过科学的统计学方法加工、拆解、验证与解读,才能挖掘数据背后的规律、差 ...
2026-07-16 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-07-16在描述性统计分析、数据预处理、异常值排查与多组数据分布对比工作中,箱线图(Box Plot)是应用最广泛的可视化与统计工具之一。 ...
2026-07-15在企业数据存储、业务统计与数据分析工作中,绝大多数业务数据都带有时间维度属性,例如订单创建时间、用户注册时间、支付完成时 ...
2026-07-15 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-07-15【核心关键词】产品、经营、客户、调研、销售额、宏观、会计行业、客户满意度、发展趋势、经营状况、数据分析、竞争对手、数据 ...
2026-07-14问卷调查是市场调研、用户研究、社会调研与产品分析的核心数据采集方式。问卷数据大多以分类数据为主,例如用户性别、年龄分层、 ...
2026-07-14 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-07-14在数据分析、业务效果验证、AB实验扩展、行业对比等场景中,我们经常需要对比三组及以上样本的均值差异,例如不同区域的客单价对 ...
2026-07-13在互联网产品运营、用户生命周期管理与商业化数据分析中,留存指标是判断产品价值、用户满意度与商业模式健康度的核心基准。常规 ...
2026-07-13