京公网安备 11010802034615号
经营许可证编号:京B2-20210330
人们将面临大数据无法进行预测分析挑战
你是否认为大数据时代会有足够多的信息来支持建立强大分析,其实不然。有的情况中即便大量数据也不能保证基本预测的正常运行。多数时间,我们没有做到更多的事,所以只能默默承受这事实坚持最基本的。这是为什么我们要讨论当面临大数据不能预测分析未来的挑战时的情况。
场景一
以某家航空公司制造商举例,事物很少却有大量数据就难找到有意义的模式。运行的飞机每小时产生数据可达千兆字节,发动机在不同条件下操作,分析操作数据好处很多。像是预测性维护,对于分析行为来说或许困难。
在考虑不同模型的时候,一年中可能只有几十个模型被生产出来。纵使飞机全部装满传感器,也很难开发有意义的预测部件故障模型。因为只有几十或几百架飞机,样品的数量太小。对于新飞机来说,会加剧问题出现几率。尽管收集了PB的数据,但没有足够大事件池,有效预测模型就不能真正构建。不过数据是可以监测,但并不是预测模式。
情景二
大量的事物和人需要分析大量数据。出现罕见的事件时,会遇到没有足够的样本来构建真正有效的预测模型。并不是分析数据和理解行为各方面没有很多价值。
再看计算机芯片的生产。全球每年产生数亿甚至数十亿片芯片,并且其速度在不断加快。几十年前,一千个或一万个的数量级缺陷可能是可以接受的。对于当今的芯片产品,其缺陷可能需要更接近百万级。曾经有客户提出,汽车行业面临着压力,需要将芯片缺陷率降低到十亿分之一或更低。因为如果实现这种低错误率,并且人们可以假设导致有缺陷芯片存在的原因,则对于任何特定的一组原因,其发生任何缺陷的实例会变少,人们可能没有足够的样本来分析,但能够产生良好的模型以预测这些失败可能发生的时间和地点。人们考虑到芯片技术将随着时间的推移而过时,在短短几年内被更新的产品所替代,因此,这可能是一个持续时间比较久的问题。
然而这只是样本。随着数据来源越来越多,企业用多个因素分析业务,异常样本出现在组织内部。人们只需关注一个小的宇宙来分析,或者通过一个令人难以置信的稀有事件来分析。更糟糕的是,这种罕见事件是小宇宙中的。假设只考虑数据与业务问题相关的情况,而那些不相关的数据将永远不会增加价值,无论其数量多么大或多么小。
当人们不确定自己的数据是否是有效预测时,请确保在用于开发数据的复杂分析之前投入更多精力,其评估可能是可行的。在某些情况下,人们可能需要解决基本分析问题。然而,重要的是要记住,这种情况应该比没有任何数据来分析更好。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
指标体系是企业数字化分析、业务监控、经营决策的核心基础框架,是将零散数据转化为可衡量、可对比、可落地业务价值的关键体系。 ...
2026-10-08随着市场竞争日趋饱和,同质化低价竞争逐渐陷入内卷僵局,传统以价格、渠道、促销为核心的营销模式边际效益持续递减。在此背景下 ...
2026-10-08 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-10-08你有没有想过,手机里点外卖、刷社交软件、转一笔账,背后到底是谁在替你"记着账"? 答案其实很简单:数据库,以及跟它对话的那 ...
2026-10-07CDA数据分析师 出品 作者:李诗怡 一、数据分析四大思维 1. 对比思维:没有对比就没有分析 核心观点:单独一个数字没有意义,有 ...
2026-10-05Kimball 是方法,星型模型是它产出的形状。 很多人把"Kimball vs 星型模型"当成一道选择题——这本身就是个误会:Kimball 是动词 ...
2026-10-05写在开头 老板在微信上甩来一句: "帮我看下为什么销量跌了。" ” 你回工位,打开 SQL,开始写。查订单表、拉近三个月、按 ...
2026-10-03CDA数据分析师 出品 作者:李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 5W1H 分析法 定义:经典系统性思维框架,通过六个核心维度对问题进行全方位拆解与剖析,确 ...
2026-09-28 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24