京公网安备 11010802034615号
经营许可证编号:京B2-20210330
建模是数据分析师工作中最重要的环节之一,预测建模也是最常见使用的,那么,预测建模对数据有哪些哪些要求呢,是重视大数据还是小数据呢,
很多数据分析专家都对大数据抱有很大的希望。但是在预测分析世界大会上,演讲者讲到预测分析模型,对大数据并不是很乐观。
StatSoft的高级数据分析师兼数据挖掘顾问Gary Miner表示:“大数据对我来说只是一个炒得很热的概念,并没有什么新鲜的。”
Miner认为,对于大数据究竟是什么,仍存在争议。广为流传的是IBM提出的三个V,即规模大、速度快和种类多。但是,要想用一个精确地量来定义“大”数据,这本身就是不精确的。有人说几TB,有人说几百TB。
Miner的感受是,对大数据,人们言过其实了。相反,分析小规模数据集倒来的更实际。他举了一些医学实验如何通过不足100的病例取得研究成果的例子。因为更小、更精良的数据集更容易过滤“噪声”,获得“信号”。
存储空间的成本正在降低,这让分析界倾向于分析全部数据集。不过Miner 认为通过随机样本,你会更快速地获得更好的结果。
“如果你想从数据中挖掘因果关系,你最好分析小数据集。”
旅游社区TripAdvisor商业部门的分析总监Michael Berry表示,在大数据时代,人们希望通过部署一个技术,就可以解决多种问题。供应商们正在积极迎合这种需求,声称自己的大数据软件可以极大地简化业务 分析项目。但Berry认为,这种简单便捷的解决方案基本上只是一种幻想。
“这只是一种营销策略,从来没有实现过。”
Berry建议,与其坐等大数据软件来解决一切问题,不如去提升自己的预测模型。定义预测模型的变量要比放入模型中的大规模数据有用的多。
Berry认为,在模型中加入更多的数据反而会增加分析的时间。在分析数据集的时候,样本足以揭示总量的规律,而且更快捷。如果分析了100个数据节点之后,样本已经显而易见了,就不需要继续分析剩下的十万个数据节点了。这样只会延长项目,降低收益。
并不是每一个人都这样看衰大数据。广告代理商Carmichael Lynch的数据分析战略家Peter Amstutz认为,在创建预测模型的时候,尽可能多的收集数据变量是很重要的。有时,可以通过一个标准记录的数据源积累信息变量,但很多时候,组织会得 到大量的非结构化数据。这时,大数据就派上用场了。
Amstutz最近帮助Subaru部署了一个提升建模项目,汽车制造商可以通过它更精确地锁定目标客户。Amstutz表示,他一直在寻找包含客户信息的新的数据源,以便于建立目标客户的个人档案。参照这些变量,广告商就可以更精确地找到目标客户。
数据分析供应商ForeSee移动、媒体和娱乐的高级总监Eric Feinberg认为,最重要的是数据的质量,而不是规模。大数据只有在标准和精确的条件下才有用。
他强调,不同行业应用大数据分析有所不同。在研究销售趋势的时候,明显的峰值只会增加噪点,让人难以判断真实的趋势。而在欺诈检测中,峰值正是分析人员要分析的。所以使用少量样本的时候,销售预测效果较好,但要进行欺诈检测,就得依靠大数据了。
另一方面,更传统的方法或许效果更佳。Feinberg举了医疗器械公司想要完善心脏病客户个人档案的例子。医疗器械公司可以通过收集大数据找到相似客户的共同点,或者花钱找几个心脏病患者过来。
“两者是一样的。甚至后者更难,因为它要花费更多的时间,但结果是一个成熟的数据集。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
做产品立项、写商业计划书、规划市场进入策略时,"市场调研"和"竞品分析"几乎总是被绑在一起说,甚至被当成同一件事。但实际 ...
2026-11-19 在做数据治理、搭数据中台或者梳理数据库表结构时,"主数据"和"参考数据"是被提及频率最高、也最容易被混为一谈的两个概念。 ...
2026-11-19“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-19一、什么是本体 在知识图谱和语义建模里,本体(Ontology)是对一个领域内概念、属性、关系和实例的形式化描述。它回答三个问题 ...
2026-11-18一、K-S 曲线解决什么问题 风控评分卡、客户流失模型、欺诈识别模型建好之后,最核心的一个问题是:模型能不能把"会变坏"和"不会 ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18产品上线之后,真正回答"用户是谁、想要什么、卡在哪里"的,往往不是调研问卷,而是用户留下的一条条行为记录。点击、浏览、停留 ...
2026-11-17在日常数据库开发与报表查询中,日期格式几乎是最高频的"打交道"对象:页面上要展示 yyyy-MM-dd,接口要返回 ISO 8601 字符串, ...
2026-11-17核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-17一、销售行业为什么离不开大数据分析 销售行业的本质是"把合适的产品,在合适的时间,卖给合适的人,并持续复购"。传统销售靠经 ...
2026-11-16一、什么是频数分布 拿到一批连续数据(员工年龄、商品价格、考试分数、订单金额),最想先看的往往不是平均值,而是数据集中在 ...
2026-11-16教育部办公厅关于成立全国数据职业教育教学指导委员会(2026—2030年)的通知 教职成厅函〔2026〕25号 各省、自治区、直辖市教 ...
2026-11-16CDA数据分析师 出品 作者:李诗怡 基础与单表查询 四大类语言 · 数据库基础 · DQL 单表查询 ” 一、SQL 四大类语言与数据 ...
2026-11-13核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-13一、问题从哪来 财务分析里算增长率,常规公式所有人都会写: 增长率本年数上年数上年数 这个公式在"上年为正"时完全成立。但一 ...
2026-11-12一、什么是加权聚类 普通聚类默认"每个样本、每个指标都同等重要":距离公式里每个样本权重都是 1,每个指标在距离计算里占比相 ...
2026-11-12“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-12一、需求从哪来 做 Excel 报表时,"从一个透视表取数据"这个需求通常有三种来源: 汇总页引用:明细透视表在另一个 sheet,汇总 ...
2026-11-11一、透视表的价值在哪 一句话概括:数据透视表把"写公式汇总"变成了"拖字段看结果"。 传统做法要写 SUMIFS、COUNTIFS,改一个维 ...
2026-11-11