京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据时代对统计学和经济学的影响
大数据最显著的特征就是 数据量大 ( large scope ) + 即时性 ( real time data )
比如: 你在超市收银机的数据, 网购的记录, 或者在线阅读( 比如在知乎的关注文章 ) 等等.
同时大数据时代带来了很多新的数据类型 (新在于对比以往经济学上运用的数据)
比如: 社交网络上发的微博或者朋友圈里所包含的文字数据 (这是以往经济分析中不太会使用的).
计量经济中的数据结构经常是矩阵型的, 也就是说通常收集 N 个观察项, K 个变量 (且 K <<N)
大数据的数据结构显然不是这样, 很多情况下 K >N
计量中经常假设观察项之间是独立的, 但是在社交网络中观察项之间却是经常互相联结, 计量经济学未来在使用社交网络数据时如何处理这种观察项间的影响将成为一个关键.
2. 目前时髦的大数据应用: 预测建模 ( predictive modeling )
简而言之, 预测建模可以理解为: 已知 N 个观察 通过 K 个预测变量 来推导出相关性最强的 N 个结果.
大数据时代数据虽然丰富多了, 但是数据的质量却很容易下降.
比如: 纵使你有全国层次上百万级的观察项, 而你所研究的课题却是在市县层次. 容易造成大量不相关且描述不够详尽的数据.
而且这种统计方法面临一个权衡取舍:
在 K >N 的时候, 模型的样本外预测效果 ( out-of-sample performance ) 就会很差. 但是模型的样本内预测效果 (in-sample performance) 会很好.
而当经济学家考虑运用机器学习的方法时, 很容易想到卢卡斯批评( Lucas Critique ): 如果一个预测模型通过收集市场上已知的经济行为, 从而用来预测最优的政府干预政策时, 预测的结果可能并不准确, 因为预测出来的干预政策会改变市场的经济行为( 而这些正是和原模型中相关联的 )
3. 大数据时代已经为实证经济学研究提供了新的思路
美国统计局调查通货膨胀是使用派发问卷的方式, 回收的数据再分类到不同的通货膨胀指标中 (eg CPI). 大数据领域的 Billion Price Project ( BPP ) 运用实时的在线商店数据提供
一种 CPI 的替代指标 (这一指标在美国被验证 BPP 与 CPI 有很强的相关性).
其他的还有穆迪分析通过 MasterCard 和 Visa 的 Spending Pulse 来提供行业就业率的观测指标.
然而这些大数据还不够完美, 很显然这些数据的样本本身就不具有代表性. 比如: 利用 MasterCard 和 Visa 推导出的就业率指数首先就要求被调查者要至少有一张 MasterCard 或者 Visa.
4. 对经济学家的挑战
数据获取: 公共领域以及政府数据是否容易获得.
数据管理以及编辑能力: 经济学家是否有能力快速的把大数据高效地应用在经济学思想.
最重要的, 急需开发出创新的数据总结, 描述和分析的方法.
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA数据分析师 出品 作者:李诗怡 多表进阶与 DDL/DML 连接 · 子查询 · 合并 · 建表与书写规范 ” 三、DQL 多表进阶:连 ...
2026-11-20 前面讲了怎么搭指标体系,但很多团队卡在最后一步:高层定了一个漂亮的目标,往下一层层写进周报,最后却落不到任何人的具体 ...
2026-11-20 很多团队做数据分析的现状是:老板要一个数就拉一个数,周报里堆满了 GMV、DAU、转化率,却没人说得清这些数之间是什么关系 ...
2026-11-20这周你大概又经历过一次:报表自己跑了,SQL 让 AI 写了,连周报初稿都不用自己动手。你一边松口气,一边心里发慌——那我还剩什 ...
2026-11-20 做产品立项、写商业计划书、规划市场进入策略时,"市场调研"和"竞品分析"几乎总是被绑在一起说,甚至被当成同一件事。但实际 ...
2026-11-19 在做数据治理、搭数据中台或者梳理数据库表结构时,"主数据"和"参考数据"是被提及频率最高、也最容易被混为一谈的两个概念。 ...
2026-11-19“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-19一、什么是本体 在知识图谱和语义建模里,本体(Ontology)是对一个领域内概念、属性、关系和实例的形式化描述。它回答三个问题 ...
2026-11-18一、K-S 曲线解决什么问题 风控评分卡、客户流失模型、欺诈识别模型建好之后,最核心的一个问题是:模型能不能把"会变坏"和"不会 ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18产品上线之后,真正回答"用户是谁、想要什么、卡在哪里"的,往往不是调研问卷,而是用户留下的一条条行为记录。点击、浏览、停留 ...
2026-11-17在日常数据库开发与报表查询中,日期格式几乎是最高频的"打交道"对象:页面上要展示 yyyy-MM-dd,接口要返回 ISO 8601 字符串, ...
2026-11-17核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-17一、销售行业为什么离不开大数据分析 销售行业的本质是"把合适的产品,在合适的时间,卖给合适的人,并持续复购"。传统销售靠经 ...
2026-11-16一、什么是频数分布 拿到一批连续数据(员工年龄、商品价格、考试分数、订单金额),最想先看的往往不是平均值,而是数据集中在 ...
2026-11-16教育部办公厅关于成立全国数据职业教育教学指导委员会(2026—2030年)的通知 教职成厅函〔2026〕25号 各省、自治区、直辖市教 ...
2026-11-16CDA数据分析师 出品 作者:李诗怡 基础与单表查询 四大类语言 · 数据库基础 · DQL 单表查询 ” 一、SQL 四大类语言与数据 ...
2026-11-13核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-13一、问题从哪来 财务分析里算增长率,常规公式所有人都会写: 增长率本年数上年数上年数 这个公式在"上年为正"时完全成立。但一 ...
2026-11-12