京公网安备 11010802034615号
经营许可证编号:京B2-20210330
不久前,国家统计局与11家大数据企业签署了战略合作框架协议。作为行业中的翘楚,这些企业各有各的特点。如阿里巴巴、1号店都是国内最著名的零售网购企业,五八同城是知名的求职就业平台,百度拥有最大的中文搜索引擎……战略合作协议取不同企业的共性,表达了合作的愿望和意向,明确要共同研究探讨建立大数据应用的统计标准,包括指标定义、口径、范围、分类、计算方法、代码等;共同研究确定利用企业数据完善、补充政府统计数据的内容、形式及实施步骤,包括数据采集、处理、分析、挖掘、发布等;并在各方一致同意的其他方面开展合作。
无疑,签署协议表明合作有了一个良好的实质性的开端。但是,在政府统计中应用大数据确实是一项非常复杂、难度极大的工作。特别是要把庞大、海量、类型不同、标准各异的非结构化数据转化成结构化数据,从统计制度方法到数据处理技术、以及具体的组织运作,都面临着极大的挑战。因此,需要认真梳理现有的大数据企业及数据类型,并分析其对政府统计带来的影响,由简单到复杂,分层次逐步渐进式推进。
第一个层次,相对简单、投资少见效快的项目,可以先上快上。年内早些时候,在参观百度总部的时候,有管理人员曾向我们介绍:原来如搜索北京地区天气预报,显示出的是中央气象台、北京市气象局等相关网站和一些发布天气预报的消息,需要继续点击才能查询到天气信息;而与气象部门合作,只要输入有关的关键词,数日的气象信息马上就可以显示出来,使用户能够得到更加准确、方便的服务。他们表示,与统计部门完全可以采取相同形式的合作。确实,目前搜索某些年度、季度、月度主要指标数据,可能会出现成百上千条相关信息,用户或者要从浩瀚消息中去粗取精、去伪存真,或许要登录统计部门的网站点击再点击,一步步地找到自己需要的统计信息。如果与最大的中文搜索引擎合作,查询许多统计指标就可以一次性到位。这难道不是服务型统计建设的一项切实有效的措施吗?
第二个层次,比较成熟的大数据产品,可以先拿过来。诸多大数据企业,都基于自身业务中源源不断产生的大数据,研制开发了自己的大数据产品,有些已经在业界乃至社会上产生了较大的影响力。如阿里集团旗下企业开发的淘宝价格指数(ispi)、天猫物流指数,如昆明泛亚的有色金属交易价格指数,都属于企业推出的相对成熟稳定的产品。虽然这些产品在覆盖面、代表性、稳定性等方面,与政府统计部门的同类指标数据相比还有差距,但其却在实时性、超前性方面具有优势。所以,如果能够对其计算过程作一些了解剖析,如果方法确实科学可行,能够说明一定的问题,不妨将其纳入政府统计相关数据的发布体系中来,作为政府统计的一个补充,提供社会各界的用户参考。
第三个层次,工作量大、技术难度大的工作,可以逐步稳步推进。与企业合作,在政府统计中应用大数据,最主要、最重要、也是难度最大的工作就是,如何把网上生成的海量数据作为政府统计的数据源,导入政府统计的统一数据处理平台,并进行加工处理,生成所需要的专业统计数据,如价格数据,如商品零售数据。一方面,需要从制度方法入手。选择有影响和代表性的电商,了解其产品分类及标准,深入研究与政府统计在标准、代码、口径、范围等方面的差异,探讨统一或衔接的可能性及办法;另一方面,需要从数据处理技术入手。选择在大数据处理方面技术领先的企业,提出在网上抓取、导入大数据,并与政府统计实现对接、转换,进而按政府统计的要求进行加工处理和分析的业务需求,了解技术型企业在技术处理方面的满足程度。
第四个层次,理论、科技含量高的工作,可以有选择地进行。比如与有关企业合作,通过网上数据和关键词搜索,建立经济模型,开展经济形势分析、预警预测分析,为宏观乃至微观层面的决策提供参考依据。可以结合经济社会的发展情势,有选择地确定研究题目,共同进行数据处理,并进行分析研究,推出研究成果。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
一、回归分析到底在解决什么问题 很多人学回归分析,是从公式开始的:最小二乘法、残差平方和、R²、t 检验。公式记住了,但一到 ...
2026-11-10一、等级聚类法是什么 等级聚类法(Hierarchical Clustering),中文也叫系统聚类法、层次聚类法,是聚类分析里最经典的一类方法 ...
2026-11-10考试范围 PART 1 大数据基础理论 占比(8% ) a. 大数据分析基础(1%) b. Python 基础(5%) c. Linux & Ubuntu 操作系统基 ...
2026-11-10一、业务背景 在后台列表、管理系统、报表页面的分页需求里,前端通常需要两份数据:当前页的分页记录、符合筛选条件的数据总条 ...
2026-11-09一、需求看起来简单,实际坑不少 "把文本里所有中括号 [] 中间的内容提取出来"——这是文本清洗里最常见的需求之一。日志里的 [I ...
2026-11-09大数据分析师证书考什么 考试范围 PART 1 大数据基础理论 占比(8% ) a. 大数据分析基础(1%) b. Python 基础(5%) c. Li ...
2026-11-09CDA数据分析师 出品 作者:李诗怡 一、数据处理概述 定义: 在正式开展数据分析之前,对原始采集的数据进行整理、修正、加工和精 ...
2026-11-06一、为什么数据要先标准化 拿到一份数据,各列的量纲往往完全不同:年龄单位是"岁"(约 20~60),收入单位是"元"(几千到几万) ...
2026-11-06一、为什么 Python 成了统计分析的主流工具 十年前做统计分析,主流选择是 SPSS、SAS、Stata。现在越来越多的研究者、分析师转向 ...
2026-11-06核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-06核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-06“大学生必备证书有哪些”最容易被答成一张越长越好的清单。但校招筛选的真实逻辑是:证书要对应你投的岗位任务,并且在校期间确 ...
2026-11-05大学期间能报的证书,先别急着看“含金量榜单”。更实用的第一步是问:我现在这个身份、这个学历,符合报考条件吗? 很多证书宣 ...
2026-11-05大学期间能考的证书很多,但真正需要先回答的是两个问题:当前有没有报考资格,以及这张证书对应什么岗位任务。 前者决定你能不 ...
2026-11-05先把结论说清楚:真正“只有在校大学生能考、毕业就彻底没资格”的证书数量不多,主要集中在语言类考试的部分专项、面向高校学生 ...
2026-11-05上班族问“考什么证书有用”,真正要解决的不是找一张“最值钱”的证,而是判断哪张证能嵌进你现有的岗位任务。同样一张证书,做 ...
2026-11-05职称证书不是统一的考试项目。同样“考职称”,经济、会计、统计、审计、软考走全国统一考试,工程、教师、卫生等系列多数走评审 ...
2026-11-0533岁选证书,最怕两件事:一是被“适合女生”的清单带着走,考完发现岗位用不上;二是投入大半年,报名时才发现学历、专业或工作 ...
2026-11-05“女生容易考的证书”这个问题,真正难的不是找一份名单,而是判断“容易”到底指什么。报名条件宽松、考试通过率高、拿证后能找 ...
2026-11-05“女生适合考什么证书”这类搜索,背后往往是同一个困惑:网上榜单太多,口径却说不清楚。有人把培训证书和职业资格混在一起排, ...
2026-11-05