京公网安备 11010802034615号
经营许可证编号:京B2-20210330
不久前,国家统计局与11家大数据企业签署了战略合作框架协议。作为行业中的翘楚,这些企业各有各的特点。如阿里巴巴、1号店都是国内最著名的零售网购企业,五八同城是知名的求职就业平台,百度拥有最大的中文搜索引擎……战略合作协议取不同企业的共性,表达了合作的愿望和意向,明确要共同研究探讨建立大数据应用的统计标准,包括指标定义、口径、范围、分类、计算方法、代码等;共同研究确定利用企业数据完善、补充政府统计数据的内容、形式及实施步骤,包括数据采集、处理、分析、挖掘、发布等;并在各方一致同意的其他方面开展合作。
无疑,签署协议表明合作有了一个良好的实质性的开端。但是,在政府统计中应用大数据确实是一项非常复杂、难度极大的工作。特别是要把庞大、海量、类型不同、标准各异的非结构化数据转化成结构化数据,从统计制度方法到数据处理技术、以及具体的组织运作,都面临着极大的挑战。因此,需要认真梳理现有的大数据企业及数据类型,并分析其对政府统计带来的影响,由简单到复杂,分层次逐步渐进式推进。
第一个层次,相对简单、投资少见效快的项目,可以先上快上。年内早些时候,在参观百度总部的时候,有管理人员曾向我们介绍:原来如搜索北京地区天气预报,显示出的是中央气象台、北京市气象局等相关网站和一些发布天气预报的消息,需要继续点击才能查询到天气信息;而与气象部门合作,只要输入有关的关键词,数日的气象信息马上就可以显示出来,使用户能够得到更加准确、方便的服务。他们表示,与统计部门完全可以采取相同形式的合作。确实,目前搜索某些年度、季度、月度主要指标数据,可能会出现成百上千条相关信息,用户或者要从浩瀚消息中去粗取精、去伪存真,或许要登录统计部门的网站点击再点击,一步步地找到自己需要的统计信息。如果与最大的中文搜索引擎合作,查询许多统计指标就可以一次性到位。这难道不是服务型统计建设的一项切实有效的措施吗?
第二个层次,比较成熟的大数据产品,可以先拿过来。诸多大数据企业,都基于自身业务中源源不断产生的大数据,研制开发了自己的大数据产品,有些已经在业界乃至社会上产生了较大的影响力。如阿里集团旗下企业开发的淘宝价格指数(ispi)、天猫物流指数,如昆明泛亚的有色金属交易价格指数,都属于企业推出的相对成熟稳定的产品。虽然这些产品在覆盖面、代表性、稳定性等方面,与政府统计部门的同类指标数据相比还有差距,但其却在实时性、超前性方面具有优势。所以,如果能够对其计算过程作一些了解剖析,如果方法确实科学可行,能够说明一定的问题,不妨将其纳入政府统计相关数据的发布体系中来,作为政府统计的一个补充,提供社会各界的用户参考。
第三个层次,工作量大、技术难度大的工作,可以逐步稳步推进。与企业合作,在政府统计中应用大数据,最主要、最重要、也是难度最大的工作就是,如何把网上生成的海量数据作为政府统计的数据源,导入政府统计的统一数据处理平台,并进行加工处理,生成所需要的专业统计数据,如价格数据,如商品零售数据。一方面,需要从制度方法入手。选择有影响和代表性的电商,了解其产品分类及标准,深入研究与政府统计在标准、代码、口径、范围等方面的差异,探讨统一或衔接的可能性及办法;另一方面,需要从数据处理技术入手。选择在大数据处理方面技术领先的企业,提出在网上抓取、导入大数据,并与政府统计实现对接、转换,进而按政府统计的要求进行加工处理和分析的业务需求,了解技术型企业在技术处理方面的满足程度。
第四个层次,理论、科技含量高的工作,可以有选择地进行。比如与有关企业合作,通过网上数据和关键词搜索,建立经济模型,开展经济形势分析、预警预测分析,为宏观乃至微观层面的决策提供参考依据。可以结合经济社会的发展情势,有选择地确定研究题目,共同进行数据处理,并进行分析研究,推出研究成果。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在自动化办公、数据采集、定时统计、日志清理、系统监控等场景中,程序往往需要按照固定时间间隔重复执行指定任务,这种运行机制 ...
2026-08-12在数据分析日常工作中,Excel数据筛选是数据清洗、数据提取、样本筛选的核心基础操作。传统Excel手动筛选、函数筛选方式,面对多 ...
2026-08-12 很多数据分析师精通Excel函数和数据透视表,但当被问到“数据从哪里来”“表和视图有什么区别”“数据库管理系统和SQL是什么 ...
2026-08-12在数据分析、统计建模、数据挖掘与商业调研过程中,原始数据往往无法做到绝对干净规整。受系统故障、人工录入失误、设备误差、突 ...
2026-08-11在数据分析工作中,聚类分析是典型的无监督学习方法,核心作用是依据数据自身的多维特征,将相似样本自动划分为若干类别,实现“ ...
2026-08-11 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-08-11AB实验是互联网产品迭代、营销优化、功能升级的核心科学验证手段,通过流量随机分组、对照组与实验组对比,科学验证策略、功能、 ...
2026-08-10在MySQL数据库优化中,索引是提升查询效率、降低数据库IO开销、优化系统性能的核心手段。普通单列索引仅适配简单查询场景,面对 ...
2026-08-10 很多数据分析师每天盯着几十个指标,但当被问到“这套指标要支撑什么业务目标”“指标之间是什么逻辑关系”“业务变化时如何 ...
2026-08-10在数字化市场调研体系中,大数据与小数据是两类核心调研数据形态,分别对应海量行为统计与精准样本深度调研。行业普遍存在认知误 ...
2026-08-07数据透视表是Excel、WPS中最核心的数据分析工具,凭借快速汇总、分组统计、动态筛选的优势,被广泛应用于销量统计、业绩复盘、数 ...
2026-08-07 很多数据分析师每天盯着GMV、DAU、转化率,但当被问到“哪些指标在所有行业都适用”“哪些指标只对电商有意义”“二者如何搭 ...
2026-08-07在商品销量、市场需求、营收规模等业务数据中,季节性波动是最普遍、最核心的数据特征。零售快消、食品餐饮、家电服饰、电商行业 ...
2026-08-06在流量红利消退、市场竞争白热化的商业环境中,传统依托经验、跟风投放、广撒网式的营销模式,逐渐暴露出成本高、精准度低、转化 ...
2026-08-06 很多数据分析师每天盯着GMV、DAU、转化率,但当被问到“什么是指标”“指标和维度有什么区别”“如何定义指标值的计算规则和 ...
2026-08-06【核心关键词】知识、设备、工程师、数字化、建模、算法、工业大数据、数据分析、控制算法、机器学习、深度学习、业务目标、工 ...
2026-08-05增长率是数据分析、业务报表、可视化看板中最核心的指标之一,常用于衡量营收、销量、用户量、流量等业务数据的涨跌幅度与发展趋 ...
2026-08-05小陈是某电商平台的数据分析师。老板交给他一个任务:“我们平台的注册用户已经突破1000万了,想了解一下用户的平均月消费金额。 ...
2026-08-05在机器学习建模、数据预处理、抽样划分、模型初始化训练的全流程中,随机种子是控制实验随机性、保证结果可复现、提升模型稳定性 ...
2026-08-04Python作为面向对象的主流编程语言,核心编程体系由变量、方法、类三大基础要素构成。三者层层递进、相互协作,支撑起所有基础代 ...
2026-08-04