大数据将给我们带来什么_数据分析师

大数据的概念，去年才刚刚听到并有所了解；但大数据的话题，从去年开始说到今年，真的就没有停止过。我们说，要积极推进大数据在政府统计中的应用，是因为大数据已经并还将将对政府统计工作带来诸多重大影响。

首先，大数据将对政府统计的唯一性乃至共识性产生极大挑战。政府统计在反映国情国力方面的主体地位，既是法律赋予的，也是客观形成的。因为长期以来，没有任何主体有义务有必要有能力，对经济社会的宏观发展情况进行统计监测。比如商品价格，即使一个企业的规模再大，也只能掌握本企业经营的各种商品或服务的价格，而很难也没有必要把其他的价格信息尽收眼底。但随着大数据时代的到来，政府统计部门不再是唯一的海量数据的拥有者。互联网上每时每刻生成了大量的交易和价格信息。在阿里巴巴公司的淘宝网上，许许多多的店主开了许许多多的网店，经营着许许多多的各种各样的商品。于是，一个综合性的淘宝价格指数就应运而生。虽然商品的种类大大少于我们的CPI，虽然这些商品的价格对市场上全部商品的价格未必有代表性，虽然确定权重的依据也仅仅是来自在这个网上购物的群体及行为，但其毕竟是在一个规模越来越大的总体基础上生成的，毕竟有实时产生的大量基础信息做基础，毕竟有越来越多的人关注、了解和参考这个不断变化着的指数。随着大数据的规模不断扩大，或许会不断应运而生一个又一个“淘宝”指数。政府统计是顺其自然、乐见其成呢，还是因势利导、为我所用呢？我们需要在实践中尽快找到答案。

其次，大数据将对政府统计的生产方式和工作流程产生重要影响。大数据生产的主体不一，来源更日趋多元，不同内容和形式的大数据也标准各异。是让大数据的生产者执行统一标准、或是按统一标准进行加工，还是由政府统计把数据拿来之后再做标准化处理？以普查为基础、抽样调查为主体的政府统计，长期以来都是在通过普查掌握总体的基础上，对一定规模限额以上的单位全额调查，对以下的单位进行抽样。但符合大数据概念的交易记录，无论是成交额、成交量，还是各类商品的价格，都是做为一个总体已经存在的。你拿还是不拿，数据就在那里。我们应该怎样拿、怎样抽呢？虽然统计四大工程实现了一套表联网直报，但各级政府统计机构依然要对本地区的数据质量各负其责。而大数据背景下，总体数据或既包括不同地区数据，但又未必能对各地有代表性。面对这种情况，各级统计机构又当如何分工合作呢？

第三，大数据将对政府统计的信息化建设提出更高的要求。从数据搜集到数据处理，结构化与非结构化、标准统一与标准各异、只面对样本与面对庞大的总体，差异无疑是巨大的，对后者的搜集和处理难度也明显大于前者。大数据既包括结构化数据，但更多的是非结构化数据，如图片、视频、文字。如何将这些非结构化数据进行结构化处理，是政府统计信息化建设中要面对的一个重大课题。而“大数据”顾名思义，最大的特点就是“大”。对每时每刻产生的巨大海量网上交易记录，对每一笔成交的数量、金额、价格，是拿过来再处理，还是处理了再拿过来？这也是数据搜集和处理中的一个现实问题。此外，利用搜索引擎，进行关键词搜索，是直接照搬后台的每一条搜索记录，还是由网络公司进行开发加工后提供半成品？这也既涉及技术手段，还关乎制度方法和法律法规。当然，除了搜集、处理、存储过程中的技术手段外，设备、网络、平台等与应用大数据相适应的硬件设施及环境更是不可或缺的。

此外，由于大数据实时产生、形式多样，也会推动政府统计的数据发布工作提高时效性，丰富发布的内容和形式；由于政府统计应用大数据，需要大数据的生产者提供第三方信息，这也需要在相关法律细则中予以明确和强调；由于应用大数据需要更多懂数据懂技术的人才，加强队伍建设、引进和培养复合型人才也已经迫在眉睫……大数据是一场大变革。应对大数据带来的挑战，已经不是未雨绸缪，而是已经迫在眉睫了。而抓住机遇，顺势而为，中国统计就将迎来一个新的大发展大进步。