大数据背景下数据解读与挖掘的变革

大数据浪潮的来袭，如同互联网的发明一样，必将引起一场革命。

而对于以全数据、混杂性和相关性等著称的大数据而言，首先要变革的就是对数据的解读与挖掘。

在新形势下，如何围绕经济社会发展目标和中心工作，克服传统数据收集成本高、综合开发利用率不高、难以满足政府宏观决策以及企业、社会团体、研究机构和个人的个性化需要等不足，不断提高数据解读和挖掘能力，成为各级部门亟待解决的重大课题。

统计理念、方法及服务的转变

美国政府于2012年3月宣布“大数据的研究和发展计划”，以提高对大数据的收集与分析能力，增强国家竞争力。英国、德国等国家也把大数据提升到国家战略层面，认为未来国家层面的竞争力将部分体现为一国拥有数据的规模及运用数据的能力。有学者把大数据形象地比喻为推动人类社会发展的“新石油”。在大数据时代，拥有大数据是一种幸福和特权，也是一种战略、世界观和习惯。大数据建立在统计学的基础上。在大数据时代，统计分析更加重要，但它与传统的统计方法又有许多不同。在传统统计学中，我们所做的统计工作，主要是试图通过最小量的样本来观察、评估和预测经济社会内在的发展和运行规律。由于数据的采集、储存和分析的成本高，往往采用抽样的方法。而在大数据时代，我们收集与所研究现象相关的是所有可获得的数据，而且是自动生成的，这是传统抽样方法做不到的。另一个不同是，在统计学中，进行分析时考虑的是往往与研究对象具有内在关系的因素。此外，统计工作过去主要服务于各级政府经济社会运行管理和宏观决策工作，服务对象相对比较单一；但在大数据时代，人人都需要通过数据分析结果来进行决策，大到政府宏观决策、项目可行性研究报告，小到个人投资兴业、寻常购物，个性化需求的数量急骤上升，统计服务的广度、宽度和深度都比过去有了本质的变化。

借助于高性能的数据分析工具

数据的最大价值在于开发利用，在于指导和预测未来。没有数据的开发，再大再全再真实的数据也没有实际价值。随着科技的进步，移动互联网、物联网、购物网等迅速发展，使新数据源不断出现，GPS、传感器等数据持续、不间断地大量产生，数据获取成本、存储成本和处理成本的持续下降，推动着数据量的进一步膨胀，全球数据总量正呈几何级数增长，过去3年间产生的数据量超过以往人类历史累积的总和。

传统的数据分析技术已远远满足不了需求，难以及时分析和处理这些数量庞大又变化迅速的数据，难以及时分析挖掘出个性化、有利用价值的数据信息。如果不能借助于高性能的分析工具，对海量的数据进行及时有效处理，大数据的内在价值就难以得到有效释放。新数据分析技术和旧技术的不同之处在于：一方面，数据量呈几何级数的迅速膨胀，要求数据挖掘和统计分析技术性能的飞跃。另一方面，不同规模的企业如今都面临大数据时代带来的挑战，分析技术必须朝着平民化、扁平化、易操作化发展：简单易懂、便于操作，并能为不同行业、不同类型的企业所用。大数据时代带来不是单纯数据资源的增加，还有更加先进、快捷的科研技术设施，更方便的数学分析工具，同时也意味着更加信息化、电子化。当然，各级政府统计部门、特大型企业也会在大数据分析的基础上改进决策，努力增强宏观经济政策的前瞻性和有效性，切实提高各级经济组织在市场经济大环境下统筹和运用资源的效率。

处理好数据应用广泛性与数据安全性的关系

大数据对人类经济社会的发展影响巨大，归纳起来主要有三个方面：一是能够推动实现巨大经济效益。据麦肯锡全球研究院的测算，大数据将给美国医疗服务业带来3000亿美元的价值，使美国零售业净利润增长达到60％，使制造业产品开发、组装成本下降了50％。而大数据所带来的新的信息技术应用需求，将推动整个信息技术产业的创新发展，预计2013年全球大数据直接和间接拉动信息技术支出将达到1200亿美元。二是能够推进增强社会管理水平。大数据在政府和公共服务领域的应用，可有效推动政务工作的开展，提高政府部门的决策水平、服务效率和社会管理水平，产生巨大社会价值。三是能够推动提高安全保障能力。

大数据在国防、反恐、安全等领域的应用，将对各部门搜集到的各类信息进行自动分类、整理、分析，有效解决情报、监视和侦察系统不足等问题，提高国家安全保障能力。总而言之，大数据将为人们认识世界和改造世界提供新的强有力工具，帮助人们更客观地了解赖以生存和发展的社会环境，更容易地把握事物发展的内在规律，更准确地预测未来发展趋势，更有效地进行决策，做出更加明智的选择。

此外，任何事物都有其两面性。在充分认识大数据带来的机遇和利益的同时，也应该认识到大数据带来的可能性风险。大数据时代令隐私保护问题更加突出，必然会导致人们更多的个人信息被搜集和捕捉，这势必会使很多人感到不舒服甚至不安。数据量巨大、非结构性强、来源庞杂，当它超出我们的控制范围时，不可预测的问题就将发生。对大数据进行集中管理会使其变得更容易查找，而且便于混合提取不同类别的数据。但是集中管理可能会造成更严重的问题：一是可能沦为恐怖分子的袭击目标，二是会赋予管理机构过于集中的信息掌控权。

对大数据分析资料的应用必须保持清醒的认识，既不能盲目迷信其分析结果，也不能因为其难以做到比较精准而否定其重要作用。一方面，由于各种主观和客观原因的存在，我们所分析处理的大批大量数据对象中不可避免地包含有各种各样的错误数据、无用数据，加之作为大数据技术核心的数据分析、人工智能等技术手段尚未完全成熟，对计算机完成的大数据分析处理的结果，无法要求其做到完全准确。另一方面，大数据作用与价值的重点在于能够引导和启发大数据应用者的创新思维，辅助决策。简单而言，若是处理一个问题，通常人能够想到一种方法，而大数据能够提供若干种参考方法，哪怕其中只有三种可行，也将解决问题的思路拓展了三倍。所以，客观认识和发挥大数据的作用，不夸大、大缩小，是准确认知和应用大数据的前提。