程学旗发布大数据白皮书与发展趋势报告_数据分析师

中科院计算所研究员，CCF大数据专家委员会秘书长程学旗发表了大数据白皮书与发展趋势报告。《中国大数据技术与产业发展白皮书（2014年）》主要介绍了大数据的背景与动态，大数据典型应用，大数据技术进展，大数据IT产业链与生态环境，以及大数据发展趋势与建议等内容。同时对于2015年大数据发展趋势预测，程学旗总结为这几个词：融合、跨界、基础、突破。

中科院计算所研究员，CCF大数据专家委员会秘书长程学旗

以下为演讲实录：

在中国计算机学会大数据专家委员会和中关村大数据产业联盟得精心组织下，花了大半年时间撰写了这本《中国大数据技术与产业发展白皮书（2014年）》。介绍了大数据的背景与动态，大数据典型应用，大数据技术进展，大数据IT产业链与生态环境，以及大数据发展趋势与建议等内容。

白皮书旨在为业界梳理大数据应用现状及发展趋势，为政府制定推动大数据产业发展的政策提供建议；探讨大数据研究面临的科学问题和技术挑战，为科研机构和科研人员提供参考指南。重点介绍了大数据在产业应用、技术研发、学科发展等方面的进展。

来自20多家单位60多名专家直接撰稿，集中了130多名专家委员和产业联盟会员的知识和智慧，在一定程度上反映了我国大数据学术界和产业界的共识。

对于2015年大数据发展趋势预测，程学旗总结为这几个词：融合、跨界、基础、突破。

融合是说在产业里面刚才Doug Cutting老师讲到比如说在垂直行业的融合，在企业里面垂直融合，在应用融合，在技术融合等等。跨界，基于大数据使不同学科不同应用领域跨界。基础，就是说我们大数据发展亟待在一些基础方面进一步的夯实，2014年比2013年基础更强，我们期待2015年基础进一步的夯实，包括生态环境，包括大数据资源的共享。突破，我们会在预测在2015年在一些大数据的分析，大数据的一些系统方面能够取得相关性的突破。这个趋势的报告来源于137位我们大数据专家委的委员和50位中关村产业联盟的会员，我们给出50个选项，每个专家委员给投票，同时给一些标注，最后我们在这个基础上给出了一个统计，最后结果是2015年度大数据发展的十大预测。

一、结合智能计算的大数据分析成为热点，包括大数据与神经计算、深度学习、语义计算以及人工智能其他相关技术结合，成为大数据分析领域的热点。大数据分析的核心是从数据中获取价值，价值体现在从大数据中获取更准确、更深层次的知识，而非对数据的简单统计分析。要达到这一目标，需要提升对数据的认知计算能力，让计算系统具备对数据的理解、推理、发现和决策能力，其背后的核心技术就是人工智能。近些年，人工智能的研究和应用又掀起新高潮，这一方面得益于计算机硬件性能的突破，另一方面则依靠以云计算、大数据为代表的计算技术的快速发展，使得信息处理速度和质量大为提高，能够快速、并行处理海量数据。

二、数据科学带动多学科融合，但是数据科学作为新兴的学科，其学科基础问题体系尚不明朗，数据科学自身的发展尚未成体系。在大数据时代，许多学科表面上看来研究的方向大不相同，但是从数据的视角来看，其实是相通的。随着社会的数字化程度逐步加深，越来越来多的学科在数据层面趋于一致。可以采用相似的思想来进行的统一的研究。数据科学作为一个与大数据相关的新兴学科出现，真正支撑大数据发展的学科跨越还没有出现。针对大数据处理的理论研究上，新型的概率和统计模型将是主要的研究工具，学科基础理论的突破还难于在2015年出现。

三、跨学科领域交叉的数据融合分析与应用将成为今后大数据分析应用发展的重大趋势。大数据技术发展的目标是应用落地，因此大数据研究不能仅仅局限于计算技术本身。由于现有的大数据平台易用性差，而垂直应用行业的数据分析又涉及到领域专家知识和领域建模，目前在大数据行业分析应用与通用的大数据技术之间存在很大的鸿沟，缺少相互的交叉融合。因此，迫切需要进行跨学科和跨领域的大数据技术和应用研究，促进和推动大数据在典型和重大行业中的应用和落地。

四、大数据将与物联网、移动互联、云计算、社会计算、等热点技术领域相互交叉融合，产生很多综合性应用。近年来计算机和信息技术发展的趋势是，前端更前伸，后端更强大。物联网与移动计算加强了与物理世界和人的融合，大数据和云计算加强了后端的数据存储管理和计算能力。今后，这几个热点技术领域将相互交叉融合，产生很多综合性应用。

五、大数据多样化处理模式与软硬件基础设施逐步夯实。内存计算将继续成为提高大数据处理性能的主要手段。以Spark为代表的内存计算逐步走向商用，并与Hadoop融合共存，专为大数据处理优化的系统和硬件出现，大数据处理多样化模式并存融合，一体化融合的大数据处理平台逐渐成为趋势。其中有一个观点这种多元化一定程度上成为一体化，未来大数据多样化处理模式并存并且有可能成为一体化的平台。

六、大数据安全和隐私，这是我们第三年关于大数据热点问题趋势的预测，每一年这都是非常靠前关于大数据安全和隐私问题，这个反映我们专家我们用户一种期盼一种理解一种关注度，但是我们在大数据的安全和隐私保护方面，以及大数据涉及到资源国家主权这层面，实际上技术层面没有比较多的，这两年多以来没有比较长足的进步，这方面有一定的问题的，所以说大数据的安全持续令人担忧。

七、新的计算模式讲取得突破，去年前年我们在国内大量的去讲深度学习，今天我们发现一个很有意思的现象，在一些特定的领域发挥了作用，但是我们专家和工业界的人士更关注众包技术，也就是说可能未来不光是大数据讲深度学习。

八、各种可视化技术和工具提升大数据分析。进行分析之前，需要对数据进行探索式地考察。在此过程中，可视化将发挥很大的作用。对大数据进行分析以后，为了方便用户理解结果，也需要把结果展示出来。

九、大数据技术课程体系建设和人才培养是需要高度关注的问题。

十、开源系统将成为大数据领域的主流技术和系统选择。

2015年基本体现一个方面在学科、技术、系统、应用上面融合，以及在不同学科不同行业跨界，前面五个问题涉及相关的现象。第二个我们呼唤在大数据技术基础的夯实以及技术的突破，这个基础包括开源，以及开源软件的选择，当然还有其他一些单向的调研，比如说相关的应用。其中很有意思的一个调研，我们专家委认为2015年对应用产生重要的数据类型有哪些？我们大家都想到社会媒体数据、互联网日志、电商数据，很多人把视频、语音、图形图象、设备监测数据，我们穿戴式物联网各种各样的数据，它的价值被我们所期待产生跨越界的价值，这是我们今年大数据专家委员会调研的时候一个新特点。我们每年引用这个曲线，说大数据技术怎么样了，我们自己委员怎么认为的？这个里面来看，这是我们投票结果，从我们投票结果我们看到有四个峰，其中最高的峰就是即将快速增长，第一个大数据在国内还是初级，马上成为快速增长爆炸的前沿，还有一部分领域技术处在刚刚炒作的阶段，可能这个峰值比现在更热，这是我们委员投票的结果。

最后这个现象是说我们国家大数据的发展主要推动力，这是我们委员投票结果，这个结果不是那么乐观，政府大型互联网企业和科研高校不是那么乐观，我们希望一个众筹模式推动大数据发展，希望科研企业，创业企业，小机构推荐这样才能百花齐放产生跨越式的发展。