大数据的机遇与挑战

作为一个数据科学家，我认为：第一，政府和企业只要扎扎实实打好基础，就能从大数据技术上获益。第二，大数据技术目前是一个正在从应用中逐渐走向成熟的技术，挑战仍然很多。
  　 大数据是很多工作的基本“标配”
　　什么是大数据？什么是数据？什么是资料？资料就是生产过程、管理过程，乃至经济、社会、生活过程的记忆。那些记忆可能表现在一个文件、一段演讲、一段文字等等。资料放在计算机上就叫数据。真正的大数据是指大而复杂的资料集，这些复杂性包括了海量性、时变性、异构性、分布性等，是我们从互联网的数据能够观察到的特征。只要数据量超过临界量，就叫大数据，反之则不叫大数据。因而讲大数据涉及两个概念：第一，大和小是相对概念；第二，相对的特定问题而言，不同的决策问题要求的数据不一样。
　　有人认为现在是大数据时代，大数据可以解释任何事情，其实是不正确的。当然，不重视大数据同样不正确。现在都说大数据是基本的生产资料，大数据是基本的生产力，因而才说大数据是经济社会的基本生产资源。大数据离不开互联网，近几年互联网的发展走向是从复杂的信息传递到消费互联，再到生产互联，也就是物联网，再到智慧互联。在这个走向中信息技术向互联网产生以后，要与其他任何领域深度整合，这就是今天谈论信息工业化、谈论大数据的主要原因。
　　目前新技术很多，真正产生效益和作用的是所有技术的综合运用。所有技术是互补的，都是从不同的层面讲问题。互联网和云计算是基础设施，物联网讲的是交互方式，人工智能讲的是应用模式。大数据讲的是信息技术，是人和人、人和机器、机器和机器交互的内容特征。大数据是最底层的信息技术，是基本标配。
　 　大数据可以带来超凡价值
　　对于大数据如何去运用，我想说五句话。
　　第一，明确目标是前提。这是推出大数据产业最重要的一步。只有真正解决每个地区、每个政府、每个企业不同的问题，大数据才有用。
　　第二，拥有数据是基础。大数据产业就是以现代技术设施为基础，以数据为生产要素，以数据的价值挖掘为创新活动的产业叫大数据产业。因此，没有数据就谈不上大数据产业。
　　第三，计算平台是支撑。换句话说，没有一定的计算架构和计算平台，计算不了。它是支撑作用，但做企业的人不必过分强化，也不必过分低估。
　　第四，分析技术是核心。这是当今较少提到的一个主题。我非常担心在整个大数据的链条中，有些链条做得过分粗壮，有的链条过分纤弱，也就是产业链布局不均衡。如果过分膨胀，将会产生新的产能过剩。
　　第五，产生效益是根本。数据是基础，平台是支撑，技术是核心，盈利是王道。
　　为什么大数据可以带来超凡价值？有三条原理：第一，量变到质变的原理。大数据之所以有用，是因为数据积攒到了可以质变，通过数据就可以知道背后的故事。第二，分析出价值原理。如果存储不分析，无疑是只买米不做饭，产生不了实际效益。所以，要分析，要挖掘。第三，跨界关联原理。
　　这个过程中有很多观念要改变：第一，数据是资产；第二，用户是资源；第三，服务即感知。大数据突飞猛进地发展，能够解决相当多的问题，但千万不要以为大数据技术已经成熟了。挑战仍然存在，主要是分析基础被破坏，计算技术待革新，真伪判定需要重建，对新技术的盲目所引起的盲从。总体来说，虽然挑战很多，但是仍需集中力量攻克，大数据的发展才能有大的突破。