云计算和大数据导演社会变革大戏_数据分析师考试

如今，我们站在了IT产业变革的节点上，感受着巨浪的侵袭：云计算和大数据的发展促使IT产业生产力发生重大变革;生产力的变化让许多技术和模式拥有了新的血液;同时，互联网和社会也面临着重构……此时此刻，谁能看清变化趋势，谁能抓住变革先机，谁便能拥有更大的筹码。

　　生产力之变革：系统架构+数据+人

　　IT产业生产力变化，在百度大数据首席架构师林仕鼎看来，可以从四个时间段来分析――大型机时代、PC时代、互联网时代、云计算时代。

　　“在大型机时代，硬件是主要的生产力。”林仕鼎道出了他的观察与思考，“到了PC时代，软件则成为主要生产力。” 而进入互联网时代后，IT产业生产力变为了软件+人。“一个软件开发出来后，很多工程师会去不断地升级、完善这个软件”。

　　那么，云计算和大数据让生产力发生了什么样的改变？林仕鼎直言：“在云时代，IT产业生产力变革成了系统架构+数据+人。”

　　云计算带来的计算、存储资源集中化效应，以及数据量的激增，都使得系统架构在IT产业发展中发挥越来越关键的作用――因为支持云计算和大数据的基础就是系统架构。大数据时代的到来，也使得数据更多地参与到了系统和各种服务的构建中。

　　“在这个新的时代，软件和系统架构可被看成一整个系统，更多的人参与进来修改、维护、升级这套系统，同时，依靠海量数据来完善这个系统，提升系统性能。”林仕鼎点出了新生产力三个要素间的关系。

　　以百度搜索为例，林仕鼎介绍说：“用户输入一个搜索请求，有时一开始我们很难确定在搜索结果页面，以什么样的排序呈现给用户合适。那么，我们就会分别依照一定的算法，制定两个排序方法，并在用户中，随机选5%的用户使用排序方式A，5%用户使用方式B。之后，将海量的对比结果和数据反馈回机器学习平台，去分析、挖掘相关算法的优势，进而制定出更优的排序方式，完善百度搜索系统。这样，会使用户在百度搜索中更好地获得想要的结果。”

　　计算范式之变革：数据中心计算

　　实际上，IT产业生产力变革也就意味着计算范式的变化。

　　如前文所述，计算、存储资源集中化效应，以及海量数据的存储与处理需求，使得系统架构发挥越来越重要的地位，而这一现象也代表着计算范式的变化。“计算范式正逐步从桌面系统(即单机计算)向数据中心计算发展。”林仕鼎表示。

　　范式的变化同时引发了软硬件设计原则、思路的改变――整个IT产业的技术根基都在发生着剧烈变革。

　　根据林仕鼎介绍，数据中心计算与单机计算相比，在系统设计理念上的一大改变就是对容错的处理思路。“在单机设计理念中，系统一定是越可靠越好，原因很简单，你只有一台机器，坏掉就没了。所以，在设计时，要在系统里面加很多冗余信息和校验逻辑，这样在出现错误后还可恢复。在数据中心计算中，主要是分布式系统。分布式系统假设所有的设备最终都会发生故障，所以它可以容忍任意一台设备出现问题。这使得两者在系统设计上拥有很多差异”。

　　另外，单机计算和数据中心计算的应用场景也不同，前者是单用户多任务，而后者则是多用户单任务，因此系统设计要更多地考虑并行性问题。百度自主研发的SSD就是这种理念下的产物。

　　在传统的SSD架构中，是由一个总的SSD控制器来控制下面的Flash存储单元，这样的优势是黑箱化、层次化，不利之处是SSD往往读取较快，写入较慢，容易形成瓶颈。而百度根据应用需求，取消了SSD架构中的写缓冲、擦写平衡等复杂逻辑，大幅简化SSD控制器的设计。通过将一个大的SSD划分为N个单元，每个单元都有独立的控制器和存储单元，这些信息和控制接口暴露给上层存储系统后，形成了多个管道，并行读取、存储效率可以大幅提升。

　　这种设计上的创新，使得百度自研SSD相对SATA SSD性能提升6倍成本降低10%，相对PCIE Flash性能提升2倍成本降低40%。

　　社会之变革：重构互联网

　　云计算和大数据已经带来了像IT生产力、计算范式、开发方式这样偏架构和技术的变革，但在林仕鼎看来，它们最大的价值在于让社会得以革新与升级。“技术只有当真正能够去改变人的生活时才会更有意义。”林仕鼎坚持着这一信条。

　　而要让社会变革，就需要依靠云计算和大数据重构互联网。

　　想像一下这样一个场景：当你在公司系统里确认完出差事宜，你手机上的某个订飞机航班的APP就推送给你几个符合你喜好的航班，供你选择。当你在手机上一键选择完后，相关租车APP就跳出来让你直接预约出租车，提供往返机场或异地开会时的接送服务;并且在你预定完机票后，你的手机会自动进入航空公司选座系统……

　　要实现这一切，需以云计算为基础，并融合、联通来自各种渠道的海量数据。但目前的情况是，数据和资源都是分散的。“现在的互联网有很多问题，比如每个用户的数据是分散的，这些数据被割裂在不同的设备上、不同的应用间，同时，计算资源也很分散。”林仕鼎表示。

　　所以，互联网需要重构。

　　林仕鼎描述了重构互联网的关键：搭建统一的云操作系统。“真正的云平台实际上是一个人人共享的统一操作系统，所有数据、服务、用户的ID、业务系统本身都聚合在一个平台上，形成一个大规模、合作创新的平台。由于有了全局的数据，大数据算法可以发挥作用，这个平台在工程师和用户以及大数据的推动下不断进化，最终会变成一个超大的、囊括性的统一智能系统。这本质上就是对互联网的一次重构”。

　　人与机器合一组成的这个“生命体”，实际上是把最终的结果和产生这个结果的原因连接在一起了，在林仕鼎看来，这个“生命体”将会快速进化，最终重构整个社会。

　　据悉，百度也在努力地促进各种数据融合、串联起来，以推动百姓生活乃至整个社会的变革与发展。