谷歌大数据重要性 灵魂人物起关键作用

如果有人问“谁将成为谷歌的大数据?”，唯一可以接受的答案是“谷歌是谷歌的大数据”。没错，谷歌表面看起来是一家网络公司，但实际上它已经成为利用数据进行创新方面的领导者，且这一领导地位自其成立开始，从未显示出任何放缓的迹象。
 
如果没有数据，谷歌的搜索、广告、翻译、播放音乐、图形搜索、趋势等产品将不复存在。但是数据本身创造不出伟大的产品，这些产品能够快速稳定的运行，最终需要获得更多的智能。通过基础架构和系统设计使之成为可能，这是谷歌真正的价值。
 
本月初，谷歌再次印证了这一点。他们在博客中解释了如何让用户更好的搜索照片，基于这一目的，谷歌在系统中建立了很多创新模型。在此之前，谷歌的图片搜索颇受好评，专业的机器学习系统是其成功的关键因素。毫无疑问，这又是Jeff Dean的杰作。谷歌在与ImageNet的竞争中找到了方法，以下是谷歌在博客中的描述：

▲Jeff Dean
 
“我们建立和训练的模型与Jeff Dean和Andrew Ng的大规模神经网络模型及其相似，当我们评估这些模型时令人印象深刻。在测试过程中，我们发现与其他方法相比，这一模型的平均精度提高一倍以上。”
 
谷歌图片搜索为什么会取得现在的成功呢?区别在于计算机和算法都有明显改善。首先，更大型和更高速的计算机使训练包含更大数据量的超大规模的神经网络成为可能。十年前，即使只在单一的图片上运行神经网络，都会因为过于复杂而面临巨大挑战，现如今这些神经网络可以运行在数十亿张图片上。
 
其次，新的训练技术使用于图片识别的大规模深层神经网络成为可能。当然，谷歌有一个训练大规模神经网络的系统，也是由Jeff Dean设计的。谷歌的系统甚至可以识别失焦图片里的花。
 
从技术角度看，Jeff Dean是网络产生的短暂历史中最重要的人物之一，他参与创建了谷歌原始搜索引擎的底层并行处理引擎——MapReduce，并且是对Hadoop产生起直接影响作用的MapReduce论文的首席作者。Jeff Dean在创建谷歌其他关键系统的过程中同样扮演着重要的角色，例如BigTable分布式数据存储和Spanner全球分布式事务型数据库产品，其中BigTable成为Cassandra、HBase和美国国家安全局的Accumulo等NoSQL产品创立的基础。
 
当你接触到大数据和web大规模系统时，就会了解到Jeff Dean的工作像是一个水晶球。Hadoop的创始人Doug Cutting就曾表示，要想知道Hadoop的未来就看看现在的谷歌，“谷歌通过大量技术论文传递最新资讯，因此我们可以从中看到什么是未来。”