迈克·奥尔森,Hadoop运动背后的首脑之一。
北京时间8月16日消息,《连线》杂志近日刊载文章称,开源云计算软件平台Hadoop已经在整个网络中得到了广泛的运用,无论是在数据分析领域还是在其他各种数据运算任务中都是如此;但是,谷歌(微博)已经开发出了更新的技术Dremel,这是一种用来分析信息的方法,它可以在数以千计的服务器上运行,能以极快的速度处理网络规模的海量数据,从而让“大数据”看起来变小。
以下是这篇文章的全文:
迈克·奥尔森(Mike Olson)运营着一家专业致力于全球最热门软件的公司,他是硅谷创业公司Cloudera的首席执行官,这家公司在开源云计算软件平台Hadoop上经营自身业务,这个平台以将谷歌变成网络上最具主导性的力量的技术为基础。
据预计,Hadoop将在2016年以前帮助创造一个8.13亿美元的软件市场。但甚至就连奥尔森都说,这已经是旧新闻了。
Hadoop来自于谷歌在2003年底和2004年发布的两份研究报告,其中一份描述了谷歌文件系统(Google File System),这是在数以千计的低价电脑服务器上存储海量数据的一种方式;另一份则详细描述了MapReduce,这种技术能将所有那些服务器内部的处理能力整合起来,对所有数据进行运算,使其变成某种有用的东西。在8年以后,Hadoop在整个网络中得到了广泛的运用,无论是在数据分析领域还是在其他各种数据运算任务中都是如此。但是,谷歌却已更进一步,开发出了更新的技术。
在2009年,这个网络巨头开始用新技术取代GFS和MapReduce。奥尔森会告诉你说,这些技术是整个世界正在走向的去处。“如果你想要知道未来大规模的、高性能的数据处理基础设施是什么样子的,我的建议是你可以去看看谷歌现在将会发布的研究报告。”奥尔森在最近与《连线》杂志进行小组讨论时说道。
自Hadoop崛起以来,谷歌已经发布了三份特别有趣的研究报告,内容有关为其庞大的网络业务提供支撑的基础设施。其中一份文件详细描述了Caffeine,这个软件平台为谷歌的网络搜索引擎构建了指引;另一份则展示了Pregel,这是一个旨在映射大量在线信息之间关系的“图表数据库”。但最有趣的论文则描述了一种名为Dremel的工具。
“如果你曾事先告诉我Dremel声称其将可做些什么,那么我不会相信你能开发出这种工具。”加利福尼亚大学伯克利分校的计算机科学教授阿曼多·福克斯(Armando Fox)说道,他专业致力于研究这种数据中心规模的软件平台。
Dremel是一种用来分析信息的方法,它可以在数以千计的服务器上运行,允许你“请求查询”海量数据,如网络文件的集合或是数字图书馆等,甚至是描述成百上千万条垃圾游戏信息的数据。这类似于分析一个使用SQ语言L的传统数据库,这种语言在过去数十年时间里广泛应用于整个软件世界。举例来说,如果你拥有一个数字图书的集合,那么就可以运行一个专设的查询请求,然后就可获得所有作者的名单——或是图书内容覆盖某个特定主题的作者名单。
“你拥有一种类似于SQL的语言,能让制定专设的查询请求变得非常简单——而且,你不需要做任何编程工作,只需将查询请求输入到命令行里即可。”负责管理谷歌基础设施的Urs Holzle说道。
区别在于,Dremel能以极快的速度处理网络规模的海量数据。据谷歌的研究报告显示,你能以拍字节(petabyte,PB,1PB等于1024TB)的数量级来进行查询,而且只需几秒钟时间就能完成。
Hadoop已经提供了在庞大的数据集合中运行SQL查询请求的工具,Pig和Hive等姊妹项目也是为此而构建的,但使用Hadoop会有迟延时间。这是一个“批量处理”平台,你可以交给它一个任务,然后它需要花费几分钟时间——或者是几个小时——来运行这个任务,然后可以得到查询结果。而与此相比,Dremel则是专门为瞬时查询而设计的。
“Dremel能执行许多查询请求,而同样的数据如果由MapReduce来处理,则通常会需要向后者给出一系列的任务,而且前者的执行时间仅相当于后者很小的一部分。”谷歌的Dremel报告指出。Holzle称,Dremel能在大约3秒钟时间里运行1PB的数据查询请求。
阿曼多·福克斯称,这种处理能力是史无前例的。Hadoop是“大数据”运动的中心,这场运动旨在构建能够分析海量信息的工具。但就今天的大数据工具而言,它们经常都会存在一种缺点。与传统的数据分析或是“商务智能”工具相比,大数据工具的信息分析速度和精确度有所不及。但福克斯指出,如果使用Dremel,那么就能获得很好的速度和精确度。
“他们成功地大规模的数据分析与真正深挖数据的能力结合到了一起,而且他们做到这一点的方式是我以前从未想到过有可能做到的。”他说道。“数据的规模以及挖掘数据的速度确实令人感到印象深刻。人们以前也曾做过大数据系统,但在Dremel以前,没人真的能做出一个如此庞大和如此迅速的系统。”他进一步指出:“在通常情况下,你只能同时运行一个任务或是另一个任务;在一个任务方面做得越多,就越是不得不放弃另一个。但通过Dremel,你能同时进行两个任务。”
据谷歌的研究报告显示,这个平台自2006年开始就已经在谷歌内部使用,有“数千名”谷歌员工使用这个系统来对所有信息进行分析,从软件崩溃报告到谷歌的各种服务,再到谷歌数据中心内部的磁盘表现都可进行分析。有些时候,这种工具会在数十个服务器上使用,而有些时候则多达数千个。
虽然Hadoop已经取得了无可置疑的成功,但奥尔森则指出,构建这个平台的公司和开发者慢了一拍。同样的事情也发生在Dremel身上。谷歌在2010年就发布了有关Dremel的报告,但距离这个平台能被第三方开发者模仿仍有很长一段路要走。以色列的一个团队正在构建一个被称为OpenDremel的克隆版平台,但其中一位名叫大卫·格鲁兹曼(David Gruzman)的开发者告诉我们,在经过漫长的时间以后,这个平台的编码进程还只是处在开端阶段。
华盛顿大学的粒子物理学副教授、创业公司Cloudant的首席科学家迈克·米勒(Mike Miller)感到吃惊,原因是我们并未看到某些大型的风险投资公司为一家致力于“逆向工程”Dremel的创业公司提供融资。在过去多年时间里,Cloudant曾处理过与谷歌所面临的数据问题相同的许多问题。
今天你可以使用Dremel——即使你并非谷歌的工程师。谷歌现在提供一种被其称为BigQuer的Dremel网路服务。你可以通过一个在线API(应用程序接口)来使用这个平台。基本上来说,你可以把你的数据上传到谷歌,然后谷歌会允许你在它的内部基础设施中运行查询请求。谷歌所提供的云服务数量正在增长,而这种服务也是其中一部分。在最早的时候,谷歌允许你使用一种名为Google App Engine的服务来在其基础设施中托管所有应用;而时至今日,谷歌则提供其他多种能在同样的基础设施上运行的设施,包括BigQuery和Google Compute Engine等,能让用户瞬时接入虚拟服务器。
世界的其他部分可能落后于谷歌,而谷歌则正将自己带给世界的其他部分。 CDA数据分析师培训官网
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14