大数据的世界正在稳步发展壮大。随着数据数量和种类的不断膨胀,读者都想知道接下来会发生什么。Sriram Mohan博士是罗斯豪曼理工学院计算机科学和软件工程的副教授。同时他还兼任着Avalon咨询公司大数据解决方案高级顾问一职。他融汇理论与实践于一身,他绝对是回答“2014年企业大数据发展趋势”的正确人选。下面是他的一些独到见解。
Sriram说,“Hadoop和MapReduce模式绝对是解决大数据问题的方式之一。但你需要记住的是,按照目前的情况来看,Hadoop仅仅是对于批处理来说比较好。相信很快,我们同时需要能够实时处理这些数据。”作为一名Hadoop顾问的Sriram并不是说这种无处不在的平台速度缓慢。使用这样一个强大的框架,大量数据可能在一分钟之内就处理完,但是那并不总是足够好。如何解决这个问题呢?
Hortonworks公司战略副总裁Shaun Connolly指出, Hadoop一直不断的变得更快更灵活。 “我们现在越来越明确的要求优化Hadoop使用的NoSQL数据库。它可以利用内存处理,这样请求就能更快的返回,而不使用批量处理。如果使用YARN,你其实可以基于内存做更多的交互式查询。”除此之外,还有一个热潮兴起的流式分析工具或过程依赖于像Storm这样的技术,开发人员就可以使用YARN这样的架构嵌入到Hadoop里面去。如今使用Hadoop的大数据用户都在研究近实时性能。然而,这并不是100%的实时,一个重要的区别在于,当组织使用计算机来做瞬间快速决定的时候,必须参照很久以前的分析报告,而这些可能已经被人为破坏。
这个时候LAMBDA架构就有了用武之地。它允许企业组织从他们大量数据中分离出增量数据进行单独处理。大部分的数据都进入到批处理系统中,而一个叫做“速度层”的对数据进行实时处理。NoSQL数据库(他们中的大部分)都有自己的生态系统,因为它们提供了专门的工具来管理数据,以适应特定案例。
整合将至关重要,但没有一个工具对大家都有效
说到向Hadoop提供援助之手,精心设计的工具正在以惊人的速度在大数据空降急剧增加。 ElasticSearch,Pentaho,以及许多其他工具覆盖了整个大数据生态系统不同细分市场。但下一个重要阶段是如何让他们能够更好的协同工作。直到这个阶段的到来,大数据的管理还将比较随意。
当然,这并不意味着一个集成产品将永远适合所有的商业模式。数据以多种形式出现,并且每个企业组织都希望利用这些信息做不同的事情。企业组织将需要使用各种不同的方式来处理他们的数据,根据数据的来源,格式,他们为什么收集,他们希望如何存储,他们想如何分析,还有他们需要以多快的速度来处理。我们希望在整合的同时仍然保持模块化。这将允许企业为自己独有的使用案例创建合适的工具时无需每次都重新开发。
熟悉大数据技术的软件工程师将会有很大的需求
Mohan指出,在大数据空间最显著的挑战之一,应该是与微乎其微的人才库相关。“拥有这方面经验的人才数量并不多。”这并不意味着软件工程师需要去上学并获得博士学位。技术工人并不需要一个博士学位来理解大数据。然而,他们确实需要掌握知识和专业技能。Sriram说,这个目标是任何一个愿意投入时间和精力的软件工程师都可以实现的。课堂上不一定是唯一的起点。经历努力实现关系型数据库规模并且过渡到非关系型数据库,让其都为掌握大数据问题奠定坚实的基础。
Mohan博士正在做的是,为当今的软件工程师准备未来的工作世界。他将在波士顿的Big Data TechCon提供两个教育机会:Hadoop的数据传输工具和MapReduce介绍。对于那些想要在未来几年成为就业市场高需求人才的人,现在就是开始时间。(文章来源:http://cda.pinggu.org/)
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14