大数据的五大进化趋势
仅仅数年时间,大数据就从大型互联网公司高管嘴里的专业术语,演变成了决定我们未来数字生活方式的重大技术命题。无论是消费者,传统企业还是互联网创业公司,对大数据趋势的洞察和把握都是改变命运的重要思考。为了方便大家理解大数据将如何改变我们生产和消费数据的方式,GigaOM作者Derrick Harris在下面罗列了大数据的五大发展趋势,也欢迎读者留言评论,说出你们眼中的大数据趋势。
一、数据科学的普及化
在数据科学领域,最重大的变化来自数据科学家人才库的壮大。新的在线教育平台(如Coursera和Udacity)向学生传授各种数据科学知识,从基础统计到自然语言处理和机器学习。此外,Oxdata这样的产品还致力于让R这样的经典统计分析工具更加易用和强大。而Quid则让机器学习和人工智能与优美的用户界面无缝结合。Kaggle这样的平台则为预测型分析提供了一个众包解决方案。
一个总的趋势是,最终任何一个有点想象力的,懂点基本的计算机科学知识,但是商业嗅觉敏锐的人将能够更好地利用他们手头的数据。大数据分析将不再高高在上,Datahero、INnfogram和Statwing这样的公司都在试图让门外汉也能从事数据分析,给出漂亮的数据分析结果。
二、Hadoop的MapReduce时代终结
Hadoop作为单一的MapReduce运行平台的日子已经一去不复返了。进化开始于Apache hadoop的2.0版本,新增的YARN功能让Hadoop支持新的处理框架,例如Cloudera的商业发行版目前包括一个SQL查询引擎,以及一些围绕mapReduce的互动分析方法。要想让数据分析师访问Hadoop数据,Hadoop还必须支持更多的功能。
用Platfora进行基于Hadoop的BI分析
总之,MapReduce对于Hadoop来说越来越不重要了。Hadoop社区目前最关心的事情是如何让Hadoop平台的分布处理支持实时分析,更好的服务于下一代数据分析应用(例如商业智能的实时互动分析)。如果Hadoop在这方面进展缓慢,将很快被Storm和Druid这样的技术取而代之。
基于Hadoop分布式文件系统HDFS之上的HBase NoSQL数据库就是一个很好的例子,证明摆脱MapReduce的框架制约后,Hadoop还有很大的价值拓展潜力。目前Facebook和eBay等互联网公司已经开始使用HBase来跑交易应用,而Drawn to Scale和Splice Machine等创业公司则使用HBase作为交易SQL数据库的基础。而一些新的产品或项目,如Graph database Giraph使用HDFS文件系统是因为其可扩展性、相对成熟,而且有一个不断成长的生态环境。
更多人使用大数据应用
大数据的价值在于应用和普及,而不仅仅是数据科学家手里的高深工具。未来越来越多的人都都将能够使用大数据应用,例如开发者。创业公司Continuuity、Infochimps甚至Precog(大数据BI引擎)都在开发面向开发者的大数据工具,使开发者能更容易地将应用与大数据后端对接,这方面的工作大大简化,有时候开发者只需要在程序中植入一个脚本或者一段代码。
大数据应用普及的另外一个趋势是产品化,针对特定应用场景开发出开箱即用的大数据产品,例如分析用户行为、网络安全、人工智能、客户服务等的大数据应用。最早采用大数据技术的公司如Google、Facebook等需要自行开发相关大数据应用,但是对于更多的企业来说,现成的产品才是引爆大数据商业价值的关键。其实今天很多移动或互联网应用中都已经有了大数据的影子,从用户购买决策到好友匹配等。
机器学习无处不在
过去几年,机器学习(Machine Learning)逐渐流行开来,容易让人误以为机器学习并不难。机器学习的流行原因很简单,在一个消费者(以及广告主)需要更多个性化,而计算机系统正被四面八方飞速增长的数据包围的年代,编写能够透视数据的模型总是一件诱人的事情。
以下是我们梳理的,依赖机器学习的一些应用(网站):Prismatic, Summly, Trifacta, CloudFlare, Twitter, Google, Facebook, Bidgely, Healthrageous, Predilytics, BloomReach, DataPop, Gravity.
用Prismatic分析个人兴趣图谱
现在,很难想象一家新成立的科技公司,完全不考虑用机器学习模型让他们的产品或者服务更加智能。甚至微软公司都将机器学习视为一个新的业务和收入增长点而投入巨资。
移动数据将成为人工智能(AI)的引擎
在天网发动机器推翻人类统治之前,我们手里的移动电话已经比我们自己更了解我们的下一步举动。Google的Project Glass增强现实眼镜已经出炉,类似的移动应用将捕获和产生大量个人数据。而机器学习、语音识别等技术,则能帮我们充分利用这些数据。
如今,移动应用知道我们去哪,我们的朋友是谁,我们的日程是什么,我们在网络上搜索什么。新一代应用如Siri、Saga和Google Now都试图扮演智能个人助理的角色,我们的电话知道我们在说什么,了解我们常去哪家餐馆吃饭,知道我们何时回家,工作或郊游。这些应用的开发者声称这些应用能为用户选择最佳赴约路线,城里某处有家从未光顾过的餐馆有我们最喜欢的菜。
一场大规模竞赛已经启动,开发者比拼谁的应用最智能,整合的数据最全面,以及如何在四寸大的屏幕上交付最美妙的用户体验。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14