2015年主宰大数据技术的五大发展趋势_数据分析师
大数据技术自出现以来以一种异常火热的速度发展着,且种种迹象表明这种发展趋势在2015年将会继续持续下去。MapR联合创始人兼首席执行官John Schroeder预测,2015年将有五大发展趋势主导大数据技术,MapR是致力于Hadoop分发版的专业公司。
仅仅几年时间里,大数据技术就从之前的炒作阶段逐渐发展成为新数字时代中的核心技术之一。2014年,企业内部的大数据计划慢慢地从测试阶段走向研发和生产。Schroeder表示,2015年,企业的大数据技术将会进一步推进,并向前发展,甚至会产生更多的用户案例,尤其是实时用户案例。
Schroeder说:“明年,企业和相关的组织机构将进行大数据的部署工作,并推进到实际的应用中。这主要是由目前业界所发生的一个重大转变所推动的结果,即当前这个行业里的领导者,以及即将成为这个行业里新的领导者都已经将新的大数据平台同他们的“运行”数据分析进行了整合,以便对其业务产生一定的影响。”
2015年主宰大数据技术的五大发展趋势如下:
1、数据的灵活性成为焦点
随着传统数据库(database)和数据仓库(data warehouse)的运行越来越缓慢,并很难满足企业业务的发展需要,数据的灵活性就成为了推动大数据技术发展的一个重要推动力。Schroeder指出,2015年,随着企业逐渐从简单地收集和管理数据过渡到真正使用这些数据,数据灵活性将越来越重要。
Schroeder说:“传统数据库和数据仓库运行成本很高,因此DBA(数据库管理员)资源需要对数据进行扁平化和结构化处理。高DBA的预付成本阻碍了对新数据资源的接入,同时这种严格的架构短时间内很难改变,其最终的结果导致传统数据库变得不够灵活,不能满足当前大多数企业或组织机构的需求。”
早期的大数据项目专注于对目标数据资源的存储,而对于有多少数据被管理则并不是非常在意,对此企业在今后需要将其注意力转移到测评数据的灵活性上。如何处理或分析数据,以便对运营产生一定的影响?当用户偏好,或市场情况、竞争趋势,以及运营状态发生变化时,企业该如何调整和应对?这些问题都将引领2015 年大数据项目的投资和发展范围。
2、企业逐渐从数据湖转向数据处理平台发展
某种情况来说,2014年的大数据领域实际上就是一种“数据湖(data lake)”的状态,一种基于对象的数据存储方式将收集来的数据以其最原生的格式(结构化的、非结构化的或半结构化的)存储下来留作日后使用。“数据湖” 具有很高的价值定位,它代表了一种可扩展的基础架构,非常经济且超级灵活。
Schroeder表示,随着多计算和执行能力的加强,将推动企业从大量收集数据转变为适当地处理数据,2015年“数据湖”将会继续演进。这不仅会带来更大的效率,同时也产生了单点管理和单点安全。
明年,随着企业数据的分批处理到实时处理的变化,以及企业整合Hadoop和数据库到其大规模处理平台上,“数据湖”会得到进一步的发展。换句话说,这一趋势并不是指“数据湖”里大规模用来支持更大的查询和报告的数据存储,而是对数据的持续访问和处理,同时企业将会更多地关注实时数据,并采取主动措施。
3、自助服务大数据成为主流
Schroeder指出,随着大数据工具和服务的发展,2015年,IT行业将逐渐缓解发展瓶颈的局面,许多商业用户和数据科学家将会借助相关工具和服务访问大量数据。
2015年,自助服务大数据将成为IT行业的一种趋势,它允许商业用户可以通过自助服务接触大数据。自助服务还可以帮助开发者、数据科学家和数据分析师直接进行数据探索和处理工作。
在此之前,IT行业要求建立一种集中的数据结构,但是这非常消耗时间和成本。针对某些用户案例,Hadoop可以帮助企业适应structure-on- read这种结构模式。一些先进的组织机构将会通过数据绑定的运行模式而非集中的结构来满足持续的需求。这种自助服务模式将促进企业更好地利用新的数据资源,同时又能够抓住新的市场机遇,应对问题和挑战。
4、Hadoop供应商整合 新商业模式出现
2013年,英特尔发布了其Hadoop的分发版,这在业界引起了不小的轰动。英特尔表示,在这个分发版中,他们采用了一种全新的方法,可以直接将Hadoop整合到芯片中。但是仅仅一年之后,英特尔就放弃这一分发版,并迅速被Hadoop分发版供应商Cloudera替代。
那时候,英特尔表示,用户都在关注Hadoop市场将如何发展、发展成什么样。而Hadoop产品的供应商也是多种多样、鱼龙混杂。Schroeder相信,随着失败的企业不再继续发展和推出其Hadoop分发版,转而关注其他领域,在2015年Hadoop供应商整合将会成为一种趋势(+微信关注网络世界),持续进行。
Schroeder说:“开源软件(OSS)的使用到目前为止已经有20年的时间了,而且它给整个市场也带来了巨大价值。”技术的发展成熟需要几个阶段。技术的生命周期是以创新和开发高度差异化产品为开始,再以产品最终走向商业化为结束。被誉为“关系数据库之父”的Edgar Frank Codd在1969年提出了“关系数据库”的概念,1986年,甲骨文借助这一创新概念的发展成功上市。同时,这一创新概念也促进了1995年第一个 MySQL发放版的商业化进程。所以,从历史的角度来看,数据库平台技术从最初的创新到最后的商业化,经历了26年的时间走向成熟。
Schroeder表示:“目前,Hadoop还处于技术成熟周期的早期阶段,从谷歌发布富有影响力的MapReduce白皮书至今仅仅过去了10年的时间。自最初的概念提出发展到现在的10年里,Hadoop得到了全球范围内的部署和使用,并大大的超过了其他数据平台。”目前,Hadoop还是处于创新阶段,所以供应商错误地采取“Red Hat for Hadoop”策略的这种现象在市场也仍然存在,其中最明显的是英特尔,其次是EMC Pivotal。
Schroeder认为,2015年业界将会看到一个新的、更加微妙的OSS模式的演进,这一新模式的演进和发展将社区发展与深度创新结合到了一起。开源社区是创建标准和达成共识的一个重要区域,而竞争则是促进Hadoop从最初的分析处理器向全功能数据平台发展、演变的加速器。
5、企业架构师不再炒作大数据
2015年,随着企业架构师对Hadoop技术堆栈不断深入地了解,他们也慢慢地发挥着重要的作用,即对大数据应用的需求进行了更好地的定义和更加复杂的陈述,其中的一些因素包含了高可用性和业务连续性。
Schroeder说:“随着企业在数据中心中迅速地从试验阶段走向实际部署阶段,企业架构师开始走到前台来,并在大数据部署的道路上发挥着重要作用。”IT领导者选择基础架构方面也发挥着至关重要的作用,所选择的基础架构需要满足SLA的要求,并具备高可靠性、业务连续性,同时满足重要的业务需求。在2014年,Hadoop生态系统一直蓬勃发展,并产生大量的应用、工具和组件。预计2015年,该市场将关注跨平台之间的差异性,同时企业的基础架构中也将整合Hadoop到数据中心中去,并产生一定的商业价值。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14