数据管理和分析趋势正在改变世界
现在的数据世界正在发生什么,它将如何影响2018年的市场?比如这些头条新闻:人工智能无处不在,并将改变一切;企业继续将他们的基础设施和数据转移到云端;GDPR将使数据保护成为每个公司的首要任务。你知道这些,但也许会对这种夸大其词的说法有点怀疑。
那么到底发生了什么实质性的变化?在制定架构和采购策略并在这些领域做出决策时,你需要注意什么?接下来我们会讨论在分析领域发生的7个影响深远的变化,并将它们一一呈现。
Hadoop始终是根基
是的,那些大数据项目的失败率很高;并且Spark在某种程度上已经取代了Hadoop,越来越多的客户开始独立运行它,所以业界开始指责Hadoop…并且不再提到它的名字。所以你认为Hadoop一定已经过时了,对吧?
错!现在每个人都在谈论数据湖,很多时候,那只是Hadoop的代码。而且,虽然许多公司正在云存储中实现他们的数据湖,也经常使用Hadoop生态系统技术来分析这些数据。除此之外,当开始使用云存储来模拟HDFS、Hadoop的文件系统时,你就会意识到云数据湖和Hadoop数据湖并没有本质区别。
好消息是,今年Hadoop将会做它一直应该做的事情:低调地被很多企业接受,并将成为众多数据工具之一,发挥其战略作用。正是这些数据技术的结合,包括Hadoop、Spark、Business Intelligence (BI)和数据仓库,使得当前的分析市场如此令人兴奋。
再见!企业级商业智能栈
今年早些时候,作为一家企业级商业智能公司,MicroStrategy宣布向其前端竞争对手做出让步,引入他们的产品。MicroStrategy相信可以通过利用后端OLAP平台以及相关的数据处理来盈利。该公司似乎意识到了在数据可视化和仪表板方面的竞争是比较困难的,即使能够取得成功,也会带来收益递减。
那么后端是否足以维持企业收入并持续增长?我们拭目以待。但有一点是肯定的,单一的企业级商业智能堆栈已经开始解体,新的挑战即将开始。
数据分层
也许你熟悉数据分层的概念,比如数据存储与其访问频率的相关性。“热门”数据,即最常用的数据,有时访问请求会被路由到非常快的存储,比如固态硬盘,甚至是CPU缓存中;而冷门数据通常存储在更老的,但更便宜的旋转硬盘驱动器之中。
随着存储层次的完善,我们将在今年看到其他层次结构被逐渐认可。例如,分析涉及从与特定团队或业务单位相关的实验数据集到对整个企业都有用的高度结构化,审核和共识驱动的数据。 中间是结构化数据集,可能由于大小或清洁程度而被视为略低于生产水平。
实验数据集存储在数据湖中最好;逻辑上,高度审查的数据集最好存储在数据仓库中。中级数据集可能比较适合放在Hadoop或云存储中,但通常会使用IBM Big SQL,Microsoft PolyBase和Oracle Big Data SQL等SQL-on-Hadoop工具从关系型数据库中进行查询。
还有一种层次结构可能会根据数据是用于设计机器学习模型还是仅用于分析来对数据进行分层,其他的层次结构可能由数据源的可信度来定义。
层次结构之所以重要,是因为相应的工具和技术也存在分级,包括查询端的商业智能和大数据分析工具,以及存储库端的事务型数据库,NoSQL数据库,数据仓库和数据湖。虽然最终,层次结构可能会得到简化,技术可能会趋于整合,但是现在有了这么多的技术选择,我们就需要数据中的层次结构来规定我们在工具链部署中的最佳实践。
可视化商品
MicroStrategy宣布与Tableau,Qlik和Power BI进行合作不仅仅是对竞争对手的让步。事实上,这三种自助商业智能工具现在已经成为行业标准,进一步为其他想在可视化领域大显身手的公司设置了障碍。
他们也对整个行业实现了商品化。在Tableau Public,Qlik Sense Cloud Basic和Power BI Desktop(以及Power BI云服务的免费层)之间,可以免费体验入门级分析功能,随着添加像plotly这样的可视化工具,体验D3生态系统和开源的地理空间/地图平台,你会发现你的分析能力从受时间限制变成了受金钱限制,你需要通过付费来获得更好的产品功能。
如今,用户已经将良好的数据处理能力看作理所当然,他们虽然对此印象深刻,但并不满足于此,好的产品不会具有很明显的竞争优势,但差的产品必然处于竞争劣势。
数据治理
虽然在过去的一段时间里,数据治理技术并未受到应有的重视,但如今也开始获得了一些尊重。欧盟的“通用数据保护条例”(GDPR)就是一个例子-而最终,缺乏足够的治理是今年对有效治理工具需求的一个非常重要的痛点。
即使遵循法规是催化剂,但治理背后还有其他驱动因素。其中最大的一项是数据分类,它们使数据湖中的数据集更有条理,并且更易于发现。数据发现工具可以帮助您通过查看数据库和数据湖,报告其数据内部和数据之间的关系和数据流。从另一个角度来讲,这些工具使数据湖本身更具有可用性,对其投资更加有效。随着公司对前几年投资寻求更好的回报,数据分类和发现工具将越来越受欢迎,进一步推动了治理技术的发展。
云数据湖 = 云数据锁定
我们已经谈到了基于云存储的数据湖的发展趋势。但事实是,这不是一个随机出现的有趣的上云案例,这是主要云供应商的中心卖点和销售策略。
在特定的云平台上,你存储的数据越多,你就会在这个平台上针对这些数据做更多的工作,包括但不限于数据准备,分析,预测建模和模型训练(在高端的gpu加速虚拟机上)。云之战是数据存储之战,赢家可能会让你深陷其中。
容器革命
大家都知道,基于Docker的容器技术在数据中心和软件开发领域正在改变一切。这种变革影响巨大且不容小觑。
但是您是否知道数据和分析世界中也在发生着类似的变化?这很难说,因为尽管这种转变不太明显,但它是真实发生的:
MapR已经通过其PACC(持久应用客户端容器)重新定位了融合数据平台
云提供商利用容器技术更快地部署节点,并促进更多资源共享 - 从而使临时集群看起来更持久
Hadoop最近刚刚发布了3.0版本,它很快就会支持在Docker容器中运行YARN资源管理器,从而使Hadoop作业代码的依赖项可以根据集群中每个节点上安装的代码而不同。
越来越清楚的是,每个软件供应商,其产品都依赖于其他软件的基础版本,都逐渐意识到容器可以消除版本冲突问题 - 为他们和他们的客户。
下一步,做决定
对大趋势进行识别和预测是非常有趣的。那些行业中发生的具体而突出的变化,以及供应商和客户追求的策略,可以帮助您制定自己的发展计划,他们为您的决定提供了依据:你今年要做什么,你不会做什么,以及你合理期待的结果。对于像数据分析这样的创新热点,您需要不断规划您的方案并进行大笔投注,但您也需要采取一定的保障措施。我们希望并相信这七个趋势分析可以帮助您做到这两点。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
数据分析在当今信息时代发挥着重要作用。单因素方差分析(One-Way ANOVA)是一种关键的统计方法,用于比较三个或更多独立样本组 ...
2025-04-25CDA持证人简介: 居瑜 ,CDA一级持证人国企财务经理,13年财务管理运营经验,在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-25在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-24以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《刘静:10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda ...
2025-04-23大咖简介: 刘凯,CDA大咖汇特邀讲师,DAMA中国分会理事,香港金管局特聘数据管理专家,拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03