鉴于许多企业组织在竭力采用易于使用的数据分析技术让大数据广泛可用,它们应考虑将部分功能外包到云端。如果选择一种大数据即服务解决方案,可以处理像hadoop、Spark和Hive等这些大数据技术很耗费资源、很耗费时间的操作方面,企业就能专注于大数据的好处,少关注枯燥乏味的工作。
大数据的出现带来了以下几方面的基本问题:
企业组织如何发挥其潜力 如何将其价值引入到企业组织的更广泛部门如何将该数据与之前就有的企业数据仓库结合起来,比如企业数据仓库(EDW)和数据集市
如今商业化应用的主流大数据技术是Apache Hadoop。它与作为更庞大的Hadoop生态系统一部分的其他技术结合使用,比如Apache Spark内存处理引擎、Apache Hive数据仓库基础设施和Apache HBase NoSQL存储系统。
企业要将大数据纳入到其核心企业数据架构,势必需要改动或购置大数据即服务技术。适合如今需求的现代数据架构应当包括以下这几个部分:
Hadoop上的高性能、分析就绪的数据仓库
大数据如何才能做到速度快、随时可供分析?构建便于分析的大数据环境的一个最佳实践就是,创建分析型数据仓库,可以从Hadoop数据湖装入最常用的数据集,然后将它们组织到维度模型。有了在Hadoop上的便于分析的数据仓库,企业组织就能获得最快的查询响应。这种模型便于业务用户了解,它们便于探究业务环境逐渐发生了怎样的变化。
这个分析数据仓库不但要支持报告已知用例,还要支持探究分析非计划场景。整个过程应该对用户来说是无缝的,不需要知道要不要直接查询Hadoop上的分析型数据仓库。
便于“业务语言”数据分析的语义层
大数据如何才能被更多的业务用户易于访问?为了隐藏原始数据中的复杂性,并以通俗易懂的业务术语将数据展示给业务用户,就需要语义覆盖层(semantic overlay)。这个语义层是数据的逻辑表示,可以在其中运用业务规则。
比如说,语义层可以将“高价值客户”定义为“时间在三年以上,经常购买新产品或续约的那些客户”。“高价值客户”方面的数据可以从不同的表格获取,经过不同层次的计算和转换,最后进入到语义层,这一切都是查询“高价值客户”的业务用户所看不见的。
多租户大数据环境
如何在整个企业组织访问大数据,不管人们位于何处?由于广泛需要数据分析,企业组织需要采用一种混合的集中式和分散式数据方法。这让不同的术语可以兼顾本地数据集和语义定义,同时又访问IT部门创建的企业数据资源。
这种混合方法可以用多租户数据架构来实现。在这种架构中,IT部门收集和清理数据后,放入到共享的Hadoop数据湖,并利用该数据,准备好集中式语义层和分析型数据仓库。
随后,IT部门为不同的业务小组(比如财务、销售、营销和客户支持),创建集中式数据环境的虚拟拷贝。这样一来,IT部门保留了数据治理和语义规则方面的统一权限,同时业务小组和部门又可以对照存储在Hadoop中的历史或企业数据,真正看到其日常业务活动的影响。
用户界面友好的消费分析
怎样才使用户容易掌握大数据分析?就最终用户处理大数据而言,最后要考虑的一个问题是,数据将以哪种形式来表示。这些数据界面将满足每个用户的独特、个别的要求。这一需求包括:为业务用户提供高度交互和响应的仪表板,为分析员提供界面直观的可视化发现机制,以及为信息消费者提供计划报表。
虽然每一种方式都很独特,但最佳实践是确保每个界面都不是单独的工具,那样在创建、协作和发布信息时可以确保一致性和准确性。只有通过确保数据价值仍然一致的语义层,才能做到这一点,而数据表示可能因用户界面而异。
大数据对企业来说越来越重要,它是企业数据架构的一个基本部分。想充分发掘大数据的潜力,企业就要加快购置可高效地分析和存储数据的技术。面向大数据和分析的云解决方案让这成为了可能。有了这种解决方案,企业就能为未来的数据增长作好充分准备,反过来在日益发展的大数据生态系统中有出色的表现。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14