如何利用数据仓库优化数据分析
在整个数据分析流程中,数据处理的时间往往要占据70%以上!这个数字有没有让你震惊呢?为了提高分析效率和质量,借用数据仓库进行数据分析是一个很好的选择,详细的工作方法本文都有所介绍。
首先,我们来了解一下数据仓库吧!数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合。那数据分析又是干什么的呢?笔者凭借个人的经验认为,基于业务需求,结合历史数据,利用相关统计学方法和某些数据挖掘工具对数据进行整合、分析,并形成一套最终解决某个业务场景的方案就是数据分析的过程。
数据分析大致包括以下流程:
业务理解 – 数据理解 – 数据准备 – 建模 – 评估 – 部署
由于数据分析对数据质量、格式的要求天然就比较高,对数据的理解也必须非常深刻,使得数据契合业务需求也要一定的过程,这样,根据我们的经验,在整个数据分析流程中,用于数据处理的时间往往要占据70%以上。
因此,如何高效、快速地进行数据理解和处理,往往决定了数据分析项目的进度和质量。而数据仓库具有集成、稳定、高质量等特点,基于数据仓库为数据分析提供数据,往往能够更加保证数据质量和数据完整性。
利用数据仓库进行数据分析无疑能够给我们的工作带来很大便利,那么,究竟要如何操作呢?我们首先需要了解数据仓库的优势,数据仓库至少可以从如下三个方面提升数据分析效率:
1. 数据理解
数据仓库是面向主题的,所以其自身与业务结合就相对紧密和完善,更方便数据分析师基于数据理解业务。下图是Teradata关于金融行业的成熟模型:
(出自Teradata FS-LDM官方文档)
我们可以看到,整个数据仓库被分为十大主题,而金融行业所有的数据、业务都会被这十大主题涵盖。当我们需要找某个信用卡账户信息时,我们就去协议(AGREEMENT)主题,需要某次存款交易信息时就去探寻事件(EVENT)主题,需要某个理财产品相关信息就挖掘产品(PRODUCT)主题,如此类推,我们就会发现十大主题将整个金融行业的数据划分得非常清晰,我们需要做的就是拿到业务需求,理解数据仓库的模型,数据理解也就水到渠成了。
2. 数据质量
数据分析要求数据是干净、完整的,而数据仓库最核心的一项工作就是ETL过程,流程如下:
而数据仓库已经对源系统的数据进行了业务契合的转换,以及脏数据的清洗,这就为数据分析的数据质量做了较好的保障。
3. 数据跨系统关联
上图是数据仓库的一个简单架构,可以看到,各业务源系统的数据经过ETL过程后流入数据仓库,当不同系统数据整合到数据仓库之后,至少解决了数据分析中的两个问题:
第一,跨系统数据收集问题,同一个客户的储蓄交易和理财交易我们在同一张事件表就可以找到;
第二,跨系统关联问题,同一个客户可能在不同系统中记录了不同的客户号,甚至存在不同的账号,进行数据整合时,总是需要找到共同的“纽带”来关联来自不同系统的信息,而数据仓库在ETL过程中就会整合相关客户信息,完美解决跨系统关联问题。
可见,数据仓库是整合的、面向主题的、数据质量高的、跨系统的优质数据源,那么,我们该如何充分利用这些优势呢?笔者总结了如下经验:
1. 研究数据仓库模型:数仓的精髓就是面向主题的模型,能理解各大主题域范畴,熟悉不同主题间的关系,基本就掌握了数仓的架构;
2. 学习数据仓库设计文档:设计文档是业务与数据,数仓与源系统的桥梁,熟悉表间mapping映射,就能快速定位需求变量的来源和处理逻辑,全面了解相关业务;
3. 熟悉数据字典表:数据字典是数据仓库物理存储的信息库,可以通过数据字典了解库、表、字段不同层级的关系、存储、类型等信息;
4. 研究ETL脚本:学习几个数据仓库ETL加工脚本,能更细致的探索数据加工处理逻辑,更清楚的理解数仓加工模式,快速掌握数据加工技巧;
5. 观察明细数据:想要真正了解数据,就必须对具体数据进行不同维度和层次的观察;比如事件表,从交易类型、时间、渠道、业务种类等多个维度捞几条数据,观察某个相同条件下不同维度的交易变化,了解银行交易的全景信息,帮助理解业务,熟悉数据。
事实上,除此之外,数据处理人员还应该从中学习到数据仓库的思想:面向主题,逐层加工。
面向主题是指让杂乱的数据结合业务划分,更容易着手处理原本杂乱的数据,数据处理人员只需知道哪些数据属于哪个主题,然后基于主题再进一步处理;逐层加工则是指让细粒度的数据走向宽表的过程清晰,有层次,数据处理过程中清楚每一步的产出是什么。
其实,每一个数据分析师或者数据处理师都会有自己的工作习惯和经验,以上是笔者经历两年多数据仓库开发、三年数据仓库和数据分析兼职者的经验总结的一些心得,希望对大家有所帮助。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14