

很多数据分析师能熟练写SQL、做透视表，但当被问到“数据是从哪里来的？经过哪些加工才进入数据仓库？ETL具体做了什么？”时，却常常答不上来。在企业真实环境中，数据仓库体系与ETL是连接原始数据与分析洞察的“高速公路”——没有数据仓库和ETL支撑，分析师面对的永远是散落各处的原始数据碎片，难以形成统一、可靠的分析结论。

”

引言：为什么“数据仓库体系与ETL”是数据分析师的“必修课”？

小杨是一名入职不久的数据分析师。某次业务分析中，他从CRM系统导出了用户信息，从ERP导出了订单数据，从客服系统导出了售后记录。三份数据格式各异、口径不一，他花了整整两天时间手工清洗、对齐、合并，勉强拼凑出一份分析报告。当业务方质疑数据准确性并要求复用时，小杨发现——同样的工作，他不得不从头再来一遍。

这种困境并非个例。数据分散在不同系统、格式标准不一、口径无法对齐，是所有数据处理人员都会面临的挑战。数据仓库体系和ETL，正是解决这一系列问题的“标准答案” ——数据仓库负责统一存储与组织，ETL负责将原始数据转化为规范、干净的分析资产。

本文将系统拆解数据仓库的核心特征与三层架构、ETL的三阶段全流程解读，以及CDA考试中的高频考点，帮助你真正理解从“杂乱数据”到“分析资产”的完整链路。

一、数据仓库体系的核心认知：数据价值的“大本营”

1. 什么是数据仓库？

数据仓库（Data Warehouse, DW） ，本质上是一个面向业务主题、集成化、稳定化、反映历史变化的数据存储与管理体系，核心作用是整合企业内外部多源数据，按照业务主题进行分类、组织与存储，为数据分析、决策支撑提供统一、高质量的数据基础。通俗地说，数据仓库是存放企业“可分析数据”的核心大本营，方便分析师和决策者快速获取所需数据。

数据仓库的四大核心特征（CDA熟知级考点）：

2. 数据仓库的三层架构（CDA分析师实用视角）

① ODS层（操作数据存储层）——原始数据的“暂存区” ODS层是数据仓库的最底层，核心作用是暂存从多源数据源抽取的原始数据，不做任何复杂转换，仅进行简单的清洗（如去除重复数据、处理明显异常值），保留数据原始形态。对CDA分析师而言，ODS层的核心价值在于“追溯原始数据”——当分析中遇到数据质量争议时，可以从ODS层回溯源头，排查问题根因。

② DW层（数据仓库核心层）——主题化数据的“加工区” DW层是数据仓库的“主力层”，负责按照业务主题对数据进行整合、加工与存储。经过ETL的清洗、转换、整合后，数据以规范的结构存储于此，便于分析师直接使用。例如，将来自CRM的“用户基础信息表”、来自订单系统的“消费记录表”、来自客服系统的“反馈表”整合为以“用户ID”为主键的宽表，分析师查询时无需再跨多表关联。

③ DM层（数据集市层）——面向部门/场景的“定制区” 数据集市（Data Mart）是数据仓库的子集，面向特定部门或分析场景定制化数据集合。例如，销售部门的数据集市只包含销售分析所需的数据（订单、客户、产品），不包含财务薪酬等无关数据，加速查询效率、降低使用门槛。

3. 数据仓库 vs 数据库——CDA高频辨析题的核心考点

“数据仓库”与“数据库”的差异主要体现在以下几个方面：

• 目标不同：数据库面向业务事务处理（OLTP），支持日常业务的记录、修改和查询；数据仓库面向分析决策（OLAP），支持复杂的数据分析、趋势研判
• 数据处理形式：数据库以单条事务处理为主，数据量大时需要考虑事务隔离；数据仓库以批处理为主，支持大规模数据的一次性加载和分析
• 数据内容：数据库主要保留当前状态，数据更新频率高；数据仓库存储历史快照，数据以“只读”形式保留，便于回溯分析
• 设计范式：数据库遵循高度规范化（第三范式），避免数据冗余；数据仓库采用反规范化设计（维度建模），牺牲部分冗余以换取查询性能

4. 数据仓库 vs 数据湖 vs 数据中台——关联概念的延伸

了解数据仓库在数据生态中的位置，有助于形成完整的架构认知：

• 数据仓库：存储经过清洗、转换后的结构化数据，支持BI分析，强调数据质量和规范性
• 数据湖：存储任意格式的原始数据（包括非结构化数据），“先存起来、后处理”，灵活性高，适用于数据探索和机器学习场景
• 数据中台：整合数据仓库与数据湖的能力，提供统一的数据服务和API，向外提供“可复用的数据能力”

在实际工作中，三者的关系并非“非此即彼”，而是协同配合——数据湖承载原始数据，数据仓库沉淀可分析资产，数据中台提供统一的服务出口。

5. 数据立方体——多维数据模型的核心载体

“数据立方体”是数据仓库联机分析处理的重要表现形式。多维数据模型把数据看成是数据立方体形式，即多维数据集（Cube）。数据立方体涉及的操作主要包括“上钻”（Drill Up）、“下钻”（Drill Down）、“切片”（Slice）、“切块”（Dice）、“旋转”（Pivot）等，这些是CDA考试中常见的普通多选题考点。数据仓库本身是一种数据存储结构，而Cube是多维数据模型的具体实现形式，用于表示多维数据，是OLAP的一部分，但不能单独作为工具功能定位。数据仓库通过ETL过程整合多源数据，为数据分析提供统一存储。

二、ETL——原始数据到分析资产的“加工流水线”

1. 什么是ETL？

ETL是三个英文单词的首字母缩写：

• E - Extract（抽取） ：从多个数据源中提取原始数据
• T - Transform（转换） ：对抽取的数据进行清洗、标准化、整合
• L - Load（加载） ：将处理后的数据写入数据仓库或目标系统中

ETL要解决的核心问题正是将分散在各个业务系统中的异构数据整合为统一格式，加载到数据仓库中供分析使用。

2. ETL三阶段全流程拆解

第一步：Extract（抽取）——从分散源头“取数据”

抽取阶段涉及从各种数据源收集数据。数据可能来自多个源头：

• 关系型数据库（如CRM系统、ERP系统、订单系统），通过SQL查询提取数据
• API接口（如第三方服务、营销平台），通过HTTP请求获取数据
• 文件（如CSV、Excel、日志文件），逐行读取并解析
• 云存储服务（如AWS S3），从云端获取数据

在这一阶段，抽取方式通常分为两类：全量抽取（一次性获取所有数据，适用于首次加载）和增量抽取（只提取自上次抽取以来发生变化的数据，适用于定期更新，效率更高）。

虽然ETL抽取通常由数据工程师完成，但分析师需要了解哪些数据源是可用的，以便在设计指标体系时明确数据来源、评估数据可用性，避免后期发现数据源头缺失。

第二步：Transform（转换）——ETL的“心脏”

转换是ETL流程中最复杂、最核心的步骤。转换阶段的操作包括：

• 数据清洗：处理缺失值（填充、删除或标记）、删除重复记录、纠正错误数据（如金额为负、日期为未来）
• 格式标准化：将“2024/1/1”“20240101”等不同格式统一为“YYYY-MM-DD”标准格式
• 数据整合：将来自CRM的客户信息与来自订单系统的消费记录合并到一张宽表中
• 数据聚合：计算各用户的总消费金额、平均客单价等汇总指标
• 业务规则计算：按“近90天交易次数≥2→交易活跃”等规则生成新字段

正如数据领域的经典原则，“转换阶段的质量，直接决定了数据分析结果的可信度”。如果转换没做好，后续分析结论可能毫无意义。

转换规则的定义，往往需要分析师深度参与。分析师需要明确哪些字段需要清理、数据口径如何统一、业务规则如何转化为转换逻辑——这要求分析师不仅懂数据，更要懂业务。

第三步：Load（加载）——数据入库的最后一步

加载阶段是将转换后的数据写入目标系统（数据仓库、数据集市或数据库）的过程。加载方式主要包括：

• 完全加载：一次性将所有数据写入目标系统，适用于首次搭建数据仓库或数据量较小的场景
• 增量加载：只写入自上次加载以来新增或变更的数据，适用于数据量庞大且定期刷新的场景

在实际业务中，这三步形成一个闭环流程，通常按固定周期（每日、每小时或实时）自动运行，确保目标系统中的数据持续更新，报表始终反映最新业务状态。

三、CDA分析师在数据仓库与ETL流程中的核心角色

数据仓库与ETL并非纯粹的IT工作，分析师在其中的角色贯穿全流程。分析师不仅是ETL结果的“使用者”，更是ETL流程的“需求衔接者、流程校验者、价值挖掘者”：

① 需求衔接者 ——衔接业务需求与数据仓库、ETL流程。分析师需要将“用户画像分析”等业务目标，转化为ETL需要整合的数据维度（如用户的浏览行为、购买记录、售后评分）。

② 流程校验者 ——校验ETL数据的质量。分析师通过验证关键字段的空值率是否符合预期、对比源系统与数据仓库的关键指标等方法，确保进入数据仓库的数据准确、可靠。

③ 价值挖掘者 ——依托数据仓库的规范数据开展分析，同时反馈数据仓库与ETL流程的优化建议，实现“数据→存储→分析→价值”的闭环。

在实际工作中，当分析师发现某个指标的计算结果异常时，往往需要沿着“ETL流程→数据仓库→数据集市”的链路逐级排查，定位问题根源——是源头数据缺失？是转换逻辑写错了？还是口径定义不一致？这种排查能力，正是数据仓库体系理解的重要体现。

四、实战演练：从“业务需求”到“数据仓库完成分析”的全链路

背景

某电商平台运营团队需建立用户复购分析体系，要求按周输出“各品类新老用户的复购率”。

第一步：需求解读——明确数据来源

所需数据源包括：

• 订单数据：来源ERP系统的订单表（含订单ID、用户ID、商品ID、订单金额、下单时间）
• 用户数据：来源CRM系统的用户表（含用户ID、注册时间、会员等级）
• 商品数据：来源商品管理系统的商品表（含商品ID、品类、品牌）

第二步：ETL流程——从源数据到数据仓库

抽取（E） ：从三个源系统中分别按周抽取增量数据。

转换（T） ：

• 清洗：删除订单金额为负的异常记录、填充用户表中缺失的会员等级为“普通”
• 格式统一：将订单日期统一为“YYYY-MM-DD”格式，将金额统一为元（原系统可能混合元、万元单位）
• 整合：以“用户ID”为关联键，将订单表与用户表关联，生成一张用户维度的宽表
• 规则计算：计算“是否复购”——对同一用户ID，订单编号≥2且订单日期晚于首笔订单日期，标记为“复购”
• 聚合：按用户维度统计复购标志，按品类维度分组合并

加载（L） ：将转换后的分析数据加载到数据仓库，并同步更新数据集市中的复购分析主题。

第三步：分析师使用数据仓库开展分析

分析师直接从数据仓库中提取“各品类新老用户复购率”数据集，结合BI工具进行可视化呈现，输出业务报告。



这就是一套完整的“需求解读→ETL数据处理→数据仓库存储→分析师提取分析”的数据分析全链路实战流程。

”

结尾

很多数据分析师能做报表、会写SQL，但当被问到“数据仓库和数据库的区别是什么”“ETL的三个阶段分别做什么”“数据从哪里来、经过哪些加工才进入分析系统”时，却常常答不上来。

没有数据仓库，数据只是散落在各系统中的孤立记录；没有ETL，数据仓库只是空空如也的容器。

在2025年新考纲的背景下，数据架构与ETL从Level II下放至Level I，正是为了回应企业对“懂数据全链路”的分析人才日益增长的需求。CDA认证体系中PART 12“数据模型”的定位，正是从数据分类到数据建模，从数仓体系到ETL流程的全链条覆盖，确保每一位持证者不仅“会用数据”，更“懂数据从何而来、如何可用”。

下一步行动：

1. 了解你所在企业的数据架构：数据来自哪些源系统？经过怎样的ETL过程进入数据仓库？
2. 尝试梳理当前分析工作中使用的某个数据集，回溯它从原始到可用的全链路
3. 练习区分OLTP与OLAP场景的不同特点，明确其适用的分析方法



数据仓库是企业数据的“大本营”，ETL是数据的“加工流水线”，CDA分析师则是让这些数据“开口说话”的价值创造者。

”

图文含有广告内容

推荐学习书籍 《CDA一级教材》适合CDA一级考生备考，也适合业务及数据分析岗位的从业者提升自我。完整电子版已上线CDA网校，累计已有10万+在读~ !

免费加入阅读：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0