

很多数据分析师能熟练写SQL、做透视表，但当被问到“数据是从哪里来的？经过哪些加工才进入数据仓库？ETL具体做了什么？”时，却常常答不上来。在企业真实环境中，数据仓库体系与ETL是连接原始数据与分析洞察的“高速公路”——没有数据仓库和ETL支撑，分析师面对的永远是散落各处的原始数据碎片，难以形成统一、可靠的分析结论。

”

引言：为什么“数据仓库体系与ETL”是数据分析师的“必修课”？

小杨是一名入职不久的数据分析师。某次业务分析中，他从CRM系统导出了用户信息，从ERP导出了订单数据，从客服系统导出了售后记录。三份数据格式各异、口径不一，他花了整整两天时间手工清洗、对齐、合并，勉强拼凑出一份分析报告。当业务方质疑数据准确性并要求复用时，小杨发现——同样的工作，他不得不从头再来一遍。

这种困境并非个例。数据分散在不同系统、格式标准不一、口径无法对齐，是所有数据处理人员都会面临的挑战。数据仓库体系和ETL，正是解决这一系列问题的“标准答案” ——数据仓库负责统一存储与组织，ETL负责将原始数据转化为规范、干净的分析资产。

本文将从CDA认证的知识体系出发，系统拆解数据仓库的核心特征与分层架构、ETL的三阶段全流程解读，以及CDA考试中的高频考点，帮助你真正理解从“杂乱数据”到“分析资产”的完整链路。

一、数据仓库体系的核心认知：数据价值的“大本营”

1. 什么是数据仓库？

数据仓库（Data Warehouse, DW） ，本质上是一个面向业务主题、集成化、稳定化、反映历史变化的数据存储与管理体系，核心作用是整合企业内外部多源数据，按照业务主题进行分类、组织与存储，为数据分析、决策支撑提供统一、高质量的数据基础。

通俗地说，数据仓库是存放企业“可分析数据”的核心大本营，方便分析师和决策者快速获取所需数据。在CDA官方模拟题库中，有一道经典考题：数据仓库的核心功能是什么？正确答案是“集中存储清洗后的数据以支持分析”——这揭示了数据仓库与普通数据库的根本区别。

2. 数据仓库的四大核心特征

数据仓库具有以下四大核心特征：

数据仓库的核心功能定位——“集中存储清洗后的数据以支持分析”，而非“支持实时事务处理”或“存储原始未加工数据”。

3. 数据仓库的经典分层架构

数据仓库多采用“三层架构”，数据从下到上逐步加工优化：

① ODS层（操作数据存储层）——原始数据的“暂存区”

ODS层是数据仓库的最底层，核心作用是存储原始数据，保留数据原貌，不做任何复杂转换，仅进行简单的清洗（如去除重复数据、处理明显异常值）。典型数据包括APP行为日志（JSON格式）、订单系统原始表（含测试订单、冗余字段）、用户注册原始数据等。

对CDA分析师而言，ODS层的核心价值在于“追溯原始数据”——当分析中遇到数据质量争议时，可以从ODS层回溯源头，排查问题根因。

② DW层（数据仓库核心层）——主题化数据的“加工区”

DW层是数据仓库的“主力层”，负责按照业务主题对数据进行整合、加工与存储。经过ETL的清洗、转换、整合后，数据以规范的结构存储于此，便于分析师直接使用。

③ DM层（数据集市层）——面向部门/场景的“定制区”

数据集市（Data Mart）是数据仓库的子集，面向特定部门或分析场景定制化数据集合。例如，销售部门的数据集市只包含销售分析所需的数据（订单、客户、产品），加速查询效率、降低使用门槛。

数据仓库与数据集市不同——数据仓库一般是存储经过清洗、整合的历史数据，用于企业级分析；数据集市则是面向特定业务部门或主题的数据子集，更聚焦。

4. 数据仓库 vs 数据库——CDA高频辨析题

“数据仓库”与“数据库”的差异：

5. 数据立方体——多维数据模型的核心载体

数据立方体是数据仓库联机分析处理的重要表现形式。多维数据模型把数据看成是数据立方体形式，即多维数据集（Cube）。数据立方体涉及的核心操作包括：

• 上钻（Drill Up） ：从汇总数据钻取到更概括的层级（如季度→年度）
• 下钻（Drill Down） ：从汇总数据钻取到更详细的层级（如年度→季度→月度）
• 切片（Slice） ：在单个维度上进行筛选
• 切块（Dice） ：在两个及以上维度上进行筛选
• 旋转（Pivot） ：调换行/列维度位置改变视图视角

二、ETL——原始数据到分析资产的“加工流水线”

1. 什么是ETL？

ETL是三个英文单词的首字母缩写：

• E - Extract（抽取） ：从多个数据源中提取原始数据
• T - Transform（转换） ：对抽取的数据进行清洗、标准化、整合
• L - Load（加载） ：将处理后的数据写入数据仓库或目标系统中

ETL是将“业务系统原始数据”转化为“数据仓库可用数据”的核心流程，相当于数据仓库的“血液输送系统”。

ETL要解决的核心问题（CDA熟知级考点）正是将分散在各个业务系统中的异构数据整合为统一格式，加载到数据仓库中供分析使用。ETL的目的是将企业中分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。

ETL包括数据抽取、转换、清洗、装载，用于解决多数据源整合、统计口径统一等问题。

2. ETL三阶段全流程拆解

第一步：Extract（抽取）——从分散源头“取数据”

抽取阶段涉及从各种数据源收集数据。数据可能来自多个源头：

• 关系型数据库（如CRM系统、ERP系统、订单系统），通过SQL查询提取数据
• API接口（如第三方服务、营销平台），通过HTTP请求获取数据
• 文件（如CSV、Excel、日志文件），逐行读取并解析

在这一阶段，抽取方式通常分为两类：全量抽取（一次性获取所有数据，适用于首次加载）和增量抽取（只提取自上次抽取以来发生变化的数据，适用于定期更新，效率更高）。

对CDA分析师的意义：虽然ETL抽取通常由数据工程师完成，但分析师需要了解哪些数据源是可用的，以便在设计指标体系时明确数据来源、评估数据可用性。

第二步：Transform（转换）——ETL的“心脏”

转换是ETL流程中最复杂、最核心的步骤。转换阶段的操作包括：

• 数据清洗：处理缺失值（填充、删除或标记）、删除重复记录、纠正错误数据
• 格式标准化：将不同格式统一为标准格式
• 数据整合：将来自不同系统的数据合并到一张宽表中
• 数据聚合：计算汇总指标
• 业务规则计算：按业务规则生成新字段

正如数据领域的经典原则，“转换阶段的质量，直接决定了数据分析结果的可信度”。如果转换没做好，后续分析结论可能毫无意义。

转换规则的定义，往往需要分析师深度参与。分析师需要明确哪些字段需要清理、数据口径如何统一、业务规则如何转化为转换逻辑——这要求分析师不仅懂数据，更要懂业务。

第三步：Load（加载）——数据入库的最后一步

加载阶段是将转换后的数据写入目标系统（数据仓库、数据集市或数据库）的过程。加载方式主要包括：

• 完全加载：一次性将所有数据写入目标系统，适用于首次搭建数据仓库或数据量较小的场景
• 增量加载：只写入自上次加载以来新增或变更的数据，适用于数据量庞大且定期刷新的场景

在实际业务中，这三步形成一个闭环流程，通常按固定周期（每日、每小时或实时）自动运行，确保目标系统中的数据持续更新，报表始终反映最新业务状态。

在数据仓库体系中，从源系统到数据仓库再到数据集市的过程中，实现数据集成和抽取的关键环节是ETL。

三、分析师在数据仓库与ETL流程中的核心角色

数据仓库与ETL并非纯粹的IT工作，分析师在其中的角色贯穿全流程。分析师不仅是ETL结果的“使用者”，更是ETL流程的“需求定义者、流程参与者、成果使用者”：

① 需求定义者——明确需要什么数据、数据需满足什么质量要求。分析师需要将“用户画像分析”等业务目标，转化为ETL需要整合的数据维度（如用户的浏览行为、购买记录、售后评分）。

② 流程参与者——参与ETL流程的设计与验证。分析师通过验证关键字段的空值率是否符合预期、对比源系统与数据仓库的关键指标等方法，确保进入数据仓库的数据准确、可靠。

③ 成果使用者——基于数据仓库的高质量数据开展分析，输出业务洞察。分析师依托数据仓库的规范数据开展分析，同时反馈数据仓库与ETL流程的优化建议，实现“数据→存储→分析→价值”的闭环。

在实际工作中，当分析师发现某个指标的计算结果异常时，往往需要沿着“ETL流程→数据仓库→数据集市”的链路逐级排查，定位问题根源——是源头数据缺失？是转换逻辑写错了？还是口径定义不一致？这种排查能力，正是数据仓库体系理解的重要体现。

四、实战演练：从“业务需求”到“数据仓库完成分析”的全链路

背景

某电商平台运营团队需建立用户复购分析体系，要求按周输出“各品类新老用户的复购率”。

第一步：需求解读——明确数据来源

所需数据源包括：

• 订单数据：来源ERP系统的订单表（含订单ID、用户ID、商品ID、订单金额、下单时间）
• 用户数据：来源CRM系统的用户表（含用户ID、注册时间、会员等级）
• 商品数据：来源商品管理系统的商品表（含商品ID、品类、品牌）

第二步：ETL流程——从源数据到数据仓库

抽取（E） ：从三个源系统中分别按周抽取增量数据。

转换（T） ：

• 清洗：删除订单金额为负的异常记录、填充用户表中缺失的会员等级为“普通”
• 格式统一：将订单日期统一为“YYYY-MM-DD”格式，将金额统一为元
• 整合：以“用户ID”为关联键，将订单表与用户表关联，生成一张用户维度的宽表
• 规则计算：计算“是否复购”——对同一用户ID，订单编号≥2且订单日期晚于首笔订单日期，标记为“复购”
• 聚合：按用户维度统计复购标志，按品类维度分组合并

加载（L） ：将转换后的分析数据加载到数据仓库。

第三步：分析师使用数据仓库开展分析

分析师直接从数据仓库中提取“各品类新老用户复购率”数据集，结合BI工具进行可视化呈现，输出业务报告。



这就是一套完整的“需求解读→ETL数据处理→数据仓库存储→分析师提取分析”的数据分析全链路实战流程。

”

结尾

很多数据分析师能做报表、会写SQL，但当被问到“数据仓库和数据库的区别是什么”“ETL的三个阶段分别做什么”“数据从哪里来、经过哪些加工才进入分析系统”时，却常常答不上来。

没有数据仓库，数据只是散落在各系统中的孤立记录；没有ETL，数据仓库只是空空如也的容器。

在2025年新考纲的背景下，数据架构与ETL从Level II下放至Level I，正是为了回应企业对“懂数据全链路”的分析人才日益增长的需求。CDA认证体系中PART 12“数据模型”的定位，正是从数据分类到数据建模，从数仓体系到ETL流程的全链条覆盖。数据仓库是企业数据的“大本营”，ETL是数据的“加工流水线”，CDA分析师则是让这些数据“开口说话”的价值创造者。

下一步行动：

1. 了解你所在企业的数据架构：数据来自哪些源系统？经过怎样的ETL过程进入数据仓库？
2. 尝试梳理当前分析工作中使用的某个数据集，回溯它从原始到可用的全链路
3. 练习区分OLTP与OLAP场景的不同特点，明确其适用的分析方法



数据仓库是企业数据的“大本营”，ETL是数据的“加工流水线”，CDA分析师则是让这些数据“开口说话”的价值创造者。

”

推荐学习书籍 《CDA一级教材》适合CDA一级考生备考，也适合业务及数据分析岗位的从业者提升自我。完整电子版已上线CDA网校，累计已有10万+在读~ !

免费加入阅读：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0