CDA数据分析师 出品

编辑：JYD

大家好，我是曹鑫老师，今天要给大家介绍的是ETL工程师日常工作内容。

ETL全称是Extraction-Transformation-Loading,即完成数据的抽取、转换、加载。下面通过一个简单的例子来帮助您了解ETL工程师岗位。

案例背景：

我们现在有企业用户的行为日志数据，业务端希望根据用户的行为数据抽取用户画像标签数据。需完成以下任务：构建数据模型、编写ETL加工程序、制定ETL程序运行计划。

ETL工程师需要负责采集数据（E）、并根据业务规则进行加工转换（T）、并最终将转换结果按照格式要求存放至指定位置（L）。

用户行为日志以文本文件形式存储，文件名的格式：用户id_日期_时间.txt,文件内容如图所示：

样本用户每次开机时，都会形成一个对应的日志文件，文件的开头2行会记录以下2个值：

• Last表示日志的最后一次更新时间点距离开机时间的秒数；
• L_Start表示样本用户的开机时间（格式是年-月-日 时-分-秒）。

接下来，数据采集程序会以2秒一次的频率扫描样本用户计算机的当前焦点窗口，若焦点窗口发生变化，则会在日志中追加一条记录。如图所示。

接下来，ETL工程师就会安装如下流程开展工作：

• 首先在数仓中构建用户数据模型。
• 数据模型需要紧密结合业务，如图为示例的一个中间数据。

接下来根据数据源以及数据模型，编写ETL程序

根据1里面制定的加工逻辑编写代码处理数据，非结构化的数据一般选择python这类编程语言。结构化的数据一般采用SQL即可。

最后制定ETL脚本执行周期计划。

ETL脚本在生产环境中定期执行，更新数仓中的数据

根据样例数据，及数据模型，我们可以得到如图的数据：

需要注意的是，日志文件一般是放置在业务服务器端的，数据加载、转换后的结果一般是加载到数据仓库中。

以上就是ETL工程师岗位日常工作中的一个案例。

线下体验店预约

当下企业数字化转型正快速发展，在越来越严苛的外部监管及越来越激烈的市场竞争驱动下，各行各业都在急迫地对数据进行最大化的价值挖掘。然而，大多数企业在推动落地时，都会遇到诸多问题。快速了解“数据从治理到分析”的落地流程与产出效果，以最低成本实现团队协同，快速解决深奥数据问题，成为越来越多企业加大数字化转型投入的核心动力。

CDA数据分析师作为专注于数字化人才培养及服务的教育品牌， 一直致力于大数据在产、学、 研的融合应用。以“培养企业需要的专业数字化人才， 搭建引领数字化时代的企业人才梯队” 为使命， 为DT时代数字化人才的数据能力提升及企业数字化转型提供标准化、 高效率、 可落地的数据应用侧解决方案。成立15年来， 始终在总结凝练先进数字化商业数据策略及技术应用实践， 以实际行动提升了数字化人才的职业素养与能力水平， 以建设高质量生态圈层促进了行业的持续快速发展。

CDA数据分析师携手华矩科技，以数据治理与数据分析为特色，联合开设九宫格数据体验店北京分店并对外运营。

图-CDA&华矩联合的九宫格数据·数据治理与分析体验店

体验内容

在数据治理与分析体验店，您可以从技术、业务、管理三大方面全方位体验数据治理与分析。

• 技术体验方面，您可以体验从数据预处理、数据内码转化、数据结构化处理、数据质量诊断、数据查重与匹配、异构数据集成、特征工程、统计建模、机器学习、模型诊断与调优等技术科目；
• 业务体验方面，您可以基于模拟真实业务场景的数据体验客户统一视图、合规检查、遵从度检查、数据溯源、代码标准化、SKU标准库、商业策略优化、用户分群与画像、业务分析与预测及风险识别等数字化场景；
• 管理体验方面，您还可以从团队或项目管理的角度体验数据安全管理、数据治理与分析不同岗位角色及团队协作、数据问题跟踪管理、数据质量监控、数字化工作方法及BI可视化报告。

而CDA数据分析师与华矩科技的强强联合，也赋予了数据治理与分析体验店更多特色体验，主要包括：

• 数据治理与分析理论培训+实操演习针对志在数据治理与数据分析发展领域的个人及企业提供相关理论培训课程及实操体验，旨在让零基础学员通过理论学习与技能习得掌握数据治理及数据分析应用，快速让数据价值变现。
• 数据治理+数据分析全流程体验基于体验店提供的模拟场景测试数据，通过平台数据治理实操输出高质量的数据，导入相关数据分析算法模型，从而获得有价值的分析结果。该体验服务重点针对个人学员的技能习得，及企业数据团队协同，使其可以真正学会数据处理技能了解各环节的关系，从而可以真正用到自己的工作中。

体验店的亮点优势

区别于以往很重的数据治理咨询与实施，华矩科技首创的九宫格数据体验店模式让用户可以更轻更快地了解与体验数据治理，并在体验店获得场景模拟，团队协同和报告输出。主要包括：

• 直观感受数据价值
• 端到端全流程体验
• 场景化的模拟实验
• 技术业务快速协同
• 模拟真实测试数据
• 快速解决数据问题
• 模拟练习创新体验
• 项目前期团队实操
• 专业顾问咨询辅导

开放免费体验科目

新店试业期间，CDA数据分析师&九宫格·数据治理与分析体验店数个技术场景科目免费体验，从数据预处理、数据探查与诊断、数据清洗规则与标准化设计、数据集成、数据优化、数据质量监控到数据分析和数据挖掘等全流程场景，了解数据从产生到处理到应用的相关逻辑与实操路径，实现一个闭环体验并赋能个人技能习得或团队项目预演。

体验预约须知

1. 体验店开放地点

北京店：北京市海淀区高梁桥斜街59号院1号楼13层1306

广州店：广州市天河区体育东路122号羊城商贸中心西塔1010

深圳店：深圳市福田区新闻路华丰大厦303

2. 体验店开放时间

周一至周五 9:00-18:00

3. 体验预约流程

填写预约申请表单——后台审核体验资格——沟通确认体验时间地点——上门体验

4. 体验内容说明

每个场景科目均包含高级顾问辅导与自由实操环节，以确保用户了解操作方法并能自主操作获得结果。如需更多操作原理与数据治理与分析理论方法，敬请关注体验店后续推出的培训课程。

5. 温馨提示

新店开业期间针对既定科目场景开放免费体验，限时限量，请尽快预约体验。

不同科目体验涉及不同时长，敬请注意体验期间差旅住宿餐饮等费用需自理。

*该活动最终解释权归九宫格数据·数据治理与分析体验店所有。

码上预约体验，开启不一样的数据之旅