【核心关键词】调度、岗位、数据库、企业、报表、培训、程序、数据分析、数据加工、业务部门、企业数据、调度工具、业务指标、数据统计、需求承接、数据需求、指标数据、部门需求

【专访摘要】本次CDA持证专访邀请到中国电信股份有限公司广西电信分公司数据运维岗林雪，她详解了数据运维岗与传统运维岗的区别、ETL技术在工作中的具体应用，分享了企业业务发展报告的分析逻辑、电信内部数据分析岗位的分工，以及工作中的实用经验与心态建议，为数据运维从业者提供了清晰指引。

【主持人】大家好，今天我们邀请到了林雪来参加我们CDA持证人的专访，林雪可以和大家打个招呼。

【嘉宾】哈喽，大家好，我叫林雪，我毕业于广西师范大学，目前就职于中国电信股份有限公司广西电信分公司，任职数据运维岗。我主要是负责企业数据门户的运维、数据开发和调度工具的管理与培训，以及统计需求的承接。

【主持人】我看您的岗位是数据运维岗，这个岗位的名字听起来还是蛮新的，这个跟传统的运维岗有什么不同吗？

【嘉宾】狭义的来说，我们这个数据运维岗在工作中发挥的作用就是要保障我们企业数据门户系统的统计报表每天能够按时出数据。那么有人可能就有疑问了，设定好的程序，它自动出数就可以了，为什么要专门设置一个数据运维的岗位？因为我们的企业数据门户系统在那几百张企业门户报表的后面，实际上是上千个ETL调度任务。那ETL调度任务简单的来说就是数据的抽取、转换和加载，可以简单的理解为是进行数据的加工，那这上千个ETL调度任务环环相扣，一个任务完成了，下一个任务就要接上来，最终完成一张报表所需要的指标数据，这样的过程日复一日，年复一年的执行着。

【嘉宾】那么在这个过程中我们会有几个常见的问题，比如说数据库的空间占满了，磁盘空间满了，需要扩容表数据，每个月、每一年我们都会有新增的分区，这些分区都是要有运维人员去手工建设的。本身我们ETL工具所在的服务器是否稳定？是否会宕机？会不会出现ETL调度工具进程挂死的情况？还有第四，上游系统是否能够准时的送数据到我们的数据中台来进行加工？我们有时候会碰到这样的情况，在数据加工过程中也会经常出现一些数据的纰漏，比如说Oracle数据库，当它使用字符型来记录一个数值型的数据时，我们对字符型的字段直接进行合计，Oracle数据库是能够自动进行类型的转换的。这种时候假如有一天上游系统在字符型的记录里面真的输入了汉字，那么我们下游的隐式转换在数据统计过程中做的隐式的转换就会报错了，你整一个ETL存储过程就会报错，下游所有等待这张表进行加工的数据，就会一直卡死在那里，所以说同学们，以后就会发现了，统计程序开发好之后，它不是一劳永逸的，你要保证数据能按时按量的、按质量的出来。

【主持人】我看您的工作中ETL是一个关键词，您的工作中主要用到ETL哪些技术都是如何结合到您的岗位的呢？

【嘉宾】ETL在我们狭义的定义里面，它实际上是一套工具，那这套工具它的作用就是把一个个收口串起来，它这套工具用来设定每一个收口先后的执行顺序，并且辅助判断收口执行的先决条件是不是满足。当我们一个指标是由十几张表串起来加工完成的时候，这些表的加工会有一个先来后到的问题，你先完成的收口加工要等后面完成的任务，所有的表数据都跑出来之后，才能够进入到下一个环节。技术它主要是要掌握三个方面。第一个方面我们SQL要熟练，我们常用的有Oracle的SQL、MySQL SQL、Hive SQL，实际的生产中，你一个大宽表的加工都是上千行的SQL代码的，你不能不熟练掌握SQL技术，你没有办法去，哪怕去读别人写好的代码，你都没办法读下去。

【嘉宾】还有一个就是第二个，第二点就是你业务一定要熟练，你要加工的表字段，重要的那些表字段你都需要明白都是什么意思。第三点就是你的工具要熟悉你这个ETL工具，你要掌握它，每个公司都会有自己专用的ETL工具，这个工具不是很难的，难点在什么地方，就是开发好后的ETL程序，它也是一个程序嵌套一个程序的，你要熟悉ETL的生产流程，这个生产流程是属于业务知识的一部分。那么第四点治理理论你需要懂得一点。我们数据加工的分层，什么是接口层、整合层、中间层、应用层，它是怎么划分的？每一个层级，它所承担的数据加工任务是什么？

【主持人】企业业务发展报告的需求方案分析。这个我还是蛮感兴趣的，可以展开说说吗？比如是做宏观分析还是微观呢？具体用到了什么方法论和工具？

【嘉宾】我们是属于IT部门，是数据的中台，汇聚是企业的所有业务系统。直白的说就是所有系统的数据库里面的表和记录在需要的时候都同步送到我们数据中台的Hadoop的集群来，各业各系统的数据无论是营业受理还是计费缴费，或者是物资领取，又或者是客服质量，各种业务数据汇聚过来，在数据中台进行数据的清洗、加工，组合成一个一个的业务发展的指标。

【主持人】中间为网友插播一条八卦，就是在中国电信做数据分析师是一种什么体验呢？

【嘉宾】电信内部做数据分析的岗位，它分得很细致，有业务部门的数据分析岗位，也有在IT部门的数据分析岗位，它也有三个方向，数据运维岗、数据分析岗和数据需求承接岗，他每一个人会对接着一个部门，专注地去了解这一块业务部门的一些业务指标的含义、表的数据字典、ETL调度逻辑，有点像一个小型的项目经理，因为你对接业务部门需求，要对接业务的同事，你要对厂家要沟通好，安排好他们的开发进度和开发要求，要解决厂家的同事在开发的过程中碰到的问题，需要协调的很多工作，你要协调数据的接入，网络的开通，你要去沟通和解释在指标的歧义，你对业务部门的理解是不是到位，还有要沟通系统和系统之间的一些数据的同步，运维的值班，我们还要做工具的培训，报表的培训，所以还是很多的统筹工作。

【主持人】最后可以给大家分享一些工作中的经验和教训。

【嘉宾】我们在工作的时候经常要出去一些报告，展示哪些数据，不展示哪些数据，其实会有一个取舍的问题，有时候就觉得好像很难取舍，也很难抉择。我就告诉大家一个方法，大家先头脑风暴，把所有的指标都想全了，你想展示什么？你能想到的指标你都列全了，在列全了之后再进行指标跟指标之间的比较，再拿掉一些次要的指标和数据，经过这样的一轮先多再少的过程，你就很容易头脑清晰。有时候会说，诶，你为什么这个人工作能力很强？这个人工作能力就很普通。什么是强呢？对于大家来说，你既快又好的出活就是你强的表现，你能不能自己给自己施加压力，自己对自己提出要求，你就是要做到你能做到最好的一点，那这种主动的给自己施加压力的这样的一个过程会促进你的成长。那平时我们做事的心态要比较谦虚，心态要放低。我们古话说，三人行，必有我师，多学别人的优点，做事之前先做人，乐于帮助别人是说你举手之劳，在自己擅长并且有余力的时候提供给对方帮助。

【主持人】感谢林雪的分享，从技术到心态，每一位持证人的分享都是结合自己的工作经验来给大家介绍，如何把学到的知识运用到工作中，需要大家不断的探索，然后在工作中成长。今天的持证人采访就到这里，我们下期再见。

推荐学习书籍 《CDA一级教材》适合CDA一级考生备考，也适合业务及数据分析岗位的从业者提升自我。完整电子版已上线CDA网校，累计已有10万+在读~ !

免费加入阅读：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0