分析工程师是DBT创造(并使之成为可能)的一个新职位。如果一个数据工程师(DE)和一个数据分析师(DA)结婚,他们有一个女婴,这个女婴将是一个分析工程师(AE)。嗯,它不是那样工作的,但你明白了。
语境
AE通常从DA开始创建仪表板并执行临时查询。她想做得更多,因为那个家伙像蜗牛一样工作。她对自己的数据了如指掌,因为她每天花几个小时使用她的疯狂SQL技能来导航数据。她还对业务了如指掌,每天都要与他们互动。但她面临着巨大的挑战,想要承担德盖伊的工作。以下是其中一些:
-
管道是用Python构建的,她不知道如何编码(除了SQL)。
-
DE guy提到了一些关于使用git来跟踪源代码中的更改的事情。她把她的SQL代码存储在word文件中…
-
她对产生数据的系统知之甚少。
-
团队使用各种各样的工具,她并不都熟悉。
-
那个德家伙认为这凌驾于她之上,这更激怒了她。
解决方案
要是我们的DA gal能做傲慢的DE做的工作而不成为他就好了…Enterdbt(数据构建工具)!你会问,像这样的工具如何在这个领域创造一个全新的位置?让我们看看。
-
她可以用SQL而不是Python编写转换代码。什么?
-
她可以通过编程方式测试joins语句中的重复。真的吗?
-
她可以编写数据文档,这样业务人员就会少打扰她。不错!
-
她可以使用SQL模板使用for循环和变量、pivot数据。太棒了!
-
她可以显示数据谱系,这样人们就可以知道数据来自哪里,以及如何处理这些数据。太棒了!
进化
就这样,我们的DA gal进化成了ae。
我开玩笑的。它不是那样工作的。学习新东西需要时间、努力和承诺。如果你能了解我们的爸爸女孩的故事,我想这篇文章会让你受益。
这里有一个自以为是的技能和技术清单我认为是成为AE忍者所必需的。
-
SQL忍者:如果你是一名士兵,那么SQL就像你的武器。SQL已经成为数据提取和转换的标准。作为AE或DA,您必须尽可能熟悉SQL。
-
Git战士:Git是团队协作的强大工具。你应该像手臂的延伸一样挥舞这把武器。
-
DBTGuru:DBT是使AE和DA能够完成DE工作的技术。使用dbt,您可以轻松地参与以前的去only工作,并对数据进行大量处理。
-
BI tools Expert:仪表板不仅是数字和图形,而且是讲述故事的强大工具。
-
云冠军:云计算是第四次工业革命的原因之一。成为云冠军只能帮助你的职业发展。
-
Scrum Master:Scrum是一个利用敏捷思维来开发、交付和维持复杂项目的框架。
-
文档倡导者:作为人类,我们只有通过集体学习才能走到这一步。写作是一种有效的交流工具,你将从练习中受益匪浅。
资源
下面是我们在新的分析工程师上使用的atJoon Solutionst的资源。它作为一个清单效果更好,所以也许你可以把这些复制到你最喜欢的笔记应用程序中。
我不能保证按照这个,你就会成为一个AE。但我相信,沿着这条路,您可以学到很多东西,并且有了正确的环境和团队,您将发展成为一名分析工程师忍者。
快乐学习!
我变成了aSQL忍者
-
我上了3所学校的SQLUCL课程
-
我已经上了qlboltcourse
-
我已经检查了BigQuery语法,并问了我需要的所有问题
-
我至少研究了oneBigQuery公共数据集,并做了一些很酷的查询。
-
我知道Window函数是什么以及如何使用它们
-
我已经签出了其他资源,如this、this、this
-
我承认sql很强大
我已成为aGit战士
-
我知道什么
-
我知道典型的Algit工作流是什么样子的
-
我已经创建了一个测试repo、一个提交和一个请求
-
我知道什么是SSH密钥,在哪里找到它,以及如何将它添加到我的GitHub帐户
-
我已经查看了一些很酷的资源,比如这个,这个,还有这个
我已成为adbt大师
-
我知道dbt是什么,为什么它很强大
-
我读过分析工程师指南
-
我上过dbton-demand课程
-
我从头开始建立了一个dbt项目,并建立了一些很棒的模型
-
我已经通读并理解了DBT项目清单
-
我已经通读并理解了这些最佳实践
-
我已经通读并理解了DBT编码约定
-
我已经准备好用dbt构建真正的项目了
我已成为aBI工具专家
-
我已经研究了BI工具的前景,并知道那里有什么
-
我读过分析设置指南
-
我已经试用并用Power BI构建了一个仪表板
-
我已经试用并用元数据库构建了一个仪表板
-
我已经尝试并建立了一个带有全息的仪表板
-
我已经用Data Studio试用并构建了一个仪表板
-
我可以自信地说,我知道什么BI工具适合不同的需求
我已经成为aCloud冠军
-
我知道一家大型云服务提供商的任何服务
-
我知道使用云的好处
-
我已经尝试创建一个BigQuery数据集和Loaded datain
-
我试过outBigQuery MLand知道用SQL创建ML模型有多容易
我已成为aScrum大师
-
我知道crum的开发过程
-
我读过关于Jira的Scrum开发
-
我在data teamshere和这里读到过scrum
-
我知道CI/CD,也知道为什么数据团队也应该使用它
我已成为aDocumentation倡导者
-
我把学到的东西记录在案以供参考
-
我已经写了至少两篇关于我在90天里所学到的博客文章
-
我一直在努力提高我的写作技巧,包括使用这个,阅读这个,和这个