登录
首页大数据时代90天成为分析工程师
90天成为分析工程师
2022-02-28
收藏

分析工程师是DBT创造(并使之成为可能)的一个新职位。如果一个数据工程师(DE)和一个数据分析师(DA)结婚,他们有一个女婴,这个女婴将是一个分析工程师(AE)。嗯,它不是那样工作的,但你明白了。

语境

AE通常从DA开始创建仪表板并执行临时查询。她想做得更多,因为那个家伙像蜗牛一样工作。她对自己的数据了如指掌,因为她每天花几个小时使用她的疯狂SQL技能来导航数据。她还对业务了如指掌,每天都要与他们互动。但她面临着巨大的挑战,想要承担德盖伊的工作。以下是其中一些:

  • 管道是用Python构建的,她不知道如何编码(除了SQL)。
  • DE guy提到了一些关于使用git来跟踪源代码中的更改的事情。她把她的SQL代码存储在word文件中…
  • 她对产生数据的系统知之甚少。
  • 团队使用各种各样的工具,她并不都熟悉。
  • 那个德家伙认为这凌驾于她之上,这更激怒了她。

解决方案

要是我们的DA gal能做傲慢的DE做的工作而不成为他就好了…Enterdbt(数据构建工具)!你会问,像这样的工具如何在这个领域创造一个全新的位置?让我们看看。

  • 她可以用SQL而不是Python编写转换代码。什么?
  • 她可以通过编程方式测试joins语句中的重复。真的吗?
  • 她可以编写数据文档,这样业务人员就会少打扰她。不错!
  • 她可以使用SQL模板使用for循环和变量、pivot数据。太棒了!
  • 她可以显示数据谱系,这样人们就可以知道数据来自哪里,以及如何处理这些数据。太棒了!

进化

就这样,我们的DA gal进化成了ae。

我开玩笑的。它不是那样工作的。学习新东西需要时间、努力和承诺。如果你能了解我们的爸爸女孩的故事,我想这篇文章会让你受益。

这里有一个自以为是的技能和技术清单我认为是成为AE忍者所必需的。

  • SQL忍者:如果你是一名士兵,那么SQL就像你的武器。SQL已经成为数据提取和转换的标准。作为AE或DA,您必须尽可能熟悉SQL
  • Git战士:Git是团队协作的强大工具。你应该像手臂的延伸一样挥舞这把武器。
  • DBTGuru:DBT是使AE和DA能够完成DE工作的技术。使用dbt,您可以轻松地参与以前的去only工作,并对数据进行大量处理。
  • BI tools Expert:仪表板不仅是数字和图形,而且是讲述故事的强大工具。
  • 云冠军:云计算是第四次工业革命的原因之一。成为云冠军只能帮助你的职业发展。
  • Scrum Master:Scrum是一个利用敏捷思维来开发、交付和维持复杂项目的框架。
  • 文档倡导者:作为人类,我们只有通过集体学习才能走到这一步。写作是一种有效的交流工具,你将从练习中受益匪浅。

资源

下面是我们在新的分析工程师上使用的atJoon Solutionst的资源。它作为一个清单效果更好,所以也许你可以把这些复制到你最喜欢的笔记应用程序中。

我不能保证按照这个,你就会成为一个AE。但我相信,沿着这条路,您可以学到很多东西,并且有了正确的环境和团队,您将发展成为一名分析工程师忍者。

快乐学习!

我变成了aSQL忍者

  • 我上了3所学校的SQLUCL课程
  • 我已经上了qlboltcourse
  • 我已经检查了BigQuery语法,并问了我需要的所有问题
  • 我至少研究了oneBigQuery公共数据集,并做了一些很酷的查询。
  • 我知道Window函数是什么以及如何使用它们
  • 我已经签出了其他资源,如this、this、this
  • 我承认sql很强大

我已成为aGit战士

  • 我知道什么
  • 我知道典型的Algit工作流是什么样子的
  • 我已经创建了一个测试repo、一个提交和一个请求
  • 我知道什么是SSH密钥,在哪里找到它,以及如何将它添加到我的GitHub帐户
  • 我已经查看了一些很酷的资源,比如这个,这个,还有这个

我已成为adbt大师

  • 我知道dbt是什么,为什么它很强大
  • 我读过分析工程师指南
  • 我上过dbton-demand课程
  • 我从头开始建立了一个dbt项目,并建立了一些很棒的模型
  • 我已经通读并理解了DBT项目清单
  • 我已经通读并理解了这些最佳实践
  • 我已经通读并理解了DBT编码约定
  • 我已经准备好用dbt构建真正的项目了

我已成为aBI工具专家

  • 我已经研究了BI工具的前景,并知道那里有什么
  • 我读过分析设置指南
  • 我已经试用并用Power BI构建了一个仪表板
  • 我已经试用并用元数据库构建了一个仪表板
  • 我已经尝试并建立了一个带有全息的仪表板
  • 我已经用Data Studio试用并构建了一个仪表板
  • 我可以自信地说,我知道什么BI工具适合不同的需求

我已经成为aCloud冠军

  • 我知道一家大型云服务提供商的任何服务
  • 我知道使用云的好处
  • 我已经尝试创建一个BigQuery数据集和Loaded datain
  • 我试过outBigQuery MLand知道用SQL创建ML模型有多容易

我已成为aScrum大师

  • 我知道crum的开发过程
  • 我读过关于Jira的Scrum开发
  • 我在data teamshere和这里读到过scrum
  • 我知道CI/CD,也知道为什么数据团队也应该使用它

我已成为aDocumentation倡导者

  • 我把学到的东西记录在案以供参考
  • 我已经写了至少两篇关于我在90天里所学到的博客文章
  • 我一直在努力提高我的写作技巧,包括使用这个,阅读这个,和这个


数据分析咨询请扫描二维码

客服在线
立即咨询