登录
首页大数据时代如何战胜机器学习工程师冒名顶替综合症
如何战胜机器学习工程师冒名顶替综合症
2022-02-21
收藏

语境

当我第一次申请l时,我想同时成为一名自由职业者和一名“真正的ML工程师”。

在此之前,我在Nordeus担任机器学习工程师,Nordeus是一家顶级移动游戏公司,以其旗舰游戏TopEleven上有穆里尼奥的脸而闻名。我在Nordeus的机器学习经历包括设计和实现一个智能系统,以帮助客户支持团队更快地解决玩家问题。它的本质是从大量的历史球员门票和代理决议中构建一个文本分类器。

我考虑了整个系统,数据(至少我是这么想的),以及对GPU的访问。从纸面上看,一切似乎都对我来说刚刚好,可以展示一个伟大的模型和一个更好的解决方案。

但这从未发生过。令我绝望的是,我花了一个多月的时间才意识到,我试图用来训练我的监督模型的数据集已经非常糟糕了。在意识到这一点之前,我花了数不清的时间和Jupyter笔记本试图让整个事情运转起来。我工作太忙了,抽不出时间看资料。我们可以说我缺乏经验没有帮助。

在这个失败的项目三个月后,我决定辞去工作,在Toptal开始我的自由职业之路。经过几轮面试和技术筛选,我进入了最后一轮。猜猜看?我得解决一个机器学习作业。几乎和我以前失败的那个一模一样。我有一周的时间来完成它。

很难描述那一周我不得不与之作斗争的消极自我谈话的数量。冒名顶替综合症的长长的阴影迷惑了我的头脑。

这一章有一个圆满的结局。我很好地解决了这个问题,我进入了托普塔尔。三年10个项目后,我可以说我处理冒名顶替综合症好多了。

提示1。勇敢尝试自由职业

勇敢是对你帮助最大的事情。自由职业者是勇敢的。如果你想了解更多,请查看我以前关于如何成为自由数据科学家的文章。

当你作为自由职业者/承包商工作时,来自你工作的反馈不会出现在季度或年度审查中。它每天都来。没有办法破解。客户期望您提供质量和快速。顺便说一句,这就是为什么你会比在目前的工作中得到更好的报酬的主要原因。

一旦你觉得你已经掌握了ML的基本原理,就把自己放在拳击台上。考验你自己。你很聪明,你能做到。参加更多的在线课程并不能让冒名顶替综合症消失。相信我.

IMHO排名前2的自由职业平台是

  • 托普塔尔。全球排名第一的顶尖人才自由职业平台。他们有一个相当苛刻的申请过程,但这是非常值得经历的。这些天,伟大的企业和新兴的初创企业都在使用Toptal来实现ML解决方案。到达那里会给你很多发光的机会。
  • 脑力信任。一个新兴的人才网络,受到新鲜的新经济模式的启发(听说过以太坊吗?)。他们长得很快,我希望他们很快就能赶上托普塔尔。

提示2。永远不要忘记数据。从不

由于数据(大写字母,是的),ML工程比传统软件工程更难。

很少有机会给你一套完整的特性和标签来构建你的ML模型。相反,您通常需要自己生成训练数据。在这个意义上,我遇到的最常见的问题是:

  • 训练数据有缺陷。通常,您从SQL查询和某种Python脚本生成这些数据,以自动提取原始特征和标签。编写SQL查询很简单,但调试它们可能相当困难。提高你的SQL技能是成为一个更好的ML工程师所能做的最好的事情之一。
  • 训练数据不完整。在生成训练数据的第一个版本之后,您将跳转到ML开发的下一个阶段,并构建一个快速的基线模型。通常情况下,这个基线模型不足以解决业务问题,因此您需要迭代。没有经验的ML开发人员往往过多地关注于改进模型,而忘记了他们创建的数据集。这是一个典型的错误,会导致挫败感和冒名顶替综合症的感觉。回到数据上去。扩展SQL查询以添加更多相关功能。与您环境中的领域专家(数据工程师、商业智能人员……)交谈,这些专家可以帮助您获取数据,从而移动针并解除阻塞。

数据是推动所有模型的神奇成分,从简单的线性回归到巨大的变压器模型。如果燃料不好,你开哪辆车都无关紧要。你不打算搬家。

这听起来如此琐碎和愚蠢,以至于我们(我包括我自己)ML工程师有一种令人惊讶的忘记的倾向。当您获得更多构建ML解决方案的经验时,您会更好地记住这一点,并在遇到问题时返回数据。

不能使用Stackoverflow调试数据集。你一个人在那里。你需要改变你的心态。你必须表现得像个解决问题的人。您需要了解数据集,最好的方法是将其可视化。我个人喜欢Tableau Desktop,但也有其他选择,如Power BI、Apache Superset等。如果您愿意,甚至还有Python库,如SweetViz。

无论您喜欢哪种工具,每次卡住时都要返回数据。

提示3:不要期望知道所有的事情(尤其是在开始的时候)。

机器学习是一个涵盖广泛技术复杂性的领域:软件开发、操作化(MLOps)、经典ML、深度学习的前沿研究、硬件优化…

如果你试图掩盖一切,你会失去焦点,在表面上游荡太多。了解ML中的某些内容意味着您已经自己实现了它。句号。

例如,跟上DL的最新进展是非常棒的。但要有原则地去做。为自己设定一个明确的目标(例如,我想成为变压器模型的专家),并为自己建立一条通往该目标的道路,选择相关的论文、图书馆、网络研讨会,甚至会议。

从一个话题跳到另一个话题让你很忙但注意力不集中。保持谦逊。从小处着手,集中精力。一旦你到达那里,迈出下一步,征服另一个领域。

结论

克服你的恐惧是每天(全职)的工作。不仅仅是在机器学习中,而是在你生活的每个方面,在这些方面你希望明天成长和变得更好。


数据分析咨询请扫描二维码

客服在线
立即咨询