我最近读到一篇文章,将数据科学描述为一个过饱和的领域。文章预测ML工程师将在未来几年取代数据科学家。
根据这篇文章的作者,大多数公司致力于用数据科学解决非常相似的业务问题。因此,数据科学家没有必要提出解决问题的新方法。
作者接着说,在大多数数据驱动的组织中,为了解决问题,只需要基本的数据科学技能。这个角色很容易被机器学习工程师取代--一个拥有数据科学算法基础知识的人,他也拥有部署ML模型的知识。
在过去的一年里,我读过许多类似的文章。
其中一些人表示,数据科学家的角色将被AutoML之类的工具所取代,而另一些人则将数据科学称为“垂死的领域”,很快将被数据工程和ML操作之类的角色所超越。
作为一个与数据行业不同支柱密切合作的人,我想就这个主题提供我的观点,并回答以下问题:
大多数组织中的数据科学工作流程非常相似。许多公司雇佣数据科学家来解决类似的商业问题。大多数建立的模型都不需要你想出新颖的解决方案。
在这些组织中,您将采用的解决数据驱动问题的大多数方法很可能以前已经使用过,您可以从网上可用的大量资源中获得灵感。
此外,AutoML和DataRobot等自动化工具的兴起使预测建模变得更加容易。
我在一些业务用例中使用DataRobot,它是一个很好的工具。它迭代许多值,并为您的模型选择最佳参数,以确保最终得到尽可能高精度的模型。
因此,如果预测模型随着时间的推移变得更加容易,为什么公司仍然需要数据科学家?为什么他们不直接使用自动化工具和ML工程师的组合来管理他们的整个数据科学工作流呢?
答案很简单:
首先,数据科学从来不是关于重新发明轮子或构建高度复杂的算法。
数据科学家的角色是用数据为组织增加价值。在大多数公司中,只有很小一部分涉及到构建ML算法。
其次,总会有自动化工具无法解决的问题。这些工具有一组固定的算法,您可以从中选择,如果您确实发现了一个需要结合使用多种方法来解决的问题,您将需要手动完成。
虽然这种情况并不经常发生,但仍然会发生--作为一个组织,你需要雇佣足够熟练的人来做到这一点。此外,像DataRobot这样的工具不能进行数据预处理,也不能进行建模之前的任何繁重工作。
作为一个为初创企业和大公司创建数据驱动解决方案的人,这种情况与处理Kaggle数据集的情况非常不同。
没有固定的问题。通常,您有一个数据集,然后给您一个业务问题。如何利用客户数据来最大限度地提高公司的销售额取决于您。
这意味着数据科学家需要的不仅仅是技术或建模技能。您将需要将数据与手头的问题连接起来。您需要决定可以优化解决方案的外部数据源。
数据预处理是漫长而艰苦的,不仅因为它需要很强的编程技能,还因为您需要试验不同的变量及其与手头问题的相关性。
您需要将模型精确度与转换率之类的指标联系起来。
模型构建并不总是这个过程的一部分。有时,一个简单的计算可能足以执行像客户排名这样的任务。只有一些问题需要你做出预测。
归根结底,数据科学家为组织提供的价值在于他们将数据应用于现实世界用例的能力。无论是建立细分模型、推荐系统,还是评估客户潜力,除非结果是可解释的,否则对组织没有真正的好处。
只要一个数据科学家能够在数据的帮助下解决问题,并弥合技术和业务技能之间的差距,这个角色就会继续存在。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14