京公网安备 11010802034615号
经营许可证编号:京B2-20210330
在一天结束时,数据科学家为一个组织提供的价值在于他们将数据应用于真实世界的使用案例的能力。
共享364
介绍
我最近读了一篇文章,描述数据科学是一个过度饱和的领域。这篇文章预测,ML工程师将在未来几年内取代数据科学家。
根据这篇文章的作者,大多数公司都致力于用数据科学来解决非常类似的业务问题。由于这个原因,数据科学家就没有必要想出新的方法来解决问题。
作者继续说,在大多数数据驱动的组织中,为了解决问题,只需要基本的数据科学技能。这个角色很容易被机器学习工程师取代--一个拥有数据科学算法基本知识的人,他还拥有部署ML模型的知识。
在过去的一年里,我读过很多类似的文章。
其中一些文章指出,数据科学家的角色将被像AutoML这样的工具所取代,而另一些文章则提到数据科学是一个 "垂死的领域",很快就会被数据工程和ML运营等角色所超越。
作为一个与数据行业的不同支柱紧密合作的人,我想提供我对这个话题的看法,并沿着这些思路回答问题。
- 数据科学是一个正在消亡的职业吗?在未来几年内还会有对它的需求吗?
- 自动化工具是否会使数据科学家失去工作?
- 数据科学是否已经过饱和,在不久的将来,该领域是否会被新的角色所取代?
- 数据科学家对组织有利可图吗?他们如何为企业增加价值?
是否需要数据科学家?
大多数组织内的数据科学工作流程是非常相似的。许多公司雇用数据科学家来解决类似的业务问题。大多数建立的模型不需要你想出新颖的解决方案。
在这些组织中,你将采取的解决数据驱动问题的大多数方法很可能已经被使用过了,你可以从网上的海量资源中借用灵感。
另外,像AutoML和DataRobot这样的自动化工具的兴起,使预测性建模变得更加容易。
我在一些商业案例中使用了DataRobot,它是一个伟大的工具。它对许多数值进行迭代,并为你的模型选择最佳的参数,以确保你最终获得最高度准确的模型。
因此,如果预测性建模随着时间的推移已经变得更容易,为什么公司仍然需要数据科学家?为什么他们不直接使用自动化工具和ML工程师的组合来管理他们的整个数据科学工作流程?
答案很简单。
首先,数据科学从来都不是为了重新发明轮子或建立高度复杂的算法。
数据科学家的作用是用数据为组织增加价值。而在大多数公司,这其中只有很小一部分涉及到构建ML算法。
其次,总有一些问题是无法通过自动化工具解决的。这些工具有一套固定的算法,你可以从中挑选,如果你确实发现了一个需要结合各种方法来解决的问题,你就需要手动去做。
虽然这种情况并不经常发生,但还是会发生--作为一个组织,你需要雇佣足够熟练的人去做这件事。此外,像DataRobot这样的工具不能做数据预处理或任何在建立模型之前的繁重工作。
人文关怀
作为一个曾为初创公司和大公司创建数据驱动解决方案的人,情况与处理Kaggle数据集的情况非常不同。
没有固定的问题。通常情况下,你有一个数据集,然后给你一个商业问题。你要想出如何处理客户数据,使公司的销售额最大化。
这意味着,数据科学家需要的不仅仅是技术或建模技能。你需要将数据与手头的问题联系起来。你需要决定能够优化你的解决方案的外部数据源。
数据预处理是漫长而艰苦的,这不仅仅是因为它需要强大的编程技能,还因为你需要试验不同的变量以及它们与手头问题的相关性。
你需要将模型的准确性与转换率等指标联系起来。
模型的建立并不总是这个过程的一部分。有时,一个简单的计算可能就足以执行像客户排名这样的任务。只有一些问题需要你真正拿出一个预测。
在一天结束时,数据科学家为一个组织提供的价值在于他们将数据应用于现实世界的用例的能力。无论是建立细分模型、推荐系统,还是评估客户潜力,除非结果是可解释的,否则对组织没有真正的好处。
只要数据科学家能够在数据的帮助下解决问题,在技术和业务技能之间架起桥梁,这个角色就会继续存在下去。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
一、需求从哪来 做 Excel 报表时,"从一个透视表取数据"这个需求通常有三种来源: 汇总页引用:明细透视表在另一个 sheet,汇总 ...
2026-11-11一、透视表的价值在哪 一句话概括:数据透视表把"写公式汇总"变成了"拖字段看结果"。 传统做法要写 SUMIFS、COUNTIFS,改一个维 ...
2026-11-11核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-11核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-11一、回归分析到底在解决什么问题 很多人学回归分析,是从公式开始的:最小二乘法、残差平方和、R²、t 检验。公式记住了,但一到 ...
2026-11-10一、等级聚类法是什么 等级聚类法(Hierarchical Clustering),中文也叫系统聚类法、层次聚类法,是聚类分析里最经典的一类方法 ...
2026-11-10考试范围 PART 1 大数据基础理论 占比(8% ) a. 大数据分析基础(1%) b. Python 基础(5%) c. Linux & Ubuntu 操作系统基 ...
2026-11-10一、业务背景 在后台列表、管理系统、报表页面的分页需求里,前端通常需要两份数据:当前页的分页记录、符合筛选条件的数据总条 ...
2026-11-09一、需求看起来简单,实际坑不少 "把文本里所有中括号 [] 中间的内容提取出来"——这是文本清洗里最常见的需求之一。日志里的 [I ...
2026-11-09大数据分析师证书考什么 考试范围 PART 1 大数据基础理论 占比(8% ) a. 大数据分析基础(1%) b. Python 基础(5%) c. Li ...
2026-11-09CDA数据分析师 出品 作者:李诗怡 一、数据处理概述 定义: 在正式开展数据分析之前,对原始采集的数据进行整理、修正、加工和精 ...
2026-11-06一、为什么数据要先标准化 拿到一份数据,各列的量纲往往完全不同:年龄单位是"岁"(约 20~60),收入单位是"元"(几千到几万) ...
2026-11-06一、为什么 Python 成了统计分析的主流工具 十年前做统计分析,主流选择是 SPSS、SAS、Stata。现在越来越多的研究者、分析师转向 ...
2026-11-06核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-06“大学生必备证书有哪些”最容易被答成一张越长越好的清单。但校招筛选的真实逻辑是:证书要对应你投的岗位任务,并且在校期间确 ...
2026-11-05大学期间能报的证书,先别急着看“含金量榜单”。更实用的第一步是问:我现在这个身份、这个学历,符合报考条件吗? 很多证书宣 ...
2026-11-05大学期间能考的证书很多,但真正需要先回答的是两个问题:当前有没有报考资格,以及这张证书对应什么岗位任务。 前者决定你能不 ...
2026-11-05先把结论说清楚:真正“只有在校大学生能考、毕业就彻底没资格”的证书数量不多,主要集中在语言类考试的部分专项、面向高校学生 ...
2026-11-05上班族问“考什么证书有用”,真正要解决的不是找一张“最值钱”的证,而是判断哪张证能嵌进你现有的岗位任务。同样一张证书,做 ...
2026-11-05职称证书不是统一的考试项目。同样“考职称”,经济、会计、统计、审计、软考走全国统一考试,工程、教师、卫生等系列多数走评审 ...
2026-11-05