京公网安备 11010802034615号
经营许可证编号:京B2-20210330
在一天结束时,数据科学家为一个组织提供的价值在于他们将数据应用于真实世界的使用案例的能力。
共享364
介绍
我最近读了一篇文章,描述数据科学是一个过度饱和的领域。这篇文章预测,ML工程师将在未来几年内取代数据科学家。
根据这篇文章的作者,大多数公司都致力于用数据科学来解决非常类似的业务问题。由于这个原因,数据科学家就没有必要想出新的方法来解决问题。
作者继续说,在大多数数据驱动的组织中,为了解决问题,只需要基本的数据科学技能。这个角色很容易被机器学习工程师取代--一个拥有数据科学算法基本知识的人,他还拥有部署ML模型的知识。
在过去的一年里,我读过很多类似的文章。
其中一些文章指出,数据科学家的角色将被像AutoML这样的工具所取代,而另一些文章则提到数据科学是一个 "垂死的领域",很快就会被数据工程和ML运营等角色所超越。
作为一个与数据行业的不同支柱紧密合作的人,我想提供我对这个话题的看法,并沿着这些思路回答问题。
- 数据科学是一个正在消亡的职业吗?在未来几年内还会有对它的需求吗?
- 自动化工具是否会使数据科学家失去工作?
- 数据科学是否已经过饱和,在不久的将来,该领域是否会被新的角色所取代?
- 数据科学家对组织有利可图吗?他们如何为企业增加价值?
是否需要数据科学家?
大多数组织内的数据科学工作流程是非常相似的。许多公司雇用数据科学家来解决类似的业务问题。大多数建立的模型不需要你想出新颖的解决方案。
在这些组织中,你将采取的解决数据驱动问题的大多数方法很可能已经被使用过了,你可以从网上的海量资源中借用灵感。
另外,像AutoML和DataRobot这样的自动化工具的兴起,使预测性建模变得更加容易。
我在一些商业案例中使用了DataRobot,它是一个伟大的工具。它对许多数值进行迭代,并为你的模型选择最佳的参数,以确保你最终获得最高度准确的模型。
因此,如果预测性建模随着时间的推移已经变得更容易,为什么公司仍然需要数据科学家?为什么他们不直接使用自动化工具和ML工程师的组合来管理他们的整个数据科学工作流程?
答案很简单。
首先,数据科学从来都不是为了重新发明轮子或建立高度复杂的算法。
数据科学家的作用是用数据为组织增加价值。而在大多数公司,这其中只有很小一部分涉及到构建ML算法。
其次,总有一些问题是无法通过自动化工具解决的。这些工具有一套固定的算法,你可以从中挑选,如果你确实发现了一个需要结合各种方法来解决的问题,你就需要手动去做。
虽然这种情况并不经常发生,但还是会发生--作为一个组织,你需要雇佣足够熟练的人去做这件事。此外,像DataRobot这样的工具不能做数据预处理或任何在建立模型之前的繁重工作。
人文关怀
作为一个曾为初创公司和大公司创建数据驱动解决方案的人,情况与处理Kaggle数据集的情况非常不同。
没有固定的问题。通常情况下,你有一个数据集,然后给你一个商业问题。你要想出如何处理客户数据,使公司的销售额最大化。
这意味着,数据科学家需要的不仅仅是技术或建模技能。你需要将数据与手头的问题联系起来。你需要决定能够优化你的解决方案的外部数据源。
数据预处理是漫长而艰苦的,这不仅仅是因为它需要强大的编程技能,还因为你需要试验不同的变量以及它们与手头问题的相关性。
你需要将模型的准确性与转换率等指标联系起来。
模型的建立并不总是这个过程的一部分。有时,一个简单的计算可能就足以执行像客户排名这样的任务。只有一些问题需要你真正拿出一个预测。
在一天结束时,数据科学家为一个组织提供的价值在于他们将数据应用于现实世界的用例的能力。无论是建立细分模型、推荐系统,还是评估客户潜力,除非结果是可解释的,否则对组织没有真正的好处。
只要数据科学家能够在数据的帮助下解决问题,在技术和业务技能之间架起桥梁,这个角色就会继续存在下去。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析全流程中,数据处理是基础,图形可视化是核心呈现手段——前者负责将杂乱无章的原始数据转化为干净、规范、可分析的格 ...
2026-04-07在数据分析与统计推断中,p值是衡量假设检验结果显著性的核心指标,其本质是在原假设(通常为“无效应”“无差异”)成立的前提 ...
2026-04-07在数字经济深度渗透的今天,数据已成为企业生存发展的核心资产,企业的竞争本质已转变为数据利用能力的竞争。然而,大量来自生产 ...
2026-04-07Python凭借简洁的语法、丰富的生态库,成为算法开发、数据处理、机器学习等领域的首选语言。但受限于动态类型、解释性执行的特性 ...
2026-04-03在深度学习神经网络中,卷积操作是实现数据特征提取的核心引擎,更是让模型“看懂”数据、“解读”数据的关键所在。不同于传统机 ...
2026-04-03当数字化转型从企业的“战略口号”落地为“生存之战”,越来越多的企业意识到,转型的核心并非技术的堆砌,而是数据价值的深度挖 ...
2026-04-03在日常办公数据分析中,数据透视表凭借高效的汇总、分组功能,成为Excel、WPS等办公软件中最常用的数据分析工具之一。其中,“计 ...
2026-04-02在数字化交互的全场景中,用户的每一次操作都在生成动态的行为轨迹——电商用户的“浏览商品→点击详情→加入购物车”,内容APP ...
2026-04-02在数字化转型深度推进的今天,企业数据已成为驱动业务增长、构建核心竞争力的战略资产,而数据安全则是守护这份资产的“生命线” ...
2026-04-02在数据驱动决策的浪潮中,数据挖掘与数据分析是两个高频出现且极易被混淆的概念。有人将二者等同看待,认为“做数据分析就是做数 ...
2026-04-01在数据驱动决策的时代,企业与从业者每天都会面对海量数据——电商平台的用户行为数据、金融机构的信贷风险数据、快消品牌的营销 ...
2026-04-01在数字化转型的浪潮中,企业数据已从“辅助运营的附属资源”升级为“驱动增长的核心资产”,而一套科学、可落地的企业数据管理方 ...
2026-04-01在数字化时代,每一位用户与产品的交互都会留下可追溯的行为轨迹——电商用户的浏览、加购、下单,APP用户的注册、登录、功能使 ...
2026-03-31在日常数据统计、市场调研、学术分析等场景中,我们常常需要判断两个分类变量之间是否存在关联(如性别与消费偏好、产品类型与满 ...
2026-03-31在CDA(Certified Data Analyst)数据分析师的职场实战与认证考核中,“可解释性建模”是核心需求之一——企业决策中,不仅需要 ...
2026-03-31多层感知机(MLP,Multilayer Perceptron)作为深度学习中最基础、最经典的神经网络模型,其结构设计直接决定了模型的拟合能力、 ...
2026-03-30在TensorFlow深度学习实战中,数据集的加载与预处理是基础且关键的第一步。手动下载、解压、解析数据集不仅耗时费力,还容易出现 ...
2026-03-30在CDA(Certified Data Analyst)数据分析师的日常工作中,“无监督分组、挖掘数据内在聚类规律”是高频核心需求——电商场景中 ...
2026-03-30机器学习的本质,是让模型通过对数据的学习,自主挖掘规律、实现预测与决策,而这一过程的核心驱动力,并非单一参数的独立作用, ...
2026-03-27在SQL Server数据库操作中,日期时间处理是高频核心需求——无论是报表统计中的日期格式化、数据筛选时的日期类型匹配,还是业务 ...
2026-03-27