
在一天结束时,数据科学家为一个组织提供的价值在于他们将数据应用于真实世界的使用案例的能力。
共享364
介绍
我最近读了一篇文章,描述数据科学是一个过度饱和的领域。这篇文章预测,ML工程师将在未来几年内取代数据科学家。
根据这篇文章的作者,大多数公司都致力于用数据科学来解决非常类似的业务问题。由于这个原因,数据科学家就没有必要想出新的方法来解决问题。
作者继续说,在大多数数据驱动的组织中,为了解决问题,只需要基本的数据科学技能。这个角色很容易被机器学习工程师取代--一个拥有数据科学算法基本知识的人,他还拥有部署ML模型的知识。
在过去的一年里,我读过很多类似的文章。
其中一些文章指出,数据科学家的角色将被像AutoML这样的工具所取代,而另一些文章则提到数据科学是一个 "垂死的领域",很快就会被数据工程和ML运营等角色所超越。
作为一个与数据行业的不同支柱紧密合作的人,我想提供我对这个话题的看法,并沿着这些思路回答问题。
- 数据科学是一个正在消亡的职业吗?在未来几年内还会有对它的需求吗?
- 自动化工具是否会使数据科学家失去工作?
- 数据科学是否已经过饱和,在不久的将来,该领域是否会被新的角色所取代?
- 数据科学家对组织有利可图吗?他们如何为企业增加价值?
是否需要数据科学家?
大多数组织内的数据科学工作流程是非常相似的。许多公司雇用数据科学家来解决类似的业务问题。大多数建立的模型不需要你想出新颖的解决方案。
在这些组织中,你将采取的解决数据驱动问题的大多数方法很可能已经被使用过了,你可以从网上的海量资源中借用灵感。
另外,像AutoML和DataRobot这样的自动化工具的兴起,使预测性建模变得更加容易。
我在一些商业案例中使用了DataRobot,它是一个伟大的工具。它对许多数值进行迭代,并为你的模型选择最佳的参数,以确保你最终获得最高度准确的模型。
因此,如果预测性建模随着时间的推移已经变得更容易,为什么公司仍然需要数据科学家?为什么他们不直接使用自动化工具和ML工程师的组合来管理他们的整个数据科学工作流程?
答案很简单。
首先,数据科学从来都不是为了重新发明轮子或建立高度复杂的算法。
数据科学家的作用是用数据为组织增加价值。而在大多数公司,这其中只有很小一部分涉及到构建ML算法。
其次,总有一些问题是无法通过自动化工具解决的。这些工具有一套固定的算法,你可以从中挑选,如果你确实发现了一个需要结合各种方法来解决的问题,你就需要手动去做。
虽然这种情况并不经常发生,但还是会发生--作为一个组织,你需要雇佣足够熟练的人去做这件事。此外,像DataRobot这样的工具不能做数据预处理或任何在建立模型之前的繁重工作。
人文关怀
作为一个曾为初创公司和大公司创建数据驱动解决方案的人,情况与处理Kaggle数据集的情况非常不同。
没有固定的问题。通常情况下,你有一个数据集,然后给你一个商业问题。你要想出如何处理客户数据,使公司的销售额最大化。
这意味着,数据科学家需要的不仅仅是技术或建模技能。你需要将数据与手头的问题联系起来。你需要决定能够优化你的解决方案的外部数据源。
数据预处理是漫长而艰苦的,这不仅仅是因为它需要强大的编程技能,还因为你需要试验不同的变量以及它们与手头问题的相关性。
你需要将模型的准确性与转换率等指标联系起来。
模型的建立并不总是这个过程的一部分。有时,一个简单的计算可能就足以执行像客户排名这样的任务。只有一些问题需要你真正拿出一个预测。
在一天结束时,数据科学家为一个组织提供的价值在于他们将数据应用于现实世界的用例的能力。无论是建立细分模型、推荐系统,还是评估客户潜力,除非结果是可解释的,否则对组织没有真正的好处。
只要数据科学家能够在数据的帮助下解决问题,在技术和业务技能之间架起桥梁,这个角色就会继续存在下去。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
评判两组数据与初始数据准确值的方法 在数据分析与研究中,我们常常会面临这样的情况:需要对通过不同方法、不同过程得到的两组 ...
2025-08-01通过 COX 回归模型诊断异常值 一、COX 回归模型概述 COX 回归模型,又称比例风险回归模型,是一种用于生存分析的统计方法。它能 ...
2025-08-01CDA 数据分析师报考条件详解:迈向专业认证的指南 在数据分析行业蓬勃发展的当下,CDA 数据分析师认证成为众多从业者提升专业 ...
2025-08-01K-S 曲线、回归与分类:数据分析中的重要工具 在数据分析与机器学习领域,K-S 曲线、回归和分类是三个核心概念与工具,它们各 ...
2025-07-31大数据时代对定性分析的影响 在大数据时代,海量、多样、高速且低价值密度的数据充斥着我们的生活与工作。而定性分析作为一 ...
2025-07-31CDA含金量分析 在数字经济与人工智能深度融合的时代,数据驱动决策已成为企业核心竞争力的关键要素。CDA(Certified Data Analys ...
2025-07-31SASEM 决策树:理论与实践应用 在复杂的决策场景中,如何从海量数据中提取有效信息并制定科学决策,是各界关注的焦点。SASEM 决 ...
2025-07-30SPSS 语法使用详解 在当今数据驱动的时代,SPSS( Statistical Package for the Social Sciences)作为一款功能强大的统计分析软 ...
2025-07-30人工智能对CDA数据分析领域的影响 人工智能对 CDA(Certified Data Analyst,注册数据分析师)数据分析领域的影响是全方位、多层 ...
2025-07-30MySQL执行计划中rows的计算逻辑:从原理到实践 MySQL 执行计划中 rows 的计算逻辑:从原理到实践 在 MySQL 数据库的查询优化中 ...
2025-07-29左偏态分布转正态分布:方法、原理与实践 左偏态分布转正态分布:方法、原理与实践 在统计分析、数据建模和科学研究中,正态分 ...
2025-07-29CDA 数据分析师的职业生涯规划:从入门到卓越的成长之路 在数字经济蓬勃发展的当下,数据已成为企业核心竞争力的重要来源,而 CD ...
2025-07-29CDA数据分析师证书考取全攻略 一、了解 CDA 数据分析师认证 CDA 数据分析师认证是一套科学化、专业化、国际化的人才考核标准, ...
2025-07-29解析神经网络中 Softmax 函数的核心作用 在神经网络的发展历程中,激活函数扮演着至关重要的角色,它们为网络赋予了非线性能力, ...
2025-07-29解析 response.text 与 response.content 的核心区别 在网络数据请求与处理的场景中,开发者经常需要从服务器返回的响应中提取数 ...
2025-07-29鸢尾花判别分析:机器学习中的经典实践案例 在机器学习的世界里,有一个经典的数据集如同引路明灯,为无数初学者打开了模式识别 ...
2025-07-29用 Python 开启数据分析之旅:从基础到实践的完整指南 在数据驱动决策的时代,数据分析已成为各行业不可或缺的核心能力。而 Pyt ...
2025-07-29从 CDA LEVEL II 考试题型看 Python 数据分析要点 在数据科学领域蓬勃发展的当下,CDA(Certified Data Analyst)认证成为众多从 ...
2025-07-29CDA 数据分析师的工作范围解析 在数字化时代的浪潮下,数据已成为企业发展的核心资产之一。CDA(Certified Data Analyst)数据分 ...
2025-07-29解析 insert into select 是否会锁表:原理、场景与应对策略 在数据库操作中,insert into select 是一种常用的批量数据插入语句 ...
2025-07-29