京公网安备 11010802034615号
经营许可证编号:京B2-20210330
在一天结束时,数据科学家为一个组织提供的价值在于他们将数据应用于真实世界的使用案例的能力。
共享364
介绍
我最近读了一篇文章,描述数据科学是一个过度饱和的领域。这篇文章预测,ML工程师将在未来几年内取代数据科学家。
根据这篇文章的作者,大多数公司都致力于用数据科学来解决非常类似的业务问题。由于这个原因,数据科学家就没有必要想出新的方法来解决问题。
作者继续说,在大多数数据驱动的组织中,为了解决问题,只需要基本的数据科学技能。这个角色很容易被机器学习工程师取代--一个拥有数据科学算法基本知识的人,他还拥有部署ML模型的知识。
在过去的一年里,我读过很多类似的文章。
其中一些文章指出,数据科学家的角色将被像AutoML这样的工具所取代,而另一些文章则提到数据科学是一个 "垂死的领域",很快就会被数据工程和ML运营等角色所超越。
作为一个与数据行业的不同支柱紧密合作的人,我想提供我对这个话题的看法,并沿着这些思路回答问题。
- 数据科学是一个正在消亡的职业吗?在未来几年内还会有对它的需求吗?
- 自动化工具是否会使数据科学家失去工作?
- 数据科学是否已经过饱和,在不久的将来,该领域是否会被新的角色所取代?
- 数据科学家对组织有利可图吗?他们如何为企业增加价值?
是否需要数据科学家?
大多数组织内的数据科学工作流程是非常相似的。许多公司雇用数据科学家来解决类似的业务问题。大多数建立的模型不需要你想出新颖的解决方案。
在这些组织中,你将采取的解决数据驱动问题的大多数方法很可能已经被使用过了,你可以从网上的海量资源中借用灵感。
另外,像AutoML和DataRobot这样的自动化工具的兴起,使预测性建模变得更加容易。
我在一些商业案例中使用了DataRobot,它是一个伟大的工具。它对许多数值进行迭代,并为你的模型选择最佳的参数,以确保你最终获得最高度准确的模型。
因此,如果预测性建模随着时间的推移已经变得更容易,为什么公司仍然需要数据科学家?为什么他们不直接使用自动化工具和ML工程师的组合来管理他们的整个数据科学工作流程?
答案很简单。
首先,数据科学从来都不是为了重新发明轮子或建立高度复杂的算法。
数据科学家的作用是用数据为组织增加价值。而在大多数公司,这其中只有很小一部分涉及到构建ML算法。
其次,总有一些问题是无法通过自动化工具解决的。这些工具有一套固定的算法,你可以从中挑选,如果你确实发现了一个需要结合各种方法来解决的问题,你就需要手动去做。
虽然这种情况并不经常发生,但还是会发生--作为一个组织,你需要雇佣足够熟练的人去做这件事。此外,像DataRobot这样的工具不能做数据预处理或任何在建立模型之前的繁重工作。
人文关怀
作为一个曾为初创公司和大公司创建数据驱动解决方案的人,情况与处理Kaggle数据集的情况非常不同。
没有固定的问题。通常情况下,你有一个数据集,然后给你一个商业问题。你要想出如何处理客户数据,使公司的销售额最大化。
这意味着,数据科学家需要的不仅仅是技术或建模技能。你需要将数据与手头的问题联系起来。你需要决定能够优化你的解决方案的外部数据源。
数据预处理是漫长而艰苦的,这不仅仅是因为它需要强大的编程技能,还因为你需要试验不同的变量以及它们与手头问题的相关性。
你需要将模型的准确性与转换率等指标联系起来。
模型的建立并不总是这个过程的一部分。有时,一个简单的计算可能就足以执行像客户排名这样的任务。只有一些问题需要你真正拿出一个预测。
在一天结束时,数据科学家为一个组织提供的价值在于他们将数据应用于现实世界的用例的能力。无论是建立细分模型、推荐系统,还是评估客户潜力,除非结果是可解释的,否则对组织没有真正的好处。
只要数据科学家能够在数据的帮助下解决问题,在技术和业务技能之间架起桥梁,这个角色就会继续存在下去。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA数据分析师 出品 作者:李诗怡 一、数据分析四大思维 1. 对比思维:没有对比就没有分析 核心观点:单独一个数字没有意义,有 ...
2026-10-05Kimball 是方法,星型模型是它产出的形状。 很多人把"Kimball vs 星型模型"当成一道选择题——这本身就是个误会:Kimball 是动词 ...
2026-10-05写在开头 老板在微信上甩来一句: "帮我看下为什么销量跌了。" ” 你回工位,打开 SQL,开始写。查订单表、拉近三个月、按 ...
2026-10-03CDA数据分析师 出品 作者:李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 5W1H 分析法 定义:经典系统性思维框架,通过六个核心维度对问题进行全方位拆解与剖析,确 ...
2026-09-28 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展,数据已成为核心生产要素,各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-09-24在时序数据分析中,大部分业务数据并非持续平稳变化,而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象, ...
2026-09-23在统计学与数据分析中,研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能,认 ...
2026-09-23