京公网安备 11010802034615号
经营许可证编号:京B2-20210330
如何成为一名合格的数据科学家
本文独家探讨了IT行业发展最快、业内讨论最多的角色之一--数据科学家。根据CNN报道,数据科学家是2012年度最佳的新工作之一,《哈佛商业评论》的评论文章甚至称其为21世纪“最性感”的工作。数据科学家的工作是使用数据分析作为交易工具,在浩如烟海的数据容量中发掘有意义的关联数据,并将其转化为有利可图的商业洞察力。
经过为期数月的高失业率和仍然摇摆不定的经济态势之后,从就业市场上得到的任何好消息都能迅速获得关注,但即便是这样,对于大家都关注着一个突然非常“in”的工作职务:数据科学家这样的事情,似乎没能完全解释得清。
根据CNN报道,数据科学家是2012年度最佳的新工作之一,《哈佛商业评论》的评论文章甚至称其为21世纪“最性感”的工作。
数据科学家的巨大诱惑力直接根源于市场对大数据与分析的强烈兴趣。数据科学家的工作是使用数据分析作为交易工具,在浩如烟海的数据容量中发掘有意义的关联数据,并将其转化为有利可图的商业洞察力。
此外,那些适应多维度工作岗位,糅合计算机科学,掌握先进的定量概念、业务领域知识和沟通技巧的人常常是鹤立鸡群、凤毛麟角。随着数据科学家的供不应求,数据工作者的收入达到了6位数字,人力资源公司Modis高级副总裁Matthew Ripaldi表示。
招聘人员同样表示数据科学家岗位飞速增长,即便工作职位的数量并不那么惊人。“当我们两年前开始寻找符合该职位要求的人时,仅仅只有8个工作岗位,但现在工作岗位有42个。”Tom Silver表示,他在工作搜索网站Dice.com担任北美地区高级副总裁。“83000个工作岗位中的42个,实在是不算庞大,但我决不会怀疑这个岗位在未来的快速发展”。
众人瞩目之外,有任何数据和计算机工作背景的人自然会心生怀疑,谁会成为数据科学家,我能不能成为数据科学家?笔者在此试着解答一些最基本的问题。
数据科学家是什么?
这个看似简单的问题的答案,取决于你问的对象。网址缩短服务Bit.ly公司首席科学家Hilary Manson对数据科学家的定义获得了广泛接受与认可: 数据科学家指能获取、清洗、探索、建模与解释数据的人。
位于新墨西哥州圣达菲的咨询机构Hired Brains公司首席执行官兼首席分析师 Neil Raden则更为深入,他将数据科学家分成两种类型。
第一种类型--他们是真正的科学家,研究创造算法和方法,发表论文,并积极参与这些规则的沟通。这些单个的人物常见于以算法和方法为核心的研究机构和学术机构(想想谷歌、亚马逊和华尔街),Raden表示。
第二种类型--这个类型的人群更接近于我们今天提到的雇佣市场上的人--他们不是科学家而是数据从业者,Raden补充道。他们都是统计学与数学建模及开发领域的专家,掌握并采用定量分析方法,设计、测试和部署模型。
预测分析服务提供商Opera解决方案研发中心全球负责人Jacob Spoelstra,也把在Opera工作的人大致归类为数据科学家,以及由他本人与同事负责的其他工作。
Opera公司的“数据科学家”--与Raden分类的第一种类型人群十分符合--在机器学习(能力)的水平上工作,开发统计模型和模式识别算法,从海量数据流中发现和提取智能预测。他们将分析发现转化为直接行动,通过减少财务欺诈或检测高风险抵押贷款等类似措施,帮助提升业务。Spoelstra估计,类似谷歌这样的公司雇佣了数百位这种类型的数据科学家,而Opera公司近700位雇员中,有三分之一是机器学习(能力)领域的专家。
同时,天才分析(Talent Analytics)公司CEO Greta Roberts坚信当前对数据科学家工作的理解实际上包含四大功能角色。一项针对数据科学家的调查询问了他们如何分配11项分析功能的时间,出现了四个集群:数据准备人员(他们花费绝大部分时间,进行数据的采集、制备和分析);程序员(他们创建程序并做相应的一些分析);管理人员(他们专注于数据管理、管控、展示、诠释与设计);最后一种为通才(什么都干,什么都只会一点点)。
“当我最开始听说这些的时候,我认为’没有人符合该定义--他们怎么可能?’”Robert说,“因为这是一个新角色,我觉得人们把什么职责都扔给了他。当你过度指定,最终只能得到一个空集”。许多商业人士视作数据科学家的,实际上是一个团体的人表现出的各种各样的功能。尽管现在依然缺乏符合这些角色的人,实际情况也与“凤毛麟角”相去甚远,有太多的人拥有这样的天赋,成长为一个或多个所需的角色。
必要的技能与凭据是什么?
正如Robert表明的那样,详细的数据科学技能如雨后春笋般在网络上列出,列表令人生畏。绝大多数指定经验要求先进的数学和统计分析(包括对类似R、SAS和Stata工具等的掌握)、创建程序(包括C、C++、Python和Java语言)、SQL数据库、平台如Hadoop/MapReduce、数据挖掘和建模、数据虚拟化、创造性和沟通能力与商务理解力。
当然,数据科学家的确需要与先前的数据分析人员决然不同的能力与技巧,这是事实。Raden承认,例如,他们需要有能力处理当前各种各样的有效数据,并且最终分析数组可以采用,Raden表示。
他们需要掌握编程技巧,也要有定量方法和调查与建模方向的背景;在涉及到数据的时候,他们必须能够辨别什么数据是有意义的,什么数据是无意义的,Raden补充道。高效的数据科学家还需要足够的业务领域知识,在复杂学科上与缺乏相应背景工具和方法的人顺畅沟通的能力,他说。
到底是什么导致数据科学家优于其他分析人士呢?Ripaldi解释,是沟通能力--通常的C系列--数据告诉他们结果,以及针对此结果应该如何采取行动。“你可以分析所有你想要的数据,但如果你不能清晰的表达出数据告诉你的东西,你就不能算作是数据科学家”,他说。毕竟,我们的目标是推进经营战略,如减少客户流失,提供跨渠道,化解金融风险。
然后再一次,Robert看到了这些需求本身存在的固有的冲突,她坦陈,“他们不得不能够坐在那里,在一段时间内寻找数据,然后翻转开关,化身为能引人入胜的主持人?这完全是两个不同的人。”
Opera--也雇佣了各种各样机器学习(能力)的数据科学家--在寻找这样的人,他们拥有定量领域背景,有数学和统计概念资质,能够将这些概念以计算机程序进行实例化,接受大容量数据流并对解决实际商业问题有一定兴趣。
“我们对那些需要学习机器学习算法的人感到自在,如果他们对数学和解决问题的能力表现出色。”Opera分析部门全球负责人Joseph Milanna表示,“他们可能不是一名合格的数学家或已经建立了神经网络,但他们应该表现出激情与兴趣,这样我们才会选择他”。
拥有怎样的背景,才能成为一名数据科学家?
在Opera,大多数成功的申请者都拥有更高水平的学术培训甚至拥有PhD。“鉴于在机器学习科学和其他新出现的新型技术的进步,科学家的确需要更高水平的训练,浸淫最新思想成果”,Milanna说。即便是在求职搜索网站Dice,半数的数据科学家都指定要求必须具备PhD学位,Silver表示,“这不是绝对必要的,但却是主要的奖励”,他补充。
Opera雇员跨越了各种各样的数据驱动型学科,包括计算机科学、电子工程、统计学、机械工程和心理学。这样跨学科的知识大有裨益,Milanna强调。例如,他已经看到了来自水文学的分子式应用于股票市场交易信号。
对于更大的数据科学家池,Raden坚信PhD学位不是必要的。如果一个人现在的工作室商业智能和定量分析,并且在那之前表现出了先进的数学和统计建模能力,就可以成长为企业的数据科学家,为企业提供如预测建模和大数据等类似关键领域的指导与培训。
Roberts表示同意,专注于特定技能和学历。某些时候可能会成为潜在求职者思考的代理人。“他们正示图衡量的是‘你喜欢学习吗?’但一堆方法可以用来获取该结论”,她表示。在天才分析(Talent Analytics)公司的调查中,数据科学家的先天特性包括好奇心、创造力、客观、有条理地思考能力与对细节的专注力,她强调。Milanna和Spoelstra也同意该观点,他们寻找候选人的最重要的天然特质也包括好奇心、逻辑思维、常识力、毅力、实用性和良好的判断力。
毫无疑问对数据科学家的需求只会不断增长,但由于该角色相对新潮,随着时间的推移,数据科学家的定义只会变化更多,不管是这些专业人士的工作范围,还是企业组织、实现并发展所需人才的方法。
“对于处在IT行业、项目管理和产品管理的人士来说,这是一个巨大的发展机遇,他们不再害怕学习他们行业相关的知识,也不用担心开夜车来整理头绪、解决问题。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在神经网络模型搭建中,“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活,导致回归任务输出异 ...
2025-12-05在机器学习落地过程中,“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据, ...
2025-12-05在CDA(Certified Data Analyst)数据分析师的能力模型中,“指标计算”是基础技能,而“指标体系搭建”则是区分新手与资深分析 ...
2025-12-05在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04在CDA(Certified Data Analyst)数据分析师的指标体系中,“通用指标”与“场景指标”并非相互割裂的两个部分,而是支撑业务分 ...
2025-12-04每到“双十一”,电商平台的销售额会迎来爆发式增长;每逢冬季,北方的天然气消耗量会显著上升;每月的10号左右,工资发放会带动 ...
2025-12-03随着数字化转型的深入,企业面临的数据量呈指数级增长——电商的用户行为日志、物联网的传感器数据、社交平台的图文视频等,这些 ...
2025-12-03在CDA(Certified Data Analyst)数据分析师的工作体系中,“指标”是贯穿始终的核心载体——从“销售额环比增长15%”的业务结论 ...
2025-12-03在神经网络训练中,损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜,却 ...
2025-12-02在CDA(Certified Data Analyst)数据分析师的日常工作中,“用部分数据推断整体情况”是高频需求——从10万条订单样本中判断全 ...
2025-12-02在数据预处理的纲量统一环节,标准化是消除量纲影响的核心手段——它将不同量级的特征(如“用户年龄”“消费金额”)转化为同一 ...
2025-12-02在数据驱动决策成为企业核心竞争力的今天,A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实 ...
2025-12-01在时间序列预测任务中,LSTM(长短期记忆网络)凭借对时序依赖关系的捕捉能力成为主流模型。但很多开发者在实操中会遇到困惑:用 ...
2025-12-01引言:数据时代的“透视镜”与“掘金者” 在数字经济浪潮下,数据已成为企业决策的核心资产,而CDA数据分析师正是挖掘数据价值的 ...
2025-12-01数据分析师的日常,常始于一堆“毫无章法”的数据点:电商后台导出的零散订单记录、APP埋点收集的无序用户行为日志、传感器实时 ...
2025-11-28在MySQL数据库运维中,“query end”是查询执行生命周期的收尾阶段,理论上耗时极短——主要完成结果集封装、资源释放、事务状态 ...
2025-11-28在CDA(Certified Data Analyst)数据分析师的工具包中,透视分析方法是处理表结构数据的“瑞士军刀”——无需复杂代码,仅通过 ...
2025-11-28在统计分析中,数据的分布形态是决定“用什么方法分析、信什么结果”的底层逻辑——它如同数据的“性格”,直接影响着描述统计的 ...
2025-11-27在电商订单查询、用户信息导出等业务场景中,技术人员常面临一个选择:是一次性查询500条数据,还是分5次每次查询100条?这个问 ...
2025-11-27