
如何成为一名合格的数据科学家
本文独家探讨了IT行业发展最快、业内讨论最多的角色之一--数据科学家。根据CNN报道,数据科学家是2012年度最佳的新工作之一,《哈佛商业评论》的评论文章甚至称其为21世纪“最性感”的工作。数据科学家的工作是使用数据分析作为交易工具,在浩如烟海的数据容量中发掘有意义的关联数据,并将其转化为有利可图的商业洞察力。
经过为期数月的高失业率和仍然摇摆不定的经济态势之后,从就业市场上得到的任何好消息都能迅速获得关注,但即便是这样,对于大家都关注着一个突然非常“in”的工作职务:数据科学家这样的事情,似乎没能完全解释得清。
根据CNN报道,数据科学家是2012年度最佳的新工作之一,《哈佛商业评论》的评论文章甚至称其为21世纪“最性感”的工作。
数据科学家的巨大诱惑力直接根源于市场对大数据与分析的强烈兴趣。数据科学家的工作是使用数据分析作为交易工具,在浩如烟海的数据容量中发掘有意义的关联数据,并将其转化为有利可图的商业洞察力。
此外,那些适应多维度工作岗位,糅合计算机科学,掌握先进的定量概念、业务领域知识和沟通技巧的人常常是鹤立鸡群、凤毛麟角。随着数据科学家的供不应求,数据工作者的收入达到了6位数字,人力资源公司Modis高级副总裁Matthew Ripaldi表示。
招聘人员同样表示数据科学家岗位飞速增长,即便工作职位的数量并不那么惊人。“当我们两年前开始寻找符合该职位要求的人时,仅仅只有8个工作岗位,但现在工作岗位有42个。”Tom Silver表示,他在工作搜索网站Dice.com担任北美地区高级副总裁。“83000个工作岗位中的42个,实在是不算庞大,但我决不会怀疑这个岗位在未来的快速发展”。
众人瞩目之外,有任何数据和计算机工作背景的人自然会心生怀疑,谁会成为数据科学家,我能不能成为数据科学家?笔者在此试着解答一些最基本的问题。
数据科学家是什么?
这个看似简单的问题的答案,取决于你问的对象。网址缩短服务Bit.ly公司首席科学家Hilary Manson对数据科学家的定义获得了广泛接受与认可: 数据科学家指能获取、清洗、探索、建模与解释数据的人。
位于新墨西哥州圣达菲的咨询机构Hired Brains公司首席执行官兼首席分析师 Neil Raden则更为深入,他将数据科学家分成两种类型。
第一种类型--他们是真正的科学家,研究创造算法和方法,发表论文,并积极参与这些规则的沟通。这些单个的人物常见于以算法和方法为核心的研究机构和学术机构(想想谷歌、亚马逊和华尔街),Raden表示。
第二种类型--这个类型的人群更接近于我们今天提到的雇佣市场上的人--他们不是科学家而是数据从业者,Raden补充道。他们都是统计学与数学建模及开发领域的专家,掌握并采用定量分析方法,设计、测试和部署模型。
预测分析服务提供商Opera解决方案研发中心全球负责人Jacob Spoelstra,也把在Opera工作的人大致归类为数据科学家,以及由他本人与同事负责的其他工作。
Opera公司的“数据科学家”--与Raden分类的第一种类型人群十分符合--在机器学习(能力)的水平上工作,开发统计模型和模式识别算法,从海量数据流中发现和提取智能预测。他们将分析发现转化为直接行动,通过减少财务欺诈或检测高风险抵押贷款等类似措施,帮助提升业务。Spoelstra估计,类似谷歌这样的公司雇佣了数百位这种类型的数据科学家,而Opera公司近700位雇员中,有三分之一是机器学习(能力)领域的专家。
同时,天才分析(Talent Analytics)公司CEO Greta Roberts坚信当前对数据科学家工作的理解实际上包含四大功能角色。一项针对数据科学家的调查询问了他们如何分配11项分析功能的时间,出现了四个集群:数据准备人员(他们花费绝大部分时间,进行数据的采集、制备和分析);程序员(他们创建程序并做相应的一些分析);管理人员(他们专注于数据管理、管控、展示、诠释与设计);最后一种为通才(什么都干,什么都只会一点点)。
“当我最开始听说这些的时候,我认为’没有人符合该定义--他们怎么可能?’”Robert说,“因为这是一个新角色,我觉得人们把什么职责都扔给了他。当你过度指定,最终只能得到一个空集”。许多商业人士视作数据科学家的,实际上是一个团体的人表现出的各种各样的功能。尽管现在依然缺乏符合这些角色的人,实际情况也与“凤毛麟角”相去甚远,有太多的人拥有这样的天赋,成长为一个或多个所需的角色。
必要的技能与凭据是什么?
正如Robert表明的那样,详细的数据科学技能如雨后春笋般在网络上列出,列表令人生畏。绝大多数指定经验要求先进的数学和统计分析(包括对类似R、SAS和Stata工具等的掌握)、创建程序(包括C、C++、Python和Java语言)、SQL数据库、平台如Hadoop/MapReduce、数据挖掘和建模、数据虚拟化、创造性和沟通能力与商务理解力。
当然,数据科学家的确需要与先前的数据分析人员决然不同的能力与技巧,这是事实。Raden承认,例如,他们需要有能力处理当前各种各样的有效数据,并且最终分析数组可以采用,Raden表示。
他们需要掌握编程技巧,也要有定量方法和调查与建模方向的背景;在涉及到数据的时候,他们必须能够辨别什么数据是有意义的,什么数据是无意义的,Raden补充道。高效的数据科学家还需要足够的业务领域知识,在复杂学科上与缺乏相应背景工具和方法的人顺畅沟通的能力,他说。
到底是什么导致数据科学家优于其他分析人士呢?Ripaldi解释,是沟通能力--通常的C系列--数据告诉他们结果,以及针对此结果应该如何采取行动。“你可以分析所有你想要的数据,但如果你不能清晰的表达出数据告诉你的东西,你就不能算作是数据科学家”,他说。毕竟,我们的目标是推进经营战略,如减少客户流失,提供跨渠道,化解金融风险。
然后再一次,Robert看到了这些需求本身存在的固有的冲突,她坦陈,“他们不得不能够坐在那里,在一段时间内寻找数据,然后翻转开关,化身为能引人入胜的主持人?这完全是两个不同的人。”
Opera--也雇佣了各种各样机器学习(能力)的数据科学家--在寻找这样的人,他们拥有定量领域背景,有数学和统计概念资质,能够将这些概念以计算机程序进行实例化,接受大容量数据流并对解决实际商业问题有一定兴趣。
“我们对那些需要学习机器学习算法的人感到自在,如果他们对数学和解决问题的能力表现出色。”Opera分析部门全球负责人Joseph Milanna表示,“他们可能不是一名合格的数学家或已经建立了神经网络,但他们应该表现出激情与兴趣,这样我们才会选择他”。
拥有怎样的背景,才能成为一名数据科学家?
在Opera,大多数成功的申请者都拥有更高水平的学术培训甚至拥有PhD。“鉴于在机器学习科学和其他新出现的新型技术的进步,科学家的确需要更高水平的训练,浸淫最新思想成果”,Milanna说。即便是在求职搜索网站Dice,半数的数据科学家都指定要求必须具备PhD学位,Silver表示,“这不是绝对必要的,但却是主要的奖励”,他补充。
Opera雇员跨越了各种各样的数据驱动型学科,包括计算机科学、电子工程、统计学、机械工程和心理学。这样跨学科的知识大有裨益,Milanna强调。例如,他已经看到了来自水文学的分子式应用于股票市场交易信号。
对于更大的数据科学家池,Raden坚信PhD学位不是必要的。如果一个人现在的工作室商业智能和定量分析,并且在那之前表现出了先进的数学和统计建模能力,就可以成长为企业的数据科学家,为企业提供如预测建模和大数据等类似关键领域的指导与培训。
Roberts表示同意,专注于特定技能和学历。某些时候可能会成为潜在求职者思考的代理人。“他们正示图衡量的是‘你喜欢学习吗?’但一堆方法可以用来获取该结论”,她表示。在天才分析(Talent Analytics)公司的调查中,数据科学家的先天特性包括好奇心、创造力、客观、有条理地思考能力与对细节的专注力,她强调。Milanna和Spoelstra也同意该观点,他们寻找候选人的最重要的天然特质也包括好奇心、逻辑思维、常识力、毅力、实用性和良好的判断力。
毫无疑问对数据科学家的需求只会不断增长,但由于该角色相对新潮,随着时间的推移,数据科学家的定义只会变化更多,不管是这些专业人士的工作范围,还是企业组织、实现并发展所需人才的方法。
“对于处在IT行业、项目管理和产品管理的人士来说,这是一个巨大的发展机遇,他们不再害怕学习他们行业相关的知识,也不用担心开夜车来整理头绪、解决问题。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
机器学习解决实际问题的核心关键:从业务到落地的全流程解析 在人工智能技术落地的浪潮中,机器学习作为核心工具,已广泛应用于 ...
2025-09-09SPSS 编码状态区域中 Unicode 的功能与价值解析 在 SPSS(Statistical Product and Service Solutions,统计产品与服务解决方案 ...
2025-09-09CDA 数据分析师:驾驭商业数据分析流程的核心力量 在商业决策从 “经验驱动” 向 “数据驱动” 转型的过程中,商业数据分析总体 ...
2025-09-09R 语言:数据科学与科研领域的核心工具及优势解析 一、引言 在数据驱动决策的时代,无论是科研人员验证实验假设(如前文中的 T ...
2025-09-08T 检验在假设检验中的应用与实践 一、引言 在科研数据分析、医学实验验证、经济指标对比等领域,常常需要判断 “样本间的差异是 ...
2025-09-08在商业竞争日益激烈的当下,“用数据说话” 已从企业的 “加分项” 变为 “生存必需”。然而,零散的数据分析无法持续为业务赋能 ...
2025-09-08随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01