
CDA数据分析师 出品
来源:datacamp
编译:Mika
根据《韦氏词典》,数据指的是用作推理、讨论或计算基础的事实信息。
基于这个定义,我们可以进一步得出:数据可以理解为是收集到的任何信息,可以使用、进一步处理和分析以获得见解。而且通常与计算机联系在一起,因为数据通常是在计算机中生成和存储的,然而数据存在的时间比我们想象的要长得多。
人类存储和分析数据的最早例子可以追溯到公元前18000年,当时人们发现史前人类使用计数棒进行初步计算。这些旧石器时代部落的人在木棍和骨头上刻上刻痕,以记录人类的活动,比如交易和监控物资。到公元前2400年,在巴比伦发明出了用于计算的算盘。
纵观历史,数据收集、处理和分析的不断发展是通过石板、粘土、纸莎草、木头和纸卷上的大量文字来体现的。最终,随着更多形式的数据被发现,处理、收集、存储和分析数据的需求也在不断发展。
随着人类社会的进步,对数据处理的要求也越来越高。
19世纪,在美国开始人口普查进行。人口普查中的数据点数量呈指数增长,美国人口普查局估计,收集和分析人口普查中的所有数据需要几年甚至几十年的时间。
这是个很大的问题,因为只有在下一次人口普查即将开始时,才会完成对当前人口普查数据的汇编和分析。
幸运的是,一位名叫赫尔曼·霍勒里斯的年轻工程师和发明家开发了霍勒里斯制表机。这是一种机电式制表机,将收集和分析人口普查数据所需的时间从几年缩短到仅仅几个月。正因为如此,霍勒里思被视为现代自动计算之父,后来因创立IBM而闻名。
快进到20世纪,计算机出现了。随着功能更强大的计算机的出现,对数据存储的要求也越来越高。
德国-奥地利工程师弗里茨·普夫勒默发明了一种在磁带上磁性存储信息的方法。他的一些发明原理至今仍被用于数字数据存储。
在这个时代,“商业智能”一词越来越流行,因为对新兴软件以及用于分析商业和运营绩效的系统的需求迅速增加。
1989年,蒂姆·伯纳斯·李创建了万维网(又称互联网),数据革命发生了真正的变化。这导致了全世界人民之间的自动信息共享。这意味着今天有更多的数据被共享、创建和存储,从而产生了收集、使用和分析数据的新方法。
由于20世纪90年代互联网的惊人增长以及个人电脑和计算设备的稳定发展,在线设备的数量以及由此产生的数据量迅速增长。
虽然大数据的概念早在20世纪90年代就已经存在,但直到2005年罗杰·穆加拉斯才正式给它贴上标签。他将其描述为"使用传统商业智能工具几乎无法管理和处理的大量数据"。
大数据是一个用来描述大量数据的术语,包括结构化数据和非结构化数据,这些数据每天都会淹没企业。它包括信息量、创建和收集信息的速度,以及所覆盖数据点的种类或范围。
考虑到大数据的规模和复杂性,收集、组织和分析它以发现模式和其他有用信息的过程已经成为帮助许多组织做出商业决策的一部分。这反过来又催生了数据科学——一个跨学科领域,它使用科学方法、流程、算法和系统从大量数据中发现模式,并使商业领袖能够获得见解。
根据IBM的说法,数据科学是一种多学科方法,可以从当今组织收集和创建的大量且不断增加的数据中提取可操作的见解。
该领域通常需要计算机科学和纯科学技能,因为数据科学家在其方法中应用科学方法,并使用预测分析和人工智能从数据中提取见解。
如今,“数据科学”经常被企业和组织用作处理大量数据的通用术语,无论是准备、清理、分析数据还是可视化数据以揭示模式。
以下我们列出了可从事的七种数据相关职业:
数据科学家需要能够应用数学、统计学和科学方法。
使用多种工具和技术来清理和准备数据;进行预测分析和人工智能;并解释如何利用这些结果来为商业问题提供数据驱动的解决方案。数据科学家需要的技能比数据分析师多得多。
数据分析师收集、处理和执行统计数据分析,为组织得出有意义的结论。
数据分析师将大型数据集转化并处理成可用的形式,如报告或演示。他们还通过研究重要的模式来帮助决策过程,并从数据中收集洞察力,然后有效地传达给组织领导,以帮助商业决策。
数据工程师负责准备、处理和管理收集和存储的数据,用于分析或操作用途。
像传统的工程师一样,数据工程师建立和维护数据 "管道",将数据从一个系统连接到另一个系统,使数据科学家能够获得信息。正因为如此,数据工程师被要求了解数据科学中使用的几种编程语言,如Python、R和SQL。
数据架构师主要是设计和创建数据管理系统的蓝图,然后由数据工程师建立。
类似于传统的建筑师,数据架构师是 "远见者",因为他们负责可视化和设计一个组织的数据管理框架。此外,数据架构师改善现有系统的性能,确保数据库管理员和分析师能够使用这些系统。
商业智能开发者是专门的工程师,他们使用软件工具将数据转化为有用的见解,以帮助商业决策。
他们负责简化技术信息,让公司里的其他人都能轻松理解。简而言之,他们创建和运行包含他们使用商业智能工具找到的数据的报告,并将信息转化为更通俗的术语。
鉴于统计学是数据科学的主要基础之一,许多统计学家可以轻松地过渡到数据科学领域。
统计学家主要负责数据的收集和处理。他们决定需要什么数据以及如何收集数据。此外,他们设计实验,分析和解释数据,并报告结论。
机器学习工程师是另一组专业工程师,他们专注于研究、构建和设计人工智能和机器学习系统,以实现预测模型的自动化。
基本上,他们开发的算法使用输入数据并利用统计模型预测输出,同时在新数据可用时不断更新输出。
下面我们看看以上这些数据科学职业的最受欢迎程度。下图显示了2021年12月8日美国的职位空缺情况。
数据架构师是最受欢迎的数据科学职业道路,因为他们在创建其他数据科学专业人员随后使用的数据管理系统方面非常重要。
接下来是机器学习工程师,考虑到利用人工智能预测许多科技公司结果的重要性。
需求最少的是统计人员,主要是因为许多传统的统计学家现在正在成为数据科学家。统计学家从纯统计学转向数据科学相对简单是,他们已经拥有成为一名成熟的数据科学家所需的基础知识。
毫无疑问,数据科学如今非常流行,但更好的问题是,它在未来还会如此流行吗?根据就业预测,情况似乎的确如此。
美国劳工统计局2020-2030就业预测的数据显示,数据科学职业,包括统计学、数据科学以及数据工程等其他基于数学和科学的职业,从2020年到2030年的百分比变化来看,将呈现出非常高的增长率。统计学家总体排名第14位,而数据科学家和其他数学科学职业在数据中包含的790个职位中总体排名第31位。
尽管统计学家和数据科学家在总劳动力中所占的份额与其他职业相比很小,但随着数据科学职业道路变得越来越流行,这些数字预计将在未来几年增加。
下图显示了统计学家、数据科学家和其他数学科学职业与其他预计增长率较高的职业的对比情况。
数据相关职业备受欢迎的一个主要原因在于其收入高。
下图显示了纽约市10种不同职业--包括数据科学家和数据分析师的工资范围。这些数据来自Teleport,该网站汇总了不同城市的生活条件,如工资的数据。
根据Teleport的数据,数据科学家的年薪中位数在纽约市排名第四,为114105美元,仅次于企业高管和医护人员。事实上,在马尼拉等其他一些城市,数据科学家的排名高达第二,仅次于企业高管。
数据分析师的薪资也很可观,数据分析师的年薪中位数为61818美元,仍然相当于纽约市的平均家庭收入。
数据科学受欢迎的另一个主要原因是,如今的企业将数据科学的原理整合到日常运作中。下图显示了工作中涉及数据科学的前10个行业,其中涉及到8000家公司的样本数据。
毫不奇怪,包括谷歌、苹果和优步等科技公司占据了榜首。毕竟,大数据的激增是由互联网的诞生引起的,互联网与软件和技术密切相关。数据科学实际上是使用各种工具和技术处理大量信息。
接下来是金融服务公司,这是金融科技公司崛起带来的。作为“金融”和“技术”的门户,金融科技公司将技术和创新整合到其服务和产品中,以改善其对客户的交付,扰乱传统金融服务。由于它涉及处理大量数据,如客户信息,金融服务公司看到了数据科学工具的潜力,可以帮助简化和优化流程,改进服务。
数据科学是一条非常有发展的职业道路,而且没有放缓的迹象。在未来的许多年里,它将继续塑造和影响企业和组织的运作方式。
至于你应该走哪条特定的数据科学职业道路,这主要取决于你的个人优势和总体兴趣。重要的是,上述任何职业都是值得的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15