数据挖掘历史中的重要里程碑_数据分析师培训
数据挖掘现在随处可见,而它的故事在《点球成金》出版和“棱镜门”事件发生之前就已经开始了。下文叙述的就是数据挖掘的主要里程碑,历史上的第一次,它是怎样发展以及怎样与数据科学和大数据融合。
数据挖掘是在大数据集(即:大数据)上探索和揭示模式规律的计算过程。它是计算机科学的分支,融合了统计学、数据科学、数据库理论和机器学习等众多技术。
1763 年,Thomas Bayes 的论文在他死后发表,他所提出的 Bayes 理论将当前概率与先验概率联系起来。因为 Bayes 理论能够帮助理解基于概率估计的复杂现况,所以它成为了数据挖掘和概率论的基础。
1805 年, Adrien-Marie Legendre 和 Carl Friedrich Gauss 使用回归确定了天体(彗星和行星)绕行太阳的轨道。回归分析的目标是估计变量之间的关系,在这个例子中采用的方法是最小二乘法。自此,回归成为数据挖掘的重要工具之一。
1936 年,计算机时代即将到来,它让海量数据的收集和处理成为可能。在1936年发表的论文《论可计算数(On Computable Numbers)》中,Alan Turing 介绍了通用机(通用图灵机)的构想,通用机具有像今天的计算机一般的计算能力。现代计算机就是在图灵这一开创性概念上建立起来的。
1943 年,Warren McCullon 和 Walter Pitts 首先构建出神经网络的概念模型。在名为 《A logical calculus of the ideas immanent in nervous activity》 的论文中,他们阐述了网络中神经元的概念。每一个神经元可以做三件事情:接受输入,处理输入和生成输出。
1965 年,Lawrence J. Fogel 成立了一个新的公司,名为 Decision Science, Inc,目的是对进化规划进行应用。这是第一家专门将进化计算应用于解决现实世界问题的公司。
上世纪 70 年代,随着数据库管理系统趋于成熟,存储和查询百万兆字节甚至千万亿字节成为可能。而且,数据仓库允许用户从面向事物处理的思维方式向更注重数据分析的方式进行转变。然而,从这些多维模型的数据仓库中提取复杂深度信息的能力是非常有限的。
1975 年,John Henry Holland 所著的《自然与人工系统中的适应》问世,成为遗传算法领域具有开创意义的著作。这本书讲解了遗传算法领域中的基本知识,阐述理论基础,探索其应用。
到了 80 年代,HNC 对“数据挖掘”这个短语注册了商标。注册这个商标的目的是为了保护名为“数据挖掘工作站”的产品的知识产权。该工作站是一种构建神经网络模型的通用工具,不过现在早已销声匿迹。也正是在这个时期,出现了一些成熟的算法,能够“学习”数据间关系,相关领域的专家能够从中推测出各种数据关系的实际意义。
1989 年,术语“数据库中的知识发现”(KDD)被Gregory Piatetsky-Shapiro 提出。同样这个时期,他合作建立起第一个同样名为KDD的研讨会。
到了 90 年代,“数据挖掘”这个术语出现在数据库社区。零售公司和金融团体使用数据挖掘分析数据和观察趋势以扩大客源,预测利率的波动,股票价格以及顾客需求。
1992 年,Berhard E. Boser, Isabelle M. Guyon 和 Vladimir N. Vanik对原始的支持向量机提出了一种改进办法,新的支持向量机充分考虑到非线性分类器的构建。支持向量机是一种监督学习方法,用分类和回归分析的方法进行数据分析和模式识别式。
1993 年,Gregory Piatetsky-Shapiro 创立“ Knowledge Discovery Nuggets (KDnuggets) ”通讯。本意是联系参加KDD研讨会的研究者,然而KDnuggets.com的读者群现在似乎广泛得多。
2001 年,尽管“数据科学”这个术语在六十年代就已存在,但直至 2001 年,William S. Cleveland 才以一个独立的概念介绍它。根据《Building Data Science Teams》所著,DJ Patil 和 Jeff Hammerbacher 随后使用这个术语介绍他们在 LinkedIn 和 Facebook 中承担的角色 。
2003 年,Micheal Lewis 写的 《点球成金》 出版,同时它也改变了许多主流联赛决策层的工作方式。奥克兰运动家队(美国职业棒球大联盟球队)使用一种统计的,数据驱动的方式针对球员的素质进行筛选,这些球员被低估或者身价更低。以这种方式,他们成功组建了一支打进2002和2003年季后赛的队伍,而他们的薪金总额只有对手的1/3。
如今(2015年),在 2015 年二月,DJ Patil成为白宫第一位首位数据科学家。今天,数据挖掘已经遍布商业、科学、工程和医药,这还只是一小部分。信用卡交易,股票市场流动,国家安全,基因组测序以及临床试验方面的挖掘,都只是指数据挖掘应用的冰山一角。随着数据收集成本变得越来越低,数据收集设备数目激增,像大数据这样的专有名词现在已经是随处可见。
数据挖掘的故事就是这样,匆匆而过!我是否错还过了什么值得提及的事情?我是不是对某些事情叙述的还不够准确?请在下面的评论中让我知道,或者直接邮件联系我。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14