
作者:Daniel Faggella
编译 | CDA数据分析师
What is Machine Learning?
在谷歌搜索中输入“什么是机器学习?”打开了一个潘多拉的论坛,学术研究和这里说的 - 本文的目的是简化机器学习的定义和理解,这要归功于我们的机器学习研究小组。
除了机器学习(ML)的知情,工作定义之外,我们还旨在简要概述机器学习的基本原理,让机器“思考”的挑战和局限性,以及今天深入解决的一些问题学习(机器学习的“前沿”),以及开发机器学习应用程序的关键要点。
我们将这个资源放在一起,以帮助您解决有关机器学习的任何好奇心 - 所以滚动到您感兴趣的部分,或者随意阅读文章,从下面的机器学习定义开始:
什么是机器学习?
“机器学习是让计算机像人类一样学习和行动的科学,通过以观察和现实世界互动的形式向他们提供数据和信息,以自主的方式改善他们的学习。”
上述定义包含了机器学习的理想目标或最终目标,正如该领域的许多研究人员所表达的那样。本文的目的是为具有商业头脑的读者提供有关如何定义机器学习及其工作原理的专家观点。 机器学习和人工智能在许多人的脑海中具有相同的定义,但读者也应该认识到一些明显的差异。本文末尾包含参考文献和相关研究人员的访谈,以便进一步挖掘。
我们如何到达我们的定义:
(我们的聚合机器学习定义可以在本文开头找到)
与任何概念一样,机器学习的定义可能略有不同,具体取决于您的要求。我们梳理互联网,从信誉良好的资源中找到五个实用的定义:
我们将这些定义发送给我们采访过和/或包含在我们之前的研究共识中的专家,并要求他们回答他们最喜欢的定义或提供他们自己的定义。我们的介绍性定义旨在反映不同的反应。以下是他们的一些回复:
蒙特利尔大学Yoshua Bengio博士:
ML不应由否定定义(因此裁定2和3)。这是我的定义:
机器学习研究是人工智能研究的一部分,旨在通过数据,观察和与世界的互动为计算机提供知识。获得的知识允许计算机正确地推广到新设置。
Danko Nikolic博士,CSC和Max-Planck研究所:
(编辑上面的数字2):“机器学习是让计算机在没有明确编程的情况下采取行动的科学,而是让他们自己学习一些技巧。”
路易斯维尔大学Roman Yampolskiy博士:
机器学习是让计算机学习和人类做得更好或更好的科学。
华盛顿大学Emily Fox博士:
我最喜欢的定义是5
机器学习基本概念
有许多不同类型的机器学习算法,每天发布数百种,并且它们通常按学习风格(即监督学习,无监督学习,半监督学习)或通过形式或功能的相似性(即分类,回归,决策树,聚类,深度学习等)。无论学习风格或功能如何,机器学习算法的所有组合都包含以下内容:
机器学习算法的基本目标是 概括超出训练样本,即成功解释之前从未“见过”的数据。
机器学习模型的可视化表示
到目前为止,概念和要点只能用于理解。当人们问“什么是机器学习?”时,他们经常想看看它是什么以及它做了什么。以下是机器学习模型的一些可视化表示,以及附带的链接以获取更多信息。
决策树模型:
高斯混合模型:
神经网络:
使用卷积神经网络合并色度和亮度:
我们如何让机器去学习?
有许多不同的方法让机器学习,从使用基本决策树到聚类到人工神经网络层(后者已经让位于深度学习),取决于你要完成的任务和类型以及您可用的数据量。这种动态在各种应用中发挥作用,如医疗诊断或自动驾驶汽车。
虽然重点通常放在选择最佳学习算法上,但研究人员发现,一些最有趣的问题都源于可用的机器学习算法。大多数情况下,这是训练数据的问题,但在新域中使用机器学习时也会出现这种情况。
在处理实际应用程序时所做的研究通常会推动该领域的进展,原因有两个:1。发现现有方法的界限和局限性的趋势2.研究人员和开发人员与领域专家合作,利用时间和专业知识来提高系统性能。
有时这也是由“意外”发生的。我们可能会考虑模型集合或许多学习算法的组合来提高准确性,这是一个例子。竞争2009 Netflix Price的团队发现,当他们将学习者与其他团队的学习者结合起来时,他们取得了最好的成绩,从而改进了推荐算法(请阅读Netflix的博客,了解他们最终未使用此合奏的原因)。
在业务和其他领域的应用方面,一个重要的观点(基于对该领域专家的访谈和对话)是机器学习不仅仅是,甚至是自动化,这是一个经常被误解的概念。如果你这样想,你一定会错过机器可以提供的宝贵见解和由此产生的机会(重新思考整个商业模式,例如制造业和农业等行业)。
学习的机器对人类有用,因为它们具有所有处理能力,能够更快地突出显示或找到人类可能错过的大(或其他)数据中的模式。机器学习是一种工具,可用于增强人类解决问题的能力,并从广泛的问题中做出明智的推断,从帮助诊断疾病到提出全球气候变化的解决方案。
挑战与局限
“机器学习无法从无到有......它的作用是从更少的东西中获得更多。” - 华盛顿大学Pedro Domingo博士
机器学习中两个最大的,历史性的(和持续的)问题涉及过度拟合(其中模型表现出对训练数据的偏见,并且不会推广到新数据,和/或变化,即在训练新数据时学习随机事物)和维度(具有更多特征的算法在更高/更多维度上工作,使得理解数据更加困难)。在某些情况下,访问足够大的数据集也是主要问题。
机器学习初学者中最常见的错误之一是成功地测试训练数据并具有成功的假象; Domingo(和其他人)强调在测试模型时保持一些数据集是分开的重要性,并且仅使用该保留数据来测试所选模型,然后学习整个数据集。
当学习算法(即学习者)不起作用时,通常更快的成功之路是为机器提供更多数据,其可用性现已成为近期机器和深度学习算法进步的主要驱动因素。年份; 然而,这可能导致可扩展性问题,我们有更多的数据,但有时间了解数据仍然是一个问题。
就目的而言,机器学习本身并不是目的或解决方案。此外,尝试将其用作一揽子解决方案即“BLANK”并不是一项有用的练习; 相反,带着问题或目标来到桌面通常最好由一个更具体的问题驱动 - “BLANK”。
深度学习涉及机器算法的研究和设计,用于在多个抽象级别(安排计算机系统的方式)学习数据的良好表示。最近通过DeepMind,Facebook和其他机构进行深度学习的宣传突显了它作为机器学习的“下一个前沿”。
该机器学习国际会议(ICML)被广泛认为是世界上最重要的项目之一。今年6月在纽约市举行,汇集了来自世界各地的研究人员,他们致力于解决当前深度学习中的挑战:
深度学习系统在过去十年中在诸如对象检测和识别,文本到语音,信息检索等领域取得了巨大的进步。研究现在专注于开发 数据高效的机器学习,即深度学习系统,可以在更少的时间和更少的数据中以更高的效率学习,在个性化医疗保健,机器人强化学习,情感分析等前沿领域,其他。
应用机器学习的关键要点
下面是一系列应用机器学习的最佳实践和概念,我们已经从我们对播客系列的采访以及本文末尾引用的选择来源进行了整理。我们希望这些原则中的一些将阐明如何使用ML,以及如何避免公司和研究人员在启动ML相关项目时可能容易受到的一些常见陷阱。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
剖析 CDA 数据分析师考试题型:解锁高效备考与答题策略 CDA(Certified Data Analyst)数据分析师考试作为衡量数据专业能力的 ...
2025-07-04SQL Server 字符串截取转日期:解锁数据处理的关键技能 在数据处理与分析工作中,数据格式的规范性是保证后续分析准确性的基础 ...
2025-07-04CDA 数据分析师视角:从数据迷雾中探寻商业真相 在数字化浪潮席卷全球的今天,数据已成为企业决策的核心驱动力,CDA(Certifie ...
2025-07-04CDA 数据分析师:开启数据职业发展新征程 在数据成为核心生产要素的今天,数据分析师的职业价值愈发凸显。CDA(Certified D ...
2025-07-03从招聘要求看数据分析师的能力素养与职业发展 在数字化浪潮席卷全球的当下,数据已成为企业的核心资产,数据分析师岗位也随 ...
2025-07-03Power BI 中如何控制过滤器选择项目数并在超限时报错 引言 在使用 Power BI 进行数据可视化和分析的过程中,对过滤器的有 ...
2025-07-03把握 CDA 考试时间,开启数据分析职业之路 在数字化转型的时代浪潮下,数据已成为企业决策的核心驱动力。CDA(Certified Da ...
2025-07-02CDA 证书:银行招聘中的 “黄金通行证” 在金融科技飞速发展的当下,银行正加速向数字化、智能化转型,海量数据成为银行精准 ...
2025-07-02探索最优回归方程:数据背后的精准预测密码 在数据分析和统计学的广阔领域中,回归分析是揭示变量之间关系的重要工具,而回 ...
2025-07-02CDA 数据分析师报考条件全解析:开启数据洞察之旅 在当今数字化浪潮席卷全球的时代,数据已成为企业乃至整个社会发展的核心驱 ...
2025-07-01深入解析 SQL 中 CASE 语句条件的执行顺序 在 SQL 编程领域,CASE语句是实现条件逻辑判断、数据转换与分类的重要工 ...
2025-07-01SPSS 中计算三个变量交集的详细指南 在数据分析领域,挖掘变量之间的潜在关系是获取有价值信息的关键步骤。当我们需要探究 ...
2025-07-01CDA 数据分析师:就业前景广阔的新兴职业 在当今数字化时代,数据已成为企业和组织决策的重要依据。数据分析师作为负责收集 ...
2025-06-30探秘卷积层:为何一个卷积层需要两个卷积核 在深度学习的世界里,卷积神经网络(CNN)凭借其强大的特征提取能力 ...
2025-06-30探索 CDA 数据分析师在线课程:开启数据洞察之旅 在数字化浪潮席卷全球的当下,数据已成为企业决策、创新与发展的核心驱 ...
2025-06-303D VLA新范式!CVPR冠军方案BridgeVLA,真机性能提升32% 编辑:LRST 【新智元导读】中科院自动化所提出BridgeVLA模型,通过将 ...
2025-06-30LSTM 为何会产生误差?深入剖析其背后的原因 在深度学习领域,LSTM(Long Short-Term Memory)网络凭借其独特的记忆单元设 ...
2025-06-27LLM进入拖拽时代!只靠Prompt几秒定制大模型,效率飙升12000倍 【新智元导读】最近,来自NUS、UT Austin等机构的研究人员创新 ...
2025-06-27探秘 z-score:数据分析中的标准化利器 在数据的海洋中,面对形态各异、尺度不同的数据,如何找到一个通用的标准来衡量数据 ...
2025-06-26Excel 中为不同柱形设置独立背景(按数据分区)的方法详解 在数据分析与可视化呈现过程中,Excel 柱形图是展示数据的常用工 ...
2025-06-26