机器学习-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

wangjuju123

SVM支持向量机

高准确率，为避免过拟合提供了很好的理论保证，而且就算数据在原特征空间线性不可分，只要给个合适的核函数，它就能运行得很好。在动辄超高维的文本分类问题中特别受欢迎。可惜内存消耗大，难以解释，运行和调参也有些烦人，而随机森林却刚好避开了这些缺点，比较实用。优点可以解决高维问题，即大型特征空间；能够处理非线性特征的相互作用；无需依赖整个数据；可以提高泛化能力；需要对数据提前归一化，很多人使

0.0000

0

2

0

关注作者

收藏

wangjuju123

KNN应用场景

理论成熟，思想简单，既可以用来做分类也可以用来做回归；可用于非线性分类；训练时间复杂度为O(n)；对数据没有假设，准确度高，对outlier不敏感；缺点计算量大；样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；需要大量的内存；

0.0000

0

4

0

关注作者

收藏

CDA字幕组

干货 | 机器学习没有你想的那么复杂

作者 | Anish Phadnis翻译 | Mika本文为 CDA 数据分析师原创作品，转载需授权人脑是最神奇的。你知道我更感兴趣的是什么吗？是我们的学习能力。我们如何能够适应并学习全新的技能，然后应用到日常生活之中呢?我有一个6岁的弟弟，我看着他从懵懵懂懂的小婴儿逐渐长大。他学会了如何爬行、走路、跑；如何学会说话，理解简单的语法和简单的数学。本文中我就要谈谈如何让机器复制这种学

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

机器学习的应用

机器学习的核心主要侧重于找到复杂数据的意义，这是一个应用广泛的任务，还有很多应用方向没有被发现。就像你可能预期的那样，机器学习的使用是非常广泛的，例如机器学习经常用于：预测选举结果识别并且过滤垃圾邮件预测犯罪活动根据路况，实现交通信号灯的自动化给出暴风雨和自然灾害后经济损失的估计检查客户流失设计自动驾驶飞机和自动驾驶汽车确定每个人捐助的能力把广告定位到特定类型的顾客现在还不用

0.0000

0

2

0

关注作者

收藏

PGC123

Kmeans 与KNN的区别

首先两个算法处理的数据不同：Kmeans 是聚类算法，属于无监督学习，主要处理没有标签的数据。KNN呢是分类算法，属于有监督学习，因此主要处理的是有标签的数据。两个算法得到的结果也不相同：Kmeans 最后得到的是几个分类的中心点或者每个类的标签，得到结果后可以没有历史数据而使用。KNN的使用必须依靠历史数据，然后根据历史数据才能进行分类计算，将未知样本进行分类。

0.0000

0

4

0

关注作者

收藏

809669515

双变量分析 - 分类和数值

带误差线的折线图带有误差线的折线图将信息显示为由直线段连接的一系列数据点。每个数据点是分类变量的相应类别的数值数据的平均值，其中误差条显示标准误差。这是一种总结信息片段如何相互关联以及它们如何相互依赖的方式（iris_linechart.xlsx）。 a组合图组合图表使用两种或更多图表类型来强调图表包含不同类型的信息。在这里，我们使用条形图显示分箱数值变量的分布和折线图，以显示分类变量

0.0000

0

4

0

关注作者

收藏

809669515

双变量分析 - 数值和数值

散点图散点图是两个数值变量（属性）之间关系的有用视觉表示，通常在计算线性相关或拟合回归线之前绘制。得到的模式表示两个变量之间关系的类型（线性或非线性）和强度。可以将更多信息添加到二维散点图中，例如，我们可以用代码标记点以指示第三变量的级别。如果我们处理数据集中的许多变量，那么一次呈现两个变量的所有可能散点图的方法是在散点图矩阵中。aa线性相关线性相关量化两个数值变量之间线性关系的

0.0000

0

5

0

关注作者

收藏

809669515

高斯混合体聚类

基于模型的聚类简介还有另一种处理聚类问题的方法：基于模型的方法，包括使用某些模型进行聚类并尝试优化数据和模型之间的拟合。在实践中，每个聚类可以通过参数分布在数学上表示，如高斯（连续）或泊松（离散）。因此，整个数据集由这些分布的混合物建模。用于对特定集群建模的单个分布通常称为组件分布。具有高可能性的混合模型倾向于具有以下特征：组件分布具有高“峰值”（一个簇中的数据很紧）;混合模型很好地“

0.0000

0

3

0

关注作者

收藏

809669515

自组织映射

自组织映射（SOM）用于高维数据集的可视化和分析。SOM有助于将高维数据集呈现为较低维度的数据集，通常是1-D，2-D和3-D。它是一种无监督的学习算法，并且不需要目标向量，因为它学会了在没有监督的情况下对数据进行分类。SOM由输入数据所呈现的节点或单元的网格形成。每个节点都连接到输入，节点之间没有连接。SOM是一种拓扑保留技术，可以将邻域关系保留在其映射表示中。算法1-使用0到1之间的

0.0000

0

2

0

关注作者

收藏

809669515

K-Means聚类旨在将n个对象划分为k个聚类，其中每个对象属于具有最近均值的聚类。该方法产生恰好具有最大可能区别的k个不同簇。导致最大间隔（距离）的最佳簇数k不是先验的，必须根据数据计算。K-Means聚类的目标是最小化总簇内方差，或平方误差函数： a算法将数据聚集到k个组中，其中k 是预定义的。随机选择k 点作为聚类中心。根据欧几里德距离函数将对象分配到其最近的聚类中心。

0.0000

0

3

0

关注作者

收藏

809669515

K-Means聚类旨在将n个对象划分为k个聚类，其中每个对象属于具有最近均值的聚类。该方法产生恰好具有最大可能区别的k个不同簇。导致最大间隔（距离）的最佳簇数k 不是先验的，必须根据数据计算。K-Means聚类的目标是最小化总簇内方差，或平方误差函数：算法将数据聚集到k个组中，其中k 是预定义的。随机选择k 点作为聚类中心。根据欧几里德距离函数将对象

0.0000

0

4

0

关注作者

收藏

809669515

模糊C均值聚类

算法模糊c均值（FCM）是一种聚类方法，它允许一个数据属于两个或多个聚类。这种方法（由Dunn于1973年开发，1981年由Bezdek改进）经常用于模式识别。它基于以下目标函数的最小化：a ， a其中m 是大于1的任何实数，u ij是聚类j中x i的隶属度，x i 是d维测量数据的第i个，c j是聚类的d维中心，和|| * || 是表示任何测量数据与中心之间相似性的

6.8974

1

4

0

关注作者

收藏

809669515

双变量分析

堆积柱形图堆积柱形图是一个有用的图形，用于可视化两个分类变量之间的关系。它比较了来自一个变量的每个类别对第二个变量的类别的总和所占的百分比。 a组合图组合图表使用两种或更多图表类型来强调图表包含不同类型的信息。在这里，我们使用条形图显示一个分类变量的分布和折线图，以显示第二个分类变量中所选类别的百分比。组合图是最好的可视化方法，用于演示预测器（X轴）对目标（Y轴）的可预测性。 a

6.8974

1

5

0

关注作者

收藏

809669515

什么是分箱？

分箱或离散化是将数值变量转换为分类对应物的过程。例如，将Age的值分为20-39,40-59和60-79等类别。数值变量通常在基于频率表（例如，决策树）的建模方法中离散化。此外，分箱可以通过降低噪声或非线性来提高预测模型的准确度。最后，分箱可以轻松识别异常值，数值变量的无效值和缺失值。a有两种类型的分箱，无监督和监督。

6.8974

1

2

0

关注作者

收藏

809669515

处理缺失值的策略

缺少值是常见的，您需要有一个策略来处理它们。缺失值可以表示数据中的许多不同内容。也许数据不可用或不适用或事件未发生。可能是输入数据的人不知道正确的值，或者错过填写。数据挖掘方法在处理缺失值的方式上有所不同。通常，它们会忽略缺失值，或者排除包含缺失值的任何记录，或者使用均值替换缺失值，或者从现有值中推断缺失值。a缺少值替换策略：忽略缺少值的记录。用全局常量替换它们（例如，“？”）。根据

0.0000

0

2

0

关注作者

收藏

809669515

如何处理决策树的过度拟合问题？

对于决策树模型和许多其他预测模型，过度拟合是一个重要的实际难题。当学习算法继续开发以增加测试集错误为代价来减少训练集错误的假设时，发生过度拟合。有几种方法可以避免在构建决策树时过度拟合。在完全对训练集进行分类之前，预先修剪停止生长树。后修剪，允许树完美地对训练集进行分类，然后修剪树。实际上，后修剪过度拟合树的第二种方法更成功，因为不容易精确估计何时停止生长树。树修剪的重要步骤是使用以

6.8974

1

3

0

关注作者

收藏

809669515

分层聚类涉及创建从上到下具有预定排序的聚类。例如，硬盘上的所有文件和文件夹都按层次结构进行组织。有两种类型的层次聚类，Divisive和Agglomerative。a分裂的方法在分裂或自上而下的聚类方法中，我们将所有观察分配给单个集群，然后将集群划分为两个最不相似的集群。最后，我们递归地对每个簇进行处理，直到每个观察有一个簇。有证据表明，在某些情况下，分裂算法比凝聚算法产生更准确的层次结

93.7428

1

2

0

关注作者

收藏

809669515

集群是类似的数据子集。聚类（也称为无监督学习）是将数据集划分为组的过程，使得每个组的成员尽可能彼此相似（接近），并且不同的组彼此尽可能不同（远）。群集可以发现数据集中以前未检测到的关系。群集分析有很多应用。例如，在商业中，聚类分析可用于发现和表征客户细分市场以用于营销目的，并且在生物学中，它可用于根据其特征对植物和动物进行分类。两组主要的聚类算法是：分级凝聚分裂表分词K-mean自

100.6402

2

4

0

关注作者

收藏

809669515

模型评估 - 回归

在构建了许多不同的回归模型之后，有很多标准可用于评估和比较它们。均方根误差RMSE是衡量回归模型错误率的常用公式。但是，它只能在以相同单位测量误差的模型之间进行比较。aa相对平方误差与RMSE不同，可以在不同单位测量误差的模型之间比较相对平方误差（RSE）。a平均绝对误差平均绝对误差（MAE）与原始数据具有相同的单位，并且只能在以相同单位测量误差的模型之间进行比较。它的大

0.0000

0

1

0

关注作者

收藏

809669515

ROC图表和曲线下面积（AUC）

ROC图表类似于增益或提升图表，因为它们提供了分类模型之间的比较手段。ROC图表显示X轴上的假阳性率（1-特异性），当其真实值为0时，目标的概率= 1，而在Y轴上显示真阳性率（灵敏度），目标的概率= 1时真值是1。理想情况下，曲线将快速向左上方爬，这意味着模型正确预测了案例。对角线红线表示随机模型（ROC101）。曲线下面积（AUC）ROC曲线下的面积通常用作分类模型质量的度量。

0.0000

0

3

0

关注作者

收藏

<1…646566…69>

CDA考试动态

CDA报考指南