数据挖掘-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

809669515

K-Means聚类旨在将n个对象划分为k个聚类，其中每个对象属于具有最近均值的聚类。该方法产生恰好具有最大可能区别的k个不同簇。导致最大间隔（距离）的最佳簇数k不是先验的，必须根据数据计算。K-Means聚类的目标是最小化总簇内方差，或平方误差函数： a算法将数据聚集到k个组中，其中k 是预定义的。随机选择k 点作为聚类中心。根据欧几里德距离函数将对象分配到其最近的聚类中心。

0.0000

0

3

0

关注作者

收藏

809669515

K-Means聚类旨在将n个对象划分为k个聚类，其中每个对象属于具有最近均值的聚类。该方法产生恰好具有最大可能区别的k个不同簇。导致最大间隔（距离）的最佳簇数k 不是先验的，必须根据数据计算。K-Means聚类的目标是最小化总簇内方差，或平方误差函数：算法将数据聚集到k个组中，其中k 是预定义的。随机选择k 点作为聚类中心。根据欧几里德距离函数将对象

0.0000

0

4

0

关注作者

收藏

809669515

模糊C均值聚类

算法模糊c均值（FCM）是一种聚类方法，它允许一个数据属于两个或多个聚类。这种方法（由Dunn于1973年开发，1981年由Bezdek改进）经常用于模式识别。它基于以下目标函数的最小化：a ， a其中m 是大于1的任何实数，u ij是聚类j中x i的隶属度，x i 是d维测量数据的第i个，c j是聚类的d维中心，和|| * || 是表示任何测量数据与中心之间相似性的

6.8974

1

4

0

关注作者

收藏

809669515

双变量分析

堆积柱形图堆积柱形图是一个有用的图形，用于可视化两个分类变量之间的关系。它比较了来自一个变量的每个类别对第二个变量的类别的总和所占的百分比。 a组合图组合图表使用两种或更多图表类型来强调图表包含不同类型的信息。在这里，我们使用条形图显示一个分类变量的分布和折线图，以显示第二个分类变量中所选类别的百分比。组合图是最好的可视化方法，用于演示预测器（X轴）对目标（Y轴）的可预测性。 a

6.8974

1

5

0

关注作者

收藏

809669515

什么是分箱？

分箱或离散化是将数值变量转换为分类对应物的过程。例如，将Age的值分为20-39,40-59和60-79等类别。数值变量通常在基于频率表（例如，决策树）的建模方法中离散化。此外，分箱可以通过降低噪声或非线性来提高预测模型的准确度。最后，分箱可以轻松识别异常值，数值变量的无效值和缺失值。a有两种类型的分箱，无监督和监督。

6.8974

1

2

0

关注作者

收藏

809669515

处理缺失值的策略

缺少值是常见的，您需要有一个策略来处理它们。缺失值可以表示数据中的许多不同内容。也许数据不可用或不适用或事件未发生。可能是输入数据的人不知道正确的值，或者错过填写。数据挖掘方法在处理缺失值的方式上有所不同。通常，它们会忽略缺失值，或者排除包含缺失值的任何记录，或者使用均值替换缺失值，或者从现有值中推断缺失值。a缺少值替换策略：忽略缺少值的记录。用全局常量替换它们（例如，“？”）。根据

0.0000

0

2

0

关注作者

收藏

809669515

如何处理决策树的过度拟合问题？

对于决策树模型和许多其他预测模型，过度拟合是一个重要的实际难题。当学习算法继续开发以增加测试集错误为代价来减少训练集错误的假设时，发生过度拟合。有几种方法可以避免在构建决策树时过度拟合。在完全对训练集进行分类之前，预先修剪停止生长树。后修剪，允许树完美地对训练集进行分类，然后修剪树。实际上，后修剪过度拟合树的第二种方法更成功，因为不容易精确估计何时停止生长树。树修剪的重要步骤是使用以

6.8974

1

3

0

关注作者

收藏

809669515

分层聚类涉及创建从上到下具有预定排序的聚类。例如，硬盘上的所有文件和文件夹都按层次结构进行组织。有两种类型的层次聚类，Divisive和Agglomerative。a分裂的方法在分裂或自上而下的聚类方法中，我们将所有观察分配给单个集群，然后将集群划分为两个最不相似的集群。最后，我们递归地对每个簇进行处理，直到每个观察有一个簇。有证据表明，在某些情况下，分裂算法比凝聚算法产生更准确的层次结

93.7428

1

2

0

关注作者

收藏

809669515

集群是类似的数据子集。聚类（也称为无监督学习）是将数据集划分为组的过程，使得每个组的成员尽可能彼此相似（接近），并且不同的组彼此尽可能不同（远）。群集可以发现数据集中以前未检测到的关系。群集分析有很多应用。例如，在商业中，聚类分析可用于发现和表征客户细分市场以用于营销目的，并且在生物学中，它可用于根据其特征对植物和动物进行分类。两组主要的聚类算法是：分级凝聚分裂表分词K-mean自

100.6402

2

4

0

关注作者

收藏

809669515

模型评估 - 回归

在构建了许多不同的回归模型之后，有很多标准可用于评估和比较它们。均方根误差RMSE是衡量回归模型错误率的常用公式。但是，它只能在以相同单位测量误差的模型之间进行比较。aa相对平方误差与RMSE不同，可以在不同单位测量误差的模型之间比较相对平方误差（RSE）。a平均绝对误差平均绝对误差（MAE）与原始数据具有相同的单位，并且只能在以相同单位测量误差的模型之间进行比较。它的大

0.0000

0

1

0

关注作者

收藏

809669515

ROC图表和曲线下面积（AUC）

ROC图表类似于增益或提升图表，因为它们提供了分类模型之间的比较手段。ROC图表显示X轴上的假阳性率（1-特异性），当其真实值为0时，目标的概率= 1，而在Y轴上显示真阳性率（灵敏度），目标的概率= 1时真值是1。理想情况下，曲线将快速向左上方爬，这意味着模型正确预测了案例。对角线红线表示随机模型（ROC101）。曲线下面积（AUC）ROC曲线下的面积通常用作分类模型质量的度量。

0.0000

0

3

0

关注作者

收藏

809669515

什么是KS图表？

KS或Kolmogorov-Smirnov图表测量分类模型的性能。更准确地说，KS是衡量正负分布之间分离程度的指标。如果得分将人口划分为两个单独的组，其中一组包含所有阳性而另一组包含所有阴性，则KS为100。另一方面，如果模型不能区分正面和负面，那么就好像模型从总体中随机选择案例。KS将为0。在大多数分类模型中，KS将介于0和100之间，并且值越高，模型在分离正面和负面情况时越好。例

0.0000

0

1

0

关注作者

收藏

809669515

什么是增益和提升图表

增益或升力是分类模型有效性的度量，其计算为使用和不使用模型获得的结果之间的比率。增益和提升图表是评估分类模型性能的视觉辅助工具。然而，与混淆矩阵相比，评估整个人口增长或升力图表的模型评估一部分人口的模型表现。例：提升图表提升图表显示，与我们联系随机客户样本相比，我们获得积极响应的可能性要大得多。例如，通过基于预测模型仅联系10％的客户，我们将达到3倍的受访者，就像我们不使用任何

0.0000

0

4

0

关注作者

收藏

809669515

什么是混淆模型？

混淆矩阵显示分类模型与数据中的实际结果（目标值）相比所做的正确和不正确预测的数量。矩阵是N×N，其中N是目标值（类）的数量。通常使用矩阵中的数据来评估这些模型的性能。下表显示了两个类（正面和负面）的2x2混淆矩阵。准确性：正确的预测总数的比例。阳性预测值或精确度：正确识别的阳性病例的比例。负面预测值：正确识别的负面案例的比例。敏感度或召回率：正确识别的实际阳性病例的比例。特异性

0.0000

0

3

0

关注作者

收藏

809669515

什么是数据科学？

数据科学（又名数据挖掘）是通过数据分析来解释过去和预测未来。数据科学是一个多学科领域，它结合了统计学，机器学习，人工智能和数据库技术。数据科学应用的价值通常估计非常高。许多企业在多年的运营中存储了大量数据，数据科学能够从这些数据中提取非常有价值的知识。然后，企业可以将提取的知识用于更多客户，更多销售和更高利润。在工程和医疗领域也是如此。a统计Ť他的科学采集，分类，汇总，整理，分析和解

6.8974

1

2

0

关注作者

收藏

809669515

数据准备通常是一个耗时的过程，很容易出错。俗话说“垃圾中垃圾”特别适用于那些收集了许多无效，超出范围和缺失值的数据的数据科学项目。分析未针对此类问题进行仔细筛选的数据可能会产生极具误导性的结果。那么，数据科学项目的成功在很大程度上取决于准备数据的质量。数据数据通常是测量结果（数值）或计数结果（分类）。变量用作数据的占位符。有两种类型的变量，数字和分类。数值或连续可变是一个可以接受

6.8974

1

3

0

关注作者

收藏

809669515

支持向量机 - 分类（SVM）

支持向量机（SVM）通过找到最大化两个类之间的余量的超平面来执行分类。定义超平面的向量（个案）是支持向量。a算法定义最佳超平面：最大化边距针对非线性可分的问题扩展上述定义：对错误分类进行惩罚。将数据映射到高维空间，更容易使用线性决策表面进行分类：重新设计问题，以便将数据隐式映射到此空间。要定义最佳超平面，我们需要最大化边距（w）的宽度。aa我们通过使用二次规划求解以下

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

关联规则算法是个啥

关联规则挖掘是数据挖掘中成果颇丰而且比较活跃的研究分支。采用关联模型比较典型的案例是“尿布与啤酒”的故事。在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，超市也因此发现了一个规律，在购买婴儿尿布的年轻父亲们中，有30%～40%的人同时要买一些啤酒。超市随后调整了货架的摆放，把尿布和啤酒放在一起，明显增加了销售额。同样的，我们还可以根据关联规则在商品销售方面做各种促销活动。除此以外，关联规

0.0000

0

4

0

关注作者

收藏

809669515

多元线性回归

多元线性回归（MLR）是一种用于模拟因变量（目标）与一个或多个自变量（预测变量）之间的线性关系的方法。 MLR基于普通最小二乘法（OLS），该模型拟合使得观察值和预测值的差的平方和最小化。 MLR模型基于若干假设（例如，误差通常以零均值和恒定方差分布）。如果满足假设，则回归估计器在其无偏，有效且一致的意义上是最优的。无偏意味着估计量的期望值等于参数的真值。有效意味着估计量的方差小于任

0.0000

0

4

0

关注作者

收藏

809669515

支持向量机 - 回归（SVR）

支持向量机也可以用作回归方法，保持表征算法的所有主要特征（最大边距）。支持向量回归（SVR）使用与SVM相同的原则进行分类，只有一些细微差别。首先，因为输出是实数，所以很难预测手头的信息，这些信息具有无限的可能性。在回归的情况下，容差裕度（epsilon）被设置为近似于已经从问题请求的SVM。但除此之外，还有一个更复杂的原因，算法更复杂，因此需要考虑。然而，主要思想始终是相同的：为了最大限度地减少

0.0000

0

2

0

关注作者

收藏

<1…121314…17>

CDA考试动态

CDA报考指南