机器学习-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

wangjuju123

Adaboost是boosting中较为代表的算法，基本思想是通过训练数据的分布构造一个分类器，然后通过误差率求出这个若弱分类器的权重，通过更新训练数据的分布，迭代进行，直到达到迭代次数或者损失函数小于某一阈值。Adaboost的算法流程：假设训练数据集为T={(X1,Y1),(X2,Y2),(X3,Y3),(X4,Y4),(X5,Y5)} 其中Yi={-1,1}1、初始化训练数据的分

0.0000

0

2

0

关注作者

收藏

wangjuju123

集成学习概述

1.1 集成学习概述集成学习在机器学习算法中具有较高的准去率，不足之处就是模型的训练过程可能比较复杂，效率不是很高。目前接触较多的集成学习主要有2种：基于Boosting的和基于Bagging，前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法主要是随机森林。1.2 集成学习的主要思想集成学习的主要思想是利用一定的手段学习出多个分类器，而且这多个分类器要求是弱分

0.0000

0

1

0

关注作者

收藏

809669515

基于抽样的算法SMOTE

2002年，引入了一种基于抽样的算法SMOTE（Synthetic Minority Over-Sampling Technique），试图解决类不平衡问题。由于其简单性和有效性，它是最常用的方法之一。它是过采样和欠采样的组合，但过采样方法不是复制少数类，而是通过算法构造新的少数类数据实例。在传统的过采样中，少数类正在被复制。在SMOTE中，以这种方式构造新的少数派实例：a构造算法背后的直

114.3933

1

2

0

关注作者

收藏

809669515

如何缓解类不平衡问题？

现在知道类不平衡问题是什么以及它为什么是一个问题，我们需要知道如何处理这个问题。我们可以将方法粗略地分为两大类：基于抽样的方法和基于成本函数的方法。基于成本函数的方法基于成本函数的方法背后的直觉是，如果我们认为一个假阴性比一个假阳性更差，我们将计算一个假阴性，例如100个假阴性。例如，如果1个假阴性与100个假阳性一样昂贵，则机器学习算法将尝试与假阳性相比产生更少的假阴性（因为它更便宜）。

0.0000

0

1

0

关注作者

收藏

809669515

如何判断机器学习算法哪个更好？

为了告诉机器学习算法（或研究人员）模型2优于模型1，我们需要更好的指标，而不仅仅是计算错误的数量。我们介绍了真阳性，真阴性，假阳性和假阴性的概念：真阳性（TP rate） - 一个积极的例子，被正确归类为阳性真阴性（TN rate） - 一个阴性的例子，被正确分类为阴性误报（FP rate） - 一个否定的例子，但被错误地归类为正面假阴性（FN rate） - 一个积

114.3933

1

1

0

关注作者

收藏

809669515

什么是类不平衡问题？

什么是类不平衡问题？这是机器学习中的问题，其中一类数据的总数（正数）远小于另一类数据的总数（负数）。为什么这是一个问题？大多数机器学习算法在每个类的实例数大致相等时效果最佳。当一个类的实例数远远超过另一个类时，会出现问题。下面以一个例子来说明这一点。给定交易数据的数据集，我们想知道哪些是欺诈性的，哪些是真实的。现在，如果欺诈性交易发生，电子商务公司的成本很高，因为这会影响我们的客户对我

0.0000

0

1

0

关注作者

收藏

809669515

分类 (Classification)：ROC 和曲线下面积

ROC 曲线ROC 曲线（接收者操作特征曲线）是一种显示分类模型在所有分类阈值下的效果的图表。该曲线绘制了以下两个参数：真正例率假正例率真正例率(TPR) 是召回率的同义词，因此定义如下：假正例率(FPR) 的定义如下： ROC 曲线用于绘制采用不同分类阈值时的 TPR 与 FPR。降低分类阈值会导致将更多样本归为正类别，从而增加假正例和真正例的个数。下图显示了一个典型的

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

支持向量机的R实现

#(1)支持向量机(SVM):library(kernlab)irismodel

133.3072

1

1

0

关注作者

收藏

啊啊啊啊啊吖

R里关于支持向量机的包和函数

kernlab包: 函数ksvm()通过。Call接口，使用bsvm和libsvm库中的优化方法。对于分类，有C-SVM分类算法和v-SVM分类算法，同时还包括C分类器的有界约束的版本；对于回归，提供了ε-SVM回归算法和v-SVM回归算法；对于多类分类，有一对一(one-against-one)方法和原生多类分类方法。e1071包: 使用libsvm库中的优化方法。多分类通过一

133.3072

1

2

0

关注作者

收藏

809669515

分类型模型评估之混淆矩阵

混淆矩阵显示分类模型与数据中的实际结果（目标值）相比所做的正确和不正确预测的数量。矩阵是 N × N ，其中 N 是目标值（类）的数量。通常使用矩阵中的数据来评估这些模型的性能。下表显示了两个类（正面和负面）的2x2混淆矩阵。准确性（accuracy）：正确的预测总数的比例。阳性预测值或精确度 (positive predictive value)：正确识别的阳性病例的比例。

0.0000

0

2

0

关注作者

收藏

809669515

如何去评估一个模型的优良？

方法一：拆分测试集和训练集将数据集拆分为单独的测试集和训练集。在前者上训练模型，在后者上评估模型（例如错误率，准确率，召回率，ROC、auc等）方法二：训练模型并调整（优化）其参数将数据集拆分为单独的测试和训练集。在训练集上使用诸如交叉验证之类的技术来为模型找到“最佳”超参数集。如果已完成超参数调整，使用独立测试集来获得其性能的无偏估计。方法三：构建不同的模型并比较不同的算

17.3451

1

2

0

关注作者

收藏

zxq997

LR和SVM的联系与区别。

联系： 1、LR和SVM都可以处理分类问题，且一般都用于处理线性二分类问题（在改进的情况下可以处理多分类问题） 2、两个方法都可以增加不同的正则化项，如l1、l2等等。所以在很多实验中，两种算法的结果是很接近的。区别： 1、LR是参数模型，SVM是非参数模型。 2、从目标函数来看，区别在于逻辑回归采用的是logistical loss，SVM采用的是hinge loss.这两个损失函数

17.3451

1

2

0

关注作者

收藏

809669515

分类与聚类的比较

分类和聚类的概念是比较容易混淆的。聚类分析是研究如何在没有训练的条件下把样本划分为若干类。在分类中，对于目标数据库中存在哪些类是知道的，要做的就是将每一条记录分别属于哪一类标记出来。聚类需要解决的问题是将已给定的若干无标记的模式聚集起来使之成为有意义的聚类，聚类是在预先不知道目标数据库到底有多少类的情况下，希望将所有的记录组成不同的类或者说聚类，并且使得在这种分类情况下，以某种度量（例如：距

0.0000

0

4

0

关注作者

收藏

809669515

监督学习和非监督学习算法，该怎么选？

一种非常简单的回答就是从定义入手，如果我们在分类的过程中有训练样本(training data)，则可以考虑用监督学习的方法；如果没有训练样本，则不可能用监督学习的方法。但是，现实问题中，即使没有训练样本，我们也能够凭借自己的双眼，从待分类的数据中，人工标注一些样本，并把它们作为训练样本，这样的话，可以把条件改善，用监督学习方法来做。对于不同的场景，正负样本的分布如果会存在偏移（可能大的偏移，

7.3797

2

1

0

关注作者

收藏

809669515

监督学习和无监督学习的区别

机器学习的常用方法，主要分为有监督学习(supervised learning)和无监督学习(unsupervised learning)。无监督与监督学习的区别在于一个无教学值，一个有教学值。但是，个人认为他们的区别在于无监督学习一般是采用聚簇等算法来分类不同样本。而监督学习一般是利用教学值与实际输出值产生的误差，进行误差反向传播修改权值来完成网络修正的。但是无监督学习没有反向传播修改权值

0.0000

0

6

0

关注作者

收藏

809669515

Kmeans算法的优点和缺点

K-MEANS算法是输入聚类个数k，以及包含 n个数据对象的数据库，输出满足方差最小标准k个聚类的一种算法。k-means 算法接受输入量 k ；然后将n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。K-means算法的优点是：计算时间段，速度快能根据较少的已知聚类样本的类别对树进行剪枝确定部分样本的分类算法本身具有优化迭代

0.0000

0

6

0

关注作者

收藏

809669515

多元线性回归的优点和缺点

在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。多元线性回归的优点：可直观、快速分析出三者之间的线性关系。可以准确的剂量各个因素之间的相关程度与拟合程度的高低，提高预测方程式的效果多元线性回归的缺点：可能忽略了交互效应和非线性的因果关

0.0000

0

1

0

关注作者

收藏

809669515

多元线性回归的优点和缺点

在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。多元线性回归的优点：可直观、快速分析出三者之间的线性关系。可以准确的剂量各个因素之间的相关程度与拟合程度的高低，提高预测方程式的效果多元线性回归的缺点：可能忽略了交互效应和非线性的因果关

0.0000

0

2

0

关注作者

收藏

809669515

逻辑回归的优点和缺点

逻辑回归（Logistic Regression）是用于处理因变量为分类变量的回归问题，常见的是二分类或二项分布问题，也可以处理多分类问题，它实际上是属于一种分类方法。优点：非常容易实现，且训练起来很高效预测结果是界于0和1之间的概率；可以适用于连续性和类别性自变量；容易使用和解释；Logistic 回归也是一个很好的基准，可以用它来衡量其他更复杂的算法的性能。缺点：容易欠拟

0.0000

0

1

0

关注作者

收藏

809669515

决策树算法的优点和缺点

决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。决策树算法的优点如下：生成的模式简单对噪声数据有很好的健壮性速度快: 计算量相对较小, 且容易转化成分类规则. 只要沿着树根向下一直走到叶, 沿途的分裂条件就能够唯一确定一条分类的谓词准确

0.0000

0

1

0

关注作者

收藏

<1…666768…69>

CDA考试动态

CDA报考指南