机器学习-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

809669515

BP神经网络的优缺点

BP神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络，其算法称为BP算法，它的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小。BP神经网络的优点：具有较强的非线性映射能力具有高度自学习和自适应的能力具有将学习成果应用于新知识的能具有一定的容错能力BP神经网络的缺点：BP神经网络结构的选择至今尚无一种统一而完整的理论指导，

7.3728

1

1

0

关注作者

收藏

809669515

SVM的优缺点

SVM的主要思想可以概括为两点：它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。它基于结构风险最小化理论之上在特征空间中构建最优超平面，使得学习器得到全局最优化，并且在整个样本空间的期望以某个概率满足一定上界。SVM的主要优点：

9.7428

1

2

0

关注作者

收藏

809669515

随机森林的优点和缺点

随机森林（Random Forest）是属于集成学习的一种组合分类算法（确切说是属于bagging），集成学习的核心思想就是将若干个弱（基）分类器组合起来，得到一个分类性能显著优越的强分类器。如果各弱分类器之前没有强依赖关系、可并行生成，就可以使用随机森林算法。随机森林利用自主抽样法（bootstrap）从原数据集中有放回地抽取多个样本，对抽取的样本先用弱分类器—决策树进行训练，然后把这些

0.0000

0

0

0

关注作者

收藏

zxq997

KNN算法基本步骤

k-近邻算法步骤：1，计算已知类别数据集中的点与当前点之间的距离；2，按照距离递增次序排序；3，选取与当前点距离最小的k个点；4，确定前k个点所在类别的出现频率；5，返回前k个点所出现频率最高的类别作为当前点的预测分类

11.4127

1

1

0

关注作者

收藏

291294878

常用激化函数

1）sigmoid：将输出实值压缩到0-1之间。缺点：（输入非常大或非常小的时候）容易梯度消失；sigmoid函数是非0均值的，下一层的神经元将从上一层神经元得到的非0 均值的信号作为输入，再结合w计算梯度，始终都是正的。（可根据batch调节）2）Tanh：是0均值的。3）Relu（修正线性单元）：好处：收敛快，求梯度简单。具有稀疏特性。（相比于sigmoid：sigmoid反向传播

0.0000

0

1

0

关注作者

收藏

291294878

KD树是怎样进行搜索的？

1、首先从根节点开始递归往下找到包含x的叶子节点，每一层都是找对应的xi2、将这个叶子节点认为是当前的“近似最近点”3、递归向上回退，如果以x圆心，以“近似最近点”为半径的球与根节点的另一半子区域边界相交，则说明另一半子区域中存在与x更近的点，则进入另一个子区域中查找该点并且更新”近似最近点“4、重复3的步骤，直到另一子区域与球体不相交或者退回根节点5、最后更新的”近似最近点“与x

0.0000

0

4

0

关注作者

收藏

291294878

如何构建KD树？

KD树是一个二叉树，表示对K维空间的一个划分，可以进行快速检索（那KNN计算的时候不需要对全样本进行距离的计算了）在k维的空间上循环找子区域的中位数进行划分的过程。假设现在有K维空间的数据集：1、首先构造根节点，以坐标的中位数b为切分点，将根结点对应的矩形局域划分为两个区域，区域1中,区域2中2、构造叶子节点，分别以上面两个区域中的中位数作为切分点，再次将他们两两划分，作为深度1的

9.7428

1

2

0

关注作者

收藏

809669515

过拟合的常用处理方式

1.增加训练数据数过拟合是由于模型学习到了数据的一些噪声特征导致，增加训练数据的量能够减少噪声的影响，让模型更多地学习数据的一般特征。利用现有数据进行扩充或许也是一个好办法。例如在图像识别中，如果没有足够的图片训练，可以把已有的图片进行旋转，拉伸，镜像，对称等，这样就可以把数据量扩大好几倍而不需要额外补充数据。一般有以下方法：从数据源头采集更多数据复制原有数据并加上随机噪声重采样根据当

0.0000

0

1

0

关注作者

收藏

809669515

过拟合和欠拟合的区别

无论在机器学习还是深度学习建模当中都可能会遇到两种最常见结果，一种叫过拟合（over-fitting ）另外一种叫欠拟合（under-fitting）。首先谈谈什么是过拟合呢？什么又是欠拟合呢？网上很直接的图片理解如下：过拟合（over-fitting）所谓过拟合其实就是所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。打

0.0000

0

2

0

关注作者

收藏

PGC123

标准方程法与梯度下降法的区别

这两个方法都是旨在获取使代价函数值最小的参数θ，两个方法各有优缺点：1、梯度下降算法优点：当训练集很大的时候（百万级），速度很快。缺点：需要调试出合适的学习速率α、需要多次迭代、特征值数量级不一致时需要特征缩放。2、标准方程法优点：不需要α、不需要迭代、不需要特征缩放，直接解出结果。缺点：运算量大，当训练集很大时速度非常慢。因此，当训练集很大

17.3451

1

3

0

关注作者

收藏

291294878

KNN算法的三要素及优缺点是什么？

三要素：1、k值的选择2、距离的度量（常见的距离度量有欧式距离，马氏距离等）3、分类决策规则（多数表决规则）KNN算法的优点：1、思想简单，理论成熟，既可以用来做分类也可以用来做回归；2、可用于非线性分类；3、训练时间复杂度为O(n)；4、准确度高，对数据没有假设，对outlier不敏感；缺点：1、计算量大；2、样本不平衡问题（即有些类别的样本数量很多，而其它样本的

17.3451

1

2

0

关注作者

收藏

291294878

优点：1、使用核函数可以向高维空间进行映射2、使用核函数可以解决非线性的分类3、分类思想很简单，就是将样本与决策面的间隔最大化4、分类效果较好缺点：1、对大规模数据训练比较困难2、无法直接支持多分类，但是可以使用间接的方法来做

17.3451

1

2

0

关注作者

收藏

291294878

SVM多分类问题

1、直接法直接在目标函数上进行修改，将多个分类面的参数求解合并到一个最优化问题中，通过求解该优化就可以实现多分类（计算复杂度很高，实现起来较为困难）2、间接法一对多：其中某个类为一类，其余n-1个类为另一个类，比如A,B,C,D四个类，第一次A为一个类，{B,C,D}为一个类训练一个分类器，第二次B为一个类,{A,C,D}为另一个类,按这方式共需要训练4个分类器，最后在测试的时候

0.0000

0

3

0

关注作者

收藏

291294878

聚类的基本流程

聚类的基本流程• 典型的数据聚类基本步骤如下：• 对数据进行表示和预处理，包括数据清洗、特征选择或特征抽取；• 给定数据之间的相似度或相异度及其定义方法；• 根据相似度，对数据进行划分，即聚类；• 对聚类结果进行评估

17.3451

1

3

0

关注作者

收藏

809669515

使用python创建RFM模型

RFM是客户分析及衡量客户价值的重要模型之一，其中的R表示最近一次消费(Recency)，F表示消费频率(Frequency)，M表示消费金额(Monetary)。依据这三个指标RFM可以将客户动态分组，并进一步指导客户运营的下一步工作。本篇文章使用python的聚类算法创建一个粗糙的RFM模型。 1. 开始前的准备工作首先是开始前的准备工作，这里除了常用的numpy和pandas以外，

96.2725

3

1

0

关注作者

收藏

809669515

监督学习和无监督学习（通俗理解）

机器学习分为：监督学习，无监督学习，半监督学习（也可以用hinton所说的强化学习）等。在这里，主要理解一下监督学习和无监督学习。监督学习（supervised learning）从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求包括输入输出，也可以说是特征和目标。训练集中的目标是由人标注的。监督学习就是最常见的分类（注意和

0.0000

0

3

0

关注作者

收藏

809669515

划分训练集、测试集的三种方法

一、为什么要分开训练集与测试集在机器学习中，我们是依靠对学习器的泛化误差进行评估的方法来选择学习器。具体方法如下：我们需要从训练集数据中产出学习器，再用测试集来测试所得学习器对新样本的判别能力，以测试集上的测试误差作为泛化误差的近似，来选取学习器。通常我们假设训练集、测试集都是从样本集中独立同分布采样得到，且测试集、训练集中的样本应该尽可能互斥（测试集中的样本尽量不在训练集中有出现、尽量不

0.0000

0

1

0

关注作者

收藏

809669515

机器学习中训练集，验证集，测试集比例配比

当数据量比较小时，可以使用 7 ：3 训练数据和测试数据(西瓜书中描述常见的做法是将大约 2/3 ~ 4/5 的样本数据用于训练，剩余样本用于测试）或者 6： 2 : 2 训练数据，验证数据和测试数据当数据量非常大时，可以使用 98 : 1 : 1 训练数据，验证数据和测试数据传统机器学习阶段（数据集在万这个数量级），一般分配比例为6：2：2而大数据时代，这个比例就不太适用

57.9135

1

0

0

关注作者

收藏

啊啊啊啊啊吖

R中randomforest变种列表

randomForest 原创者 Leo Breiman原创性论文集，及R中randomForest变种列表很多人，用完randomForest ,觉得它很多不可思议的地方，因此想着改善。但是，没有成功的，大量所谓改善的"randomforest"变种，至今没有一个能超越Leo Breiman 原创！！！要用好randomForest ，请读读Leo Breiman的原创性论文，任

0.0000

0

1

0

关注作者

收藏

291294878

分类任务解决流程有哪些（分类算法）？

1. 任务：以新闻分类为例2. 特征表示：X={昨日，是，国内，投资，市场……}3. 特征选择：X={国内，投资，市场……}4. 模型选择：朴素贝叶斯分类器 • P(X)：待分类对象自身的概率，可忽略• P(yi)：每个类别的先验概率，如P(军事)• P(X|yi)：每个类别产生该对象的概率• P(xi|yi)：每个类别产生该特征的概率，如P(苹果|科技) 5. 训练数据准备

0.0000

0

1

0

关注作者

收藏

<1…676869>

CDA考试动态

CDA报考指南