机器学习-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

shauna570392

归一化和标准化如何选择

看情况。⼤多数机器学习算法中，会选择标准化来进⾏特征缩放，因为归一化对异常值⾮常敏感。在PCA，聚类，逻辑回归，⽀持向量机，神经⽹络这些算法中，标准化往往是最好的选择。归一化在不涉及距离度量、梯度、协⽅差计算以及数据需要被压缩到特定区间时使⽤⼴泛，⽐如数字图像处理中量化像素强度时，都会使⽤归一化将数据压缩于[0,1]区间之中。建议先试试看标准化，效果不好换归一化。

3.5770

1

0

0

关注作者

收藏

shauna570392

Adaboost为什么会用到梯度下降

adaboost算法的思路如下：（1）样本权重表示样本分布，对特定的样本分布生成一个弱学习器。（2）根据该弱学习器模型的误差率e更新学习器权重α。（3）根据上一轮的学习器权重α来更新下一轮的样本权重。（4）重复步骤(1)(2)(3)，结合所有弱学习器模型，根据结合策略生成强学习器。该过程是通过迭代生成了一系列的学习器，我们给予误差率低的学习器一个高的权重，给予误差率高的学习器一个低的权重

3.5770

1

3

0

关注作者

收藏

shauna570392

预测相同数据，AdaBoost 比随机森林预测更准确？

是的，因为adaboost该算法的工作机制是：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器。如此反复进行，直至学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。因为在不断的学习叠加优化，所以预测效果更好，但是有可能过拟合。

3.5770

1

2

0

关注作者

收藏

shauna570392

什么是学习率

学习率主要是在梯度下降的时候使用，给参数加入一个权重，以此来控制参数的变化速率。加入学习率就是希望在参数更新缓慢的时候加快它的更新，在参数更新跨度太大使减弱它的更新。

3.5770

1

1

0

关注作者

收藏

shauna570392

参数base_estmator的设置问题

一、问题描述AdaAoost分类器中base_estomator什么时候必须使用支持概率预测的分类器。二、问题解答设置Algorithm参数时samme或samme.r，一般使用默认的samme.r，则弱分类器学习器参数base_estomator必须限制使用支持概率的分类器。sammer则没这个限制。

3.5770

1

1

0

关注作者

收藏

shauna570392

随机森林补全缺失值后，mse为何提升

一、问题描述可以理解为，是因为有y的参与回归预测出来的x，x与y的偏回归效果更好，单个x的噪音少，那么全部补全后的数据噪音降低了，因此总体上mse小吗？二、问题解答可以这么理解，因为在填补缺失值的时候，具有y反过来预测x的过程，所以在最后填补完成后，mse会提升，但是该方法具有过拟合的可能。

3.5770

1

1

0

关注作者

收藏

shauna570392

代码理解问题

一、问题描述 fillc=df[i], df的i列删掉后，为什么在Xtrain Xtest赋值的时候还有效运行到Xtrain 和Xtest时 df已经没有第i列了也就是失去了与fillc的联系了不知道它如何查出来的二、问题解答将df里的一列取出来以后，将原本的df删掉取出的一列。对取出来的列找到空缺值，使用isnull进行判断，得到布尔值，使用非空数据去预测空值。是通过索引查出

3.5770

1

1

0

关注作者

收藏

shauna570392

随机森林的单分类器问题

一、问题描述随机森林里面的单分类器默认的split是best还是random二、问题解答默认是best

3.5770

1

4

0

关注作者

收藏

赵娜0418

网格搜索有哪些优点？

网格搜索可能是最简单、应用最广泛的超参数搜索算法，它通过查找搜索范围内的所有的点来确定最优值。如果采用较大的搜索范围以及较小的步长，网格搜索有很大概率找到全局最优值。然而，这种搜索方案十分消耗计算资源和时间，特别是需要调优的超参数比较多的时候。因此，在实际应用中，网格搜索法一般会先使用较广的搜索范围和较大的步长，来寻找全局最优值可能的位置；然后会逐渐缩小搜索范围和步长，来寻找更精确的最优值。这种操

0.7752

1

2

0

关注作者

收藏

赵娜0418

什么是Holdout检验？

Holdout 检验是最简单也是最直接的验证方法，它将原始的样本集合随机划分成训练集和验证集两部分。比方说，对于一个点击率预测模型，我们把样本按照70%～30% 的比例分成两部分，70% 的样本用于模型训练；30% 的样本用于模型验证，包括绘制ROC曲线、计算精确率和召回率等指标来评估模型性能。Holdout 检验的缺点很明显，即在验证集上计算出来的最后评估指标与原始分组有很大关系。为了消除随机

4.0284

2

2

0

关注作者

收藏

赵娜0418

怎样有效地找到组合特征？

怎样有效地找到组合特征？答：以点击预测问题为例，假设原始输入特征包含年龄、性别、用户类型（试用期、付费）、物品类型（护肤、食品等）4个方面的信息，并且根据原始输入和标签（点击/未点击）构造出了决策树，如图所示：于是，每一条从根节点到叶节点的路径都可以看成一种特征组合的方式。具体来说，就有以下4种特征组合的方式。（1）“年龄

0.7752

1

3

0

关注作者

收藏

赵娜0418

在对数据进行预处理时，应该怎样处理类别型特征？

在对数据进行预处理时，应该怎样处理类别型特征？答：1、序号编码序号编码通常用于处理类别间具有大小关系的数据。例如成绩，可以分为低、中、高三档，并且存在“高>中>低”的排序关系。序号编码会按照大小关系对类别型特征赋予一个数值ID，例如高表示为3、中表示为2、低表示为1，转换后依然保留了大小关系。2、独热编码独热编码通常用于处理类别间不具有大小关系的特征。例如血型，一共有4个取值（A型血、B

30.4223

2

1

0

关注作者

收藏

赵娜0418

GBDT的优点和局限性有哪些？

GBDT的优点和局限性有哪些？答：■ 优点（1）预测阶段的计算速度快，树与树之间可并行化计算。（2）在分布稠密的数据集上，泛化能力和表达能力都很好，这使得GBDT在Kaggle的众多竞赛中，经常名列榜首。286（3）采用决策树作为弱分类器使得GBDT模型具有较好的解释性和鲁棒性，能够自动发现特征间的高阶关系，并且也不需要对数据进行特殊的预处理如归一化等。■ 局限性（1）GBD

29.6471

2

2

0

关注作者

收藏

赵娜0418

梯度提升和梯度下降的区别和联系是什么？

梯度提升和梯度下降的区别和联系是什么？答：如下图是梯度提升算法和梯度下降算法的对比情况。可以发现，两者都是在每一轮迭代中，利用损失函数相对于模型的负梯度方向的信息来对当前模型进行更新，只不过在梯度下降中，模型是以参数化形式表示，从而模型的更新等价于参数的更新。而在梯度提升中，模型并不需要进行参数化表示，而是直接定义在函数空间中，从而大大扩展了可以使用的模型种类。

0.0000

0

1

0

关注作者

收藏

赵娜0418

什么是偏差和方差？

什么是偏差和方差？答：在有监督学习中，模型的泛化误差来源于两个方面——偏差和方差，具体来讲偏差和方差的定义如下：偏差指的是由所有采样得到的大小为m的训练数据集训练出的所有模型的输出的平均值和真实模型输出之间的偏差。偏差通常是由于我们对学习算法做了错误的假设所导致的，比如真实模型是某个二次函数，但我们假设模型是一次函数。由偏差带来的误差通常在训练误差上就能体现出来。方差指的是由所有采样得到的大

0.0000

0

6

0

关注作者

收藏

赵娜0418

可否将随机森林中的基分类器由决策树替换为线性分类器或K-近邻

可否将随机森林中的基分类器，由决策树替换为线性分类器或K-近邻？为什么？答：随机森林属于Bagging类的集成学习。Bagging的主要好处是集成后的分类器的方差，比基分类器的方差小。Bagging所采用的基分类器，最好是本身对样本分布较为敏感的（即所谓不稳定的分类器），这样Bagging才能有用武之地。线性分类器或者K-近邻都是较为稳定的分类器，本身方差就不大，所以以它们为基分类器使用Bagg

0.0000

0

3

0

关注作者

收藏

赵娜0418

常用的基分类器是什么？

常用的基分类器是什么？答：最常用的基分类器是决策树，主要有以下3个方面的原因。（1）决策树可以较为方便地将样本的权重整合到训练过程中，而不需要使用过采样的方法来调整样本权重。（2）决策树的表达能力和泛化能力，可以通过调节树的层数来做折中。（3）数据样本的扰动对于决策树的影响较大，因此不同子样本集合生成的决策树基分类器随机性较大，这样的“不稳定学习器”更适合作为基分类器。此外，在决策树节点分

0.0000

0

3

0

关注作者

收藏

赵娜0418

集成学习分哪几种？他们有何异同？

集成学习分哪几种？他们有何异同？答：1、 BoostingBoosting方法训练基分类器时采用串行的方式，各个基分类器之间有依赖。它的基本思路是将基分类器层层叠加，每一层在训练的时候，对前一层基分类器分错的样本，给予更高的权重。测试时，根据各层分类器的结果的加权得到最终结果。Boosting的过程很类似于人类学习的过程，我们学习新知识的过程往往是迭代式的，第一遍学习的时候，我们会记住一

0.0000

0

3

0

关注作者

收藏

赵娜0418

降维算法可以用在什么地方？

降维算法可以用在什么地方？答：主成分分析（Principal Component Analysis (PCA)）主成分回归（Principal Component Regression (PCR)）偏最⼩⼆乘回归（Partial Least Squares Regression(PLSR)）Sammon 映射（Sammon Mapping）

0.0000

0

1

0

关注作者

收藏

赵娜0418

使用Hopfield ⽹络有什么优势吗？

使用Hopfield ⽹络有什么优势吗？答：优点：在语⾳、语义、视觉、各类游戏（如围棋）的任务中表现极好。算法可以快速调整，适应新的问题。缺点：需要⼤量数据进⾏训练训练要求很⾼的硬件配置模型处于「⿊箱状态」，难以理解内部机制元参数（Metaparameter）与⽹络拓扑选择困难。

0.0000

0

5

0

关注作者

收藏

<1…404142…69>

CDA考试动态

CDA报考指南