数据分析师-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

詹惠儿

如何区分预剪枝和后剪枝？

问：如何区分决策树模型中的预剪枝处理和后剪枝处理？、答：决策树剪枝的基本策略有“预剪枝”(prepruning)和“后剪枝”(post-pruning) . 预剪枝是指在决策树牛成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分，并将当前结点标记为叶结点；后剪枝则是先从训练集生成一棵完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应

0.0061

1

1

0

关注作者

收藏

田齐齐

机器学习：决策树重要参数说明

DecisionTreeClassifier (criterion='gini', splitter='best', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes

3.7748

5

4

0

关注作者

收藏

詹惠儿

预处理先划分数据还是先做归一化处理？

问：对数据进行预处理时，如果要做归一化处理，是先进行归一化处理，再划分数据集吗？答：先进行训练集和测试集的拆分, 然后才能进行归一化，原因是因为测试集是为了评估模型的在未知数据中的表现情况, 归一化的过程, 也是我们建模中的一步, 如果说将测试集也放到归一化模型的训练过程当中, 那么就等于说我们的模型接触到了测试集的信息，这种情况称为数据泄露, 在建模过程当中是不允许的.

0.0061

1

1

0

关注作者

收藏

詹惠儿

如何理解机器学习中的过拟合？

问：如何理解机器学习中的过拟合？答：我们用模型去拟合数据, 但是在拟合的而过程当中, 不但会学习到数据中的规律, 也会学习到数据中的噪声. 所以说如果模型的学习能力太强, 那么就会学习到数据中的噪声信息, 这样的模型的表现:在训练集上面效果特别好, 但是在测试集或验证集上面表现非常差.也就是模型的泛化能力很差.这个时候, 一般来说我们就认为模型过拟合了.

0.0061

1

2

0

关注作者

收藏

田齐齐

机器学习：决策树模型为什么不用归一化处理

对于树形结构为什么不需要归一化？因为数值缩放不影响分裂点位置，对树模型的结构不造成影响。按照特征值进行排序的，排序的顺序不变，那么所属的分支以及分裂点就不会有不同。概率模型不需要归一化，因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率，如决策树、rf。而像adaboost、svm、lr、KNN、KMeans之类的最优化问题就需要归一化。而且，树模型是不能进行梯度下降的，

3.7748

5

1

0

关注作者

收藏

詹惠儿

求信息熵的log是以什么为底？

问：求信息熵的log是以什么为底？其取值范围是什么？答：信息熵是度量样本集合纯度最常用的指标，信息熵中的log是以2为底，其最小值为0，最大值为log2(Y)根据分类变量的类别数Y而定，当变量为二分类时，最大值为1，当变量为三分类时，最大值为log2（3），以此类推。

0.0061

1

2

0

关注作者

收藏

田齐齐

机器学习：决策树模型中的不纯度指标

我们一般怎样去选择使用哪个指标来评价决策树模型中的不纯度指标。错误率: 因为变化是一个直线变化, 数学性质不好信息熵: 数学性质号, 但是有对数运算, 需要消耗运算量大基尼: 和信息熵基本一样, 而且消耗的运算量小所以我们绝大多数时候直接选择基尼指数即可。

3.7748

5

3

0

关注作者

收藏

田齐齐

机器学习：什么是过拟合

噪声代表了数据中的异常值过拟合: 我们用模型去拟合数据, 但是在拟合的而过程当中, 不但会学习到数据中的规律, 也会学习到数据中的噪声. 所以说如果模型的学习能力太强, 那么就会学习到数据中的噪声信息, 这样的模型的表现:在训练集上面效果特别好, 但是在测试集或验证集上面表现非常差.也就是模型的泛化能力很差.这个时候, 一般来说我们就认为模型过拟合了.

2.4637

4

4

0

关注作者

收藏

田齐齐

机器学习：先进性归一化处理还是先拆分数据集

需要先进行训练集和测试集的拆分, 然后才能进行归一化原因: 测试集是为了评估模型的在未知数据中的表现情况, 归一化的过程, 也是我们建模中的一步, 如果说将测试集也放到归一化模型的训练过程当中, 那么就等于说我们的模型接触到了测试集的信息。这种情况称为数据泄露, 在建模过程当中是不允许的。

2.4637

4

3

0

关注作者

收藏

liting李

为什么先进行训练集和测试集的拆分, 然后才能进行归一化？

原因: 测试集是为了评估模型的在未知数据中的表现情况, 归一化的过程, 也是我们建模中的一步, 如果说将测试集也放到归一化模型的训练过程当中, 那么就等于说我们的模型接触到了测试集的信息.**这种情况称为数据泄露**, 在建模过程当中是不允许的.

3.7600

2

0

0

关注作者

收藏

liting李

怎么找sklearn里到数据集和model的

sklearn里到数据集网址：https://scikit-learn.org/stable/modules/classes.html 找到你想要的数据集点进去即可

3.7600

2

5

0

关注作者

收藏

田齐齐

机器学习：随机数种子

如果希望通过设置随机数种子，在gpu或cpu上固定每一次的训练结果，则需要在程序执行的开始处添加以下代码：def setup_seed(seed): torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) np.random.seed(seed) random.seed(seed) tor

31.4356

5

1

0

关注作者

收藏

田齐齐

交叉验证集的平均分数和最后的测试集分数，用哪个呢？

问：交叉验证集的平均分数和最后的测试集分数，用哪个呢？答：以交叉验证出得结果为权威

2.4611

4

1

0

关注作者

收藏

田齐齐

机器学习：数据集中怎样对应标签和代表的类型？

问：breast_cancer.target 这里怎么判断1和0分别代表的是恶性还是良型的？答：我们可以通过切片的方式来查看，如图[0],返回的是'malignant'，那么标签0就代表'malignant'这个类型。

2.4611

4

2

0

关注作者

收藏

田齐齐

机器学习：交叉验证的结果会受随机数种子的影响吗？

问：交叉验证的结果会受随机数种子的影响吗？答：前提是只根据几折交叉验证拆分训练集和验证集，单独再拆分测试集的话此时交叉验证的结果会不受随机数种子的影响。1.交叉验证可以让我们得到更可靠稳定的模型。2.交叉验证中没有设置随机数种子这个参数。3.交叉验证拆分新的训练集时，并不是随机打乱进行拆分的，而是有方向的进行划分。

2.4611

4

1

0

关注作者

收藏

田齐齐

机器学习中训练的意思是模型计算的过程吗？

问：机器学习中训练的意思是模型计算的过程吗？答：不是，在机器学习中我们常说的对模型进行训练，意思是我们将训练集导入模型之后，所用的算法根据已知的训练集的特征和标签进行学习的过程，以提高模型的泛化能力。

2.4611

4

2

0

关注作者

收藏

田齐齐

Matplotlib中设置支持中文代码

28.9813

4

1

0

关注作者

收藏

田齐齐

人类在数据分析中起着什么作用？

问：现在计算机就可以自动生成一系列的数据汇总和进行预测，那咱们数据分析的作用是什么？答：计算机虽然可以很高效的为人类解决很多问题，但人类依旧是数据分析中最重要的。数据分析中，人类的业务经验，已经灵活运用计算机的能力才是重中之重。

0.0068

3

1

0

关注作者

收藏

詹惠儿

绘制学习曲线时，i一般取值为多少呢？

问：请问绘制学习曲线时，i一般取值为多少呢？答：这个i没有固定的值: 具体要看数据集的个数, 例如100个样本和100万个样本, 适合的值是不同的；100万个数据时，i取100是合理的，但是放在样本为100的数据中就不合理了这是一个试探的过程, 可以直接取的范围大一些, 但是消耗的计算时间就会变长.可以取少一点, 再看一下数据波动走势, 进行改变

0.0028

1

2

0

关注作者

收藏

詹惠儿

import load_breast_cancer怎么理解？

问：from sklearn.datasets import load_breast_cancer 老师，是因为运行了这行代码，所以这个数据集才会出现在本地电脑上吗答：不是，load_breast_cancer是sklearn中datasets模块的自带数据集，当运行pip install sklearn安装sklearn库时，便自带把这些数据集一同下载在电脑上，而像datasets.f

29.0488

3

1

0

关注作者

收藏

<1…838485…340>

CDA考试动态

CDA报考指南