机器学习-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

詹惠儿

测试集和验证集有什么区别？

问：测试集和验证集有什么区别和联系？答：1）联系：当我们获取一组数据后，先将数据集分成整体的训练集和测试集，然后我们把训练集放入交叉验证中，从训练集中分割更小的训练集（k-1份）和验证集（1份），此时我们返回的交叉验证结果其实是验证集上的结果。我们使用验证集寻找最佳参数，确认一个我们认为泛化能力最佳的模型，然后我们将这个模型使用在测试集上，观察模型的表现。2）区别：两者的主要

26.9468

1

3

0

关注作者

收藏

shauna570392

如何理解决策树算法中的class_weight参数？

classsklearn.tree.DecisionTreeClassifier(criterion=’gini’, splitter=’best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None,

26.9468

1

1

0

关注作者

收藏

liting李

逻辑回归和线性回归中的参数penalty意思不一样？

是的，逻辑回归和线性回归中的参数penalty意思不一样。在逻辑回归中penalty是用来提升模型的泛化能力，防止过拟合，在线性回归中penalty是用来解决多重共线性问题。

26.1731

2

3

0

关注作者

收藏

shauna570392

为什么决策树代码每次运行都结果都不一样？

每次决策树分叉时，所有的特征都是随机排序的，可以设置随机种子就是random_state如果你的max_features小于你总特征数n_features，那么每个分叉必须采样，随机性很大。即使你的max_features = n_features，表现相同的分叉还是会选第一个，所以依然有随机性也可以设置splitter="best"最优的划分方式，这样基本上每次的结果都不会差太多

16.5229

4

2

0

关注作者

收藏

shauna570392

import graphviz 报错modulenotfounderror

1、检查发现环境变量都已设置好2、发现该同学只装了graphviz的安装包，没有在anaconda prompt里运行安装graphviz的运行语句需要右键以管理员身份运行conda install python-graphviz3、运行后安装成功了

16.5227

3

4

0

关注作者

收藏

shauna570392

dbscn函数的eps和min_samples参数含义是什么？

　 1）eps： DBSCAN算法参数，即我们的ϵ-邻域的距离阈值，和样本距离超过ϵ的样本点不在ϵ-邻域内。默认值是0.5.一般需要通过在多组值里面选择一个合适的阈值。eps过大，则更多的点会落在核心对象的ϵ-邻域，此时我们的类别数可能会减少，本来不应该是一类的样本也会被划为一类。反之则类别数可能会增大，本来是一类的样本却被划分开。　　　　2）min_samples：

8.7288

3

0

0

关注作者

收藏

liting李

xgboost是有放回抽样，这个怎么理解？

xgboost属于boosting算法，boosting算法和bagging算法的一个区别不就是boosting算法训练集样本是不变的，而bagging是有放回抽样，基训练器之间是相互独立的，但是xgboost却有有放回抽样，这个怎么理解此图为xgboost 的原理图。此图的理解为： xgboost之前有放回抽样是因为xgboost是一种提升树模型，而所用到的树模型则是CART回归

8.7217

2

1

0

关注作者

收藏

liting李

逻辑回归的推导公式为何有个-1？

看一下逻辑回归推导公式：这里的-1是哪里来的？这个是极大似然的方法，目标是最大化，最大化的话我们要沿着梯度的正方向移动。损失函数都是最小化问题，需要加个负号将最大变成最小然后用梯度下降来求解，所以前面有个负号。

8.7217

2

4

0

关注作者

收藏

shauna570392

kmeans的n_clusters参数是什么意思呢？

这个是代表聚为多少个类，就是聚类的个数。KMeans函数的参数详解： n_clusters：整型，缺省值=8 ，生成的聚类数。 max_iter：整型，缺省值=300 。　　　　执行一次k-means算法所进行的最大迭代数。 n_init：整型，缺省值=10 。　　　　　用不同的聚类中心初始化值运行算法的次数，最终解是在inertia意义下选出的最优结果。 init：

8.7217

2

3

0

关注作者

收藏

shauna570392

代码中为什么要将索引减去1?

使用krange重置索引后可以看到是从1开始的，python里默认第一位索引是0，所以把最大的分数对应的索引取出来以后减了一

8.7068

1

0

0

关注作者

收藏

shauna570392

从图形来看这里是3个x和1个y呀,怎么代码是两个x和1个y呢？

不是3个x，是数据有3个类别，你看到的不同颜色实际上是y的类别有3个只有两个维度，为x1，x2，也就是你坐标系看到的x轴和y轴y为标签，即显示的颜色

8.7068

1

1

0

关注作者

收藏

陈革007

Python: 常见报错

1.AssertionError 断言语句（assert）失败2.AttributeError 尝试访问未知的对象属性3.EOFError 用户输入文件末尾标志EOF（Ctrl d）4.FloatingPointError 浮点计算错误5.GeneratorExit generator.close()方法被调用的时候6.ImportError 导入模块失败的时候7.IndexErro

0.0820

4

6

0

关注作者

收藏

shauna570392

网格搜索中best_estimator_和.best_score_在使用的时候没有提前命名,但是这里怎么没有报错呢？

因为这个是网格搜索函数的方法，直接进行调用，就是这么使用的，不需要提前定义比如使用grid_search.best_score_获取最佳分数,会返回最优的得分使用grid_search.best_estimator_获取参数最好的一组对应的分类器

14.6895

1

3

0

关注作者

收藏

shauna570392

变量命名有好几处在字母后面加_,那这个又是什么意思呢？

这个是变量的命名规则因为变量名不能包含空格，但可使用下划线来分隔其中的单词，所以为了方便理解不同变量的含义，所以在命名的时候会使用下划线进行分隔连接

14.6917

2

4

0

关注作者

收藏

shauna570392

var后加_是什么意思呢？

这里在var后加_有什么用呢？这个是前面定义的变量名，为了不和var关键字冲突，所以在var后加了_，写为var_

14.8168

4

3

0

关注作者

收藏

liting李

交叉验证中的X和Y是填训练集的还是测试集的还是本身的X和Y？

如图，下面是交叉验证的参数，这里X和Y是填训练集的还是测试集的还是本身的X和Y 答：填训练集。交叉验证(Cross Validation)简称为CV。CV是用来验证分类器的性能一种统计分析方法,基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validationset),首先用训练集对分类器进行训练,

13.8710

8

3

0

关注作者

收藏

liting李

为什么同样的数据自相关就画不出图呢？

如上图，为什么同样的数据自相关就画不出图呢？注意看错误原因，这里报错的是y值是字符串的格式错误，要检查一下那个y特征，确保那个特征是浮点数或者整数。

13.8607

6

0

0

关注作者

收藏

liting李

在决策树的生成中，是不是CART树不用计算信息增益？

看李航的书，他这里直接根据gini系数就决定了哪个为根节点，并没有计算信息增益或是信息增益比？要分清他采用的是决策树的哪种算法，不同算法采用不同原则决定根节点。CART树采用基尼系数最小化原则，C4.5采用信息增益率最大原则，ID3采用信息增益最大化原则，这个要分清。

13.8487

4

2

0

关注作者

收藏

bowan.

数据分析与大数据分析

传统数据分析与大数据分析的三方面异同：第一，在分析方法上，两者并没有本质不同。数据分析的核心工作是人对数据指标的分析、思考和解读，人脑所能承载的数据量是极其有限的。所以，无论是“传统数据分析”，还是“大数据分析”，均需要将原始数据按照分析思路进行统计处理，得到概要性的统计结果供人分析。两者在这个过程中是类似的，区别只是原始数据量大小所导致处理方式的不同。第二，在对统计学知识的

13.8487

4

2

0

关注作者

收藏

詹惠儿

数据分析中的standard model 指的是什么？

问：数据分析中的standard model 指的是什么？答：standard model 指的是模型变量的标准化，在建模的时候，会遇到不同的自变量之间的量纲差距很大的情况，如输入变量有年龄和身高（身高以m为单位）时，年龄的范围为（0-100]，而身高的范围则是(0,2.5]。此时两个变量之间的取值范围差了一个数量级。若采用这两个变量进行建模，则有可能出现这样的情况：年龄对预测值的影响

13.8583

3

3

0

关注作者

收藏

<1…121314…69>

CDA考试动态

CDA报考指南