机器学习-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

liting李

如何从scikit-learn算法库文档中快速找到KNN算法

1.首先打开算法的网址https://scikit-learn.org/stable/modules/classes.html2.点击最上方的API3.control F进行调出搜索栏4.输入对应的查询字段：KNN其他算法也可以按照此方法查找哦！

3.7600

2

4

0

关注作者

收藏

liting李

knn算法里是如何处理数据不平衡问题的

knn算法里处理数据不平衡问题是通过weights参数来平衡的。sklearn.neighbors.KNeighborsClassifier(n_neighbors=5, weights=’uniform’)weights：用于标识每个样本的近邻样本的权重，可选择"uniform",“distance” 或自定义权重。默认"uniform"，所有最近邻样本权重都一样。如果是"distance

3.7600

2

1

0

关注作者

收藏

liting李

什么是过拟合？

过拟合: 我们用模型去拟合数据, 但是在拟合的而过程当中, 不但会学习到数据中的规律, 也会学习到数据中的噪声（噪声代表了数据中的异常值）. 所以说如果模型的学习能力太强, 那么就会学习到数据中的噪声信息, 这样的模型的表现:在训练集上面效果特别好, 但是在测试集或验证集上面表现非常差.也就是模型的泛化能力很差.这个时候, 一般来说我们就认为模型过拟合了.

3.7600

2

2

0

关注作者

收藏

liting李

为什么先进行训练集和测试集的拆分, 然后才能进行归一化？

原因: 测试集是为了评估模型的在未知数据中的表现情况, 归一化的过程, 也是我们建模中的一步, 如果说将测试集也放到归一化模型的训练过程当中, 那么就等于说我们的模型接触到了测试集的信息.**这种情况称为数据泄露**, 在建模过程当中是不允许的.

3.7600

2

0

0

关注作者

收藏

liting李

怎么找sklearn里到数据集和model的

sklearn里到数据集网址：https://scikit-learn.org/stable/modules/classes.html 找到你想要的数据集点进去即可

3.7600

2

5

0

关注作者

收藏

wo5656500

什么是聚类分析？聚类算法有哪几种？

聚类分析是根据在数据中发现的描述对象及其关系的信息，将数据对象分组。目的是，组内的对象相互之间是相似的（相关的），而不同组中的对象是不同的（不相关的）。组内相似性越大，组间差距越大，说明聚类效果越好。聚类算法一般包括：层次聚类法，K-均值聚类，二阶聚类

12.8022

1

2

0

关注作者

收藏

wo5656500

如何处理缺失数据？

1. 用平均值、中值、分位数、众数、随机值等替代。效果一般，因为等于人为增加了噪声。2. 用其他变量做预测模型来算出缺失变量。效果比方法1略好。有一个根本缺陷，如果其他变量和缺失变量无关，则预测的结果无意义。如果预测结果相当准确，则又说明这个变量是没必要加入建模的。一般情况下，介于两者之间。

12.8022

1

0

0

关注作者

收藏

wo5656500

如何理解过拟合和欠拟合？

训练误差和验证误差都很大，这种情况称为欠拟合。出现欠拟合的原因是模型尚未学习到数据的真实结构。因此，模拟在训练集和验证集上的性能都很差。模型在训练集上表现很好，但是在验证集上却不能保持准确，也就是模型泛化能力很差。这种情况很可能是模型过拟合。

12.8022

1

2

0

关注作者

收藏

田齐齐

机器学习：随机数种子

如果希望通过设置随机数种子，在gpu或cpu上固定每一次的训练结果，则需要在程序执行的开始处添加以下代码：def setup_seed(seed): torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) np.random.seed(seed) random.seed(seed) tor

31.4356

5

1

0

关注作者

收藏

田齐齐

机器学习：数据集中怎样对应标签和代表的类型？

问：breast_cancer.target 这里怎么判断1和0分别代表的是恶性还是良型的？答：我们可以通过切片的方式来查看，如图[0],返回的是'malignant'，那么标签0就代表'malignant'这个类型。

2.4611

4

2

0

关注作者

收藏

田齐齐

机器学习：有监督学习和无监督学习

有监督学习：对具有标记的训练样本进行学习，以尽可能对训练样本集外的数据进行分类预测。（ LR,SVM,BP,RF,GBDT）无监督学习：对未标记的样本进行训练学习，比发现这些样本中的结构知识。 (KMeans,DL)

0.0068

3

1

0

关注作者

收藏

liting李

怎么确定测试集结果不好，然后再算验证集呢？

如果说测试集样本量非常大, 一般来说就比较准确了.如果少都不一定是准确的

3.7605

2

4

0

关注作者

收藏

PGC123

轮廓系数中总体、样本轮廓系数分别是啥意思？

轮廓系数中总体、样本轮廓系数分别是啥意思？答：轮廓系数（Silhouette Coefficient），是聚类效果好坏的一种评价方式。假设我们已经通过一定算法，将待分类数据进行了聚类。常用的比如使用K-means ，将待分类数据分为了 k 个簇。对于簇中的每个向量。分别计算它们的轮廓系数。对于其中的一个点 i 来说：计算 a(i) = average(i向量到所有它属于的簇中其它点

1.1101

1

2

0

关注作者

收藏

shauna570392

先有决策树还是先有特征重要性

可以计算正例经过的结点，进而，可以使用经过结点的数目、经过结点的gini系数和等指标。或者，随机替换一列数据，重新建立决策树，计算新模型的正确率变化，从而考虑这一列特征的重要性。一般是先根据不同的算法进行了特征选择，计算了特征的重要性在进行建模产生决策树。

0.0000

0

1

0

关注作者

收藏

shauna570392

树深是什么

决策树最大深max_depth：int or None。决策树的最大深度，默认可以不输入，如果不输入的话，决策树在建立子树的时候不会限制子树的深度。一般来说，数据少或者特征少的时候可以不管这个值。如果模型样本量多，特征也多的情况下，推荐限制这个最大深度，具体的取值取决于数据的分布。常用的可以取值50-100之间。这个就是在创建决策树的时候，树的最大深度，也就是分裂多少层。

0.0000

0

3

0

关注作者

收藏

PGC123

fit是训练数据那fit_transform是啥？

老师,我问一下fit是训练数据，那fit_transform是什么意思?答：fit不仅仅用于训练模型、还可用于数据的预处理。scikit-learn中的许多API都是需要先fit然后才能调用的。例如：你代码的功能其实是用均值填补缺失值，可以通过下图的栗子来理解 fit transform fit_transform的区别与联系

29.6815

2

3

0

关注作者

收藏

wo5656500

业务分析方法论---决策树

决策树(Decision Tree）：是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy= 系统的凌乱程度，使用算法ID3, C4.5和C

0.0000

0

1

0

关注作者

收藏

shauna570392

线性回归的优缺点

优点：（1）思想简单，实现容易。建模迅速，对于小数据量、简单的关系很有效；（2）是许多强大的非线性模型的基础。（3）线性回归模型十分容易理解，结果具有很好的可解释性，有利于决策分析。（4）蕴含机器学习中的很多重要思想。（5）能解决回归问题。缺点：（1）对于非线性数据或者数据特征间具有相关性多项式回归难以建模.（2）难以很好地表达高度复杂的数据。

0.0000

0

1

0

关注作者

收藏

shauna570392

SVM的优缺点

优点：a. 能应用于非线性可分的情况b. 最后分类时由支持向量决定，复杂度取决于支持向量的数目而不是样本空间的维度，避免了维度灾难c. 具有鲁棒性：因为只使用少量支持向量，抓住关键样本，剔除冗余样本d. 高维低样本下性能好，如文本分类缺点：a. 模型训练复杂度高b. 难以适应多分类问题c. 核函数选择没有较好的方法论

0.0000

0

3

0

关注作者

收藏

shauna570392

数据清理中，处理缺失值的方法有什么

常用的处理方法有：估算，整例删除，变量删除和成对删除。1、估算(estimation)。最简单的办法就是用某个变量的样本均值、中位数或众数代替无效值和缺失值。这种办法简单，但没有充分考虑数据中已有的信息，误差可能较大。另一种办法就是根据调查对象对其他问题的答案，通过变量之间的相关分析或逻辑推论进行估计。例如，某一产品的拥有情况可能与家庭收入有关，可以根据调查对象的家庭收入推算拥有这一产品的可能性

0.0000

0

5

0

关注作者

收藏

<1…343536…69>

CDA考试动态

CDA报考指南