机器学习-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

读童话的狼

特征工程有升维吗？

升维，意味着要加特征，为了简单一点，我们可以使用sklearn中的多项式特征。语法Init signature:PolynomialFeatures( degree=2, interaction_only=False, include_bias=True, order='C',)degree=2 自变量最高的次数，默认为2，值越大，则组合出来的特

38.3632

4

2

0

关注作者

收藏

读童话的狼

mac电脑打开win系统传的压缩包文件名乱码

解决：win与Mac的编码方式不一样，将压缩包后缀从zip改成tar再解压就可以了

30.3283

3

4

0

关注作者

收藏

读童话的狼

购物篮分析进行聚类后怎么做？

购物篮分析就是为了找似的物品，主要的目的在于找出什么样的东西应该放在一起，由顾客的购买行为来了解是什么样的顾客以及这些顾客为什么买这些产品，找出相关的联想规则，由这些规则的挖掘获得利益与建立竞争优势

5.3691

2

3

0

关注作者

收藏

读童话的狼

皮尔逊相关性检验跟f检验的回归方法应该是相近的对吧？

是的，只是皮尔逊计算的是相关性的大小，f检验计算的是相关性是不是显著

28.6450

3

3

0

关注作者

收藏

田齐齐

如何在安装imblearn第三方库

在学习机器学习的时候，我们遇到的数据集大多是类别平衡的，即数据集中各个类的样本数都很接近。但是实际问题中我们遇到的大部分数据集都是不均衡的。常用的处理方法如下：1.对数据进行预处理，进行欠采样或者过采样等处理，使数据分布较为均衡。2.对算法进行改进，使其对少数类更加敏感。python提供了就是一个处理不均衡数据的imblearn库；其基于机器学习常用sklearn开发而成，使用方法和s

16.0274

6

2

0

关注作者

收藏

读童话的狼

方差过滤，分类变量是不需要标准化的对吧？

方差过滤首先需对数据进行标准化，分类变量可以利用斯皮尔曼相关系数进行相关检验，进行筛选

2.7812

1

2

0

关注作者

收藏

读童话的狼

特征选择F检验标准化以后是不是跟卡方过滤没有太大区别？

卡方过滤是专门针对离散型标签（即分类问题）的相关性过滤。卡方检验类feature_selection.chi2 计算每个非负特征和标签之间的卡方统计量，并依照卡方统计量由高到低为特征排名。F检验，又称ANOVA，方差齐性检验，是用来捕捉每个特征与标签之间的线性关系的过滤方法。它即可以做回归也可以做分类，因此包含feature_selection.f_classif（F检验分类）和 featu

2.7812

1

2

0

关注作者

收藏

读童话的狼

为啥还要用采样法？直接用数据本身的召回率精准率这些判断不行吗

分类模型天生会倾向于多数的类，让多数类更容易被判断正确，少数类被牺牲掉。通过施加一些惩罚或者改变样本本身，来让模型向着捕获少数类的方向建模。

2.7812

1

3

0

关注作者

收藏

读童话的狼

对于boosting，是不是不需要关注数据不均衡的问题？

集成学习（Ensemble集成算法）。首先从多数类中独立随机抽取出若干子集，将每个子集与少数类数据联合起来训练生成多个基分类器，再加权组成新的分类器，如加法模型、Adaboost、随机森林等。此类模型对不平衡数据虽然不是特别敏感，但是对一些特别偏斜的数据仍需利用采样法等处理

35.3815

2

2

0

关注作者

收藏

读童话的狼

下采样有包可以调用吗？

下采样(Under-sampling)1 原型生成(prototype generation)给定数据集S, 原型生成算法将生成一个子集S’, 其中|S’| < |S|, 但是子集并非来自于原始数据集. 意思就是说: 原型生成方法将减少数据集的样本数量, 剩下的样本是由原始数据集生成的, 而不是直接来源于原始数据集.ClusterCentroids函数实现了上述功能: 每一个类别的样本都会用

32.6002

1

2

0

关注作者

收藏

读童话的狼

f1_score是什么？

精准度与召回率的调和平均数作为考量两者平衡的综合性指标，称之为F1 measure。公式为： f1_score则是sklearn.metrics模块中的F1 measure评估指标。

2.7812

1

2

0

关注作者

收藏

读童话的狼

分类数据进行独热编码是不是就不能用皮尔森相关性检验？

进行独热编码之后数据就会变得得稀疏，对于这样的数据或是数值型的分类数据可以用斯皮尔曼相关Pearson的条件比Spearman的条件更严格，两者共同条件应该都是1、两列数据；2、满足线性假设；但Pearson要求两列数据均为正态分布，Spearman没有相关要求。也即，Pearson是Spearman的充分非必要条件。如果数据不符合Pearson要求，可以把数据降级，然后用Spearm

3.1913

1

4

0

关注作者

收藏

liting李

为什么对原始数据集进行行有放回抽样

我们训练模型之前，必然会有一个巨大的数据集。我们都知道树模型是天生过拟合的模型，并且如果数据量量太过巨大，树模型的计算会非常缓慢，因此，我们要对我们的原始数据集进行有放回抽样。有放回抽样是防止过拟合。

0.0000

0

3

0

关注作者

收藏

liting李

决策树是贪婪算法吗

贪婪算法指的是控制局部最优来达到全局最优的算法，决策树算法本身就是一种使用贪婪算法的方法。

0.0000

0

3

0

关注作者

收藏

liting李

如何安装xgboost库

#windowspip install --user xgboost #安装xgboost库pip install --upgrade xgboost #更更新xgboost库#MACbrew install gcc@7pip3 install xgboost安装完毕之后，我们就能够使用这个库中所带的XGB相关的类了。import xgboost as xgb

62.4585

3

2

0

关注作者

收藏

读童话的狼

损失函数是用来做什么的？

损失函数就是用来表现预测与实际数据的差距程度我们想要的是通过损失函数的最小化，来求得中间的最优参数解

16.5189

1

2

0

关注作者

收藏

读童话的狼

升级完matplotlib后仍显示旧版本怎么办？

升级完matplotlib后仍显示旧版本，如图：这样情况就是升级安装成功，重启jupyter就可以

37.0659

2

5

0

关注作者

收藏

读童话的狼

win32安装xgboost报错

安装xgboost，命令行运行下面代码pip install xgboost -i https://pypi.tuna.tsinghua.edu.cn/simplewin32位电脑报错如下：解决办法，可以尝试离线安装步骤如下：1、从这个网址下载32位的离线版xgboost， https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost2、

20.5470

1

4

0

关注作者

收藏

读童话的狼

学习目标参数是激活函数吗？

目标函数也称为损失函数、代价函数，是深度学习里用于训练模型时的优化目标函数。激活函数是负责将神经元的输入映射到输出端的函数。

2.7812

1

2

0

关注作者

收藏

读童话的狼

xgboost对缺失值敏感吗？

xgboost把缺失值当做稀疏矩阵来对待，本身的在节点分裂时不考虑的缺失值的数值。缺失值数据会被分到左子树和右子树分别计层损失，选择较优的那一个。如果训练中没有数据缺失，预测时出现了数据缺失，那么默认被分类到右子树。

35.3815

2

5

0

关注作者

收藏

<1…212223…69>

CDA考试动态

CDA报考指南