机器学习-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

读童话的狼

特征筛选这里是不是业务上重要的特征如果表现不好也不能删？

主要还是要看这个特征在模型中的效果怎么样，如果加入这个特征后模型效果就变差了，就要删掉，如果模型效果没有变化，就保留

1.3440

1

1

0

关注作者

收藏

读童话的狼

数据特征筛选，有什么讲究吗，什么时候选哪种？

单变量：方差过滤双变量：相关性基于模型的显著性：特征重要性、p值多变量：VIF直接进行特征筛选会产生不必要的信息损失推荐：先构造特征，提升维度，然后再筛选

1.3134

2

0

0

关注作者

收藏

读童话的狼

特征选择的时候是不是能用随机森林就不用决策树？

这两个算法都是通过计算特征重要性来选择特征的，随机森林精确度会更高一些，但是在数据量比较大时候，计算会比较费时间所以数据量太大就使用决策树就可以

1.3134

2

1

0

关注作者

收藏

读童话的狼

标准化就是standard，归一化就是minmax？归一化和标准化不是差不多吗？

标准化公式：x-均值 / 标准差把数据转换到均值为0，标准差为1的数据映射方式数据的分布的进行转换，使其符合某种分布（比如正态分布）的一种特征变换。归一化公式：x- xmin / xmax-xmin把数据转换到(0,1)或者(-1,1)区间的数据映射方式对数据的数值范围进行特定缩放，但不改变其数据分布的一种特征变换。

18.0969

3

1

0

关注作者

收藏

读童话的狼

用SMOTE的时候要先抽样本之后再做标准化么？

先抽样本之后再做标准化，与先标准化再进行抽样都是可以的标准化之后分布是一样的，分布相同的时候做过采样选取的数据和原始的数据差别不会太大，所以两种方式都是可以的

1.3134

2

0

0

关注作者

收藏

读童话的狼

啥时候用归一化，啥时候用标准化呢？

没有特殊要求就用标准化，如果对数据有特殊要求，比如多项式朴素贝叶斯，就需要做归一化

1.3134

2

0

0

关注作者

收藏

读童话的狼

0，1客户区分度好坏是要看差的最大值吗？

是的，对于KS曲线来说将样本按分数由低到高排序，X轴是总样本累计比例，Y轴是累积好坏样本分别占总的好坏样本的比例。两条曲线在Y轴方向相差的最大值即是KS。KS越大说明模型的区分能力越好。 KS = max{bad percent , good percent} 大于0.3 好大于0.20.3 可用大于00.2 较差

1.3134

2

3

0

关注作者

收藏

大魔王泛泛

经典统计学理论与机器学习最大的不同是什么

经典统计学理论是概率论与统计方法，机器学习本质是一种优化问题

0.0195

1

2

0

关注作者

收藏

大魔王泛泛

概述一下什么是多重共线性？

回归中的多重共线性是一个当模型中一些预测变量与其他预测变量相关时发生的条件，严重的多重共线性可能会产生问题，因为它可以增大回归系数的方差，使它们变得不稳定。简单来说，就是指多元回归分析中各个自变量之间存在的相关关系可能会导致建立错误的回归模型以及得出使人误解的结论的问题

0.0195

1

0

0

关注作者

收藏

大魔王泛泛

概述一下最大熵模型的思想是什么？

最大熵模型认为，学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。若模型要满足一些约束条件时，则最大熵原理就是在满足已知条件的概率模型集合中，找到熵最大的模型。因而最大熵模型指出，在预测一个样本或者一个事件的概率分布时，首先应当满足所有的约束条件，进而对未知的情况不做任何的主观假设。在这种情况下，概率分布最均匀，预测的风险最小，因此得到的概率分布的熵是最大

2.1518

2

2

0

关注作者

收藏

大魔王泛泛

描述一下什么是独热编码？

独热编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。即，只有一位是1，其余都是零值例如：sex: [man, women] => [0,1]city: [beijing, shanghai. hangzhou] => [0,1,2]按照N位状态寄存器来对N个状态进行编码的原理：sex: man =>

2.1518

2

0

0

关注作者

收藏

读童话的狼

woe库的标签是0是好客户还是坏客户？

woe库并没有定义标签的取值，数据定义时，通常会将好客户标成0，坏客户标成1，0是多数类，是负样本，所以好客户占大部分，所以是多数类，一般都标为0

18.0306

2

2

0

关注作者

收藏

读童话的狼

roc曲线和ks曲线是怎么搭配看的？

要弄明白ks值和auc值的关系首先要弄懂roc曲线和ks曲线是怎么画出来的。其实从某个角度上来讲ROC曲线和KS曲线是一回事，只是横纵坐标的取法不同而已。拿逻辑回归举例，模型训练完成之后每个样本都会得到一个类概率值（注意是类似的类），把样本按这个类概率值排序后分成10等份，每一份单独计算它的真正率和假正率，然后计算累计概率值，用真正率和假正率的累计做为坐标画出来的就是ROC曲线，用10等分做为横坐

1.6089

3

0

0

关注作者

收藏

读童话的狼

statsmodels使用时增加一个常数列是啥意思啊

增加常数列就是线性模型中的截距，在sklearn中这个参数是设置好的，但是用statsmodels时这个常数项需要手动添加，这个常数列是为了求取线性回归方程的截距而存在的，如果没有这个截距项，也就是过原点的模型一般来说拟合优度不是特别好，泛化能力会差一些

1.0133

1

0

0

关注作者

收藏

读童话的狼

为什么要点颠倒模型标签？

颠倒标签一是为了同函数相对应，二是为了方便woe视图的查看，无论颠倒，最终结果的分布都是一样的

1.0133

1

1

0

关注作者

收藏

读童话的狼

分箱的方法中如何确保每个箱子都有0，1

确保每个箱子都有0，1在分箱操作中基本都能实现，这个还与阈值的选择有关，分的太细就可能出现箱子中只有1或只有0，所以需要控制箱子的个数，如果没有可以降低箱子的个数，降低min_samples_leaf

1.0133

1

1

0

关注作者

收藏

读童话的狼

iv值达到了标准，为什么还要继续设置最大叶节点？

总的iv值虽然达到了标准，但是如果是建立在箱子非常多的情况下也是不行的，箱子越多，iv值也会增加，箱子不应过多，过多会造成每个箱子不够稳定，所不仅要及控制iv值也控制箱子的个数，对于评分卡来说，箱子个数一般不超过6-7个，箱子太多也会对业务人员或系统来说复杂程度就比较高，也不易操作

1.3653

2

0

0

关注作者

收藏

读童话的狼

每一个箱子都特别显著是啥意思..怎么算不显著？

每个箱子的显著性也可以根据iv值来看这个表格虽然是对特征来说的，但是也可以用来判断箱子的显著性，如果箱子的iv值都比较大，那么就可以认为这个箱子是显著的，就意味着好客户和和坏客户的差异性会比较大，也就是每个箱子中好客户对坏客户的优势比，或者是坏客户对好客户的优势比更大，即当前箱子的用户相似性程度越高，优比越大指的是好坏用户标签的差异，而每个箱子体现到特征层面，也就意味着用户的相似程度越高，

1.0133

1

3

0

关注作者

收藏

读童话的狼

这个公式里的iv值评价指标是对总的分箱结果的还是单个箱子？

求和得到的特征iv，不求和是单个箱子iv值这里计算的是特征的iv值

1.0133

1

2

0

关注作者

收藏

liting李

如何在Python中写多元线性回归代码

建立初步的数据集模型之后将训练集中的特征值与标签值放入LinearRegression()模型中且使用fit函数进行训练,在模型训练完成之后会得到所对应的方程式（线性回归方程式）需要利用函数中的intercept_与coef_。model = LinearRegression() model.fit(X_train,Y_train) a = model.intercept_#截距

35.9699

4

2

0

关注作者

收藏

<1…171819…69>

CDA考试动态

CDA报考指南