机器学习-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

liting李

Lasso是做什么的？

Lasso是用来做特征选取的，筛选之后的特征会被用到其他更加高级的算法里面得到更加不错的效果。该方法是一种压缩估计。它通过构造一个惩罚函数得到一个较为精炼的模型，使得它压缩一些回归系数，即强制系数绝对值之和小于某个固定值；同时设定一些回归系数为零。因此保留了子集收缩的优点，是一种处理具有复共线性数据的有偏估计。

3.4433

2

3

0

关注作者

收藏

读童话的狼

sklearn里面的回归模型有相关参数来设置用最小二乘吗？

sklearn里面的回归模型是利用梯度下降或坐标下降，最小二乘一般不应用在机器学习中，原因主要是因为涉及方阵求逆——矩阵求逆的复杂度是O(N^3)，其中，N为特征数目。次要原因是因为如果特征数目大于样本数目，则方阵是奇异矩阵，逆不存在（——这其实常常通过惩罚因子来解决）

3.9597

4

1

0

关注作者

收藏

田齐齐

python中mat()函数

我们看到一开始随机生成的数组与使用mat函数之后的类型是发生了变化的，尽管他们显示的东西没有什么区别，但是实质上，他们的类型是不同的。用mat函数转换为矩阵之后可以才进行一些线性代数的操作。

15.6507

5

1

0

关注作者

收藏

田齐齐

正定矩阵的判定

性质正定矩阵有以下性质：（1）正定矩阵的行列式恒为正；（2）实对称矩阵A正定当且仅当A与单位矩阵合同；（3）若A是正定矩阵，则A的逆矩阵也是正定矩阵；（4）两个正定矩阵的和是正定矩阵；（5）正实数与正定矩阵的乘积是正定矩阵。判定的方法根据正定矩阵的定义及性质，判别对称矩阵A的正定性有两种方法：（1）求出A的所有特征值。若A的特征值均为正数，则A是正定的；若A的特征值均为

15.6488

3

2

0

关注作者

收藏

读童话的狼

决策树如何防止过拟合？

剪枝是一个简化过拟合决策树的过程。有两种常用的剪枝方法： (1)先剪枝（prepruning）：通过提前停止树的构建而对树“剪枝”，一旦停止，节点就成为树叶。该树叶可以持有子集元组中最频繁的类；先剪枝的方法有多种不同的方式可以让决策树停止生长，下面介绍几种停止决策树生长的方法：限制决策树的高度和叶子结点处样本的数目 1.定义一个高度

18.6039

4

2

0

关注作者

收藏

读童话的狼

梯度下降跟坐标下降是什么区别？

梯度下降法:在每次迭代更新时选择负梯度方向(最速下降的方向)进行一次更新.不断迭代直至到达我们的目标或者满意为止.坐标下降法:坐标下降法属于一种非梯度优化的方法，它在每步迭代中沿一个坐标的方向进行搜索，通过循环使用不同的坐标方法来达到目标函数的局部极小值。求导时只对一个维度(坐标轴方向)进行求导,而固定其它维度,这样每次只优化一个分量.相比梯度下降法而言，坐标下降法不需要计算目标函数的

17.6009

3

2

0

关注作者

收藏

田齐齐

统计模型是寻找全局最优的过程，机器学习模型是局部最优的过程?

问:统计模型是寻找全局最优的过程，机器学习模型是局部最优的过程，可以这样理解吗？答:可以这样来理解！统计模型有点不一样，严格上来说，统计模型是在假设的条件下找全局最优的过程。机器学习简单的算法是在找局部最优，但是可以优化这些算法，来逼近全局最优，机器学习得不到全局最优的，除非特别幸运，我们讲梯度下降的时候就会看到.

1.0039

2

2

0

关注作者

收藏

田齐齐

机器学习:参数模型与非参数模型

参数模型：根据预先设计的规则，例如方差损失最小，进行学习，参数模型例子：回归（线性回归、逻辑回归）模型；最好可以看一下或者直接进行一下相关的推导；根据规则，拥有少部分数据就可以；非参数模型：不需要事先假设规则，直接挖掘潜在数据中的规则；非参数模型例子：KNN，决策树，挖掘数据潜在的特征，所以比较灵活；参数模型缺点：受限制性高非参数模型缺点：训练时间长，容易产生过拟合，需要大量数据支撑

1.0039

2

3

0

关注作者

收藏

读童话的狼

sklearn中的岭回归是使用最小二乘吗？

岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。

3.9589

3

2

0

关注作者

收藏

读童话的狼

岭回归选参的一般原则是什么？

选参遵循原则如下：（1）在岭回归中设计矩阵X已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小。可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量。（2）随着lambda的增加，回归系数稳定，震动趋于零的自变量也可以剔除。（3）开始（lambda=0）十分大，但是随着lambda的增加，迅速向0靠近的回归系数不重要。可以考虑剔除。（4）开始（lambda=0）十分小，

2.9560

2

4

0

关注作者

收藏

读童话的狼

为什么要有岭回归？

进行岭回归（和Lasso回归）的主要目的：1.解决病态矩阵的过拟合和欠拟合问题。2.消除多重共线性造成的行列式趋近于0，从而引起的大系数问题。

2.9560

2

3

0

关注作者

收藏

读童话的狼

模型过拟合或欠拟合如何调整？

过拟合(overfitting)：指算法模型在训练集上的性能非常好，但是泛化能力很差，泛化误差很大，即在测试集上的效果却很糟糕的情况。过拟合的原因：将训练样本本身的一些特点当作了所有潜在样本都具有的一般性质，这会造成泛化能力下降；另一个原因是模型可能学到训练集中的噪声，并基于噪声进行了预测；过拟合无法避免，只能缓解。因为机器学习的问题通常是 NP 难甚至更难的，而有效的学习算法必然是在多项式时

17.6009

3

3

0

关注作者

收藏

读童话的狼

如何判断数据集有没有多重共线性？

事实上，如果计算两个解释变量之间的相关性系数，它们的线性相关系数高达0.8以上，这也就意味着严重的多重共线性。在构建多元线性回归模型时，随着解释变量数目的增多，其中某两个解释变量之间产生多重共线性是很容易发生的情况。此时就需要考虑是否将其中某个变量从模型中剔除出去，甚至是重新考虑模型的构建。

2.9560

2

3

0

关注作者

收藏

读童话的狼

相关系数在哪个范围可以认为是高强度相关？

相关系数r的绝对值一般在0.8以上，认为A和B有强的相关性0.3到0.8之间，可以认为有弱的相关性0.3以下，认为没有相关性

2.9560

2

2

0

关注作者

收藏

读童话的狼

X^T X不能有多重共线性，怎么得到X不能有多重共线性？

X^T是X的转置，X不能有多重共线性也就是X的行列式不为零，而X的转置乘以X的行列式等于X的行列式的平方，故可以推得X的行列式不为零，也即X不会有多重共线性

2.9560

2

3

0

关注作者

收藏

读童话的狼

mse和mae有范围吗？

均方误差(MSE)是最常用的回归损失函数，计算方法是求预测值与真实值之间距离的平方和，取值范围也是从0到正无穷MAE是目标值和预测值之差的绝对值之和。其只衡量了预测值误差的平均模长，而不考虑方向，取值范围也是从0到正无穷（如果考虑方向，则是残差/误差的总和——平均偏差（MBE））。

2.9560

2

1

0

关注作者

收藏

读童话的狼

matplotlib里面 alpha是什么含义?

透明度，官方文档说：float (0.0 transparent through 1.0 opaque)，就是alpha为0的时候画出的线或点是完全透明的，为1时是完全不透明的。

17.6009

3

3

0

关注作者

收藏

liting李

如何达到特征选取的目的

线性回归中，如果某个特征所对应的参数值非常接近0，那这个特征就对标签值没有什么贡献，可以删除，达到特征选取的目的

3.4436

2

3

0

关注作者

收藏

读童话的狼

最小二乘和梯度下降的区别在哪？

二者区别：1 最小二乘法：1) 一次计算即可得到最优解(全局最优解)，但极小值为全局最小值；2) 当特征数量大于10000时，因计算矩阵逆的时间复杂度( )会很大；3) 只适用于线性模型，不适用于逻辑回归等其他模型。2 梯度下降法：1) 需要选择学习率，需要多次迭代找到最优解(局部最优解)，极小值为局部最小值；2) 当特征数量大于10000时，也可以进行计算

4.7587

2

0

0

关注作者

收藏

PGC123

在建模的时候只要是类别变量都要用哑编码吗？

在建模的时候只要是类别变量都要用哑编码吗？答：一般是这样但是也不是绝对的，不同算法框架要求也不相同。同样的算法不同的库里实现起来不同，对数据的要求也不尽相同。scikit-learn一版是会要求类别变量做哑变量处理的，但是具体问题具体分析，接触新的库的时候还是要先看官方帮助文档的，看看对数据有什么样的要求，再对数据做处理。

29.5834

2

3

0

关注作者

收藏

<1…293031…69>

CDA考试动态

CDA报考指南