关于线性回归与岭回归的联系与区别？

dreamhappy2012

2019-01-23 阅读量: 1594

关于线性回归与岭回归的联系与区别？

简单线性回归就是投影。
对自变量做一个旋转，或者右乘一个p×p的矩阵（满秩，不一定正交，记为P），不影响投影的结果。回归系数等于原来的系数左乘P的逆。
如果自变量之间相互独立，那就是分别往每个方向投影，投影结果再相加就是预测值，投影系数就是回归系数。
如果自变量之间不独立，那就通过线性变换将自变量搞成独立（比如，SVD分解中的U），然后回到（3）。
搞成独立后的变量（p个主成分，叫它新变量），方差依次减小。而新变量的回归系数的方差和新变量的方差成反比。如果新变量方差很小，就导致了回归系数方差很大，不稳健。怎么办呢？总不能增加新变量的方差吧，那就压缩系数呗，这就是岭回归。
什么时候用岭回归，后几个主成分方差很小的时候用。方差大与小，不是绝对的，而是相对的。通常用第一个主成分的方差（最大）除最后一个主成分的方差（最小），这个叫条件数，条件数很大的时候，就要考虑岭回归了。
而条件数比较大的矩阵也意味着X的列变量近乎线性相关。

0.0000

关注作者

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子