扫码加入数据分析学习群
- 简单线性回归就是投影。
- 对自变量做一个旋转，或者右乘一个p×p的矩阵（满秩，不一定正交，记为P），不影响投影的结果。回归系数等于原来的系数左乘P的逆。
- 如果自变量之间相互独立，那就是分别往每个方向投影，投影结果再相加就是预测值，投影系数就是回归系数。
- 如果自变量之间不独立，那就通过线性变换将自变量搞成独立（比如，SVD分解中的U），然后回到（3）。
- 搞成独立后的变量（p个主成分，叫它新变量），方差依次减小。而新变量的回归系数的方差和新变量的方差成反比。如果新变量方差很小，就导致了回归系数方差很大，不稳健。怎么办呢？总不能增加新变量的方差吧，那就压缩系数呗，这就是岭回归。
- 什么时候用岭回归，后几个主成分方差很小的时候用。方差大与小，不是绝对的，而是相对的。通常用第一个主成分的方差（最大）除最后一个主成分的方差（最小），这个叫条件数，条件数很大的时候，就要考虑岭回归了。
- 而条件数比较大的矩阵也意味着X的列变量近乎线性相关。
添加CDA认证专家【维克多阿涛】，微信号：【cdashijiazhuang】，提供数据分析指导及CDA考试秘籍。已助千人通过CDA数字化人才认证。欢迎交流，共同成长！
评论(0)
暂无数据
