2019-01-23 阅读量: 2531
岭回归是加了二阶正则项的最小二乘，主要适用于过拟合严重或各变量之间存在多重共线性的时候，岭回归是有bias的，这里的bias是为了让variance更小。
岭回归的回归参数有先验分布，而最小二乘对参数没有限制。对参数进行先验分布限制，会使得得到的回归参数取值不会很病态。
因为最小二乘法会出现不稳定的情况，这种情况下会有过拟合，所以需要通过一个shrinkage即缩减解决过拟合问题。
如果最小二乘法的问题表示为某最优化问题：
等式右边可以看做残差之和的内积表达形式，其正则化版本为
这就是所谓的岭回归（L2正则化），相比于使用L1正则化的Lasso回归，它计算量较大（缺乏稀疏解），但对正则化参数lamda不是特别敏感。
岭回归是一种非常通用的增强矩阵求逆数值稳定性的技巧
