2019-01-23 阅读量: 789
当我们使用普通最小二乘法进行回归拟合时，如果特征变量间的相关性较强，则可能会导致某些 w 系数很大，而另一些系数变成很小的负数。所以，我们通过岭回归添加 L2 正则项来解决这个问题。
与岭回归相似的是，LASSO 回归同样是通过添加正则项来改进普通最小二乘法，不过这里添加的是 L1 正则项。即：
这里关于L1、L2没有做很详细的解释，如果需要可以参考这里，简单说下：
L1：L1正则化最大的特点是能稀疏矩阵，进行庞大特征数量下的特征选择
L2：L2正则能够有效的防止模型过拟合，解决非满秩下求逆困难的问题
