岭回归和最小二乘法的区别是什么?_CDA答疑社区

热线电话：13121318867

登录

dreamhappy2012

2019-01-23 阅读量: 1180

岭回归和最小二乘法的区别是什么?

岭回归（Ridge Regression）在机器学习里就是一种改进的最小二乘。

其本质是如果用传统的最小二乘，那么个别异常值可能对结果影响非常大（因为最小二乘法对异常值是非常敏感的）。

所以用了这个改进的方法。引入正则系数可以消除异常值，优化模型。

具体介绍如下：

最小二乘：

$X\beta =Y$

$X^{T}X\beta =X^{T}Y$

$\beta =(X^{T}X)^{-1}X^{T}Y$

最后一步成立的条件是

$(X^{T}X)^{-1}$

可逆，可逆的条件是满秩，如果不满秩我们就要处理一下：

$\beta =(X^{T}X+\gamma I)^{-1}X^{T}Y$

，直觉上这样是不是就可以把不满秩的变成满秩了，最小二乘就有解了，为什么想到这样做呢？

我们再看下岭回归：

$loss=1/2*\Sigma(y-w^{t}x)^{2}+1/2*\gamma *||w||^{2}$

$\sum (y-w^{t}x)x=\gamma *w$

换成矩阵写法：

$w =(X^{T}X+\gamma I)^{-1}X^{T}Y$

，这个是不是和上面的一致了。

总结：岭回归是加了2范数正则下的最小二乘。当我们的feature之间完全共线性(使有解)或者相关程度异常高(使有稳定解)的时候，适合使用岭回归。

0.0000

0

3

关注作者

收藏

评论(0)

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子