2020-08-11
阅读量:
1218
线性回归
线性回归分类
1.标准线性回归
2.欠拟合:从数据角度处理,对特征进行多项式变换,按照标准线性回归流程
3.过拟合:从算法角度处理,有以下
岭回归:L2正则
lasso回归:L1正则
弹性网:L1+L2
求解方法:
最小二乘法:解析解
梯度下降法:数值解,一阶导
批量梯度下降
随机梯度下降
小批量梯度下降
坐标轴下降法(Lasso在0处不可导,只能用这种方法求解)
牛顿法:二阶导，比梯度下降法更快(代价函数loss用泰勒展开式展开成两阶,再对loss在x0附近进行求导,并将x表示出来,这就是牛顿法的思想)
拟牛顿法:牛顿法需要求黑塞矩阵的逆，用正定矩阵代替
共轭梯度:一阶导,可以下降快,同时不需要求黑塞矩阵的逆
34.9110
2
4
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2023-06-20
0条评论
CDA持证人阿涛哥
2021-03-31
0条评论
CDA持证人阿涛哥
2021-03-30
0条评论