2020-08-10
阅读量:
4323
8.10机器学习小结
1、标准线性回归；
2、欠拟合：
多项式变换，按标准线性回归流程；
3、过拟合：
①岭回归——L2正则
②Lasso回归——L1正则
③弹性网——L1+L2
4、求解方法：
①最小二乘法——解析解
②梯度下降法（Gradient Descent）——数值解，一阶收敛（一阶导数）
a批量梯度下降（Batch Gradient Descent，BGD）
b随机梯度下降（Stochastic Gradient Descent，SGD）
c小批量梯度下降
③坐标轴下降法——Lasso回归
④牛顿法（Newton's method）
——二阶收敛（二阶导数），比梯度下降法更快
⑤拟牛顿法（Quasi-Newton Methods）
——牛顿法需要求解黑塞矩阵的逆，用正定矩阵代替
⑥共轭梯度法（Conjugate Gradient）
——一阶收敛（一阶导数），可以下降快，同时不需要求解黑塞矩阵的逆
34.4645
4
8
关注作者
收藏
发表评论
推荐帖子
隋东芝
2020-08-10
8条评论
小朱520
2020-08-05
2条评论
LXM21
2020-07-11
2条评论
