2020-03-23
阅读量:
534
最小二乘和梯度下降的区别在哪？
二者区别：
1 最小二乘法：
1) 一次计算即可得到最优解(全局最优解)，但极小值为全局最小值；
2) 当特征数量 大于10000时，因计算矩阵逆的时间复杂度( )会很大；
3) 只适用于线性模型，不适用于逻辑回归等其他模型。
2 梯度下降法：
1) 需要选择学习率 ，需要多次迭代找到最优解(局部最优解)，极小值为局部最小值；
2) 当特征数量 大于10000时，也可以进行计算；
3) 适用于各种类型的模型。
总的来说，在机器学习中，最小二乘法只适用于线性模型(这里一般指线性回归)；而梯度下降适用性极强，一般而言，只要是凸函数，都可以通过梯度下降法得到全局最优值(对于非凸函数，能够得到局部最优解)。梯度下降法只要保证目标函数存在一阶连续偏导，就可以使用。
4.7587
2
0
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2023-06-20
0条评论
CDA持证人阿涛哥
2021-03-31
0条评论
CDA持证人阿涛哥
2021-03-30
0条评论