2019-03-04
阅读量:
797
最小二乘法和梯度下降法有什么区别？
问、最小二乘法和梯度下降法有什么区别？
答：
这两种方法的目的相同，并且对于损失函数的定义都是相同的--求得损失函数的最小值，使得假设函数能够更好的拟合训练集数据。
区别是：
计算上，最小二乘法直接计算损失函数的极值，而梯度下降却是给定初始值，按照梯度一步步下降的方式取得局部最小值，之后再选定其他初始值，计算-比较。
数学上，最小二乘法直接使用极值，将极值作为最小值。其假定有二：1，损失函数中极值就是最小值。2，损失函数具有极值。而梯度下降则不同，梯度下降并没有什么假定，是利用函数中某一点的梯度，一步步寻找到损失函数的局部最小值，之后对多个局部最小值进行比较(选定不同的初始值)，确定全局最小值。
总结：最小二乘法计算简单，但梯度下降法更加通用！
0.0000
0
5
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2023-06-20
0条评论
CDA持证人阿涛哥
2021-03-31
0条评论
CDA持证人阿涛哥
2021-03-30
0条评论