2020-06-17
阅读量:
770
最小二乘法和梯度下降法有 什么区别？
相同
1.本质相同：两种方法都是在给定已知数据的前提下对因变量算出出一个一般性的估值函数。然后对给定新数据的因变量进行估算。
2.目标相同：都是在已知数据的框架内，使得估算值与实际值的总平方差尽量更小（事实上未必一定要使用平方），估算值与实际值的总平方差的公式为：
其中
为第i组数据的自变量，
yi为第i组数据的dependent variable，β为系数向量。
不同
1.实现方法和结果不同：最小二乘法是直接对Δ求导找出全局最小，是非迭代法。而梯度下降法是一种迭代法，先给定一个β，然后向Δ下降最快的方向调整β，在若干次迭代之后找到局部最小。梯度下降法的缺点是到最小点的时候收敛速度变慢，并且对初始点的选择极为敏感，其改进算法大多是在这两方面下的改进。
0.0387
1
2
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2023-06-20
0条评论
CDA持证人阿涛哥
2021-03-31
0条评论
CDA持证人阿涛哥
2021-03-30
0条评论