2020-09-28
阅读量:
2125
Adaboost和Xgboost原理的区别和联系是什么
Adaboost
Adaboost是模型为加法模型，损失函数为指数函数，学习算法为向前分布算法的二分类学习算法。其基学习器最常见的是决策树桩，也就是深度为1 的决策树。在每一轮提升相应错分类点的权重可以被理解为调整错分类点的observation probability。
xgboost
在XGBoost中，树可以有不同数量的终端节点，并且计算证据较少的树的左权值收缩得更厉害。Newton
Boosting 采用 Newton-Raphson
近似法，比梯度下降法提供了一条直接到达最小值的路径。额外的随机化参数可以用来减少树之间的相关性，分类器之间的相关性越小，我们的分类器集合就会越好。一般来说，XGBoost比
Gradient Boosting 快，但 Gradient Boosting 的范围很广。
27.0521
3
0
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2023-10-23
0条评论
CDA持证人阿涛哥
2023-10-23
0条评论
nigel
2023-08-16
0条评论